JP7472337B2

JP7472337B2 - 変換に基づく映像コーディング方法及びその装置

Info

Publication number: JP7472337B2
Application number: JP2023017448A
Authority: JP
Inventors: ムンモク; ヒョンムンチャン; スンファンキム; チェヒョンイム
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2019-10-29
Filing date: 2023-02-08
Publication date: 2024-04-22
Anticipated expiration: 2040-10-29
Also published as: KR102482781B1; CN114846799A; CN116600140A; US20220264105A1; MX2022005105A; JP7225472B2; US20230080150A1; JP2024074974A; KR20220061181A; KR20230003459A; CN114846799B; US11902530B2; JP2023053018A; JP2022547744A; US11546600B2; WO2021086064A1

Description

本文書は、画像コーディング技術に関し、より詳細には、画像コーディングシステムにおいて変換（ｔｒａｎｓｆｏｒｍ）に基づく画像コーディング方法及びその装置に関する。

近年、４Ｋまたは８Ｋ以上のＵＨＤ（ＵｌｔｒａＨｉｇｈＤｅｆｉｎｉｔｉｏｎ）画像／ビデオのような高解像度、高品質の画像／ビデオに対する需要が様々な分野で増加している。画像／ビデオデータが高解像度、高品質になるほど、既存の画像／ビデオデータに比べて相対的に送信される情報量またはビット量が増加するので、既存の有無線広帯域回線のような媒体を利用して画像データを送信するか、既存の格納媒体を利用して画像／ビデオデータを格納する場合、送信費用と格納費用が増加する。

また、近年、ＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）、ＡＲ（ＡｒｔｉｆｉｃｉａｌＲｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（ＩｍｍｅｒｓｉｖｅＭｅｄｉａ）に対する関心及び需要が増加しており、ゲーム画像のように、現実画像と異なる画像特性を有する画像／ビデオに対する放送が増加している。

これにより、前記のような様々な特性を有する高解像度高品質の画像／ビデオの情報を効果的に圧縮して送信するか格納し、再生するために高効率の画像／ビデオ圧縮技術が求められる。

本文書の技術的課題は、映像コーディング効率を上げる方法及び装置を提供することにある。

本文書の他の技術的課題は、ＬＦＮＳＴインデックスコーディングの効率を上げる方法及び装置を提供することにある。

本文書の他の技術的課題は、ＬＦＮＳＴインデックスのコーディングを介して２次変換の効率を上げる方法及び装置を提供することにある。

本文書の他の技術的課題は、ＣＣＬＭモードであるとき、ルマブロックのイントラモードを借用してＬＦＮＳＴ変換セットを導出することに対する映像コーディング方法及び装置を提供することにある。

本文書の一実施例によると、デコーディング装置により実行される映像デコーディング方法を提供する。前記方法は、イントラ予測モード情報に基づいてクロマブロックのイントラ予測モードをＣＣＬＭ（ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔｌｉｎｅａｒｍｏｄｅｌ）モードとして導出するステップ、前記クロマブロックの前記イントラ予測モードを前記クロマブロックに対応するルマブロックのイントラ予測モードに基づいて更新するステップ、前記クロマブロックが正方形でない場合、前記更新されたイントラ予測モードを広角イントラ予測モードにリマッピングするステップ、及び、前記リマッピングされたイントラ予測モードに基づいてＬＦＮＳＴマトリクスを含むＬＦＮＳＴセットを決定するステップを含む。

前記更新されたイントラ予測モードは、前記ルマブロック内の特定位置に対応するイントラ予測モードとして導出され、前記特定位置は、前記クロマブロックのカラーフォーマットに基づいて設定される。

前記特定位置は、（（ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２）、（ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２））に設定され、ｘＴｂＹ及びｙＴｂＹは、前記ルマブロックの左上端座標を示し、ｎＴｂＷ及びｎＴｂＨは、前記クロマブロックの幅及び高さを示し、ＳｕｂＷｉｄｔｈＣ及びＳｕｂＨｅｉｇｈｔＣは、前記カラーフォーマットに対応される変数である。

前記カラーフォーマットが４：２：０である場合、ＳｕｂＷｉｄｔｈＣ及びＳｕｂＨｅｉｇｈｔＣは２であり、前記カラーフォーマットが４：２：２である場合、ＳｕｂＷｉｄｔｈＣは２であり、かつＳｕｂＨｅｉｇｈｔＣは１である。

前記特定位置に対応するイントラ予測モードがパレットモードまたはＩＢＣモードである場合、前記クロマブロックのイントラ予測モードは、イントラＤＣモードに更新される。

前記特定位置に対応するイントラ予測モードがＭＩＰモードである場合、前記クロマブロックのイントラ予測モードは、イントラプラナーモードに更新される。

前記クロマブロックの幅が高さより大きい、前記更新されたイントラモードが２以上であり、前記更新されたイントラモードが変数（ｗｈＲａｔｉｏ>１）？（８＋２＊ｗｈＲａｔｉｏ）：８（ここで、ｗｈＲａｔｉｏは、Ａｂｓ（Ｌｏｇ２（ｎＷ／ｎＨ）））より小さい場合、前記更新されたイントラモードは、「更新されたイントラモード＋６５」にリマッピングされる。

前記クロマブロックの高さが幅より大きい、前記更新されたイントラモードが６６以下であり、前記更新されたイントラモードが変数（ｗｈＲａｔｉｏ>１）？（６０？２＊ｗｈＲａｔｉｏ）：６０（ここで、ｗｈＲａｔｉｏは、Ａｂｓ（Ｌｏｇ２（ｎＷ／ｎＨ）））より大きい場合、前記更新されたイントラモードは、「更新されたイントラモード－６７」にリマッピングされる。

本文書の一実施例によると、エンコーディング装置により実行される映像エンコーディング方法を提供する。前記方法は、クロマブロックに対するイントラ予測モードをＣＣＬＭ（ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔｌｉｎｅａｒｍｏｄｅｌ）モードとして導出するステップ、前記ＣＣＬＭモードに基づいて前記クロマブロックに対する予測サンプルを導出するステップ、前記予測サンプルに基づいて前記クロマブロックに対するレジデュアルサンプルを導出するステップ、前記クロマブロックの前記イントラ予測モードを前記クロマブロックに対応するルマブロックのイントラ予測モードに基づいて更新するステップ、前記クロマブロックが正方形でない場合、前記更新されたイントラ予測モードを広角イントラ予測モードにリマッピングするステップ、及び、前記リマッピングされたイントラ予測モードに基づいてＬＦＮＳＴマトリクスを含むＬＦＮＳＴセットを決定するステップを含む。

本文書の他の一実施例によると、エンコーディング装置により実行された映像エンコーディング方法によって生成されたエンコーディングされた映像情報及びビットストリームが含まれている映像データが格納されたデジタル格納媒体が提供される。

本文書の他の一実施例によると、デコーディング装置により前記映像デコーディング方法を実行するようにするエンコーディングされた映像情報及びビットストリームが含まれている映像データが格納されたデジタル格納媒体が提供される。

本文書によると、全般的な映像／ビデオ圧縮効率を上げることができる。

本文書によると、ＬＦＮＳＴインデックスコーディングの効率を上げることができる。

本文書によると、ＬＦＮＳＴインデックスのコーディングを介して２次変換の効率を上げることができる。

本文書によると、ＣＣＬＭモードであるとき、ルマブロックのイントラモードを借用してＬＦＮＳＴ変換セットを導出することに対する映像コーディング方法及び装置を提供することができる。

本明細書の具体的な一例を介して得られる効果は、以上で羅列された効果に制限されない。例えば、関連する技術分野における通常の知識を有する者（ａｐｅｒｓｏｎｈａｖｉｎｇｏｒｄｉｎａｒｙｓｋｉｌｌｉｎｔｈｅｒｅｌａｔｅｄａｒｔ）が、本明細書から理解または誘導できる様々な技術的効果が存在し得る。これによって、本明細書の具体的な効果は、本明細書に明示的に記載されているものに制限されず、本明細書の技術的特徴から理解または誘導できる様々な効果を含み得る。

本文書が適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。

本文書が適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。

本文書が適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図である。

本文書が適用されるコンテンツストリーミングシステム構造図を例示的に示す。

本文書の一実施例による多重変換技法を概略的に示す。

６５個予測方向のイントラ方向性モードを例示的に示す。

本文書の一実施例によるＲＳＴを説明するための図である。

一例によって順方向１次変換の出力データを１次元ベクトルに配列する順序を示す図である。

一例によって順方向２次変換の出力データを２次元ブロックに配列する順序を示す図である。

本文書の一実施例に係る広角イントラ予測モードを示す図である。

ＬＦＮＳＴが適用されるブロックもようを示す図である。

一例によって順方向ＬＦＮＳＴの出力データの配列を示す図である。

一例によって４×４ＬＦＮＳＴが適用されるブロックでのゼロアウトを示す図である。

一例によって８×８ＬＦＮＳＴが適用されるブロックでのゼロアウトを示す図である。

一実施例によるクロマブロックのイントラ予測モード導出時に適用されることができるＣＣＬＭを説明するための図である。

本文書の一実施例によるビデオデコーディング装置の動作を示す流れ図である。

本文書の一実施例によるビデオエンコーディング装置の動作を示す流れ図である。

本文書は、多様な変更を加えることができ、様々な実施例を有することができ、特定実施例を図面に例示して詳細に説明しようとする。しかし、これは本文書を特定実施例に限定しようとするものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであって、本文書の技術的思想を限定しようとする意図で使われるものではない。単数の表現は、コンテキスト上明白に異なる意味ではない限り、複数の表現を含む。本明細書において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定するものであり、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたもの等の存在または付加可能性をあらかじめ排除しないと理解されなければならない。

一方、本文書で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の便宜のために独立的に図示されたものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味するものではない。例えば、各構成のうち、二つ以上の構成が結合されて一つの構成をなすこともでき、一つの構成が複数の構成に分けられることもできる。各構成が統合及び／または分離された実施例も、本文書の本質から逸脱しない限り、本文書の権利範囲に含まれる。

以下、添付図面を参照して、本文書の好ましい実施例をより詳細に説明する。以下、図面上の同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対して重複した説明は省略する。

この文書は、ビデオ／映像コーディングに関する。例えば、この文書に開示された方法／実施例は、ＶＶＣ（ＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇ）標準（ＩＴＵ－ＴＲｅｃ．Ｈ．２６６）、ＶＶＣ以後の次世代ビデオ／イメージコーディング標準、またはその以外のビデオコーディング関連標準（例えば、ＨＥＶＣ（ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ）標準（ＩＴＵ－ＴＲｅｃ．Ｈ．２６５）、ＥＶＣ（ｅｓｓｅｎｔｉａｌｖｉｄｅｏｃｏｄｉｎｇ）標準、ＡＶＳ２標準等）と関連付けられている。

この文書ではビデオ／映像コーディングに関する多様な実施例を提示し、他の言及がない限り、前記実施例は互いに組み合わせられて実行されることもできる。

この文書において、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味することができる。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定時間帯の一つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇｔｒｅｅｕｎｉｔ）を含むことができる。一つのピクチャは、一つ以上のスライス／タイルで構成されることができる。一つのピクチャは、一つ以上のタイルグループで構成されることができる。一つのタイルグループは、一つ以上のタイルを含むことができる。

ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、一つのピクチャ（または、映像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使われることができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。または、サンプルは、空間ドメインでのピクセル値を意味することもでき、このようなピクセル値が周波数ドメインに変換されると、周波数ドメインでの変換係数を意味することもできる。

ユニット（ｕｎｉｔ）は、映像処理の基本単位を示すことができる。ユニットは、ピクチャの特定領域及び該当領域に関連した情報のうち少なくとも一つを含むことができる。一つのユニットは、一つのルマブロック及び二つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含むことができる。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使われることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（または、サンプルアレイ）または変換係数（ｔｒａｎｓｆｏｒｍｃｏｅｆｆｉｃｉｅｎｔ）の集合（または、アレイ）を含むことができる。

この文書において、「／」と「、」は、「及び／または」と解釈される。例えば、「Ａ／Ｂ」は、「Ａ及び／またはＢ」と解釈され、「Ａ、Ｂ」は、「Ａ及び／またはＢ」と解釈される。追加的に、「Ａ／Ｂ／Ｃ」は、「Ａ、Ｂ及び／またはＣのうち少なくとも一つ」を意味する。また、「Ａ、Ｂ、Ｃ」も「Ａ、Ｂ及び／またはＣのうち少なくとも一つ」を意味する。（Ｉｎｔｈｉｓｄｏｃｕｍｅｎｔ，ｔｈｅｔｅｒｍ「／」ａｎｄ「、」ｓｈｏｕｌｄｂｅｉｎｔｅｒｐｒｅｔｅｄｔｏｉｎｄｉｃａｔｅ「ａｎｄ／ｏｒ．」Ｆｏｒｉｎｓｔａｎｃｅ，ｔｈｅｅｘｐｒｅｓｓｉｏｎ「Ａ／Ｂ」ｍａｙｍｅａｎ「Ａａｎｄ／ｏｒＢ．」Ｆｕｒｔｈｅｒ，「Ａ，Ｂ」ｍａｙｍｅａｎ「Ａａｎｄ／ｏｒＢ．」Ｆｕｒｔｈｅｒ，「Ａ／Ｂ／Ｃ」ｍａｙｍｅａｎ「ａｔｌｅａｓｔｏｎｅｏｆＡ，Ｂ，ａｎｄ／ｏｒＣ．」Ａｌｓｏ，「Ａ／Ｂ／Ｃ」ｍａｙｍｅａｎ「ａｔｌｅａｓｔｏｎｅｏｆＡ，Ｂ，ａｎｄ／ｏｒＣ．”）

追加的に、本文書において、「または」は、「及び／または」と解釈される。例えば、「ＡまたはＢ」は、１）「Ａ」のみを意味し、または２）「Ｂ」のみを意味し、または３）「Ａ及びＢ」を意味することができる。他の表現としては、本文書の「または」は、「追加的にまたは代替的に（ａｄｄｉｔｉｏｎａｌｌｙｏｒａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。（Ｆｕｒｔｈｅｒ，ｉｎｔｈｅｄｏｃｕｍｅｎｔ，ｔｈｅｔｅｒｍ「ｏｒ」ｓｈｏｕｌｄｂｅｉｎｔｅｒｐｒｅｔｅｄｔｏｉｎｄｉｃａｔｅ「ａｎｄ／ｏｒ．」Ｆｏｒｉｎｓｔａｎｃｅ，ｔｈｅｅｘｐｒｅｓｓｉｏｎ「ＡｏｒＢ」ｍａｙｃｏｍｐｒｉｓｅ１）ｏｎｌｙＡ，２）ｏｎｌｙＢ，ａｎｄ／ｏｒ３）ｂｏｔｈＡａｎｄＢ．Ｉｎｏｔｈｅｒｗｏｒｄｓ，ｔｈｅｔｅｒｍ「ｏｒ」ｉｎｔｈｉｓｄｏｃｕｍｅｎｔｓｈｏｕｌｄｂｅｉｎｔｅｒｐｒｅｔｅｄｔｏｉｎｄｉｃａｔｅ「ａｄｄｉｔｉｏｎａｌｌｙｏｒａｌｔｅｒｎａｔｉｖｅｌｙ．」）

本明細書において、「少なくとも一つのＡ及びＢ（ａｔｌｅａｓｔｏｎｅｏｆＡａｎｄＢ）」は、「ただＡ」、「ただＢ」または「ＡとＢの両方とも」を意味することができる。また、本明細書において、「少なくとも一つのＡまたはＢ（ａｔｌｅａｓｔｏｎｅｏｆＡｏｒＢ）」や「少なくとも一つのＡ及び／またはＢ（ａｔｌｅａｓｔｏｎｅｏｆＡａｎｄ／ｏｒＢ）」という表現は、「少なくとも一つのＡ及びＢ（ａｔｌｅａｓｔｏｎｅｏｆＡａｎｄＢ）」と同じく解釈されることができる。

また、本明細書において、「少なくとも一つのＡ、Ｂ及びＣ（ａｔｌｅａｓｔｏｎｅｏｆＡ，ＢａｎｄＣ）」は、「ただＡ」、「ただＢ」、「ただＣ」、または「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙｃｏｍｂｉｎａｔｉｏｎｏｆＡ，ＢａｎｄＣ）」を意味することができる。また、「少なくとも一つのＡ、ＢまたはＣ（ａｔｌｅａｓｔｏｎｅｏｆＡ，ＢｏｒＣ）」や「少なくとも一つのＡ、Ｂ及び／またはＣ（ａｔｌｅａｓｔｏｎｅｏｆＡ，Ｂａｎｄ／ｏｒＣ）」は、「少なくとも一つのＡ、Ｂ及びＣ（ａｔｌｅａｓｔｏｎｅｏｆＡ，ＢａｎｄＣ）」を意味することができる。

また、本明細書で使われる括弧は、「例えば（ｆｏｒｅｘａｍｐｌｅ）」を意味することができる。具体的に、「予測（イントラ予測）」で表示された場合、「予測」の一例として「イントラ予測」が提案されたものである。他の表現としては、本明細書の「予測」は、「イントラ予測」に制限（ｌｉｍｉｔ）されるものではなく、「イントラ予測」が「予測」の一例として提案されたものである。また、「予測（即ち、イントラ予測）」で表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものである。

本明細書において、一つの図面内で個別的に説明される技術的特徴は、個別的に具現されることもでき、同時に具現されることもできる。

図１は、本文書が適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。

図１を参照すると、ビデオ／映像コーディングシステムは、ソースデバイス及び受信デバイスを含むことができる。ソースデバイスは、エンコーディングされたビデオ（ｖｉｄｅｏ）／映像（ｉｍａｇｅ）情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスに伝達できる。

前記ソースデバイスは、ビデオソース、エンコーディング装置、送信部を含むことができる。前記受信デバイスは、受信部、デコーディング装置、及びレンダラを含むことができる。前記エンコーディング装置は、ビデオ／映像エンコーディング装置と呼ばれることができ、前記デコーディング装置は、ビデオ／映像デコーディング装置と呼ばれることができる。送信機は、エンコーディング装置に含まれることができる。受信機は、デコーディング装置に含まれることができる。レンダラは、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。

ビデオソースは、ビデオ／映像のキャプチャ、合成または生成過程などを介してビデオ／映像を取得することができる。ビデオソースは、ビデオ／映像キャプチャデバイス及び／またはビデオ／映像生成デバイスを含むことができる。ビデオ／映像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ／映像アーカイブなどを含むことができる。ビデオ／映像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／映像が生成されることができ、この場合、関連データが生成される過程にビデオ／映像キャプチャ過程が代替されることができる。

エンコーディング装置は、入力ビデオ／映像をエンコーディングすることができる。エンコーディング装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を実行することができる。エンコーディングされたデータ（エンコーディングされたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。

送信部は、ビットストリーム形態で出力されたエンコーディングされたビデオ／映像情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスの受信部に伝達できる。デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。送信部は、あらかじめ決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介した送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコーディング装置に伝達できる。

デコーディング装置は、エンコーディング装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を実行してビデオ／映像をデコーディングすることができる。

レンダラは、デコーディングされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされることができる。

図２は、本文書が適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。以下、ビデオエンコーディング装置とは、映像エンコーディング装置を含むことができる。

図２を参照すると、エンコーディング装置２００は、映像分割部（ｉｍａｇｅｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコーディング部（ｅｎｔｒｏｐｙｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を含んで構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を含むことができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅｔｒａｎｓｆｏｒｍｅｒ）２３５を含むことができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ）２３１をさらに含むことができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）または復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄｂｌｏｃｋｇｅｎｅｒａｔｏｒ）と呼ばれることができる。前述した映像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコーディング部２４０、加算部２５０、及びフィルタリング部２６０は、実施例によって一つ以上のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄｐｉｃｔｕｒｅｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに含むこともできる。

映像分割部２１０は、エンコーディング装置２００に入力された入力映像（または、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）に分割できる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇｔｒｅｅｕｎｉｔ、ＣＴＵ）または最大コーディングユニット（ｌａｒｇｅｓｔｃｏｄｉｎｇｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅｂｉｎａｒｙ－ｔｒｅｅｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、一つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／またはターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／またはターナリ構造がその後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本文書によるコーディング手順が実行されることができる。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使われることができ、または、必要によって、コーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使われることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：ＰｒｅｄｉｃｔｉｏｎＵｎｉｔ）または変換ユニット（ＴＵ：ＴｒａｎｓｆｏｒｍＵｎｉｔ）をさらに含むことができる。この場合、前記予測ユニット及び前記変換ユニットは、各々、前述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であり、前記変換ユニットは、変換係数を誘導する単位及び／または変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌｓｉｇｎａｌ）を誘導する単位である。

ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使われることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍｃｏｅｆｆｉｃｉｅｎｔ）の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、一つのピクチャ（または、映像）をピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）に対応する用語として使われることができる。

減算部２３１は、入力映像信号（原本ブロック、原本サンプルまたは原本サンプルアレイ）から、予測部２２０から出力された予測信号（予測されたブロック、予測サンプルまたは予測サンプルアレイ）を減算してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルまたはレジデュアルサンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部２３２に送信される。予測部２２０は、処理対象ブロック（以下、現在ブロックという）に対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄｂｌｏｃｋ）を生成することができる。予測部２２０は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができる。予測部は、各予測モードに対する説明で後述するように、予測モード情報など、予測に関する多様な情報を生成してエントロピーエンコーディング部２４０に伝達できる。予測に関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。

イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって、前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することもでき、または離れて位置することもできる。イントラ予測で、予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定によってそれ以上またはその以下の個数の方向性予測モードが使われることができる。イントラ予測部２２２は、隣接ブロックに適用された予測モードを利用して、現在ブロックに適用される予測モードを決定することもできる。

インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロックまたはサンプル単位で予測できる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌｎｅｉｇｈｂｏｒｉｎｇｂｌｏｃｋ）と、参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌｎｅｉｇｈｂｏｒｉｎｇｂｌｏｃｋ）と、を含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的隣接ブロックを含む参照ピクチャは、同じこともあり、異なることもある。前記時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄｒｅｆｅｒｅｎｃｅｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名称で呼ばれることができ、前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、インター予測部２２１は、隣接ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／または参照ピクチャインデックスを導出するために、どの候補が使われるかを指示する情報を生成することができる。多様な予測モードに基づいてインター予測が実行されることができ、例えば、スキップモードとマージモードの場合、インター予測部２２１は、隣接ブロックの動き情報を現在ブロックの動き情報として利用できる。スキップモードの場合、マージモードとは違って、レジデュアル信号が送信されない。動き情報予測（ｍｏｔｉｏｎｖｅｃｔｏｒｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎｖｅｃｔｏｒｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎｖｅｃｔｏｒｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることで、現在ブロックの動きベクトルを指示することができる。

予測部２２０は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、一つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用できる。これはｃｏｍｂｉｎｅｄｉｎｔｅｒａｎｄｉｎｔｒａｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａｂｌｏｃｋｃｏｐｙ、ＩＢＣ）を実行することもできる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎｃｏｎｔｅｎｔｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動映像コーディングのために使われることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。即ち、ＩＢＣは、本文書で説明されるインター予測技法のうち少なくとも一つを利用することができる。

インター予測部２２１及び／またはイントラ予測部２２２を介して生成された予測信号は、復元信号を生成するために利用され、またはレジデュアル信号を生成するために利用されることができる。変換部２３２は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）、ＤＳＴ（ＤｉｓｃｒｅｔｅＳｉｎｅＴｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－ＢａｓｅｄＴｒａｎｓｆｏｒｍ）、またはＣＮＴ（ＣｏｎｄｉｔｉｏｎａｌｌｙＮｏｎ－ｌｉｎｅａｒＴｒａｎｓｆｏｒｍ）などを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとする時、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌｐｒｅｖｉｏｕｓｌｙｒｅｃｏｎｓｔｒｕｃｔｅｄｐｉｘｅｌ）を利用して予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は、正方形の同じ大きさを有するピクセルブロックに適用されることもでき、正方形でない可変大きさのブロックに適用されることもできる。

量子化部２３３は、変換係数を量子化してエントロピーエンコーディング部２４０に送信し、エントロピーエンコーディング部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコーディングしてビットストリームで出力できる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（ｓｃａｎｏｒｄｅｒ）に基づいて、ブロック形態の量子化された変換係数を１次元ベクトル形態で再整列でき、前記１次元ベクトル形態の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌＧｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅｖａｒｉａｂｌｅｌｅｎｇｔｈｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅｂｉｎａｒｙａｒｉｔｈｍｅｔｉｃｃｏｄｉｎｇ）などのような多様なエンコーディング方法を実行することができる。エントロピーエンコーディング部２４０は、量子化された変換係数外にビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘｅｌｅｍｅｎｔｓ）の値等）を共にまたは別途にエンコーディングすることもできる。エンコーディングされた情報（例えば、エンコーディングされたビデオ／映像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋａｂｓｔｒａｃｔｉｏｎｌａｙｅｒ）ユニット単位で送信または格納されることができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）またはビデオパラメータセット（ＶＰＳ）等、多様なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌｃｏｎｓｔｒａｉｎｔｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書で後述されるシグナリング／送信される情報及び／またはシンタックス要素は、前述したエンコーディング手順を介してエンコーディングされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、またはデジタル格納媒体に格納されることができる。ここで、ネットワークは、放送網及び／または通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。エントロピーエンコーディング部２４０から出力された信号は、送信する送信部（図示せず）及び／または格納する格納部（図示せず）がエンコーディング装置２００の内／外部エレメントとして構成されることができ、または、送信部は、エントロピーエンコーディング部２４０に含まれることもできる。

量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために利用されることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することによって、レジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元することができる。加算部２５０は、復元されたレジデュアル信号を予測部２２０から出力された予測信号に加えることによって復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルまたは復元サンプルアレイ）が生成されることができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使われることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使われることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使われることもできる。

一方、ピクチャエンコーディング及び／または復元過程でＬＭＣＳ（ｌｕｍａｍａｐｐｉｎｇｗｉｔｈｃｈｒｏｍａｓｃａｌｉｎｇ）が適用されることもできる。

フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに多様なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納することができる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅａｄａｐｔｉｖｅｏｆｆｓｅｔ、ＳＡＯ）、適応的ループフィルタ（ａｄａｐｔｉｖｅｌｏｏｐｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法に対する説明で後述するように、フィルタリングに関する多様な情報を生成してエントロピーエンコーディング部２４０に伝達できる。フィルタリング関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。

メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使われることができる。エンコーディング装置は、これを介してインター予測が適用される場合、エンコーディング装置２００とデコーディング装置での予測ミスマッチを避けることができ、符号化効率も向上させることができる。

メモリ２７０のＤＰＢは、修正された復元ピクチャをインター予測部２２１での参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコーディングされた）ブロックの動き情報及び／または既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するためにインター予測部２２１に伝達できる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達できる。

図３は、本文書が適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図である。

図３を参照すると、デコーディング装置３００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｅｒｙ）３６０を含んで構成されることができる。予測部３３０は、インター予測部３３２及びイントラ予測部３３１を含むことができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅｔｒａｎｓｆｏｒｍｅｒ）３２２を含むことができる。前述したエントロピーデコーディング部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄｐｉｃｔｕｒｅｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに含むこともできる。

ビデオ／映像情報を含むビットストリームが入力される場合、デコーディング装置３００は、図２のエンコーディング装置でビデオ／映像情報が処理されたプロセスに対応して映像を復元することができる。例えば、デコーディング装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出することができる。デコーディング装置３００は、エンコーディング装置で適用された処理ユニットを利用してデコーディングを実行することができる。したがって、デコーディングの処理ユニットは、例えば、コーディングユニットであり、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットから、クアッドツリー構造、バイナリツリー構造及び／またはターナリツリー構造によって分割されることができる。コーディングユニットから一つ以上の変換ユニットが導出されることができる。そして、デコーディング装置３００を介してデコーディング及び出力された復元映像信号は、再生装置を介して再生されることができる。

デコーディング装置３００は、図２のエンコーディング装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコーディング部３１０を介してデコーディングされることができる。例えば、エントロピーデコーディング部３１０は、前記ビットストリームをパーシングして映像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／映像情報）を導出することができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）等、多様なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌｃｏｎｓｔｒａｉｎｔｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコーディング装置は、前記パラメータセットに関する情報及び／または前記一般制限情報にさらに基づいてピクチャをデコーディングすることができる。本文書で後述されるシグナリング／受信される情報及び／またはシンタックス要素は、前記デコーディング手順を介してデコーディングされて前記ビットストリームから取得されることができる。例えば、エントロピーデコーディング部３１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報をデコーディングし、映像復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳しくは、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各構文要素に該当するｂｉｎを受信し、デコーディング対象構文要素情報と隣接及びデコーディング対象ブロックのデコーディング情報または以前ステップでデコーディングされたシンボル／ｂｉｎの情報を利用してコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルによってｂｉｎの発生確率を予測してｂｉｎの算術デコーディング（ａｒｉｔｈｍｅｔｉｃｄｅｃｏｄｉｎｇ）を実行することで各構文要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコーディング方法は、コンテキストモデル決定後、次のシンボル／ｂｉｎのコンテキストモデルのためにデコーディングされたシンボル／ｂｉｎの情報を利用してコンテキストモデルをアップデートすることができる。エントロピーデコーディング部３１０でデコーディングされた情報のうち、予測に関する情報は、予測部３３０に提供され、エントロピーデコーディング部３１０でエントロピーデコーディングが実行されたレジデュアルに対する情報、即ち、量子化された変換係数及び関連パラメータ情報は、逆量子化部３２１に入力されることができる。また、エントロピーデコーディング部３１０でデコーディングされた情報のうち、フィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコーディング装置から出力された信号を受信する受信部（図示せず）がデコーディング装置３００の内／外部エレメントとしてさらに構成されてもよく、または、受信部は、エントロピーデコーディング部３１０の構成要素であってもよい。一方、本文書によるデコーディング装置は、ビデオ／映像／ピクチャデコーディング装置と呼ばれることができ、前記デコーディング装置は、情報デコーダ（ビデオ／映像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／映像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコーディング部３１０を含むことができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、予測部３３０、加算部３４０、フィルタリング部３５０、及びメモリ３６０のうち少なくとも一つを含むことができる。

逆量子化部３２１では量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列できる。この場合、前記再整列は、エンコーディング装置で実行された係数スキャン順序に基づいて再整列を実行することができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を利用して量子化された変換係数に対する逆量子化を実行し、変換係数（ｔｒａｎｓｆｏｒｍｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

逆変換部３２２では変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。

予測部は、現在ブロックに対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコーディング部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モードを決定することができる。

予測部は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、一つのブロックに対する予測のためにイントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することもできる。これはｃｏｍｂｉｎｅｄｉｎｔｅｒａｎｄｉｎｔｒａｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のためにイントラブロックコピー（ｉｎｔｒａｂｌｏｃｋｃｏｐｙ、ＩＢＣ）を実行することもできる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎｃｏｎｔｅｎｔｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動映像コーディングのために使われることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。即ち、ＩＢＣは、本文書で説明されるインター予測技法のうち少なくとも一つを利用することができる。

イントラ予測部３３１は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって、前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することもでき、または離れて位置することもできる。イントラ予測で、予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。イントラ予測部３３１は、隣接ブロックに適用された予測モードを利用し、現在ブロックに適用される予測モードを決定することもできる。

インター予測部３３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測できる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌｎｅｉｇｈｂｏｒｉｎｇｂｌｏｃｋ）と、参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌｎｅｉｇｈｂｏｒｉｎｇｂｌｏｃｋ）と、を含むことができる。例えば、インター予測部３３２は、隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて、前記現在ブロックの動きベクトル及び／または参照ピクチャインデックスを導出することができる。多様な予測モードに基づいてインター予測が実行されることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。

加算部３４０は、取得されたレジデュアル信号を、予測部３３０から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることによって復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使われることができる。

加算部３４０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使われることができ、後述するように、フィルタリングを経て出力されることもでき、または、次のピクチャのインター予測のために使われることもできる。

一方、ピクチャデコーディング過程でＬＭＣＳ（ｌｕｍａｍａｐｐｉｎｇｗｉｔｈｃｈｒｏｍａｓｃａｌｉｎｇ）が適用されることもできる。

フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに多様なフィルタリング方法を適用することで、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ３６０、具体的に、メモリ３６０のＤＰＢに送信できる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅａｄａｐｔｉｖｅｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅｌｏｏｐｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌｆｉｌｔｅｒ）などを含むことができる。

メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３２で参照ピクチャとして使われることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコーディングされた）ブロックの動き情報及び／または既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部３３２に伝達できる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部３３１に伝達できる。

本明細書において、デコーディング装置３００の予測部３３０、逆量子化部３２１、逆変換部３２２、及びフィルタリング部３５０などで説明された実施例は、各々、エンコーディング装置２００の予測部２２０、逆量子化部２３４、逆変換部２３５、及びフィルタリング部２６０などにも同一または対応されるように適用されることができる。

前述したように、ビデオコーディングを実行するにあたって、圧縮効率を上げるために予測を実行する。これを介してコーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（または、ピクセルドメイン）での予測サンプルを含む。前記予測されたブロックは、エンコーディング装置及びデコーディング装置で同じく導出され、前記エンコーディング装置は、原本ブロックの原本サンプル値自体でない前記原本ブロックと前記予測されたブロックとの間のレジデュアルに対する情報（レジデュアル情報）をデコーディング装置にシグナリングすることで映像コーディング効率を上げることができる。デコーディング装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックとを合わせて復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。

前記レジデュアル情報は、変換及び量子化手順を介して生成されることができる。例えば、エンコーディング装置は、前記原本ブロックと前記予測されたブロックとの間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれているレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を実行して変換係数を導出し、前記変換係数に量子化手順を実行して量子化された変換係数を導出して関連したレジデュアル情報を（ビットストリームを介して）デコーディング装置にシグナリングできる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコーディング装置は、前記レジデュアル情報に基づいて逆量子化／逆変換手順を実行してレジデュアルサンプル（または、レジデュアルブロック）を導出することができる。デコーディング装置は、予測されたブロックと前記レジデュアルブロックとに基づいて復元ピクチャを生成することができる。また、エンコーディング装置は、以後ピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。

図４は、本文書が適用されるコンテンツストリーミングシステム構造図を例示的に示す。

また、本文書が適用されるコンテンツストリーミングシステムは、大いに、エンコーディングサーバ、ストリーミングサーバ、ウェブサーバ、メディア格納所、ユーザ装置、及びマルチメディア入力装置を含むことができる。

前記エンコーディングサーバは、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置から入力されたコンテンツをデジタルデータで圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。他の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコーディングサーバは省略されることができる。前記ビットストリームは、本文書が適用されるエンコーディング方法またはビットストリーム生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信または受信する過程で一時的に前記ビットストリームを格納することができる。

前記ストリーミングサーバは、ウェブサーバを介したユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、どのようなサービスがあるかをユーザに知らせる媒介体役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すると、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。

前記ストリーミングサーバは、メディア格納所及び／またはエンコーディングサーバからコンテンツを受信することができる。例えば、前記エンコーディングサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間に格納することができる。

前記ユーザ装置の例として、携帯電話、スマートフォン（ｓｍａｒｔｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌｄｉｇｉｔａｌａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅｍｕｌｔｉｍｅｄｉａｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅＰＣ）、タブレットＰＣ（ｔａｂｌｅｔＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウエラブルデバイス（ｗｅａｒａｂｌｅｄｅｖｉｃｅ、例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（ｓｍａｒｔｇｌａｓｓ）、ＨＭＤ（ｈｅａｄｍｏｕｎｔｅｄｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジなどがある。前記コンテンツストリーミングシステム内の各サーバは、分散サーバで運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。

図５は、本文書による多重変換技法を概略的に示す。

図５を参照すると、変換部は、前述した図２のエンコーディング装置内の変換部に対応されることができ、逆変換部は、前述した図２のエンコーディング装置内の逆変換部または図３のデコーディング装置内の逆変換部に対応されることができる。

変換部は、レジデュアルブロック内のレジデュアルサンプル（レジデュアルサンプルアレイ）に基づいて１次変換を実行して（１次）変換係数を導出することができる（Ｓ５１０）。このような１次変換（ｐｒｉｍａｒｙｔｒａｎｓｆｏｒｍ）は、核心変換（ｃｏｒｅｔｒａｎｓｆｏｒｍ）と呼ばれることができる。ここで、前記１次変換は、多重変換選択（ＭｕｌｔｉｐｌｅＴｒａｎｓｆｏｒｍＳｅｌｅｃｔｉｏｎ、ＭＴＳ）に基づくことができ、１次変換として多重変換が適用される場合、多重核心変換と呼ばれることができる。

多重核心変換は、ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）タイプ２とＤＳＴ（ＤｉｓｃｒｅｔｅＳｉｎｅＴｒａｎｓｆｏｒｍ）タイプ７、ＤＣＴタイプ８、及び／またはＤＳＴタイプ１を追加的に使用して変換する方式を示すことができる。即ち、前記多重核心変換は、前記ＤＣＴタイプ２、前記ＤＳＴタイプ７、前記ＤＣＴタイプ８、及び前記ＤＳＴタイプ１の中から選択された複数の変換カーネルに基づいて、空間ドメインのレジデュアル信号（または、レジデュアルブロック）を周波数ドメインの変換係数（または、１次変換係数）に変換する変換方法を示すことができる。ここで、前記１次変換係数は、変換部立場で臨時変換係数と呼ばれることができる。

即ち、既存の変換方法が適用される場合、ＤＣＴタイプ２に基づいて、レジデュアル信号（または、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数が生成されることができた。これと違って、前記多重核心変換が適用される場合、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及び／またはＤＳＴタイプ１などに基づいて、レジデュアル信号（または、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数（または、１次変換係数）が生成されることができる。ここで、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及びＤＳＴタイプ１等は、変換タイプ、変換カーネル（ｋｅｒｎｅｌ）または変換コア（ｃｏｒｅ）と呼ばれることができる。このようなＤＣＴ／ＤＳＴ変換タイプは、基底関数に基づいて定義されることができる。

前記多重核心変換が実行される場合、前記変換カーネルの中から対象ブロックに対する垂直変換カーネル及び水平変換カーネルが選択されることができ、前記垂直変換カーネルに基づいて前記対象ブロックに対する垂直変換が実行され、前記水平変換カーネルに基づいて前記対象ブロックに対する水平変換が実行されることができる。ここで、前記水平変換は、前記対象ブロックの水平成分に対する変換を示すことができ、前記垂直変換は、前記対象ブロックの垂直成分に対する変換を示すことができる。前記垂直変換カーネル／水平変換カーネルは、レジデュアルブロックを含む対象ブロック（ＣＵまたはサブブロック）の予測モード及び／または変換インデックスに基づいて適応的に決定されることができる。

また、一例によると、ＭＴＳを適用して１次変換を実行する場合、特定基底関数を所定値に設定し、垂直変換または水平変換である時、どのような基底関数が適用されるかを組み合わせて変換カーネルに対するマッピング関係を設定することができる。例えば、水平方向変換カーネルをｔｒＴｙｐｅＨｏｒで表し、垂直方向変換カーネルをｔｒＴｙｐｅＶｅｒで表す場合、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒ値０はＤＣＴ２に設定され、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒ値１はＤＳＴ７に設定され、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒ値２はＤＣＴ８に設定されることができる。

この場合、多数の変換カーネルセットのうちいずれか一つを指示するために、ＭＴＳインデックス情報がエンコーディングされてデコーディング装置にシグナリングされることができる。例えば、ＭＴＳインデックスが０である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が両方とも０であることを指示し、ＭＴＳインデックスが１である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が両方とも１であることを指示し、ＭＴＳインデックスが２である場合、ｔｒＴｙｐｅＨｏｒ値は２であり、ｔｒＴｙｐｅＶｅｒ値は１であることを指示し、ＭＴＳインデックスが３である場合、ｔｒＴｙｐｅＨｏｒ値は１であり、ｔｒＴｙｐｅＶｅｒ値は２であることを指示し、ＭＴＳインデックスが４である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が両方とも２であることを指示することができる。

一例によって、ＭＴＳインデックス情報による変換カーネルセットを表で示すと、以下の通りである。

変換部は、前記（１次）変換係数に基づいて２次変換を実行して修正された（２次）変換係数を導出することができる（Ｓ５２０）。前記１次変換は、空間ドメインから周波数ドメインへの変換であり、前記２次変換は、（１次）変換係数間に存在する相関関係（ｃｏｒｒｅｌａｔｉｏｎ）を利用してもっと圧縮的な表現で変換することを意味する。前記２次変換は、非分離変換（ｎｏｎ－ｓｅｐａｒａｂｌｅｔｒａｎｓｆｏｒｍ）を含むことができる。この場合、前記２次変換は、非分離２次変換（ｎｏｎ－ｓｅｐａｒａｂｌｅｓｅｃｏｎｄａｒｙｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）またはＭＤＮＳＳＴ（ｍｏｄｅ－ｄｅｐｅｎｄｅｎｔｎｏｎ－ｓｅｐａｒａｂｌｅｓｅｃｏｎｄａｒｙｔｒａｎｓｆｏｒｍ）と呼ばれることができる。前記非分離２次変換は、前記１次変換を介して導出された（１次）変換係数を非分離変換マトリクス（ｎｏｎ－ｓｅｐａｒａｂｌｅｔｒａｎｓｆｏｒｍｍａｔｒｉｘ）に基づいて２次変換してレジデュアル信号に対する修正された変換係数（または、２次変換係数）を生成する変換を示すことができる。ここで、前記非分離変換マトリクスに基づいて、前記（１次）変換係数に対して垂直変換及び水平変換を分離して（または、水平垂直変換を独立的に）適用せずに、一度に変換を適用することができる。即ち、前記非分離２次変換は、前記（１次）変換係数に対して垂直方向と水平方向に別に適用されずに、例えば、２次元信号（変換係数）を特定決められた方向（例えば、行優先（ｒｏｗ－ｆｉｒｓｔ）方向または列優先（ｃｏｌｕｍｎ－ｆｉｒｓｔ）方向）を介して１次元信号に再整列した後、前記非分離変換マトリクスに基づいて修正された変換係数（または、２次変換係数）を生成する変換方法を示すことができる。例えば、行優先順序は、Ｍ×Ｎブロックに対して１番目の行、２番目の行、...、Ｎ番目の行の順序に一列に配置することであり、列優先順序は、Ｍ×Ｎブロックに対して１番目の列、２番目の列、...、Ｍ番目の列の順序に一列に配置することである。前記非分離２次変換は、（１次）変換係数で構成されたブロック（以下、変換係数ブロックと呼ばれることができる）の左上端（ｔｏｐ－ｌｅｆｔ）領域に対して適用されることができる。例えば、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも８以上であると、８×８非分離２次変換が前記変換係数ブロックの左上端８×８領域に対して適用されることができる。また、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも４以上であり、前記変換係数ブロックの幅（Ｗ）または高さ（Ｈ）が８より小さいと、４×４非分離２次変換が前記変換係数ブロックの左上端ｍｉｎ（８、Ｗ）×ｍｉｎ（８、Ｈ）領域に対して適用されることができる。ただし、実施例は、これに限定されるものではなく、例えば、前記変換係数ブロックの幅（Ｗ）または高さ（Ｈ）が両方とも４以上である条件のみを満たしても、４×４非分離２次変換が前記変換係数ブロックの左上端ｍｉｎ（８、Ｗ）×ｍｉｎ（８、Ｈ）領域に対して適用されることもできる。

具体的に、例えば、４×４入力ブロックが使われる場合、非分離２次変換は、下記のように実行されることができる。

前記４×４入力ブロックＸは、以下のように示される。

前記Ｘをベクトル形態で表す場合、ベクトル

は、以下のように示される。

数式２のように、ベクトル

は、行優先（ｒｏｗ－ｆｉｒｓｔ）順序によって、数式１のＸの２次元ブロックを１次元ベクトルで再配列する。

この場合、前記２次非分離変換は、下記のように計算されることができる。

ここで、
は、変換係数ベクトルを示し、Ｔは、１６×１６（非分離）変換マトリクスを示す。

前記数式３を介して１６×１変換係数ベクトル

が導出されることができ、前記

は、スキャン順序（水平、垂直、対角（ｄｉａｇｏｎａｌ）等）を介して４×４ブロックで再構成（ｒｅ－ｏｒｇａｎｉｚｅｄ）されることができる。ただし、前述した計算は、例示に過ぎず、非分離２次変換の計算複雑度を減らすために、ＨｙＧＴ（Ｈｙｐｅｒｃｕｂｅ－ＧｉｖｅｎｓＴｒａｎｓｆｏｒｍ）などが非分離２次変換の計算のために使われることもできる。

一方、前記非分離２次変換は、モードベースの（ｍｏｄｅｄｅｐｅｎｄｅｎｔ）変換カーネル（または、変換コア、変換タイプ）が選択されることができる。ここで、モードは、イントラ予測モード及び／またはインター予測モードを含むことができる。

前述したように、前記非分離２次変換は、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）に基づいて決定された８×８変換または４×４変換に基づいて実行されることができる。８×８変換は、ＷとＨが両方とも８より大きいまたは同じ時、該当変換係数ブロック内部に含まれている８×８領域に適用されることができる変換を指し、該当８×８領域は、該当変換係数ブロック内部の左上端８×８領域である。同様に、４×４変換は、ＷとＨが両方とも４より大きいまたは同じ時、該当変換係数ブロック内部に含まれている４×４領域に適用されることができる変換を指し、該当４×４領域は、該当変換係数ブロック内部の左上端４×４領域である。例えば、８×８変換カーネルマトリクスは、６４×６４／１６×６４行列、４×４変換カーネルマトリクスは、１６×１６／８×１６行列になることができる。

このとき、モードベースの変換カーネル選択のために、８×８変換及び４×４変換の両方ともに対して非分離２次変換のための変換セット当たり２個ずつの非分離２次変換カーネルが構成されることができ、変換セットは、４個である。即ち、８×８変換に対して４個の変換セットが構成され、４×４変換に対して４個の変換セットが構成されることができる。この場合、８×８変換に対する４個の変換セットには、各々、２個ずつの８×８変換カーネルが含まれることができ、この場合、４×４変換に対する４個の変換セットには、各々、２個ずつの４×４変換カーネルが含まれることができる。

ただし、前記変換のサイズ、即ち、変換が適用される領域のサイズは、例示に過ぎず、８×８または４×４以外のサイズが使われることができ、前記セットの数はｎ個、各セット内の変換カーネルの数はｋ個である。

前記変換セットは、ＮＳＳＴセットまたはＬＦＮＳＴセットと呼ばれることができる。前記変換セットの中からの特定セットの選択は、例えば、現在ブロック（ＣＵまたはサブブロック）のイントラ予測モードに基づいて実行されることができる。ＬＦＮＳＴ（Ｌｏｗ－ＦｒｅｑｕｅｎｃｙＮｏｎ－ＳｅｐａｒａｂｌｅＴｒａｎｓｆｏｒｍ）は、後述される減少された非分離変換の一例であり、低周波成分に対する非分離変換を示す。

参考までに、例えば、イントラ予測モードは、２個の非方向性（ｎｏｎ－ｄｉｒｅｃｔｉｎｏａｌ、または非角度性（ｎｏｎ－ａｎｇｕｌａｒ））イントラ予測モードと、６５個の方向性（ｄｉｒｅｃｔｉｏｎａｌ、または角度性（ａｎｇｕｌａｒ））イントラ予測モードと、を含むことができる。前記非方向性イントラ予測モードは、０番であるプラナー（ｐｌａｎａｒ）イントラ予測モード及び１番であるＤＣイントラ予測モードを含むことができ、前記方向性イントラ予測モードは、２番乃至６６番の６５個のイントラ予測モードを含むことができる。ただし、これは例示に過ぎず、本文書は、イントラ予測モードの数が異なる場合にも適用されることができる。一方、場合によって、６７番イントラ予測モードがさらに使用されることができ、前記６７番イントラ予測モードは、ＬＭ（ｌｉｎｅａｒｍｏｄｅｌ）モードを示すことができる。

図６は、６５個の予測方向のイントラ方向性モードを例示的に示す。

図６を参照すると、右下向対角予測方向を有する３４番イントラ予測モードを中心にして、水平方向性（ｈｏｒｉｚｏｎｔａｌｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードと、垂直方向性（ｖｅｒｔｉｃａｌｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードと、を区分することができる。図６のＨとＶは、各々、水平方向性と垂直方向性を意味し、－３２～３２の数字は、サンプルグリッドポジション（ｓａｍｐｌｅｇｒｉｄｐｏｓｉｔｉｏｎ）上で１／３２単位の変位を示す。これはモードインデックス値に対するオフセットを示すことができる。２番乃至３３番イントラ予測モードは水平方向性を有し、３４番乃至６６番イントラ予測モードは垂直方向性を有する。一方、３４番イントラ予測モードは、厳密には、水平方向性でも垂直方向性でもないとみることができるが、２次変換の変換セットを決定する観点で水平方向性に属すると分類されることができる。これは、３４番イントラ予測モードを中心にして対称である垂直方向モードに対しては入力データをトランスポーズ（ｔｒａｎｓｐｏｓｅ）して使用し、３４番イントラ予測モードに対しては水平方向モードに対する入力データ整列方式を使用するためである。入力データをトランスポーズすることは、２次元ブロックデータＭ×Ｎに対して行が列になり、列が行になってＮ×Ｍデータを構成することを意味する。１８番イントラ予測モードと５０番イントラ予測モードは、各々、水平イントラ予測モード（ｈｏｒｉｚｏｎｔａｌｉｎｔｒａｐｒｅｄｉｃｔｉｏｎｍｏｄｅ）、垂直イントラ予測モード（ｖｅｒｔｉｃａｌｉｎｔｒａｐｒｅｄｉｃｔｉｏｎｍｏｄｅ）を示し、２番イントラ予測モードは、左側参照ピクセルを有して右上向方向に予測するため、右上向対角イントラ予測モードと呼ばれることができ、同じ脈絡で、３４番イントラ予測モードは右下向対角イントラ予測モードと呼ばれ、６６番イントラ予測モードは左下向対角イントラ予測モードと呼ばれることができる。

一例によって、イントラ予測モードによって４個の変換セットのマッピング（ｍａｐｐｉｎｇ）は、例えば、以下の表のように示される。

表２のように、イントラ予測モードによって、４個の変換セットのうちいずれか一つ、即ち、ｌｆｎｓｔＴｒＳｅｔＩｄｘが０から３、即ち、４個のうちいずれか一つにマッピングされることができる。

一方、非分離変換に特定セットが使われると決定される場合、非分離２次変換インデックスを介して前記特定セット内のｋ個の変換カーネルの中から一つが選択されることができる。エンコーディング装置は、ＲＤ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）チェックに基づいて特定変換カーネルを指す非分離２次変換インデックスを導出することができ、前記非分離２次変換インデックスをデコーディング装置にシグナリングできる。デコーディング装置は、前記非分離２次変換インデックスに基づいて特定セット内のｋ個の変換カーネルの中から一つを選択することができる。例えば、ｌｆｎｓｔインデックス値０は、１番目の非分離２次変換カーネルを指すことができ、ｌｆｎｓｔインデックス値１は、２番目の非分離２次変換カーネルを指すことができ、ｌｆｎｓｔインデックス値２は、３番目の非分離２次変換カーネルを指すことができる。または、ｌｆｎｓｔインデックス値０は、対象ブロックに対して１番目の非分離２次変換が適用されないことを指すことができ、ｌｆｎｓｔインデックス値１乃至３は、前記３個の変換カーネルを指すことができる。

変換部は、選択された変換カーネルに基づいて前記非分離２次変換を実行して修正された（２次）変換係数を取得することができる。前記修正された変換係数は、前述したように、量子化部を介して量子化された変換係数として導出されることができ、エンコーディングされてデコーディング装置にシグナリング及びエンコーディング装置内の逆量子化／逆変換部に伝達されることができる。

一方、前述したように、２次変換が省略される場合、前記１次（分離）変換の出力である（１次）変換係数が、前述したように、量子化部を介して量子化された変換係数として導出されることができ、エンコーディングされてデコーディング装置にシグナリング及びエンコーディング装置内の逆量子化／逆変換部に伝達されることができる。

逆変換部は、前述した変換部で実行された手順の逆順に一連の手順を実行することができる。逆変換部は、（逆量子化された）変換係数を受信し、２次（逆）変換を実行して（１次）変換係数を導出し（Ｓ５５０）、前記（１次）変換係数に対して１次（逆）変換を実行してレジデュアルブロック（レジデュアルサンプルら）を取得することができる（Ｓ５６０）。ここで、前記１次変換係数は、逆変換部立場で修正された（ｍｏｄｉｆｉｅｄ）変換係数と呼ばれることができる。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロックと予測されたブロックとに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成することができることは、前述の通りである。

一方、デコーディング装置は、２次逆変換適用可否決定部（または、２次逆変換の適用可否を決定する要素）と、２次逆変換決定部（または、２次逆変換を決定する要素）をさらに含むことができる。２次逆変換適用可否決定部は、２次逆変換の適用可否を決定することができる。例えば、２次逆変換は、ＮＳＳＴ、ＲＳＴまたはＬＦＮＳＴであり、２次逆変換適用可否決定部は、ビットストリームからパーシングした２次変換フラグに基づいて２次逆変換の適用可否を決定することができる。他の一例として、２次逆変換適用可否決定部は、レジデュアルブロックの変換係数に基づいて２次逆変換の適用可否を決定することもできる。

２次逆変換決定部は、２次逆変換を決定することができる。このとき、２次逆変換決定部は、イントラ予測モードによって指定されたＬＦＮＳＴ（ＮＳＳＴまたはＲＳＴ）変換セットに基づいて現在ブロックに適用される２次逆変換を決定することができる。また、一実施例として、１次変換決定方法に依存的に（ｄｅｐｅｎｄｏｎ）２次変換決定方法が決定されることができる。イントラ予測モードによって、１次変換と２次変換の多様な組み合わせが決定されることができる。また、一例として、２次逆変換決定部は、現在ブロックの大きさに基づいて２次逆変換が適用される領域を決定することもできる。

一方、前述したように、２次（逆）変換が省略される場合、（逆量子化された）変換係数を受信して前記１次（分離）逆変換を実行することでレジデュアルブロック（レジデュアルサンプル）を取得することができる。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロックと予測されたブロックに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成することができることは、前述の通りである。

一方、本文書では非分離２次変換による計算量とメモリ要求量の低減のために、ＮＳＳＴの概念で変換マトリクス（カーネル）の大きさが減少されたＲＳＴ（ｒｅｄｕｃｅｄｓｅｃｏｎｄａｒｙｔｒａｎｓｆｏｒｍ）を適用することができる。

一方、本文書で説明された変換カーネル、変換マトリクス、変換カーネルマトリクスを構成する係数、即ち、カーネル係数またはマトリクス係数は８ビットで表現されることができる。これはデコーディング装置及びエンコーディング装置で具現されるための一つの条件であり、既存の９ビットまたは１０ビットと比較して合理的に受け入れることができる性能低下と共に、変換カーネルを格納するためのメモリ要求量を減らすことができる。また、カーネルマトリクスを８ビットで表現することによって小さい掛け算器を使用することができ、最適のソフトウェア具現のために使われるＳＩＭＤ（ＳｉｎｇｌｅＩｎｓｔｒｕｃｔｉｏｎＭｕｌｔｉｐｌｅＤａｔａ）命令にさらに適合できる。

本明細書において、ＲＳＴは、簡素化ファクタ（ｆａｃｔｏｒ）によって大きさが減少された変換マトリクス（ｔｒａｎｓｆｏｒｍｍａｔｒｉｘ）に基づいて、対象ブロックに対するレジデュアルサンプルに対して実行される変換を意味することができる。簡素化変換を実行する場合、変換マトリクスの大きさ減少によって変換時に要求される演算量が減少されることができる。即ち、ＲＳＴは、大きさが大きいブロックの変換または非分離変換時に発生する演算複雑度（ｃｏｍｐｌｅｘｉｔｙ）問題を解消するために利用されることができる。

ＲＳＴは、減少された変換、減少変換、ｒｅｄｕｃｅｄｔｒａｎｓｆｏｒｍ、ｒｅｄｕｃｅｄｓｅｃｏｎｄａｒｙｔｒａｎｓｆｏｒｍ、ｒｅｄｕｃｔｉｏｎｔｒａｎｓｆｏｒｍ、ｓｉｍｐｌｉｆｉｅｄｔｒａｎｓｆｏｒｍ、ｓｉｍｐｌｅｔｒａｎｓｆｏｒｍなど、多様な用語で呼ばれることができ、ＲＳＴと呼ばれる名称は、羅列された例示に限定されるものではない。または、ＲＳＴは、主に変換ブロックで０でない係数を含む低周波領域で行われるため、ＬＦＮＳＴ（Ｌｏｗ－ＦｒｅｑｕｅｎｃｙＮｏｎ－ＳｅｐａｒａｂｌｅＴｒａｎｓｆｏｒｍ）と呼ばれることもできる。前記変換インデックスは、ＬＦＮＳＴインデックスと命名されることができる。

一方、２次逆変換がＲＳＴに基づいて行われる場合、エンコーディング装置２００の逆変換部２３５とデコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴに基づいて修正された変換係数を導出する逆ＲＳＴ部と、修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出する逆１次変換部と、を含むことができる。逆１次変換は、レジデュアルに適用された１次変換の逆変換を意味する。本文書で変換に基づいて変換係数を導出することは、該当変換を適用して変換係数を導出するのを意味することができる。

図７は、本文書の一実施例に係るＲＳＴを説明するための図である。

本明細書において、「対象ブロック」は、コーディングが実行される現在ブロックまたはレジデュアルブロックまたは変換ブロックを意味することができる。

一実施例に係るＲＳＴで、Ｎ次元ベクトル（Ｎｄｉｍｅｎｓｉｏｎａｌｖｅｃｔｏｒ）が異なる空間に位置したＲ次元ベクトル（Ｒｄｉｍｅｎｓｉｏｎａｌｖｅｃｔｏｒ）にマッピングされて減少された変換マトリクスが決定されることができ、ここで、Ｒは、Ｎより小さい。Ｎは、変換が適用されるブロックの一辺の長さ（ｌｅｎｇｔｈ）の自乗または変換が適用されるブロックと対応される変換係数の総個数を意味することができ、簡素化ファクタは、Ｒ／Ｎ値を意味することができる。簡素化ファクタは、減少されたファクタ、減少ファクタ、ｒｅｄｕｃｅｄｆａｃｔｏｒ、ｒｅｄｕｃｔｉｏｎｆａｃｔｏｒ、ｓｉｍｐｌｉｆｉｅｄｆａｃｔｏｒ、ｓｉｍｐｌｅｆａｃｔｏｒなど、多様な用語で呼ばれることができる。一方、Ｒは、簡素化係数（ｒｅｄｕｃｅｄｃｏｅｆｆｉｃｉｅｎｔ）と呼ばれることができるが、場合によっては、簡素化ファクタがＲを意味することもできる。また、場合によって、簡素化ファクタは、Ｎ／Ｒ値を意味することもできる。

一実施例において、簡素化ファクタまたは簡素化係数は、ビットストリームを介してシグナリングされることができるが、実施例がこれに限定されるものではない。例えば、簡素化ファクタまたは簡素化係数に対する既定義された値が各エンコーディング装置２００及びデコーディング装置３００に格納されている場合があり、この場合、簡素化ファクタまたは簡素化係数は、別途にシグナリングされない。

一実施例に係る簡素化変換マトリクスのサイズは、通常の変換マトリクスのサイズＮ×Ｎより小さいＲ×Ｎであり、以下の数式４のように定義されることができる。

図７の（ａ）に示すＲｅｄｕｃｅｄＴｒａｎｓｆｏｒｍブロック内のマトリクスＴは、数式４のマトリクスＴＲ×Ｎを意味することができる。図７の（ａ）のように、対象ブロックに対するレジデュアルサンプルに対して簡素化変換マトリクスＴＲ×Ｎが掛けられる場合、対象ブロックに対する変換係数が導出されることができる。

一実施例において、変換が適用されるブロックのサイズが８×８であり、Ｒ＝１６（即ち、Ｒ／Ｎ＝１６／６４＝１／４）である場合、図７の（ａ）によるＲＳＴは、以下の数式５のような行列演算で表現されることができる。この場合、メモリと掛け演算が簡素化ファクタにより概略１／４に減少できる。

本文書において、行列演算とは、行列を列ベクトルの左側に置いて行列と列ベクトルをかけて列ベクトルを得る演算と理解されることができる。

数式５において、ｒ_１乃至ｒ_６４は、対象ブロックに対するレジデュアルサンプルを示すことができ、より具体的に、１次変換を適用して生成された変換係数である。数式５の演算結果、対象ブロックに対する変換係数ｃ_ｉが導出されることができ、ｃ_ｉの導出過程は、数式６の通りである。

数式６の演算結果、対象ブロックに対する変換係数ｃ_１乃至ｃ_Ｒが導出されることができる。即ち、Ｒ＝１６である場合、対象ブロックに対する変換係数ｃ_１乃至ｃ_１６が導出されることができる。もし、ＲＳＴではなく通常の（ｒｅｇｕｌａｒ）変換が適用されてサイズが６４×６４（Ｎ×Ｎ）である変換マトリクスが、サイズが６４×１（Ｎ×１）であるレジデュアルサンプルに掛けられた場合、対象ブロックに対する変換係数が６４個（Ｎ個）が導出されるが、ＲＳＴが適用されたため、対象ブロックに対する変換係数が１６個（Ｒ個）のみ導出される。対象ブロックに対する変換係数の総個数がＮ個からＲ個に減少してエンコーディング装置２００がデコーディング装置３００に送信するデータの量が減少するため、エンコーディング装置２００－デコーディング装置３００間の送信効率が増加できる。

変換マトリクスのサイズ観点で検討すると、通常の変換マトリクスのサイズは６４×６４（Ｎ×Ｎ）であり、簡素化変換マトリクスのサイズは１６×６４（Ｒ×Ｎ）に減少するため、通常の変換を実行する時と比較すると、ＲＳＴを実行する時にメモリ使用をＲ／Ｎ割合に減少させることができる。また、通常の変換マトリクスを利用する時の掛け算演算数Ｎ×Ｎと比較すると、簡素化変換マトリクスを利用する場合、掛け算演算数をＲ／Ｎ割合に減少（Ｒ×Ｎ）させることができる。

一実施例において、エンコーディング装置２００の変換部２３２は、対象ブロックに対するレジデュアルサンプルを１次変換及びＲＳＴベースの２次変換を実行することによって対象ブロックに対する変換係数を導出することができる。このような変換係数は、デコーディング装置３００の逆変換部に伝達されることができ、デコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴ（ｒｅｄｕｃｅｄｓｅｃｏｎｄａｒｙｔｒａｎｓｆｏｒｍ）に基づいて修正された変換係数を導出し、修正された変換係数に対する逆１次変換に基づいて対象ブロックに対するレジデュアルサンプルを導出することができる。

一実施例に係る逆ＲＳＴマトリクスＴ_Ｎ×Ｒのサイズは、通常の逆変換マトリクスのサイズＮ×Ｎより小さいＮ×Ｒであり、数式４に示す簡素化変換マトリクスＴ_Ｒ×Ｎとトランスポーズ（ｔｒａｎｓｐｏｓｅ）関係にある。

図７の（ｂ）に示すＲｅｄｕｃｅｄＩｎｖ．Ｔｒａｎｓｆｏｒｍブロック内のマトリクスＴ^ｔは、逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔを意味することができる（上付き文字Ｔは、トランスポーズを意味する）。図７の（ｂ）のように、対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔが掛けられる場合、対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルが導出されることができる。逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔは、（Ｔ_Ｒ×Ｎ）^Ｔ _Ｎ×Ｒで表現することもできる。

より具体的に、２次逆変換として逆ＲＳＴが適用される場合には、対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔが掛けられると、対象ブロックに対する修正された変換係数が導出されることができる。一方、逆１次変換として逆ＲＳＴが適用されることができ、この場合、対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔが掛けられると、対象ブロックに対するレジデュアルサンプルが導出されることができる。

一実施例において、逆変換が適用されるブロックのサイズが８×８であり、Ｒ＝１６（即ち、Ｒ／Ｎ＝１６／６４＝１／４である場合）である場合、図７の（ｂ）によるＲＳＴは、以下の数式７のような行列演算で表現されることができる。

数式７において、ｃ_１乃至ｃ_１６は、対象ブロックに対する変換係数を示すことができる。数式７の演算結果、対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルを示すｒ_ｉが導出されることができ、ｒ_ｉの導出過程は、数式８の通りである。

数式８の演算結果、対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルを示すｒ_１乃至ｒ_Ｎが導出されることができる。逆変換マトリクスのサイズ観点で検討すると、通常の逆変換マトリクスのサイズは６４×６４（Ｎ×Ｎ）であり、簡素化逆変換マトリクスのサイズは６４×１６（Ｎ×Ｒ）に減少するため、通常の逆変換を実行する時と比較すると、逆ＲＳＴを実行する時にメモリ使用をＲ／Ｎ割合に減少させることができる。また、通常の逆変換マトリクスを利用する時の掛け算演算数Ｎ×Ｎと比較すると、簡素化逆変換マトリクスを利用する場合、掛け算演算数をＲ／Ｎ割合に減少（Ｎ×Ｒ）させることができる。

一方、８×８ＲＳＴに対しても、表２のような変換セット構成を適用することができる。即ち、表２での変換セットによって該当８×８ＲＳＴが適用されることができる。一つの変換セットは、画面内の予測モードによって２個または３個の変換（カーネル）で構成されているため、２次変換を適用しないとまで含んで最大４個の変換の中から一つを選択するように構成されることができる。２次変換を適用しない時の変換は、恒等行列が適用されたと見なされることができる。４個の変換に対して各々０、１、２、３のインデックスを付与するとした時（例えば、０番インデックスを恒等行列、即ち、２次変換を適用しない場合で割り当てることができる）、変換インデックスまたはｌｆｎｓｔインデックスというシンタックス要素（ｓｙｎｔａｘｅｌｅｍｅｎｔ）を変換係数ブロック毎にシグナリングして適用される変換を指定することができる。即ち、変換インデックスを介して８×８左上端ブロックに対して、ＲＳＴ構成では８×８ＲＳＴを指定することができ、またはＬＦＮＳＴが適用される場合、８×８ｌｆｎｓｔを指定することができる。８×８ｌｆｎｓｔ及び８×８ＲＳＴは、変換の対象になる対象ブロックのＷとＨが両方とも８より大きいまたは同じ時、該当変換係数ブロック内部に含まれている８×８領域に適用されることができる変換を指し、該当８×８領域は、該当変換係数ブロック内部の左上端８×８領域である。同様に、４×４ｌｆｎｓｔ及び４×４ＲＳＴは、対象ブロックのＷとＨが両方とも４より大きいまたは同じ時、該当変換係数ブロック内部に含まれている４×４領域に適用されることができる変換を指し、該当４×４領域は該当変換係数ブロック内部の左上端４×４領域である。

一方、本文書の一実施例によって、エンコーディング過程の変換で、８×８領域を構成する６４個のデータに対して１６×６４変換カーネルマトリクスでない、４８個のデータのみを選択して最大１６×４８変換カーネルマトリクスを適用することができる。ここで、「最大」とは、ｍ個の係数を生成することができるｍ×４８変換カーネルマトリクスに対してｍの最大値が１６であることを意味する。即ち、８×８領域にｍ×４８変換カーネルマトリクス（ｍ≦１６）を適用してＲＳＴを実行する場合、４８個のデータの入力を受けてｍ個の係数を生成することができる。ｍが１６である場合、４８個のデータの入力を受けて１６個の係数を生成する。即ち、４８個のデータが４８×１ベクトルをなすとした時、１６×４８行列と４８×１ベクトルをじゅんにかけて１６×１ベクトルが生成されることができる。このとき、８×８領域をなす４８個のデータを適切に配列して４８×１ベクトルを構成することができる。例えば、８×８領域のうち右下端４×４領域を除外した領域を構成する４８個のデータに基づいて４８×１ベクトルを構成することができる。このとき、最大１６×４８変換カーネルマトリクスを適用して行列演算を実行すると、１６個の修正された変換係数が生成され、１６個の修正された変換係数は、スキャニング順序によって左上端４×４領域に配置されることができ、右上端４×４領域と左下端４×４領域は、０で満たされることができる。

デコーディング過程の逆変換には前記叙述された変換カーネルマトリクスのトランスポーズされたマトリクスが使われることができる。即ち、デコーディング装置で実行される逆変換過程として逆ＲＳＴまたはＬＦＮＳＴが実行される場合、逆ＲＳＴを適用する入力係数データは、所定の配列順序によって１次元ベクトルで構成され、１次元ベクトルに該当逆ＲＳＴ行列を左側でかけて得られた修正された係数ベクトルを所定の配列順序によって２次元ブロックに配列されることができる。

整理すると、変換過程で、８×８領域にＲＳＴまたはＬＦＮＳＴが適用される場合、８×８領域の変換係数のうち、８×８領域の右下端領域を除外した左上端、右上端、左下端領域の４８個変換係数と１６×４８の変換カーネルマトリクスとの行列演算が実行される。行列演算のために、４８個の変換係数は、１次元配列で入力される。このような行列演算が実行されると、１６個の修正された変換係数が導出され、修正された変換係数は、８×８領域の左上端領域に配列されることができる。

逆に、逆変換過程で、８×８領域に逆ＲＳＴまたはＬＦＮＳＴが適用される場合、８×８領域の変換係数のうち８×８領域の左上端に対応する１６個の変換係数は、スキャニング順序によって１次元配列形態で入力されて４８×１６の変換カーネルマトリクスと行列演算されることができる。即ち、このような場合の行列演算は、（４８×１６行列）＊（１６×１変換係数ベクトル）＝（４８×１修正された変換係数ベクトル）で表すことができる。ここで、ｎ×１ベクトルは、ｎ×１行列のような意味で解釈されることができるため、ｎ×１列ベクトルで表記されることもできる。また、＊は、行列掛け算演算を意味する。このような行列演算が実行される場合、４８個の修正された変換係数が導出されることができ、４８個の修正された変換係数は、８×８領域の右下端領域を除外した左上端、右上端、左下端領域に配列されることができる。

一方、２次逆変換がＲＳＴに基づいて行われる場合、エンコーディング装置２００の逆変換部２３５とデコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴに基づいて修正された変換係数を導出する逆ＲＳＴ部と、修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出する逆１次変換部と、を含むことができる。逆１次変換は、レジデュアルに適用された１次変換の逆変換を意味する。本文書において、変換に基づいて変換係数を導出することは、該当変換を適用して変換係数を導出することを意味することができる。

詳述された非分離変換、ＬＦＮＳＴに対して具体的にみると、以下の通りである。ＬＦＮＳＴは、エンコーディング装置による順方向（ｆｏｒｗａｒｄ）変換とデコーディング装置による逆方向（ｉｎｖｅｒｓｅ）変換とを含むことができる。

エンコーディング装置は、順方向１次変換（ｐｒｉｍａｒｙ（ｃｏｒｅ）ｔｒａｎｓｆｏｒｍ）を適用した後に導出された結果（または、結果の一部）を入力とし、順方向２次変換（ｓｅｃｏｎｄａｒｙｔｒａｎｓｆｏｒｍ）を適用する。

前記数式９において、ｘとｙは、各々、２次変換の入力と出力であり、Ｇは、２次変換を示す行列であって、変換基底ベクトル（ｔｒａｎｓｆｏｒｍｂａｓｉｓｖｅｃｔｏｒ）は、列ベクトルで構成される。逆方向ＬＦＮＳＴの場合、変換行列Ｇの次元（ｄｉｍｅｎｓｉｏｎ）を［ｒｏｗ数×ｃｏｌｕｍｎ数］で表記した時、順方向ＬＦＮＳＴの場合、行列Ｇのトランスポーズを行ったものがＧ^Ｔの次元になる。

逆方向ＬＦＮＳＴの場合、行列Ｇの次元は、［４８×１６］、［４８×８］、［１６×１６］、［１６×８］になり、［４８×８］行列と［１６×８］行列は、各々、［４８×１６］行列と［１６×１６］行列の左側から８個の変換基底ベクトルをサンプリングした部分行列である。

それに対して、順方向ＬＦＮＳＴの場合、行列Ｇ^Ｔの次元は［１６×４８］、［８×４８］、［１６×１６］、［８×１６］になり、［８×４８］行列と［８×１６］行列は、各々、［１６×４８］行列と［１６×１６］行列の上側から８個の変換基底ベクトルをサンプリングした部分行列である。

したがって、順方向ＬＦＮＳＴの場合、入力ｘとしては［４８×１］ベクトルまたは［１６×１］ベクトルが可能であり、出力ｙとしては［１６×１］ベクトルまたは［８×１］ベクトルが可能である。ビデオコーディング及びデコーディングにおける順方向１次変換の出力は、二次元（２Ｄ）データであるため、入力ｘとして［４８×１］ベクトルまたは［１６×１］ベクトルを構成するために、順方向変換の出力である２Ｄデータを適切に配列して１次元ベクトルを構成しなければならない。

図８は、一例によって順方向１次変換の出力データを１次元ベクトルに配列する順序を示す図である。図８の（ａ）及び（ｂ）の左側図は、［４８×１］ベクトルを作成するための順序を示し、図８の（ａ）及び（ｂ）の右側図は、［１６×１］ベクトルを作成するための順序を示す。ＬＦＮＳＴの場合、図８の（ａ）及び（ｂ）のような順序に、２Ｄデータを順次に配列して一次元ベクトルｘを得ることができる。

このような順方向１次変換の出力データの配列方向は、現在ブロックのイントラ予測モードによって決定されることができる。例えば、現在ブロックのイントラ予測モードが対角線方向を基準にして水平方向である場合、順方向１次変換の出力データは、図８の（ａ）の順序に配列されることができ、現在ブロックのイントラ予測モードが対角線方向を基準にして垂直方向である場合、順方向１次変換の出力データは、図８の（ｂ）の順序に配列されることができる。

一例によって、図８の（ａ）及び（ｂ）の配列順序（ｏｒｄｅｒｉｎｇ）と異なる配列順序を適用することができ、図８の（ａ）及び（ｂ）の配列順序を適用した時と同じ結果（ｙベクトル）を導出しようとする場合は、行列Ｇの列ベクトルを該当配列順序に合わせて再配列すればよい。即ち、ｘベクトルを構成する各要素に対して常に同じ変換基底ベクトルと掛けられるようにＧの列ベクトルを再配置することができる。

数式９を介して導出される出力ｙは、一次元ベクトルであるため、もし、順方向２次変換の結果を入力として処理する構成、例えば、量子化またはレジデュアルコーディングを実行する構成が入力データとして２次元データが必要である場合、数式９の出力ｙベクトルは、再び２Ｄデータで適切に配置されなければならない。

図９は、一例によって順方向２次変換の出力データを２次元ブロックに配列する順序を示す図である。

ＬＦＮＳＴの場合、決められたスキャン順序によって２Ｄブロックに配置されることができる。図９の（ａ）は、出力ｙが［１６×１］ベクトルである場合、２次元ブロックの１６個の位置に対角スキャン（ｄｉａｇｏｎａｌｓｃａｎ）順序によって出力値が配置されることを示す。図９の（ｂ）は、出力ｙが［８×１］ベクトルである場合、２次元ブロックの８個の位置に対角スキャン順序によって出力値が配置され、残り８個の位置には０で満たされることを示す。図９の（ｂ）のＸは、０で満たされることを示す。

他の例によって、量子化またはレジデュアルコーディングを実行する構成により出力ベクトルｙが処理される順序は、既設定された順序により実行できるため、図９のように出力ベクトルｙが２Ｄブロックに配置されないことがある。ただし、レジデュアルコーディングの場合、ＣＧ（ＣｏｅｆｆｉｃｉｅｎｔＧｒｏｕｐ）のような２Ｄブロック（例えば、４×４）単位でデータコーディングが実行されることができ、この場合、図９の対角スキャン順序のように特定順序によってデータが配列されることができる。

一方、デコーディング装置は、逆方向変換のために逆量子化過程などを介して出力された２次元データを既設定されたスキャン順序によって羅列して１次元入力ベクトルであるｙを構成することができる。入力ベクトルｙは、下記数式により入力ベクトルｘとして出力されることができる。

逆方向ＬＦＮＳＴの場合、［１６×１］ベクトルまたは［８×１］ベクトルである入力ベクトルｙにＧ行列を掛けることによって、出力ベクトルｘを導出することができる。逆方向ＬＦＮＳＴの場合、出力ベクトルｘは、［４８×１］ベクトルまたは［１６×１］ベクトルである。

出力ベクトルｘは、図８に示す順序によって２次元ブロックに配置されて２次元データで配列され、このような２次元データは、逆方向１次変換の入力データ（または、入力データの一部）になる。

したがって、逆方向２次変換は、全体的に順方向２次変換過程と反対であり、逆変換の場合、順方向と違って、逆方向２次変換を先に適用した後に逆方向１次変換を適用するようになる。

逆方向ＬＦＮＳＴでは変換行列Ｇとして［４８×１６］行列８個と［１６×１６］行列８個の中から一つが選択されることができる。［４８×１６］行列と［１６×１６］行列のうちどの行列を適用するかは、ブロックの大きさともようによって決定される。

また、８個の行列は、前述された表２のように４個の変換セットから導出されることができ、各変換セットは、２個の行列で構成されることができる。４個の変換セットのうちどの変換セットを使用するかは、イントラ予測モードによって決定され、より具体的に、広角イントラ予測モード（ＷｉｄｅＡｎｇｌｅＩｎｔｒａＰｒｅｄｉｃｔｉｏｎ、ＷＡＩＰ）まで考慮して拡張されたイントラ予測モード値に基づいて変換セットが決定される。選択された変換セットを構成する２個の行列の中からどの行列を選択するかは、インデックスシグナリング（ｉｎｄｅｘｓｉｇｎａｌｉｎｇ）を介して導出される。より具体的に、送信されるインデックス値では０、１、２が可能であり、０は、ＬＦＮＳＴを適用しないことを指示し、１と２は、イントラ予測モード値に基づいて選択された変換セットを構成する２個の変換行列のうちいずれか一つを指示することができる。

図１０は、本文書の一実施例に係る広角イントラ予測モードを示す図である。

一般的なイントラ予測モード値は、０～６６と８１～８３までの値を有することができ、図示されたように、ＷＡＩＰによって拡張されたイントラ予測モード値は、－１４～８３までの値を有することができる。８１～８３までの値は、ＣＣＬＭ（ＣｒｏｓｓＣｏｍｐｏｏｎｅｎｔＬｉｎｅａｒＭｏｄｅｌ）モードを指し、－１４～－１までの値と６７～８０までの値は、ＷＡＩＰ適用によって拡張されたイントラ予測モード値を指す。

予測現在ブロックの幅が高さより大きい場合、一般的に上側参照ピクセルが予測しようとするブロック内部の位置ともっと近い。したがって、右上端（ｔｏｐ－ｒｉｇｈｔ）方向に予測することより左下端（ｂｏｔｔｏｍ－ｌｅｆｔ）方向に予測することがより正確である。それに対して、ブロックの高さが幅より大きい場合は、左側参照ピクセルが予測しようとするブロック内部の位置と一般的に近い。したがって、左下端（ｂｏｔｔｏｍ－ｌｅｆｔ）方向に予測することより右上端（ｔｏｐ－ｒｉｇｈｔ）方向に予測することがより正確である。したがって、広角イントラ予測モードのインデックスでリマッピング、即ち、モードインデックス変換を適用することが有利である。

広角イントラ予測が適用される場合、既存のイントラ予測に対する情報がシグナリングされることができ、前記情報がパーシングされた以後、前記情報が前記広角イントラ予測モードのインデックスでリマッピングされることができる。したがって、特定ブロック（例えば、特定サイズの非正方形ブロック）に対する総イントラ予測モードの数は変更されなく、即ち、総イントラ予測モードの数は６７個であり、前記特定ブロックに対するイントラ予測モードコーディングは変更されない。

以下の表３は、イントラ予測モードを広角イントラ予測モードにリマッピングして修正されたイントラモードを導出する過程を示している。

表３において、最終的にｐｒｅｄＭｏｄｅＩｎｔｒａ変数に拡張されたイントラ予測モード値が格納され、ＩＳＰ＿ＮＯ＿ＳＰＬＩＴは、現在ＶＶＣ標準に採択されたＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓ（ＩＳＰ）技術によりＣＵブロックがサブパーティションに分割されないことを示し、ｃＩｄｘ変数値が０、１、２であることは、各々、ルマ、Ｃｂ、Ｃｒコンポーネントである場合を指す。表３に示すＬｏｇ２関数は、ベース（ｂａｓｅ）が２であるログ値をリターンし、Ａｂｓ関数は、絶対値をリターンする。

広角イントラ予測モードのマッピング過程（Ｗｉｄｅａｎｇｌｅｉｎｔｒａｐｒｅｄｉｃｔｉｏｎｍｏｄｅｍａｐｐｉｎｇｐｒｏｃｅｓｓ）の入力値として、イントラ予測モードを指示する変数ｐｒｅｄＭｏｄｅＩｎｔｒａ、変換ブロックの高さ及び幅などが使われ、出力値は、修正されたイントラ予測モード（ｔｈｅｍｏｄｉｆｉｅｄｉｎｔｒａｐｒｅｄｉｃｔｉｏｎｍｏｄｅｐｒｅｄＭｏｄｅＩｎｔｒａ）になる。変換ブロックまたはコーディングブロックの高さ及び幅が、イントラ予測モードのリマッピングのための現在ブロックの高さ及び幅になることができる。このとき、幅と高の比率を反映する変数ｗｈＲａｔｉｏは、Ａｂｓ（Ｌｏｇ２（ｎＷ／ｎＨ））に設定されることができる。

正方形でないブロックに対して、イントラ予測モードは、二つの場合に区分されて修正されることができる。

まず、（１）現在ブロックの幅が高さより大きい、（２）修正前のイントラ予測モードが２より大きいまたは同じ、（３）イントラ予測モードが、変数ｗｈＲａｔｉｏが１より大きい場合は（８＋２＊ｗｈＲａｔｉｏ）であり、変数ｗｈＲａｔｉｏが１より小さいまたは同じ場合は８であって、導出される値より小さい［ｐｒｅｄＭｏｄｅＩｎｔｒａｉｓｌｅｓｓｔｈａｎ（ｗｈＲａｔｉｏ>１）？（８＋２＊ｗｈＲａｔｉｏ）：８］という全ての条件を満たす場合、イントラ予測モードは、イントラ予測モードより６５大きい値に設定される［ｐｒｅｄＭｏｄｅＩｎｔｒａｉｓｓｅｔｅｑｕａｌｔｏ（ｐｒｅｄＭｏｄｅＩｎｔｒａ＋６５）］。

前記と異なる場合、（１）現在ブロックの高さが幅より大きい、（２）修正前のイントラ予測モードが６６より小さいまたは同じ、（３）イントラ予測モードが、変数ｗｈＲａｔｉｏが１より大きい場合は（６０－２＊ｗｈＲａｔｉｏ）であり、変数ｗｈＲａｔｉｏが１より小さいまたは同じ場合は６０であって、導出される値より大きい［ｐｒｅｄＭｏｄｅＩｎｔｒａｉｓｇｒｅａｔｅｒｔｈａｎ（ｗｈＲａｔｉｏ>１）？（６０－２＊ｗｈＲａｔｉｏ）：６０］という全ての条件を満たす場合、イントラ予測モードは、イントラ予測モードより６７小さい値に設定される［ｐｒｅｄＭｏｄｅＩｎｔｒａｉｓｓｅｔｅｑｕａｌｔｏ（ｐｒｅｄＭｏｄｅＩｎｔｒａ－６７）］。

前述された表２は、ＬＦＮＳＴでＷＡＩＰにより拡張されたイントラ予測モード値に基づいて変換セットがどのように選択されるかを示している。図１０のように、１４～３３までのモードと３５～８０までのモードは、モード３４を中心にして予測方向観点で互いに対称である。例えば、モード１４とモード５４は、モード３４に該当する方向を中心にして対称である。したがって、互いに対称となる方向に位置するモードどうしは同じ変換セットを適用するようになり、表２でもこのような対称性が反映されている。

ただし、モード５４に対する順方向ＬＦＮＳＴ入力データは、モード１４に対する順方向ＬＦＮＳＴ入力データと対称を成すことを仮定する。例えば、モード１４とモード５４に対しては、各々、図８の（ａ）と図８の（ｂ）に示す配列順序によって２次元データを１次元データで再配列するようになり、図８の（ａ）と図８の（ｂ）に示す順序のパターンは、モード３４が指す方向（対角線方項）を中心にして対称であることを知ることができる。

一方、前述したように、［４８×１６］行列と［１６×１６］行列のうちどの変換行列をＬＦＮＳＴに適用するかは、変換対象ブロックの大きさともようにより決定される。

図１１は、ＬＦＮＳＴが適用されるブロックもようを示す図である。図１１の（ａ）は４×４ブロックを、（ｂ）は４×８及び８×４ブロックを、（ｃ）はＮが１６以上である４×ＮまたはＮ×４ブロックを、（ｄ）は８×８ブロックを、（ｅ）はＭ≧８、Ｎ≧８であり、Ｎ〉８またはＭ〉８であるＭ×Ｎブロックを示している。

図１１で太い枠のブロックがＬＦＮＳＴが適用される領域を指す。図１１の（ａ）及び（ｂ）のブロックに対しては左上端（ｔｏｐ－ｌｅｆｔ）４×４領域に対してＬＦＮＳＴが適用され、図１１の（ｃ）のブロックに対しては連続配置された２個の左上端４×４領域に対して各々ＬＦＮＳＴが適用される。図１１の（ａ）、（ｂ）、（ｃ）では４×４領域単位でＬＦＮＳＴが適用されるため、このようなＬＦＮＳＴを以下「４×４ＬＦＮＳＴ」と命名するようにし、該当変換行列では数式９及び数式１０のＧに対する行列次元を基準［１６×１６］または［１６×８］行列が適用されることができる。

より具体的に、図１１の（ａ）の４×４ブロック（４×４ＴＵまたは４×４ＣＵ）に対しては［１６×８］行列が適用され、図１１の（ｂ）及び（ｃ）のブロックに対しては［１６×１６］行列が適用される。これは最悪の場合（ｗｏｒｓｔｃａｓｅ）に対する計算複雑度をサンプル当たり８乗算（８ｍｕｌｔｉｐｌｉｃａｔｉｏｎｓｐｅｒｓａｍｐｌｅ）に合わせるためである。

図１１の（ｄ）及び（ｅ）に対しては左上端８×８領域に対してＬＦＮＳＴが適用され、このようなＬＦＮＳＴを以下「８×８ＬＦＮＳＴ」と命名するようにする。該当変換行列では［４８×１６］または［４８×８］行列が適用されることができる。順方向ＬＦＮＳＴの場合、入力データとして［４８×１］ベクトル（数式９のｘベクトル）が入力されるため、左上端８×８領域の全てのサンプル値が順方向ＬＦＮＳＴの入力値として使われない。即ち、図８の（ａ）の左側順序または図８の（ｂ）の左側順序で見ることができるように、右下端（ｂｏｔｔｏｍ－ｒｉｇｈｔ）の４×４ブロックはそのまま置き、残り３個の４×４ブロックに属するサンプルに基づいて［４８×１］ベクトルを構成することができる。

図１１の（ｄ）での８×８ブロック（８×８ＴＵまたは８×８ＣＵ）に［４８×８］行列が適用され、図１１の（ｅ）での８×８ブロックに［４８×１６］行列が適用されることができる。これも最悪の場合（ｗｏｒｓｔｃａｓｅ）に対する計算複雑度をサンプル当たり８乗算（８ｍｕｌｔｉｐｌｉｃａｔｉｏｎｓｐｅｒｓａｍｐｌｅ）に合わせためである。

ブロックもようによって、これに対応する順方向ＬＦＮＳＴ（４×４ＬＦＮＳＴまたは８×８ＬＦＮＳＴ）が適用されると、８個または１６個の出力データ（数式９でのｙベクトル、［８×１］または［１６×１］ベクトル）が生成され、順方向ＬＦＮＳＴでは行列ＧＴの特性上、出力データの数が入力データの数と同じまたは少なくなる。

図１２は、一例によって順方向ＬＦＮＳＴの出力データの配列を示し、ブロックもようによって順方向ＬＦＮＳＴの出力データが配置されるブロックを示す図である。

図１２に示すブロックの左上端に陰影で処理された領域が順方向ＬＦＮＳＴの出力データが位置する領域に該当し、０で表記された位置は０値で満たされるサンプルを示し、残り領域は、順方向ＬＦＮＳＴにより変更されない領域を示す。ＬＦＮＳＴにより変更されない領域には順方向１次変換の出力データが変更されずにそのまま存在する。

前述したように、ブロックもようによって適用される変換行列の次元が変わるため、出力データの数も変わる。図１２のように、順方向ＬＦＮＳＴの出力データが左上端４×４ブロックを全部満たすことができない場合もある。図１２の（ａ）及び（ｄ）の場合、太線で表示されたブロックまたはブロック内部の一部領域には、各々、［１６×８］行列と［４８×８］行列が適用されて順方向ＬＦＮＳＴの出力として［８×１］ベクトルが生成される。即ち、図９の（ｂ）に示すスキャン順序によって８個の出力データのみが図１２の（ａ）及び（ｄ）のように満たされ、残り８個の位置に対しては０で満たされることができる。図１１の（ｄ）のＬＦＮＳＴ適用ブロックの場合、図１２の（ｄ）のように左上端４×４ブロックに隣接した右上端及び左下端の二つの４×４ブロックも０値で満たされる。

前記のように、基本的にＬＦＮＳＴインデックスをシグナリングしてＬＦＮＳＴ適用可否及び適用する変換行列を指定するようになる。図１２に示すように、ＬＦＮＳＴが適用される場合、順方向ＬＦＮＳＴの出力データ数が入力データ数と同じまたは少ないことがあるため、０値で満たされる領域が下記のように発生する。

１）図１２の（ａ）のように左上端４×４ブロック内にスキャン順序上８番目以後の位置、即ち、９番目から１６番目までのサンプル

２）図１２の（ｄ）及び（ｅ）のように、［１６×４８］行列または［８×４８］行列が適用されて左上端４×４ブロックに隣接した二つの４×４ブロックまたはスキャン順序上２番目と３番目の４×４ブロック

したがって、前記１）と２）の領域をチェックして０でない（ｎｏｎ－ｚｅｒｏ）データが存在するようになると、ＬＦＮＳＴが適用されないことが確実であるため、該当ＬＦＮＳＴインデックスのシグナリングを省略することができるようになる。

一例によって、例えば、ＶＶＣ標準に採択されたＬＦＮＳＴの場合、ＬＦＮＳＴインデックスのシグナリングは、レジデュアルコーディング以後に実行されるため、エンコーディング装置は、レジデュアルコーディングを介してＴＵまたはＣＵブロック内部の全ての位置に対する０でないデータ（有効係数）の存在可否を知ることができるようになる。したがって、エンコーディング装置は、０でないデータ存在可否を介してＬＦＮＳＴインデックスに対するシグナリングを実行するかどうかを判断することができ、デコーディング装置は、ＬＦＮＳＴインデックスのパーシング可否を判断することができる。もし、前記１）と２）で指定された領域に０でないデータが存在しない場合、ＬＦＮＳＴインデックスのシグナリングを実行するようになる。

一方、採択されたＬＦＮＳＴに対して、次のような単純化方法が適用できる。

（ｉ）一例によって、順方向ＬＦＮＳＴに対する出力データの数を最大１６個に限定することができる。

図１１の（ｃ）の場合、左上側に隣接した２個の４ｘ４領域にそれぞれ４ｘ４のＬＦＮＳＴが適用でき、そのとき、最大３２個のＬＦＮＳＴ出力データが生成できる。もし、順方向ＬＦＮＳＴに対する出力データの数を最大１６に限定すると、４ｘＮ／Ｎｘ４（Ｎ≧１６）ブロック（ＴＵ又はＣＵ）に対しても、左上側に存在する１個の４ｘ４領域に対してのみ４ｘ４ＬＦＮＳＴを適用し、図１１の全てのブロックに対して、ＬＦＮＳＴを一度だけ適用できる。これを通じて、画像コーディングに対する具現が単純になる。

（ｉｉ）一例によって、ＬＦＮＳＴが適用されない領域に対して、追加的にゼロアウト（ｚｅｒｏ－ｏｕｔ）を適用することができる。本文書におけるゼロアウトは、特定の領域に属した全ての位置の値を０値で満たすことを意味することができる。即ち、ＬＦＮＳＴによって変更されずに順方向１次変換の結果を維持している領域に対しても、ゼロアウトを適用することができる。前述したように、ＬＦＮＳＴは４×４ＬＦＮＳＴと８×８ＬＦＮＳＴとに区分されるため、下記のように２種類（（ｉｉ）－（Ａ）及び（ｉｉ）－（Ｂ））にゼロアウトを区分することができる。

（ｉｉ）－（Ａ）４×４ＬＦＮＳＴが適用されるとき、４×４ＬＦＮＳＴが適用されない領域をゼロアウトすることができる。図１３は、一例によって、４×４ＬＦＮＳＴが適用されるブロックでのゼロアウトを示す図である。

図１３のように、４×４ＬＦＮＳＴが適用されるブロックに対して、即ち、図１２の（ａ）、（ｂ）、及び（ｃ）のブロックに対してＬＦＮＳＴが適用されない領域まで全て０で満たされることができる。

一方、図１３の（ｄ）は、一例によって順方向ＬＦＮＳＴの出力データ個数の最大値を１６に限定した場合、４×４ＬＦＮＳＴが適用されない残りのブロックに対してゼロアウトを実行したことを示す。

（ｉｉ）－（Ｂ）８×８ＬＦＮＳＴが適用されるとき、８×８ＬＦＮＳＴが適用されない領域をゼロアウトすることができる。図１４は、一例によって、８×８ＬＦＮＳＴが適用されるブロックでのゼロアウトを示す図である。

図１４のように、８×８ＬＦＮＳＴが適用されるブロックに対して、即ち、図１２の（ｄ）及び（ｅ）のブロックに対してＬＦＮＳＴが適用されない領域まで全て０で満たされることができる。

（ｉｉｉ）前記（ｉｉ）で提示したゼロアウトによって、ＬＦＮＳＴが適用されるとき、０で満たされる領域が変わることができる。したがって、前記（ｉｉ）で提案されたゼロアウトによって０でないデータが存在するかどうかを図１２のＬＦＮＳＴの場合よりも広い領域に対してチェックできる。

例えば、（ｉｉ）－（Ｂ）を適用する場合、図１２の（ｄ）及び（ｅ）で０値で満たされる領域に追加して、図１４で追加的に０で満たされた領域まで０でないデータが存在するかどうかをチェックした後、０でないデータが存在しない場合にのみ、ＬＦＮＳＴインデックスに対するシグナリングを実行することができる。

もちろん、前記（ｉｉ）で提案されたゼロアウトを適用しても、既存ＬＦＮＳＴインデックスシグナリングと同様に、０でないデータが存在するかどうかをチェックすることができる。即ち、図１２に０で満たされたブロックに対して、０でないデータが存在するかどうかをチェックし、ＬＦＮＳＴインデックスシグナリングを適用することができる。このような場合、エンコーディング装置にのみゼロアウトを実行し、デコーディング装置では該当ゼロアウトを仮定せずに、即ち、図１２で明示的に０で表記された領域に対してのみ０でないデータが存在するかどうかのみをチェックしてＬＦＮＳＴインデックスパーシングを実行することができる。

前記ＬＦＮＳＴに対する単純化方法（（ｉ）、（ｉｉ）－（Ａ）、（ｉｉ）－（Ｂ）、（ｉｉｉ））の組み合わせを適用した多様な実施例が導出されることができる。もちろん、前記単純化方法に対する組み合わせは、下記の実施例に限定されるものではなく、任意の組み合わせをＬＦＮＳＴに適用できる。

実施例

－順方向ＬＦＮＳＴに対する出力データ数を最大１６個に限定→（ｉ）

－４×４ＬＦＮＳＴが適用されるとき、４×４ＬＦＮＳＴが適用されない領域を全てゼロアウト→（ｉｉ）－（Ａ）

－８×８ＬＦＮＳＴが適用されるとき、８×８ＬＦＮＳＴが適用されない領域を全てゼロアウト→（ｉｉ）－（Ｂ）

－既存０値で満たされる領域と追加的なゼロアウト（（ｉｉ）－（Ａ）、（ｉｉ）－（Ｂ））によって０で満たされる領域に対しても、０でないデータが存在するかどうかをチェックした後、０でないデータが存在しない場合にのみＬＦＮＳＴインデクシングシグナリング→（ｉｉｉ）

前記実施例の場合、ＬＦＮＳＴが適用されるとき、０でない出力データが存在できる領域が左上端４×４領域の内部に制限される。より詳しく、図１３の（ａ）と図１４の（ａ）の場合、スキャン順序上に８番目の位置が、０でないデータが存在できる最後の位置になり、図１３の（ｂ）及び（ｄ）と図１４の（ｂ）の場合、スキャン順序上に１６番目の位置（即ち、左上端４×４ブロックの右下側の位置）が、０でないデータが存在できる最後の位置になる。

従って、ＬＦＮＳＴが適用されたとき、レジデュアルコーディング過程が許容されない位置（最も最後の位置を越えた位置で）で０ではないデータが存在するか否かをチェックした後、ＬＦＮＳＴインデックスのシグナリング可否が決定できる。

（ｉｉ）で提案されたゼロアウト方式の場合、１次変換とＬＦＮＳＴの両方ともを適用したときに最終的に発生するデータの数が減少するため、全体変換過程を行うときに要求される計算量を減らすことができる。すなわち、ＬＦＮＳＴが適用される場合、ＬＦＮＳＴが適用されない領域に存在する順方向１次変換出力データに対してもゼロアウトを適用するため、順方向１次変換を行うときからゼロアウトとなる領域に対するデータを生成する必要がない。従って、当該データ生成に要求される演算量を節約することができる。（ｉｉ）で提案されたゼロアウト方式の追加的な効果をまとめると、以下のようである。

第１に、前記のように全体変換過程の実行に必要な計算量が低減する。

特に、（ｉｉ）－（Ｂ）を適用する場合、最悪の場合に対する計算量が減少して変換の過程を軽量化することができる。敷衍すると、一般的に大きなサイズの１次変換実行に大量の演算が要求されるが、（ｉｉ）－（Ｂ）を適用すると、順方向ＬＦＮＳＴ実行結果として導出されるデータの数を１６個以下に減らすことができ、全体ブロック（ＴＵまたはＣＵ）サイズが大きくなるほど、変換演算量低減効果はさらに増加する。

第２に、変換過程全体に必要な演算量が減少して変換実行に必要な電力消費を削減することができる。

第３に、変換過程に伴う遅延時間（ｌａｔｅｎｃｙ）を減少させる。

ＬＦＮＳＴのような２次変換は既存の１次変換に計算量を追加することになるので、変換実行に伴う全体遅延時間を増加させる。特に、イントラ予測の場合、予測過程で隣接ブロックの復元データが使用されるので、エンコード時に２次変換による遅延時間の増加が復元（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）までの遅延時間の増加につながり、イントラ予測エンコードの全体的な遅延時間の増加につながる可能性がある。

しかしながら、（ｉｉ）で提示したゼロアウトを適用すると、ＬＦＮＳＴ適用時に１次変換実行の遅延時間を大幅に減らすことができるため、変換実行全体に対する遅延時間はそのまま維持されるか低減することになり、エンコード装置をより簡単に実現することができる。

一方、従来のイントラ予測は、現在符号化しようとするブロックを１つの符号化単位とみなして分割なしに符号化を行っていた。しかしながら、ＩＳＰ（ＩｎｔｒａＳｕｂ－Ｐａｒｉｔｉｏｎｓ）コーディングは、現在符号化しようとするブロックを水平方向又は垂直方向に分割してイントラ予測符号化を行うことを意味する。このとき、分割されたブロック単位で符号化／復号化を行って復元されたブロックを生成し、復元されたブロックは次の分割されたブロックの参照ブロックとして使用される。一例によって、ＩＳＰコーディング時に１つのコーディングブロックが２つ又は４つのサブブロックに分割されてコーディングされてもよく、ＩＳＰにおいて１つのサブブロックは隣接する左側又は隣接する上側に位置するサブブロックの復元されたピクセル値を参照してイントラ予測が行われる。以下、使用される「コーディング」は、エンコード装置において行われるエンコードとデコード装置で行われるデコードを全て含む概念として使用される。

ＩＳＰは、ブロックのサイズに応じてルマイントラで予測されたブロックを垂直方向又は水平方向に２つ又は４つのサブパーティショニングに分割することである。例えば、ＩＳＰが適用できる最小ブロックサイズは４×８又は８×４である。ブロックサイズが４×８又は８×４より大きい場合、ブロックは４つのサブパーティショニングに分割される。

ＩＳＰ適用の時、サブブロックは分割の形態に応じて、例えば、水平（Ｈｏｒｉｚｏｎｔａｌ）又は垂直（Ｖｅｒｔｉｃｉａｌ）、左側から右側又は上側から下側に順次コーディングされ、１つのサブブロックに対する逆変換とイントラ予測を経て復元過程まで行われた後、次のサブブロックに対するコーディングが行われる。最左側又は最上側のサブブロックに対しては通常のイントラ予測方式のように既にコーディングされたコーディングブロックの復元ピクセルを参照する。また、後続の内部のサブブロックの各辺に対して以前のサブブロックと隣接していない場合は、当該辺に隣接した参照ピクセルを導出するために、通常のイントラ予測方式のように既にコーディングされた隣接したコーディングブロックの復元ピクセルを参照する。

ＩＳＰコーディングモードでは全てのサブブロックが同じイントラ予測モードでコーディングされることができ、ＩＳＰコーディングを使用するかどうかを示すフラグとどの方向に（水平または垂直）分割するかを示すフラグなどがシグナリングされることができる。このとき、ブロックもようによってサブブロックの個数を２個または４個に調節することができ、一つサブブロックの大きさ（幅×高さ）が１６未満である場合、該当サブブロックへの分割を許容しない、またはＩＳＰコーディング自体を適用しないように制限できる。

一方、ＩＳＰ予測モードである場合、１つのコーディングユニットが２つ又は４つのパーティションブロック、すなわち、サブブロックに分割されて予測され、当該分割された２つ又は４つのパーティションブロックには同一の画面内予測モードが適用される。

前述したように、分割方向は、水平方向（横長さと縦長さがそれぞれＭ、ＮであるＭ×Ｎコーディングユニットが水平方向に分割されると、２つに分割される場合はＭ×（Ｎ／２）ブロックに分割され、４つに分割される場合はＭ×（Ｎ／４）ブロックに分割される）と、垂直方向（Ｍ×Ｎコーディングユニットが垂直方向に分割されると、２つに分割される場合は（Ｍ／２）×Ｎブロックに分割され、４つに分割される場合は（Ｍ／４）×Ｎブロックに分割される）が全て可能である。水平方向に分割される場合、上側から下側の方向順にパーティションブロックがコーディングされ、垂直方向に分割される場合、左側から右側の方向順にパーティションブロックがコーディングされる。現在コーディングされるパーティションブロックは水平（垂直）方向分割である場合、上側（左側）パーティションブロックの復元されたピクセル値を参照して予測されることができる。

ＩＳＰ予測方法で生成されたレジデュアル信号にパーティションブロック単位で変換が適用されることができる。順方向（ｆｏｒｗａｒｄ）を基準に１次変換（ｃｏｒｅｔｒａｎｓｆｏｒｍ又はｐｒｉｍａｒｙｔｒａｎｓｆｏｒｍ）に既存のＤＣＴ－２だけでなくＤＳＴ－７／ＤＣＴ－８組み合わせベースのＭＴＳ（ＭｕｌｔｉｐｌｅＴｒａｎｓｆｏｒｍＳｅｌｅｃｔｉｏｎ）技術が適用され、１次変換により生成された変換係数に順方向ＬＦＮＳＴ（ＬｏｗＦｒｅｑｕｅｎｃｙＮｏｎ－ＳｅｐａｒａｂｌｅＴｒａｎｓｆｏｒｍ）が適用されて最終的な修正された変換係数が生成されることができる。

すなわち、ＩＳＰ予測モードが適用されて分割されたパーティションブロックにもＬＦＮＳＴが適用でき、前述のように、分割されたパーティションブロックには同一のイントラ予測モードが適用される。従って、イントラ予測モードに基づいて導出されるＬＦＮＳＴセットを選択するとき、全てのパーティションブロックに導出されたＬＦＮＳＴセットを適用することができる。すなわち、全てのパーティションブロックに同一のイントラ予測モードが適用されるので、これにより全てのパーティションブロックには同一のＬＦＮＳＴセットが適用されることができる。

一方、一例によって、ＬＦＮＳＴは横長と縦長が全て４以上である変換ブロックに対してのみ適用できる。従って、ＩＳＰ予測方式に従って分割されたパーティションブロックの縦長又は横長が４未満である場合、ＬＦＮＳＴが適用されずＬＦＮＳＴインデックスもシグナリングされない。また、各パーティションブロックにＬＦＮＳＴを適用する場合、当該パーティションブロックを１つの変換ブロックとみなすことができる。もちろん、ＩＳＰ予測方式が適用されない場合、コーディングブロックにＬＦＮＳＴが適用される。

各パーティションブロックにＬＦＮＳＴを適用することを具体的に説明すると、以下のようにある。

一例によって、個別的なパーティションブロックに対して順方向ＬＦＮＳＴを適用した後、左上側４×４領域に変換係数スキャン順序に従って最大１６個（８個又は１６個）の係数のみを残した後、残りの位置及び領域は全て０値で充填するゼロアウトが適用される。

または、一例によって、パーティションブロックの一辺の長さが４である場合、左上側４×４領域に対してのみＬＦＮＳＴを適用し、パーティションブロックの全ての辺、すなわち、幅及び高さの長さが８以上である場合、左上側８×８領域内部の右下側４×４領域を除いた残りの４８個の係数に対してＬＦＮＳＴを適用することができる。

または、一例によって、最悪の場合の計算複雑度を８掛け算／サンプル（ｍｕｌｔｉｐｌｉｃａｔｉｏｎｓｐｅｒｓａｍｐｌｅ）に合わせるために、各パーティションブロックが４×４又は８×８である場合は、順方向ＬＦＮＳＴ適用後に８つの変換係数のみを出力することができる。すなわち、パーティションブロックが４×４であると、変換マトリックスとして８×１６行列が適用され、パーティションブロックが８×８であると、変換マトリックスとして８×４８行列が適用される。

一方、現在ＶＶＣ標準において、ＬＦＮＳＴインデックスシグナリングはコーディングユニット単位で行われる。従って、ＩＳＰ予測モードであり、全てのパーティションブロックに対してＬＦＮＳＴを適用する場合、当該パーティションブロックに対して同一のＬＦＮＳＴインデックス値が適用できる。すなわち、コーディングユニットレベルにおいてＬＦＮＳＴインデックス値が一度送信されると、コーディングユニット内部の全てのパーティションブロックに対しては該当ＬＦＮＳＴインデックスが適用できる。前述のように、ＬＦＮＳＴインデックス値は０、１、２値を有し、０はＬＦＮＳＴが適用されない場合を示し、１と２はＬＦＮＳＴが適用されるときに１つのＬＦＮＳＴセット内に存在する２つの変換マトリックスを示す。

前記のように、ＬＦＮＳＴセットはイントラ予測モードにより決定され、ＩＳＰ予測モードである場合、コーディングユニット内の全てのパーティションブロックが同一のイントラ予測モードで予測されるので、パーティションブロックは同一のＬＦＮＳＴセットを参照することができる。

また他の一例として、ＬＦＮＳＴインデックスシグナリングは依然としてコーディングユニット単位で行われるが、ＩＳＰ予測モードの場合、全てのパーティションブロックに対して一律にＬＦＮＳＴ適用の可否を決定せず、別途の条件に従ってそれぞれのパーティションブロックに対してコーディングユニットレベルにおいてシグナリングされたＬＦＮＳＴインデックス値を適用するか、それともＬＦＮＳＴを適用しないかを決定する。ここで、別途の条件は、ビットストリームを介して各パーティションブロック別にフラグ形態でシグナリングされ、フラグ値が１であると、コーディングユニットレベルにおいてシグナリングされたＬＦＮＳＴインデックス値を適用し、フラグ値が０であると、ＬＦＮＳＴを適用しない。

以下では、ＩＳＰモードにＬＦＮＳＴ適用時、最悪の場合に関する計算複雑度を維持する方法について説明する。

ＩＳＰモードである場合、ＬＦＮＳＴ適用時にサンプル当たり（又は、係数当たり、位置当たり）掛け算数を一定値以下に維持するためにＬＦＮＳＴ適用を制限することができる。パーティションブロックのサイズに応じて、以下のようにＬＦＮＳＴを適用してサンプル当たり（又は、係数当たり、位置当たり）掛け算数を８個以下に維持することができる。

１．パーティションブロックの横長と縦長が両方とも４以上である場合は、現在ＶＶＣ標準におけるＬＦＮＳＴに対する最悪の場合に対する計算複雑度調節方式と同一の方式を適用することができる。

すなわち、パーティションブロックが４×４ブロックである場合には１６×１６行列の代わりに、順方向では１６×１６行列から上位８個の行をサンプリングした８×１６行列を適用し、逆方向では１６×１６行列から左側８個の列をサンプリングした１６×８行列を適用することができる。また、パーティションブロックが８×８ブロックであるときは、順方向の場合は１６×４８行列の代わりに、１６×４８行列から上位８個の行をサンプリングした８×４８行列を適用し、逆方向の場合は４８×１６行列の代わりに４８×１６から左側の８個の列をサンプリングした４８×８行列を適用することができる。

４×Ｎ又はＮ×４（Ｎ＞４）ブロックの場合、順方向変換を行う時、左上側４×４ブロックに対してのみ１６×１６行列を適用した後、生成された１６個の係数は左上側４×４領域に配置され、それ以外の領域は０値で充填される。また、逆方向変換を行う時には左上４×４ブロックに位置した１６個の係数をスキャン順序に従って配置して入力ベクトルを構成した後、１６×１６行列を掛け算して１６個の出力データを生成することができる。生成された出力データは左上側４×４領域に配置され、左上側４×４領域を除いた残りの領域は０で充填される。

８×Ｎ又はＮ×８（Ｎ＞８）ブロックの場合、順方向変換を行う時に左上側８×８ブロック内部のＲＯＩ領域（左上側８×８ブロックから右下側４×４ブロックを除いた残りの領域）に対してのみ１６×４８行列を適用した後、生成された１６個の係数は左上側４×４領域に配置され、それ以外の領域は全て０値で充填される。また、逆方向変換を行う時には左上側４×４ブロックに位置した１６個の係数をスキャン順序に従って配置して入力ベクトルを構成した後、４８×１６行列を掛け算して４８個の出力データを生成する。生成された出力データは、前記ＲＯＩ領域に充填され、残りの領域は全て０値で充填される。

また他の一例として、サンプル当たり（又は、係数当たり、位置当たり）掛け算数を一定値以下に維持するためにＩＳＰパーティションブロックのサイズではないＩＳＰコーディングユニットのサイズを基準にサンプル当たり（又は、係数当たり、位置当たり）掛け算数を８個以下に維持する。もし、ＩＳＰパーティションブロックのうちＬＦＮＳＴが適用される条件を満たすブロックが１つだけ存在する場合、パーティションブロックのサイズではない当該コーディングユニットのサイズに基づいてＬＦＮＳＴ最悪の場合に対する複雑度演算が適用される。例えば、あるコーディングユニットに対するルマコーディングブロックが４×４サイズの４つのパーティションブロックに分割されてＩＳＰでコーディングされ、そのうち２つのパーティションブロックに対しては０ではない変換係数が存在しない場合、他の２つのパーティションブロックには（エンコーダ基準で）それぞれ８つではない１６個の変換係数が生成されるように設定することができる。

以下では、ＩＳＰモードである場合、ＬＦＮＳＴインデックスをシグナリングする方法について説明する。

前述のように、ＬＦＮＳＴインデックスは０、１、２値を有し、０はＬＦＮＳＴを適用しないことを示し、１と２は選択されたＬＦＮＳＴのセットに含まれる２つのＬＦＮＳＴカーネルマトリックスのいずれか１つずつを示す。ＬＦＮＳＴインデックスにより選択されたＬＦＮＳＴカーネルマトリックスに基づいてＬＦＮＳＴが適用される。現在ＶＶＣ標準においてＬＦＮＳＴインデックスの送信方式を説明すると、以下のようである。

１．コーディングユニット（ＣＵ）ごとに１回ずつＬＦＮＳＴインデックスを送信することができ、デュアルツリー（ｄｕａｌ－ｔｒｅｅ）の場合は、ルマブロックとクロマブロックに対してそれぞれ個別のＬＦＮＳＴインデックスがシグナリングされる。

２．ＬＦＮＳＴインデックスがシグナリングされない場合は、ＬＦＮＳＴインデックス値はデフォルト値である０と決定される（ｉｎｆｅｒ）。ＬＦＮＳＴインデックス値が０に類推される場合は次のようである。

Ａ．変換が適用されないモードである場合（例えば、変換スキップ（ｔｒａｎｓｆｏｒｍｓｋｉｐ）、ＢＤＰＣＭ、無損失（ｌｏｓｓｌｅｓｓ）コーディングなど）

Ｂ．１次変換がＤＣＴ－２でない場合（ＤＳＴ７やＤＣＴ８）、すなわち、水平方向の変換又は垂直方向の変換がＤＣＴ－２でない場合

Ｃ．コーディングユニットのルマブロックに対する横長又は縦長が変換可能な最大ルマ変換のサイズを超過する場合、例えば、変換可能な最大ルマ変換のサイズが６４である場合、コーディングブロックのルマブロックに対するサイズが１２８×１６と同様である場合はＬＦＮＳＴが適用できない。

デュアルツリーの場合、ルマ成分に対するコーディングユニットとクロマ成分に対するコーディングユニットのそれぞれに対して、最大ルマ変換のサイズを超過するか否かが判断される。すなわち、ルマブロックに対して変換が可能な最大ルマ変換のサイズを超過するか否かがチェックされ、クロマブロックに対してカラーフォーマットに対する対応ルマブロックの縦／横の長さと最大変換が可能な最大ルマ変換のサイズを超過するか否かがチェックされる。例えば、カラーフォーマットが４：２：０である場合には、対応ルマブロックの横／縦の長さはそれぞれ当該クロマブロックの２倍となり、対応ルマブロック変換のサイズは当該クロマブロックの２倍となる。また他の例として、カラーフォーマットが４：４：４である場合には、対応ルマブロックの横／縦の長さと変換のサイズは、対応するクロマブロックと同じである。

６４長さ変換又は３２長さ変換がそれぞれ６４又は３２長さを有する横又は縦に適用される変換を意味し、「変換サイズ」は当該長さである６４又は３２を意味する。

シングルツリーである場合、ルマブロックに対して横長又は縦長が変換可能な最大ルマ変換ブロックのサイズを超過しているか否かをチェックした後、超過する場合はＬＦＮＳＴインデックスシグナリングを省略してもよい。

Ｄ．コーディングユニットの横長と縦長の両方とも４以上である場合にのみＬＦＮＳＴインデックスを送信できる。

デュアルツリーである場合、該当成分（すなわち、ルマ又はクロマ成分）に対する横長と縦長が両方とも４以上である場合にのみＬＦＮＳＴインデックスをシグナリングすることができる。

シングルツリーである場合は、ルマ成分に対する横長さ縦長が両方とも４以上である場合に対してＬＦＮＳＴインデックスをシグナリングすることができる。

Ｅ．最後の０ではない係数の位置（ｌａｓｔｎｏｎ－ｚｅｒｏｃｏｅｆｆｉｃｉｅｎｔｐｏｓｉｔｉｏｎ）がＤＣ位置（ブロックの左上側位置）ではない場合、デュアルツリータイプのルマブロックであると、最終０ではない係数の位置がＤＣ位置でない場合はＬＦＮＳＴインデックスを送信する。デュアルツリータイプのクロマブロックであると、Ｃｂに対する最後の０ではない係数の位置とＣｒに対する最後の０ではない係数の位置のうち１つでもＤＣ位置でない場合は、該当ＬＮＦＳＴインデックスを送信する。

シングルツリータイプであると、ルマ成分、Ｃｂ成分、Ｃｒ成分のうち１つでも当該最後の０ではない係数の位置がＤＣ位置でない場合は、ＬＦＮＳＴインデックスを送信する。

ここで、１つの変換ブロックに対する変換係数の存在の可否を示すＣＢＦ（ｃｏｄｅｄｂｌｏｃｋｆｌａｇ）値が０であると、ＬＦＮＳＴインデックスシグナリングを行うか否かを判断するために、当該変換ブロックに対する最後の０ではない係数の位置をチェックしない。すなわち、当該ＣＢＦ値が０である場合、当該ブロックに変換が適用されないので、ＬＦＮＳＴインデックスシグナリングに対する条件をチェックするとき、最後の０ではない係数の位置を考慮しなくてもよい。

例えば、１）デュアルツリータイプで、ルマ成分である場合、当該ＣＢＦ値が０であると、ＬＦＮＳＴインデックスをシグナリングせず、２）デュアルツリータイプで、クロマ成分である場合、Ｃｂに対するＣＢＦ値が０であり、Ｃｒに対するＣＢＦ値が１であると、Ｃｒに対する最後の０ではない係数の位置のみをチェックして該当ＬＦＮＳＴインデックスを送信し、３）シングルツリータイプである場合は、ルマ、Ｃｂ、Ｃｒの全てに対して各ＣＢＦ値が１である成分に対してのみ最後の０ではない係数の位置をチェックする。

Ｆ．ＬＦＮＳＴ変換係数が存在できる場所ではない位置に変換係数が存在することが確認された場合、ＬＦＮＳＴインデックスシグナリングを省略することができる。４×４変換ブロックと８×８変換ブロックの場合は、ＶＶＣ標準においての変換係数スキャン順序に従ってＤＣ位置から８つの位置にＬＦＮＳＴ変換係数が存在し、残りの位置は全て０で充填される。また、４×４変換ブロックと８×８変換ブロックではない場合は、ＶＶＣ標準での変換係数スキャン順序に従ってＤＣ位置から１６個の位置にＬＦＮＳＴ変換係数が存在し、残りの位置は全て０で充填される。

従って、レジデュアルコーディング（ｒｅｓｉｄｕａｌｃｏｄｉｎｇ）を行った後、前記０値が充填されなければならない領域に０ではない変換係数が存在すると、ＬＦＮＳＴインデックスシグナリングを省略することができる。

一方、ＩＳＰモードは、ルマブロックである場合にのみ適用されるか、ルマブロックとクロマブロックの両方ともに適用されることもある。前述したように、ＩＳＰ予測が適用される場合、該当コーディングユニットは２つ又は４つのパーティションブロックに分割されて予測され、変換も該当パーティションブロックにそれぞれ適用される。従って、コーディングユニット単位でＬＦＮＳＴインデックスをシグナリングする条件を決定する時にも該当パーティションブロックにそれぞれＬＦＮＳＴが適用できるという事実を考慮しなければならない。また、ＩＳＰ予測モードが特定成分（例えば、ルマブロック）に対してのみ適用される場合は、当該成分に対してのみパーティションブロックに分割されるという事実を考慮してＬＦＮＳＴインデックスをシグナリングしなければならない。ＩＳＰモードである場合、可能なＬＦＮＳＴインデックスシグナリング方式を整理すると、以下のようである。

１．コーディングユニット（ＣＵ）ごとに１回ずつＬＦＮＳＴインデックスを送信することができ、デュアルツリー（ｄｕａｌ－ｔｒｅｅ）である場合はルマブロックとクロマブロックに対してそれぞれ個別的なＬＦＮＳＴインデックスがシグナリングされることができる。

２．ＬＦＮＳＴインデックスがシグナリングされない場合は、ＬＦＮＳＴインデックス値はデフォルト値である０に決定される（ｉｎｆｅｒ）。ＬＦＮＳＴインデックス値が０に類推される場合は次のようである。

Ｂ．コーディングユニットのルマブロックに対する横長又は縦長が変換可能な最大ルマ変換のサイズを超過する場合、例えば、変換可能な最大ルマ変換のサイズが６４である場合、コーディングブロックのルマブロックに対するサイズが１２８×１６と同一である場合はＬＦＮＳＴが適用できない。

コーディングユニットの代わりにパーティションブロックのサイズを基準にＬＦＮＳＴインデックスのシグナリングを行うか否かを決定することもできる。すなわち、当該ルマブロックに対するパーティションブロックの横長又は縦長が変換可能な最大ルマ変換のサイズを超過する場合、ＬＦＮＳＴインデックスシグナリングを省略し、ＬＦＮＳＴインデックス値を０と類推できる。

デュアルツリーの場合、ルマ成分に対するコーディングユニット又はパーティションブロックとクロマ成分に対するコーディングユニット又はパーティションブロックのそれぞれに対して最大変換ブロックサイズを超過するか否かが判断される。すなわち、ルマに対するコーディングユニット又はパーティションブロックの縦長と横長をそれぞれ最大ルマ変換サイズと比較して１つでも最大ルマ変換サイズより大きい場合はＬＦＮＳＴを適用せず、クロマに対するコーディングユニット又はパーティションブロックの場合は、カラーフォーマットに対する対応ルマブロックの横／縦の長さと最大変換可能な最大ルマ変換のサイズが比較される。例えば、カラーフォーマットが４：２：０である場合には、対応ルマブロックの横／縦の長さはそれぞれ当該クロマブロックの２倍となり、対応ルマブロックの変換サイズは当該クロマブロックの２倍となる。また他の例として、カラーフォーマットが４：４：４である場合には、対応ルマブロックの横／縦の長さと変換サイズは対応するクロマブロックと同じである。

シングルツリーである場合、ルマブロック（コーディングユニット又はパーティションブロック）に対して横長又は縦長が変換可能な最大ルマ変換ブロックサイズを超過しているか否かをチェックした後、超過する場合はＬＦＮＳＴインデックスシグナリングを省略してもよい。

Ｃ．もし、現在のＶＶＣ標準に含まれているＬＦＮＳＴを適用すると、パーティションブロックの横長と縦長が両方とも４以上である場合にのみＬＦＮＳＴインデックスを送信することができる。

もし、現在ＶＶＣ標準に含まれているＬＦＮＳＴ以外に、２×Ｍ（１×Ｍ）又はＭ×２（Ｍ×１）ブロックに対するＬＦＮＳＴまで適用すると、パーティションブロックのサイズが２×Ｍ（１×Ｍ）又はＭ×２（Ｍ×１）ブロックより大きいか等しい場合にのみＬＦＮＳＴインデックスを送信することができる。ここで、Ｐ×ＱブロックがＲ×Ｓブロックより大きいか等しいという意味は、Ｐ≧Ｒであり、Ｑ≧Ｓであることを意味する。

整理すると、パーティションブロックがＬＦＮＳＴが適用可能な最小限のサイズより大きいか等しい場合にのみＬＦＮＳＴインデックスを送信することができる。デュアルツリーの場合、ルマ又はクロマ成分に対するパーティションブロックがＬＦＮＳＴが適用可能な最小限のサイズより大きい等しい場合にのみＬＦＮＳＴインデックスをシグナリングすることができる。シングルツリーの場合、ルマ成分に対するパーティションブロックがＬＦＮＳＴが適用可能な最小限のサイズより大きいか等しい場合にのみＬＦＮＳＴインデックスをシグナリングすることができる。

本文書において、Ｍ×ＮブロックがＫ×Ｌブロックより大きいか等しいことは、ＭがＫより大きいか等しく、ＮがＬより大きいか等しいことを意味する。Ｍ×ＮブロックがＫ×Ｌブロックより大きいということは、ＭがＫより大きいか等しく、ＮがＬより大きいか等しいながら、ＭがＫより大きいか、ＮがＬより大きいということを意味する。Ｍ×ＮブロックがＫ×Ｌブロックより小さいか等しいということは、ＭがＫより小さいか等しく、ＮがＬより小さいか等しいということを意味し、Ｍ×ＮブロックがＫ×Ｌブロックより小さいということはＭがＫより小さいか等しく、ＮがＬより小さかいか等しいながら、ＭがＫより小さいか、ＮがＬより小さいことを意味する。

Ｄ．最後の０ではない係数の位置（ｌａｓｔｎｏｎ－ｚｅｒｏｃｏｅｆｆｉｃｉｅｎｔｐｏｓｉｔｉｏｎ）がＤＣ位置（ブロックの左上端位置）でない場合、デュアルツリータイプのルマブロックであれば、全てのパーティションブロックのうち１つでも当該最後の０ではない係数の位置がＤＣ位置でなければ、ＬＦＮＳＴ送信することができる。デュアルツリータイプであり、クロマブロックであれば、Ｃｂに対する全てのパーティションブロックの（ＩＳＰモードがクロマ成分に適用されない場合には、パーティションブロックの数は１個であるとみなす）最後の０ではない係数の位置とＣｒに対する全てのパーティションブロックの（ＩＳＰモードがクロマ成分に適用されない場合には、パーティションブロックの数が１個であるとみなす）最後の０ではない係数の位置のうち１つでもＤＣ位置でなければ、当該ＬＮＦＳＴインデックスを送信することができる。

シングルツリータイプの場合、ルマ成分、Ｃｂの成分、Ｃｒ成分に対する全てのパーティションブロックのうち１つでも最後の０ではない係数の位置がＤＣ位置でないと、該当ＬＦＮＳＴインデックスを送信することができる。

ここで、各パーティションブロックに対して変換係数が存在するか否かを示すＣＢＦ（ｃｏｄｅｄｂｌｏｃｋｆｌａｇ）値が０であると、ＬＦＮＳＴインデックスシグナリングを行うか否かを判断するために、当該パーティションブロックに対する最後の０ではない係数の位置をチェックしない。すなわち、当該ＣＢＦ値が０であると、当該ブロックに変換が適用されないので、ＬＦＮＳＴインデックスシグナリングに関する条件をチェックするとき、当該パーティションブロックに対する最後の０ではない係数の位置を考慮しない。

例えば、１）デュアルツリータイプで、ルマ成分である場合、各パーティションブロックに対して該当ＣＢＦ値が０であると、ＬＦＮＳＴインデックスシグナリングを行うか否かを決定する時に該当パーティションブロックを除外し、２）デュアルツリータイプで、クロマ成分である場合、各パーティションブロックに対してＣｂに対するＣＢＦ値が０で、Ｃｒに対するＣＢＦ値が１であると、Ｃｒに対する最後の０ではない係数の位置のみをチェックして該当ＬＦＮＳＴインデックスシグナリングを行うか否かを決定し、３）シングルツリータイプである場合、ルマ成分、Ｃｂ成分、Ｃｒ成分の全てのパーティションブロックに対してＣＢＦ値が１であるブロックに対してのみ最後の０ではない係数の位置をチェックしてＬＦＮＳＴインデックスシグナリングを行うか否かを決定することができる。

ＩＳＰモードである場合は、最後の０ではない係数の位置をチェックしないように映像情報を構成してもよく、これに関する実施形態は次のようである。

ｉ．ＩＳＰモードである場合は、ルマブロックとクロマブロックの両方ともに対して最後の０ではない係数の位置に関するチェックを省略し、ＬＦＮＳＴインデックスシグナリングを許容する。すなわち、全てのパーティションブロックに対して最後の０ではない係数の位置がＤＣ位置であるか、該当ＣＢＦ値が０であっても、当該ＬＦＮＳＴインデックスシグナリングを許容する。

ｉｉ．ＩＳＰモードである場合は、ルマブロックに対してのみ最後の０ではない係数の位置に関するチェックを省略し、クロマブロックである場合は、前述の方式の最後の０ではない係数の位置に関するチェックを行う。例えば、デュアルツリータイプであり、ルマブロックである場合は、最後の０ではない係数の位置に関するチェックを行わずにＬＦＮＳＴインデックスシグナリングを許容し、デュアルツリータイプであり、クロマブロックである場合は、前述の方式で最後の０ではない係数の位置に対するＤＣ位置の存在可否をチェックして該当ＬＦＮＳＴインデックスのシグナリングを行うか否かを決定する。

ｉｉｉ．ＩＳＰモードであり、シングルツリータイプである場合は、前記ｉ番又はｉｉ番の方式を適用する。すなわち、ＩＳＰモードでありシングルツリータイプにｉ番を適用する場合、ルマブロックとクロマブロックの両方ともに対して最後の０ではない係数の位置に関するチェックを省略し、ＬＦＮＳＴインデックスシグナリングを許容する。または、ｉｉ番を適用してルマ成分に対するパーティションブロックに対しては最後の０ではない係数の位置に関するチェックを省略し、クロマ成分に対するパーティションブロック（クロマ成分に対してＩＳＰを適用しない場合はパーティションブロックの数が１であると見なす）に対しては前述の方式で最後の０ではない係数の位置に関するチェックを行って該当ＬＦＮＳＴインデックスシグナリングを行うか否かを決定することができる。

Ｅ．全てのパーティションブロックのうち１つのパーティションブロックに対してでもＬＦＮＳＴ変換係数が存在できる位置ではない位置に変換係数が存在することが確認されると、ＬＦＮＳＴインデックスシグナリングを省略することができる。

例えば、４×４パーティションブロックと８×８パーティションブロックの場合は、ＶＶＣ標準での変換係数スキャン順序に従ってＤＣ位置から８つの位置にＬＦＮＳＴ変換係数が存在し、残りの位置は全て０で充填される。また、４×４より大きいか等しいながら４×４パーティションブロック及び８×８パーティションブロックではない場合は、ＶＶＣ標準での変換係数スキャン順序に従ってＤＣ位置から１６個の位置にＬＦＮＳＴ変換係数が存在し、残りの位置は全て０で充填される。

一方、ＩＳＰモードである場合、現在ＶＶＣ標準においては水平方向と垂直方向に対してそれぞれ独立的に長さ条件を見てＭＴＳインデックスに対するシグナリングなしにＤＣＴ－２の代わりにＤＳＴ－７を適用する。縦長又は横長が４より大きいか等しく１６より小さいか等しい否かが判断され、判断結果に応じて１次変換カーネルが決定される。従って、ＩＳＰモードでありながらＬＦＮＳＴが適用できる場合に対しては次のような変換組み合わせ構成が可能である。

１．ＬＦＮＳＴインデックスが０である場合（ＬＦＮＳＴインデックスが０と類推される場合も含む）については、現在ＶＶＣ標準に含まれているＩＳＰであるときの１次変換の決定条件に従う。すなわち、水平方向と垂直方向に対してそれぞれ独立的に長さ条件（４より大きいか等しく１６より小さいか等しい条件）を満足するか否かをチェックして、満足する場合は１次変換のためにＤＣＴ－２の代わりにＤＳＴ－７を適用し、満足しない場合はＤＣＴ－２を適用する。

２．ＬＦＮＳＴインデックスが０より大きい場合については、１次変換で次のような２つの構成が可能である。

Ａ．水平方向と垂直方向の両方ともに対してＤＣＴ－２が適用できる。

Ｂ．現在ＶＶＣ標準に含まれているＩＳＰであるときの１次変換の決定条件に従うことができる。すなわち、水平方向と垂直方向に対してそれぞれ独立的に長さの条件（４より大きいか等しく１６より小さいか等しい条件）を満足するか否かをチェックして、満足する場合はＤＣＴ－２の代わりにＤＳＴ－７を適用し、満足しない場合はＤＣＴ－２を適用する。

ＩＳＰモードである場合、ＬＦＮＳＴインデックスはコーディングユニットごとに送信されるのではなく、パーティションブロックごとに送信するように映像情報を構成することができる。このような場合、前述のＬＦＮＳＴインデックスシグナリング方式においてＬＦＮＳＴインデックスが送信される単位内にパーティションブロックが１つだけ存在すると見なし、ＬＦＮＳＴインデックスシグナリングを行うか否かを決定することができる。

一方、以下ではＬＦＮＳＴインデックスとＭＴＳインデックスのシグナリング順序に対して考察する。

一例によって、レジデュアルコーディングでシグナリングされるＬＦＮＳＴインデックスは、最後の０ではない係数位置に対するコーディング位置の次にコーディングされることができ、ＭＴＳインデックスは、ＬＦＮＳＴインデックスの直後にコーディングされることができる。このような構成の場合、変換ユニット毎にＬＦＮＳＴインデックスがシグナリングされることができる。または、レジデュアルコーディングでシグナリングされなくても、ＬＦＮＳＴインデックスは、最後の有効係数位置に対するコーディングの次にコーディングされることができ、ＭＴＳインデックスは、ＬＦＮＳＴインデックスの次にコーディングされることができる。

一例に係るレジデュアルコーディングのシンタックスは、下記の通りである。

表４に示す主要変数の意味は、下記の通りである。

１．ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔ：現在コーディングブロック（ＣｏｄｉｎｇＢｌｏｃｋ）の幅と高さ

２．ｌｏｇ２ＴｂＷｉｄｔｈ、ｌｏｇ２ＴｂＨｅｉｇｈｔ：現在変換ブロック（ＴｒａｎｓｆｏｒｍＢｌｏｃｋ）の幅と高さに対するベース－２のログ値、ゼロアウトが反映されて０ではない係数（ｎｏｎ－ｚｅｒｏｃｏｅｆｆｉｃｉｅｎｔ）が存在できる左上端領域に縮小されることができる。

３．ｓｐｓ＿ｌｆｎｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ：ＬＦＮＳＴの適用可能（ｅｎａｂｌｅ）可否を示すフラグであって、フラグ値が０である場合は、ＬＦＮＳＴが適用不可であることを示し、フラグ値が１である場合は、ＬＦＮＳＴが適用可能であることを示す。シーケンスパラメータセット（ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ；ＳＰＳ）に定義されている。

４．ＣｕＰｒｅｄＭｏｄｅ［ｃｈＴｙｐｅ］［ｘ０］［ｙ０］：変数ｃｈＴｙｐｅと（ｘ０、ｙ０）位置に対応される予測モード、ｃｈＴｙｐｅは０と１値を有することができ、０はルマ成分を示し、１はクロマ成分を示す。（ｘ０、ｙ０）位置は、ピクチャ上での位置を示し、ＣｕＰｒｅｄＭｏｄｅ［ｃｈＴｙｐｅ］［ｘ０］［ｙ０］値ではＭＯＤＥ＿ＩＮＴＲＡ（イントラ予測）とＭＯＤＥ＿ＩＮＴＥＲ（インター予測）が可能である。

５．ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔ［ｘ０］［ｙ０］：（ｘ０、ｙ０）位置に対する内容は、前記４と同じである。（ｘ０、ｙ０）位置でのどのようなＩＳＰ分割が適用されたかを示し、ＩＳＰ＿ＮＯ＿ＳＰＬＩＴは、（ｘ０、ｙ０）位置に該当するコーディングユニットがパーティションブロックに分割されないことを示す。

６．ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］：（ｘ０、ｙ０）位置に対する内容は、前記４と同じである。ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇは、ＭＩＰ（Ｍａｔｒｉｘ－ｂａｓｅｄＩｎｔｒａＰｒｅｄｉｃｔｉｏｎ）予測モードが適用されたかどうかを示すフラグである。フラグ値が０である場合は、ＭＩＰが適用不可であることを示し、フラグ値が１である場合は、ＭＩＰが適用されることを示す。

７．ｃＩｄｘ：０値は、ルマを示し、１値と２値は、各々、クロマ成分であるＣｂ、Ｃｒを示す。

８．ｔｒｅｅＴｙｐｅ：シングルツリー（ｓｉｎｇｌｅ－ｔｒｅｅ）とデュアルツリー（ｄｕａｌ－ｔｒｅｅ）などを指す（ＳＩＮＧＬＥ＿ＴＲＥＥ：シングルツリー、ＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡ：ルマ成分に対するデュアルツリー、ＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡ：クロマ成分に対するデュアルツリー）

９．ｔｕ＿ｃｂｆ＿ｃｂ［ｘ０］［ｙ０］：（ｘ０、ｙ０）位置に対する内容は、前記４と同じである。Ｃｂ成分に対するＣＢＦ（ＣｏｄｅｄＢｌｏｃｋＦｌａｇ）を示す、その値が０である場合は、０ではない係数がＣｂ成分に対する該当変換ユニットに存在しないということを意味し、１である場合は、０ではない係数がＣｂ成分に対する該当変換ユニットに存在するということを示す。

１０．ｌａｓｔＳｕｂＢｌｏｃｋ：最後の有効係数（ｌａｓｔｎｏｎ－ｚｅｒｏｃｏｅｆｆｉｃｉｅｎｔ）が位置するサブブロック（ｓｕｂ－ｂｌｏｃｋ、ＣｏｅｆｆｉｃｉｅｎｔＧｒｏｕｐ（ＣＧ））のスキャン順序上の位置を示す。０は、ＤＣ成分が含まれているサブブロックを指し、０より大きい場合は、ＤＣ成分が含まれているサブブロックでない。

１１．ｌａｓｔＳｃａｎＰｏｓ：最後の有効係数が一サブブロック内部でスキャン順序上どの位置にあるかを示す。一つのサブブロックが１６個の位置で構成されている場合、０から１５までの値が可能である。

１２．ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］：パーシングしようとするＬＦＮＳＴインデックスシンタックスエレメントである。パーシングされない場合、０値に類推される。即ち、デフォルト値が０に設定され、ＬＦＮＳＴを適用しないことを示す。

１３．ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸ、ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹ：最後の有効係数が変換ブロック内に位置するｘ座標とｙ座標を示す。ｘ座標は、０から始めて左側から右側へ増加し、ｙ座標は０から始めて上側から下側に増加する。二つの変数の値が全て０である場合は、最後の有効係数がＤＣに位置することを意味する。

１４．ｃｕ＿ｓｂｔ＿ｆｌａｇ：現在ＶＶＣ標準に含まれているサブブロック変換（ＳｕｂＢｌｏｃｋＴｒａｎｓｆｏｒｍ、ＳＢＴ）が適用可能かどうかを示すフラグであって、フラグ値が０である場合は、ＳＢＴが適用不可であることを示し、フラグ値が１である場合は、ＳＢＴが適用されることを示す。

１５．ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ：各々インターＣＵとイントラＣＵに対して明示的なＭＴＳが適用されたかどうかを示すフラグであって、該当フラグ値が０である場合は、インターＣＵまたはイントラＣＵに対してＭＴＳが適用不可であることを示し、１である場合は、適用可能であることを示す。

１６．ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］：パーシングしようとするＭＴＳインデックスシンタックスエレメントである。パーシングされない場合、０値に類推される。即ち、デフォルト値が０に設定され、水平方向と垂直方向に対して全てＤＣＴ－２が適用されることを示す。

表４のように、シングルツリーである場合は、ルマに対する最後の有効係数位置条件のみを有してＬＦＮＳＴインデックスのシグナリング可否を決定することができる。即ち、最後の有効係数位置がＤＣでない、かつ最後の有効係数が左上端サブブロック（ＣＧ）、例えば、４×４ブロック、内部に存在する場合、ＬＦＮＳＴインデックスがシグナリングされる。このとき、４×４変換ブロックと８×８変換ブロックの場合は、左上端サブブロック内部の０から７までの位置に最後の有効係数が存在してこそＬＦＮＳＴインデックスがシグナリングされる。

デュアルツリーの場合は、ルマとクロマは、各々、独立的にＬＦＮＳＴインデックスがシグナリングされ、クロマの場合は、Ｃｂ成分に対してのみ最後の有効係数位置条件を適用してＬＦＮＳＴインデックスをシグナリングすることができる。Ｃｒ成分に対しては該当条件をチェックしなく、もし、Ｃｂに対するＣＢＦ値が０である場合は、Ｃｒ成分に対して最後の有効係数位置条件を適用してＬＦＮＳＴインデックスをシグナリングすることができる。

表４の「Ｍｉｎ（ｌｏｇ２ＴｂＷｉｄｔｈ、ｌｏｇ２ＴｂＨｅｉｇｈｔ）>＝２」は、「Ｍｉｎ（ｔｂＷｉｄｔｈ、ｔｂＨｅｉｇｈｔ）>＝４」で表現されることができ、「Ｍｉｎ（ｌｏｇ２ＴｂＷｉｄｔｈ、ｌｏｇ２ＴｂＨｅｉｇｈｔ）>＝４」は、「Ｍｉｎ（ｔｂＷｉｄｔｈ、ｔｂＨｅｉｇｈｔ）>＝１６」で表現されることができる。

表４において、ｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔは、各々、ゼロアウトにより最後の有効係数が存在できる左上端領域に対する幅と高さのベースが２である（ｂａｓｅ－２）ログ値を意味する。

表４のように、ｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔ値は、二箇所でアップデートされることができる。１番目は、ＭＴＳインデックスまたはＬＦＮＳＴインデックス値がパーシングされる前であり、２番目は、ＭＴＳインデックスのパーシング後である。

１番目のアップデートは、ＭＴＳインデックス（ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］）値がパーシングされる前であるため、ＭＴＳインデックス値にかかわらずｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔを設定することができる。

ＭＴＳインデックスがパーシングされた後にはＭＴＳインデックス値が０より大きい場合（ＤＳＴ－７／ＤＣＴ－８組み合わせである場合）に対してｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔを設定するようになる。１次変換で水平方向と垂直方向に対して各々独立的にＤＳＴ－７／ＤＣＴ－８を適用する場合、各方向に対して行または列毎に最大１６個までの有効係数が存在できる。即ち、３２長さ以上のＤＳＴ－７／ＤＣＴ－８を適用した後、左側または上側から行または列毎に最大１６個の変換係数が導出されることができる。したがって、２次元ブロックに対しては水平方向と垂直方向の両方ともに対してＤＳＴ－７／ＤＣＴ－８が適用されるとき、最大左上端１６×１６領域までのみ有効係数が存在できる。

また、現在１次変換で水平方向と垂直方向に対して各々独立的にＤＣＴ－２が適用される場合、各方向に対して行または列毎に最大３２個までの有効係数が存在できる。即ち、６４長さ以上のＤＣＴ－２を適用する時は、左側または上側から行または列毎に最大３２個の変換係数が導出されることができる。したがって、２次元ブロックに対しては水平方向と垂直方向の両方ともに対してＤＣＴ－２が適用されるとき、最大左上端３２×３２領域までのみ有効係数が存在できる。

また、水平方向と垂直方向に対して、一方ではＤＳＴ－７／ＤＣＴ－８が適用され、他方ではＤＣＴ－２が適用されるとき、前者の方向では１６個の有効係数が存在でき、後者の方向では３２個の有効係数が存在できる。例えば、６４×８変換ブロックであり、かつ水平方向にはＤＣＴ－２が適用され、垂直方向にはＤＳＴ－７が適用される場合（暗黙的ＭＴＳが適用される状況で発生できる）、最大左上端３２×８領域で有効係数が存在できる。

もし、表４のようにｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔが二箇所でアップデートされる場合、即ち、ＭＴＳインデックスパーシング前にアップデートされる場合、以下の表のようにｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘとｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘの範囲がｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔにより決められることができる。

また、このような場合、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘとｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘに対する二進化過程でｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＴｂＨｅｉｇｈｔ値を反映してｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘとｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘの最大値を設定することができる。

一方、一例によって、ＩＳＰモードであり、かつＬＦＮＳＴが適用される場合、表４のシグナリングを適用した時、表７のようにスペックテキストが構成されることができる。表４と比較した時、ＩＳＰモードでない場合に対してのみＬＦＮＳＴインデックスをシグナリングした条件（表４のＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔ［ｘ０］［ｙ０］＝＝ＩＳＰ＿ＮＯ＿ＳＰＬＩＴ）が削除された。

シングルツリーである場合、ルマである時（ｃＩｄｘ＝０である時）に送信したＬＦＮＳＴインデックスをクロマである時に再使用する場合は、有効係数が存在する１番目のＩＳＰパーティションブロックに対して送信されたＬＦＮＳＴインデックスをクロマ変換ブロックに適用できる。または、シングルツリーである場合であるとしても、クロマ成分である場合に対してルマ成分と別途にＬＦＮＳＴインデックスをシグナリングすることができる。表７に記載された変数に対する説明は、表４の通りである。

一方、一例によって、ＬＦＮＳＴインデックスまたは／及びＭＴＳインデックスは、コーディングユニットレベルでシグナリングされることができる。ＬＦＮＳＴインデックスは、前述したように、０、１、２の三つの値を有することができ、０はＬＦＮＳＴを適用しないことを指し、１と２は選択されたＬＦＮＳＴセットに含まれている２個のＬＦＮＳＴカーネル候補のうち各々１番目の候補と２番目の候補を指示する。ＬＦＮＳＴインデックスは、トランケイテッドユナリ二進化（ｔｒｕｎｃａｔｅｄｕｎａｒｙｂｉｎａｒｉｚａｔｉｏｎ）を介してコーディングされ、０、１、２値は、各々、ｂｉｎストリング０、１０、１１でコーディングされることができる。

一例によると、１次変換で水平方向と垂直方向の両方ともに対してＤＣＴ－２が適用される時にのみＬＦＮＳＴが適用されることができる。したがって、もし、ＭＴＳインデックスをＬＦＮＳＴインデックスシグナリング後にシグナリングする場合、ＬＦＮＳＴインデックス値が０である場合に限ってのみＭＴＳインデックスをシグナリングすることができ、ＬＦＮＳＴインデックスが０ではない場合にはＭＴＳインデックスをシグナリングせずに水平方向と垂直方向の両方ともにＤＣＴ－２を適用して１次変換を実行することができる。

ＭＴＳインデックス値は、０、１、２、３、４の値を有することができ、０、１、２、３、４は、各々、水平方向と垂直方向に対してＤＣＴ－２／ＤＣＴ－２、ＤＳＴ－７／ＤＳＴ－７、ＤＣＴ－８／ＤＳＴ－７、ＤＳＴ－７／ＤＣＴ－８、ＤＣＴ－８／ＤＣＴ－８が適用されることを指示することができる。また、ＭＴＳインデックスは、トランケイテッドユナリ二進化を介してコーディングされることができ、前記０、１、２、３、４値は、各々、ｂｉｎストリング０、１０、１１０、１１１０、１１１１でコーディングされることができる。

ＬＦＮＳＴインデックス及びＭＴＳインデックスは、コーディングユニットレベルでシグナリングされることができ、ＭＴＳインデックスをコーディングユニットレベルでＬＦＮＳＴインデックス以後に続いてコーディングできる。これに対するコーディングユニットシンタックステーブルは、以下の通りである。

表８の変数ＬｆｎｓｔＤｃＯｎｌｙと変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、以下の表９に示すように設定されることができる。

変数ＬｆｎｓｔＤｃＯｎｌｙは、該当ＣＢＦ（ＣｏｄｅｄＢｌｏｃｋＦｌａｇ、該当ブロック内に有効係数が一つでも存在する場合は１、そうでない場合は０）値が１である変換ブロックに対して最後の有効係数が全てＤＣ位置（左上端位置）に位置する場合は１になり、そうでない場合は０になる。より具体的に、デュアルツリールマである場合には、最後の有効係数の位置をルマ変換ブロック一つに対してチェックし、デュアルツリークロマである場合には、Ｃｂに対する変換ブロックとＣｒに対する変換ブロックの両方ともに対して最後の有効係数位置をチェックする。シングルツリーである場合には、ルマ、Ｃｂ、Ｃｒに対する変換ブロックに対して最後の有効係数位置をチェックすることができる。

変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、ＬＦＮＳＴが適用されるとき、ゼロアウトになる位置に有効係数が存在する場合は０であり、そうでない場合は１になる。

表８及び以下の表に含まれるｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］は、該当コーディングユニットに対するＬＦＮＳＴインデックスを示し、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］は、該当コーディングユニットに対するＭＴＳインデックスを示す。

表８に示すように、ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］をシグナリングする条件にｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］値が０であるかをチェックする条件（！ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］）が含まれることができ、この場合、既存のｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］値が０であるかをチェックする条件（即ち、水平方向と垂直方向に対して両方ともＤＣＴ－２であるかどうかをチェックすること）は省略されることができる。

ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］は、コーディングユニットが、変換が省略される変換スキップモードにコーディングされたかどうかを示し、前記フラグは、ＭＴＳインデックス及びＬＦＮＳＴインデックスより先にシグナリングされる。即ち、ｔｕ＿ｍｔｘ＿ｉｄｘ［ｘ０］［ｙ０］値をシグナリングする前にｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］をシグナリングするため、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］値に対する条件のみをチェックすることができる。

表８に示すように、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］をコーディングするとき、様々な条件がチェックされ、前述したように、ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］値が０である場合にのみｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］がシグナリングされる。

また、ｔｕ＿ｃｂｆ＿ｌｕｍａ［ｘ０］［ｙ０］は、ルマ成分に対して有効係数が存在するかどうかを示すフラグであり、ｃｂＷｉｄｔｈとｃｂＨｅｉｇｈｔは、各々、ルマ成分に対するコーディングユニットの幅と高さを示す。

表８によると、ルマ成分に対するコーディングユニットの幅と高さが両方とも３２以下であるとき、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］がシグナリングされ、即ち、ＭＴＳ適用可否がルマ成分に対するコーディングユニットの幅と高さにより決定される。

他の例によって、変換ブロックタイリング（ＴＵｔｉｌｉｎｇ）が発生する場合（例えば、最大変換大きさが３２に設定された場合、６４×６４コーディングユニットは、４個の３２×３２変換ブロックに分割されてコーディングされる）、各変換ブロックの大きさを基準にしてＭＴＳインデックスがシグナリングされることができる。例えば、変換ブロックの幅と高さが両方とも３２以下であるとき、コーディングユニット内の全ての変換ブロックに対しては同じＭＴＳインデックス値が適用されて同じ１次変換が適用されることができる。また、変換ブロックタイリングが発生する場合、表８のｔｕ＿ｃｂｆ＿ｌｕｍａ［ｘ０］［ｙ０］値は、左上端変換ブロックに対するＣＢＦ値であり、または全ての変換ブロックに対して一つの変換ブロックでも該当ＣＢＦ値が１である場合、１に設定されることができる。

また、表８によると、ＩＳＰモードの場合にも（ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅ！＝ＩＳＰ＿ＮＯ＿ＳＰＬＩＴ）ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］をシグナリングするように構成でき、全てのＩＳＰパーティションブロックに対して同じＬＦＮＳＴインデックス値が適用されることができる。

一方、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］は、ＩＳＰモードでない場合にのみシグナリングされることができる（ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔ［ｘ０］［ｙ０］＝＝ＩＳＰ＿ＮＯ＿ＳＰＬＩＴ）。

表８のように、ＭＴＳインデックスをＬＦＮＳＴインデックス直後にシグナリングする場合、レジデュアルコーディングを実行するとき、１次変換に対する情報を知ることができない。即ち、ＭＴＳインデックスがレジデュアルコーディング以後にシグナリングされる。したがって、レジデュアルコーディングパートで３２長さのＤＳＴ－７またはＤＣＴ－８に対して１６個の係数のみを残してゼロアウトを実行する部分は、以下の表９のように変更されることができる。

表９のようにｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔを決定する過程で（ここで、ｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔは、各々、ゼロアウトが実行された後に残った左上端領域に対する幅と高さのベース－２（ｂａｓｅ－２）ログ値を示す）ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］値をチェックする部分が省略されることができる。

表９のｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘとｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘに対する二進化は、表６のようにｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔに基づいて決定されることができる。

また、表９のように、レジデュアルコーディングでｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔを決定するとき、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅ＿ｆｌａｇをチェックする条件が追加されることができる。

一例によって、ルマ変換ブロックに対する最後の有効係数位置に対する情報をレジデュアルコーディング過程で記録しておく場合、表１０のようにＭＴＳインデックスをシグナリングすることもできる。

表１０において、ＬｕｍａＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸとＬｕｍａＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹは、各々、ルマ変換ブロックに対する最後の有効係数位置のＸ座標とＹ座標を示す。ＬｕｍａＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸとＬｕｍａＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹが両方とも１６より小さくなるべき条件が表１０に追加されたし、もし、二つのうち一つでも１６以上になる場合、水平方向と垂直方向の両方ともにＤＣＴ－２が適用されることであるため、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］に対するシグナリングを省略し、水平方向と垂直方向に対して両方ともＤＣＴ－２が適用されると類推できる。

ＬｕｍａＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸとＬｕｍａＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹが両方とも１６より小さいということは、最後の有効係数が左上端１６×１６領域内に存在するということを意味し、現在ＶＶＣ標準で３２長さのＤＳＴ－７またはＤＣＴ－８が適用される場合、最左側または最上側から１６個の変換係数のみを残すゼロアウトが適用された可能性が存在することを示す。したがって、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］をシグナリングして１次変換のために使われた変換カーネルを指示することができる。

一方、他の例によって、コーディングユニットシンタックステーブル、変換ユニットシンタックステーブル、及びレジデュアルコーディングシンタックステーブルは、以下の表の通りである。表１１によると、ＭＴＳインデックスは、変換ユニットレベルからコーディングユニットレベルのシンタックスに移動し、ＬＦＮＳＴインデックスシグナリング以後にシグナリングされる。また、コーディングユニットにＩＳＰが適用される場合、ＬＦＮＳＴを許容しない制限条件が除去された。コーディングユニットにＩＳＰが適用される場合、ＬＦＮＳＴを許容しない制限条件が除去されるため、ＬＦＮＳＴを全てのイントラ予測ブロックに適用できる。また、ＭＴＳインデックス及びＬＦＮＳＴインデックスは、両方ともコーディングユニットレベルの最後の部分に条件付きでシグナリングされる。

表１１において、ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、最初に１に設定され、この値は、表１３のレジデュアルコーディングで変更されることができる。変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、ゼロアウトによって０で満たされるべき領域（ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸ>１５||ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹ>１５）に有効係数が存在すると、その値が１から０へ変更され、この場合、表１１のように、ＭＴＳインデックスはシグナリングされない。

一方、表１１のように、ｔｕ＿ｃｂｆ＿ｌｕｍａ［ｘ０］［ｙ０］が０である場合にはｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］コーディングを省略することができる。即ち、ルマ成分のＣＢＦ値が０である場合は、変換を適用しないため、ＭＴＳインデックスをシグナリングする必要がなくて、ＭＴＳインデックスコーディングを省略することができる。

一例によって、前記技術的特徴は、他の条件付き構文で具現されることができる。例えば、ＭＴＳが実行された後、現在ブロックのＤＣ領域を除外した領域に有効係数が存在するかどうかを示す変数を導出することができ、前記変数がＤＣ領域を除外した領域に有効係数が存在することを示す場合、ＭＴＳインデックスをシグナリングすることができる。即ち、現在ブロックのＤＣ領域を除外した領域に有効係数が存在するということは、ｔｕ＿ｃｂｆ＿ｌｕｍａ［ｘ０］［ｙ０］値が１であることを示し、この場合、ＭＴＳインデックスをシグナリングすることができる。

前記変数は、ＭｔｓＤｃＯｎｌｙで表すことができ、変数ＭｔｓＤｃＯｎｌｙは、コーディングユニットレベルで最初に１に設定された後、レジデュアルコーディングレベルで現在ブロックのＤＣ領域を除外した領域に有効係数が存在することを示す場合、その値が０に変更されることができる。変数ＭｔｓＤｃＯｎｌｙが０である場合、ＭＴＳインデックスがシグナリングされるように映像情報が構成されることができる。

もし、ｔｕ＿ｃｂｆ＿ｌｕｍａ［ｘ０］［ｙ０］が０である場合は、表１２の変換ユニットレベルでレジデュアルコーディングシンタックスの呼び出しが行われないため、変数ＭｔｓＤｃＯｎｌｙは、初期値１を維持するようになる。このような場合、変数ＭｔｓＤｃＯｎｌｙが０に変更されなかったため、ＭＴＳインデックスがシグナリングされないように映像情報が構成されることができる。即ち、ＭＴＳインデックスは、パーシング及びシグナリングされない。

一方、デコーディング装置は、表１３の変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇを導出するために変換係数のカラーインデックス（ｃＩｄｘ）を判断することができる。カラーインデックス（ｃＩｄｘ）が０であることは、ルマ成分を意味する。

一例によって、現在ブロックのルマ成分にのみＭＴＳが適用されることができるため、デコーディング装置は、ＭＴＳインデックスのパーシング可否を決定する変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇを導出する時、カラーインデックスがルマであるかどうかを判断することができる。（ｉｆｃＩｄｘ＝＝０、ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ＝０）。

変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、ＭＴＳ適用時にゼロアウトが実行されたかどうかを示す変数であって、ＭＴＳ実行後にゼロアウトにより最後の有効係数が存在できる左上端領域、即ち、左上端１６×１６領域以外の領域に変換係数が存在するかどうかを示す。変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、表１１のようにコーディングユニットレベルで最初に１に設定され（ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ＝１）、１６×１６領域以外の領域に変換係数が存在すると、表１３のようにレジデュアルコーディングレベルでその値が１から０へ変更されることができる（ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ＝０）。変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇの値が０である場合、ＭＴＳインデックスはシグナリングされない。

表１３のように、レジデュアルコーディングレベルで、ＭＴＳに伴われるゼロアウトが実行されたかどうかによって０でない変換係数が存在できるノンゼロアウト領域が設定されることができ、この場合にも、カラーインデックス（ｃＩｄｘ）が０である場合、ノンゼロアウト領域は、現在ブロックの左上端１６×１６領域に設定されることができる。

このように、ＭＴＳインデックスのパーシング可否を決定する変数を導出する時は、カラー成分がルマであるかまたはクロマであるかを判断するが、現在ブロックのルマ成分またはクロマ成分の両方ともにＬＦＮＳＴが適用されることができるため、ＬＦＮＳＴインデックスのパーシング可否を決定する変数を導出する時はカラー成分を判断しない。

例えば、表１１にはＬＦＮＳＴ適用時にゼロアウトが実行されたことを示すことができる変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇが示されている。変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、現在ブロックの左上端第１の領域を除外した第２の領域に有効係数が存在するかどうかを示し、この値は、最初に１に設定され、第２の領域に有効係数が存在すると、その値は、０に変更されることができる。最初設定された変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ値が１に維持されてこそＬＦＮＳＴインデックスがパーシングされることができる。変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ値が１であるかどうかを判断及び導出する時、現在ブロックのルマ成分またはクロマ成分の両方ともにＬＦＮＳＴが適用されることができるため、現在ブロックのカラーインデックスは判断されない。

図１５は、一実施例によるクロマブロックのイントラ予測モード導出時に適用されることができるＣＣＬＭを説明するための図である。

本明細書において、「参照サンプルテンプレート」は、現在クロマブロックを予測するための現在クロマブロック周辺の参照サンプルの集合を意味することができる。参照サンプルテンプレートは、既定義されることができ、参照サンプルテンプレートに関する情報がエンコーディング装置２００からデコーディング装置３００にシグナリングされることもできる。

図１５を参照すると、現在クロマブロックである４×４ブロックの周辺に１ラインで陰影表示されたサンプルの集合は、参照サンプルテンプレートを示す。参照サンプルテンプレートが１ラインの参照サンプルで構成され、それに対して、参照サンプルテンプレートと対応されるルマ領域内の参照サンプル領域は、２ラインで構成されたことを図１５で確認することができる。

一実施例において、ＪＶＥＴ（ＪｏｉｎｔＶｉｄｅｏＥｘｐｌｏｒａｔｉｏｎＴｅａｍ）で使われるＪＥＭ（ＪｏｉｎｔＥｘｐｌｏｌａｔｉｏｎＴＥＳＴＭｏｄｅｌ）でクロマ映像の画面内の符号化を実行するとき、ＣＣＬＭ（ＣｒｏｓｓＣｏｍｐｏｎｅｎｔＬｉｎｅａｒＭｏｄｅｌ）を利用することができる。ＣＣＬＭは、クロマ映像の画素値を復元された輝度映像の画素値で予測する方法であって、輝度映像とクロマ映像との間の相関度（ｃｏｒｒｅｌａｔｉｏｎ）が高い特性に基づいている。

Ｃｂ及びＣｒクロマ映像のＣＣＬＭ予測は、以下の数式を基づいて行われる。

ここで、Ｐｒｅｄ_Ｃ（ｉ、ｊ）は、予測されるＣｂまたはＣｒクロマ映像を意味し、Ｒｅｃ_Ｌ’（ｉ、ｊ）は、クロマブロックサイズに調節された復元された輝度映像を意味し、（ｉ、ｊ）は、画素の座標を意味する。４：２：０カラーフォーマット（ｃｏｌｏｒｆｏｒｍａｔ）では輝度映像の大きさが色彩映像の２倍であるため、ダウンサンプリング（ｄｏｗｎｓａｍｐｌｉｎｇ）を介してクロマブロック大きさのＲｅｃ_Ｌ’を生成すべきであり、したがって、クロマ映像Ｐｒｅｄ_ｃ（ｉ、ｊ）に使われる輝度映像の画素は、Ｒｅｃ_Ｌ（２ｉ、２ｊ）外に周辺画素まで全て考慮して使用することができる。前記Ｒｅｃ_Ｌ’（ｉ、ｊ）は、ダウンサンプリングされたルマサンプルと示すことができる。

例えば、前記Ｒｅｃ_Ｌ’（ｉ、ｊ）は、以下の数式のように６個の周辺画素を利用して導出されることができる。

また、α、βは、図１２の陰影表示された領域のように、ＣｂまたはＣｒクロマブロック周辺テンプレートと輝度ブロック周辺テンプレートとの間のｃｒｏｓｓ－ｃｏｒｒｅｌａｔｉｏｎ及び平均値の差を示す。α、βは、例えば、以下の数式１３の通りである。

ここで、Ｌ（ｎ）は、現在クロマ映像に対応するルマブロックの周辺参照サンプル及び／または左側周辺サンプルを意味し、Ｃ（ｎ）は、現在符号化が適用される現在クロマブロックの周辺参照サンプル及び／または左側周辺サンプルを意味し、（ｉ、ｊ）は、画素位置を意味する。また、Ｌ（ｎ）は、前記現在ルマブロックのダウンサンプリング（ｄｏｗｎ－ｓａｍｐｌｅｄ）された上側周辺サンプル及び／または左側周辺サンプルを示すことができる。また、Ｎは、ＣＣＬＭパラメータ計算に使われた総画素対（ｐａｉｒ、輝度及びクロマ）値の数を示すことができ、前記現在クロマブロックの幅（ｗｉｄｔｈ）と高さ（ｈｅｉｇｈｔ）のうち小さい値の２倍である値を示すことができる。

一方、ピクチャは、コーディングツリーユニット（ＣＴＵｓ）のシーケンスに分割される（ｄｉｖｉｄｅｄｉｎｔｏａｓｅｑｕｅｎｃｅ）ことができる。ＣＴＵは、コーディングツリーブロック（ＣＴＢ）に対応されることができる。または、ＣＴＵは、ルマサンプルのコーディングツリーブロックと、対応するクロマサンプルのコーディングツリーブロックと、を含むことができる。ツリータイプは、ルマブロックと対応するクロマブロックが個別的な分割構造を有するかどうかによって、シングルツリー（ＳＩＮＧＬＥ＿ＴＲＥＥ）またはデュアルツリー（ＤＵＡＬ＿ＴＲＥＥ）に区分されることができる。クロマブロックがルマブロックと同じ分割構造を有する場合はシングルツリーで表し、クロマ成分ブロックがルマ成分ブロックと異なる分割構造を有する場合はデュアルツリーで表すことができる。

一方、一例によって、クロマ変換ブロックにＬＦＮＳＴを適用する時、同一位置のルマ変換ブロック（ｃｏｌｌｏｃａｔｅｄＬｕｍａｔｒａｎｓｆｏｒｍｂｌｏｃｋ）に対する情報を参照する必要がある。

該当部分に対する既存のスペックテキストを表で表せると、以下の通りである。

表１４に示すように、現在のイントラ予測モードがＣＣＬＭモードであるとき、同一位置ルマ変換ブロックに対するイントラ予測モード値を使用して該当クロマ変換ブロックに対するｐｒｅｄＭｏｄｅＩｎｔｒａ変数値を決定することを示す（イタリック体で表示された部分）。このようにルマ変換ブロックのイントラ予測モード値（ｐｒｅｄＭｏｄｅＩｎｔｒａ値）は、以後ＬＦＮＳＴセットを決定するときに使われることができる。

しかし、本変換過程の入力値で入力される変数ｎＴｂＷ及び変数ｎＴｂＨは、現在変換ブロック（ｔｈｅｃｕｒｒｅｎｔｔｒａｎｓｆｏｒｍｂｌｏｃｋ）に対する幅及び高さを示す。現在ブロックがルマ変換ブロックである場合、変数ｎＴｂＷ及び変数ｎＴｂＨはルマ変換ブロックに対する幅及び高さを示し、現在ブロックがクロマ変換ブロックである場合、変数ｎＴｂＷ及び変数ｎＴｂＨはクロマ変換ブロックに対する幅及び高さを示す。

このとき、表１４のイタリック体に対する部分内の変数ｎＴｂＷ及び変数ｎＴｂＨは、カラーフォーマットを反映しないクロマ変換ブロックの幅及び高さを示しているため、クロマ変換ブロックに対応するルマ変換ブロックの参照位置を正確に指示していない。したがって、表１４のイタリック体部分は、以下の表のように修正されることができる。

表１５に示すように、ｎＴｂＷとｎＴｂＨは、各々、（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２と（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２に変更された。ｘＴｂＹとｙＴｂＹは、各々、ルマに対する現在ピクチャ内での位置を示し（ｔｈｅｔｏｐ－ｌｅｆｔｓａｍｐｌｅｏｆｔｈｅｃｕｒｒｅｎｔｌｕｍａｔｒａｎｓｆｏｒｍｂｌｏｃｋｒｅｌａｔｉｖｅｔｏｔｈｅｔｏｐｌｅｆｔｌｕｍａｓａｍｐｌｅｏｆｔｈｅｃｕｒｒｅｎｔｐｉｃｔｕｒｅ）、ｎＴｂＷとｎＴｂＨは、現在コーディングする変換ブロックの幅と高さを示すことができる（ａｖａｒｉａｂｌｅｎＴｂＷｓｐｅｃｉｆｙｉｎｇｔｈｅｗｉｄｔｈｏｆｔｈｅｃｕｒｒｅｎｔｔｒａｎｓｆｏｒｍｂｌｏｃｋ，ａｖａｒｉａｂｌｅｎＴｂＨｓｐｅｃｉｆｙｉｎｇｔｈｅｈｅｉｇｈｔｏｆｔｈｅｃｕｒｒｅｎｔｔｒａｎｓｆｏｒｍｂｌｏｃｋ）。

もし、現在コーディングする変換ブロックがクロマに対する（ＣｂまたはＣｒに対する）変換ブロックである場合、ｎＴｂＷとｎＴｂＨは、各々、クロマ変換ブロックに対する幅と高さになる。したがって、現在コーディングする変換ブロックがクロマ変換ブロックである場合（ｃＩｄｘ>０）、同一位置ルマ変換ブロック（ｃｏｌｌｏｃａｔｅｄＬｕｍａｔｒａｎｓｆｏｒｍｂｌｏｃｋ）に対する参照位置を求める時、該当ルマ変換ブロックに対する幅と高さで該当参照位置を求めなければならない。表１５のＳｕｂＷｉｄｔｈＣとＳｕｂＨｅｉｇｈｔＣは、カラーフォーマット（Ｃｈｒｏｍａｆｏｒｍａｔ、例えば、４：２：０、４：２：２、４：４：４）によって設定される値であり、より具体的に、各々、ルマ成分とクロマ成分の幅の比率と高さの比率を示すため（以下の表１６参照）、クロマ変換ブロックの場合、（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）と（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）は、各々、同一位置ルマ変換ブロックに対する幅及び高さに対する値になることができる。

結果的に、ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２値とｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２値は、現在ピクチャの左上端位置を基準とする同一位置ルマ変換ブロック内部のセンター位置値を指示するため、より明確には同一位置ルマ変換ブロックを指すことができる。

表１５において、ｐｒｅｄＭｏｄｅＩｎｔｒａ変数は、イントラ予測モード値を指し、ｐｒｅｄＭｏｄｅＩｎｔｒａ変数値がＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｌ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｔ＿ＣＣＬＭであることは、現在の変換ブロックがクロマに対する変換ブロックであることを示す。一例によって、現在ＶＶＣ標準でＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｌ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｔ＿ＣＣＬＭは、イントラ予測モード値のうち、各々、８１、８２、８３のモード値に該当する。したがって、表１５のようにｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２値とｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２値を使用して、同一位置ルマ変換ブロックで参照位置を求めなければならない。

表１５のように、ｐｒｅｄＭｏｄｅＩｎｔｒａ変数値は、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２］［ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２］変数とＣｕＰｒｅｄＭｏｄｅ［０］［ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２］［ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２］変数を共に考慮してその値が更新される。

変数ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇは、現在変換ブロック（または、コーディングユニット）がＭＩＰ（Ｍａｔｒｉｘ－ｂａｓｅｄＩｎｔｒａＰｒｅｄｉｃｔｉｏｎ）方式にコーディングされたかを示す変数であり、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘ］［ｙ］は、現在ピクチャ内で左上端位置を（０、０）に置いた時、ルマ成分基準にして（ｘ、ｙ）座標に該当する位置に対するＭＩＰ適用可否を指示するフラグ値を示す。ｘ座標とｙ座標は、各々、左側から右側へ、上側から下側へ増加する。ＭＩＰ適用可否を示すフラグ値が１である時は、ＭＩＰが適用されたことを示す。ＭＩＰ適用可否を示すフラグ値が０である時は、ＭＩＰが適用されないことを示す。ＭＩＰは、ルマブロックに対してのみ適用されることができる。

表１５の修正された内容部分によると、同一位置ルマ変換ブロック内部のｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２］［ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２］値が１である時は、ｐｒｅｄＭｏｄｅＩｎｔｒａ値をプラナーモードに設定する（ＩＮＴＲＡ＿ＰＬＡＮＡＲ）。

ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２］［ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２］変数値は、ルマ成分に対して現在ピクチャの左上端位置を（０、０）に置いた時、（ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２、ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２）座標に該当する予測モード値を示す。予測モード値は、ＭＯＤＥ＿ＩＮＴＲＡ、ＭＯＤＥ＿ＩＢＣ、ＭＯＤＥ＿ＰＬＴ、ＭＯＤＥ＿ＩＮＴＥＲ値を有することができ、各々、イントラ予測モード、ＩＢＣ（ＩｎｔｒａＢｌｏｃｋＣｏｐｙ）予測モード、ＰＬＴ（Ｐａｌｅｔｔｅ）コーディングモード、インター予測モードを示す。表１５によると、ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２］［ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２］変数値がＭＯＤＥ＿ＩＢＣでありまたはＭＯＤＥ＿ＰＬＴである場合、変数ｐｒｅｄＭｏｄｅＩｎｔｒａ値は、ＤＣモードに設定される。前記二つの場合でない場合、変数ｐｒｅｄＭｏｄｅＩｎｔｒａ値は、ＩｎｔｒａＰｒｅｄＭｏｄｅＹ［ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２］［ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２］値に（同一位置ルマ変換ブロック内部の中心位置に該当するイントラ予測モード値に）設定される。

一例によって、表１５で更新されたｐｒｅｄＭｏｄｅＩｎｔｒａ値に基づいて以下の表のように広角イントラ予測（ｗｉｄｅａｎｇｌｅｉｎｔｒａｐｒｅｄｉｃｔｉｏｎ）可否を考慮して変数ｐｒｅｄＭｏｄｅＩｎｔｒａ値をもう一回更新できる。

表１７で提示されたマッピング過程の入力値であるｐｒｅｄＭｏｄｅＩｎｔｒａ、ｎＴｂＷ、ｎＴｂＨは、各々、表１５で更新された変数ｐｒｅｄＭｏｄｅＩｎｔｒａ値と表１５で参照されるｎＴｂＷ、ｎＴｂＨと同じである。

表１７において、ｎＣｂＷとｎＣｂＨは、各々、該当変換ブロックに対応されるコーディングブロックの幅と高さを指し、ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅ変数は、ＩＳＰモードが適用されたかどうかを示す。ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅがＩＳＰ＿ＮＯ＿ＳＰＬＩＴである場合は、ＩＳＰによってコーディングユニットが分割されていないことを（即ち、ＩＳＰモードが適用されていないことを）示す。変数ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅ値がＩＳＰ＿ＮＯ＿ＳＰＬＩＴでない場合は、ＩＳＰモードが適用されてコーディングユニットが２個または４個のパーティションブロックに分割されたことを示す。表１７において、ｃＩｄｘは、カラー成分（ｃｏｌｏｒｃｏｍｐｏｎｅｎｔ）を指すインデックスであり、ｃＩｄｘ値が０である場合はルマブロックを示し、ｃＩｄｘ値が０でない場合はクロマブロックを示す。表１７のマッピング過程を介して出力されるｐｒｅｄＭｏｄｅＩｎｔｒａ値は、広角イントラ予測（ＷＡＩＰ）モードの適用可否を考慮して更新された値である。

表１７を介して更新されたｐｒｅｄＭｏｄｅＩｎｔｒａ値に対して以下の表のようなマッピング関係を介してＬＦＮＳＴセットが決定されることができる。

前記表において、ｌｆｎｓｔＴｒＳｅｔＩｄｘは、ＬＦＮＳＴセットを指すインデックスを示し、０から３までの値を有するため、総４個のＬＦＮＳＴセットが構成されたことを確認することができる。各ＬＦＮＳＴセットは、２個の変換カーネル、即ち、ＬＦＮＳＴカーネルで構成されることができ（ＬＦＮＳＴが適用される領域によって、該当変換カーネルは、順方向基準にして１６×１６行列乃至１６×４８行列になることができる）、該当２個の変換カーネルのうちどの変換カーネルが適用されるかは、ＬＦＮＳＴインデックスのシグナリングを介して指定できる。また、ＬＦＮＳＴインデックスを介してＬＦＮＳＴの適用可否も指定できる。現在ＶＶＣ標準でＬＦＮＳＴインデックスは０、１、２値を有することができ、０はＬＦＮＳＴを適用しないということを指し、１と２は各々該当２個の変換カーネルを示す。

以下の図面は、本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は、例示的に提示されたものであるため、本明細書の技術的特徴が以下の図面に使われた具体的な名称に制限されない。

図１６は、本文書の一実施例によるビデオデコーディング装置の動作を示す流れ図である。

図１６に開示された各ステップは、図４乃至図１５で詳述した内容のうち一部に基づいている。したがって、図３乃至図１５で詳述した内容と重複する具体的な内容は、説明を省略または簡単にする。

一実施例によるデコーディング装置３００は、ビットストリームからイントラ予測モード情報及びＬＦＮＳＴインデックスを取得することができる（Ｓ１６１０）。

イントラ予測モード情報は、現在ブロックの周辺ブロック（例えば、左側及び／または上側周辺ブロック）のイントラ予測モード及び追加的な候補モードに基づいて導出されたＭＰＭ（ｍｏｓｔｐｒｏｂａｂｌｅｍｏｄｅ）リスト内のｍｐｍ候補のうち一つを指示するｍｐｍインデックスまたは前記ｍｐｍ候補に含まれない残りのイントラ予測モードのうち一つを指示するリメイニングイントラ予測モード情報を含むことができる。

また、イントラモード情報は、現在ブロックにＣＣＬＭが適用されるかどうかを指示するフラグ情報ｓｐｓ＿ｃｃｌｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇ及びクロマ成分に対するイントラ予測モードに対する情報ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅを含むことができる。

ＬＦＮＳＴインデックス情報は、シンタックス情報で受信され、シンタックス情報は、０と１を含む二進化されたｂｉｎストリングで受信される。

本実施例によるＬＦＮＳＴインデックスのシンタックス要素は、逆ＬＦＮＳＴまたは逆非分離変換が適用されるかどうか及び変換セットに含まれている変換カーネルマトリクスのうちいずれか一つを指示することができ、変換セットが二つの変換カーネルマトリクスを含む場合、変換インデックスのシンタックス要素の値は三つである。

即ち、一実施例によって、ＬＦＮＳＴインデックスに対するシンタックス要素値は、対象ブロックに逆ＬＦＮＳＴが適用されない場合を指示する０、変換カーネルマトリクスのうち１番目の変換カーネルマトリクスを指示する１、変換カーネルマトリクスのうち２番目の変換カーネルマトリクスを指示する２、を含むことができる。

また、デコーディング装置３００は、ビットストリームから現在ブロックに対する量子化された変換係数に関する情報をデコーディングすることができ、現在ブロックに対する量子化された変換係数に関する情報に基づいて対象ブロックに対する量子化された変換係数を導出することができる。対象ブロックに対する量子化された変換係数に関する情報は、ＳＰＳ（ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ）またはスライスヘッダ（ｓｌｉｃｅｈｅａｄｅｒ）に含まれることができ、簡素化変換（ＲＳＴ）が適用されるかどうかに対する情報、簡素化ファクタに関する情報、簡素化変換を適用する最小変換サイズに対する情報、簡素化変換を適用する最大変換サイズに対する情報、簡素化逆変換サイズ、変換セットに含まれている変換カーネルマトリクスのうちいずれか一つを指示する変換インデックスに対する情報のうち少なくとも一つを含むことができる。

デコーディング装置３００は、現在ブロックに対するレジデュアル情報、即ち、量子化された変換係数に対して逆量子化を実行して変換係数を導出することができ、導出された変換係数を所定スキャニング順序に配列できる。

具体的に、導出された変換係数は、４×４ブロック単位で逆方向対角スキャン順序によって配列されることができ、４×４ブロック内の変換係数も逆方向対角スキャン順序によって配列されることができる。即ち、逆量子化が実行された変換係数は、ＶＶＣやＨＥＶＣのようなビデオコーデックで適用されている逆方向スキャン順序によって配置されることができる。

このようなレジデュアル情報に基づいて導出された変換係数は、前記のように逆量子化された変換係数であってもよく、量子化された変換係数であってもよい。即ち、変換係数は、量子化可否にかかわらず、現在ブロックで０でないデータであるかどうかをチェックすることができるデータであればよい。

デコーディング装置は、イントラ予測モード情報に基づいてクロマブロックのイントラ予測モードをＣＣＬＭモードとして導出することができる（Ｓ１６２０）。

例えば、デコーディング装置は、ビットストリームを介して現在クロマブロックのイントラ予測モードに対する情報を受信することができ、イントラ予測モードに対する情報に基づいてＣＣＬＭモードを前記現在クロマブロックのイントラ予測モードとして導出することができる。

ＣＣＬＭモードは、左上側ベースのＣＣＬＭモード、上側ベースのＣＣＬＭモードまたは左側ベースのＣＣＬＭモードを含むことができる。

前述したように、デコーディング装置は、非分離変換であるＬＦＮＳＴまたは分離変換であるＭＴＳを適用してレジデュアルサンプルを導出することができ、このような変換は、各々、ＬＦＮＳＴカーネル、即ち、ＬＦＮＳＴマトリクスを指示するＬＦＮＳＴインデックスとＭＴＳカーネルを指示するＭＴＳインデックスとに基づいて実行されることができる。

一方、ＬＦＮＳＴのためにＬＦＮＳＴセットが決定されるべきであり、ＬＦＮＳＴセットは、現在ブロックのイントラ予測モードとマッピング関係を有する。

デコーディング装置は、クロマブロックの逆ＬＦＮＳＴのために、クロマブロックのイントラ予測モードをクロマブロックに対応するルマブロックのイントラ予測モードに基づいて更新できる（Ｓ１６３０）。

一例によって、更新されたイントラ予測モードは、ルマブロック内の特定位置に対応するイントラ予測モードとして導出されることができ、このとき、特定位置は、クロマブロックのカラーフォーマットに基づいて設定されることができる。

特定位置は、ルマブロックの中心位置であり、（（ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２）、（ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２））で表現されることができる。

前記中心位置で、ｘＴｂＹ及びｙＴｂＹは、ルマブロックの左上端座標、即ち、現在変換ブロックに対するルマサンプル基準での左上端位置を示し、ｎＴｂＷ及びｎＴｂＨは、前記クロマブロックの幅及び高さを示し、ＳｕｂＷｉｄｔｈＣ及びＳｕｂＨｅｉｇｈｔＣは、カラーフォーマットに対応される変数に対応する。（（ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２）、（ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２））は、ルマ変換ブロックの中間位置を示し、ＩｎｔｒａＰｒｅｄＭｏｄｅＹ［ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２］［ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２］は、該当位置に対するルマブロックでのイントラ予測モードを指すようになる。

ＳｕｂＷｉｄｔｈＣ及びＳｕｂＨｅｉｇｈｔＣは、表１６のように導出されることができる。即ち、カラーフォーマットが４：２：０である場合、ＳｕｂＷｉｄｔｈＣ及びＳｕｂＨｅｉｇｈｔＣは２であり、カラーフォーマットが４：２：２である場合、ＳｕｂＷｉｄｔｈＣは２であり、かつＳｕｂＨｅｉｇｈｔＣは１である。

表１５のように、カラーフォーマットにかかわれずにクロマブロックに対応するルマブロックの特定位置を指定するために、特定位置を指示する変数にカラーフォーマットが反映された。

一例によって、特定位置に対応するルマブロックのイントラ予測モードがマトリクスベースのイントラ予測（Ｍａｔｒｉｘｂａｓｅｄｉｎｔｒａｐｒｅｄｉｃｔｉｏｎ、以下、ＭＩＰ）モードである場合、デコーディング装置は、更新されたイントラ予測モードをイントラプラナーモードに設定できる。

ＭＩＰモードは、アフィン線形加重イントラ予測（Ａｆｆｉｎｅｌｉｎｅａｒｗｅｉｇｈｔｅｄｉｎｔｒａｐｒｅｄｉｃｔｉｏ、ＡＬＷＩＰ）またはマトリクス加重イントラ予測（Ｍａｔｒｉｘｗｅｉｇｈｔｅｄｉｎｔｒａｐｒｅｄｉｃｔｉｏｎ、ＭＷＩＰ）とも呼ばれる。ＭＩＰが現在ブロックに対して適用される場合、ｉ）アベレージング（ａｖｅｒａｇｉｎｇ）手順が実行された周辺参照サンプルを利用して、ｉｉ）マトリクスベクトルマルチプリケーション（ｍａｔｒｉｘ－ｖｅｃｔｏｒ－ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）手順を実行し、ｉｉｉ）必要によって、水平／垂直補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）手順をさらに実行することで、前記現在ブロックに対する予測サンプルを導出することができる。

または、一例によって、特定位置に対応するイントラ予測モードがイントラブロックコピー（ｉｎｔｒａｂｌｏｃｋｃｏｐｙ、ＩＢＣ）モードまたはパレットモードである場合、デコーディング装置は、更新されたイントラ予測モードをイントラＤＣモードに設定できる。

ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎｃｏｎｔｅｎｔｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動映像コーディングのために使われることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。即ち、ＩＢＣは、本文書で説明されるインター予測技法のうち少なくとも一つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見ることができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報に基づいてピクチャ内のサンプル値をシグナリングすることができる。

整理すると、中心位置に対するイントラ予測モードがＭＩＰモード、ＩＢＣモード、及びパレットモードである場合、クロマブロックのイントラ予測モードは、イントラプラナーモードまたはイントラＤＣモードのような特定モードに更新されることができる。

もちろん、中心位置のイントラ予測モードがＭＩＰモード、ＩＢＣモード、及びパレットモードでない場合、クロマブロックとルマブロックの連関性を反映するために、クロマブロックのイントラ予測モードは、中心位置に対するルマブロックのイントラ予測モードに更新されることができる。

デコーディング装置は、クロマブロックが正方形でない場合、更新されたイントラ予測モードを広角イントラ予測モードにリマッピングできる（Ｓ１６４０）。

ＬＦＮＳＴセットを決定するために、イントラ予測モードは、表１７のように広角イントラモードを反映してリマッピング、即ち、更新または修正されることができる。

表１７で提示されたマッピング過程の入力値であるｐｒｅｄＭｏｄｅＩｎｔｒａ、ｎＴｂＷ、ｎＴｂＨは、各々、表１５で更新された変数ｐｒｅｄＭｏｄｅＩｎｔｒａ値と表１５で参照されるクロマブロックの幅及び高さに対応するｎＴｂＷ、ｎＴｂＨである。

ブロックの幅及び高さの比を示す変数ｗｈＲａｔｉｏは、Ａｂｓ（Ｌｏｇ２（ｎＷ／ｎＨ））に設定されることができる。または、Ａｂｓ（Ｌｏｇ２（ｎＷ）－Ｌｏｇ２（ｎＨ））で表すことができる。

例えば、クロマブロックの幅が高さより大きい、更新されたイントラモードが２以上であり、更新されたイントラモードが変数（ｗｈＲａｔｉｏ>１）？（８＋２＊ｗｈＲａｔｉｏ）：８（ここで、ｗｈＲａｔｉｏは、Ａｂｓ（Ｌｏｇ２（ｎＷ／ｎＨ）））より小さい場合、更新されたイントラモードは、「更新されたイントラモード＋６５」にリマッピングされることができる。

本文書において、「ｘ？ｙ：ｚ」演算子は、ｘが真（ＴＲＵＥ）である場合、ｘはｙになり、ｘがそうでない場合（ｏｔｈｅｒｗｉｓｅ）、ｘはｚになることを示す（ｉｆｘｉｓＴＲＵＥ、ｅｖａｌｕａｔｅｓｔｏｔｈｅｖａｌｕｅｏｆｙ；ｏｔｈｅｒｗｉｓｅ，ｅｖａｌｕａｔｅｓｔｏｔｈｅｖａｌｕｅｏｆｚ）。

または、クロマブロックの高さが幅より大きい、更新されたイントラモードが６６以下であり、更新されたイントラモードが変数（ｗｈＲａｔｉｏ>１）？（６０－２＊ｗｈＲａｔｉｏ）：６０（ここで、ｗｈＲａｔｉｏは、Ａｂｓ（Ｌｏｇ２（ｎＷ／ｎＨ）））より大きい場合、更新されたイントラモードは、「更新されたイントラモード－６７」にリマッピングされることができる。

即ち、デコーディング装置は、クロマブロックの非正方性を反映してＬＦＮＳＴセットを決定するためのイントラ予測モードを再び更新できる。

デコーディング装置は、リマッピングされたイントラ予測モードに基づいてＬＦＮＳＴマトリクスを含むＬＦＮＳＴセットを決定し（Ｓ１６５０）、ＬＦＮＳＴセットから導出されたＬＦＮＳＴマトリクスに基づいてクロマブロックに対する変換係数を導出することができる（Ｓ１６６０）。

複数のＬＦＮＳＴマトリクスのうちいずれか一つは、ＬＦＮＳＴセット及びＬＦＮＳＴインデックスに基づいて複数の中からいずれか一つを選択することができる。

表１８のように、イントラ予測モードによってＬＦＮＳＴ変換セットが導出される。イントラ予測モードでＣＣＬＭモードを示す８１乃至８３は省略されており、これはＣＣＬＭモードの場合、対応されるルマブロックに対するイントラモード値またはリマッピングされた広角イントラモード値を有してＬＦＮＳＴ変換セットを導出するためである。

一例によって、表１８のように、現在ブロックのイントラ予測モードによって４個のＬＦＮＳＴセットのうちいずれか一つが決定されることができ、このとき、現在クロマブロックに適用されるＬＦＮＳＴセットも決定されることができる。

その後、デコーディング装置は、逆量子化された変換係数にＬＦＮＳＴマトリクスを適用して逆ＲＳＴ、例えば、逆ＬＦＮＳＴを実行することによって、現在クロマブロックに対する修正された変換係数を導出することができる。

デコーディング装置は、１次逆変換を介して変換係数からレジデュアルサンプルを導出することができる（Ｓ１６７０）。１次逆変換としてＭＴＳが使われることができる。

また、デコーディング装置は、現在ブロックに対するレジデュアルサンプル及び現在ブロックに対する予測サンプルに基づいて、復元サンプルを生成することができる。現在ブロックは、現在ルマブロックまたは現在クロマブロックである。

図１７は、本文書の一実施例によるビデオエンコーディング装置の動作を示す流れ図である。

図１７に開示された各ステップは、図４乃至図１５で詳述した内容のうち一部に基づいている。したがって、図２及び図４乃至図１５で詳述した内容と重複する具体的な内容は、説明を省略または簡単にする。

一実施例によるエンコーディング装置２００は、クロマブロックに対するイントラ予測モードをＣＣＬＭモードとして導出することができる（Ｓ１７１０）。

例えば、エンコーディング装置は、ＲＤコスト（Ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎｃｏｓｔ）（または、ＲＤＯ）に基づいて前記現在クロマブロックのイントラ予測モードを決定することができる。ここで、前記ＲＤコストは、ＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）に基づいて導出されることができる。エンコーディング装置は、ＲＤコストに基づいて前記ＣＣＬＭモードを前記現在クロマブロックのイントラ予測モードに決定できる。

また、エンコーディング装置は、前記現在クロマブロックのイントラ予測モードに対する情報をエンコーディングすることができ、ビットストリームを介して前記イントラ予測モードに対する情報はシグナリングされることができる。前記現在クロマブロックの予測関連情報は、前記イントラ予測モードに対する情報を含むことができる。

エンコーディング装置は、ＣＣＬＭモードに基づいてクロマブロックに対する予測サンプルを導出することができる（Ｓ１７２０）。

一実施例によるエンコーディング装置は、予測サンプルに基づいてクロマブロックに対するレジデュアルサンプルを導出することができる（Ｓ１７３０）。

一実施例によるエンコーディング装置は、レジデュアルサンプルに対する１次変換に基づいてクロマブロックに対する変換係数を導出することができる。

１次変換は、複数の変換カーネルを介して実行されることができ、この場合、イントラ予測モードに基づいて変換カーネルが選択されることができる。

エンコーディング装置は、クロマブロックのＬＦＮＳＴのために、クロマブロックのイントラ予測モードをクロマブロックに対応するルマブロックのイントラ予測モードに基づいて更新できる（Ｓ１７４０）。

エンコーディング装置は、表１５に示すように、クロマブロックに対するＣＣＬＭモードをクロマブロックに対応するルマブロックのイントラ予測モードに基づいて更新できる（ＷｈｅｎｐｒｅｄＭｏｄｅＩｎｔｒａｉｓｅｑｕａｌｔｏｅｉｔｈｅｒＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭ，ＩＮＴＲＡ＿Ｌ＿ＣＣＬＭ，ｏｒＩＮＴＲＡ＿Ｔ＿ＣＣＬＭ，ｐｒｅｄＭｏｄｅＩｎｔｒａｉｓｄｅｒｉｖｅｄａｓｆｏｌｌｏｗ：）。

表１５のように、カラーフォーマットにかかわらずにクロマブロックに対応するルマブロックの特定位置を指定するために、特定位置を指示する変数にカラーフォーマットが反映された。

一例によって、特定位置に対応するルマブロックのイントラ予測モードがマトリクスベースのイントラ予測（Ｍａｔｒｉｘｂａｓｅｄｉｎｔｒａｐｒｅｄｉｃｔｉｏｎ、以下、ＭＩＰ）モードである場合、エンコーディング装置は、更新されたイントラ予測モードをイントラプラナーモードに設定できる。

または、一例によって、特定位置に対応するイントラ予測モードがイントラブロックコピー（ｉｎｔｒａｂｌｏｃｋｃｏｐｙ、ＩＢＣ）モードまたはパレットモードである場合、エンコーディング装置は、更新されたイントラ予測モードをイントラＤＣモードに設定できる。

エンコーディング装置は、クロマブロックが正方形でない場合、更新されたイントラ予測モードを広角イントラ予測モードにリマッピングできる（Ｓ１７５０）。

ブロックの幅及び高さの比を示す変数ｗｈＲａｔｉｏは、Ａｂｓ（Ｌｏｇ２（ｎＷ／ｎＨ））に設定されることができる。

即ち、エンコーディング装置は、クロマブロックの非正方性を反映してＬＦＮＳＴセットを決定するためのイントラ予測モードを再び更新できる。

エンコーディング装置は、リマッピングされたイントラ予測モードに基づいてＬＦＮＳＴマトリクスを含むＬＦＮＳＴセットを決定し（Ｓ１７６０）、レジデュアルサンプル、ＬＦＮＳＴマトリクスに基づいてクロマブロックに対する修正された変換係数を導出することができる（Ｓ１７７０）。

エンコーディング装置は、現在ブロックに適用されるイントラ予測モードによるマッピング関係に基づいて変換セットを決定し、変換セットに含まれている二つのうちいずれか一つのＬＦＮＳＴ行列に基づいてＬＦＮＳＴ、即ち、非分離変換を実行することができる。

前述したように、変換の対象になる変換ブロックのイントラ予測モードによって複数の変換セットが決定されることができる。ＬＦＮＳＴに適用される行列は、逆方向ＬＦＮＳＴに使われる行列とトランスポーズ関係にある。

一例示において、ＬＦＮＳＴ行列は、行の個数が列の個数より少ない非正方形マトリクスである。

エンコーディング装置は、現在クロマブロックに対する修正された変換係数に基づいて量子化を実行して量子化された変換係数を導出し、量子化された変換係数に関する情報、イントラ予測モード情報、及びＬＦＮＳＴマトリクスを指示するＬＦＮＳＴインデックスを含む映像情報をエンコーディング後に出力できる（Ｓ１７８０）。

より具体的に、エンコーディング装置２００は、量子化された変換係数に関する情報を生成し、生成された量子化された変換係数に関する情報をエンコーディングすることができる。

一例示において、量子化された変換係数に関する情報は、ＬＦＮＳＴが適用されるかどうかに対する情報、簡素化ファクタに関する情報、ＬＦＮＳＴを適用する最小変換サイズに対する情報、及びＬＦＮＳＴを適用する最大変換サイズに対する情報のうち少なくとも一つを含むことができる。

エンコーディング装置は、イントラモード情報として現在ブロックにＣＣＬＭが適用されるかどうかを指示するフラグ情報ｓｐｓ＿ｃｃｌｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇ及びクロマ成分に対するイントラ予測モードに対する情報ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅをエンコーディングすることができる。

ＣＣＬＭモードに対する情報であるｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅは、左上側ベースのＣＣＬＭモード、上側ベースのＣＣＬＭモードまたは左側ベースのＣＣＬＭモードを指示することができる。

本文書において、量子化／逆量子化及び／又は変換／逆変換の少なくとも１つは省略され得る。前記量子化／逆量子化が省略される場合、前記量子化された変換係数は、変換係数と呼ばれ得る。前記変換／逆変換が省略される場合、前記変換係数は、係数又はレジデュアル係数と呼ばれることもあり、又は表現の統一性のために変換係数と依然として呼ばれることもある。

また、本文書において、量子化された変換係数及び変換係数は、それぞれ変換係数及びスケーリングされた（ｓｃａｌｅｄ）変換係数と指称され得る。この場合、レジデュアル情報は、変換係数に関する情報を含むことができ、前記変換係数に関する情報は、レジデュアルコーディングシンタックスを介してシグナリングされることができる。前記レジデュアル情報（又は前記変換係数に関する情報）に基づいて変換係数が導出でき、前記変換係数に対する逆変換（スケーリング）を介してスケーリングされた変換係数が導出できる。前記スケーリングされた変換係数に対する逆変換（変換）に基づいて、レジデュアルサンプルが導出できる。これは、本文書の別の部分でも同様に適用／表現できる。

前述した実施例において、方法は、一連のステップ又はブロックとしてフローチャートに基づいて説明されているが、本文書は、ステップの順序に限定されるわけではなく、あるステップは、前述したところと異なるステップと異なる順序で、又は同時に発生し得る。また、当業者であれば、フローチャートに示されているステップが排他的ではなく、別のステップが含まれるか、フローチャートの一つ又はそれ以上のステップが本文書の範囲に影響を与えずに削除され得ることを理解することができる。

前述した本文書に係る方法は、ソフトウェアの形態で具現されることができ、本文書に係るエンコード装置及び／又はデコード装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置等の画像処理を行う装置に含まれ得る。

本文書において、実施例がソフトウェアで具現されるとき、前述した方法は、前述した機能を行うモジュール（過程、機能等）で具現されることができる。モジュールはメモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部又は外部にあってもよく、よく知られている様々な手段でプロセッサと連結されてもよい。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／又はデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／又は他の格納装置を含むことができる。即ち、本文書で説明した実施例は、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて実行されることができる。例えば、各図面で示している機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて実行されることができる。

また、本文書が適用されるデコード装置及びエンコード装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、オーダーメイド型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒｔｈｅｔｏｐｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置等に含まれ得、ビデオ信号又はデータ信号を処理するために使用され得る。例えば、ＯＴＴビデオ（Ｏｖｅｒｔｈｅｔｏｐｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネットアクセスＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（ＤｉｇｉｔａｌＶｉｄｅｏＲｅｃｏｄｅｒ）等を含み得る。

また、本文書が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取ることができる記録媒体に格納されることができる。本文書に係るデータ構造を有するマルチメディアデータもまた、コンピュータが読み取ることができる記録媒体に格納されることができる。前記コンピュータが読み取ることができる記録媒体は、コンピュータで読み取ることができるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取ることができる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピディスク、及び光学的データ格納装置を含み得る。また、前記コンピュータが読み取ることができる記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で具現されたメディアを含む。また、エンコード方法で生成されたビットストリームが、コンピュータが読み取ることができる記録媒体に格納されるか、有無線通信ネットワークを介して送信されることができる。また、本文書の実施形態は、プログラムコードによるコンピュータプログラム製品で具現されることができ、前記プログラムコードは、本文書の実施形態によってコンピュータで実行されることができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に格納されることができる。

本明細書に記載された請求項は、多様な方式で組み合わせることができる。例えば、本明細書の方法請求項の技術的特徴が組み合わせられて装置として具現されることができ、本明細書の装置請求項の技術的特徴が組み合わせられて方法として具現されることができる。また、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて装置として具現されることができ、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて方法として具現されることができる。

Claims

デコーディング装置により実行される映像デコーディング方法において、
ビットストリームからイントラ予測モード情報及びＬＦＮＳＴ（ｌｏｗｆｒｅｑｕｅｎｃｙｎｏｎ－ｓｅｐａｒａｂｌｅｔｒａｎｓｆｏｒｍ）インデックスを取得するステップと、
前記イントラ予測モード情報に基づいてクロマブロックに対するイントラ予測モードをＣＣＬＭ（ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔｌｉｎｅａｒｍｏｄｅｌ）モードとして導出するステップと、
前記ＣＣＬＭモードに基づいて前記クロマブロックに対する予測サンプルを導出するステップと、
変換係数を導出するためにＬＦＮＳＴを実行するステップと、
前記変換係数に基づいて前記クロマブロックに対するレジデュアルサンプルを導出するステップと、を含み、
前記ＬＦＮＳＴを実行するステップは、
前記クロマブロックに対する前記イントラ予測モードを前記クロマブロックに対応するルマブロックに対するイントラ予測モードに基づいて更新するステップと、
前記クロマブロックの幅が前記クロマブロックの高さと等しくないことに基づいて、前記更新されたイントラ予測モードを広角イントラ予測モードに修正するステップと、
前記広角イントラ予測モードのマッピング過程により、修正されたイントラ予測モードに基づいてＬＦＮＳＴマトリクスを含むＬＦＮＳＴセットを決定するステップと、
前記ＬＦＮＳＴインデックス及び前記ＬＦＮＳＴセットから導出されたＬＦＮＳＴマトリクスに基づいて行列演算を実行するステップと、を含み、
前記更新されたイントラ予測モードは、前記ルマブロック内の特定位置に対応するイントラ予測モードとして導出され、
前記特定位置は、（（ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２）、（ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２））に設定され、
ｘＴｂＹ及びｙＴｂＹは、前記ルマブロックの左上端座標を示し、
ｎＴｂＷ及びｎＴｂＨは、前記クロマブロックの幅及び高さを示し、
ＳｕｂＷｉｄｔｈＣ及びＳｕｂＨｅｉｇｈｔＣは、カラーフォーマットに対応する変数を示す、映像デコーディング方法。
前記カラーフォーマットが４：２：０である場合、ＳｕｂＷｉｄｔｈＣ及びＳｕｂＨｅｉｇｈｔＣは２であり、
前記カラーフォーマットが４：２：２である場合、ＳｕｂＷｉｄｔｈＣは２であり、かつＳｕｂＨｅｉｇｈｔＣは１である、請求項１に記載の映像デコーディング方法。
前記特定位置に対応するイントラ予測モードがパレットモードまたはＩＢＣ（ｉｎｔｒａｂｌｏｃｋｃｏｐｙ）モードである場合、前記クロマブロックのイントラ予測モードは、イントラＤＣモードに更新される、請求項１に記載の映像デコーディング方法。
前記特定位置に対応するイントラ予測モードがＭＩＰ（ｍａｔｒｉｘ－ｂａｓｅｄｉｎｔｒａｐｒｅｄｉｃｔｉｏｎ）モードである場合、前記クロマブロックのイントラ予測モードは、イントラプラナーモードに更新される、請求項１に記載の映像デコーディング方法。
前記クロマブロックの幅が高さより大きく、
前記更新されたイントラ予測モードが２以上であり、
前記更新されたイントラ予測モードが変数（ｗｈＲａｔｉｏ>１）？（８＋２＊ｗｈＲａｔｉｏ）：８（ここで、ｗｈＲａｔｉｏは、Ａｂｓ（Ｌｏｇ２（ｎＷ／ｎＨ）））より小さい場合、前記更新されたイントラ予測モードは、「更新されたイントラ予測モード＋６５」に修正される、請求項１に記載の映像デコーディング方法。
前記クロマブロックの高さが幅より大きく、
前記更新されたイントラ予測モードが６６以下であり、
前記更新されたイントラ予測モードが変数（ｗｈＲａｔｉｏ>１）？（６０－２＊ｗｈＲａｔｉｏ）：６０（ここで、ｗｈＲａｔｉｏは、Ａｂｓ（Ｌｏｇ２（ｎＷ／ｎＨ）））より大きい場合、前記更新されたイントラ予測モードは、「更新されたイントラ予測モード－６７」に修正される、請求項１に記載の映像デコーディング方法。
エンコーディング装置により実行される映像エンコーディング方法において、
クロマブロックに対するイントラ予測モードをＣＣＬＭ（ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔｌｉｎｅａｒｍｏｄｅｌ）モードとして導出するステップと、
前記ＣＣＬＭモードに基づいて前記クロマブロックに対する予測サンプルを導出するステップと、
前記予測サンプルに基づいて前記クロマブロックに対するレジデュアルサンプルを導出するステップと、
変換係数を導出するためにＬＦＮＳＴ（ｌｏｗｆｒｅｑｕｅｎｃｙｎｏｎ－ｓｅｐａｒａｂｌｅｔｒａｎｓｆｏｒｍ）を実行するステップと、を含み、
前記ＬＦＮＳＴを実行するステップは、
前記クロマブロックに対する前記イントラ予測モードを前記クロマブロックに対応するルマブロックに対するイントラ予測モードに基づいて更新するステップと、
前記クロマブロックの幅が前記クロマブロックの高さと等しくないことに基づいて、前記更新されたイントラ予測モードを広角イントラ予測モードに修正するステップと、
前記広角イントラ予測モードのマッピング過程により、修正されたイントラ予測モードに基づいてＬＦＮＳＴマトリクスを含むＬＦＮＳＴセットを決定するステップと、
１つのＬＦＮＳＴマトリクスに基づいて行列演算を実行するステップと、を含み、
前記更新されたイントラ予測モードは、前記ルマブロック内の特定位置に対応するイントラ予測モードとして導出され、
前記特定位置は、（（ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２）、（ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２））に設定され、
ｘＴｂＹ及びｙＴｂＹは、前記ルマブロックの左上端座標を示し、
ｎＴｂＷ及びｎＴｂＨは、前記クロマブロックの幅及び高さを示し、
ＳｕｂＷｉｄｔｈＣ及びＳｕｂＨｅｉｇｈｔＣは、カラーフォーマットに対応する変数を示す、映像エンコーディング方法。
前記カラーフォーマットが４：２：０である場合、ＳｕｂＷｉｄｔｈＣ及びＳｕｂＨｅｉｇｈｔＣは２であり、
前記カラーフォーマットが４：２：２である場合、ＳｕｂＷｉｄｔｈＣは２であり、かつＳｕｂＨｅｉｇｈｔＣは１である、請求項７に記載の映像エンコーディング方法。
前記特定位置に対応するイントラ予測モードがパレットモードまたはＩＢＣ（ｉｎｔｒａｂｌｏｃｋｃｏｐｙ）モードである場合、前記クロマブロックのイントラ予測モードは、イントラＤＣモードに更新される、請求項７に記載の映像エンコーディング方法。
前記特定位置に対応するイントラ予測モードがＭＩＰ（ｍａｔｒｉｘ－ｂａｓｅｄｉｎｔｒａｐｒｅｄｉｃｔｉｏｎ）モードである場合、前記クロマブロックのイントラ予測モードは、イントラプラナーモードに更新される、請求項７に記載の映像エンコーディング方法。
映像に対するデータの送信方法において、
前記映像に対するビットストリームを取得するステップであって、前記ビットストリームは、クロマブロックに対するイントラ予測モードをＣＣＬＭ（ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔｌｉｎｅａｒｍｏｄｅｌ）モードとして導出し、前記ＣＣＬＭモードに基づいて前記クロマブロックに対する予測サンプルを導出し、前記予測サンプルに基づいて前記クロマブロックに対するレジデュアルサンプルを導出し、変換係数を導出するためにＬＦＮＳＴ（ｌｏｗｆｒｅｑｕｅｎｃｙｎｏｎ－ｓｅｐａｒａｂｌｅｔｒａｎｓｆｏｒｍ）を実行し、前記変換係数に関連する映像情報をエンコーディングすることに基づいて生成される、ステップと、
前記ビットストリームを含む前記データを送信するステップと、を含み、
前記ＬＦＮＳＴを実行することは、
前記クロマブロックに対する前記イントラ予測モードを前記クロマブロックに対応するルマブロックに対するイントラ予測モードに基づいて更新し、
前記クロマブロックの幅が前記クロマブロックの高さと等しくないことに基づいて、前記更新されたイントラ予測モードを広角イントラ予測モードに修正し、
前記広角イントラ予測モードのマッピング過程により、修正されたイントラ予測モードに基づいてＬＦＮＳＴマトリクスを含むＬＦＮＳＴセットを決定し、
１つのＬＦＮＳＴマトリクスに基づいて行列演算を実行することを含み、
前記更新されたイントラ予測モードは、前記ルマブロック内の特定位置に対応するイントラ予測モードとして導出され、
前記特定位置は、（（ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２）、（ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２））に設定され、
ｘＴｂＹ及びｙＴｂＹは、前記ルマブロックの左上端座標を示し、
ｎＴｂＷ及びｎＴｂＨは、前記クロマブロックの幅及び高さを示し、
ＳｕｂＷｉｄｔｈＣ及びＳｕｂＨｅｉｇｈｔＣは、カラーフォーマットに対応する変数を示す、データ送信方法。