JP2020510374A - 映像コーディングシステムにおける変換方法及びその装置 - Google Patents

Abstract

【課題】映像コーディング効率を上げる方法及び装置を提供する。【解決手段】本発明による変換方法は、対象ブロックに対する変換係数を取得するステップ、対象ブロックに対する非分離２次変換（ＮＳＳＴ）セットを決定するステップ、ＮＳＳＴインデックスに基づいてＮＳＳＴセットに含まれている多数のＮＳＳＴカーネルの中から一つを選択するステップ、及び選択されたＮＳＳＴカーネルに基づいて変換係数を非分離２次変換して修正された変換係数を生成するステップを含み、対象ブロックに対するＮＳＳＴセットは、イントラ予測モード及び対象ブロックのサイズのうち少なくとも一つに基づいて決定されることを特徴とする。本発明によると、レジデュアル処理に必要な送信されるデータ量を減らすことができ、レジデュアルコーディング効率を上げることができる。【選択図】図３

Description

本発明は、映像コーディング技術に関し、より詳しくは、映像コーディングシステムにおける変換（ｔｒａｎｓｆｏｒｍ）方法及びその装置に関する。

最近、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像のような高解像度、高品質の画像に対する需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、既存の画像データに比べて相対的に送信される情報量又はビット量が増加するため、既存の有無線広帯域回線のような媒体を利用して画像データを送信するか、又は既存の格納媒体を利用して画像データを格納する場合、送信費用と格納費用が増加する。

これによって、高解像度、高品質画像の情報を効果的に送信又は格納し、再生するために高効率の画像圧縮技術が要求される。

本発明の技術的課題は、映像コーディング効率を上げる方法及び装置を提供することにある。

本発明の他の技術的課題は、変換効率を上げる方法及び装置を提供することにある。

本発明の他の技術的課題は、多重変換に基づいてレジデュアルコーディングの効率を上げる方法及び装置を提供することにある。

本発明の他の技術的課題は、非分離２次変換（ｎｏｎ−ｓｅｐｅｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）方法及び装置を提供することにある。

本発明の一実施例によると、デコーディング装置により実行される変換方法が提供される。前記方法は、対象ブロックに対する変換係数を取得するステップ、前記対象ブロックに対する非分離２次変換（ｎｏｎ−ｓｅｐｅｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）セットを決定するステップ、ＮＳＳＴインデックスに基づいて前記ＮＳＳＴセットに含まれている多数のＮＳＳＴカーネルの中から一つを選択するステップ、及び前記選択されたＮＳＳＴカーネルに基づいて前記変換係数を非分離２次変換して修正された（ｍｏｄｉｆｉｅｄ）変換係数を生成するステップを含み、前記対象ブロックに対するＮＳＳＴセットは、イントラ予測モード及び前記対象ブロックのサイズのうち少なくとも一つに基づいて決定されることを特徴とする。

本発明の他の一実施例によると、変換を実行するデコーディング装置が提供される。前記デコーディング装置は、対象ブロックの量子化された変換係数に逆量子化を実行して前記対象ブロックに対する変換係数を取得する逆量子化部、及び前記対象ブロックに対する非分離２次変換（ｎｏｎ−ｓｅｐｅｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）セットを決定し、ＮＳＳＴインデックスに基づいて前記ＮＳＳＴセットに含まれている多数のＮＳＳＴカーネルの中から一つを選択し、及び前記選択されたＮＳＳＴカーネルに基づいて前記変換係数を非分離２次変換して修正された（ｍｏｄｉｆｉｅｄ）変換係数を生成する逆変換部を含み、前記逆変換部は、イントラ予測モード及び前記対象ブロックのサイズのうち少なくとも一つに基づいて前記対象ブロックに対するＮＳＳＴセットを決定することを特徴とする。

本発明の他の一実施例によると、エンコーディング装置により実行される変換方法が提供される。前記方法は、対象ブロックに対する変換係数を取得するステップ、前記対象ブロックに対する非分離２次変換（ｎｏｎ−ｓｅｐｅｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）セットを決定するステップ、前記ＮＳＳＴセットに含まれている多数のＮＳＳＴカーネルの中から一つを選択してＮＳＳＴインデックスを設定するステップ、及び前記選択されたＮＳＳＴカーネルに基づいて前記変換係数を非分離２次変換して修正された（ｍｏｄｉｆｉｅｄ）変換係数を生成するステップを含み、前記対象ブロックに対するＮＳＳＴセットは、イントラ予測モード及び前記対象ブロックのサイズのうち少なくとも一つに基づいて決定されることを特徴とする。

本発明の他の一実施例によると、変換を実行するエンコーディング装置が提供される。前記エンコーディング装置は、対象ブロックのレジデュアルサンプルに１次変換を実行して前記対象ブロックに対する変換係数を取得し、前記対象ブロックに対する非分離２次変換（ｎｏｎ−ｓｅｐｅｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）セットを決定し、ＮＳＳＴインデックスに基づいて前記ＮＳＳＴセットに含まれている多数のＮＳＳＴカーネルの中から一つを選択し、及び前記選択されたＮＳＳＴカーネルに基づいて前記変換係数を非分離２次変換して修正された（ｍｏｄｉｆｉｅｄ）変換係数を生成する変換部を含み、前記変換部は、イントラ予測モード及び前記対象ブロックのサイズのうち少なくとも一つに基づいて前記対象ブロックに対するＮＳＳＴセットを決定することを特徴とする。

本発明によると、全般的な映像／ビデオ圧縮効率を上げることができる。

本発明によると、効率的な変換を介してレジデュアル処理に必要な送信されるデータ量を減らすことができ、レジデュアルコーディング効率を上げることができる。

本発明によると、周波数ドメインでの２次変換を介して０でない変換係数を低周波成分に集中させることができる。

本発明によると、非分離２次変換を実行するにあたって変換カーネルを可変的／適応的に適用して変換効率を上げることができる。

本発明が適用されることができるビデオエンコーディング装置の構成を概略的に説明する図面である。 本発明が適用されることができるビデオデコーディング装置の構成を概略的に説明する図面である。 本発明による多重変換技法を概略的に示す。 ６５個の予測方向のイントラ方向性モードを例示的に示す。 イントラ予測モード及びブロックサイズに基づいてＮＳＳＴセットを決定する方法を例示的に示す。 本発明による変換方法を含むビデオ／映像エンコーディング方法の一例を概略的に示す。 本発明による変換方法を含むビデオ／映像デコーディング方法の一例を概略的に示す。

本発明は、多様な変更を加えることができ、様々な実施例を有することができ、特定の実施例を図面に例示して詳細に説明する。しかし、これは本発明を特定の実施例に限定するものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであり、本発明の技術的思想を限定しようとする意図に使われるものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本明細書において、“含む”又は“有する”などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はそれらを組み合わせたものが存在することを指定するものであり、一つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品又はそれらを組み合わせたものの存在又は付加の可能性を予め排除しないと理解しなければならない。

一方、本発明で説明される図面上の各構成は、互いに異なる特徴的な機能に対する説明の便宜のために独立して図示されたものであり、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味しない。例えば、各構成のうち二つ以上の構成が合わせて一つの構成をなすこともあり、一つの構成が複数の構成に分けられることもある。各構成が統合及び／又は分離された実施例も、本発明の本質から外れない限り、本発明の権利範囲に含まれる。

以下、添付図面を参照し、本発明の好ましい実施例をより詳細に説明する。以下、図面上の同一の構成要素については同一の参照符号を使用し、同一の構成要素について重複説明は省略する。

本明細書で、ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定時間帯の一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）は、コーディングにおいてピクチャの一部を構成する単位である。一つのピクチャは複数のスライスで構成されてもよく、必要に応じて、ピクチャ及びスライスは互いに混用して用いられてもよい。

ピクセル（ｐｉｘｅｌ）又はペル（ｐｅｌ）は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル(ｓａｍｐｌｅ)」が使用されることができる。サンプルは、一般的にピクセル又はピクセルの値を示し、輝度（ルマ）成分のピクセル／ピクセルの値のみを示してもよく、彩度（クロマ）成分のピクセル／ピクセルの値のみを示してもよい。

ユニット(ｕｎｉｔ)は、画像処理の基本単位を示す。ユニットは、ピクチャの特定領域及び該当領域に対する情報のうち少なくとも一つを含むことができる。ユニットは、場合によってブロック（ｂｌｏｃｋ）又は領域（ａｒｅａ）などの用語と混用して用いられてもよい。一般的な場合、ＭｘＮのブロックは、Ｍ個の列とＮ個の行からなるサンプル又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示すことができる。

図１は、本発明が適用されることができるビデオエンコーディング装置（ｖｉｄｅｏ ｅｎｃｏｄｉｎｇ ａｐｐａｒａｔｕｓ）の構成を概略的に説明する図面である。

図１を参照すると、ビデオエンコーディング装置１００は、ピクチャ分割部（ｐｉｃｔｕｒｅ ｐａｒｔｉｔｉｏｎｉｎｇ ｍｏｄｕｌｅ）１０５、予測部（ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｕｌｅ）１１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｉｎｇ ｍｏｄｕｌｅ）１２０、エントロピーエンコーディング部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｉｎｇ ｍｏｄｕｌｅ）１３０、加算部（ａｄｄｅｒ）１４０、フィルタ部（ｆｉｌｔｅｒｉｎｇ ｍｏｄｕｌｅ）１５０、及びメモリ（ｍｅｍｏｒｙ）１６０を含むことができる。レジデュアル処理部１２０は、減算部（ｓｕｂｓｔｒａｃｔｏｒ）１２１、変換部（ｔｒａｎｓｆｏｒｍ ｍｏｄｕｌｅ）１２２、量子化部（ｑｕａｎｔｉｚａｔｉｏｎ ｍｏｄｕｌｅ）１２３、再整列部（ｒｅａｒｒａｎｇｅｍｅｎｔ ｍｏｄｕｌｅ）１２４、逆量子化部（ｄｅｑｕａｎｔｉｚａｔｉｏｎ ｍｏｄｕｌｅ）１２５、及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｍｏｄｕｌｅ）１２６を含むことができる。

ピクチャ分割部１０５は、入力されたピクチャを少なくとも一つの処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割できる。

一例として、処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれる。この場合、コーディングユニットは、最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴ（Ｑｕａｄ−ｔｒｅｅ ｂｉｎａｒｙ−ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、一つのコーディングユニットは、クアッドツリー構造及び／またはバイナリツリー構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造が後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて、本発明によるコーディング手順が実行されることができる。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使われることができ、または、必要によって、コーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使われることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。

他の例として、処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ、ＰＵ）または変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ、ＴＵ）を含むこともできる。コーディングユニットは、最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からクアッドツリー構造によって下位（ｄｅｅｐｅｒ）デプスのコーディングユニットに分割（ｓｐｌｉｔ）されることができる。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使われることができ、または、必要によって、コーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使われることができる。最小コーディングユニット（ｓｍａｌｌｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＳＣＵ）が設定された場合、コーディングユニットは、最小コーディングユニットより小さいコーディングユニットに分割されることができない。ここで、最終コーディングユニットとは、予測ユニットまたは変換ユニットにパーティショニングまたは分割の基盤となるコーディングユニットを意味する。予測ユニットは、コーディングユニットからパーティショニング（ｐａｒｔｉｔｉｏｎｉｎｇ）されるユニットであって、サンプル予測のユニットである。このとき、予測ユニットは、サブブロック（ｓｕｂｂｌｏｃｋ）に分けられることもできる。変換ユニットは、コーディングユニットからクアッドツリー構造によって分割されることができ、変換係数を誘導するユニット及び／または変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導するユニットである。以下、コーディングユニットはコーディングブロック（ｃｏｄｉｎｇ ｂｌｏｃｋ、ＣＢ）、予測ユニットは予測ブロック（ｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋ、ＰＢ）、変換ユニットは変換ブロック（ｔｒａｎｓｆｏｒｍ ｂｌｏｃｋ、ＴＢ）とも呼ばれる。予測ブロックまたは予測ユニットは、ピクチャ内でブロック形態の特定領域を意味し、予測サンプルのアレイ（ａｒｒａｙ）を含むことができる。また、変換ブロックまたは変換ユニットは、ピクチャ内でブロック形態の特定領域を意味し、変換係数またはレジデュアルサンプルのアレイを含むことができる。

予測部１１０は、処理対象ブロック（以下、現在ブロックという）に対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部１１０で実行される予測の単位は、コーディングブロック、または変換ブロック、または予測ブロックである。

予測部１１０は、現在ブロックにイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができる。一例として、予測部１１０は、ＣＵ単位にイントラ予測またはインター予測が適用されるかを決定することができる。

イントラ予測の場合、予測部１１０は、現在ブロックが属するピクチャ（以下、現在ピクチャ）内の現在ブロック外部の参照サンプルに基づいて現在ブロックに対する予測サンプルを誘導することができる。このとき、予測部１１０は、（ｉ）現在ブロックの隣接（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）または補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導することができ、（ｉｉ）現在ブロックの隣接参照サンプルのうち、予測サンプルに対して特定（予測）方向に存在する参照サンプルに基づいて前記予測サンプルを誘導することもできる。（ｉ）の場合は非方向性モードまたは非角度モードと呼ばれ、（ｉｉ）の場合は方向性（ｄｉｒｅｃｔｉｏｎａｌ）モードまたは角度（ａｎｇｕｌａｒ）モードと呼ばれる。イントラ予測における予測モードは、例えば、３３個の方向性予測モードと少なくとも２個以上の非方向性モードを有することができる。非方向性モードは、ＤＣ予測モード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。予測部１１０は、隣接ブロックに適用された予測モードを利用し、現在ブロックに適用される予測モードを決定することもできる。

インター予測の場合、予測部１１０は、参照ピクチャ上で動きベクトルにより特定されるサンプルに基づいて、現在ブロックに対する予測サンプルを誘導することができる。予測部１１０は、スキップ（ｓｋｉｐ）モード、マージ（ｍｅｒｇｅ）モード、及びＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードのうちいずれか一つを適用して現在ブロックに対する予測サンプルを誘導することができる。スキップモードとマージモードの場合、予測部１１０は、隣接ブロックの動き情報を現在ブロックの動き情報として利用できる。スキップモードの場合、マージモードと違って予測サンプルと原本サンプルとの間の差（レジデュアル）が送信されない。ＭＶＰモードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）として利用して現在ブロックの動きベクトル予測子として利用して現在ブロックの動きベクトルを誘導することができる。

インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャ（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）に存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）とも呼ばれる。動き情報（ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）は、動きベクトルと参照ピクチャインデックスを含むことができる。予測モード情報と動き情報などの情報は、（エントロピー）エンコーディングされてビットストリーム形態で出力されることができる。

スキップモードとマージモードで時間的隣接ブロックの動き情報が利用される場合、参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）上の最上位ピクチャが参照ピクチャとして利用されることもできる。参照ピクチャリスト（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）に含まれる参照ピクチャは、現在ピクチャと該当参照ピクチャとの間のＰＯＣ（Ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）差に基づいて整列されることができる。ＰＯＣは、ピクチャのディスプレイ順序に対応し、コーディング順序と区分されることができる。

減算部１２１は、原本サンプルと予測サンプルとの間の差であるレジデュアルサンプルを生成する。スキップモードが適用される場合には、前述したようにレジデュアルサンプルを生成しない。

変換部１２２は、変換ブロック単位にレジデュアルサンプルを変換して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を生成する。変換部１２２は、該当変換ブロックのサイズと、該当変換ブロックと空間的に重なるコーディングブロックまたは予測ブロックに適用された予測モードによって変換を実行することができる。例えば、前記変換ブロックと重なる前記コーディングブロックまたは前記予測ブロックにイントラ予測が適用され、前記変換ブロックが４×４のレジデュアルアレイ（ａｒｒａｙ）である場合、レジデュアルサンプルは、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換カーネルを利用して変換され、その他の場合、レジデュアルサンプルは、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換カーネルを利用して変換できる。

量子化部１２３は、変換係数を量子化し、量子化された変換係数を生成することができる。

再整列部１２４は、量子化された変換係数を再整列する。再整列部１２４は、係数スキャニング（ｓｃａｎｎｉｎｇ）方法を介してブロック形態の量子化された変換係数を１次元ベクトル形態で再整列できる。ここで、再整列部１２４は、別途の構成で説明したが、量子化部１２３の一部であってもよい。

エントロピーエンコーディング部１３０は、量子化された変換係数に対するエントロピーエンコーディングを実行することができる。エントロピーエンコーディングは、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのようなエンコーディング方法を含むことができる。エントロピーエンコーディング部１３０は、量子化された変換係数外にビデオ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）の値等）を共にまたは別途にエントロピーエンコーディングまたは既設定された方法によってエンコーディングすることもできる。エンコーディングされた情報は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位に送信または格納されることができる。

逆量子化部１２５は、量子化部１２３で量子化された値（量子化された変換係数）を逆量子化し、逆変換部１２６は、逆量子化部１２５で逆量子化された値を逆変換してレジデュアルサンプルを生成する。

加算部１４０は、レジデュアルサンプルと予測サンプルを加算してピクチャを復元する。レジデュアルサンプルと予測サンプルは、ブロック単位に加算されて復元ブロックが生成されることができる。ここで、加算部１４０は、別途の構成で説明したが、予測部１１０の一部であってもよい。一方、加算部１４０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｍｏｄｕｌｅ）または復元ブロック生成部とも呼ばれる。

復元されたピクチャ（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｃｔｕｒｅ）に対してフィルタ部１５０は、デブロッキングフィルタ及び／またはサンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）を適用することができる。デブロッキングフィルタリング及び／またはサンプル適応的オフセットを介して、復元ピクチャ内のブロック境界のアーチファクトや量子化過程での歪曲が補正されることができる。サンプル適応的オフセットは、サンプル単位に適用されることができ、デブロッキングフィルタリングの過程が完了した後に適用されることができる。フィルタ部１５０は、ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）を復元されたピクチャに適用することもできる。ＡＬＦは、デブロッキングフィルタ及び／またはサンプル適応的オフセットが適用された後の復元されたピクチャに対して適用されることができる。

メモリ１６０は、復元ピクチャ（デコーディングされたピクチャ）またはエンコーディング／デコーディングに必要な情報を格納することができる。ここで、復元ピクチャは、前記フィルタ部１５０によりフィルタリング手順が完了した復元ピクチャである。前記格納された復元ピクチャは、他のピクチャの（インター）予測のための参照ピクチャとして活用されることができる。例えば、メモリ１６０は、インター予測に使われる（参照）ピクチャを格納することができる。このとき、インター予測に使われるピクチャは、参照ピクチャセット（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｓｅｔ）または参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）により指定されることができる。

図２は、本発明が適用されることができるビデオデコーディング装置（ｖｉｄｅｏ ｄｅｃｏｄｉｎｇ ａｐｐａｒａｔｕｓ）の構成を概略的に説明する図面である。

図２を参照すると、ビデオデコーディング装置２００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｉｎｇ ｍｏｄｕｌｅ）２１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｉｎｇ ｍｏｄｕｌｅ）２２０、予測部（ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｕｌｅ）２３０、加算部（ａｄｄｅｒ）２４０、フィルタ部（ｆｉｌｔｅｒｉｎｇ ｍｏｄｕｌｅ）２５０、及びメモリ（ｍｅｍｏｒｙ）２６０を含むことができる。ここで、レジデュアル処理部２２０は、再整列部（ｒｅａｒｒａｎｇｅｍｅｎｔ ｍｏｄｕｌｅ）２２１、逆量子化部（ｄｅｑｕａｎｔｉｚａｔｉｏｎ ｍｏｄｕｌｅ）２２２、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｍｏｄｕｌｅ）２２３を含むことができる。また、図示されていないが、ビデオデコーディング装置２００は、ビデオ情報を含むビットストリームを受信する受信部を含むことができる。前記受信部は、別途のモジュールで構成されることもでき、またはエントロピーデコーディング部２１０に含まれることもできる。

ビデオ情報を含むビットストリームが入力されると、ビデオデコーディング装置２００は、ビデオエンコーディング装置でビデオ情報が処理されたプロセスに対応してビデオを復元することができる。

例えば、ビデオデコーディング装置２００は、ビデオエンコーディング装置で適用された処理ユニットを利用してビデオデコーディングを実行することができる。したがって、ビデオデコーディングの処理ユニットブロックは、一例としてコーディングユニットであり、他の例としてコーディングユニット、予測ユニットまたは変換ユニットである。コーディングユニットは、最大コーディングユニットからクアッドツリー構造及び／またはバイナリツリー構造によって分割されることができる。

予測ユニット及び変換ユニットが場合によってさらに使用されることができ、この場合、予測ブロックは、コーディングユニットから導出またはパーティショニングされるブロックであって、サンプル予測のユニットである。このとき、予測ユニットは、サブブロックに分けられることもできる。変換ユニットは、コーディングユニットからクアッドツリー構造によって分割されることができ、変換係数を誘導するユニットまたは変換係数からレジデュアル信号を誘導するユニットである。

エントロピーデコーディング部２１０は、ビットストリームをパーシングしてビデオ復元またはピクチャ復元に必要な情報を出力することができる。例えば、エントロピーデコーディング部２１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報をデコーディングし、ビデオ復元に必要なシンタックスエレメントの値、レジデュアルに対する変換係数の量子化された値を出力することができる。

より詳細に、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各シンタックス要素に該当するＢＩＮを受信し、デコーディング対象シンタックス要素情報と隣接及びデコーディング対象ブロックのデコーディング情報または以前ステップでデコーディングされたシンボル／ＢＩＮの情報を利用してコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルによってＢＩＮの発生確率を予測してＢＩＮの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を実行することで、各シンタックス要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコーディング方法は、コンテキストモデル決定後、次のシンボル／ＢＩＮのコンテキストモデルのためにデコーディングされたシンボル／ＢＩＮの情報を利用してコンテキストモデルをアップデートすることができる。

エントロピーデコーディング部２１０でデコーディングされた情報のうち予測に対する情報は、予測部２３０に提供され、エントロピーデコーディング部２１０でエントロピーデコーディングが実行されたレジデュアル値、即ち、量子化された変換係数は、再整列部２２１に入力されることができる。

再整列部２２１は、量子化されている変換係数を２次元のブロック形態で再整列できる。再整列部２２１は、エンコーディング装置で実行された係数スキャニングに対応して再整列を実行することができる。ここで、再整列部２２１は、別途の構成で説明したが、逆量子化部２２２の一部であってもよい。

逆量子化部２２２は、量子化されている変換係数を（逆）量子化パラメータに基づいて逆量子化して変換係数を出力することができる。このとき、量子化パラメータを誘導するための情報は、エンコーディング装置からシグナリングされることができる。

逆変換部２２３は、変換係数を逆変換してレジデュアルサンプルを誘導することができる。

予測部２３０は、現在ブロックに対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部２３０で実行される予測の単位は、コーディングブロック、または変換ブロック、または予測ブロックである。

予測部２３０は、前記予測に対する情報に基づいて、イントラ予測を適用するか、またはインター予測を適用するかを決定することができる。このとき、イントラ予測とインター予測のうちいずれかを適用するかを決定する単位と予測サンプルを生成する単位は異なる。併せて、インター予測とイントラ予測において、予測サンプルを生成する単位も異なる。例えば、インター予測とイントラ予測のうちいずれかを適用するかは、ＣＵ単位に決定できる。また、例えば、インター予測において、ＰＵ単位に予測モードを決定して予測サンプルを生成することができ、イントラ予測において、ＰＵ単位に予測モードを決定し、ＴＵ単位に予測サンプルを生成することもできる。

イントラ予測の場合、予測部２３０は、現在ピクチャ内の隣接参照サンプルに基づいて現在ブロックに対する予測サンプルを誘導することができる。予測部２３０は、現在ブロックの隣接参照サンプルに基づいて方向性モードまたは非方向性モードを適用して現在ブロックに対する予測サンプルを誘導することができる。このとき、隣接ブロックのイントラ予測モードを利用して現在ブロックに適用する予測モードが決定されることもできる。

インター予測の場合、予測部２３０は、参照ピクチャ上で動きベクトルにより参照ピクチャ上で特定されるサンプルに基づいて現在ブロックに対する予測サンプルを誘導することができる。予測部２３０は、スキップ（ｓｋｉｐ）モード、マージ（ｍｅｒｇｅ）モード、及びＭＶＰモードのうちいずれか一つを適用して現在ブロックに対する予測サンプルを誘導することができる。このとき、ビデオエンコーディング装置で提供された現在ブロックのインター予測に必要な動き情報、例えば、動きベクトル、参照ピクチャインデックスなどに対する情報は、前記予測に対する情報に基づいて取得または誘導されることができる。

スキップモードとマージモードの場合、隣接ブロックの動き情報が現在ブロックの動き情報として利用されることができる。このとき、隣接ブロックは、空間的隣接ブロックと時間的隣接ブロックを含むことができる。

予測部２３０は、可用な隣接ブロックの動き情報でマージ候補リストを構成し、マージインデックスがマージ候補リスト上で指示する情報を現在ブロックの動きベクトルとして使用することができる。マージインデックスは、エンコーディング装置からシグナリングされることができる。動き情報は、動きベクトルと参照ピクチャを含むことができる。スキップモードとマージモードで時間的隣接ブロックの動き情報が利用される場合、参照ピクチャリスト上の最上位ピクチャが参照ピクチャとして利用されることができる。

スキップモードの場合、マージモードと違って予測サンプルと原本サンプルとの間の差（レジデュアル）が送信されない。

ＭＶＰモードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用して現在ブロックの動きベクトルが誘導されることができる。このとき、隣接ブロックは、空間的隣接ブロックと時間的隣接ブロックを含むことができる。

一例として、マージモードが適用される場合、復元された空間的隣接ブロックの動きベクトル及び／または時間的隣接ブロックであるＣｏｌブロックに対応する動きベクトルを利用し、マージ候補リストが生成されることができる。マージモードではマージ候補リストから選択された候補ブロックの動きベクトルが現在ブロックの動きベクトルとして使われる。前記予測に対する情報は、前記マージ候補リストに含まれている候補ブロックの中から選択された最適の動きベクトルを有する候補ブロックを指示するマージインデックスを含むことができる。このとき、予測部２３０は、前記マージインデックスを利用し、現在ブロックの動きベクトルを導出することができる。

他の例として、ＭＶＰ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）モードが適用される場合、復元された空間的隣接ブロックの動きベクトル及び／または時間的隣接ブロックであるＣｏｌブロックに対応する動きベクトルを利用し、動きベクトル予測子候補リストが生成されることができる。即ち、復元された空間的隣接ブロックの動きベクトル及び／または時間的隣接ブロックであるＣｏｌブロックに対応する動きベクトルは、動きベクトル候補として使われることができる。前記予測に対する情報は、前記リストに含まれている動きベクトル候補の中から選択された最適の動きベクトルを指示する予測動きベクトルインデックスを含むことができる。このとき、予測部２３０は、前記動きベクトルインデックスを利用し、動きベクトル候補リストに含まれている動きベクトル候補の中から、現在ブロックの予測動きベクトルを選択することができる。エンコーディング装置の予測部は、現在ブロックの動きベクトルと動きベクトル予測子との間の動きベクトル差分（ＭＶＤ）を求めることができ、これをエンコーディングしてビットストリーム形態で出力できる。即ち、ＭＶＤは、現在ブロックの動きベクトルから前記動きベクトル予測子を引いた値として求められる。このとき、予測部２３０は、前記予測に対する情報に含まれている動きベクトル差分を取得し、前記動きベクトル差分と前記動きベクトル予測子の加算を介して現在ブロックの前記動きベクトルを導出することができる。また、予測部は、参照ピクチャを指示する参照ピクチャインデックスなどを前記予測に対する情報から取得または誘導できる。

加算部２４０は、レジデュアルサンプルと予測サンプルを加算して現在ブロックまたは現在ピクチャを復元することができる。加算部２４０は、レジデュアルサンプルと予測サンプルをブロック単位に加算して現在ピクチャを復元することもできる。スキップモードが適用された場合にはレジデュアルが送信されないため、予測サンプルが復元サンプルになることができる。ここで、加算部２４０は、別途の構成で説明したが、予測部２３０の一部であってもよい。一方、加算部２４０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｍｏｄｕｌｅ）または復元ブロック生成とも呼ばれる。

フィルタ部２５０は、復元されたピクチャにデブロッキングフィルタリングサンプル適応的オフセット、及び／またはＡＬＦなどを適用することができる。このとき、サンプル適応的オフセットは、サンプル単位に適用されることができ、デブロッキングフィルタリング以後に適用されることもできる。ＡＬＦは、デブロッキングフィルタリング及び／またはサンプル適応的オフセット以後に適用されることもできる。

メモリ２６０は、復元ピクチャ（デコーディングされたピクチャ）またはデコーディングに必要な情報を格納することができる。ここで、復元ピクチャは、前記フィルタ部２５０によりフィルタリング手順が完了した復元ピクチャである。例えば、メモリ２６０は、インター予測に使われるピクチャを格納することができる。このとき、インター予測に使われるピクチャは、参照ピクチャセットまたは参照ピクチャリストにより指定されることもできる。復元されたピクチャは、他のピクチャに対する参照ピクチャとして利用されることができる。また、メモリ２６０は、復元されたピクチャを出力順序によって出力することもできる。

一方、前述したように、ビデオコーディングを実行するにあたって圧縮効率を上げるために予測を実行する。それによって、コーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（または、ピクセルドメイン）での予測サンプルを含む。前記予測されたブロックは、エンコーディング装置及びデコーディング装置で同じに導出され、前記エンコーディング装置は、原本ブロックの原本サンプル値自体でない前記原本ブロックと前記予測されたブロックとの間のレジデュアルに対する情報（レジデュアル情報）をデコーディング装置でシグナリングすることで映像コーディング効率を上げることができる。デコーディング装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックを加算して復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。

前記レジデュアル情報は、変換及び量子化手順を介して生成されることができる。例えば、エンコーディング装置は、前記原本ブロックと前記予測されたブロックとの間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれているレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を実行して変換係数を導出し、前記変換係数に量子化手順を実行して量子化された変換係数を導出することで、関連したレジデュアル情報を（ビットストリームを介して）デコーディング装置でシグナリングできる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコーディング装置は、前記レジデュアル情報に基づいて逆量子化／逆変換手順を実行してレジデュアルサンプル（または、レジデュアルブロック）を導出することができる。デコーディング装置は、予測されたブロックと前記レジデュアルブロックに基づいて復元ピクチャを生成することができる。また、エンコーディング装置は、以後ピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。

一方、本発明によると、前述した変換を実行するにあたって多重変換技法が適用されることができる。

図３は、本発明による多重変換技法を概略的に示す。

図３を参照すると、変換部は、前述した図１のエンコーディング装置内の変換部に対応されることができ、逆変換部は、前述した図１のエンコーディング装置内の逆変換部または図２のデコーディング装置内の逆変換部に対応されることができる。

変換部は、レジデュアルブロック内のレジデュアルサンプル（レジデュアルサンプルアレイ）に基づいて１次変換を実行して（１次）変換係数を導出することができる（Ｓ３１０）。ここで、前記１次変換は、適応的多重核心変換（ａｄａｐｔｉｖｅ ｍｕｌｔｉｐｌｅ ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）を含むことができる。

適応的多重核心変換は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ２とＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ７、ＤＣＴタイプ８、及び／またはＤＳＴタイプ１を追加的に使用して変換する方式を示すことができる。即ち、前記多重核心変換は、前記ＤＣＴタイプ２、前記ＤＳＴタイプ７、前記ＤＣＴタイプ８、及び前記ＤＳＴタイプ１の中から選択された複数の変換カーネルに基づいて空間ドメインのレジデュアル信号（または、レジデュアルブロック）を周波数ドメインの変換係数（または、１次変換係数）に変換する変換方法を示すことができる。ここで、前記１次変換係数は、変換部立場で臨時変換係数と呼ばれる。

即ち、既存の変換方法が適用される場合、ＤＣＴタイプ２に基づいて、レジデュアル信号（または、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数が生成されることができた。それに対し、前記適応的多重核心変換が適用される場合、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及び／またはＤＳＴタイプ１などに基づいて、レジデュアル信号（または、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数（または、１次変換係数）が生成されることができる。ここで、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及びＤＳＴタイプ１等は、変換タイプ、変換カーネル（ｋｅｒｎｅｌ）または変換コア（ｃｏｒｅ）と呼ばれる。

参考までに、前記ＤＣＴ／ＤＳＴ変換タイプは、基底関数に基づいて定義されることができ、前記基底関数は、以下の表のように示される。

前記適応的多重核心変換が実行される場合、前記変換カーネルの中から対象ブロックに対する垂直変換カーネル及び水平変換カーネルが選択されることができ、前記垂直変換カーネルに基づいて前記対象ブロックに対する垂直変換が実行され、前記水平変換カーネルに基づいて前記対象ブロックに対する水平変換が実行されることができる。ここで、前記水平変換は、前記対象ブロックの水平成分に対する変換を示すことができ、前記垂直変換は、前記対象ブロックの垂直成分に対する変換を示すことができる。前記垂直変換カーネル／水平変換カーネルは、レジデュアルブロックを取り囲む（ｅｎｃｏｍｐａｓｓ）対象ブロック（ＣＵまたはサブブロック）の予測モード及び／または変換サブセットを示す変換インデックスに基づいて適応的に決定されることができる。

変換部は、前記（１次）変換係数に基づいて２次変換を実行して（２次）変換係数を導出することができる（Ｓ３２０）。前記１次変換が空間ドメインから周波数ドメインへの変換である場合、前記２次変換は、周波数ドメインから周波数ドメインへの変換であるとみることができる。前記２次変換は、非分離変換（ｎｏｎ−ｓｅｐｅｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）を含むことができる。この場合、前記２次変換は、非分離２次変換（ｎｏｎ−ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）と呼ばれる。前記非分離２次変換は、前記１次変換を介して導出された（１次）変換係数を非分離変換マトリックス（ｎｏｎ−ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて２次変換してレジデュアル信号に対する変換係数（または、２次変換係数）を生成する変換を示すことができる。ここで、前記非分離変換マトリックスに基づいて前記（１次）変換係数に対して垂直変換及び水平変換を分離して（または、水平垂直変換を独立的に）適用せずに一回に変換を適用することができる。即ち、前記非分離２次変換は、前記非分離変換マトリックスに基づいて前記（１次）変換係数の垂直成分及び水平成分を分離せずに共に変換して変換係数（または、２次変換係数）を生成する変換方法を示すことができる。前記非分離２次変換は、（１次）変換係数で構成されたブロック（以下、変換係数ブロックと呼ばれる）の左上段（ｔｏｐ−ｌｅｆｔ）領域に対して適用されることができる。例えば、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも８以上である場合、８×８非分離２次変換が前記変換係数ブロックの左上段８×８領域に対して適用されることができる。また、前記変換係数ブロックの幅（Ｗ）または高さ（Ｈ）が８より小さい場合、４×４非分離２次変換が前記変換係数ブロックの左上段ｍｉｎ（８、Ｗ）×ｍｉｎ（８、Ｈ）領域に対して適用されることができる。

具体的に、例えば、４×４入力ブロックが使われる場合、非分離２次変換は、下記のように実行されることができる。

前記４×４入力ブロックＸは、下記のように示される。

前記Ｘをベクトル形態で表す場合、
は、下記のように示される。

この場合、前記２次非分離変換は、下記のように計算されることができる。

ここで、
は変換係数ベクトルを示し、Ｔは１６×１６（非分離）変換マトリックスを示す。

前記数式３を介して
が導出されることができ、前記
は、スキャン順序（水平、垂直、対角（ｄｉａｇｏｎａｌ）等）を介して４×４ブロックで再構成（ｒｅ−ｏｒｇａｎｉｚｅｄ）されることができる。ただし、前述した計算は、例示に過ぎず、非分離２次変換の計算複雑度を減らすためにＨｙＧＴ（Ｈｙｐｅｒｃｕｂｅ−Ｇｉｖｅｎｓ Ｔｒａｎｓｓｆｏｒｍ）などが非分離２次変換の計算のために使われることもできる。

一方、前記非分離２次変換は、モード依存（ｍｏｄｅ ｄｅｐｅｎｄｅｎｔ）に変換カーネル（または、変換コア、変換タイプ）が選択されることができる。ここで、モードは、イントラ予測モード及び／またはインター予測モードを含むことができる。

前述したように、前記非分離２次変換は、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）に基づいて決定された８×８変換または４×４変換に基づいて実行されることができる。即ち、前記非分離２次変換は、８×８サブブロックサイズまたは４×４サブブロックサイズに基づいて実行されることができる。例えば、前記モード依存変換カーネル選択のために、８×８サブブロックサイズ及び４×４サブブロックサイズの両方ともに対して非分離２次変換のための３個ずつ３５個セットの非分離２次変換カーネルが構成されることができる。即ち、８×８サブブロックサイズに対して３５個の変換セットが構成され、４×４サブブロックサイズに対して３５個の変換セットが構成されることができる。この場合、８×８サブブロックサイズに対する３５個の変換セットには各々３個ずつの８×８変換カーネルが含まれることができ、この場合、４×４サブブロックサイズに対する３５個の変換セットには各々３個ずつの４×４変換カーネルが含まれることができる。ただし、前記変換サブブロックサイズ、前記セットの数及びセット内の変換カーネルの数は、例示に過ぎず、８×８または４×４以外のサイズが使われることができ、またはｎ個のセットが構成され、各セット内にｋ個の変換カーネルが含まれることもできる。

前記変換セットは、ＮＳＳＴセットと呼ばれ、前記ＮＳＳＴセット内の変換カーネルは、ＮＳＳＴカーネルと呼ばれる。前記変換セットの中から特定セットの選択は、例えば、対象ブロック（ＣＵまたはサブブロック）のイントラ予測モードに基づいて実行されることができる。

参考までに、例えば、イントラ予測モードは、２個の非方向性（ｎｏｎ−ｄｉｒｅｃｔｉｎｏａｌ、または非角度性（ｎｏｎ−ａｎｇｕｌａｒ））イントラ予測モードと６５個の方向性（ｄｉｒｅｃｔｉｏｎａｌ、または角度性（ａｎｇｕｌａｒ））イントラ予測モードを含むことができる。前記非方向性イントラ予測モードは、０番であるプラナー（ｐｌａｎａｒ）イントラ予測モード及び１番であるＤＣイントラ予測モードを含むことができ、前記方向性イントラ予測モードは、２番乃至６６番の６５個のイントラ予測モードを含むことができる。ただし、これは例示に過ぎず、本発明は、イントラ予測モードの数が異なる場合にも適用されることができる。一方、場合によって、６７番イントラ予測モードがさらに使用されることができ、前記６７番イントラ予測モードは、ＬＭ（ｌｉｎｅａｒ ｍｏｄｅｌ）モードを示すことができる。

図４は、６５個の予測方向のイントラ方向性モードを例示的に示す。

図４を参照すると、左上向対角予測方向を有する３４番イントラ予測モードを中心にして、水平方向性（ｈｏｒｉｚｏｎｔａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードと、垂直方向性（ｖｅｒｔｉｃａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードと、を区分することができる。図３のＨとＶは、各々、水平方向性と垂直方向性を意味し、−３２〜３２の数字は、サンプルグリッドポジション（ｓａｍｐｌｅ ｇｒｉｄ ｐｏｓｉｔｉｏｎ）上で１／３２単位の変位を示す。２番乃至３３番イントラ予測モードは水平方向性を有し、３４番乃至６６番イントラ予測モードは垂直方向性を有する。１８番イントラ予測モードと５０番イントラ予測モードは、各々、水平イントラ予測モード（ｈｏｒｉｚｏｎｔａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）、垂直イントラ予測モード（ｖｅｒｔｉｃａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）を示し、２番イントラ予測モードは左下向対角イントラ予測モードと呼ばれ、３４番イントラ予測モードは左上向対角イントラ予測モードと呼ばれ、６６番イントラ予測モードは右上向対角イントラ予測モードと呼ばれる。

この場合、前記３５個の変換セットと前記イントラ予測モードとの間のマッピング（ｍａｐｐｉｎｇ）は、例えば、以下の表のように示される。参考までに、対象ブロックにＬＭモードが適用される場合、前記対象ブロックに対しては２次変換が適用されない。

一方、特定セットが使われると決定される場合、ＮＳＳＴインデックスを介して前記特定セット内の３個の変換カーネルの中から一つが選択されることができる。エンコーディング装置は、ＲＤ（ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ）チェックに基づいて特定変換カーネルを示すＮＳＳＴインデックスを導出することができ、前記ＮＳＳＴインデックスをデコーディング装置でシグナリングできる。デコーディング装置は、前記ＮＳＳＴインデックスに基づいて特定セット内の３個の変換カーネルの中から一つを選択することができる。例えば、ＮＳＳＴインデックス値０は、１番目のＮＳＳＴカーネルを示すことができ、ＮＳＳＴインデックス値１は、２番目のＮＳＳＴカーネルを示すことができ、ＮＳＳＴインデックス値２は、３番目のＮＳＳＴカーネルを示すことができる。または、ＮＳＳＴインデックス値０は、対象ブロックに対してＮＳＳＴが適用されないことを示すことができ、ＮＳＳＴインデックス値１乃至３は、前記３個の変換カーネルを示すことができる。

再び、図３を参照すると、変換部は、選択された変換カーネルに基づいて前記非分離２次変換を実行して（２次）変換係数を取得することができる。前記（２次）変換係数は、前述したように、量子化部を介して量子化された変換係数として導出されることができ、エンコーディングされてデコーディング装置でシグナリング及びエンコーディング装置内の逆量子化／逆変換部に伝達されることができる。

逆変換部は、前述した変換部で実行された手順の逆順に一連の手順を実行することができる。逆変換部は、（逆量子化された）（２次）変換係数を受信し、２次変換を実行して（１次）変換係数を導出し（Ｓ３５０）、前記（１次）変換係数に対して１次変換を実行してレジデュアルブロック（レジデュアルサンプル）を取得することができる。ここで、前記１次変換係数は、逆変換部立場で修正された（ｍｏｄｉｆｉｅｄ）変換係数と呼ばれる。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロックと予測されたブロックに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成することができることは、前述した通りである。

一方、非分離２次変換のための変換カーネル（ＮＳＳＴカーネル）のサイズは、固定的であり、または固定的でなくて一つのセット内に互いに異なるサイズの変換カーネルが共に構成されることもできる。

一例として、対象ブロック（または、サブブロックまたは変換係数ブロック）の大きさによって、４×４ＮＳＳＴセットの場合、４×４ＮＳＳＴカーネルのみを含み、８×８ＮＳＳＴセットの場合、８×８ＮＳＳＴカーネルのみを含む。

他の例として、次のように混合（Ｍｉｘｅｄ）ＮＳＳＴセットを構成することもできる。混合ＮＳＳＴセットの場合、他のサイズのＮＳＳＴカーネルを含むことができる。例えば、混合ＮＳＳＴセットは、８×８ＮＳＳＴカーネルだけでなく、４×４ＮＳＳＴカーネルを含むことができる。混合ＮＳＳＴセットと対比し、前述した８×８ＮＳＳＴカーネルのみを含み、または４×４ＮＳＳＴカーネルのみを含むＮＳＳＴセットは、非混合ＮＳＳＴセットと呼ばれる。

前記混合ＮＳＳＴセットに含まれているＮＳＳＴカーネルの数は、固定的または可変的である。例えば、ＮＳＳＴセット＃１は、３個のＮＳＳＴカーネルを含み、ＮＳＳＴセット＃２は、４個のＮＳＳＴカーネルを含むこともできる。また、前記混合されたＮＳＳＴセットに含まれるＮＳＳＴカーネルの順序は、固定的でなく、ＮＳＳＴセットによって異なるように定義されることができる。例えば、ＮＳＳＴセット＃１ではＮＳＳＴカーネル１、２、３がＮＳＳＴインデックス１、２、３に各々マッピングされ、ＮＳＳＴセット＃２ではＮＳＳＴカーネル３、２、１がＮＳＳＴインデックス１、２、３に各々マッピングされることもできる。

具体的に、ＮＳＳＴセット内で使用可能なＮＳＳＴカーネルの優先順位決定は、ＮＳＳＴカーネルの大きさ（例えば、８×８ＮＳＳＴカーネルまたは４×４ＮＳＳＴカーネル）に基づいて行われる。例えば、該当対象ブロックが一定サイズ以上である場合、８×８ＮＳＳＴカーネルが４×４ＮＳＳＴカーネルより優先順位が高く、この場合、８×８ＮＳＳＴカーネルに一層少ない値のＮＳＳＴインデックスが優先的に割り当てられることができる。

また、ＮＳＳＴセット内で使用可能なＮＳＳＴカーネルの優先順位決定は、ＮＳＳＴカーネルの順序（１ｓｔ、２ｎｄ、３ｒｄ）に基づいて行われる。例えば、４×４ＮＳＳＴ １ｓｔカーネルが４×４ＮＳＳＴ ２ｎｄカーネルより高い優先順位を有することができる。

具体的に、例えば、ＮＳＳＴセット内のＮＳＳＴカーネルとＮＳＳＴインデックスのマッピングは、以下の表３または表４に開示された実施例を含むことができる。

前記混合ＮＳＳＴセットの使用可否は、多様な方法により指示されることができる。例えば、前記混合ＮＳＳＴセットの使用可否は、対象ブロック（または、対象ブロックを含むＣＵ）のイントラ予測モード及び／または対象ブロックの大きさに基づいて決定されることができる。

一例として、前記混合ＮＳＳＴセットの使用可否は、対象ブロックのイントラ予測モードに基づいて決定されることができる。即ち、イントラ予測モードによって前記混合ＮＳＳＴセットが使われるか、または前述したサブブロックサイズに基づく個別ＮＳＳＴセットが使われるかがあらかじめ決定されている。それによって、現在対象ブロックに適したＮＳＳＴセットを決定し、適切なＮＳＳＴカーネルを適用することができる。例えば、イントラ予測モードによって前記混合ＮＳＳＴセットが使われるかどうかが以下の表のように指示されることができる。

ここで、混合タイプ（ｍｉｘｅｄ ｔｙｐｅ）情報は、前記混合ＮＳＳＴセットが前記対象ブロックに適用されるかどうかをイントラ予測モードに基づいて開示する。これは前述した表２に開示された方法と連係して使われることができる。例えば、前記混合タイプ情報は、表２で詳述したように、各イントラ予測モード毎に非混合ＮＳＳＴセットをマッピングして使用するか、または混合ＮＳＳＴセットを構成して使用するかを示すことができる。具体的に、混合タイプ情報の値が１である場合、非混合ＮＳＳＴセットの代わりに、システムで定義された混合ＮＳＳＴセットを構成して使用することができる。ここで、システムで定義された混合ＮＳＳＴセットは、前述した混合ＮＳＳＴセットを示すことができる。前記混合タイプ情報の値が０である場合、前述した非混合ＮＳＳＴセットがイントラ予測モードに基づいて使われることができる。前記混合タイプ情報は、混合ＮＳＳＴセットが使われるかどうかを示す混合タイプフラグ（ｆｌａｇ）と呼ばれる。本実施例によると、混合タイプフラグに基づいて２種類のＮＳＳＴセット（非混合ＮＳＳＴセット、混合ＮＳＳＴセット）が適応的／可変的に使われることができる。

一方、混合ＮＳＳＴセットは、二つ以上構成されることができ、この場合、混合タイプ情報は、Ｎ（Ｎは、２より大きいまたは同じである）個の多様な値で示される。この場合、前記混合タイプ情報は、混合タイプインデックスと呼ばれる。

他の例として、前記混合ＮＳＳＴセットの使用可否は、対象ブロックに関連したイントラ予測モード及び対象ブロックの大きさを同時に考慮して決定されることができる。前記対象ブロックは、サブブロック、変換ブロック、変換係数ブロックなど、多様な名称で呼ばれる。

例えば、前記混合タイプ情報の代わりにモードタイプ情報を構成し、イントラ予測モードに対応するモードタイプ情報の値が０である場合、非混合ＮＳＳＴセットを設定し、そうでない場合（例えば、モードタイプ情報の値が１である場合）、該当対象ブロックの大きさに基づいて多様な混合ＮＳＳＴセットが決定されることができる。一例として、イントラモードが非方向性モード（ＰｌａｎａｒまたはＤＣ）である場合、混合ＮＳＳＴが使われることができ、方向性モードである場合、非混合ＮＳＳＴセットが使われることができる。

図５は、イントラ予測モード及びブロックサイズに基づいてＮＳＳＴセットを決定する方法を例示的に示す。

図５を参照すると、コーディング装置（エンコーディング装置及び／またはデコーディング装置）は、（量子化された）変換係数を逆変換して（２次）変換係数を導出し（Ｓ５４０）、前記（２次）変換係数を２次（逆）変換して（１次）変換係数を導出する（Ｓ５５０）。この場合、前記（２次）変換係数は、臨時変換係数と呼ばれ、前記（１次）変換係数は、修正された（ｍｏｄｉｆｉｅｄ）変換係数と呼ばれる。ここで、前記２次変換は、前述した非分離２次変換を含むことができる。前記非分離２次変換は、ＮＳＳＴカーネルに基づいて実行され、前記ＮＳＳＴカーネルは、ＮＳＳＴセットから選択されることができる。この場合、ＮＳＳＴインデックス情報を介して前記ＮＳＳＴセットから前記ＮＳＳＴカーネルが指示されることができる。

コーディング装置は、イントラ予測モード及びブロックサイズに基づいてＮＳＳＴセット候補の中から前記ＮＳＳＴセットを選択することができる（Ｓ５４５）。例えば、ＮＳＳＴセット候補は、少なくとも一つの非混合ＮＳＳＴセット及び混合ＮＳＳＴセットを含むことができる。例えば、ＮＳＳＴセット候補は、８×８ＮＳＳＴカーネルのみを含む８×８ＮＳＳＴセット（非混合ＮＳＳＴセット１）、４×４ＮＳＳＴカーネルのみを含む４×４ＮＳＳＴセット（非混合ＮＳＳＴセット２）のうち少なくとも一つを含むことができ、また、一つまたはそれ以上の混合ＮＳＳＴセットを含むことができる。この場合、例えば、コーディング装置は、前記対象ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも８以上かどうか、現在イントラ予測モードナンバーによって前記ＮＳＳＴセット候補から特定ＮＳＳＴセットを決定することができる。ＮＳＳＴインデックス情報を介して前記特定ＮＳＳＴセットから特定ＮＳＳＴカーネルが指示されることができることは、前述した通りである。

一方、前述したＮＳＳＴインデックスは、コーディング効率のために多様な方法で二進化（ｂｉｎｚａｒｉｚａｔｉｏｎ）されることができ、この場合、コーディングされて送信されるＮＳＳＴインデックス値の統計的分布の変化を考慮して効率的に二進化値を設定することができる。即ち、この場合、カーネルサイズを示すシンタックスに基づいて実際適用するカーネルが選択されることができる。

前述したように、本発明によると、変換セット（ＮＳＳＴセット）毎に含まれるＮＳＳＴカーネルの数が異なる場合があり、効率的な二進化方法のためにＮＳＳＴセット別に利用可能な最大ＮＳＳＴインデックス値によって、以下の表のようにＴＵ（ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ）に基づいて可変長さ二進化が実行されることができる。

ここで、二進化された“０”または“１”の値は、ＢＩＮと呼ばれ、このとき、各ＢＩＮは、前述したＣＡＢＡＣ／ＣＡＶＬＣ等を介してコンテキスト（ｃｏｎｔｅｘｔ）に基づいてコーディングされることができる。このとき、コンテキストモデリング値は、対象ブロック（サブブロック、変換ブロック、変換係数ブロック等）の大きさ、イントラ予測モード、混合タイプ情報（混合モード情報）の値、該当ＮＳＳＴセットの最大ＮＳＳＴインデックス値のうち少なくとも一つに基づいて決定されることができる。ここで、コンテキストモデルは、コンテキストインデックスに基づいて指示されることができ、コンテキストインデックスは、コンテキストオフセット（ｏｆｆｓｅｔ）及びコンテキスト変化度（ｉｎｃｒｅｍｅｎｔ）の和で示される。

図６は、本発明による変換方法を含むビデオ／映像エンコーディング方法の一例を概略的に示す。図６で開示された方法は、図１で開示されたエンコーディング装置により実行されることができる。具体的に、例えば、図６のＳ６００乃至Ｓ６３０は、前記エンコーディング装置の変換部により実行されることができる。

図６を参照すると、エンコーディング装置は、対象ブロックに対する変換係数を取得する（Ｓ６００）。エンコーディング装置は、原本ブロックと予測されたブロックの比較を介して対象ブロックに対するレジデュアルサンプルを取得することができ、前記レジデュアルサンプルの１次変換を介して対象ブロックに対する変換係数を取得することができる。前記１次変換は、空間ドメインのレジデュアルサンプルを周波数ドメインの変換係数に変換する手順を含む。ここで、前記対象ブロックは、ＣＵ内のサブブロック、変換ブロック、変換係数ブロックなどを含むことができる。

エンコーディング装置は、前記対象ブロックに対するＮＳＳＴセットを決定する（Ｓ６１０）。前記ＮＳＳＴセットは、２次変換のために使われるＮＳＳＴカーネルを含むことができる。前記２次変換は、非分離２次変換を含む。前記対象ブロックに対するＮＳＳＴセットは、イントラ予測モード及び前記対象ブロックのサイズのうち少なくとも一つに基づいて決定されることができる。

前記ＮＳＳＴセットは、８×８ＮＳＳＴカーネルまたは４×４ＮＳＳＴカーネルを含むことができる。この場合、前記ＮＳＳＴセットは、非混合ＮＳＳＴセットと呼ばれる。前記ＮＳＳＴセットが８×８ＮＳＳＴカーネルを含むか、または４×４ＮＳＳＴカーネルを含むかは、前述したように、前記対象ブロックのサイズに基づいて決定されることができる。

または、前記ＮＳＳＴセットは、４×４ＮＳＳＴカーネル及び８×８ＮＳＳＴカーネルを含む混合（Ｍｉｘｅｄ）ＮＳＳＴセットである。この場合、前記８×８ＮＳＳＴカーネルに割り当てられるインデックス値は、前記４×４ＮＳＳＴカーネルに割り当てられるインデックス値より小さい。例えば、前記対象ブロックのサイズがあらかじめ定義された基準サイズより大きい場合、前記８×８ＮＳＳＴカーネルに割り当てられるインデックス値は、前記４×４ＮＳＳＴカーネルに割り当てられるインデックス値より小さい。または、それに対し、前記４×４ＮＳＳＴカーネルに割り当てられるインデックス値は、前記８×８ＮＳＳＴカーネルに割り当てられるインデックス値より小さい。

前記ＮＳＳＴセットには多数のＮＳＳＴカーネルが含まれることができ、前記ＮＳＳＴカーネルの数は、可変的に設定されることができる。例えば、第１のＮＳＳＴセットに含まれるＮＳＳＴカーネルの数は、第２のＮＳＳＴセットに含まれるＮＳＳＴカーネルの数と異なる場合がある。

一方、前記対象ブロックに対するＮＳＳＴセットとして、非混合ＮＳＳＴセットが使われるか、または混合ＮＳＳＴセットが使われるかは、混合タイプ情報または混合モード情報に基づいて示される。

例えば、前記混合タイプ情報の値が０である場合、８×８ＮＳＳＴカーネルまたは４×４ＮＳＳＴカーネルを含む非混合ＮＳＳＴセットが使われ、前記混合タイプ情報の値が０でない場合、４×４ＮＳＳＴカーネル及び８×８ＮＳＳＴカーネルを含む混合ＮＳＳＴセットが使われることができる。多数の混合ＮＳＳＴセットが可用な場合、前記混合タイプ情報の値１、２などに基づいて前記多数の混合ＮＳＳＴセットのうち一つを示すことができる。

前記対象ブロックに対する前記ＮＳＳＴセットは、イントラ予測モード及び前記対象ブロックのサイズの両方ともに基づいて決定されることができる。前記イントラ予測モードは、例えば、ＬＭモードを含む６７個（ＬＭモードを含む場合、６８個）のイントラ予測モードのうち一つである。前記イントラ予測モードは、前記対象ブロックに関連した予測モードであり、または前記対象ブロックを空間的にカバーするＣＵまたはそのサブブロックに設定されたイントラ予測モードである。

エンコーディング装置は、前記ＮＳＳＴセットに含まれている多数のＮＳＳＴカーネルの中から一つを選択してＮＳＳＴインデックスを設定する（Ｓ６２０）。エンコーディング装置は、ＲＤコストに基づいて繰り返し計算を介して前記ＮＳＳＴセットに含まれている多数のＮＳＳＴカーネルの中から一つを選択することができる。エンコーディング装置は、前記選択されたＮＳＳＴカーネルを示す値として、前記ＮＳＳＴインデックスを設定することができる。

エンコーディング装置は、前記選択されたＮＳＳＴカーネルに基づいて前記変換係数を非分離２次変換して修正された（ｍｏｄｉｆｉｅｄ）変換係数を生成する（Ｓ６３０）。エンコーディング装置は、前記修正された変換係数を決まった手順によってエンコーディング及び出力できる。この場合、前記混合タイプ情報、前記混合モード情報及び前記ＮＳＳＴインデックスに対する情報のうち少なくとも一つは、共にエンコーディングされることができる。エンコーディング装置は、エンコーディングされた情報をビットストリーム形態で出力できる。前記ビットストリームは、ネットワークまたは格納媒体を介してデコーディング装置に送信されることができる。

前記ＮＳＳＴインデックスに対する情報がエンコーディングされる場合、前記ＮＳＳＴインデックスの値は、可変長さ二進化されることができる。この場合、例えば、表６で開示されたように、前記ＮＳＳＴインデックスの値は、ＴＵ（ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ）技法によって二進化されることができる。一方、前記ＮＳＳＴインデックスの値は、ＣＡＢＡＣ、ＣＡＶＬＣなど、コンテキストに基づいてエンコーディングされることができ、この場合、コンテキストモデルは、前記対象ブロックのサイズ、前記イントラ予測モード、混合（ｍｉｘｅｄ）タイプ情報の値、及び前記ＮＳＳＴセット内の最大インデックス値のうち少なくとも一つに基づいて決定されることができる。

図７は、本発明による変換方法を含むビデオ／映像デコーディング方法の一例を概略的に示す。図７で開示された方法は、図２で開示されたデコーディング装置により実行されることができる。具体的に、例えば、図７のＳ７００は、前記デコーディング装置の逆量子化部により実行され、Ｓ７１０乃至７３０は、前記デコーディング装置の逆変換部により実行されることができる。一方、本説明ではデコーディング装置を基準にして説明するが、図７に開示された方法は、エンコーディング装置の逆量子化部及び逆変換部でも同じに実行されることができる。

図７を参照すると、デコーディング装置は、対象ブロックに対する変換係数を取得する（Ｓ７００）。デコーディング装置は、ビットストリームを介して受信された情報から取得した対象ブロックに対する量子化された変換係数を逆量子化することで変換係数を取得することができる。ここで、前記対象ブロックは、ＣＵ内のサブブロック、変換ブロック、変換係数ブロックなどを含むことができる。

デコーディング装置は、前記対象ブロックに対するＮＳＳＴセットを決定する（Ｓ７１０）。前記ＮＳＳＴセットは、２次変換のために使われるＮＳＳＴカーネルを含むことができる。前記２次変換は、非分離２次変換を含む。前記対象ブロックに対するＮＳＳＴセットは、イントラ予測モード及び前記対象ブロックのサイズのうち少なくとも一つに基づいて決定されることができる。

前記ＮＳＳＴセットは、８×８ＮＳＳＴカーネルまたは４×４ＮＳＳＴカーネルを含むことができる。この場合、前記ＮＳＳＴセットは、非混合ＮＳＳＴセットと呼ばれる。前記ＮＳＳＴセットが８×８ＮＳＳＴカーネルを含むか、または４×４ＮＳＳＴカーネルを含むかは、前述したように、前記対象ブロックのサイズに基づいて決定されることができる。

または、前記ＮＳＳＴセットは、４×４ＮＳＳＴカーネル及び８×８ＮＳＳＴカーネルを含む混合（Ｍｉｘｅｄ）ＮＳＳＴセットである。この場合、前記８×８ＮＳＳＴカーネルに割り当てられるインデックス値は、前記４×４ＮＳＳＴカーネルに割り当てられるインデックス値より小さい。例えば、前記対象ブロックのサイズがあらかじめ定義された基準サイズより大きい場合、前記８×８ＮＳＳＴカーネルに割り当てられるインデックス値は、前記４×４ＮＳＳＴカーネルに割り当てられるインデックス値より小さい。または、それに対し、前記４×４ＮＳＳＴカーネルに割り当てられるインデックス値は、前記８×８ＮＳＳＴカーネルに割り当てられるインデックス値より小さい。

前記ＮＳＳＴセットには多数のＮＳＳＴカーネルが含まれることができ、前記ＮＳＳＴカーネルの数は、可変的に設定されることができる。例えば、第１のＮＳＳＴセットに含まれるＮＳＳＴカーネルの数は、第２のＮＳＳＴセットに含まれるＮＳＳＴカーネルの数と異なる場合がある。

一方、前記対象ブロックに対するＮＳＳＴセットとして、非混合ＮＳＳＴセットが使われるか、または混合ＮＳＳＴセットが使われるかは、混合タイプ情報または混合モード情報に基づいて決定されることができる。

例えば、前記混合タイプ情報の値が０である場合、８×８ＮＳＳＴカーネルまたは４×４ＮＳＳＴカーネルを含む非混合ＮＳＳＴセットが使われ、前記混合タイプ情報の値が０でない場合、４×４ＮＳＳＴカーネル及び８×８ＮＳＳＴカーネルを含む混合ＮＳＳＴセットが使われることができる。多数の混合ＮＳＳＴセットが可用な場合、前記混合タイプ情報の値１、２などに基づいて前記多数の混合ＮＳＳＴセットのうち一つを示すことができる。

前記対象ブロックに対する前記ＮＳＳＴセットは、イントラ予測モード及び前記対象ブロックのサイズの両方ともに基づいて決定されることができる。前記イントラ予測モードは、例えば、６７個（ＬＭモードを含む場合、６８個）のイントラ予測モードのうち一つである。前記イントラ予測モードは、前記対象ブロックに関連した予測モードであり、または前記対象ブロックを空間的にカバーするＣＵまたはそのサブブロックに設定されたイントラ予測モードである。

デコーディング装置は、ＮＳＳＴインデックスに基づいて前記ＮＳＳＴセットに含まれている多数のＮＳＳＴカーネルの中から一つを選択する（Ｓ７２０）。前記ＮＳＳＴインデックスは、ビットストリームを介して取得できる。デコーディング装置は、（エントロピー）デコーディングを介して前記ＮＳＳＴインデックスの値を取得することができる。前記ＮＳＳＴインデックスの値は、可変長さ二進化されることができる。この場合、例えば、表６で開示されたように、前記ＮＳＳＴインデックスの値は、ＴＵ（ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ）技法によって二進化されることができる。一方、前記ＮＳＳＴインデックスの値は、ＣＡＢＡＣ、ＣＡＶＬＣなど、コンテキストに基づいてデコーディングされることができ、この場合、コンテキストモデルは、前記対象ブロックのサイズ、前記イントラ予測モード、混合（ｍｉｘｅｄ）タイプ情報の値及び前記ＮＳＳＴセット内の最大インデックス値のうち少なくとも一つに基づいて決定されることができる。

デコーディング装置は、前記選択されたＮＳＳＴカーネルに基づいて前記変換係数を非分離２次（逆）変換して修正された（ｍｏｄｉｆｉｅｄ）変換係数を生成する（Ｓ７３０）。デコーディング装置は、前記修正された変換係数に対して１次（逆）変換を実行して対象ブロックに対するレジデュアルサンプルを取得することができる。

デコーディング装置は、イントラ予測結果として取得した予測サンプルと、前記レジデュアルサンプルと、を結合して復元サンプルを取得することができ、これに基づいてピクチャを復元することができる。

以後、デコーディング装置は、必要によって主観的／客観的画質を向上させるためにデブロッキングフィルタリング、ＳＡＯ及び／またはＡＬＦ手順のようなインループフィルタリング手順を前記復元ピクチャに適用されることができることは、前述した通りである。

前述した本発明による方法は、ソフトウェア形態で具現されることができ、本発明によるエンコーディング装置及び／またはデコーディング装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置などの映像処理を実行する装置に含まれることができる。

本発明で実施例がソフトウェアで具現される時、前述した方法は、前述した機能を遂行するモジュール（過程、機能など）で具現されることができる。モジュールは、メモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部または外部にあり、よく知られた多様な手段でプロセッサと連結されることができる。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／またはデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／または他の格納装置を含むことができる。

Claims (15)

1. デコーディング装置により実行される変換方法において、
   対象ブロックに対する変換係数を取得するステップと、
   前記対象ブロックに対する非分離２次変換（ｎｏｎ−ｓｅｐｅｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）セットを決定するステップと、
   ＮＳＳＴインデックスに基づいて前記ＮＳＳＴセットに含まれている多数のＮＳＳＴカーネルの中から一つを選択するステップと、
   前記選択されたＮＳＳＴカーネルに基づいて前記変換係数を非分離２次変換して修正された（ｍｏｄｉｆｉｅｄ）変換係数を生成するステップと、を含み、
   前記対象ブロックに対するＮＳＳＴセットは、イントラ予測モード及び前記対象ブロックのサイズのうち少なくとも一つに基づいて決定されることを特徴とする、変換方法。
2. 前記ＮＳＳＴセットは、４×４ＮＳＳＴカーネル及び８×８ＮＳＳＴカーネルを含む混合（Ｍｉｘｅｄ）ＮＳＳＴセットであることを特徴とする、請求項１に記載の変換方法。
3. 前記８×８ＮＳＳＴカーネルに割り当てられるインデックス値は、前記４×４ＮＳＳＴカーネルに割り当てられるインデックス値より小さいことを特徴とする、請求項２に記載の変換方法。
4. 前記対象ブロックのサイズがあらかじめ定義された基準サイズより大きい場合、前記８×８ＮＳＳＴカーネルに割り当てられるインデックス値は、前記４×４ＮＳＳＴカーネルに割り当てられるインデックス値より小さいことを特徴とする、請求項２に記載の変換方法。
5. 前記ＮＳＳＴセットに含まれているＮＳＳＴカーネルの数は、可変的であることを特徴とする、請求項２に記載の変換方法。
6. 混合（ｍｉｘｅｄ）タイプ情報を取得するステップと、
   前記混合タイプ情報に基づいて混合ＮＳＳＴセットが使われるかどうかを決定するステップと、を含むことを特徴とする、請求項１に記載の変換方法。
7. 前記混合タイプ情報の値が０である場合、８×８ＮＳＳＴカーネルまたは４×４ＮＳＳＴカーネルを含む非混合ＮＳＳＴセットが使われ、
   前記混合タイプ情報の値が０でない場合、４×４ＮＳＳＴカーネル及び８×８ＮＳＳＴカーネルを含む混合ＮＳＳＴセットが使われることを特徴とする、請求項６に記載の変換方法。
8. 前記対象ブロックに対するＮＳＳＴセットは、前記イントラ予測モード及び前記対象ブロックのサイズの両方ともに基づいて決定されることを特徴とする、請求項１に記載の変換方法。
9. 前記ＮＳＳＴインデックスの値は、可変長さ二進化されることを特徴とする、請求項１に記載の変換方法。
10. 前記ＮＳＳＴインデックスの値は、ＴＵ（ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ）技法によって二進化されることを特徴とする、請求項９に記載の変換方法。
11. 前記ＮＳＳＴインデックスの値は、コンテキストベースのデコーディングに基づいて取得され、
    前記ＮＳＳＴインデックスの値のコンテキストベースのデコーディングのためのコンテキストモデルは、前記対象ブロックのサイズ、前記イントラ予測モード、混合（ｍｉｘｅｄ）タイプ情報の値、及び前記ＮＳＳＴセット内の最大インデックス値のうち少なくとも一つに基づいて決定されることを特徴とする、請求項１に記載の変換方法。
12. デコーディング装置において、
    対象ブロックの量子化された変換係数に逆量子化を実行して前記対象ブロックに対する変換係数を取得する逆量子化部と、
    前記対象ブロックに対する非分離２次変換（ｎｏｎ−ｓｅｐｅｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）セットを決定し、ＮＳＳＴインデックスに基づいて前記ＮＳＳＴセットに含まれている多数のＮＳＳＴカーネルの中から一つを選択し、及び前記選択されたＮＳＳＴカーネルに基づいて前記変換係数を非分離２次変換して修正された（ｍｏｄｉｆｉｅｄ）変換係数を生成する逆変換部と、を含み、
    前記逆変換部は、イントラ予測モード及び前記対象ブロックのサイズのうち少なくとも一つに基づいて前記対象ブロックに対するＮＳＳＴセットを決定することを特徴とする、デコーディング装置。
13. 前記ＮＳＳＴセットは、４×４ＮＳＳＴカーネル及び８×８ＮＳＳＴカーネルを含む混合（Ｍｉｘｅｄ）ＮＳＳＴセットであることを特徴とする、請求項１２に記載のデコーディング装置。
14. 前記８×８ＮＳＳＴカーネルに割り当てられるインデックス値は、前記４×４ＮＳＳＴカーネルに割り当てられるインデックス値より小さいことを特徴とする、請求項１３に記載のデコーディング装置。
15. 前記ＮＳＳＴセットに含まれているＮＳＳＴカーネルの数は、可変的であることを特徴とする、請求項１３に記載のデコーディング装置。