JP2022544176A - 変換に基づく映像コーディング方法及びその装置 - Google Patents

変換に基づく映像コーディング方法及びその装置 Download PDF

Info

Publication number
JP2022544176A
JP2022544176A JP2022507746A JP2022507746A JP2022544176A JP 2022544176 A JP2022544176 A JP 2022544176A JP 2022507746 A JP2022507746 A JP 2022507746A JP 2022507746 A JP2022507746 A JP 2022507746A JP 2022544176 A JP2022544176 A JP 2022544176A
Authority
JP
Japan
Prior art keywords
transform
block
zero
current block
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022507746A
Other languages
English (en)
Other versions
JP7362898B2 (ja
Inventor
ムンモ ク
チェヒョン イム
スンファン キム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2022544176A publication Critical patent/JP2022544176A/ja
Priority to JP2023172611A priority Critical patent/JP2023168536A/ja
Application granted granted Critical
Publication of JP7362898B2 publication Critical patent/JP7362898B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Figure 2022544176000001
本文書による映像デコーディング方法は、レジデュアル情報に基づいて現在ブロックに対する変換係数を導出するステップを含み、前記レジデュアル情報は、前記現在ブロックにコーディングユニットを分割して変換を実行するサブブロック変換が適用されるかどうかを示す第１のフラグ情報を含み、前記変換係数を導出するステップは、前記第１のフラグ情報が１である場合、前記現在ブロックに複数の変換カーネルが使われる多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）が適用されるかどうかに基づいて、前記現在ブロック内の有効変換係数が存在できる領域を示すゼロアウトブロックを導出するステップを含むことを特徴とする。
【選択図】図１１

Description

本文書は、映像コーディング技術に関し、より詳しくは、映像コーディングシステムにおいて、変換（ｔｒａｎｓｆｏｒｍ）に基づく映像コーディング方法及びその装置に関する。
最近、４Ｋまたは８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像／ビデオのような高解像度、高品質の映像／ビデオに対する需要が多様な分野で増加している。映像／ビデオデータが高解像度、高品質になるほど、既存の映像／ビデオデータに比べて相対的に送信される情報量またはビット量が増加するため、既存の有無線広帯域回線のような媒体を利用して映像データを送信し、または既存の格納媒体を利用して映像／ビデオデータを格納する場合、送信費用と格納費用が増加する。
また、最近、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム映像のように、現実映像と異なる映像特性を有する映像／ビデオに対する放送が増加している。
これによって、前記のような多様な特性を有する高解像度、高品質の映像／ビデオの情報を効果的に圧縮して送信または格納し、再生するために、高効率の映像／ビデオ圧縮技術が要求される。
本文書の技術的課題は、映像コーディング効率を上げる方法及び装置を提供することにある。
本文書の他の技術的課題は、レジデュアルコーディングの効率を上げる方法及び装置を提供することにある。
本文書の他の技術的課題は、高周波ゼロイング（ｚｅｒｏｉｎｇ）に基づいて変換係数をコーディングしてレジデュアルコーディング効率を上げる方法及び装置を提供することにある。
本文書の他の技術的課題は、多重変換選択に基づいて高周波ゼロイングを実行する映像コーディングの効率を上げる方法及び装置を提供することにある。
本文書の他の技術的課題は、高周波ゼロイングが実行される時、データ損失を減少させることができる映像コーディングする方法及び装置を提供することにある。
本文書の他の技術的課題は、高周波ゼロイングに基づいて現在ブロック（または、現在変換ブロック）に対する変換係数をコーディングする時、現在ブロックサイズに基づいて最後の有効変換係数位置情報に対するコンテキストモデルを導出するための方法及び装置を提供することにある。
本文書の一実施例によると、デコーディング装置により実行される映像デコーディング方法を提供する。前記方法は、レジデュアル情報に基づいて現在ブロックに対する変換係数を導出するステップを含み、前記レジデュアル情報は、前記現在ブロックにコーディングユニットを分割して変換を実行するサブブロック変換が適用されるかどうかを示す第１のフラグ情報を含み、前記変換係数を導出するステップは、前記第１のフラグ情報が１である場合、前記現在ブロックに複数の変換カーネルが使われる多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）が適用されるかどうかに基づいて、前記現在ブロック内の有効変換係数が存在できる領域を示すゼロアウトブロックを導出するステップを含む。
前記多重変換選択が適用される場合、前記ゼロアウトブロックの幅または高さは、１６に設定され、前記多重変換選択が適用されない場合、前記ゼロアウトブロックの幅または高さは、３２以下に設定される。
前記第１のフラグ情報は、コーディングユニットレベルでシグナリングされる。
前記現在ブロックに前記多重変換選択が適用されるかどうかを指示する第２のフラグ情報に基づいて前記多重変換選択の適用可否が判断され、前記第２のフラグ情報は、シーケンスパラメータセットレベルでシグナリングされる。
分割されたサブブロックの高さが６４より小さい、かつ前記サブブロックの幅が３２である場合、前記ゼロアウトブロックの幅は、１６に設定され、前記サブブロックの幅が６４より小さい、かつ前記サブブロックの高さが３２である場合、前記ゼロアウトブロックの高さは、１６に設定される。
前記現在ブロックの分割方向及び変換が適用されるサブブロックの位置に基づいて前記変換カーネルが導出される。
前記現在ブロックのルマ成分に対して前記ゼロアウトブロックが導出される。
本文書の一実施例によると、エンコーディング装置により実行される映像エンコーディング方法を提供する。前記方法は、レジデュアルサンプルに基づいて変換係数を導出するステップ、及び前記変換係数に対する情報を含むレジデュアル情報をエンコーディングするステップを含み、前記変換係数を導出するステップは、前記現在ブロックにコーディングユニットを分割して変換を実行するサブブロック変換が適用される場合、前記現在ブロックに複数の変換カーネルが使われる多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）が適用されるかどうかに基づいて、前記現在ブロック内の有効変換係数が存在できる領域を示すゼロアウトブロックを導出するステップを含み、前記レジデュアル情報をエンコーディングするステップは、前記サブブロック変換が適用されるかどうかを指示する第１のフラグ情報をエンコーディングするステップを含む。
本文書の他の一実施例によると、エンコーディング装置により実行された映像エンコーディング方法によって生成されたエンコーディングされた映像情報及びビットストリームが含まれている映像データが格納されたデジタル格納媒体が提供される。
本文書の他の一実施例によると、デコーディング装置により前記映像デコーディング方法を実行するようにするエンコーディングされた映像情報及びビットストリームが含まれている映像データが格納されたデジタル格納媒体が提供される。
本文書によると、全般的な映像／ビデオ圧縮効率を上げることができる。
本開示によると、レジデュアルコーディングの効率を上げることができる。
本開示によると、高周波ゼロイング（ｚｅｒｏｉｎｇ）に基づいて変換係数をコーディングしてレジデュアルコーディングの効率を上げることができる。
本開示によると、多重変換選択に基づいて高周波ゼロイングを実行する映像コーディングの効率を上げることができる。
本開示によると、高周波ゼロイングが実行される時、データ損失を減少させることができる映像コーディング効率を上げることができる。
本明細書の具体的な一例を介して得ることができる効果は、以上で羅列された効果に制限されるものではない。例えば、関連した技術分野の通常の知識を有する者（ａ ｐｅｒｓｏｎ ｈａｖｉｎｇ ｏｒｄｉｎａｒｙ ｓｋｉｌｌ ｉｎ ｔｈｅ ｒｅｌａｔｅｄ ａｒｔ）が本明細書から理解し、または誘導できる多様な技術的効果が存在できる。これによって、本明細書の具体的な効果は、本明細書に明示的に記載されたものに制限されるものではなく、本明細書の技術的特徴から理解され、または誘導されることができる多様な効果を含むことができる。
本文書が適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。 本文書が適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。 本文書が適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図である。 本文書が適用されるコンテンツストリーミングシステム構造図を例示的に示す。 本文書の一実施例に係る多重変換技法を概略的に示す。 ６５個予測方向のイントラ方向性モードを例示的に示す。 本文書の一実施例に係るＲＳＴを説明するための図である。 本文書の一例に係るサブブロック変換に適用されるＭＴＳを説明するための図である。 本文書の一例に係るサブブロック変換に適用された３２－ｐｏｉｎｔゼロアウトを示す図である。 本文書の一実施例に係るビデオデコーディング装置の動作を示す流れ図である。 本文書の一実施例に係るビデオデコーディング装置による変換係数を導出する過程を示す流れ図である。 本文書の一実施例に係るビデオエンコーディング装置の動作を示す流れ図である。 本文書の一実施例に係る変換係数及び情報エンコーディング過程を示す流れ図である。
本文書は、多様な変更を加えることができ、様々な実施例を有することができ、特定実施例を図面に例示して詳細に説明しようとする。しかし、これは本文書を特定実施例に限定しようとするものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであって、本文書の技術的思想を限定しようとする意図で使われるものではない。単数の表現は、コンテキスト上明白に異なる意味ではない限り、複数の表現を含む。本明細書において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定するものであり、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたもの等の存在または付加可能性をあらかじめ排除しないと理解されなければならない。
一方、本文書で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の便宜のために独立的に図示されたものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味するものではない。例えば、各構成のうち、二つ以上の構成が結合されて一つの構成をなすこともでき、一つの構成が複数の構成に分けられることもできる。各構成が統合及び／または分離された実施例も、本文書の本質から逸脱しない限り、本文書の権利範囲に含まれる。
以下、添付図面を参照して、本文書の好ましい実施例をより詳細に説明する。以下、図面上の同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対して重複した説明は省略する。
この文書は、ビデオ／映像コーディングに関する。例えば、この文書に開示された方法／実施例は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６６）、ＶＶＣ以後の次世代ビデオ／イメージコーディング標準、またはその以外のビデオコーディング関連標準（例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５）、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶＳ２標準等）と関連付けられている。
この文書ではビデオ／映像コーディングに関する多様な実施例を提示し、他の言及がない限り、前記実施例は互いに組み合わせられて実行されることもできる。
この文書において、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味することができる。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定時間帯の一つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。一つのピクチャは、一つ以上のスライス／タイルで構成されることができる。一つのピクチャは、一つ以上のタイルグループで構成されることができる。一つのタイルグループは、一つ以上のタイルを含むことができる。
ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、一つのピクチャ（または、映像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使われることができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。または、サンプルは、空間ドメインでのピクセル値を意味することもでき、このようなピクセル値が周波数ドメインに変換されると、周波数ドメインでの変換係数を意味することもできる。
ユニット（ｕｎｉｔ）は、映像処理の基本単位を示すことができる。ユニットは、ピクチャの特定領域及び該当領域に関連した情報のうち少なくとも一つを含むことができる。一つのユニットは、一つのルマブロック及び二つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含むことができる。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使われることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（または、サンプルアレイ）または変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（または、アレイ）を含むことができる。
この文書において、「／」と「、」は、「及び／または」と解釈される。例えば、「Ａ／Ｂ」は、「Ａ及び／またはＢ」と解釈され、「Ａ、Ｂ」は、「Ａ及び／またはＢ」と解釈される。追加的に、「Ａ／Ｂ／Ｃ」は、「Ａ、Ｂ及び／またはＣのうち少なくとも一つ」を意味する。また、「Ａ、Ｂ、Ｃ」も「Ａ、Ｂ及び／またはＣのうち少なくとも一つ」を意味する。（Ｉｎ ｔｈｉｓ ｄｏｃｕｍｅｎｔ，ｔｈｅ ｔｅｒｍ 「／」 ａｎｄ 「、」 ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ 「ａｎｄ／ｏｒ．」Ｆｏｒ ｉｎｓｔａｎｃｅ，ｔｈｅ ｅｘｐｒｅｓｓｉｏｎ 「Ａ／Ｂ」 ｍａｙ ｍｅａｎ 「Ａ ａｎｄ／ｏｒ Ｂ．」Ｆｕｒｔｈｅｒ，「Ａ，Ｂ」 ｍａｙ ｍｅａｎ 「Ａ ａｎｄ／ｏｒ Ｂ．」Ｆｕｒｔｈｅｒ，「Ａ／Ｂ／Ｃ」 ｍａｙ ｍｅａｎ 「ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ，ａｎｄ／ｏｒ Ｃ．」Ａｌｓｏ， 「Ａ／Ｂ／Ｃ」 ｍａｙ ｍｅａｎ 「ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ，ａｎｄ／ｏｒ Ｃ．”）
追加的に、本文書において、「または」は、「及び／または」と解釈される。例えば、「ＡまたはＢ」は、１）「Ａ」のみを意味し、または２）「Ｂ」のみを意味し、または３）「Ａ及びＢ」を意味することができる。他の表現としては、本文書の「または」は、「追加的にまたは代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。（Ｆｕｒｔｈｅｒ，ｉｎ ｔｈｅ ｄｏｃｕｍｅｎｔ，ｔｈｅ ｔｅｒｍ 「ｏｒ」 ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ 「ａｎｄ／ｏｒ．」Ｆｏｒ ｉｎｓｔａｎｃｅ，ｔｈｅ ｅｘｐｒｅｓｓｉｏｎ 「Ａ ｏｒ Ｂ」 ｍａｙ ｃｏｍｐｒｉｓｅ １）ｏｎｌｙ Ａ，２）ｏｎｌｙ Ｂ，ａｎｄ／ｏｒ ３）ｂｏｔｈ Ａ ａｎｄ Ｂ．Ｉｎ ｏｔｈｅｒ ｗｏｒｄｓ，ｔｈｅ ｔｅｒｍ 「ｏｒ」 ｉｎ ｔｈｉｓ ｄｏｃｕｍｅｎｔ ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ 「ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ．」）
本明細書において、「少なくとも一つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」は、「ただＡ」、「ただＢ」または「ＡとＢの両方とも」を意味することができる。また、本明細書において、「少なくとも一つのＡまたはＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」や「少なくとも一つのＡ及び／またはＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）」という表現は、「少なくとも一つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」と同じく解釈されることができる。
また、本明細書において、「少なくとも一つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」は、「ただＡ」、「ただＢ」、「ただＣ」、または「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」を意味することができる。また、「少なくとも一つのＡ、ＢまたはＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ｏｒ Ｃ）」や「少なくとも一つのＡ、Ｂ及び／またはＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ／ｏｒ Ｃ）」は、「少なくとも一つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」を意味することができる。
また、本明細書で使われる括弧は、「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」を意味することができる。具体的に、「予測（イントラ予測）」で表示された場合、「予測」の一例として「イントラ予測」が提案されたものである。他の表現としては、本明細書の「予測」は、「イントラ予測」に制限（ｌｉｍｉｔ）されるものではなく、「イントラ予測」が「予測」の一例として提案されたものである。また、「予測（即ち、イントラ予測）」で表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものである。
本明細書において、一つの図面内で個別的に説明される技術的特徴は、個別的に具現されることもでき、同時に具現されることもできる。
図１は、本文書が適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。
図１を参照すると、ビデオ／映像コーディングシステムは、ソースデバイス及び受信デバイスを含むことができる。ソースデバイスは、エンコーディングされたビデオ（ｖｉｄｅｏ）／映像（ｉｍａｇｅ）情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスに伝達できる。
前記ソースデバイスは、ビデオソース、エンコーディング装置、送信部を含むことができる。前記受信デバイスは、受信部、デコーディング装置、及びレンダラを含むことができる。前記エンコーディング装置は、ビデオ／映像エンコーディング装置と呼ばれることができ、前記デコーディング装置は、ビデオ／映像デコーディング装置と呼ばれることができる。送信機は、エンコーディング装置に含まれることができる。受信機は、デコーディング装置に含まれることができる。レンダラは、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。
ビデオソースは、ビデオ／映像のキャプチャ、合成または生成過程などを介してビデオ／映像を取得することができる。ビデオソースは、ビデオ／映像キャプチャデバイス及び／またはビデオ／映像生成デバイスを含むことができる。ビデオ／映像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ／映像アーカイブなどを含むことができる。ビデオ／映像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／映像が生成されることができ、この場合、関連データが生成される過程にビデオ／映像キャプチャ過程が代替されることができる。
エンコーディング装置は、入力ビデオ／映像をエンコーディングすることができる。エンコーディング装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を実行することができる。エンコーディングされたデータ（エンコーディングされたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。
送信部は、ビットストリーム形態で出力されたエンコーディングされたビデオ／映像情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスの受信部に伝達できる。デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。送信部は、あらかじめ決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介した送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコーディング装置に伝達できる。
デコーディング装置は、エンコーディング装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を実行してビデオ／映像をデコーディングすることができる。
レンダラは、デコーディングされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされることができる。
図２は、本文書が適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。以下、ビデオエンコーディング装置とは、映像エンコーディング装置を含むことができる。
図２を参照すると、エンコーディング装置２００は、映像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコーディング部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を含んで構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を含むことができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を含むことができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ）２３１をさらに含むことができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）または復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれることができる。前述した映像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコーディング部２４０、加算部２５０、及びフィルタリング部２６０は、実施例によって一つ以上のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに含むこともできる。
映像分割部２１０は、エンコーディング装置２００に入力された入力映像（または、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割できる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）または最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、一つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／またはターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／またはターナリ構造がその後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本文書によるコーディング手順が実行されることができる。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使われることができ、または、必要によって、コーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使われることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに含むことができる。この場合、前記予測ユニット及び前記変換ユニットは、各々、前述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であり、前記変換ユニットは、変換係数を誘導する単位及び／または変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位である。
ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使われることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、一つのピクチャ（または、映像）をピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）に対応する用語として使われることができる。
減算部２３１は、入力映像信号（原本ブロック、原本サンプルまたは原本サンプルアレイ）から、予測部２２０から出力された予測信号（予測されたブロック、予測サンプルまたは予測サンプルアレイ）を減算してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルまたはレジデュアルサンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部２３２に送信される。予測部２２０は、処理対象ブロック（以下、現在ブロックという）に対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部２２０は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができる。予測部は、各予測モードに対する説明で後述するように、予測モード情報など、予測に関する多様な情報を生成してエントロピーエンコーディング部２４０に伝達できる。予測に関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。
イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって、前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することもでき、または離れて位置することもできる。イントラ予測で、予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定によってそれ以上またはその以下の個数の方向性予測モードが使われることができる。イントラ予測部２２２は、隣接ブロックに適用された予測モードを利用して、現在ブロックに適用される予測モードを決定することもできる。
インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロックまたはサンプル単位で予測できる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、を含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的隣接ブロックを含む参照ピクチャは、同じこともあり、異なることもある。前記時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名称で呼ばれることができ、前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、インター予測部２２１は、隣接ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／または参照ピクチャインデックスを導出するために、どの候補が使われるかを指示する情報を生成することができる。多様な予測モードに基づいてインター予測が実行されることができ、例えば、スキップモードとマージモードの場合、インター予測部２２１は、隣接ブロックの動き情報を現在ブロックの動き情報として利用できる。スキップモードの場合、マージモードとは違って、レジデュアル信号が送信されない。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることで、現在ブロックの動きベクトルを指示することができる。
予測部２２０は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、一つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用できる。これはｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を実行することもできる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動映像コーディングのために使われることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。即ち、ＩＢＣは、本文書で説明されるインター予測技法のうち少なくとも一つを利用することができる。
インター予測部２２１及び／またはイントラ予測部２２２を介して生成された予測信号は、復元信号を生成するために利用され、またはレジデュアル信号を生成するために利用されることができる。変換部２３２は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、またはＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）などを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとする時、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を利用して予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は、正方形の同じ大きさを有するピクセルブロックに適用されることもでき、正方形でない可変大きさのブロックに適用されることもできる。
量子化部２３３は、変換係数を量子化してエントロピーエンコーディング部２４０に送信し、エントロピーエンコーディング部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコーディングしてビットストリームで出力できる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形態の量子化された変換係数を１次元ベクトル形態で再整列でき、前記１次元ベクトル形態の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような多様なエンコーディング方法を実行することができる。エントロピーエンコーディング部２４０は、量子化された変換係数外にビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共にまたは別途にエンコーディングすることもできる。エンコーディングされた情報（例えば、エンコーディングされたビデオ／映像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または格納されることができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）またはビデオパラメータセット（ＶＰＳ）等、多様なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書で後述されるシグナリング／送信される情報及び／またはシンタックス要素は、前述したエンコーディング手順を介してエンコーディングされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、またはデジタル格納媒体に格納されることができる。ここで、ネットワークは、放送網及び／または通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。エントロピーエンコーディング部２４０から出力された信号は、送信する送信部（図示せず）及び／または格納する格納部（図示せず）がエンコーディング装置２００の内／外部エレメントとして構成されることができ、または、送信部は、エントロピーエンコーディング部２４０に含まれることもできる。
量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために利用されることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することによって、レジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元することができる。加算部２５０は、復元されたレジデュアル信号を予測部２２０から出力された予測信号に加えることによって復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルまたは復元サンプルアレイ）が生成されることができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使われることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使われることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使われることもできる。
一方、ピクチャエンコーディング及び／または復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに多様なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納することができる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ、ＳＡＯ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法に対する説明で後述するように、フィルタリングに関する多様な情報を生成してエントロピーエンコーディング部２４０に伝達できる。フィルタリング関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。
メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使われることができる。エンコーディング装置は、これを介してインター予測が適用される場合、エンコーディング装置２００とデコーディング装置での予測ミスマッチを避けることができ、符号化効率も向上させることができる。
メモリ２７０のＤＰＢは、修正された復元ピクチャをインター予測部２２１での参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコーディングされた）ブロックの動き情報及び／または既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するためにインター予測部２２１に伝達できる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達できる。
図３は、本文書が適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図である。
図３を参照すると、デコーディング装置３００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｅｒｙ）３６０を含んで構成されることができる。予測部３３０は、インター予測部３３２及びイントラ予測部３３１を含むことができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２２を含むことができる。前述したエントロピーデコーディング部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに含むこともできる。
ビデオ／映像情報を含むビットストリームが入力される場合、デコーディング装置３００は、図２のエンコーディング装置でビデオ／映像情報が処理されたプロセスに対応して映像を復元することができる。例えば、デコーディング装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出することができる。デコーディング装置３００は、エンコーディング装置で適用された処理ユニットを利用してデコーディングを実行することができる。したがって、デコーディングの処理ユニットは、例えば、コーディングユニットであり、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットから、クアッドツリー構造、バイナリツリー構造及び／またはターナリツリー構造によって分割されることができる。コーディングユニットから一つ以上の変換ユニットが導出されることができる。そして、デコーディング装置３００を介してデコーディング及び出力された復元映像信号は、再生装置を介して再生されることができる。
デコーディング装置３００は、図２のエンコーディング装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコーディング部３１０を介してデコーディングされることができる。例えば、エントロピーデコーディング部３１０は、前記ビットストリームをパーシングして映像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／映像情報）を導出することができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）等、多様なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコーディング装置は、前記パラメータセットに関する情報及び／または前記一般制限情報にさらに基づいてピクチャをデコーディングすることができる。本文書で後述されるシグナリング／受信される情報及び／またはシンタックス要素は、前記デコーディング手順を介してデコーディングされて前記ビットストリームから取得されることができる。例えば、エントロピーデコーディング部３１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報をデコーディングし、映像復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳しくは、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各構文要素に該当するｂｉｎを受信し、デコーディング対象構文要素情報と隣接及びデコーディング対象ブロックのデコーディング情報または以前ステップでデコーディングされたシンボル／ｂｉｎの情報を利用してコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルによってｂｉｎの発生確率を予測してｂｉｎの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を実行することで各構文要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコーディング方法は、コンテキストモデル決定後、次のシンボル／ｂｉｎのコンテキストモデルのためにデコーディングされたシンボル／ｂｉｎの情報を利用してコンテキストモデルをアップデートすることができる。エントロピーデコーディング部３１０でデコーディングされた情報のうち、予測に関する情報は、予測部３３０に提供され、エントロピーデコーディング部３１０でエントロピーデコーディングが実行されたレジデュアルに対する情報、即ち、量子化された変換係数及び関連パラメータ情報は、逆量子化部３２１に入力されることができる。また、エントロピーデコーディング部３１０でデコーディングされた情報のうち、フィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコーディング装置から出力された信号を受信する受信部（図示せず）がデコーディング装置３００の内／外部エレメントとしてさらに構成されてもよく、または、受信部は、エントロピーデコーディング部３１０の構成要素であってもよい。一方、本文書によるデコーディング装置は、ビデオ／映像／ピクチャデコーディング装置と呼ばれることができ、前記デコーディング装置は、情報デコーダ（ビデオ／映像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／映像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコーディング部３１０を含むことができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、予測部３３０、加算部３４０、フィルタリング部３５０、及びメモリ３６０のうち少なくとも一つを含むことができる。
逆量子化部３２１では量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列できる。この場合、前記再整列は、エンコーディング装置で実行された係数スキャン順序に基づいて再整列を実行することができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を利用して量子化された変換係数に対する逆量子化を実行し、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。
逆変換部３２２では変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。
予測部は、現在ブロックに対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコーディング部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モードを決定することができる。
予測部は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、一つのブロックに対する予測のためにイントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することもできる。これはｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を実行することもできる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動映像コーディングのために使われることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。即ち、ＩＢＣは、本文書で説明されるインター予測技法のうち少なくとも一つを利用することができる。
イントラ予測部３３１は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって、前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することもでき、または離れて位置することもできる。イントラ予測で、予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。イントラ予測部３３１は、隣接ブロックに適用された予測モードを利用し、現在ブロックに適用される予測モードを決定することもできる。
インター予測部３３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測できる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、を含むことができる。例えば、インター予測部３３２は、隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて、前記現在ブロックの動きベクトル及び／または参照ピクチャインデックスを導出することができる。多様な予測モードに基づいてインター予測が実行されることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。
加算部３４０は、取得されたレジデュアル信号を、予測部３３０から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることによって復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使われることができる。
加算部３４０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使われることができ、後述するように、フィルタリングを経て出力されることもでき、または、次のピクチャのインター予測のために使われることもできる。
一方、ピクチャデコーディング過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに多様なフィルタリング方法を適用することで、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ３６０、具体的に、メモリ３６０のＤＰＢに送信できる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。
メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３２で参照ピクチャとして使われることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコーディングされた）ブロックの動き情報及び／または既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部３３２に伝達できる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部３３１に伝達できる。
本明細書において、デコーディング装置３００の予測部３３０、逆量子化部３２１、逆変換部３２２、及びフィルタリング部３５０などで説明された実施例は、各々、エンコーディング装置２００の予測部２２０、逆量子化部２３４、逆変換部２３５、及びフィルタリング部２６０などにも同一または対応されるように適用されることができる。
前述したように、ビデオコーディングを実行するにあたって、圧縮効率を上げるために予測を実行する。これを介してコーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（または、ピクセルドメイン）での予測サンプルを含む。前記予測されたブロックは、エンコーディング装置及びデコーディング装置で同じく導出され、前記エンコーディング装置は、原本ブロックの原本サンプル値自体でない前記原本ブロックと前記予測されたブロックとの間のレジデュアルに対する情報（レジデュアル情報）をデコーディング装置にシグナリングすることで映像コーディング効率を上げることができる。デコーディング装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックとを合わせて復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。
前記レジデュアル情報は、変換及び量子化手順を介して生成されることができる。例えば、エンコーディング装置は、前記原本ブロックと前記予測されたブロックとの間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれているレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を実行して変換係数を導出し、前記変換係数に量子化手順を実行して量子化された変換係数を導出して関連したレジデュアル情報を（ビットストリームを介して）デコーディング装置にシグナリングできる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコーディング装置は、前記レジデュアル情報に基づいて逆量子化／逆変換手順を実行してレジデュアルサンプル（または、レジデュアルブロック）を導出することができる。デコーディング装置は、予測されたブロックと前記レジデュアルブロックとに基づいて復元ピクチャを生成することができる。また、エンコーディング装置は、以後ピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。
図４は、本文書が適用されるコンテンツストリーミングシステム構造図を例示的に示す。
また、本文書が適用されるコンテンツストリーミングシステムは、大いに、エンコーディングサーバ、ストリーミングサーバ、ウェブサーバ、メディア格納所、ユーザ装置、及びマルチメディア入力装置を含むことができる。
前記エンコーディングサーバは、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置から入力されたコンテンツをデジタルデータで圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。他の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコーディングサーバは省略されることができる。前記ビットストリームは、本文書が適用されるエンコーディング方法またはビットストリーム生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信または受信する過程で一時的に前記ビットストリームを格納することができる。
前記ストリーミングサーバは、ウェブサーバを介したユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、どのようなサービスがあるかをユーザに知らせる媒介体役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すると、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。
前記ストリーミングサーバは、メディア格納所及び／またはエンコーディングサーバからコンテンツを受信することができる。例えば、前記エンコーディングサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間に格納することができる。
前記ユーザ装置の例として、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウエラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジなどがある。前記コンテンツストリーミングシステム内の各サーバは、分散サーバで運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。
図５は、本文書による多重変換技法を概略的に示す。
図５を参照すると、変換部は、前述した図２のエンコーディング装置内の変換部に対応されることができ、逆変換部は、前述した図２のエンコーディング装置内の逆変換部または図３のデコーディング装置内の逆変換部に対応されることができる。
変換部は、レジデュアルブロック内のレジデュアルサンプル（レジデュアルサンプルアレイ）に基づいて１次変換を実行して（１次）変換係数を導出することができる（Ｓ５１０）。このような１次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）は、核心変換（ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）と呼ばれることができる。ここで、前記１次変換は、多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）に基づくことができ、１次変換として多重変換が適用される場合、多重核心変換と呼ばれることができる。
多重核心変換は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ２とＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ７、ＤＣＴタイプ８、及び／またはＤＳＴタイプ１を追加的に使用して変換する方式を示すことができる。即ち、前記多重核心変換は、前記ＤＣＴタイプ２、前記ＤＳＴタイプ７、前記ＤＣＴタイプ８、及び前記ＤＳＴタイプ１の中から選択された複数の変換カーネルに基づいて、空間ドメインのレジデュアル信号（または、レジデュアルブロック）を周波数ドメインの変換係数（または、１次変換係数）に変換する変換方法を示すことができる。ここで、前記１次変換係数は、変換部立場で臨時変換係数と呼ばれることができる。
即ち、既存の変換方法が適用される場合、ＤＣＴタイプ２に基づいて、レジデュアル信号（または、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数が生成されることができた。これと違って、前記多重核心変換が適用される場合、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及び／またはＤＳＴタイプ１などに基づいて、レジデュアル信号（または、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数（または、１次変換係数）が生成されることができる。ここで、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及びＤＳＴタイプ１等は、変換タイプ、変換カーネル（ｋｅｒｎｅｌ）または変換コア（ｃｏｒｅ）と呼ばれることができる。このようなＤＣＴ／ＤＳＴ変換タイプは、基底関数に基づいて定義されることができる。
前記多重核心変換が実行される場合、前記変換カーネルの中から対象ブロックに対する垂直変換カーネル及び水平変換カーネルが選択されることができ、前記垂直変換カーネルに基づいて前記対象ブロックに対する垂直変換が実行され、前記水平変換カーネルに基づいて前記対象ブロックに対する水平変換が実行されることができる。ここで、前記水平変換は、前記対象ブロックの水平成分に対する変換を示すことができ、前記垂直変換は、前記対象ブロックの垂直成分に対する変換を示すことができる。前記垂直変換カーネル／水平変換カーネルは、レジデュアルブロックを含む対象ブロック（ＣＵまたはサブブロック）の予測モード及び／または変換インデックスに基づいて適応的に決定されることができる。
また、一例によると、ＭＴＳを適用して１次変換を実行する場合、特定基底関数を所定値に設定し、垂直変換または水平変換である時、どのような基底関数が適用されるかを組み合わせて変換カーネルに対するマッピング関係を設定することができる。例えば、水平方向変換カーネルをｔｒＴｙｐｅＨｏｒで表し、垂直方向変換カーネルをｔｒＴｙｐｅＶｅｒで表す場合、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒ値０はＤＣＴ２に設定され、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒ値１はＤＳＴ７に設定され、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒ値２はＤＣＴ８に設定されることができる。
この場合、多数の変換カーネルセットのうちいずれか一つを指示するために、ＭＴＳインデックス情報がエンコーディングされてデコーディング装置にシグナリングされることができる。例えば、ＭＴＳインデックスが０である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が両方とも０であることを指示し、ＭＴＳインデックスが１である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が両方とも１であることを指示し、ＭＴＳインデックスが２である場合、ｔｒＴｙｐｅＨｏｒ値は２であり、ｔｒＴｙｐｅＶｅｒ値は１であることを指示し、ＭＴＳインデックスが３である場合、ｔｒＴｙｐｅＨｏｒ値は１であり、ｔｒＴｙｐｅＶｅｒ値は２であることを指示し、ＭＴＳインデックスが４である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が両方とも２であることを指示することができる。
一例によって、ＭＴＳインデックス情報による変換カーネルセットを表で示すと、以下の通りである。
Figure 2022544176000002
変換部は、前記（１次）変換係数に基づいて２次変換を実行して修正された（２次）変換係数を導出することができる（Ｓ５２０）。前記１次変換は、空間ドメインから周波数ドメインへの変換であり、前記２次変換は、（１次）変換係数間に存在する相関関係（ｃｏｒｒｅｌａｔｉｏｎ）を利用してもっと圧縮的な表現で変換することを意味する。前記２次変換は、非分離変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）を含むことができる。この場合、前記２次変換は、非分離２次変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）またはＭＤＮＳＳＴ（ｍｏｄｅ－ｄｅｐｅｎｄｅｎｔ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）と呼ばれることができる。前記非分離２次変換は、前記１次変換を介して導出された（１次）変換係数を非分離変換マトリクス（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて２次変換してレジデュアル信号に対する修正された変換係数（または、２次変換係数）を生成する変換を示すことができる。ここで、前記非分離変換マトリクスに基づいて、前記（１次）変換係数に対して垂直変換及び水平変換を分離して（または、水平垂直変換を独立的に）適用せずに、一度に変換を適用することができる。即ち、前記非分離２次変換は、前記（１次）変換係数の垂直成分及び水平成分を分離するものではなく、例えば、２次元信号（変換係数）を特定決められた方向（例えば、行優先（ｒｏｗ－ｆｉｒｓｔ）方向または列優先（ｃｏｌｕｍｎ－ｆｉｒｓｔ）方向）を介して１次元信号に再整列した後、前記非分離変換マトリクスに基づいて修正された変換係数（または、２次変換係数）を生成する変換方法を示すことができる。例えば、行優先順序は、Ｍ×Ｎブロックに対して１番目の行、２番目の行、...、Ｎ番目の行の順序に一列に配置することであり、列優先順序は、Ｍ×Ｎブロックに対して１番目の列、２番目の列、...、Ｍ番目の列の順序に一列に配置することである。前記非分離２次変換は、（１次）変換係数で構成されたブロック（以下、変換係数ブロックと呼ばれることができる）の左上端（ｔｏｐ－ｌｅｆｔ）領域に対して適用されることができる。例えば、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも８以上であると、８×８非分離２次変換が前記変換係数ブロックの左上端８×８領域に対して適用されることができる。また、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも４以上であり、前記変換係数ブロックの幅（Ｗ）または高さ（Ｈ）が８より小さいと、４×４非分離２次変換が前記変換係数ブロックの左上端ｍｉｎ（８、Ｗ）×ｍｉｎ（８、Ｈ）領域に対して適用されることができる。ただし、実施例は、これに限定されるものではなく、例えば、前記変換係数ブロックの幅（Ｗ）または高さ（Ｈ）が両方とも４以上である条件のみを満たしても、４×４非分離２次変換が前記変換係数ブロックの左上端ｍｉｎ（８、Ｗ）×ｍｉｎ（８、Ｈ）領域に対して適用されることもできる。
具体的に、例えば、４×４入力ブロックが使われる場合、非分離２次変換は、下記のように実行されることができる。
前記４×４入力ブロックＸは、以下のように示される。
Figure 2022544176000003
前記Ｘをベクトル形態で表す場合、ベクトル
Figure 2022544176000004
は、以下のように示される。
Figure 2022544176000005
数式２のように、ベクトル
Figure 2022544176000006
は、行優先（ｒｏｗ－ｆｉｒｓｔ）順序によって、数式１のＸの２次元ブロックを１次元ベクトルで再配列する。
この場合、前記２次非分離変換は、下記のように計算されることができる。
Figure 2022544176000007
ここで、
Figure 2022544176000008
は、変換係数ベクトルを示し、Ｔは、１６×１６（非分離）変換マトリクスを示す。
前記数式３を介して１６×１変換係数ベクトル
Figure 2022544176000009
が導出されることができ、前記
Figure 2022544176000010
は、スキャン順序（水平、垂直、対角（ｄｉａｇｏｎａｌ）等）を介して４×４ブロックで再構成（ｒｅ－ｏｒｇａｎｉｚｅｄ）されることができる。ただし、前述した計算は、例示に過ぎず、非分離２次変換の計算複雑度を減らすために、ＨｙＧＴ（Ｈｙｐｅｒｃｕｂｅ－Ｇｉｖｅｎｓ Ｔｒａｎｓｆｏｒｍ）などが非分離２次変換の計算のために使われることもできる。
一方、前記非分離２次変換は、モードベースの（ｍｏｄｅｄｅｐｅｎｄｅｎｔ）変換カーネル（または、変換コア、変換タイプ）が選択されることができる。ここで、モードは、イントラ予測モード及び／またはインター予測モードを含むことができる。
前述したように、前記非分離２次変換は、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）に基づいて決定された８×８変換または４×４変換に基づいて実行されることができる。８×８変換は、ＷとＨが両方とも８より大きいまたは同じ時、該当変換係数ブロック内部に含まれている８×８領域に適用されることができる変換を指し、該当８×８領域は、該当変換係数ブロック内部の左上端８×８領域である。同様に、４×４変換は、ＷとＨが両方とも４より大きいまたは同じ時、該当変換係数ブロック内部に含まれている４×４領域に適用されることができる変換を指し、該当４×４領域は、該当変換係数ブロック内部の左上端４×４領域である。例えば、８×８変換カーネルマトリクスは、６４×６４／１６×６４行列、４×４変換カーネルマトリクスは、１６×１６／８×１６行列になることができる。
このとき、モードベースの変換カーネル選択のために、８×８変換及び４×４変換の両方ともに対して非分離２次変換のための変換セット当たり２個ずつの非分離２次変換カーネルが構成されることができ、変換セットは、４個である。即ち、８×８変換に対して４個の変換セットが構成され、４×４変換に対して４個の変換セットが構成されることができる。この場合、８×８変換に対する４個の変換セットには、各々、２個ずつの８×８変換カーネルが含まれることができ、この場合、４×４変換に対する４個の変換セットには、各々、２個ずつの４×４変換カーネルが含まれることができる。
ただし、前記変換のサイズ、即ち、変換が適用される領域のサイズは、例示に過ぎず、８×８または４×４以外のサイズが使われることができ、前記セットの数はｎ個、各セット内の変換カーネルの数はｋ個である。
前記変換セットは、ＮＳＳＴセットまたはＬＦＮＳＴセットと呼ばれることができる。前記変換セットの中からの特定セットの選択は、例えば、現在ブロック（ＣＵまたはサブブロック）のイントラ予測モードに基づいて実行されることができる。ＬＦＮＳＴ（Ｌｏｗ－Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）は、後述される減少された非分離変換の一例であり、低周波成分に対する非分離変換を示す。
参考までに、例えば、イントラ予測モードは、２個の非方向性（ｎｏｎ－ｄｉｒｅｃｔｉｎｏａｌ、または非角度性（ｎｏｎ－ａｎｇｕｌａｒ））イントラ予測モードと、６５個の方向性（ｄｉｒｅｃｔｉｏｎａｌ、または角度性（ａｎｇｕｌａｒ））イントラ予測モードと、を含むことができる。前記非方向性イントラ予測モードは、０番であるプラナー（ｐｌａｎａｒ）イントラ予測モード及び１番であるＤＣイントラ予測モードを含むことができ、前記方向性イントラ予測モードは、２番乃至６６番の６５個のイントラ予測モードを含むことができる。ただし、これは例示に過ぎず、本文書は、イントラ予測モードの数が異なる場合にも適用されることができる。一方、場合によって、６７番イントラ予測モードがさらに使用されることができ、前記６７番イントラ予測モードは、ＬＭ（ｌｉｎｅａｒ ｍｏｄｅｌ）モードを示すことができる。
図６は、６５個の予測方向のイントラ方向性モードを例示的に示す。
図６を参照すると、右下向対角予測方向を有する３４番イントラ予測モードを中心にして、水平方向性（ｈｏｒｉｚｏｎｔａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードと、垂直方向性（ｖｅｒｔｉｃａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードと、を区分することができる。図６のＨとＶは、各々、水平方向性と垂直方向性を意味し、－３２～３２の数字は、サンプルグリッドポジション（ｓａｍｐｌｅ ｇｒｉｄ ｐｏｓｉｔｉｏｎ）上で１／３２単位の変位を示す。これはモードインデックス値に対するオフセットを示すことができる。２番乃至３３番イントラ予測モードは水平方向性を有し、３４番乃至６６番イントラ予測モードは垂直方向性を有する。一方、３４番イントラ予測モードは、厳密には、水平方向性でも垂直方向性でもないとみることができるが、２次変換の変換セットを決定する観点で水平方向性に属すると分類されることができる。これは、３４番イントラ予測モードを中心にして対称される垂直方向モードに対しては入力データをトランスポーズ（ｔｒａｎｓｐｏｓｅ）して使用し、３４番イントラ予測モードに対しては水平方向モードに対する入力データ整列方式を使用するためである。入力データをトランスポーズすることは、２次元ブロックデータＭ×Ｎに対して行が列になり、列が行になってＮ×Ｍデータを構成することを意味する。１８番イントラ予測モードと５０番イントラ予測モードは、各々、水平イントラ予測モード（ｈｏｒｉｚｏｎｔａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）、垂直イントラ予測モード（ｖｅｒｔｉｃａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）を示し、２番イントラ予測モードは、左側参照ピクセルを有して右上向方向に予測するため、右上向対角イントラ予測モードと呼ばれることができ、同じ脈絡で、３４番イントラ予測モードは右下向対角イントラ予測モードと呼ばれ、６６番イントラ予測モードは左下向対角イントラ予測モードと呼ばれることができる。
一例によって、イントラ予測モードによって４個の変換セットのマッピング（ｍａｐｐｉｎｇ）は、例えば、以下の表のように示される。
Figure 2022544176000011
表２のように、イントラ予測モードによって、４個の変換セットのうちいずれか一つ、即ち、ｌｆｎｓｔＴｒＳｅｔＩｄｘが０から３、即ち、４個のうちいずれか一つにマッピングされることができる。
一方、非分離変換に特定セットが使われると決定される場合、非分離２次変換インデックスを介して前記特定セット内のｋ個の変換カーネルの中から一つが選択されることができる。エンコーディング装置は、ＲＤ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）チェックに基づいて特定変換カーネルを指す非分離２次変換インデックスを導出することができ、前記非分離２次変換インデックスをデコーディング装置にシグナリングできる。デコーディング装置は、前記非分離２次変換インデックスに基づいて特定セット内のｋ個の変換カーネルの中から一つを選択することができる。例えば、ｌｆｎｓｔインデックス値０は、１番目の非分離２次変換カーネルを指すことができ、ｌｆｎｓｔインデックス値１は、２番目の非分離２次変換カーネルを指すことができ、ｌｆｎｓｔインデックス値２は、３番目の非分離２次変換カーネルを指すことができる。または、ｌｆｎｓｔインデックス値０は、対象ブロックに対して１番目の非分離２次変換が適用されないことを指すことができ、ｌｆｎｓｔインデックス値１乃至３は、前記３個の変換カーネルを指すことができる。
変換部は、選択された変換カーネルに基づいて前記非分離２次変換を実行して修正された（２次）変換係数を取得することができる。前記修正された変換係数は、前述したように、量子化部を介して量子化された変換係数として導出されることができ、エンコーディングされてデコーディング装置にシグナリング及びエンコーディング装置内の逆量子化／逆変換部に伝達されることができる。
一方、前述したように、２次変換が省略される場合、前記１次（分離）変換の出力である（１次）変換係数が、前述したように、量子化部を介して量子化された変換係数として導出されることができ、エンコーディングされてデコーディング装置にシグナリング及びエンコーディング装置内の逆量子化／逆変換部に伝達されることができる。
逆変換部は、前述した変換部で実行された手順の逆順に一連の手順を実行することができる。逆変換部は、（逆量子化された）変換係数を受信し、２次（逆）変換を実行して（１次）変換係数を導出し（Ｓ５５０）、前記（１次）変換係数に対して１次（逆）変換を実行してレジデュアルブロック（レジデュアルサンプルら）を取得することができる（Ｓ５６０）。ここで、前記１次変換係数は、逆変換部立場で修正された（ｍｏｄｉｆｉｅｄ）変換係数と呼ばれることができる。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロックと予測されたブロックとに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成することができることは、前述の通りである。
一方、デコーディング装置は、２次逆変換適用可否決定部（または、２次逆変換の適用可否を決定する要素）と、２次逆変換決定部（または、２次逆変換を決定する要素）をさらに含むことができる。２次逆変換適用可否決定部は、２次逆変換の適用可否を決定することができる。例えば、２次逆変換は、ＮＳＳＴ、ＲＳＴまたはＬＦＮＳＴであり、２次逆変換適用可否決定部は、ビットストリームからパーシングした２次変換フラグに基づいて２次逆変換の適用可否を決定することができる。他の一例として、２次逆変換適用可否決定部は、レジデュアルブロックの変換係数に基づいて２次逆変換の適用可否を決定することもできる。
２次逆変換決定部は、２次逆変換を決定することができる。このとき、２次逆変換決定部は、イントラ予測モードによって指定されたＬＦＮＳＴ（ＮＳＳＴまたはＲＳＴ）変換セットに基づいて現在ブロックに適用される２次逆変換を決定することができる。また、一実施例として、１次変換決定方法に依存的に（ｄｅｐｅｎｄ ｏｎ）２次変換決定方法が決定されることができる。イントラ予測モードによって、１次変換と２次変換の多様な組み合わせが決定されることができる。また、一例として、２次逆変換決定部は、現在ブロックの大きさに基づいて２次逆変換が適用される領域を決定することもできる。
一方、前述したように、２次（逆）変換が省略される場合、（逆量子化された）変換係数を受信して前記１次（分離）逆変換を実行することでレジデュアルブロック（レジデュアルサンプル）を取得することができる。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロックと予測されたブロックに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成することができることは、前述の通りである。
一方、本文書では非分離２次変換による計算量とメモリ要求量の低減のために、ＮＳＳＴの概念で変換マトリクス（カーネル）の大きさが減少されたＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）を適用することができる。
一方、本文書で説明された変換カーネル、変換マトリクス、変換カーネルマトリクスを構成する係数、即ち、カーネル係数またはマトリクス係数は８ビットで表現されることができる。これはデコーディング装置及びエンコーディング装置で具現されるための一つの条件であり、既存の９ビットまたは１０ビットと比較して合理的に受け入れることができる性能低下と共に、変換カーネルを格納するためのメモリ要求量を減らすことができる。また、カーネルマトリクスを８ビットで表現することによって小さい掛け算器を使用することができ、最適のソフトウェア具現のために使われるＳＩＭＤ（Ｓｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ Ｍｕｌｔｉｐｌｅ Ｄａｔａ）命令にさらに適合できる。
本明細書において、ＲＳＴは、簡素化ファクタ（ｆａｃｔｏｒ）によって大きさが減少された変換マトリクス（ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて、対象ブロックに対するレジデュアルサンプルに対して実行される変換を意味することができる。簡素化変換を実行する場合、変換マトリクスの大きさ減少によって変換時に要求される演算量が減少されることができる。即ち、ＲＳＴは、大きさが大きいブロックの変換または非分離変換時に発生する演算複雑度（ｃｏｍｐｌｅｘｉｔｙ）問題を解消するために利用されることができる。
ＲＳＴは、減少された変換、減少変換、ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ、ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ｒｅｄｕｃｔｉｏｎ ｔｒａｎｓｆｏｒｍ、ｓｉｍｐｌｉｆｉｅｄ ｔｒａｎｓｆｏｒｍ、ｓｉｍｐｌｅ ｔｒａｎｓｆｏｒｍなど、多様な用語で呼ばれることができ、ＲＳＴと呼ばれる名称は、羅列された例示に限定されるものではない。または、ＲＳＴは、主に変換ブロックで０でない係数を含む低周波領域で行われるため、ＬＦＮＳＴ（Ｌｏｗ－Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）と呼ばれることもできる。前記変換インデックスは、ＬＦＮＳＴインデックスと命名されることができる。
一方、２次逆変換がＲＳＴに基づいて行われる場合、エンコーディング装置２００の逆変換部２３５とデコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴに基づいて修正された変換係数を導出する逆ＲＳＴ部と、修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出する逆１次変換部と、を含むことができる。逆１次変換は、レジデュアルに適用された１次変換の逆変換を意味する。本文書で変換に基づいて変換係数を導出することは、該当変換を適用して変換係数を導出するのを意味することができる。
図７は、本文書の一実施例に係るＲＳＴを説明するための図である。
本明細書において、「対象ブロック」は、コーディングが実行される現在ブロックまたはレジデュアルブロックまたは変換ブロックを意味することができる。
一実施例に係るＲＳＴで、Ｎ次元ベクトル（Ｎ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）が異なる空間に位置したＲ次元ベクトル（Ｒ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）にマッピングされて減少された変換マトリクスが決定されることができ、ここで、Ｒは、Ｎより小さい。Ｎは、変換が適用されるブロックの一辺の長さ（ｌｅｎｇｔｈ）の自乗または変換が適用されるブロックと対応される変換係数の総個数を意味することができ、簡素化ファクタは、Ｒ／Ｎ値を意味することができる。簡素化ファクタは、減少されたファクタ、減少ファクタ、ｒｅｄｕｃｅｄ ｆａｃｔｏｒ、ｒｅｄｕｃｔｉｏｎ ｆａｃｔｏｒ、ｓｉｍｐｌｉｆｉｅｄ ｆａｃｔｏｒ、ｓｉｍｐｌｅ ｆａｃｔｏｒなど、多様な用語で呼ばれることができる。一方、Ｒは、簡素化係数（ｒｅｄｕｃｅｄ ｃｏｅｆｆｉｃｉｅｎｔ）と呼ばれることができるが、場合によっては、簡素化ファクタがＲを意味することもできる。また、場合によって、簡素化ファクタは、Ｎ／Ｒ値を意味することもできる。
一実施例において、簡素化ファクタまたは簡素化係数は、ビットストリームを介してシグナリングされることができるが、実施例がこれに限定されるものではない。例えば、簡素化ファクタまたは簡素化係数に対する既定義された値が各エンコーディング装置２００及びデコーディング装置３００に格納されている場合があり、この場合、簡素化ファクタまたは簡素化係数は、別途にシグナリングされない。
一実施例に係る簡素化変換マトリクスのサイズは、通常の変換マトリクスのサイズＮ×Ｎより小さいＲ×Ｎであり、以下の数式４のように定義されることができる。
Figure 2022544176000012
図７の（ａ）に示すＲｅｄｕｃｅｄ Ｔｒａｎｓｆｏｒｍブロック内のマトリクスＴは、数式４のマトリクスＴＲ×Ｎを意味することができる。図７の（ａ）のように、対象ブロックに対するレジデュアルサンプルに対して簡素化変換マトリクスＴＲ×Ｎが掛けられる場合、対象ブロックに対する変換係数が導出されることができる。
一実施例において、変換が適用されるブロックのサイズが８×８であり、Ｒ＝１６（即ち、Ｒ／Ｎ＝１６／６４＝１／４）である場合、図７の（ａ）によるＲＳＴは、以下の数式５のような行列演算で表現されることができる。この場合、メモリと掛け演算が簡素化ファクタにより概略１／４に減少できる。
本文書において、行列演算とは、行列を列ベクトルの左側に置いて行列と列ベクトルをかけて列ベクトルを得る演算と理解されることができる。
Figure 2022544176000013
数式５において、ｒ１乃至ｒ６４は、対象ブロックに対するレジデュアルサンプルを示すことができ、より具体的に、１次変換を適用して生成された変換係数である。数式５の演算結果、対象ブロックに対する変換係数ｃｉが導出されることができ、ｃｉの導出過程は、数式６の通りである。
Figure 2022544176000014
数式６の演算結果、対象ブロックに対する変換係数ｃ１乃至ｃＲが導出されることができる。即ち、Ｒ＝１６である場合、対象ブロックに対する変換係数ｃ１乃至ｃ１６が導出されることができる。もし、ＲＳＴではなく通常の（ｒｅｇｕｌａｒ）変換が適用されてサイズが６４×６４（Ｎ×Ｎ）である変換マトリクスが、サイズが６４×１（Ｎ×１）であるレジデュアルサンプルに掛けられた場合、対象ブロックに対する変換係数が６４個（Ｎ個）が導出されるが、ＲＳＴが適用されたため、対象ブロックに対する変換係数が１６個（Ｒ個）のみ導出される。対象ブロックに対する変換係数の総個数がＮ個からＲ個に減少してエンコーディング装置２００がデコーディング装置３００に送信するデータの量が減少するため、エンコーディング装置２００－デコーディング装置３００間の送信効率が増加できる。
変換マトリクスのサイズ観点で検討すると、通常の変換マトリクスのサイズは６４×６４（Ｎ×Ｎ）であり、簡素化変換マトリクスのサイズは１６×６４（Ｒ×Ｎ）に減少するため、通常の変換を実行する時と比較すると、ＲＳＴを実行する時にメモリ使用をＲ／Ｎ割合に減少させることができる。また、通常の変換マトリクスを利用する時の掛け算演算数Ｎ×Ｎと比較すると、簡素化変換マトリクスを利用する場合、掛け算演算数をＲ／Ｎ割合に減少（Ｒ×Ｎ）させることができる。
一実施例において、エンコーディング装置２００の変換部２３２は、対象ブロックに対するレジデュアルサンプルを１次変換及びＲＳＴベースの２次変換を実行することによって対象ブロックに対する変換係数を導出することができる。このような変換係数は、デコーディング装置３００の逆変換部に伝達されることができ、デコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて修正された変換係数を導出し、修正された変換係数に対する逆１次変換に基づいて対象ブロックに対するレジデュアルサンプルを導出することができる。
一実施例に係る逆ＲＳＴマトリクスＴＮ×Ｒのサイズは、通常の逆変換マトリクスのサイズＮ×Ｎより小さいＮ×Ｒであり、数式４に示す簡素化変換マトリクスＴＲ×Ｎとトランスポーズ（ｔｒａｎｓｐｏｓｅ）関係にある。
図７の（ｂ）に示すＲｅｄｕｃｅｄ Ｉｎｖ．Ｔｒａｎｓｆｏｒｍブロック内のマトリクスＴｔは、逆ＲＳＴマトリクスＴＲ×Ｎ Ｔを意味することができる（上付き文字Ｔは、トランスポーズを意味する）。図７の（ｂ）のように、対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴＲ×Ｎ Ｔが掛けられる場合、対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルが導出されることができる。逆ＲＳＴマトリクスＴＲ×Ｎ Ｔは、（ＴＲ×Ｎ）Ｔ Ｎ×Ｒで表現することもできる。
より具体的に、２次逆変換として逆ＲＳＴが適用される場合には、対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴＲ×Ｎ Ｔが掛けられると、対象ブロックに対する修正された変換係数が導出されることができる。一方、逆１次変換として逆ＲＳＴが適用されることができ、この場合、対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴＲ×Ｎ Ｔが掛けられると、対象ブロックに対するレジデュアルサンプルが導出されることができる。
一実施例において、逆変換が適用されるブロックのサイズが８×８であり、Ｒ＝１６（即ち、Ｒ／Ｎ＝１６／６４＝１／４である場合）である場合、図７の（ｂ）によるＲＳＴは、以下の数式７のような行列演算で表現されることができる。
Figure 2022544176000015
数式７において、ｃ１乃至ｃ１６は、対象ブロックに対する変換係数を示すことができる。数式７の演算結果、対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルを示すｒｉが導出されることができ、ｒｉの導出過程は、数式８の通りである。
Figure 2022544176000016
数式８の演算結果、対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルを示すｒ１乃至ｒＮが導出されることができる。逆変換マトリクスのサイズ観点で検討すると、通常の逆変換マトリクスのサイズは６４×６４（Ｎ×Ｎ）であり、簡素化逆変換マトリクスのサイズは６４×１６（Ｎ×Ｒ）に減少するため、通常の逆変換を実行する時と比較すると、逆ＲＳＴを実行する時にメモリ使用をＲ／Ｎ割合に減少させることができる。また、通常の逆変換マトリクスを利用する時の掛け算演算数Ｎ×Ｎと比較すると、簡素化逆変換マトリクスを利用する場合、掛け算演算数をＲ／Ｎ割合に減少（Ｎ×Ｒ）させることができる。
一方、８×８ ＲＳＴに対しても、表２のような変換セット構成を適用することができる。即ち、表２での変換セットによって該当８×８ ＲＳＴが適用されることができる。一つの変換セットは、画面内の予測モードによって２個または３個の変換（カーネル）で構成されているため、２次変換を適用しないとまで含んで最大４個の変換の中から一つを選択するように構成されることができる。２次変換を適用しない時の変換は、恒等行列が適用されたと見なされることができる。４個の変換に対して各々０、１、２、３のインデックスを付与するとした時（例えば、０番インデックスを恒等行列、即ち、２次変換を適用しない場合で割り当てることができる）、変換インデックスまたはｌｆｎｓｔインデックスというシンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を変換係数ブロック毎にシグナリングして適用される変換を指定することができる。即ち、変換インデックスを介して８×８左上端ブロックに対して、ＲＳＴ構成では８×８ ＲＳＴを指定することができ、またはＬＦＮＳＴが適用される場合、８×８ ｌｆｎｓｔを指定することができる。８×８ ｌｆｎｓｔ及び８×８ ＲＳＴは、変換の対象になる対象ブロックのＷとＨが両方とも８より大きいまたは同じ時、該当変換係数ブロック内部に含まれている８×８領域に適用されることができる変換を指し、該当８×８領域は、該当変換係数ブロック内部の左上端８×８領域である。同様に、４×４ ｌｆｎｓｔ及び４×４ ＲＳＴは、対象ブロックのＷとＨが両方とも４より大きいまたは同じ時、該当変換係数ブロック内部に含まれている４×４領域に適用されることができる変換を指し、該当４×４領域は該当変換係数ブロック内部の左上端４×４領域である。
一方、本文書の一実施例によって、エンコーディング過程の変換で、８×８領域を構成する６４個のデータに対して１６×６４変換カーネルマトリクスでない、４８個のデータのみを選択して最大１６×４８変換カーネルマトリクスを適用することができる。ここで、「最大」とは、ｍ個の係数を生成することができるｍ×４８変換カーネルマトリクスに対してｍの最大値が１６であることを意味する。即ち、８×８領域にｍ×４８変換カーネルマトリクス（ｍ≦１６）を適用してＲＳＴを実行する場合、４８個のデータの入力を受けてｍ個の係数を生成することができる。ｍが１６である場合、４８個のデータの入力を受けて１６個の係数を生成する。即ち、４８個のデータが４８×１ベクトルをなすとした時、１６×４８行列と４８×１ベクトルをじゅんにかけて１６×１ベクトルが生成されることができる。このとき、８×８領域をなす４８個のデータを適切に配列して４８×１ベクトルを構成することができる。例えば、８×８領域のうち右下端４×４領域を除外した領域を構成する４８個のデータに基づいて４８×１ベクトルを構成することができる。このとき、最大１６×４８変換カーネルマトリクスを適用して行列演算を実行すると、１６個の修正された変換係数が生成され、１６個の修正された変換係数は、スキャニング順序によって左上端４×４領域に配置されることができ、右上端４×４領域と左下端４×４領域は、０で満たされることができる。
デコーディング過程の逆変換には前記叙述された変換カーネルマトリクスのトランスポーズされたマトリクスが使われることができる。即ち、デコーディング装置で実行される逆変換過程として逆ＲＳＴまたはＬＦＮＳＴが実行される場合、逆ＲＳＴを適用する入力係数データは、所定の配列順序によって１次元ベクトルで構成され、１次元ベクトルに該当逆ＲＳＴ行列を左側でかけて得られた修正された係数ベクトルを所定の配列順序によって２次元ブロックに配列されることができる。
整理すると、変換過程で、８×８領域にＲＳＴまたはＬＦＮＳＴが適用される場合、８×８領域の変換係数のうち、８×８領域の右下端領域を除外した左上端、右上端、左下端領域の４８個変換係数と１６×４８の変換カーネルマトリクスとの行列演算が実行される。行列演算のために、４８個の変換係数は、１次元配列で入力される。このような行列演算が実行されると、１６個の修正された変換係数が導出され、修正された変換係数は、８×８領域の左上端領域に配列されることができる。
逆に、逆変換過程で、８×８領域に逆ＲＳＴまたはＬＦＮＳＴが適用される場合、８×８領域の変換係数のうち８×８領域の左上端に対応する１６個の変換係数は、スキャニング順序によって１次元配列形態で入力されて４８×１６の変換カーネルマトリクスと行列演算されることができる。即ち、このような場合の行列演算は、（４８×１６行列）＊（１６×１変換係数ベクトル）＝（４８×１修正された変換係数ベクトル）で表すことができる。ここで、ｎ×１ベクトルは、ｎ×１行列のような意味で解釈されることができるため、ｎ×１列ベクトルで表記されることもできる。また、＊は、行列掛け算演算を意味する。このような行列演算が実行される場合、４８個の修正された変換係数が導出されることができ、４８個の修正された変換係数は、８×８領域の右下端領域を除外した左上端、右上端、左下端領域に配列されることができる。
一方、２次逆変換がＲＳＴに基づいて行われる場合、エンコーディング装置２００の逆変換部２３５とデコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴに基づいて修正された変換係数を導出する逆ＲＳＴ部と、修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出する逆１次変換部と、を含むことができる。逆１次変換は、レジデュアルに適用された１次変換の逆変換を意味する。本文書において、変換に基づいて変換係数を導出することは、該当変換を適用して変換係数を導出することを意味することができる。
一方、以下では減少された多重変換技法（Ｒｅｄｕｃｅｄ ａｄａｐｔｉｖｅ ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｉｏｎ（ｏｒ ｓｅｔ）、ＲＭＴＳ）に対して説明する。
前述したように、多重変換技法（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｔ ｏｒ Ａｄａｐｔｉｖｅ ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ）で多様な変換（ＤＣＴ２、ＤＳＴ７、ＤＣＴ８、ＤＳＴ１、ＤＣＴ５等）の組み合わせが選択的に１次変換に使われる場合、複雑度減少のために全ての場合に対して変換を実行するものではなく、あらかじめ定義された領域に対してのみ変換を適用することによって、最悪の場合に対する複雑度を著しく減少させることができる。
例えば、既に言及された減少された変換（Ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ、ＲＴ）の方法に基づいて、Ｍ×Ｍ大きさの画素ブロックに対して１次変換を適用した場合、Ｍ×Ｍ大きさの変換ブロックを得る代わりに、Ｒ×Ｒブロックの（Ｍ>＝Ｒ）変換ブロックに対する計算のみを実行することができる。結果的に、Ｒ×Ｒ領域に対してのみ有効な係数（ｎｏｎ－ｚｅｒｏ ｃｏｅｆｆｉｃｉｅｎｔｓ）が存在するようになり、その他の領域に存在する変換係数に対しては計算を実行せずにゼロ（ｚｅｒｏ）値と見なすことができる。以下の表は、１次変換が適用されるブロックの大きさ別にあらかじめ定義された簡素化ファクタ（ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ ｆａｃｔｏｒ、Ｒ）値を使用する減少された適応的多重変換（ｒｅｄｕｃｅｄ ａｄａｐｔｉｖｅ ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ、ＲＡＭＴ）の三つの例を示している。
Figure 2022544176000017
また、一例によると、前記のように減少された多重変換技法を適用するにあたって、簡素化ファクタが該当１次変換に基づいて決定されることができる。例えば、１次変換がＤＣＴ２である場合、他の１次変換に比べて計算量が比較的簡単であるため、少ないブロックに対しては減少された変換を使用しない、または相対的に大きいＲ値を使用することによって、符号化性能の減少を最小化することができる。例えば、ＤＣＴ２の場合とその他の変換である場合、以下のように他の簡素化ファクタを使用することができる。
Figure 2022544176000018
表４に示すように、１次変換がＤＣＴ２である場合、変換の対象であるブロックの大きさが８×８、１６×１６以上であると、変換大きさが変更されなく、３２×３２以上であると、減少された変換大きさが３２×３２に制限される。
または、一例によると、ＭＴＳが適用されるかどうかを指示するフラグ値が０である場合（即ち、横方向と縦方向に対して両方ともＤＣＴ－２変換が適用される場合）、二つの方向（ｈｏｒｉｚｏｎｔａｌまたはｖｅｒｔｉｃａｌ）に対して左側及び上側から３２個の係数のみを残し、高周波成分は、ゼロアウト（ｚｅｒｏ－ｏｕｔ）するように、即ち、０に設定するように構成されることができる（ゼロアウト実施例１）。
例えば、６４×６４変換ユニット（ＴＵ）の場合、左上端３２×３２領域にのみ変換係数が余るようになり、６４×１６ＴＵの場合、左上端３２×１６領域にのみ変換係数が余るようになり、８×６４ＴＵの場合、左上端８×３２領域にのみ変換係数が余るようになる。即ち、横と縦の両方とも最大長さ３２ほどまで変換係数が存在するようになる。
このようなゼロアウト方法は、イントラ予測が適用された残差信号にのみ適用されることもでき、インター予測が適用された残差信号にのみ適用されることもできる。または、イントラ予測が適用された残差信号とインター予測が適用された残差信号の両方ともに適用されることもできる。
前述されたゼロアウトまたは高周波ゼロイング（ｈｉｇｈ ｆｒｅｑｕｅｎｃｙ ｚｅｒｏｉｎｇ）で表現されることができる変換ブロック大きさの変更は、第１の横大きさ（または、長さ）Ｗ１、第１の縦大きさ（または、長さ）Ｈ１を有する（変換）ブロックで一定値以上に高い周波数と関連した変換係数をゼロ化（即ち、０に決定）する過程を意味する。高周波ゼロイングが適用される場合、前記（変換）ブロック内の変換係数のうち第２の横大きさＷ２及び第２の縦大きさＨ２に基づいて構成される低周波変換係数領域の外部の変換係数の変換係数値は、全て０に決定（設定）されることができる。前記低周波変換係数領域の外部は、高周波変換係数領域と呼ばれることができる。一例示において、前記低周波変換係数領域は、前記（変換）ブロックの左上端から位置する長方形もようの領域である。
即ち、高周波ゼロイングは、現在ＴＢ（ｔｒａｎｓｆｏｒｍ ｂｌｏｃｋ）の左上端位置に対する横方向ｘ座標値を０とし、縦方向ｙ座標値を０とした時（そして、ｘ座標は左側から右側へ増加し、ｙ座標は上側から下側へ増加する時）、ｘ座標がｗ以上、またはｙ座標がｈ以上である位置に対する変換係数値を全て０に設定することを高周波ゼロイングに定義することができる。
本文書では特定情報または概念を定義するための特定用語または文章を使用している。例えば、前述したように、本明細書では第１の横大きさ（または、長さ）Ｗ１、第１の縦大きさ（または、長さ）Ｈ１を有する（変換）ブロックで一定値以上の周波数に対応される変換係数をゼロ化する過程を「高周波ゼロイング」に定義しており、前記高周波ゼロイングを介してゼロイングが実行された領域を「高周波変換係数領域」に定義し、前記ゼロイングが実行されない領域を「低周波変換係数領域」に定義している。前記低周波変換係数領域のサイズを示すために、第２の横大きさ（または、長さ）Ｗ２と第２の縦大きさ（または、長さ）Ｈ２が使われている。
しかし、「高周波ゼロイング」は、ｈｉｇｈｆｒｅｑｕｅｎｃｙ ｚｅｒｏｉｎｇ、ハイフリークエンシーゼロイング、高周波ゼロ化、高周波ゼロアウト（ｈｉｇｈｆｒｅｑｕｅｎｃｙ ｚｅｒｏ－ｏｕｔ）、ゼロアウトなど、多様な用語に代替されることができ、前記「高周波変換係数領域」は、高周波ゼロイング適用領域、高周波ゼロイング領域、ハイフリークエンシー領域、高周波係数領域、高周波ゼロアウト領域など、多様な用語に代替されることができ、前記「低周波変換係数領域」は、高周波ゼロイング未適用領域、ローフリークエンシー領域、低周波係数領域、制限領域、ゼロアウト領域など、多様な用語に代替されることができ、本明細書で特定情報または概念を定義するために使われた特定用語または文章を明細書の全般で解釈するにあたって、その名称に限定された解釈をしてはならず、前記用語が表現しようとする内容による多様な動作、機能及び効果に注目して解釈する必要がある。
または、一例によって、低周波変換係数領域は、高周波ゼロイングが実行されて残った領域、有効変換係数が残っている領域、即ち、０でない変換係数存在可能領域であって、これをゼロアウト領域またはゼロアウトブロックと命名することができる。
一方、一例によって、ＭＴＳが適用されるかどうかを指示するフラグ値が１である場合に対して、即ち、横方向と縦方向に対してＤＣＴ－２以外の他の変換（ＤＳＴ－７またはＤＣＴ－８）が適用されることができる場合、下記のように一部左上端領域にのみ変換係数を残して、残りの領域はゼロアウトできる（ゼロアウト実施例２）。
－幅（ｗ）が２ｎより大きいまたは同じ場合、左側からｗ／２ｐ長さほどに対してのみ変換係数を残して、残りは０値に固定（ｚｅｒｏ－ｏｕｔ）させることができる。
－高さ（ｈ）が２ｍより大きいまたは同じ場合、上側からｈ／２ｑ長さほどに対してのみ変換係数を残して、残りは０値に固定（ｚｅｒｏ－ｏｕｔ）させることができる。
このとき、ｍ、ｎ、ｐ、ｑ値は、０より大きいまたは同じ整数であって、具体的に下記の通りである。
１）（ｍ、ｎ、ｐ、ｑ）＝（５、５、１、１）
２）（ｍ、ｎ、ｐ、ｑ）＝（４、４、１、１）
前記１）構成の場合、３２×１６ＴＵに対しては左上端１６×１６領域にのみ変換係数が余るようになり、８×３２ＴＵに対しては左上端８×１６領域にのみ変換係数が余るようになる。
このようなゼロアウト方法は、イントラ予測が適用された残差信号にのみ適用されることもでき、インター予測が適用された残差信号にのみ適用されることもできる。または、イントラ予測が適用された残差信号とインター予測が適用された残差信号の両方ともに適用されることもできる。
または、他の例によって、ＭＴＳが適用されるかどうかを指示するフラグ値が１である場合に対して、即ち、横方向と縦方向に対してＤＣＴ－２以外の他の変換（ＤＳＴ－７またはＤＣＴ－８）が適用されることができる場合、下記のように一部左上端領域にのみ変換係数を残して、残りの領域はゼロアウトできる（ゼロアウト実施例３）。
－高さ（ｈ）が幅（ｗ）より大きいまたは同じ、高さが２ｎより大きいまたは同じ場合、左上端ｗ×（ｈ／２ｐ）領域のみ変換係数を残して、残りの領域に対しては０値に固定（ｚｅｒｏ－ｏｕｔ）させることができる。
－幅（ｗ）が高さ（ｈ）より大きい、幅が２ｍより大きいまたは同じ場合、左上端（ｗ／２ｑ）×ｈ領域のみ変換係数を残して、残りの領域に対しては０値に固定（ｚｅｒｏ－ｏｕｔ）させることができる。
前記条件で高さ（ｈ）と幅（ｗ）が同じ場合に対しては縦方向を減らすことと（ｈ／２ｐ）されているが、横方向を減らすように（ｗ／２ｑ）設定することもできる。
このとき、ｍ、ｎ、ｐ、ｑ値は、０より大きいまたは同じ整数であり、具体的に下記のの通りである。
１）（ｍ、ｎ、ｐ、ｑ）＝（４、４、１、１）
２）（ｍ、ｎ、ｐ、ｑ）＝（５、５、１、１）
前記１）構成の場合、３２×１６ＴＵに対しては左上端１６×１６領域にのみ変換係数が余るようになり、８×１６ＴＵに対しては左上端８×８領域にのみ変換係数が余るようになる。
このようなゼロアウト方法は、イントラ予測が適用された残差信号にのみ適用されることもでき、インター予測が適用された残差信号にのみ適用されることもできる。または、イントラ予測が適用された残差信号とインター予測が適用された残差信号の両方ともに適用されることもできる。
前述された実施例ではＭＴＳが適用されるかどうかを指示するフラグ値が０であり、またはＭＴＳが適用されるかどうかを指示するフラグ値が１である場合に対して、変換係数領域を制限している。一例によると、これらの組み合わせが可能である。
１）ゼロアウト実施例１＋ゼロアウト実施例２
２）ゼロアウト実施例１＋ゼロアウト実施例３
ゼロアウト実施例２とゼロアウト実施例３でも言及したように、ゼロアウト方法は、イントラ予測が適用された残差信号にのみ適用されることもでき、インター予測が適用された残差信号にのみ適用されることもできる。または、イントラ予測が適用された残差信号とインター予測が適用された残差信号の両方ともに適用されることもできる。したがって、ＭＴＳフラグが１である場合に対して以下の表のような構成が可能である（ＭＴＳフラグが０である場合に対してはゼロアウト実施例１を適用することができる）。このとき、ＭＴＳフラグは、ＭＴＳに対する変換カーネルを指示するＭＴＳインデックスで具現されることもできる。例えば、ＭＴＳインデックスが０である場合、ゼロアウト実施例１が適用されることを指示することができる。
Figure 2022544176000019
ゼロアウト実施例１、ゼロアウト実施例２、及びゼロアウト実施例３ではＴＵ内で０値を有する領域が明確に決められる。即ち、変換係数存在が許諾される左上端領域を除いて残りは０値にゼロアウトされる。したがって、一実施例によると、レジデュアル信号に対するエントロピーコーディング時、変換係数が０値を有することが確実な領域に対してはレジデュアルコーディングを実行せずにバイパスするように構成されることができる。例えば、下記のような構成が可能である。
１）ＨＥＶＣやＶＶＣ標準では一つのＣＧ（Ｃｏｅｆｆｉｃｉｅｎｔ Ｇｒｏｕｐ、サブブロック、ＴＵブロックもようとルマ成分／クロマ成分であるかによって、４×４または２×２ブロックになることができる）内に０でない変換係数が存在するかを示すフラグをコーディングするようになる（ｓｕｂｂｌｏｃｋ＿ｆｌａｇ）。ｓｕｂｂｌｏｃｋ＿ｆｌａｇが１である場合に限って、該当ＣＧ内部がスキャンされて係数レベル値がコーディングされる。したがって、０値にゼロアウトされる領域に属するＣＧに対してはｓｕｂｂｌｏｃｋ＿ｆｌａｇコーディングされずにデフォルトで０値に設定されることができる。
２）ＨＥＶＣやＶＶＣ標準では順方向スキャン順序内最も最後に位置する係数の位置（Ｘ方向位置であるｌａｓｔ＿ｃｏｅｆｆｉｃｉｅｎｔ＿ｐｏｓｉｔｉｏｎ＿ｘとＹ方向位置であるｌａｓｔ＿ｃｏｅｆｆｉｃｉｅｎｔ＿ｐｏｓｉｔｉｏｎ＿ｙ）を先にコーディングするようになる。普通ｌａｓｔ＿ｃｏｅｆｆｉｃｉｅｎｔ＿ｐｏｓｉｔｉｏｎ＿ｘとｌａｓｔ＿ｃｏｅｆｆｉｃｉｅｎｔ＿ｐｏｓｉｔｉｏｎ＿ｙが有することができる値の最大値は、各々、ＴＵの（幅－１）と（高さ－１）値になるが、前記ゼロアウトにより０でない係数が存在できる領域が制限される場合、ｌａｓｔ＿ｃｏｅｆｆｉｃｉｅｎｔ＿ｐｏｓｉｔｉｏｎ＿ｘとｌａｓｔ＿ｃｏｅｆｆｉｃｉｅｎｔ＿ｐｏｓｉｔｉｏｎ＿ｙが有することができる値の最大値も共に制限される。したがって、ｌａｓｔ＿ｃｏｅｆｆｉｃｉｅｎｔ＿ｐｏｓｉｔｉｏｎ＿ｘとｌａｓｔ＿ｃｏｅｆｆｉｃｉｅｎｔ＿ｐｏｓｉｔｉｏｎ＿ｙが有することができる最大値をゼロアウトを考慮して制限した後にコーディングできる。例えば、ｌａｓｔ＿ｃｏｅｆｆｉｃｉｅｎｔ＿ｐｏｓｉｔｉｏｎ＿ｘとｌａｓｔ＿ｃｏｅｆｆｉｃｉｅｎｔ＿ｐｏｓｉｔｉｏｎ＿ｙに適用される二進化方法がトランケイテッドユナリ（ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ）である場合、トランケイテッドユナリコードの最大長さ（ｌａｓｔ＿ｃｏｅｆｆｉｃｉｅｎｔ＿ｐｏｓｉｔｉｏｎ＿ｘとｌａｓｔ＿ｃｏｅｆｆｉｃｉｅｎｔ＿ｐｏｓｉｔｉｏｎ＿ｙが有することができるコードワード長さ）を調整された最大値に基づいて減らすことができる。
前記のように、ゼロアウトが適用される時、特に左上端１６×１６領域を低周波変換係数領域とする場合（以下、３２ｐｏｉｎｔ Ｒｅｄｕｃｅｄ ＭＴＳまたはＲＭＴＳ３２と命名することができる。）、ＭＴＳ技法が適用される場合だけでなく、３２－ｐｏｉｎｔＤＳＴ－７または３２－ｐｏｉｎｔＤＣＴ－８が適用される全ての場合に適用されることができる。
図８は、本文書の一例に係るサブブロック変換に適用されるＭＴＳを説明するための図である。
一例によって、コーディングユニットがサブブロックに分割されて変換過程が実行されるサブブロック変換（ｓｕｂｂｌｏｃｋ ｔｒａｎｓｆｏｒｍ、ＳＢＴ）が適用されることができる。サブブロック変換は、インター予測を介して生成されたレジデュアル信号に適用されてサブブロック変換によりレジデュアル信号ブロックが二つの分割されたサブブロックに分けられてそのうち一つのサブブロックにのみ分離変換（ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）が適用される。サブブロックは、水平方向または垂直方向に分割されることができ、分割されたサブブロックの幅または高さは、コーディングユニットの１／２または１／４になることができる。サブブロック変換が適用される場合、二つに分割されたサブブロックのうちいずれか一つに対してのみ変換が実行されるため、変換が実行されたサブブロックにのみレジデュアルデータが存在し、残りの一つのサブブロックにはレジデュアルデータが存在しない。
変換が適用される該当サブブロックの場合、幅または高さのうちいずれか一つでも６４長さ以上になる場合は、水平方向と垂直方向の両方ともＤＣＴ－２が適用され、幅及び高さが両方とも３２以下以上であると、ＤＳＴ－７またはＤＣＴ－８が適用されることができる。したがって、ＳＢＴが適用される場合、変換が適用されるサブブロックの二辺の長さが全て３２以下である場合に対してのみ、ＲＭＴＳ３２を適用してゼロアウトを実行することができる。即ち、３２長さ以下のＤＳＴ－７またはＤＣＴ－８を各方向に（ｈｏｒｉｚｏｎｔａｌ方向とｖｅｒｔｉｃａｌ方向）適用して各行または列に対して最大１６個の変換係数を残すことができる。
図８のようにブロックが分割されてＡと表示された領域に対して変換が適用される場合、各辺に対してＤＳＴ－７またはＤＣＴ－８が適用されることができ、水平方向と垂直方向に適用される変換ペア（ｔｒａｎｓｆｏｒｍ ｐａｉｒ）は、図８に示す例示に限定されるものではない。図８において、全体ブロックの幅と高さは、各々、ｗとｈで表示されており、実際分離変換（ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）が適用されるブロックの幅と高さは、（幅、高さ）の対で表現した時、（ｗ１、ｈ）または（ｗ、ｈ１）になる。ｗ１は、ｗの１／２または１／４であり、ｈ１もｈの１／２または１／４である。
変換が適用されるブロックは、図８のように全体ブロック内で左側または右側乃至は上側または下側に位置できる。また、図８のブロックは、インター予測により生成された残差信号である。該当残差信号に対して、図８のように分割して片側サブブロックのみ変換を適用するかを示すフラグをシグナリングすることができ、該当フラグが１である時、図８のように縦方向分割であるかまたは横方向分割であるかを示すフラグもシグナリングを介して設定できる。
実際変換が適用されるブロックＡが全体ブロック内で左側または右側に位置するかを指すフラグまたは上側または下側に位置するかを指すフラグもシグナリングされることができる。
図８の例示のように、ＭＴＳシグナリングで水平方向の変換と垂直方向の変換が指定されずに、ある特定ブロックに対して水平方向の変換と垂直方向の変換が決められる場合、横方向と縦方向の各辺に対して長さが３２である場合、前記提案したＲＭＴＳ３２を各々適用できる。ＲＭＴＳ３２の場合、ゼロアウトになる領域に対してレジデュアルコーディングを省略するように構成でき、またはゼロアウトにならない領域のみをスキャニングしてレジデュアルコーディングを実行することもできる。
図９は、本文書の一例に係るサブブロック変換に適用された３２－ｐｏｉｎｔゼロアウトを示す図である。
図８のように分割されたサブブロックにＲＭＴＳ３２が適用されると、変換後レジデュアルデータが図９のように存在できる。即ち、図９は、サブブロック変換の適用によって分割されたブロックのうち変換が実行されるサブブロックに対してＲＭＴＳ３２が適用されることを示している。
実際変換が適用されるＡブロックの幅と高さは、元来変換ブロックの幅（ｗ）及び高さ（ｈ）に対して、各々、ｗ／２とｈ／２またはｗ／４とｈ／４になることができる。
整理すると、変換が適用されるどのようなブロックでも、水平方向と垂直方向の各方向に対して長さが３２であるＤＳＴ－７またはＤＣＴ－８が適用可能である場合、ＲＭＴＳ３２が適用されることができる。長さが３２であるＤＳＴ－７またはＤＣＴ－８が適用されるかどうかは、既設定されたシグナリングを介して決定されることもでき、決められたコーディング条件によってシグナリング無しで決定されることもできる。
一方、ＭＴＳが非活性化（ｄｉｓａｂｌｅ）される場合（例えば、ＶＶＣの場合、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）で「ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅ＿ｆｌａｇ」が０に設定される時、ＭＴＳが非活性化されることができる）、ＳＢＴが適用される時、表３に提示されたＤＳＴ７とＤＣＴ８の組み合わせが適用されるものではなく、水平方向と垂直方向の両方ともに対してＤＣＴ２が適用される。
したがって、ＭＴＳが非活性化される場合には、変換対象ブロックがサブブロックに分割されてもＲＭＴＳ３２が適用されないようにしなければならない。前述したように、ＭＴＳが適用されない場合、１次変換としてＤＳＴ７またはＤＣＴ８でないＤＣＴ２が適用され、ＤＣＴ２が適用される０でない変換係数が存在できる左上端ブロックは、幅及び高さが３２に縮小される高周波ゼロイングアウトが実行されることができる。即ち、逆ＤＣＴ－２が適用される０でない変換係数が存在できる左上端ブロックは、幅及び高さが３２に大きさが減少されることができるが、その以下にはゼロアウトされない。これはゼロアウトによるデータ損失を防止するためのことであって、逆ＤＣＴ２が適用される前記左上端ブロックは、幅または高さが１６に縮小されない。
もし、ＭＴＳが非活性化される場合、ＤＣＴ２が適用される分割されたサブブロックの幅または高さが１６に減らないように、これを明示的にチェックする過程が必要である。
一例によって、レジデュアルコーディングレベル（Ｒｅｓｉｄｕａｌ ｃｏｄｉｎｇ ｓｙｎｔａｘ）で「ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ」を判断することによって、ＳＢＴが適用される時、ＲＭＴＳ３２によるゼロアウトが実行されないように構成できる。
前記実施例が反映されたスペックテキストは、以下の表（表６乃至表１６）で表すことができる。
Figure 2022544176000020
Figure 2022544176000021
表６及び表７は、映像コーディングのためにシーケンスパラメータセットでシグナリングされる映像情報を含んでおり、変換と関連したフラグ情報を含んでいる。
ｓｐｓ＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、変換スキップが適用されるかどうか、即ち、変換ユニットに対するシンタックスに変換スキップフラグ（ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ）が存在できるかどうかを指示する。
ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ＭＴＳ、即ち、多重変換選択技法が明示的に使われることができるかどうかを示すフラグ情報であり、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１である場合、シーケンスパラメータセットシンタックス内のｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ及びｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在することを示す。
ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇのうちいずれか一つが１である場合、変換ユニットにＭＴＳが適用されることができることを示し、これは変換ユニットシンタックス内のｔｕ＿ｍｔｓ＿ｉｄｘが存在できるということを意味する。例えば、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ値が１であり、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ値が０である場合、イントラコーディングユニットに対して暗黙的ＭＴＳ（ｉｍｐｌｉｃｉｔ ＭＴＳ）が適用されることができる。
ｓｐｓ＿ｓｂｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、インター予測に対するコーディングユニットに対して前述したサブブロック変換が適用されることができるかどうかを指示するフラグ情報である。
ｓｐｓ＿ｓｂｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１である場合、サブブロック変換が許容される最大コーディングユニットの幅及び高さに対するｓｐｓ＿ｓｂｔ＿ｍａｘ＿ｓｉｚｅ＿６４＿ｆｌａｇがシグナリングされることができる。
ｓｐｓ＿ｓｂｔ＿ｍａｘ＿ｓｉｚｅ＿６４＿ｆｌａｇが０である場合、サブブロック変換が許容される最大コーディングユニットの幅及び高さは、３２であり、ｓｐｓ＿ｓｂｔ＿ｍａｘ＿ｓｉｚｅ＿６４＿ｆｌａｇが１である場合、サブブロック変換が許容される最大コーディングユニットの幅及び高さは、６４として導出される。
Figure 2022544176000022
表８は、ピクチャパラメータセット内でシグナリングされる変換関連情報を示す。ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２は、変換スキップが使われることができる最大ブロックサイズを導出するための情報であって、変換スキップが使われることができる最大ブロックサイズは、ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２に２を足した値の２の累乗（１<<（ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２＋２）として導出される。
Figure 2022544176000023
Figure 2022544176000024
表９及び表１０は、インター予測が適用されるコーディングユニットに対するシンタックス及びセマンティクスを示し、ＳＢＴが適用される分割もようは、表９の４個のシンタックスエレメントにより決定されることができる。
ｃｕ＿ｓｂｔ＿ｆｌａｇは、該当コーディングユニットに対してＳＢＴが適用されるかどうかを指し、ｃｕ＿ｓｂｔ＿ｑｕａｄ＿ｆｌａｇは、一つのコーディングユニットが二つの分割ブロックに分割される時、変換が適用されるブロックが全体ブロックの１／４であるかを示すフラグ情報である。ｃｕ＿ｓｂｔ＿ｑｕａｄ＿ｆｌａｇ値が０である場合、分割されたサブブロックは、コーディングユニットの幅または高さの１／２大きさを有し、ｃｕ＿ｓｂｔ＿ｑｕａｄ＿ｆｌａｇ値が１である場合、分割されるサブブロックは、コーディングユニットの幅または高さの１／４大きさを有する。コーディングユニットの幅をｗ、高さをｈとする時、分割ブロックの高さはｈ１＝（１／４）×ｈまたは幅はｗ１＝（１／４）×ｗである。
ｃｕ＿ｓｂｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇ値が１である場合、コーディングユニットは、横、即ち、水平方向に分割され、それに対して、ｃｕ＿ｓｂｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇ値が０である場合、コーディングユニットは、縦、即ち、垂直方向に分割されることを示す。
ｃｕ＿ｓｂｔ＿ｐｏｓ＿ｆｌａｇ値が０である場合、水平方向に分割されたサブブロックのうち上側のサブブロックに変換を適用し、垂直方向に分割されたサブブロックのうち左側サブブロックに変換を適用する。もし、ｃｕ＿ｓｂｔ＿ｐｏｓ＿ｆｌａｇは、ｆｌａｇ値が１である場合、水平方向に分割されたサブブロックのうち下側のサブブロックに変換を適用し、垂直方向に分割されたサブブロックのうち右側サブブロックに変換を適用する。
ｃｕ＿ｓｂｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇ及びｃｕ＿ｓｂｔ＿ｐｏｓ＿ｆｌａｇによるｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒを表で示すと、以下の通りである。
Figure 2022544176000025
前述したように、水平方向変換カーネルをｔｒＴｙｐｅＨｏｒで表し、垂直方向変換カーネルをｔｒＴｙｐｅＶｅｒで表す場合、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒ値０はＤＣＴ２に設定され、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒ値１はＤＳＴ７に設定され、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒ値２はＤＣＴ８に設定されることができる。したがって、変換が適用される該当分割ブロックの少なくとも一辺の長さが６４以上になると、水平方向と垂直方向の両方ともＤＣＴ－２が適用され、それともＤＳＴ－７またはＤＣＴ－８が適用されることができる。現在ブロックが分割されてサブブロックに変換が実行される場合、表１１のように暗黙的にＭＴＳが適用されることができる。
一方、サブブロックの幅及び高さの両方とも３２以下であるため、ＤＳＴ－７またはＤＣＴ－８が適用される場合、即ち、サブブロックにＭＴＳが適用されると、前述されたＲＭＴＳが適用されることができる。例えば、サブブロックの各方向に対して長さが３２である場合、３２長さのＤＳＴ－７またはＤＣＴ－８を適用して１６個の変換係数のみを残すことができる。
それに対して、サブブロックの幅または高さのうちいずれか一つでも６４以上であると、水平方向及び垂直方向の両方ともにＤＣＴ－２が適用され、各方向で対して前記ＲＭＴＳは適用されずに高周波ゼロアウトによって３２個の変換係数のみを残すことができる。
Figure 2022544176000026
表１２は、一例に係る変換ユニットのシンタックス及びセマンティクスの一部を示す。ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］は、変換ブロックに適用されるＭＴＳインデックスを示し、表１のようにＭＴＳインデックスによってｔｒＴｙｐｅＨｏｒとｔｒＴｙｐｅＶｅｒが決定されることができる。
他の例によって、ｍｔｓ＿ｉｄｘは、変換ユニットレベルでないコーディングユニットレベルでシグナリングされることができる。
Figure 2022544176000027
表１３は、一例に係るレジデュアルコーディングシンタックス及びセマンティクスの一部を示す。
表１３のシンタックス要素ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘ、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘ、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘ、及びｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｓｕｆｆｉｘは、変換ブロック内の最後の０でない変換係数の（ｘ、ｙ）位置情報を示す。より具体的に、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘは、変換ブロック内のスキャン順序（ｓｃａｎｎｉｎｇ ｏｒｄｅｒ）での最後の（ｌａｓｔ）有効係数（ｓｉｇｎｉｆｉｃａｎｔ ｃｏｅｆｆｉｃｉｅｎｔ）の列位置（ｃｏｌｕｍｎ ｐｏｓｉｔｉｏｎ）のプリフィクス（ｐｒｅｆｉｘ）を示し、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘは、前記変換ブロック内の前記スキャン順序（ｓｃａｎｎｉｎｇ ｏｒｄｅｒ）での最後の（ｌａｓｔ）有効係数（ｓｉｇｎｉｆｉｃａｎｔ ｃｏｅｆｆｉｃｉｅｎｔ）の行位置（ｒｏｗ ｐｏｓｉｔｉｏｎ）のプリフィクス（ｐｒｅｆｉｘ）を示し、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘは、前記変換ブロック内の前記スキャン順序（ｓｃａｎｎｉｎｇ ｏｒｄｅｒ）での最後の（ｌａｓｔ）有効係数（ｓｉｇｎｉｆｉｃａｎｔ ｃｏｅｆｆｉｃｉｅｎｔ）の列位置（ｃｏｌｕｍｎ ｐｏｓｉｔｉｏｎ）のサフィクス（ｓｕｆｆｉｘ）を示し、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｓｕｆｆｉｘは、前記変換ブロック内の前記スキャン順序（ｓｃａｎｎｉｎｇ ｏｒｄｅｒ）での最後の（ｌａｓｔ）有効係数（ｓｉｇｎｉｆｉｃａｎｔ ｃｏｅｆｆｉｃｉｅｎｔ）の行位置（ｒｏｗ ｐｏｓｉｔｉｏｎ）のサフィクス（ｓｕｆｆｉｘ）を示す。ここで、有効係数は、前記０でない係数を示すことができる。前記スキャン順序は、右上向対角スキャン順序である。または、前記スキャン順序は、水平スキャン順序、または垂直スキャン順序である。前記スキャン順序は、対象ブロック（ＣＢ、またはＴＢを含むＣＢ）にイントラ／インター予測が適用されるかどうか及び／または具体的なイントラ／インター予測モードに基づいて決定されることができる。
表１２のｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］に基づいて表１３のレジデュアルコーディングでゼロアウト領域が設定されることができる。
また、ｃｕ＿ｓｂｔ＿ｆｌａｇが１であり、変換が適用されるブロックの高さが３２以下（ｌｏｇ２ＴｂＨｅｉｇｈｔ<６）であり、幅が３２であり（ｌｏｇ２ＴｂＷｉｄｔｈ<６＆＆ｌｏｇ２ＴｂＷｉｄｔｈ>４）、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ値が１である場合、０でない変換係数が存在できる左上端領域の幅は、１６に設定される（ｌｏｇ２ＺｏＴｂＷｉｄｔｈ＝４）。同様に、ｃｕ＿ｓｂｔ＿ｆｌａｇが１であり、変換が適用されるブロックの幅が３２以下（ｌｏｇ２ＴｂＷｉｄｔｈ<６）であり、高さが３２であり（ｌｏｇ２ＴｂＨｅｉｇｈｔ<６＆＆ｌｏｇ２ＴｂＨｅｉｇｈｔ>４）、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ値が１である場合、０でない変換係数が存在できる左上端領域の高さは、１６に設定される（ｌｏｇ２ＺｏＴｂＨｅｉｇｈｔ＝４）。
変換が適用されるブロックは、元来変換ブロックまたは分割されたサブブロックである。
ここで、ｌｏｇ２ＺｏＴｂＷｉｄｔｈ及びｌｏｇ２ＺｏＴｂＨｅｉｇｈｔは、０でない係数が存在できる変換ブロック内の左上端領域の最大幅及び最大高さを示し、前記左上端領域を「縮小された変換ブロック」と命名できる。即ち、ｌｏｇ２ＺｏＴｂＷｉｄｔｈ及びｌｏｇ２ＺｏＴｂＨｅｉｇｈｔは、縮小された変換ブロックの幅及び高さを指示する変数に定義することができる。
即ち、一例によって、コーディングユニットにサブブロック変換が適用される時、０でない係数が存在できる左上端ブロックの幅が１６に減少され、残りの領域は０になるゼロアウト（ＲＭＴＳ）が適用されるためにはＭＴＳが適用されるべきである。
ＭＴＳが適用されない場合、コーディングユニットにＳＢＴが適用されると確認されても（ｃｕ＿ｓｂｔ＿ｆｌａｇが１である場合）、変換が適用されるサブブロックにＭＴＳでないＤＣＴ－２が適用されるようにしなければならない。例えば、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０である場合には、コーディングブロックにＳＢＴが適用されてもＤＳＴ－７またはＤＣＴ－８でないＤＣＴ－２が適用される。
また、コーディングブロックにＳＢＴが適用される場合、サブブロックの幅または高さが６４以上である場合にのみＤＣＴ－２が適用され、残りの場合にはＤＣＴ－２が適用される場合がない。
即ち、サブブロックにＤＣＴ－２が適用される場合を保障し、ＤＣＴ－２が適用されたサブブロックに対してデータ損失を誘発することができるＲＭＴＳが適用されないようにするために、エンコーディング装置は、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ値をチェックすることができるように映像情報を構成し、デコーディング装置は、このような映像情報の構成によってレジデュアルコーディング時にｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ値をチェックする。
整理すると、ｃ映像デコーディング過程でｃｕ＿ｓｂｔ＿ｆｌａｇが１であることのみ確認された場合、ＤＣＴ－２が適用されるサブブロックにＲＭＴＳが適用されることを排除するために、ＲＭＴＳによる変換ブロック大きさを設定する時、シーケンスパラメータセットでシグナリングされるｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ値をチェックすることができる。ｃｕ＿ｓｂｔ＿ｆｌａｇが１であり、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ値が１である場合、ＲＭＴＳが適用されて０でない変換係数が存在できる左上端ブロックの幅及び高さは、１６に設定されることができ、ｃｕ＿ｓｂｔ＿ｆｌａｇが１であり、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ値が０である場合、ＤＣＴ－２が変換に使われてＭＴＳが適用されないため、ＲＭＴＳによるゼロアウトも適用されない。この場合、０でない変換係数が存在できる左上端ブロックの幅及び高さは、３２以下に設定されることができる。
例えば、サブブロック変換が適用される３２×３２変換ブロックの場合、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０である場合、変換カーネルとしてＤＣＴ－２が使われるため、３２長さを有する幅または高さは、１６に減少されない。
このように、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ値をチェックすることによってＭＴＳが非活性化（ｄｉｓａｂｌｅ）される場合、１６長さにゼロアウトされるＲＭＴＳを防止することができる。
その他の場合、ｃｕ＿ｓｂｔ＿ｆｌａｇが１でない、または変換ブロックの高さが３２より大きい、または変換ブロックの幅が３２でない、またはＭＴＳが適用されない場合、変換ブロックの幅は、変換ブロックの幅及び３２のうち小さい値に設定されることができる。即ち、高周波ゼロアウトによって、変換ブロックの最大幅は３２に制限されることができる。また、ｃｕ＿ｓｂｔ＿ｆｌａｇが１でない、または変換ブロックの幅が３２より大きい、または変換ブロックの高さが３２でない場合、変換ブロックの高さは、変換ブロックの高さ及び３２のうち小さい値に設定されることができる。即ち、ゼロアウトによって、変換ブロックの最大高さは、３２に制限されることができる。
サブブロック変換（ＳＢＴ）が適用される場合、分割ブロックの少なくとも一つの辺の長さが６４以上になると、水平方向と垂直方向の両方ともＤＣＴ－２が適用され、それとも、表１１のようにＤＳＴ－７またはＤＣＴ－８が適用されることができる。したがって、ＳＢＴが適用される場合、変換が適用される分割ブロックの二辺の長さが全て２以下である場合に対してのみＲＭＴＳ３２を適用してゼロアウトが実行されることができる。即ち、ブロックの各方向に対して長さが３２である場合、３２長さのＤＳＴ－７またはＤＣＴ－８を適用して１６個の変換係数のみを残すことができる。
表１３に示すように、ＲＭＴＳ３２を適用する時、元来の変換ユニットの幅と高さ値をコーディングに使用することなく、ゼロアウトされずに残った領域（低周波変換係数領域）の幅と高さを実質的な変換ブロックの幅と高さと見なしてコーディングできる（ｌｏｇ２ＺｏＴｂＷｉｄｔｈ＝４またはｌｏｇ２ＺｏＴｂＨｅｉｇｈｔ＝４）。
例えば、元来変換ブロックの幅×高さが３２×１６である場合、ＲＭＴＳ３２を適用するようになると、ゼロアウトによって左上端１６×１６領域に対してのみノンゼロ（ｎｏｎ－ｚｅｒｏ）係数が存在するようになる。したがって、０でない変換係数が存在できる左上端領域の幅と高さを各々１６と１６に設定し、以後シンタックスエレメント（例えば、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘ、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘ）に対するコーディングを進行することができる。
整理すると、表１３のレジデュアルコーディングによると、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘをコーディングする前に０でない係数が存在できる最大幅と最大高さを指すｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔ値が設定され、ｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔ値を適用して最後の０でない係数に対する位置をコーディングした以後に実質的な変換ブロックの幅と高さは、各々、ｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔに変更される（ｌｏｇ２ＴｂＷｉｄｔｈ＝ｌｏｇ２ＺｏＴｂＷｉｄｔｈ、ｌｏｇ２ＴｂＨｅｉｇｈｔ＝ｌｏｇ２ＺｏＴｂＨｅｉｇｈｔ）。変更された値によって、以後のシンタックス要素がコーディングされることができる。結果的に、レジデュアルコーディング部分でゼロアウトされた領域を除いて残した左上端領域を新しい変換ブロックに設定した後にレジデュアルサンプルを導出することができる。
このように、高周波変換係数のゼロアウトによって変換ブロックの大きさが低周波領域の変換係数領域に減ると、表１３のセマンティクスのように、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘ及びｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘ値の範囲は、０から（ｌｏｇ２ＺｏＴｂＷｉｄｔｈ<<１）－１及び（ｌｏｇ２ＺｏＴｂＨｅｉｇｈｔ<<１）－１間の値に限定されることができる。
Figure 2022544176000028
Figure 2022544176000029
Figure 2022544176000030
Figure 2022544176000031
表１４は、変換過程を示し、コーディングユニットにＳＢＴが適用される場合、暗黙的にＭＴＳが適用されることが示されている（ｃｕ＿ｓｂｔ＿ｆｌａｇ ｉｓ ｅｑｕａｌ ｔｏ １ ａｎｄ Ｍａｘ（ｎＴｂＷ、ｎＴｂＨ）ｉｓ ｌｅｓｓ ｔｈａｎ ｏｒ ｅｑｕａｌ ｔｏ ３２，ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄ ｉｓ ｓｅｔ ｅｑｕａｌ ｔｏ １）。
水平方向変換カーネルを示す変数ｔｒＴｙｐｅＨｏｒ及び垂直方向変換カーネルを示す変数ｔｒＴｙｐｅＶｅｒは、Ｔａｂｌｅ８－１４に基づいて導出されることができ、表１４のＴａｂｌｅ８－１４は、本文書の表１に対応されることができる。
また、コーディングユニットにＳＢＴが適用される場合の変数ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒは、Ｔａｂｌｅ８－１５に基づいて導出されることができ、表１４のＴａｂｌｅ８－１５は、本文書の表１１に対応されることができる。
表１３に開示された本ゼロアウトが適用されるブロック、即ち、ゼロアウトブロックの大きさに対する内容は、表１４にｎｏｎＺｅｒｏＷ及びｎｏｎＺｅｒｏＨで表現されている。ｎｏｎＺｅｒｏＷ及びｎｏｎＺｅｒｏＨは、０でない変換係数が存在できる左上端ブロックの幅及び高さを示す変数に定義されることができる。
ＬＦＮＳＴが適用されない場合、ｎｏｎＺｅｒｏＷは、ｔｒＴｙｐｅＨｏｒが０より大きいかどうかに基づく値（（ｔｒＴｙｐｅＨｏｒ>０）？１６：３２）と変換ブロックの幅（ｎＴｂＷ）のうち小さい値に設定されることができる（ｎｏｎＺｅｒｏＷ＝Ｍｉｎ（ｎＴｂＷ、（ｔｒＴｙｐｅＨｏｒ>０）？１６：３２））。ｔｒＴｙｐｅＨｏｒが０より大きい場合は、ＭＴＳが適用されるため、「（ｔｒＴｙｐｅＨｏｒ>０）？１６：３２」は、１６に設定され、ｎｏｎＺｅｒｏＷは、変換ブロックの幅（ｎＴｂＷ）と１６のうち小さい値に設定される。それに対して、ｔｒＴｙｐｅＨｏｒが０より大きくない場合は、ＭＴＳが適用されないため、「（ｔｒＴｙｐｅＨｏｒ>０）？１６：３２」は、３２に設定され、ｎｏｎＺｅｒｏＷは、変換ブロックの幅（ｎＴｂＷ）と３２のうち小さい値に設定される。
同様に、ＬＦＮＳＴが適用されない場合、ｎｏｎＺｅｒｏＨは、ｔｒＴｙｐｅＶｅｒが０より大きいかどうかに基づく値（（ｔｒＴｙｐｅＶｅｒ>０）？１６：３２）と変換ブロックの幅（ｎＴｂＨ）のうち小さい値に設定されることができる（ｎｏｎＺｅｒｏＨ＝Ｍｉｎ（ｎＴｂＨ、（ｔｒＴｙｐｅＶｅｒ>０）？１６：３２））。ｔｒＴｙｐｅＶｅｒが０より大きい場合は、ＭＴＳが適用されるため、「（ｔｒＴｙｐｅＶｅｒ>０）？１６：３２」は、１６に設定され、ｎｏｎＺｅｒｏＨは、変換ブロックの高さ（ｎＴｂＨ）と１６のうち小さい値に設定される。それに対して、ｔｒＴｙｐｅＶｅｒが０より大きくない場合は、ＭＴＳが適用されないため、「（ｔｒＴｙｐｅＶｅｒ>０）？１６：３２」は、３２に設定され、ｎｏｎＺｅｒｏＨは、変換ブロックの高さ（ｎＴｂＨ）と３２のうち小さい値に設定される。
これはＭＴＳの適用可否、即ち、ｔｒＴｙｐｅＨｏｒとｔｒＴｙｐｅＶｅｒ値が０以上の値を有することができるかどうかによって、ゼロアウトブロックの大きさが１６または３２に設定されることを示している。
レジデュアルサンプル値は、ゼロアウトを反映して設定されたｎｏｎＺｅｒｏＷ及びｎｏｎＺｅｒｏＨに基づいて導出されることができる（Ｗｈｅｎ ｎＴｂＨ ｉｓ ｇｒｅａｔｅｒ ｔｈａｎ １，ｅａｃｈ（ｖｅｒｔｉｃａｌ）ｃｏｌｕｍｎ ｏｆ ｓｃａｌｅｄ ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ ｄ［ｘ］［ｙ］ｗｉｔｈ ｘ＝０．．ｎｏｎＺｅｒｏＷ－１，ｙ＝０．．ｎｏｎＺｅｒｏＨ－１ ｉｓ ｔｒａｎｓｆｏｒｍｅｄ ｔｏ ｅ［ｘ］［ｙ］ｗｉｔｈ ｘ＝０．．ｎｏｎＺｅｒｏＷ－１，ｙ＝０．．ｎＴｂＨ－１ ｂｙ ｉｎｖｏｋｉｎｇ ｔｈｅ ｏｎｅ－ｄｉｍｅｎｓｉｏｎａｌ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓ ａｓ ｓｐｅｃｉｆｉｅｄ ｉｎｃｌａｕｓｅ ８．７．４．４ ｆｏｒ ｅａｃｈ ｃｏｌｕｍｎ ｘ＝０．．ｎｏｎＺｅｒｏＷ－１ ｗｉｔｈ ｔｈｅ ｈｅｉｇｈｔ ｏｆ ｔｈｅ ｔｒａｎｓｆｏｒｍ ｂｌｏｃｋ ｎＴｂＨ，ｔｈｅ ｎｏｎ－ｚｅｒｏ ｈｅｉｇｈｔ ｏｆ ｔｈｅ ｓｃａｌｅｄ ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ ｎｏｎＺｅｒｏＨ，ｔｈｅ ｌｉｓｔ ｄ［ｘ］［ｙ］ｗｉｔｈ ｙ＝０．．ｎｏｎＺｅｒｏＨ－１ ａｎｄ ｔｈｅ ｔｒａｎｓｆｏｒｍ ｔｙｐｅ ｖａｒｉａｂｌｅ ｔｒＴｙｐｅ ｓｅｔ ｅｑｕａｌ ｔｏ ｔｒＴｙｐｅＶｅｒ ａｓ ｉｎｐｕｔｓ，ａｎｄ ｔｈｅ ｏｕｔｐｕｔ ｉｓ ｔｈｅ ｌｉｓｔ ｅ［ｘ］［ｙ］ｗｉｔｈ ｙ＝０．．ｎＴｂＨ－１）。
一方、前記のようにゼロアウトを適用して変換ブロックの大きさが変更されると、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘとｌａｓｔ ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘのコンテキスト選択（ｃｏｎｔｅｘｔ ｓｅｌｅｃｔｉｏｎ）に使われる変換ブロックの大きさも変更されることができる。表１５は、減少された変換ブロックを考慮したｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘとｌａｓｔ ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘの二進化を示し、表１６は、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘとｌａｓｔ ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘ導出のためのｃｔｘＩｎｃ（コンテキストインクリメント）を導出する過程を示す。コンテキストインクリメントによりコンテキストが選択されて区分されることができるため、コンテキストモデルは、コンテキストインクリメントに基づいて導出されることができる。
Figure 2022544176000032
Figure 2022544176000033
表１５のように、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘ及びｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘの最大値（ｃＭａｘ）は、低周波変換係数領域のように減少された変換ブロックの幅及び高さに対応するｌｏｇ２ＺｏＴｂＷｉｄｔｈ及びｌｏｇ２ＺｏＴｂＨｅｉｇｈｔに基づいて設定される（ｃＭａｘ＝（ｌｏｇ２ＺｏＴｂＷｉｄｔｈ<<１）－１、ｃＭａｘ＝（ｌｏｇ２ＺｏＴｂＨｅｉｇｈｔ<<１）－１）。一方、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘ及びｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘの二進化にトランケイテッドユナリが使われる場合、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘ及びｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘの最大値（ｃＭａｘ）がｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘ及びｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘの二進化に使われるコードワードの最大値と同じく設定されることができる。したがって、最後の有効係数プリフィクス情報を示すプリフィクスコードワードの最大長さは、ゼロアウトブロックの大きさに基づいて導出されることができる。
表１６のように、二つのシンタックス要素、即ち、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘ及びｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘに対するＣＡＢＡＣコンテキストのために、低周波変換係数領域の減少された変換ブロックでない元来変換ブロック（ｏｒｉｇｉｎａｌ ＴＵ）大きさが適用される（ｌｏｇ２ＴｂＳｉｚｅ ｉｓ ｓｅｔ ｅｑｕａｌ ｔｏ ｌｏｇ２ＴｂＷｉｄｔｈ，ｌｏｇ２ＴｂＳｉｚｅ ｉｓ ｓｅｔ ｅｑｕａｌ ｔｏ ｌｏｇ２ＴｂＨｅｉｇｈｔ）。
整理すると、一例によって、最後の有効係数位置情報に基づいてレジデュアルサンプルを導出し、コンテキストモデルは、大きさが変更されない元来変換ブロックの大きさに基づいて導出され、最後の有効係数位置は、ゼロアウトが適用された変換ブロックの大きさに基づいて導出されることができる。このとき、ゼロアウトが適用された変換ブロック、ゼロアウトブロックの大きさ、具体的に、幅または高さは、元来変換ブロックの大きさ、幅または高さより小さい。
以下の図面は、本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は、例示的に提示されたものであるため、本明細書の技術的特徴が以下の図面に使われた具体的な名称に制限されるものではない。
図１０は、本文書の一実施例に係るビデオデコーディング装置の動作を示す流れ図である。
図１０に開示された各ステップは、図３に開示されたデコーディング装置３００により実行されることができる。より具体的に、Ｓ１０００及びＳ１０１０は、図３に開示されたエントロピーデコーディング部３１０により実行されることができ、Ｓ１０２０は、図３に開示された逆量子化部３２１により実行されることができ、Ｓ１０３０は、図３に開示された逆変換部３２２により実行されることができ、Ｓ１０４０は、図３に開示された加算部３４０により実行されることができる。併せて、Ｓ１０００乃至Ｓ１０４０による動作は、図４乃至図９で詳述された内容のうち一部に基づいていることである。したがって、図３乃至図６で詳述された内容と重複する具体的な内容は、説明を省略し、または簡単にする。
一実施例に係るデコーディング装置は、レジデュアル情報を含むビットストリームを受信することができる（Ｓ１０００）。より具体的に、デコーディング装置のエントロピーデコーディング部３１０は、レジデュアル情報を含むビットストリームを受信することができる。
一実施例に係るデコーディング装置は、ビットストリームに含まれているレジデュアル情報に基づいて現在ブロックに対する量子化された変換係数を導出することができる（Ｓ１０１０）。より具体的に、デコーディング装置のエントロピーデコーディング部３１０は、ビットストリームに含まれているレジデュアル情報に基づいて現在ブロックに対する量子化された変換係数を導出することができる。
一実施例に係るデコーディング装置は、逆量子化過程に基づいて量子化された変換係数から変換係数を導出することができる（Ｓ１０２０）。より具体的に、デコーディング装置の逆量子化部３２１は、逆量子化過程に基づいて量子化された変換係数から変換係数を導出することができる。
一実施例に係るデコーディング装置は、導出された変換係数に逆変換を適用して現在ブロックに対するレジデュアルサンプルを導出することができる（Ｓ１０３０）。より具体的に、デコーディング装置の逆変換部３２２は、導出された変換係数に逆変換を適用して現在ブロックに対するレジデュアルサンプルを導出することができる。
一実施例に係るデコーディング装置は、現在ブロックに対するレジデュアルサンプルに基づいて復元ピクチャを生成することができる（Ｓ１０４０）。より具体的に、デコーディング装置の加算部３４０は、現在ブロックに対するレジデュアルサンプルに基づいて復元ピクチャを生成することができる。
一実施例において、前記現在ブロックの単位は、変換ブロック（Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ、ＴＢ）である。
一実施例において、前記現在ブロックに対する前記変換係数の各々は、変換係数０で構成された高周波変換係数領域または少なくとも一つの有効変換係数を含む低周波変換係数領域に関連づけられている。
一実施例において、前記レジデュアル情報は、前記現在ブロックに対する前記変換係数のうち最後の有効変換係数の位置に対する最後の有効係数プリフィクス情報（ｌａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｃｏｅｆｆｉｃｉｅｎｔ ｐｒｅｆｉｘ ｉｎｆｏｒｍａｔｉｏｎ）及び最後の有効係数サフィクス情報（ｌａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｃｏｅｆｆｉｃｉｅｎｔ ｓｕｆｆｉｘ ｉｎｆｏｒｍａｔｉｏｎ）を含むことができる。
一例によって、最後の有効係数プリフィクス情報が有することができる最大値は、ゼロアウトブロックの大きさに基づいて決定されることができる。
一実施例において、前記最後の有効変換係数の位置は、前記最後の有効係数プリフィクス情報を示すプリフィクスコードワード及び前記最後の有効係数サフィクス情報に基づいて決定されることができる。
一実施例において、前記プリフィクスコードワードの最大長さ（ｍａｘｉｍｕｍ ｌｅｎｇｔｈ）は、前記低周波変換係数領域、即ち、ゼロアウトブロックのサイズに基づいて決定されることができる。
一実施例において、ゼロアウトブロックのサイズは、現在ブロックの幅（ｗｉｄｔｈ）及び高さ（ｈｅｉｇｈｔ）に基づいて決定されることができる。
一実施例において、前記最後の有効係数プリフィクス情報は、ｘ軸プリフィクス情報及びｙ軸プリフィクス情報を含み、前記プリフィクスコードワードは、前記ｘ軸プリフィクス情報に対するコードワードまたは前記ｙ軸プリフィクス情報に対するコードワードである。
一例示において、前記ｘ軸プリフィクス情報はｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘで、前記ｙ軸プリフィクス情報はｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘで、前記最後の有効変換係数の位置は（ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸ、ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹ）で、表現されることができる。
一実施例において、前記レジデュアル情報は、ゼロアウトブロックのサイズに対する情報を含むことができる。
図１１は、本文書の一実施例に係るビデオデコーディング装置による変換係数を導出する過程を示す流れ図である。
図１１に開示された各ステップは、図３に開示されたデコーディング装置３００により実行されることができる。より具体的に、Ｓ１１００乃至Ｓ１１４０は、図３に開示されたエントロピーデコーディング部３１０により実行されることができる。
まず、図示されたように、デコーディング装置は、現在ブロックに対するゼロアウトブロックを導出するために、現在ブロックにコーディングユニットを分割して変換を実行するサブブロック変換が適用されるかどうかを示す第１のフラグ情報をチェックすることができる（Ｓ１１００）。
ゼロアウトブロックは、前述したように、０でない有効変換係数を含む低周波変換係数領域を意味し、デコーディング装置は、レジデュアルコーディングステップでゼロアウトブロックを導出することができる。
デコーディング装置は、ｃｕ＿ｓｂｔ＿ｆｌａｇのような第１のフラグ情報に基づいてサブブロック変換の適用可否を判断することができ、このような第１のフラグ情報は、コーディングユニットレベルでシグナリングされることができる。
また、デコーディング装置は、現在ブロックに複数の変換カーネルが使われる多重変換選択が適用されるかどうかを指示する第２のフラグ情報をチェックすることができる（Ｓ１１１０）。
現在ブロックに多重変換選択が適用されるかどうかを指示する第２のフラグ情報は、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇであり、このような第２のフラグ情報は、シーケンスパラメータセットレベルでシグナリングされることができる。
デコーディング装置は、現在ブロックにＭＴＳが適用されることができるかどうか、サブブロック変換が適用されるかどうか、即ち、第１のフラグ情報及び第２のフラグ情報及び現在ブロックの幅または高さに基づいて変換が適用されるゼロアウトブロックを導出することができる（Ｓ１１２０）。
変換が適用される変換ブロックは、現在ブロック内の有効変換係数が存在できる領域を示すゼロアウトブロックで具現されることができ、ゼロアウトブロックの幅及び高さは、現在ブロックにＭＴＳ及びサブブロック変換が適用されるかどうかによって多様な値として導出されることができる。
一例によって、デコーディング装置は、多重変換選択が適用される場合（ＤＳＴ－７／ＤＣＴ－８を適用することができる場合）、ゼロアウトブロックの幅または高さを１６に設定し、多重変換選択が適用されない場合、ゼロアウトブロックの幅または高さを３２以下に設定できる。
具体的に、ゼロアウトブロックの幅は、逆１次変換に使われる変換カーネルがＤＣＴ－２でないＤＳＴ－７またはＤＣＴ－８が適用される場合、現在ブロックの幅が３２であり、現在ブロックの高さが３２以下であると、ゼロアウトブロックの幅は、１６に設定されることができる。一方、前記条件を満たすことができない場合、即ち、変換カーネルがＤＣＴ－２であり、または現在ブロックの幅が３２でない、または現在ブロックの高さが６４以上であると、ゼロアウトブロックの幅は、現在ブロックの幅及び３２のうち小さい値に設定されることができる。
同様に、ゼロアウトブロックの高さは、逆１次変換に使われる変換カーネルがＤＣＴ－２でないＤＳＴ－７またはＤＣＴ－８が適用される場合、現在ブロックの高さが３２であり、現在ブロックの幅が３２以下であると、ゼロアウトブロックの高さは、１６に設定されることができる。一方、前記条件を満たすことができない場合、即ち、変換カーネルがＤＣＴ－２であり、または現在ブロックの高さが３２でない、または現在ブロックの幅が６４以上であると、ゼロアウトブロックの高さは、現在ブロックの高さ及び３２のうち小さい値に設定されることができる。
また、一例によって、ゼロアウトブロックの幅または高さは、現在ブロックがサブブロックに分割されて変換されるかどうかを指示するフラグ値が１であり、分割されたサブブロックの幅が３２であり、サブブロックの高さが６４より小さいと、サブブロック内で０でない変換係数が存在できる左上端領域の幅は、１６に設定されることができる。または、現在ブロックがサブブロックに分割されて変換されるかどうかを指示するフラグ値が１であり、分割されたサブブロックの高さが３２であり、サブブロック内で０でない変換係数が存在できる左上端領域の幅が６４より小さいと、サブブロックの高さは、１６に設定されることができる。
現在ブロックの分割方向及び変換が適用されるサブブロックの位置に基づいて、表１１のように変換カーネルが導出されることができる。
ゼロアウトブロックの大きさは、現在ブロックの大きさより小さい。具体的に、ゼロアウトブロックの幅は、現在ブロックの幅より小さい、ゼロアウトブロックの高さは、現在ブロックの高さより小さい。
一実施例において、ゼロアウトブロックのサイズは、３２×１６、１６×３２、１６×１６または３２×３２のうち一つである。
一実施例において、現在ブロックのサイズは６４×６４であり、ゼロアウトブロックのサイズは３２×３２である。
一方、一例によって、デコーディング装置は、現在ブロックの幅または高さに基づいて最後の有効係数位置情報に対するコンテキストモデルを導出し、導出されたコンテキストモデルに基づいて最後の有効係数位置の値を導出することができる
一例によると、コンテキストモデルは、ゼロアウトブロック大きさでない元来変換ブロックの大きさに基づいて導出されることができる。より具体的に、最後の有効係数プリフィクス情報に該当するｘ軸プリフィクス情報及びｙ軸プリフィクス情報に対するコンテキストインクリメントが元来変換ブロックの大きさに基づいて導出されることができる。
前述したように、最後の有効係数位置情報は、最後の有効係数プリフィクス情報（ｌａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｃｏｅｆｆｉｃｉｅｎｔ ｐｒｅｆｉｘ ｉｎｆｏｒｍａｔｉｏｎ）及び最後の有効係数サフィクス情報（ｌａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｃｏｅｆｆｉｃｉｅｎｔ ｓｕｆｆｉｘ ｉｎｆｏｒｍａｔｉｏｎ）を含むことができ、コンテキストモデルに基づいて最後の有効係数位置の値を導出することができる。
デコーディング装置は、導出された最後の有効係数位置情報の値及びゼロアウトブロックの幅または高さに基づいて最後の有効係数位置を導出することができる（Ｓ１１３０）。
一例によると、デコーディング装置は、元来現在ブロックでない現在ブロックより小さい大きさを有するゼロアウトブロックの大きさ範囲内で最後の有効係数位置を導出することができる。即ち、変換が適用される変換係数は、現在ブロックでないゼロアウトブロックの大きさ範囲内で導出されることができる。
一例によって、最後の有効係数プリフィクス情報が有することができる最大値は、ゼロアウトブロックの大きさに基づいて決定されることができる。
一例によって、最後の有効係数位置は、最後の有効係数プリフィクス情報を示すプリフィクスコードワード及び最後の有効係数サフィクス情報に基づいて導出され、プリフィクスコードワードの最大長さは、前記ゼロアウトブロックの大きさに基づいて導出されることができる。
デコーディング装置は、ゼロアウトブロックの幅または高さに基づいて導出された最後の有効係数位置に基づいて変換係数を導出することができる（Ｓ１１４０）。
変換係数は、表１３のレジデュアルコーディング過程を介して導出されることができる。
以後、デコーディング装置は、前述された非分離逆２次変換、表１及び表１１に基づく逆１次変換のうち少なくとも一つを実行してレジデュアルサンプルを導出することができる。
図１２は、本文書の一実施例に係るビデオエンコーディング装置の動作を示す流れ図である。
図１２に開示された各ステップは、図２に開示されたエンコーディング装置２００により実行されることができる。より具体的に、Ｓ１２００は、図２に開示された減算部２３１により実行されることができ、Ｓ１２１０は、図２に開示された変換部２３２により実行されることができ、Ｓ１２２０は、図２に開示された量子化部２３３により実行されることができ、Ｓ１２３０は、図２に開示されたエントロピーエンコーディング部２４０により実行されることができる。併せて、Ｓ１２００乃至Ｓ１２３０による動作は、図４乃至図９で詳述された内容のうち一部に基づいていることである。したがって、図２及び図４乃至図９で詳述された内容と重複する具体的な内容は、説明を省略し、または簡単にする。
一実施例に係るエンコーディング装置は、現在ブロックに対するレジデュアルサンプルを導出することができる（Ｓ１２００）。より具体的に、エンコーディング装置の減算部２３１は、現在ブロックに対するレジデュアルサンプルを導出することができる。
一実施例に係るエンコーディング装置は、前記現在ブロックに対する前記レジデュアルサンプルを変換して前記現在ブロックに対する変換係数を導出することができる（Ｓ１２１０）。より具体的に、エンコーディング装置の変換部２３２は、前記現在ブロックに対する前記レジデュアルサンプルを変換して前記現在ブロックに対する変換係数を導出することができる。
一実施例に係るエンコーディング装置は、量子化過程に基づいて前記変換係数から量子化された変換係数を導出することができる（Ｓ１２２０）。より具体的に、エンコーディング装置の量子化部２３３は、量子化過程に基づいて前記変換係数から量子化された変換係数を導出することができる。
一実施例に係るエンコーディング装置は、前記量子化された変換係数に対する情報を含むレジデュアル情報をエンコーディングすることができる（Ｓ１２３０）。より具体的に、エンコーディング装置のエントロピーエンコーディング部２４０は、前記量子化された変換係数に対する情報を含むレジデュアル情報をエンコーディングすることができる。
一実施例において、前記現在ブロックに対する前記変換係数の各々は、変換係数０で構成された高周波変換係数領域または少なくとも一つの有効変換係数を含む低周波変換係数領域、即ち、ゼロアウトブロックに関連づけられている。
一実施例において、前記レジデュアル情報は、前記現在ブロックに対する前記変換係数のうち最後の有効変換係数の位置に対する最後の有効係数プリフィクス情報及び最後の有効係数サフィクス情報を含むことができる。
一実施例において、前記最後の有効変換係数の位置は、前記最後の有効係数プリフィクス情報を示すプリフィクスコードワード及び前記最後の有効係数サフィクス情報に基づいている。
一例によって、最後の有効係数プリフィクス情報が有することができる最大値は、ゼロアウトブロックの大きさに基づいて決定されることができる。
一実施例において、前記プリフィクスコードワードの最大長さは、前記ゼロアウトブロックのサイズに基づいて決定されることができる。
一実施例において、ゼロアウトブロックのサイズは、現在ブロックの幅（ｗｉｄｔｈ）及び高さ（ｈｅｉｇｈｔ）に基づいて決定されることができる。
一実施例において、前記最後の有効係数プリフィクス情報は、ｘ軸プリフィクス情報及びｙ軸プリフィクス情報を含み、前記プリフィクスコードワードは、前記ｘ軸プリフィクス情報に対するコードワードまたは前記ｙ軸プリフィクス情報に対するコードワードである。
一例示において、前記ｘ軸プリフィクス情報は、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘで、前記ｙ軸プリフィクス情報はｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘで、前記最後の有効変換係数の位置は（ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸ、ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹ）で、表現されることができる。
一実施例において、前記レジデュアル情報は、ゼロアウトブロックのサイズに対する情報を含むことができる。
図１３は、本文書の一実施例に係る変換係数及び情報エンコーディング過程を示す流れ図である。
図１３に開示された各ステップは、図２に開示されたエンコーディング装置２００により実行されることができる。より具体的に、Ｓ１３００乃至Ｓ１３３０は、変換部２３２によりＳ１３４０乃至Ｓ１３５０は、図２に開示されたエントロピーエンコーディング部２４０により実行されることができる。
まず、エンコーディング装置は、現在ブロックに対するゼロアウトブロックを導出するために、現在ブロックにコーディングユニットを分割して変換を実行するサブブロック変換が適用されるかどうかを判断することができる（Ｓ１３００）。
ゼロアウトブロックは、前述したように、０でない有効変換係数を含む低周波変換係数領域を意味し、変換が適用される実質的な変換ブロックが該当する。
現在ブロックにサブブロック変換が適用されるかどうかを指示する情報は、エンコーディング装置によりフラグ情報（ｃｕ＿ｓｂｔ＿ｆｌａｇ）で生成及び出力されることができ、このようなフラグ情報は、コーディングユニットレベルでシグナリングされることができる。
また、エンコーディング装置は、現在ブロックに複数の変換カーネルが使われる多重変換選択が適用されるかどうかを判断することができる（Ｓ１３１０）。
現在ブロックに多重変換選択が適用されるかどうかを指示する情報は、エンコーディング装置によりフラグ情報（ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）で生成及び出力されることができ、このようなフラグ情報は、シーケンスパラメータセットレベルでシグナリングされることができる。
エンコーディング装置は、現在ブロックにＭＴＳが適用されることができるかどうか、サブブロック変換が適用されるかどうか、及び現在ブロックの幅または高さに基づいて変換が適用されるゼロアウトブロックを導出することができる（Ｓ１３２０）。
デコーディング過程で逆変換が適用される変換係数が存在する領域は、現在ブロック内の有効変換係数が存在できる領域を示すゼロアウトブロックで具現されることができ、ゼロアウトブロックの幅及び高さは、現在ブロックにＭＴＳ及びサブブロック変換が適用されるかどうかによって多様な値として導出されることができる。
一例によって、エンコーディング装置は、多重変換選択が適用される場合、ゼロアウトブロックの幅または高さを１６に設定し、多重変換選択が適用されない場合、ゼロアウトブロックの幅または高さを３２以下に設定できる。
具体的に、ゼロアウトブロックの幅は、１次変換に使われる変換カーネルがＤＣＴ－２でないＤＳＴ－７またはＤＣＴ－８が適用される場合、現在ブロックの幅が３２であり、現在ブロックの高さが３２以下であると、ゼロアウトブロックの幅は、１６に設定されることができる。一方、前記条件を満たすことができない場合、即ち、変換カーネルがＤＣＴ－２であり、または現在ブロックの幅が３２でない、または現在ブロックの高さが６４以上であると、ゼロアウトブロックの幅は、現在ブロックの幅及び３２のうち小さい値に設定されることができる。
同様に、ゼロアウトブロックの高さは、１次変換に使われる変換カーネルがＤＣＴ－２でないＤＳＴ－７またはＤＣＴ－８が適用される場合、現在ブロックの高さが３２であり、現在ブロックの幅が３２以下であると、ゼロアウトブロックの高さは、１６に設定されることができる。一方、前記条件を満たすことができない場合、即ち、変換カーネルがＤＣＴ－２であり、または現在ブロックの高さが３２でない、または現在ブロックの幅が６４以上であると、ゼロアウトブロックの高さは、現在ブロックの高さ及び３２のうち小さい値に設定されることができる。
また、一例によって、ゼロアウトブロックの幅または高さは、現在ブロックがサブブロックに分割されて変換されるかどうかに基づいて導出されることができる。例えば、現在ブロックがサブブロックに分割されて変換される場合、分割されたサブブロックの幅が３２であり、サブブロックの高さが６４より小さいと、サブブロックの幅は、１６に設定されることができる。または、現在ブロックがサブブロックに分割されて変換される場合、分割されたサブブロックの高さが３２であり、サブブロックの幅が６４より小さいと、サブブロックの高さは、１６に設定されることができる。
現在ブロックの分割方向及び変換が適用されるサブブロックの位置に基づいて、表１１のように変換カーネルが導出されることができる。
一実施例において、ゼロアウトブロックのサイズは、３２×１６、１６×３２、１６×１６または３２×３２のうち一つである。
一実施例において、現在ブロックのサイズは６４×６４であり、ゼロアウトブロックのサイズは３２×３２である。
一方、エンコーディング装置は、前述された変換過程、即ち、表１及び表１１に基づく１次変換、非分離逆２次変換のうち少なくとも一つを実行してレジデュアルサンプルから変換係数を導出することができる。
エンコーディング装置は、導出されたゼロアウトブロックの幅または高さに基づいて最後の有効係数位置を導出することができる（Ｓ１３３０）。
一例によると、エンコーディング装置は、元来現在ブロックでない現在ブロックより小さいまたは同じ大きさを有するゼロアウトブロックの大きさ範囲内で最後の有効係数位置を導出することができる。即ち、変換が適用される変換係数は、現在ブロックでないゼロアウトブロックの大きさ範囲内で導出されることができる。
一例によって、最後の有効係数位置は、最後の有効係数プリフィクス情報を示すプリフィクスコードワード及び最後の有効係数サフィクス情報に基づいて導出され、プリフィクスコードワードの最大長さは、前記ゼロアウトブロックの大きさに基づいて導出されることができる。
エンコーディング装置は、現在ブロックにコーディングユニットを分割して変換を実行するサブブロック変換が適用されるかどうかを示す第１のフラグをエンコーディングすることができる（Ｓ１３４０）。
前述したように、第１のフラグ情報は、ｃｕ＿ｓｂｔ＿ｆｌａｇでエンコーディングされてコーディングユニットレベルでシグナリングされることができ、第２のフラグ情報は、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇでエンコーディングされてシーケンスパラメータセットレベルでシグナリングされることができる。
第１のフラグ情報は、コーディングユニット別にシグナリングされ、第２のフラグ情報は、その上位端であるシーケンスパラメータセットレベルでシグナリングされるため、第２のフラグ情報は、Ｓ１３５０以前にシグナリングされることができる。
エンコーディング装置は、現在ブロックの幅または高さに基づいて最後の有効係数位置情報に対するコンテキストモデルを導出し、導出されたコンテキストモデルに基づいて最後の有効係数位置の値に対する位置情報をエンコーディングすることができる（Ｓ１３５０）。
一例によると、コンテキストモデルは、ゼロアウトブロック大きさでない元来変換ブロックの大きさに基づいて導出されることができる。より具体的に、最後の有効係数プリフィクス情報に該当するｘ軸プリフィクス情報及びｙ軸プリフィクス情報に対するコンテキストインクリメントが元来変換ブロックの大きさに基づいて導出されることができる。
前述したように、最後の有効係数位置情報は、最後の有効係数プリフィクス情報（ｌａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｃｏｅｆｆｉｃｉｅｎｔ ｐｒｅｆｉｘ ｉｎｆｏｒｍａｔｉｏｎ）及び最後の有効係数サフィクス情報（ｌａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｃｏｅｆｆｉｃｉｅｎｔ ｓｕｆｆｉｘ ｉｎｆｏｒｍａｔｉｏｎ）を含むことができ、コンテキストモデルに基づいて最後の有効係数位置の値がエンコーディングされることができる。
本文書において、量子化／逆量子化及び／または変換／逆変換のうち少なくとも一つは省略されることができる。前記量子化／逆量子化が省略される場合、前記量子化された変換係数は、変換係数と呼ばれることができる。前記変換／逆変換が省略される場合、前記変換係数は、係数またはレジデュアル係数と呼ばれることもでき、または表現の統一性のために、依然として変換係数と呼ばれることもできる。
また、本文書において、量子化された変換係数及び変換係数は、各々、変換係数及びスケーリングされた（ｓｃａｌｅｄ）変換係数と呼ばれることができる。この場合、レジデュアル情報は、変換係数（ら）に関する情報を含むことができ、前記変換係数（ら）に関する情報は、レジデュアルコーディングシンタックスを介してシグナリングされることができる。前記レジデュアル情報（または、前記変換係数（ら）に関する情報）に基づいて変換係数が導出されることができ、前記変換係数に対する逆変換（スケーリング）を介してスケーリングされた変換係数が導出されることができる。前記スケーリングされた変換係数に対する逆変換（変換）に基づいてレジデュアルサンプルが導出されることができる。これは本文書の他の部分でも同様に適用／表現されることができる。
前述した実施例において、方法は、一連のステップまたはブロックで流れ図に基づいて説明されているが、本文書は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序にまたは同時に発生できる。また、当業者であれば、流れ図に示すステップが排他的でなく、他のステップが含まれ、または、流れ図の一つまたはそれ以上のステップが本文書の範囲に影響を及ぼさずに削除可能であることを理解することができる。
前述した本文書による方法は、ソフトウェア形態で具現されることができ、本文書によるエンコーディング装置及び／またはデコーディング装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置などの映像処理を実行する装置に含まれることができる。
本文書において、実施例がソフトウェアで具現される時、前述した方法は、前述した機能を遂行するモジュール（過程、機能など）で具現されることができる。モジュールは、メモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部または外部にあり、よく知られた多様な手段でプロセッサと連結されることができる。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／またはデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／または他の格納装置を含むことができる。即ち、本文書で説明した実施例は、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で具現されて実行されることができる。例えば、各図面で示す機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で具現されて実行されることができる。
また、本文書が適用されるデコーディング装置及びエンコーディング装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号またはデータ信号を処理するために使われることができる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置として、ゲームコンソール、ブルーレイプレーヤ、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。
また、本文書が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取り可能な記録媒体に格納されることができる。また、本文書によるデータ構造を有するマルチメディアデータもコンピュータが読み取り可能な記録媒体に格納されることができる。前記コンピュータが読み取り可能な記録媒体は、コンピュータで読み出すことができるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取り可能な記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ格納装置を含むことができる。また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で具現されたメディアを含む。また、エンコーディング方法で生成されたビットストリームがコンピュータが読み取り可能な記録媒体に格納され、または、有無線通信ネットワークを介して送信されることができる。また、本文書の実施例は、プログラムコードによるコンピュータプログラム製品で具現されることができ、前記プログラムコードは、本文書の実施例によりコンピュータで実行されることができる。前記プログラムコードは、コンピュータにより読み取り可能なキャリア上に格納されることができる。
本明細書に記載された請求項は、多様な方式で組み合わせられることができる。例えば、本明細書の方法請求項の技術的特徴が組み合わせられて装置で具現されることができ、本明細書の装置請求項の技術的特徴が組み合わせられて方法で具現されることができる。また、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせられて装置で具現されることができ、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせられて方法で具現されることができる。

Claims (15)

  1. デコーディング装置により実行される映像デコーディング方法において、
    レジデュアル情報を含むビットストリームを受信するステップと、
    前記レジデュアル情報に基づいて現在ブロックに対する変換係数を導出するステップと、
    前記変換係数に対する前記現在ブロックに対するレジデュアルサンプルを導出するステップと、
    前記現在ブロックに対する予測サンプルを導出するステップと、
    前記レジデュアルサンプル及び前記予測サンプルに基づいて復元ピクチャを生成するステップとを含み、
    前記レジデュアル情報は、前記現在ブロックにコーディングユニットを分割して変換を実行するサブブロック変換が適用されるかどうかを示す第１のフラグ情報を含み、
    前記変換係数を導出するステップは、
    前記第１のフラグ情報が１である場合、前記現在ブロックに複数の変換カーネルが使われる多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）が適用されるかどうかに基づいて、前記現在ブロック内の有効変換係数が存在できる領域を示すゼロアウトブロックを導出するステップを含むことを特徴とする映像デコーディング方法。
  2. 前記多重変換選択が適用される場合、前記ゼロアウトブロックの幅または高さは、１６に設定され、
    前記多重変換選択が適用されない場合、前記ゼロアウトブロックの幅または高さは、３２以下に設定されることを特徴とする請求項１に記載の映像デコーディング方法。
  3. 前記第１のフラグ情報は、コーディングユニットレベルでシグナリングされることを特徴とする請求項２に記載の映像デコーディング方法。
  4. 前記現在ブロックに前記多重変換選択が適用されるかどうかを指示する第２のフラグ情報に基づいて前記多重変換選択の適用可否が判断され、
    前記第２のフラグ情報は、シーケンスパラメータセットレベルでシグナリングされることを特徴とする請求項１に記載の映像デコーディング方法。
  5. 分割されたサブブロックの高さが６４より小さい、かつ前記サブブロックの幅が３２である場合、前記ゼロアウトブロックの幅は、１６に設定され、
    前記サブブロックの幅が６４より小さい、かつ前記サブブロックの高さが３２である場合、前記ゼロアウトブロックの高さは、１６に設定されることを特徴とする請求項１に記載の映像デコーディング方法。
  6. 前記現在ブロックの分割方向及び変換が適用されるサブブロックの位置に基づいて前記変換カーネルが導出されることを特徴とする請求項１に記載の映像デコーディング方法。
  7. 前記現在ブロックのルマ成分に対して前記ゼロアウトブロックが導出されることを特徴とする請求項１に記載の映像デコーディング方法。
  8. 映像エンコーディング装置により実行される映像エンコーディング方法において、
    現在ブロックに対する予測サンプルを導出するステップと、
    前記予測サンプルに基づいて前記対象ブロックに対するレジデュアルサンプルを導出するステップと、
    前記レジデュアルサンプルに基づいて変換係数を導出するステップと、
    前記変換係数に対する情報を含むレジデュアル情報をエンコーディングするステップとを含み、
    前記変換係数を導出するステップは、
    前記現在ブロックにコーディングユニットを分割して変換を実行するサブブロック変換が適用される場合、前記現在ブロックに複数の変換カーネルが使われる多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）が適用されるかどうかに基づいて、前記現在ブロック内の有効変換係数が存在できる領域を示すゼロアウトブロックを導出するステップを含み、
    前記レジデュアル情報をエンコーディングするステップは、
    前記サブブロック変換が適用されるかどうかを指示する第１のフラグ情報をエンコーディングするステップを含むことを特徴とする映像エンコーディング方法。
  9. 前記多重変換選択が適用される場合、前記ゼロアウトブロックの幅または高さは、１６に設定され、
    前記多重変換選択が適用されない場合、前記ゼロアウトブロックの幅または高さは、３２以下に設定されることを特徴とする請求項８に記載の映像エンコーディング方法。
  10. 前記第１のフラグ情報は、コーディングユニットレベルでシグナリングされることを特徴とする請求項８に記載の映像エンコーディング方法。
  11. 前記レジデュアル情報をエンコーディングするステップは、
    前記現在ブロックに前記多重変換選択が適用されるかどうかを指示する第２のフラグ情報をエンコーディングするステップをさらに含み、
    前記第２のフラグ情報は、シーケンスパラメータセットレベルでシグナリングされることを特徴とする請求項８に記載の映像エンコーディング方法。
  12. 分割されたサブブロックの高さが６４より小さい、かつ前記サブブロックの幅が３２である場合、前記ゼロアウトブロックの幅は、１６に設定され、
    前記サブブロックの幅が６４より小さい、かつ前記サブブロックの高さが３２である場合、前記ゼロアウトブロックの高さは、１６に設定されることを特徴とする請求項８に記載の映像エンコーディング方法。
  13. 前記現在ブロックの分割方向及び変換が適用されるサブブロックの位置に基づいて前記変換カーネルが導出されることを特徴とする請求項８に記載の映像エンコーディング方法。
  14. 前記現在ブロックのルマ成分に対して前記ゼロアウトブロックが導出されることを特徴とする請求項８に記載の映像エンコーディング方法。
  15. 映像デコーディング方法を実行するようにする指示情報が格納されたコンピュータ読み取り可能なデジタル格納媒体であって、前記映像デコーディング方法は、
    レジデュアル情報を含むビットストリームを受信するステップと、
    前記レジデュアル情報に基づいて現在ブロックに対する変換係数を導出するステップと、
    前記変換係数に対する前記現在ブロックに対するレジデュアルサンプルを導出するステップと、
    前記現在ブロックに対する予測サンプルを導出するステップと、
    前記レジデュアルサンプル及び前記予測サンプルに基づいて復元ピクチャを生成するステップとを含み、
    前記レジデュアル情報は、前記現在ブロックにコーディングユニットを分割して変換を実行するサブブロック変換が適用されるかどうかを示す第１のフラグ情報を含み、
    前記変換係数を導出するステップは、
    前記第１のフラグ情報が１である場合、前記現在ブロックに複数の変換カーネルが使われる多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）が適用されるかどうかに基づいて、前記現在ブロック内の有効変換係数が存在できる領域を示すゼロアウトブロックを導出するステップを含むことを特徴とするデジタル格納媒体。
JP2022507746A 2019-08-08 2020-08-07 変換に基づく映像コーディング方法及びその装置 Active JP7362898B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023172611A JP2023168536A (ja) 2019-08-08 2023-10-04 変換に基づく映像コーディング方法及びその装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962884671P 2019-08-08 2019-08-08
US62/884,671 2019-08-08
PCT/KR2020/010492 WO2021025530A1 (ko) 2019-08-08 2020-08-07 변환에 기반한 영상 코딩 방법 및 그 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023172611A Division JP2023168536A (ja) 2019-08-08 2023-10-04 変換に基づく映像コーディング方法及びその装置

Publications (2)

Publication Number Publication Date
JP2022544176A true JP2022544176A (ja) 2022-10-17
JP7362898B2 JP7362898B2 (ja) 2023-10-17

Family

ID=74503413

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022507746A Active JP7362898B2 (ja) 2019-08-08 2020-08-07 変換に基づく映像コーディング方法及びその装置
JP2023172611A Pending JP2023168536A (ja) 2019-08-08 2023-10-04 変換に基づく映像コーディング方法及びその装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023172611A Pending JP2023168536A (ja) 2019-08-08 2023-10-04 変換に基づく映像コーディング方法及びその装置

Country Status (7)

Country Link
US (1) US20220150503A1 (ja)
EP (1) EP4013057A4 (ja)
JP (2) JP7362898B2 (ja)
KR (1) KR20220031063A (ja)
CN (1) CN114556921A (ja)
BR (1) BR112022002287A2 (ja)
WO (1) WO2021025530A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021060827A1 (ko) * 2019-09-23 2021-04-01 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
WO2023171866A1 (ko) 2022-03-11 2023-09-14 주식회사 엘지에너지솔루션 배터리 셀, 배터리 모듈, 배터리 팩 및 이를 포함하는 자동차

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020060364A1 (ko) * 2018-09-23 2020-03-26 엘지전자 주식회사 비디오 신호의 부호화/복호화 방법 및 이를 위한 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180096194A (ko) * 2017-02-20 2018-08-29 한국전자통신연구원 변환 계수 부호화 및 복호화 장치와 이를 구비하는 부호화 장치 및 복호화 장치
CN115297325A (zh) * 2017-04-13 2022-11-04 Lg 电子株式会社 熵编码和解码视频信号的方法和设备
KR20220027281A (ko) * 2018-12-21 2022-03-07 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020060364A1 (ko) * 2018-09-23 2020-03-26 엘지전자 주식회사 비디오 신호의 부호화/복호화 방법 및 이를 위한 장치

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BROSS, BENJAMIN ET AL.: "Versatile Video Coding (Draft 6)", JVET-O2001 (VERSION 14), JPN6023007634, 31 July 2019 (2019-07-31), pages 1 - 37, ISSN: 0005001669 *
KOO, MOONMO ET AL.: "CE 6-1.1 (c,d): Fast DST-7/DCT-8 based on DFT and 32 Point MTS based on Skipping High Frequency Coef", JVET-L0132 (VERSION 2), JPN6023007635, 3 October 2018 (2018-10-03), pages 1 - 7, ISSN: 0005001670 *
LEANNEC, F. LE ET AL.: "Non-CE6: Interaction between MTS and LFNST", JVET-O0466 (VERSION 3), JPN6023007637, 7 July 2019 (2019-07-07), pages 1 - 9, ISSN: 0005001671 *
NASER, KARAM ET AL.: "Non-CE6: Shape Adaptive Transform Selection for ISP, SBT and MTS", JVET-N0388 (VERSION 5), JPN6023007638, 25 March 2019 (2019-03-25), pages 1 - 6, ISSN: 0005001672 *

Also Published As

Publication number Publication date
BR112022002287A2 (pt) 2022-04-26
EP4013057A1 (en) 2022-06-15
JP7362898B2 (ja) 2023-10-17
US20220150503A1 (en) 2022-05-12
WO2021025530A1 (ko) 2021-02-11
CN114556921A (zh) 2022-05-27
EP4013057A4 (en) 2023-09-06
KR20220031063A (ko) 2022-03-11
JP2023168536A (ja) 2023-11-24

Similar Documents

Publication Publication Date Title
JP7260665B2 (ja) Ｂｄｐｃｍに基づく映像コーディング方法、及びその装置
JP7302037B2 (ja) 画像コーディングにおいて変換カーネルセットを表す情報のシグナリング
JP7436645B2 (ja) 変換に基づく映像コーディング方法及びその装置
JP7200379B2 (ja) 二次変換に基づく映像コーディング方法、及びその装置
JP7171920B2 (ja) ２次変換に基づく映像コーディング方法及びその装置
JP7299413B2 (ja) 変換に基づく映像コーディング方法及びその装置
JP2023500732A (ja) 変換に基づく映像コーディング方法及びその装置
JP7303335B2 (ja) 変換カーネルセットに関する情報に対するコーディング
JP2023501621A (ja) 変換に基づく映像エンコード方法およびその装置
JP2023168536A (ja) 変換に基づく映像コーディング方法及びその装置
KR20220066351A (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
JP2023514613A (ja) 変換に基づく映像コーディング方法及びその装置
JP2022537160A (ja) 変換に基づく映像コーディング方法及びその装置
JP2023112079A (ja) 画像コーディングシステムにおいて変換カーネルセットに関する情報に対するコンテキストコーディング
JP2023053018A (ja) 変換に基づく映像コーディング方法及びその装置
KR20220161382A (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
KR20220031061A (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
JP2023500299A (ja) 変換に基づく映像コーディング方法およびその装置
KR20210102463A (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
JP2022551251A (ja) 変換に基づく映像コーディング方法及びその装置
JP2022552298A (ja) 変換に基づく映像コーディング方法及びその装置
KR20220031062A (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
JP2022551116A (ja) 変換に基づく映像コーディング方法及びその装置
JP2023500297A (ja) 変換に基づく画像コーディング方法及びその装置
JP2023510338A (ja) 変換に基づく画像コーディング方法及びその装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220322

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231004

R150 Certificate of patent or registration of utility model

Ref document number: 7362898

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150