JP7256293B2 - 符号化映像における二次変換の使用 - Google Patents

Description

関連出願の相互参照
本願は、２０２０年４月２３日出願の国際特許出願ＰＣＴ／ＣＮ２０２０／０８６４４４号の国内段階であり、２０１９年４月２３日出願の国際特許出願ＰＣＴ／ＣＮ２０１９／０８３８５３号の優先権および利益を主張する。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。

この特許文献は、映像符号化技術、デバイスおよびシステムに関する。

映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネット及び他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信及び表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。

本明細書は、映像または画像の復号化または符号化中に二次変換（低周波数非可分変換とも呼ばれる）を使用する様々な実施形態および技術を説明する。

１つの例示的な態様において、映像処理の方法が開示される。この方法は、映像のブロックと映像のビットストリーム表現との間での変換のために、縮小寸法による逆方向二次変換からの出力値が、［ｍｉｎ，ｍａｘ］の範囲内に含まれるように制約されていることを判定することを含む。逆方向二次変換は、逆量子化ステップと逆方向一次変換との間のブロックに適用可能である。縮小寸法はブロックの寸法から縮小され、ｍｉｎおよびｍａｘは整数値である。前記方法は、判定に基づいて変換を行うことをも含む。

別の例示的な態様において、映像処理の方法が開示される。この方法は、映像のブロックと前記映像のビットストリーム表現との間での変換のために、二次変換が適用可能なサブブロックの数に基づいて、前記ブロックのサブブロックに縮小寸法による前記二次変換を適用する方法を判定することを含む。前記二次変換は、順方向一次変換と量子化ステップとの間、あるいは逆量子化ステップと逆方向一次変換との間のブロックに適用可能である。前記縮小寸法とはブロックの寸法から縮小されたものである。前記方法は、判定に基づいて変換を行うことをも含む。

別の例示的な態様において、映像処理の方法が開示される。この方法は、映像の１つのブロックと前記映像のビットストリーム表現との間での変換のために、前記ブロックの１つの寸法が１つの条件を満たす場合、前記ブロックの１つのサブブロックに対して縮小寸法による二次変換を適用可能であると判定することを含む。二次変換は、順方向一次変換と量子化ステップとの間で、または逆量子化ステップと逆方向一次変換との間で行われる。前記縮小寸法とはブロックの寸法から縮小されたものである。前記方法は、判定に基づいて変換を行うことをも含む。

別の例示的な態様において、映像処理の方法が開示される。この方法は、映像のブロックと前記映像のビットストリーム表現との間での変換のために、縮小寸法による二次変換を前記ブロックにおけるＫ×Ｌの寸法を有する領域に適用可能であることを判定することを含む。ＫおよびＬは正の整数であり、ＫはＬでない。二次変換は、順方向一次変換と量子化ステップとの間、または逆量子化ステップと逆方向一次変換との間で行われる。前記縮小寸法とはブロックの寸法から縮小されたものである。前記方法は、判定に基づいて変換を行うことをも含む。

別の例示的な態様において、映像処理の方法が開示される。この方法は、映像のブロックとこの映像のビットストリーム表現との間での変換のために、このブロックの特徴に基づいて非ゼロ範囲を判定することを含む。非ゼロ範囲とは、縮小寸法による二次変換に関連付けられた係数をゼロに設定する範囲外に相当する。二次変換は、順方向一次変換と量子化ステップとの間で、または逆量子化ステップと逆方向一次変換との間で行われる。前記縮小寸法とはブロックの寸法から縮小されたものである。前記方法は、判定に基づいて変換を行うことをも含む。

別の例示的な態様において、映像符号化の方法が開示される。この方法は、縮小寸法による二次変換が、１つの映像ブロックの２つの隣接するサブブロックに適用可能であることを判定することを含む。前記２つの隣接するサブブロックの各々は、Ｍ×Ｎの寸法を有し、ＭおよびＮは正の整数である。前記二次変換は、順方向一次変換と量子化ステップとの間で行われる。前記縮小寸法とはブロックの寸法から縮小されたものである。この方法は、前記判定に基づいて前記映像の符号化表現を生成することも含む。

別の例示的な態様において、映像復号化の方法が開示される。この方法は、縮小寸法による二次変換が、１つの映像ブロックの２つの隣接するサブブロックに適用可能であることを判定することを含む。前記２つの隣接するサブブロックの各々は、Ｍ×Ｎの寸法を有し、ＭおよびＮは正の整数である。前記二次変換は、逆量子化ステップと逆方向一次変換との間で行われる。前記縮小寸法とはブロックの寸法から縮小されたものである。この方法は、また、前記判定に従って、前記映像の符号化表現を構文解析することで、前記映像の前記ブロックを生成することを含む。

別の例示的な態様において、映像処理の方法が開示される。この方法は、映像のブロックと前記映像のビットストリーム表現との間での変換のために、規則に従って、前記ブロックに関連付けられた特徴に基づいて、前記ブロックに縮小寸法による二次変換を適用するかどうかを判定することを含む。二次変換は、順方向一次変換と量子化ステップとの間で、または逆量子化ステップと逆方向一次変換との間で行われる。前記縮小寸法とはブロックの寸法から縮小されたものである。前記方法は、判定に基づいて変換を行うことをも含む。

別の例示的な態様において、映像処理の方法が開示される。この方法は、映像のブロックと前記映像のビットストリーム表現との間での変換のために、前記ブロックに適用可能な、縮小寸法による二次変換のための１つ以上の変換行列の係数のビット精度制約を判定することを含む。二次変換は、順方向一次変換と量子化ステップとの間で、または逆量子化ステップと逆方向一次変換との間で行われる。前記縮小寸法とはブロックの寸法から縮小されたものである。前記方法は、判定に基づいて変換を行うことをも含む。

別の例示的な態様において、映像処理の方法が開示される。この方法は、現在の映像ブロックのビットストリーム表現と前記現在の映像ブロックの画素との間での変換中、縮小寸法による二次変換を選択的に適用するための制約規則を判定することと、前記制約規則に基づいて、縮小寸法による前記二次変換を適用することによってこの変換を行うことを含む。縮小寸法による二次変換は、前記現在の映像ブロックの寸法から縮小された寸法を有する。縮小寸法による二次変換は、前記変換中に一次変換と共に特定の順序で適用される。

別の例示的な態様において、映像処理の別の方法が開示される。この方法は、現在の映像ブロックと近傍の映像領域のビットストリーム表現と、前記現在の映像ブロックの画素と、前記近傍の領域の画素との間での変換中、縮小寸法による二次変換を選択的に適用するための制約規則を判定することと、この制約規則に従って、縮小寸法による二次変換を適用することによってこの変換を行うことを含む。縮小寸法による前記二次変換は、前記現在の映像ブロックおよび近傍の映像領域の寸法から縮小された寸法を有する。縮小寸法による二次変換は、前記変換中に一次変換と共に特定の順序で適用される。

さらに別の例示的な態様において、映像処理の別の方法が開示される。この方法は、現在の映像ブロックのビットストリーム表現と前記現在の映像ブロックの画素との間での変換中、縮小寸法による二次変換を選択的に適用するためのゼロ化規則を判定することと、前記ゼロ化規則に従って、縮小寸法による前記二次変換を適用することによってこの変換を行うことを含む。縮小寸法による二次変換は、前記現在の映像ブロックの寸法から縮小された寸法を有する。ゼロ化規則は、縮小寸法による二次変換に使用される係数の最大数を規定する。

さらに別の例示的な態様において、映像処理の別の方法が開示される。この方法は、現在の映像ブロックのビットストリーム表現と前記現在の映像ブロックの画素との間での変換中、縮小寸法による二次変換を選択的に適用するためのゼロ化規則を判定することと、前記ゼロ化規則に従って、縮小寸法による前記二次変換を適用することによってこの変換を行うことを含む。縮小寸法による二次変換は、前記現在の映像ブロックの寸法から縮小された寸法を有する。ゼロ化規則は、縮小寸法による二次変換に使用される係数の最大数を規定する。

さらに別の例示的な態様において、映像処理の別の方法が開示される。この方法は、現在の映像ブロックのビットストリーム表現と前記現在の映像ブロックの画素との間での変換中、縮小寸法による二次変換を選択的に適用するための条件を判定することと、前記条件に従って、縮小寸法による前記二次変換を適用することによってこの変換を行うことを含む。縮小寸法による二次変換は、前記現在の映像ブロックの寸法から縮小された寸法を有する。この条件は、ビットストリーム表現で信号通知される。

さらに別の例示的な態様において、映像処理の別の方法が開示される。この方法は、現在の映像ブロックのビットストリーム表現と前記現在の映像ブロックの画素との間での変換中、縮小寸法による二次変換を選択的に適用するためのゼロ化規則を判定することと、前記条件に従って、縮小寸法による前記二次変換を適用することによってこの変換を行うことを含む。縮小寸法による二次変換は、前記現在の映像ブロックの寸法から縮小された寸法を有する。この変換は、共存規則に基づいて、位置依存イントラ予測（ＰＤＰＣ）を選択的に適用することを含む。

さらに別の例示的な態様において、映像処理の別の方法が開示される。この方法は、現在の映像ブロックのビットストリーム表現と前記現在の映像ブロックの画素との間での変換中、縮小寸法による二次変換を適用することと、前記条件に従って、縮小寸法による前記二次変換を適用することによってこの変換を行うことを含む。縮小寸法による二次変換は、前記現在の映像ブロックの寸法から縮小された寸法を有する。前記適用は、変換中にイントラ予測のために近傍のサンプルを使用することを制御する。

さらに別の例示的な態様において、映像処理の別の方法が開示される。この方法は、現在の映像ブロックのビットストリーム表現と前記現在の映像ブロックの画素との間での変換中、縮小寸法による二次変換を選択的に適用することと、前記条件に従って、縮小寸法による前記二次変換を適用することによってこの変換を行うことを含む。縮小寸法による二次変換は、前記現在の映像ブロックの寸法から縮小された寸法を有する。前記選択的に適用することは、前記変換の間、量子化行列の使用を制御する。

さらに別の例示的な態様において、映像エンコーダが開示される。この映像エンコーダは、上述した方法の１つ以上を実装するように構成された処理装置を備える。

さらに別の例示的な態様において、映像デコーダが開示される。この映像デコーダは、上述した方法の１つ以上を実装するように構成された処理装置を備える。

さらに別の例示的な態様において、コンピュータ可読媒体が開示される。媒体は、媒体に記憶された上述した方法の１つ以上を実装するためのコードを含む。

これらの、および他の態様は、本明細書で説明される。

エンコーダブロック図の例を示す。 ６７個のイントラ予測モードの例を示す。 広角イントラ予測のための参照サンプルの例を示す。 広角イントラ予測のための参照サンプルの例を示す。 ４５度を超える方向において不連続となる課題の例を示す図である。 斜めおよび隣接する角イントラモードに適用されるＰＤＰＣで使用されるサンプルの例を示す図である。 斜めおよび隣接する角イントラモードに適用されるＰＤＰＣで使用されるサンプルの例を示す図である。 斜めおよび隣接する角イントラモードに適用されるＰＤＰＣで使用されるサンプルの例を示す図である。 斜めおよび隣接する角イントラモードに適用されるＰＤＰＣで使用されるサンプルの例を示す図である。 ４×８および８×４ブロックの分割の例を示す。 ４×８、８×４、４×４を除くすべてのブロックの分割の例を示す。 １つの４×８のサンプルのブロックを２つの独立した復号化可能な領域に分割する。 垂直方向予測モジュールを有する４×Ｎのブロックに対してスループットを最大にするように、画素の行を処理する例示的な順序を示す。 二次変換の例を示す。 提案された縮小二次変換（ＲＳＴ）の例を示す。 順方向および逆方向（または逆方向）縮小変換の例を示す。 １６×４８行列を有する順方向ＲＳＴ８×８処理の例を示す。 非ゼロ要素のために位置１７～６４を走査する例を示す。 サブブロック変換モードＳＢＴ－ＶおよびＳＢＴ－Ｈを示す。 本特許明細書に記載される技術を実現するためのハードウェアプラットフォームの一例を示すブロック図である。 映像処理の方法の一例を示すフローチャートである。 開示された技術を実装することができる例示的な映像処理システムを示すブロック図である。 本技術による映像処理のための例示的な方法のフローチャートである。 本技術による映像処理のための別の例示的な方法のフローチャートである。 本技術による映像処理のための別の例示的な方法のフローチャートである。 本技術による映像処理のための別の例示的な方法のフローチャートである。 本技術による映像処理のための別の例示的な方法のフローチャートである。 本技術による映像符号化のための例示的な方法のフローチャートである。 本技術による映像復号化のための例示的な方法のフローチャートである。 本技術による映像処理のための別の例示的な方法のフローチャートである。 本技術による映像処理のためのさらに別の例示的な方法のフローチャートである。

本明細書では、理解を容易にするために章の見出しを使用しており、１つの章に開示された実施形態をその章にのみ限定するものではない。さらに、特定の実施形態は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）または他の特定の映像コーデックを参照して説明されたが、開示された技術は、他の映像符号化技術にも適用可能である。さらに、いくつかの実施形態は映像符号化ステップを詳細に説明しているが、符号化を復号化する、対応するステップはデコーダによって実行されることが理解されよう。さらに、映像処理という用語は、映像符号化または圧縮、映像の復号化または展開、および映像の画素がある圧縮形式から別の圧縮形式へ、または別の圧縮ビットレートで表現される映像のコード変換を含む。

１．概要

本明細書は、映像符号化技術に関する。具体的には、映像符号化における変換に関する。ＨＥＶＣのような既存の映像符号化規格に適用してもよいし、規格（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を確定させるために適用してもよい。本発明は、将来の映像符号化規格または映像コーデックにも適用可能である。

２．初期の協議

映像符号化規格は、主に周知のＩＴＵ－ＴおよびＩＳＯ／ＩＥＣ規格の開発によって発展してきた。ＩＴＵ－ＴはＨ．２６１とＨ．２６３を作り、ＩＳＯ／ＩＥＣはＭＰＥＧ－１とＭＰＥＧ－４ Ｖｉｓｕａｌを作り、両団体はＨ．２６２／ＭＰＥＧ－２ ＶｉｄｅｏとＨ．２６４／ＭＰＥＧ－４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）とＨ．２６５／ＨＥＶＣ［１］規格を共同で作った。Ｈ．２６２以来、映像符号化規格は、時間予測と変換符号化が利用されるハイブリッド映像符号化構造に基づく。ＨＥＶＣを超えた将来の映像符号化技術を探索するため、２０１５年には、ＶＣＥＧとＭＰＥＧが共同でＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）を設立した。それ以来、多くの新しい方法がＪＶＥＴによって採用され、ＪＥＭ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅ） ［２］と呼ばれる参照ソフトウェアに組み込まれてきた。２０１８年４月には、ＶＣＥＧ（Ｑ６／１６）とＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＣ２９／ＷＧ１１（ＭＰＥＧ）の間にＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔ Ｔｅａｍ（ＪＶＥＴ）が発足し、ＨＥＶＣと比較して５０％のビットレート削減を目標にＶＶＣ規格の策定に取り組んでいる。

２．１ 色空間およびクロマサブサンプリング

色空間はカラーモデル（またはカラーシステム）としても知られ、色の範囲を数字のタプル（ｔｕｐｌｅ）として簡単に記述する抽象的な数学モデルであり、一般的に、３または４つの値または色成分（例えばＲＧＢ）である。基本的には、色空間は座標系とサブ空間とを精緻化したものである。

映像圧縮の場合、最も頻繁に使用される色空間は、ＹＣｂＣｒおよびＲＧＢである。

ＣＹＢＣＲｏｒＹ’ＣＢＣＲ と呼ばれるＹＣｂＣｒ，Ｙ’ＣｂＣｒ，またはＹ Ｐｂ／Ｃｂ Ｐｒ／Ｃｒは、カラー画像のパイプライン映像およびデジタル写真システムの一部として使用される色空間のファミリーである。Ｙ’は輝度成分であり、ＣＢおよびＣＲは青色差および赤色差色成分である。Ｙ’（素数を有する）はＹとは区別され、Ｙは輝度であり、ガンマ補正されたＲＧＢ原色に基づいて光強度が非線形に符号化されることを意味する。

クロマサブサンプリングは、人間の視覚システムが、輝度よりも色差の方が知覚が低いことを利用して、輝度情報よりもクロマ情報の方が解像度が低くなるように実装して画像を符号化する方法である。

２．１．１ フォーマット ４：４：４

３つのＹ’ＣｂＣｒ成分の各々は、同じサンプルレートを有し、従って、クロマサブサンプリングは存在しない。このスキームは、ハイエンドのフィルムスキャナーや映画のポストプロダクションで使用されることがある。

２．１．２ フォーマット ４：２：２

２つのクロマ成分は、輝度のサンプルレートの半分でサンプリングされ、水平クロマ解像度が半分にされる。これにより、視覚的にほとんどまたは全く差がなく、非圧縮の映像信号の帯域幅を１／３に低減してもよい。

２．１．３ フォーマット ４：２：０

４：２：０では、水平サンプリングは４：１：１に比べて２倍になるが、このスキームではＣｂおよびＣｒチャネルを各１行おきのラインでのみサンプリングするので、垂直解像度は半分になる。従って、データレートは同じである。ＣｂおよびＣｒはそれぞれ水平および垂直方向の両方向に２倍にサブサンプリングされる。異なる水平および垂直位置を有する４：２：０スキームの３つの変形がある。

ＭＰＥＧ－２において、ＣｂおよびＣｒは水平方向に共座している。Ｃｂ、Ｃｒは垂直方向の画素間に位置する（格子間に位置する）。

ＪＰＥＧ／ＪＦＩＦにおいて、Ｈ．２６１、およびＭＰＥＧ－１、Ｃｂ、およびＣｒは、交互の輝度サンプルの中間の格子間に位置する。

４：２：０ ＤＶにおいて、ＣｂおよびＣｒは、水平方向に共座している。垂直方向において、それらは交互に並ぶ線上に共座している。

２．２ 典型的な映像コーデックの符号化フロー

図１は、３つのインループフィルタリングブロック、すなわち非ブロック化フィルタ（ＤＦ）、サンプル適応オフセット（ＳＡＯ）およびＡＬＦを含むＶＶＣのエンコーダブロック図の例を示す。ＤＦ（予め規定されたフィルタを使用する）とは異なり、ＳＡＯおよびＡＬＦは、現在のピクチャのオリジナルサンプルを利用し、オフセットを追加し、且つ有限インパルス応答（ＦＩＲ）フィルタを適用することによって、オフセットおよびフィルタ係数を信号通知する符号化側情報とともに、元のサンプルと再構成サンプルとの間の平均二乗誤差をそれぞれ低減する。ＡＬＦは、各ピクチャの最後の処理ステージに位置し、前のステージで生成されたアーチファクトを捕捉し、修正しようとするツールと見なすことができる。

２．３ ６７個のイントラ予測モードを有するイントラモード符号化

自然映像に表される任意のエッジ方向をキャプチャするために、指向性イントラモードの数は、ＨＥＶＣで使用されるように、３３から６５に拡張される。追加の指向性モードは、図２において点線の矢印で示され、平面モードとＤＣモードは同じままである。これらのより密度の高い指向性イントラ予測モードは、すべてのブロックサイズ、および輝度およびクロマイントラ予測の両方に適用される。

従来のアンギュラ・イントラ予測方向は、図２に示すように、時計回り方向に４５度から－１３５度まで規定される。ＶＴＭ２において、いくつかの従来の角度イントラ予測モードは、非正方形のブロックのために、広角イントラ予測モードに適応的に置き換えられる。置換されたモードは、元の方法を使用して信号通知され、構文解析後、広角モードのインデックスに再マッピングされる。イントラ予測モードの総数は変化せず、例えば、６７であり、イントラモードの符号化は変化しない。

前記ＨＥＶＣにおいて、すべてのイントラ符号化されたブロックは正方形の形状を有し、その辺の各々の長さは２の累乗である。このように、ＤＣモードを使用してイントラ予測子を生成するのに、除算演算を必要としない。ＶＶＶ２において、ブロックは長方形であってもよく、一般的な場合、ブロックごとに除算演算を使用することが必要である。ＤＣ予測のための除算演算を回避するために、長辺のみを使用して非正方形のブロックの平均を計算する。

２．４ 非正方形のブロックのための広角イントラ予測

従来の角度イントラ予測方向は、時計回り方向に４５度から－１３５度まで規定される。ＶＴＭ２において、いくつかの従来の角度イントラ予測モードは、非正方形のブロックのために、広角イントラ予測モードに適応的に置き換えられる。置換されたモードは、元の方法を使用して信号通知され、構文解析後、広角モードのインデックスに再マッピングされる。あるブロックのためのイントラ予測モードの総数は変化せず、例えば、６７であり、イントラモード符号化は変化しない。

これらの予測方向を支援するために、長さ２Ｗ＋１の上側基準および長さ２Ｈ＋１の左側基準を図３Ａ～図３Ｂに示すように定義する。

広角方向モードにおける置換モードのモード数は、ブロックのアスペクト比に依存する。置換されたイントラ予測モードを表１に示す。

図４に示すように、垂直方向に隣接する２つの予測サンプルは、広角イントラ予測において、２つの隣接しない参照サンプルを使用してもよい。そこで、広角予測にローパス参照サンプルフィルタリングおよびサイドスムージングを適用し、ｇａｐΔｐ_α増加のマイナスの影響を低減する。

２．５ 位置依存イントラ予測

ＶＴＭ２において、平面モードのイントラ予測の結果は、位置依存イントラ予測（ＰＤＰＣ）法によってさらに修正される。ＰＤＰＣは、フィルタリングされていない境界参照サンプルと、フィルタリングされた境界参照サンプルを有するＨＥＶＣスタイルのイントラ予測とを組み合わせることを呼び出すイントラ予測方法である。ＰＤＰＣは信号通知なしで以下のイントラモードに適用される：プラナー、ＤＣ、水平、垂直、左下の角度モードとその隣接する８つの角度モード、右上の角度モードとその隣接する８つの角度モード。

以下の式に従って、イントラ予測モード（直流、平面、角度）および参照サンプルの線形結合を使用して、予測サンプル前置（ｘ，ｙ）を予測する。
ｐｒｅｄ（ｘ，ｙ）＝（ｗＬ×Ｒ_－１，ｙ＋ｗＴ×Ｒ_ｘ，－１－ｗＴＬ×Ｒ_{－１，－１}＋（６４－ｗＬ－ｗＴ＋ｗＴＬ）×ｐｒｅｄ（ｘ，ｙ）＋３２）＞＞６
式中、Ｒ_ｘ，－１，Ｒ_－１，ｙは、現在のサンプル（ｘ，ｙ）の左上および上に位置する参照サンプルをそれぞれ表し、Ｒ_{－１，－１}は、現在のブロックの左上隅に位置する参照サンプルを表す。

ＰＤＰＣをＤＣ、プレーナ、水平、垂直イントラモードに適用する場合、ＨＥＶＣ ＤＣモード境界フィルタまたは水平／垂直モードエッジフィルタの場合に必要とされるように、追加の境界フィルタは必要とされない。

図５Ａ～図５Ｄは、様々な予測モードに適用されるＰＤＰＣのための参照サンプル（Ｒ_ｘ，－１，Ｒ_－１，ｙおよびＲ_{－１，－１}）の定義を示す。予測サンプルｐｒｅｄ（ｘ’，ｙ’）は、予測ブロック内の（ｘ’，ｙ’）に位置する。参照サンプルＲ_ｘ，－１の座標ｘは、ｘ＝ｘ’＋ｙ’＋１で表され、参照サンプルＲ_－１，ｙの座標ｙは、同様にｙ＝ｘ’＋ｙ’＋１で表される。

図５Ａ～図５Ｄは、斜めおよび隣接する角イントラモードに適用されるＰＤＰＣで使用されるサンプルを示す。

ＰＤＰＣ重みは予測モードに依存し、表２に示される。

２．６ イントラサブブロック分割（ＩＳＰ）

いくつかの実施形態において、ＩＳＰは、表３に示すように、輝度イントラ予測ブロックを垂直または水平にブロックサイズの寸法により２個または４個のサブパーティションに分割することが提案される。図６および図７は、これら２つの可能性の例を示す。すべてのサブパーティションは、少なくとも１６個のサンプルを有するという条件を満たす。

図６は、４×８および８×４ブロックを分割する例を示す。

図７は、４×８、８×４、および４×４を除くすべてのブロックを分割する例を示す。

これらのサブパーティションの各々について、エンコーダが送信した係数をエントロピー復号化し、その後、量子化および反転変換した後、残差信号を生成する。そして、サブパーティションをイントラ予測し、最後に、予測信号に残差信号を加えることで、対応する再構成サンプルを得る。従って、各サブパーティションの再構成値は、次のサブパーティションの予測を生成するために利用可能となり、この処理等を繰り返す。すべてのサブパーティションは、同じイントラモードを共有する。

イントラモードおよび利用される分割に基づいて、２つの異なるクラスの処理順序が使用され、これらを通常順および逆順と呼ぶ。通常順では、処理対象の第１のサブパーティションは、ＣＵの左上のサンプルを含み、その後、下方向（水平分割）または右方向（垂直分割）に続くサブパーティションである。その結果、サブパーティション予測信号を生成するために使用する参照サンプルは、ラインの左上に位置するのみである。一方、逆の処理順序は、ＣＵの左下のサンプルを含むサブパーティションから始まり、上へ続くか、またはＣＵの右上のサンプルを含むサブパーティションから始まり、左へ続く。

２．７ ブロック差動パルスコード変調符号化（ＢＤＰＣＭ）

現在の画素を予測するために左（Ａ）（または上（Ｂ））の画素を使用する水平（または垂直）予測モジュールの形状により、ブロックを最もスループット効率よく処理する方法は、１つの列（またはライン）のすべての画素を並列に処理し、これらの列（またはライン）を順次処理することである。スループットを向上させるために、我々は、以下の処理を導入する。すなわち、このブロックにおいて選択された予測子が垂直である場合、幅４のブロックを水平フロンティアで二分割し、このブロックにおいて選択された予測子が水平である場合、高さ４のブロックを垂直フロンティアで二分割する。

１つのブロックを分割する場合、１つの領域からのサンプルに対して別の領域からの画素を使用して予測を計算することはできず、このような状況が発生した場合、予測画素を予測方向の参照画素に置き換える。これについては、垂直方向に予測された４×８個のブロック内の現在の画素Ｘの異なる位置について、図８に示されている。

図８は、１つの４×８個のサンプルブロックを２つの独立した復号化可能な領域に分割する例を示す。

この特性の結果によって、図９に示すように、４×４ブロックを２サイクルで処理することができ、４×８または８×４ブロックを４サイクルで処理してもよい。

図９は、垂直方向予測モジュールを有する４×Ｎ個のブロックに対してスループットを最大にするように、画素の行を処理する順序の例を示す。

表４に、ブロックのサイズに依存して、ブロックを処理するのに必要なサイクル数をまとめる。なお、両寸法がともに８以上である任意のブロックに対して、１サイクル当たり８画素以上の処理できるということは自明である。

２．８ 量子化残差ドメインＢＤＰＣＭ

いくつかの実施形態において、量子化残差ドメインＢＤＰＣＭ（以下、ＲＢＤＰＣＭと称する）が提案される。イントラ予測は、イントラ予測と同様に、予測方向（水平または垂直予測）にサンプルコピーすることで、ブロック全体で予測する。残差を量子化し、量子化された残差とその予測子（水平または垂直）量子化値との間のデルタを符号化する。

サイズＭ（行）×Ｎ（列）のブロックについて、ｒ_ｉ，ｊ，０≦ｉ≦Ｍ－１、０≦ｊ≦Ｎ－１を、上または左ブロックの境界サンプルからのフィルタリングされていないサンプルを使用して、水平方向（予測ブロックに対して左隣の画素値を１ラインずつコピーする）または垂直方向（予測ブロックにおける各ラインに上隣のラインをコピーする）にイントラ予測を行った後の予測残差とする。Ｑ（ｒ_ｉ，_ｊ）、０≦ｉ≦Ｍ－１、０≦ｊ≦Ｎ－１は、残差ｒ_ｉ，_ｊの量子化バージョンを表し、この場合、残差は、元のブロックと予測ブロック値との間の差である。次に、ブロックＤＰＣＭが量子化された残差サンプルに適用され、その結果、要素ｒ^～ _ｉ，_ｊを有する修正されたＭ×Ｎ個の配列Ｒ^～が得られる。垂直ＢＤＰＣＭが信号通知されると、以下のようになる。

水平予測の場合、類似した規則が適用され、残差量子化サンプルは、以下の式によって得られる。

残差量子化サンプルｒ^～ _ｉ，ｊはデコーダに送られる。

デコーダ側では、上記の計算を逆にして、Ｑ（ｒ_ｉ，ｊ）、０≦ｉ≦Ｍ－１、０≦ｊ≦Ｎ－１を生成する。垂直予測の場合、以下である。

水平方向の場合、以下である。

逆量子化された残差Ｑ^－１（Ｑ（ｒ_ｉ，ｊ））をイントラブロック予測値に加算し、再構成されたサンプル値を生成する。

このスキームの主な利点は、逆方向のＤＰＣＭを、係数の構文解析中にオンザフライで行うことができ、係数の構文解析中に予測子を追加するだけで済むこと、または、構文解析後に行うことができることである。

量子化された残差ドメインＢＤＰＣＭにおいては、常に変換スキップが使用される。

２．９ ＶＶＣにおける複数の変換セット（ＭＴＳ）

ＶＴＭ４において、サイズが６４×６４までの大きなブロックサイズの変換が有効化され、これは、主に高解像度映像、例えば、１０８０ｐおよび４Ｋシーケンスに有用である。サイズ（幅または高さ、または幅と高さの両方）が６４である変換ブロックに対して、高周波数変換係数をゼロにし、低周波数係数のみを保持する。例えば、Ｍ×Ｎ変換ブロックの場合、ブロック幅をＭ、ブロック高さをＮとすると、Ｍが６４である場合、左３２列の変換係数のみが保持される。同様に、Ｎが６４である場合、変換係数の上位３２行のみが保持される。大きなブロックに対して変換スキップモードを使用する場合、値をゼロ化することなくブロック全体を使用する。

ＨＥＶＣで使用されてきたＤＣＴ－ＩＩに加え、インター符号化ブロックおよびイントラ符号化ブロックの両方の残差符号化のために、複数の変換選択（ＭＴＳ）スキームが使用される。これは、ＤＣＴ８／ＤＳＴ７から選択された複数の変換を使用する。新しく導入された変換行列は、ＤＳＴ－ＶＩＩおよびＤＣＴ－ＶＩＩＩである。選択されたＤＳＴ／ＤＣＴの基本関数を以下の表に示す。

変換行列の直交性を維持するために、変換行列はＨＥＶＣにおける変換行列よりも正確に量子化される。変換係数の中間値を１６ビットの範囲内に維持するために、水平変換後および垂直変換後、すべての係数は１０ビットを有することになる。

ＭＴＳスキームを制御するために、ＳＰＳレベルにおいて、イントラおよびインターに対してそれぞれ別個の有効化フラグを規定する。ＳＰＳにおいてＭＴＳが有効化されると、ＭＴＳが適用されているかどうかを示すように、ＣＵレベルフラグが信号通知される。ここで、ＭＴＳは輝度に対してのみ適用される。ＭＴＳ ＣＵレベルフラグは、以下の条件が満たされる場合に信号通知される。

－ 幅および高さが共に３２以下

－ ＣＢＦ フラグが １である

ＭＴＳ ＣＵフラグがゼロである場合、ＤＣＴ２が両方向に適用される。しかしながら、ＭＴＳ ＣＵフラグが１である場合、２つの他のフラグが追加的に信号通知され、それぞれ水平方向および垂直方向の変換タイプを示す。表３－１０に示すように、マッピングテーブルを変換し、信号通知する。行列精度を変換する場合、８ビットの一次変換コアを使用する。そのため、ＨＥＶＣで使用されるすべての変換コアは、４点ＤＣＴ－２、ＤＳＴ－７、８点、１６点、３２点ＤＣＴ－２など、同じに保たれる。また、６４ポイントＤＣＴ－２、４ポイントＤＣＴ－８、８ポイント、１６ポイント、３２ポイントＤＳＴ－７、ＤＣＴ－８などの他の変換コアは、８ビットの一次変換コアを使用する。

大きなサイズのＤＳＴ－７およびＤＣＴ－８の複雑性を低減するために、サイズ（幅または高さ、または幅と高さの両方）が３２であるＤＳＴ－７およびＤＣＴ－８ブロックに対して、高周波数変換係数をゼロ化する。１６×１６個の低周波数領域内の係数のみが保持される。

ＨＥＶＣにおけるように、ブロックの残差は、変換スキップモードで符号化してもよい。構文符号化の冗長性を回避するために、ＣＵレベルＭＴＳ＿ＣＵ＿ｆｌａｇがゼロでない場合、変換スキップフラグは信号通知されない。変換スキップのブロックサイズの制限は、ＪＥＭ４におけるＭＴＳの場合と同じであり、ブロックの幅および高さが両方とも３２以下である場合、変換スキップがＣＵに適用可能であることを示す。

２．１０ 縮小二次変換（ＲＳＴ）の例

２．１０．１ 非可分二次変換（ＮＳＳＴ）の例

いくつかの実施形態において、非可分変換とも呼ばれる二次変換は、順方向一次変換と量子化（エンコーダにおいて）の間、および逆量子化と逆方向一次変換（デコーダ側において）の間に適用される。図１０に示すように、ブロックサイズにより４×４（または８×８）の二次変換を行う。例えば、４×４の二次変換は、小さなブロック（例えば、ｍｉｎ（幅、高さ）＜８）に適用され、８×８の二次変換は、８×８ブロック当たりより大きなブロック（例えば、ｍｉｎ（幅、高さ）＞４）に適用される。

図１０は、ＪＥＭにおける二次変換の例を示す。

以下、入力を例として使用して、非可分変換の適用について説明する。非可分変換を適用するために、４×４インプットブロックＸを用いる。

まず、ベクトルＸ^→（右矢印はベクトル記号）として表現される。

非可分変換は、Ｆ^→＝Ｔ・Ｘ^→として計算され、ここで、Ｆ^→は、変換係数ベクトルを示し、Ｔは、１６×１６変換行列である。その後、そのブロック（水平、垂直、斜め）の走査順を使用して、１６×１の係数ベクトルＦ^→を４×４のブロックに再編成する。インデックスが小さい係数は、４×４係数ブロックにおいて、走査インデックスが小さくなるように配置される。全体で３５個の変換セットがあり、１つの変換セット当たり３つの非可分変換行列（カーネル）が使用される。イントラ予測モードから変換セットへのマッピングは、予め規定される。各変換セットに対して、選択された非可分二次変換候補は、明示的に信号通知された二次変換インデックスによってさらに規定される。このインデックスは、変換係数の後、イントラＣＵごとに１回、ビットストリームで信号通知される。

２．１０．２ 縮小二次変換（ＲＳＴ）／低周波数非可分変換（ＬＦＮＳＴ）の例

低周波数非可分変換（ＬＦＮＳＴ）とも呼ばれる縮小二次変換（ＲＳＴ）を、４つの変換セット（３５個の変換セットの代わりに）のマッピングとして導入した。いくつかの実施形態において、８×８個のブロックおよび４×４個のブロックに対してそれぞれ１６×６４個（１６×４８にさらに低減されてもよい）の行列および１６×１６個の行列が用いられる。表記の便宜のために、１６×６４（さらに１６×４８に低減されてもよい）変換をＲＳＴ８×８として、１６×１６変換をＲＳＴ４×４として表す。図１１はＲＳＴの例を示す。

図１１は、提案された縮小二次変換（ＲＳＴ）の例を示す。

ＲＳＴ計算

縮小変換（ＲＴ）の主な考えは、Ｎ寸法ベクトルを異なる空間におけるＲ寸法ベクトルにマッピングすることであり、ここで、Ｒ／Ｎ（Ｒ＜Ｎ）が縮小率である。

ＲＴ行列は、Ｒ×Ｎ行列であり、以下の通りである。

変換のＲ個の行は、Ｎ寸法空間のＲ個の基底であるとする。ＲＴのための逆変換行列は、その順方向変換の転置である。順方向および逆方向室温の例を図１２に示す。

図１２は、順方向および逆方向縮小変換の例を示す。

いくつかの実施形態において、４の低減係数（１／４のサイズ）を有するＲＳＴ８×８が適用される。従って、従来の８×８の非可分変換行列サイズである６４×６４の代わりに、１６×６４の直接行列が使用される。すなわち、デコーダ側において、６４×１６逆ＲＳＴ行列を使用して、８×８の左上の領域にコア（一次）変換係数を生成する。順ＲＳＴ８×８は、１６×６４（または８×８ブロックの場合、８×６４）個の行列を使用し、所与の８×８領域内の左上の４×４領域のみに非ゼロ係数を生成する。換言すると、ＲＳＴが適用される場合、左上の４×４領域を除く８×８領域は、ゼロ係数のみを有することになる。ＲＳＴ４×４の場合、１６×１６（または４×４ブロックの場合、８×１６）個の直接行列乗算が適用される。

以下の２つの条件を満たす場合、条件付きで反転ＲＳＴを適用する。

ａ．ブロックサイズが所与の閾値以上である（Ｗ＞＝４＆Ｈ＞＝４）。

ｂ．変換スキップモードフラグがゼロである。

変換係数ブロックの幅（Ｗ）および高さ（Ｈ）の両方が４よりも大きい場合、ＲＳＴ８×８を変換係数ブロックの左上の８×８個の領域に適用する。そうでない場合、ＲＳＴ４×４が、変換係数ブロックの左上の最小（８，Ｗ）×最小（８，Ｈ）領域に適用される。

ＲＳＴインデックスが０である場合、ＲＳＴは適用されない。そうでない場合、ＲＳＴが適用され、そのカーネルにＲＳＴインデックスが選択される。ＲＳＴ選択方法およびＲＳＴインデックスの符号化については後述する。

さらに、ＲＳＴは、イントラスライスおよびインタースライスの両方において、且つ輝度およびクロマの両方に対して適用される。デュアルツリーが有効化される場合、輝度およびクロマのためのＲＳＴインデックスは、別個に信号通知される。インタースライス（デュアルツリーが無効化される）の場合、単一のＲＳＴインデックスが信号通知され、輝度およびクロマの両方に使用される。

いくつかの実施形態において、新しいイントラ予測モードとして、イントラサブパーティション（ＩＳＰ）を採用した。ＩＳＰモードが選択された場合、すべての実行可能な分割ブロックにＲＳＴが適用されたとしても、性能の向上は限界であったため、ＲＳＴは無効化され、ＲＳＴインデックスは信号通知されない。さらに、ＩＳＰ予測された残差のためにＲＳＴを無効化することにより、符号化の複雑性を低減してもよい。

ＲＳＴ選択

ＲＳＴ行列は、４つの変換セットから選択され、各々の変換セットは２つの変換からなる。どの変換セットを適用するかは、イントラ予測モードから以下のように判定される。

（１） ３つのＣＣＬＭモードの１つが示された場合、変換セット０が選択される。

（２） そうでない場合、次の表に従って、変換セットの選択を行う。

ＩｎｔｒａＰｒｅｄＭｏｄｅと呼ばれる、表にアクセスするためのインデックスは、広角イントラ予測に使用される変換済みモードインデックスである、［－１４，８３］の範囲を有する。

縮小寸法のＲＳＴ行列

さらに簡単にすると、同じ変換セット構成を有する１６×６４個の行列の代わりに１６×４８個の行列を適用し、各々の行列は、右下４×４ブロック（図１３）を除く左上８×８ブロックの３つの４×４ブロックから４８個の入力データを取り込む。

図１３は、１６×４８行列を有する順方向ＲＳＴ８×８処理の例を示す。

ＲＳＴ信号通知

Ｒ＝１６の順方向ＲＳＴ８×８は、１６×６４行列を使用し、所与の８×８領域内の左上の４×４領域のみに非ゼロ係数を生成する。換言すると、ＲＳＴが適用される場合、左上の４×４領域を除く８×８領域は、ゼロ係数のみを生成する。その結果、左上の４×４（図１４に示す）以外の８×８ブロック領域内にいずれかの非ゼロ要素が検出された場合、ＲＳＴが適用されなかったことを意味するため、ＲＳＴインデックスは符号化されない。このような場合、ＲＳＴインデックスはゼロであると推測される。

図１４は、非ゼロ要素のために位置１７～６４を走査する例を示す。

ゼロ化範囲

通常、４×４サブブロックに対して反転ＲＳＴを適用する前に、４×４サブブロックにおける任意の係数は、非ゼロであってもよい。しかしながら、場合によっては、サブブロックに反転ＲＳＴを適用する前に、４×４サブブロックにおけるいくつかの係数がゼロでなければならないことに留意されたい。

ｎｏｎＺｅｒｏＳｉｚｅを変数とする。なお、ＲＳＴを反転させる前に１－Ｄ配列に並び替える場合、インデックスがｎｏｎＺｅｒｏＳｉｚｅ以上の係数は、いずれも０である必要がある。

ｎｏｎＺｅｒｏＳｉｚｅが１６である場合、左上の４×４サブブロックにおける係数にゼロ化制約はない。

いくつかの実施形態において、現在のブロックのサイズが４×４または８×８であるとき、ｎｏｎＺｅｒｏＳｉｚｅは８に設定する。他のブロック寸法の場合、ｎｏｎＺｅｒｏＳｉｚｅは１６に設定する。

ＲＳＴの例の説明

以下の表および説明において、本明細書に記載される特定の実施形態に適応するように、現在の構文に加えられる可能性がある変更を示すために、太字のイタリック体が使用される。

シーケンスパラメータセットＲＢＳＰ意味論
・・・・・・
ｓｐｓ＿ｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ１が等しい場合、ｓｔ＿ｉｄｘがイントラ符号化ユニットの残差符号化構文に含まれている可能性があり、ｓｐｓ＿ｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０である場合、ｓｔ＿ｉｄｘがイントラ符号化ユニットの残差符号化構文に含まれていないことを示す。
・・・・・・

符号化ユニット構文
・・・・・・
ｓｔ＿ｉｄｘ［ｘ０］［ｙ０］選択された変換セットにおける２つの候補カーネル間にどの二次変換カーネルを適用するかを示す。ｓｔ＿ｉｄｘ［ｘ０］［ｙ０］が０である場合、二次変換を適用しないことを示す。配列インデックスｘ０，ｙ０は、ピクチャの左上サンプルに対する、考慮される変換ブロックの左上サンプルの位置（ｘ０，ｙ０）を規定する。
ｓｔ＿ｉｄｘ［ｘ０］［ｙ０］が存在しない場合、ｓｔ＿ｉｄｘ［ｘ０］［ｙ０］は０に等しいと推測される。

スケーリングされた変換係数の変換処理

一般

この処理への入力は以下の通りである。
－ 現在のピクチャの左上の輝度サンプルに対する現在の輝度変換ブロックの左上のサンプルを規定する輝度位置（ｘＴｂＹ，ｙＴｂＹ）
現在の変換ブロックの幅を規定する変数ｎＴｂＷ、
現在の変換ブロックの高さを規定する変数ｎＴｂＨ、
－ 現在のブロックの色成分を規定する変数ｃＩｄｘ、
－ スケーリングされた変換係数の（ｎＴｂＷ）ｘ（ｎＴｂＨ）ａｒｒａｙ ｄ［ｘ］［ｙ］、但しｘ＝０．．ｎＴｂＷ－１，ｙ＝０．．ｎＴｂＨ－１．

この処理の出力は、残差サンプルの（ｎＴｂＷ）ｘ（ｎＴｂＨ）配列ｒ［ｘ］［ｙ］である。但し、ｘ＝０．．ｎＴｂＷ－１、ｙ＝０．．ｎＴｂＨ－１

ｓｔ＿ｉｄｘ［ｘＴｂＹ］［ｙＴｂＹ］が０でない場合、以下が適用される。
１． 変数ｎＳｔＳｉｚｅ、ｌｏｇ２ＳｔＳｉｚｅ、ｎｕｍＳｔＸ、ｎｕｍＳｔＹ、およびｎｏｎＺｅｒｏＳｉｚｅは、以下のように導出される。
－ ｎＴｂＷおよびｎＴｂＨの両方が８以上である場合、ｌｏｇ２ＳｔＳｉｚｅを３に設定し、ｎＳｔＯｕｔＳｉｚｅを４８に設定する。
－ そうでない場合、ｌｏｇ２ＳｔＳｉｚｅを２に設定し、ｎＳｔＯｕｔＳｉｚｅを１６に設定する。
－ ｎＳｔＳｉｚｅを（１＜＜ｌｏｇ２ＳｔＳｉｚｅ）に設定する。
－ ｎＴｂＨが４に等しく、かつｎＴｂＷが８よりも大きい場合、ｎｕｍＳｔＸは２に設定する。
－ そうでない場合、ｎｕｍＳｔＸは１に設定する。
－ ｎＴｂＷが４に等しく、かつｎＴｂＨが８よりも大きい場合、ｎｕｍＳｔＹセットは２である。
－ そうでない場合、ｎｕｍＳｔＹセットは１である。
－ ｎＴｂＷおよびｎＴｂＨの両方が４であるか、またはｎＴｂＷおよびｎＴｂＨの両方が８である場合、ｎｏｎＺｅｒｏＳｉｚｅを８に設定する。
－ そうでない場合、ｎｏｎＺｅｒｏＳｉｚｅは１６に設定する。
２． ｘＳｂＩｄｘ＝０．．ｎｕｍＳｔＸ－１、ｙＳｂＩｄｘ＝０．．ｎｕｍＳｔＹ－１の場合、以下が適用される。
－ ｘ＝０．．ｎｏｎＺｅｒｏＳｉｚｅ－１の場合の変数配列ｕ［ｘ］は、次のように導出される。
ｘＣ＝（ｘＳｂＩｄｘ＜＜ｌｏｇ２ＳｔＳｉｚｅ）＋ＤｉａｇＳｃａｎＯｒｄｅｒ［ｌｏｇ２ＳｔＳｉｚｅ］［ｌｏｇ２ＳｔＳｉｚｅ］［ｘ］［０］
ｙＣ＝（ｙＳｂＩｄｘ＜＜ｌｏｇ２ＳｔＳｉｚｅ）＋ＤｉａｇＳｃａｎＯｒｄｅｒ［ｌｏｇ２ＳｔＳｉｚｅ］［ｌｏｇ２ＳｔＳｉｚｅ］［ｘ］［１］
ｕ［ｘ］＝ｄ［ｘＣ］［ｙＣ］
－ ｘ＝０．．ｎｏｎＺｅｒｏＳｉｚｅ－１のｕ［ｘ］は，スケーリングされた変換係数の変換入力長ｎｏｎＺｅｒｏＳｉｚｅ，変換出力長ｎＳｔＯｕｔＳｉｚｅ，ｘ＝０．．ｎｏｎＺｅｒｏＳｉｚｅ－１のリストｕ［ｘ］の入力として，８．７．４．４で規定された一次元変換処理を起動することにより、ｎｏｎＺｅｒｏＳｉｚｅ－１，変換セット選択用インデックスｓｔＰｒｅｄＭｏｄｅＩｎｔｒａ、変換セット内の変換選択用インデックスｓｔ＿ｉｄｘ［ｘＴｂＹ］［ｙＴｂＹ］を入力として、また、ｘ＝０．．．ｎＳｔＯｕｔＳｉｚｅ－１のリストｖ［ｘ］を出力として、ｘ＝０．．ｎＳｔＯｕｔＳｉｚｅ－１の変数配列ｖ［ｘ］に変換される。変数ｓｔＰｒｅｄＭｏｄｅＩｎｔｒａは、ｃｌａｕｓｅ８．４．４．２．１に規定されるｐｒｅｄＭｏｄｅＩｎｔｒａに設定される。
－ 配列ｄ［（ｘＳｂＩｄｘ＜＜ｌｏｇ２ＳｔＳｉｚｅ）＋ｘ］［（ｙＳｂＩｄｘ＜＜＜ｌｏｇ２ＳｔＳｉｚｅ）＋ｙ］ｗｉｔｈｘ＝０．．ｎＳｔＳｉｚｅ－１，ｙ＝０．．ｎＳｔＳｉｚｅ－１は、以下のように導出される。
－ ｓｔＰｒｅｄＭｏｄｅＩｎｔｒａが３４以下であるか、またはＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｔ＿ＣＣＬＭ、またはＩＮＴＲＡ＿Ｌ＿ＣＣＬＭである場合、以下が適用される。
ｄ［（ｘＳｂＩｄｘ＜＜ｌｏｇ２ＳｔＳｉｚｅ）＋ｘ］［（ｙＳｂＩｄｘ＜＜ｌｏｇ２ＳｔＳｉｚｅ）＋ｙ］＝
（ｙ＜４）？ｖ［ｘ＋（ｙ＜＜ｌｏｇ２ＳｔＳｉｚｅ）］：（（ｘ＜４）？ｖ［３２＋ｘ＋（（ｙ－４）＜＜２）］：
ｄ［（ｘＳｂＩｄｘ＜＜ｌｏｇ２ＳｔＳｉｚｅ）＋ｘ］［（ｙＳｂＩｄｘ＜＜ｌｏｇ２ＳｔＳｉｚｅ）＋ｙ］）
－ そうでない場合、以下が適用される。
ｄ［（ｘＳｂＩｄｘ＜＜ｌｏｇ２ＳｔＳｉｚｅ）＋ｘ］［（ｙＳｂＩｄｘ＜＜ｌｏｇ２ＳｔＳｉｚｅ）＋ｙ］＝
（ｙ＜４）？ｖ［ｙ＋（ｘ＜＜ｌｏｇ２ＳｔＳｉｚｅ）］：（（ｘ＜４）？ｖ［３２＋（ｙ－４）＋（ｘ＜＜２）］：
ｄ［（ｘＳｂＩｄｘ＜＜ｌｏｇ２ＳｔＳｉｚｅ）＋ｘ］［（ｙＳｂＩｄｘ＜＜ｌｏｇ２ＳｔＳｉｚｅ）＋ｙ］）

二次変換処理

この処理への入力は以下の通りである。
－ 変換出力の長さを規定する変数ｎＴｒＳ、
－ 変換入力の長さを規定する変数ｎｏｎＺｅｒｏＳｉｚｅ、
－ ｊ＝０．．ｎｏｎＺｅｒｏＳｉｚｅ－１の場合の変換入力ｘ［ｊ］のリスト、
－ 変換セットを選択するためのインデックスを規定する変数ｓｔＰｒｅｄＭｏｄｅＩｎｔｒａ、
－ １つのセットにおける変換選択のためのインデックスを規定する変数ｓｔＩｄｘ。

この処理の出力は、変換されたサンプルｙ［ｉ］のリストであり、この場合、ｉ＝０．．ｎＴｒＳ－１である。
８．７．４．５章で規定されている変換行列の導出処理は、入力として変換出力長ｎＴｒＳ、変換セット選択用インデックスｓｔＰｒｅｄＭｏｄｅＩｎｔｒａ、変換セット内の変換選択用インデックスｓｔＩｄｘ、出力として変換行列ｓｅｃＴｒａｎｓＭａｔｒｉｘを用いて行われる。
ｉ＝０．．ｎＴｒＳ－１とした場合、変換済みサンプルのリストｙ［ｉ］は、以下のように導出される。

二次変換マトリックス導出処理

この処理への入力は以下の通りである。
－ 変換出力の長さを規定する変数ｎＴｒＳ、
－ 変換セットを選択するためのインデックスを規定する変数ｓｔＰｒｅｄＭｏｄｅＩｎｔｒａ、
－ 指定された変換セットにおける変換選択のためのインデックスを規定する変数ｓｔＩｄｘ。

この処理の出力が変換行列ｓｅｃＴｒａｎｓＭａｔｒｉｘである。
変数ｓｔＴｒＳｅｔＩｄｘは、以下のように導出される。

変換行列ｓｅｃＴｒａｎｓＭａｔｒｉｘは、ｎＴｒＳ、ｓｔＴｒＳｅｔＩｄｘ、ｓｔＩｄｘに基づいて、以下のように導出される。
－ ｎＴｒＳが１６であり、ｓｔＴｒＳｅｔＩｄｘが０であり、ｓｔＩｄｘが１である場合、以下が適用される。
ｓｅｃＴｒａｎｓＭａｔｒｉｘ［ｍ］［ｎ］＝・・・
－ ｎＴｒＳが１６であり、ｓｔＴｒＳｅｔＩｄｘが０であり、ｓｔＩｄｘが２である場合、以下が適用される。
ｓｅｃＴｒａｎｓＭａｔｒｉｘ［ｍ］［ｎ］＝・・・
－ ｎＴｒＳが１６であり、ｓｔＴｒＳｅｔＩｄｘが１であり、ｓｔＩｄｘが１である場合、以下が適用される。
ｓｅｃＴｒａｎｓＭａｔｒｉｘ［ｍ］［ｎ］＝・・・
－ ｎＴｒＳが１６であり、ｓｔＴｒＳｅｔＩｄｘが１であり、ｓｔＩｄｘが２である場合、以下が適用される。
ｓｅｃＴｒａｎｓＭａｔｒｉｘ［ｍ］［ｎ］＝・・・
－ ｎＴｒＳが１６であり、ｓｔＴｒＳｅｔＩｄｘが２であり、ｓｔＩｄｘが１である場合、以下が適用される。
ｓｅｃＴｒａｎｓＭａｔｒｉｘ［ｍ］［ｎ］＝・・・
－ ｎＴｒＳが１６であり、ｓｔＴｒＳｅｔＩｄｘが２であり、ｓｔＩｄｘが２である場合、以下が適用される。
ｓｅｃＴｒａｎｓＭａｔｒｉｘ［ｍ］［ｎ］＝・・・
－ ｎＴｒＳが１６であり、ｓｔＴｒＳｅｔＩｄｘが３であり、ｓｔＩｄｘが１である場合、以下が適用される。
ｓｅｃＴｒａｎｓＭａｔｒｉｘ［ｍ］［ｎ］＝・・・
－ ｎＴｒＳが１６であり、ｓｔＴｒＳｅｔＩｄｘが３であり、ｓｔＩｄｘが２である場合、以下が適用される。
ｓｅｃＴｒａｎｓＭａｔｒｉｘ［ｍ］［ｎ］＝・・・
－ ｎＴｒＳが４８であり、ｓｔＴｒＳｅｔＩｄｘが０であり、ｓｔＩｄｘが１である場合、以下が適用される。
ｓｅｃＴｒａｎｓＭａｔｒｉｘ［ｍ］［ｎ］＝・・・
－ ｎＴｒＳが４８であり、ｓｔＴｒＳｅｔＩｄｘが０であり、ｓｔＩｄｘが２である場合、以下が適用される。
ｓｅｃＴｒａｎｓＭａｔｒｉｘ［ｍ］［ｎ］＝・・・
－ ｎＴｒＳが４８であり、ｓｔＴｒＳｅｔＩｄｘが１であり、ｓｔＩｄｘが１である場合、以下が適用される。
ｓｅｃＴｒａｎｓＭａｔｒｉｘ［ｍ］［ｎ］＝・・・
－ ｎＴｒＳが４８であり、ｓｔＴｒＳｅｔＩｄｘが１であり、ｓｔＩｄｘが２である場合、以下が適用される。
ｓｅｃＴｒａｎｓＭａｔｒｉｘ［ｍ］［ｎ］＝・・・
－ ｎＴｒＳが４８であり、ｓｔＴｒＳｅｔＩｄｘが２であり、ｓｔＩｄｘが１である場合、以下が適用される。
ｓｅｃＴｒａｎｓＭａｔｒｉｘ［ｍ］［ｎ］＝・・・
－ ｎＴｒＳが４８であり、ｓｔＴｒＳｅｔＩｄｘが２であり、ｓｔＩｄｘが２である場合、以下が適用される。
ｓｅｃＴｒａｎｓＭａｔｒｉｘ［ｍ］［ｎ］＝・・・
－ ｎＴｒＳが４８であり、ｓｔＴｒＳｅｔＩｄｘが３であり、ｓｔＩｄｘが１である場合、以下が適用される。
ｓｅｃＴｒａｎｓＭａｔｒｉｘ［ｍ］［ｎ］＝・・・
－ ｎＴｒＳが４８であり、ｓｔＴｒＳｅｔＩｄｘが３であり、ｓｔＩｄｘが２である場合、以下が適用される。
ｓｅｃＴｒａｎｓＭａｔｒｉｘ［ｍ］［ｎ］＝・・・

２．１１ ＨＥＶＣにおける逆量子化のクリッピング

ＨＥＶＣにおいて、スケーリングされた変換係数ｄ’は、ｄ’＝Ｃｌｉｐ３（ｃｏｅｆｆＭｉｎ，ｃｏｅｆｆＭａｘ，ｄ）として計算され、式中、ｄは、クリッピング前のスケーリングされた変換係数である。

輝度成分の場合、ｃｏｅｆｆＭｉｎ＝ＣｏｅｆｆＭｉｎＹ；ｃｏｅｆｆＭａｘ＝ＣｏｅｆｆＭａｘＹとなる。クロマ成分の場合、ｃｏｅｆｆＭｉｎ＝ＣｏｅｆｆＭｉｎＣ；ｃｏｅｆｆＭａｘ＝ＣｏｅｆｆＭａｘＣ；となる。ここで、以下である。

ＣｏｅｆｆＭｉｎＹ＝－（１＜＜（ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇ？Ｍａｘ（１５，ＢｉｔＤｅｐｔｈＹ＋６）：１５））

ＣｏｅｆｆＭｉｎＣ＝－（１＜＜（ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇ？Ｍａｘ（１５，ＢｉｔＤｅｐｔｈＣ＋６）：１５））

ＣｏｅｆｆＭａｘＹ＝（１＜＜（ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇ？Ｍａｘ（１５，ＢｉｔＤｅｐｔｈＹ＋６）：１５））－１

ＣｏｅｆｆＭａｘＣ＝（１＜＜（ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇ？Ｍａｘ（１５，ＢｉｔＤｅｐｔｈＣ＋６）：１５））－１

ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇは、ＳＰＳにおいて信号通知される構文要素である。

２．１２ アフィン線形重み付きイントラ予測（ＡＬＷＩＰ、別名行列ベースイントラ予測、ＭＩＰ）

いくつかの実施形態において、２回の試験が行われる。テスト１において、ＡＬＷＩＰは、８Ｋバイトのメモリ制限と、１サンプル当たり最大４回の乗算とを備えるように設計される。テスト２は、テスト１と同様であるが、メモリ要件およびモデルアーキテクチャの点で設計をさらに簡略化する。

＊ すべてのブロック形状のための単一のセットの行列およびオフセットベクトル。

＊ すべてのブロック形状に対してモード数を１９に減らす。

＊ メモリ要件を５７６０個の１０ビット値、すなわち７．２０キロバイトに低減する。

＊ 予測サンプルの線形補間は、第１のテストにおけるような反復補間に取って代わって、１つの方向につき１つのステップで行われる。

２．１３ サブブロック変換

ｃｕ＿ｃｂｆが１である相互予測ＣＵの場合、ｃｕ＿ｓｂｔ＿ｆｌａｇは、残差ブロック全体または残差ブロックのサブ部分が復号化されたかどうかを示すように信号通知されてもよい。前者の場合、インターＭＴＳ情報をさらに構文解析し、ＣＵの変換タイプを判定する。後者の場合、残差ブロックの一部は推測適応変換で符号化され、残差ブロックの他の部分はゼロ化される。ＳＢＴは、コンバインドインターイントラモードには適用されない。

サブブロック変換において、ＳＢＴ－ＶおよびＳＢＴ－Ｈ（常にＤＣＴ－２を使用するクロマＴＢ）における輝度変換ブロックに対して位置依存変換が適用される。ＳＢＴ－ＨとＳＢＴ－Ｖの２つの位置は、異なるコア変換に関連付けられる。具体的には、ＳＢＴ位置ごとに水平方向および垂直方向の変換を図１５で規定する。例えば、ＳＢＴ－Ｖ位置０の水平および垂直変換は、それぞれＤＣＴ－８およびＤＳＴ－７である。残差ＴＵの片側が３２よりも大きい場合、対応する変換をＤＣＴ－２として設定する。従って、サブブロック変換は、１つのブロックのＴＵタイリング、ｃｂｆ、並びに残差ブロックの水平および垂直変換を一緒に規定し、これは、１つのブロックの主な残差がこのブロックの片側にある場合の構文ショートカットと見なすことができる。

図１５は、サブブロック変換モードＳＢＴ－ＶおよびＳＢＴ－Ｈを示す。

３．実施形態が解決しようとする課題の例

現在の設計において、以下のような問題がある。

（１） ＭＴＳ／ＲＳＴにおけるクリッピングおよびシフト／丸め演算は、最適でない場合がある。

（２） ２つの隣接する４×４ブロックに適用されるＲＳＴは、コストがかかる場合がある。

（３） ＲＳＴは、異なる色成分に対して異なる方法で行われてもよい。

（４） ＲＳＴは、スクリーンコンテンツの符号化にはうまく機能しない場合がある。

（５） ＲＳＴと他の符号化ツールとの間の相互作用は不明である。

（６） ＲＳＴの変換行列をより効率的に記憶させてもよい。

（７） ＲＳＴに量子化行列をどのように適用するかは不明である。

４． 例示的な実施形態および技術

以下に列記される実施形態は、一般的な概念を説明するための例であると考えられるべきである。これらの実施形態は狭い意味で解釈されるべきではない。さらに、これらの実施形態は、任意の方法で組み合わせることができる。

以下の説明において、符号化された情報には、予測モード（例えば、イントラ／インター／ＩＢＣモード）、動きベクトル、参照ピクチャ、インター予測方向、イントラ予測モード、コンバインドイントラインター予測（ＣＩＩＰ）モード、ＩＳＰモード、アフィンイントラモード、採用されている変換コア、変換スキップフラグなど、例えば、ブロックを符号化する際に必要な情報が含まれていてもよい。

以下の説明において、ＳａｔＳｈｉｆｔ（ｘ，ｎ）は、以下のように定義される。

Ｓｈｉｆｔ（ｘ，ｎ）は、Ｓｈｉｆｔ（ｘ，ｎ）＝（ｘ＋ｏｆｆｓｅｔ０）＞＞ｎとして定義される。

一例において、ｏｆｆｓｅｔ０および／またはｏｆｆｓｅｔ１は、（１＜＜ｎ）＞＞１または（１＜＜（ｎ－１））に設定される。別の例において、ｏｆｆｓｅｔ０および／またはｏｆｆｓｅｔ１は、０に設定される。

別の例において、ｏｆｆｓｅｔ０＝ｏｆｆｓｅｔ１＝（（１＜＜ｎ）＞＞１）－１または（（１＜＜（ｎ－１）））－１である。

Ｃｌｉｐ３（ｍｉｎ，ｍａｘ，ｘ）は、以下のように定義される。

１． ＲＳＴを反転させた後は、出力値を［ＭｉｎＣｏｅｆ，ＭａｘＣｏｅｆ］の範囲にクリップするべきであり、ここで、ＭｉｎＣｏｅｆおよび／またはＭａｘＣｏｅｆは、可変であってもよい２つの整数値である。
ａ． 一例において、逆量子化後の係数を［ＱＭｉｎＣｏｅｆ，ＱＭａｘＣｏｅｆ］の範囲に包括的にクリップすると、ＭｉｎＣｏｅｆはＱＭｉｎＣｏｅｆに等しく設定されてもよく、および／またはＭａｘＣｏｅｆはＱＭａｘＣｏｅｆに設定されてもよい。
ｂ． 一例において、ＭｉｎＣｏｅｆおよび／またはＭａｘＣｏｅｆは、色成分に依存してもよい。
ｉ． 一例において、ＭｉｎＣｏｅｆおよび／またはＭａｘＣｏｅｆは、対応する色成分のビット深度に依存してもよい。
ｃ． 一例において、ＭｉｎＣｏｅｆおよび／またはＭａｘＣｏｅｆは、ブロック形状（例えば、正方形または非正方形）および／またはブロック寸法に依存してもよい。
ｄ． 一例において、ＳＰＳ、ＰＰＳ、スライスヘッダ／タイルグループヘッダ／ＣＴＵ／ＣＵ等において、ＭｉｎＣｏｅｆおよび／またはＭａｘＣｏｅｆの候補値の値または選択が信号通知してもよい。
ｅ． 一例において、輝度成分の場合、ＭｉｎＣｏｅｆおよび／またはＭａｘＣｏｅｆは、以下のように導出してもよい。
ＭｉｎＣｏｅｆ＝－（１＜＜（ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇ？Ｍａｘ（１５，ＢｉｔＤｅｐｔｈＹ＋６）：１５））
ＭａｘＣｏｅｆ＝（１＜＜（ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇ？Ｍａｘ（１５，ＢｉｔＤｅｐｔｈＹ＋６）：１５））－１
、ここで、ＢｉｔＤｅｐｔｈＹは、輝度成分のビット深度であり、ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇは、ＳＰＳなどにおいて信号通知してもよい。
ｆ． 一例において、成分として、ＭｉｎＣｏｅｆおよび／またはＭａｘＣｏｅｆは、以下のように導出してもよい。
ＭｉｎＣｏｅｆ＝－（１＜＜（ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇ？Ｍａｘ（１５，ＢｉｔＤｅｐｔｈＣ＋６）：１５））
ＭａｘＣｏｅｆ＝（１＜＜（ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇ？Ｍａｘ（１５，ＢｉｔＤｅｐｔｈＣ＋６）：１５））－１，
ここで、ＢｉｔＤｅｐｔｈＣはクロマ成分のビット深度であり、ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇは、ＳＰＳなどにおいて信号通知してもよい。
ｇ． いくつかの実施形態において、ＭｉｎＣｏｅｆは、－（１＜＜１５）であり、ＭａｘＣｏｅｆは、（１＜＜１５）－１である。
ｈ． 一例において、適合ビットストリームは、順方向ＲＳＴの後の変換係数が所与の範囲内にあることを満足するものとする。

２． Ｍ×Ｎ個の係数サブブロックに対して順方向ＲＳＴを適用するおよび／またはＲＳＴを反転させる方法は、順方向ＲＳＴおよび／または反転ＲＳＴが例えばＭ＝Ｎ＝４に適用されるサブブロックの数に依存してもよいことが提案される。
ａ． 一例において、ゼロ化範囲は、ＲＳＴが適用されるサブブロックインデックスに依存してもよい。
ｉ． 代替的に、ゼロ化範囲は、ＲＳＴが適用されるサブブロックの数に依存してもよい。
ｂ． 一例において、１つの係数ブロック全体において、順方向ＲＳＴを適用するおよび／またはＲＳＴを反転させるＳ個のサブブロックが存在する場合、第１のサブブロックおよび第２のサブブロックの係数に順方向ＲＳＴを適用するおよび／またはＲＳＴを反転させる方法は異なってもよく、この場合、Ｓ＜１、例えば、Ｓ＝２である。例えば、第１のＭ×Ｎサブブロックは、左上のＭ×Ｎサブブロックであってもよい。
ｉ． 一例において、２．１０章に記載するようなｎｏｎＺｅｒｏＳｉｚｅは、第１のＭ×Ｎ個の係数サブブロック（ｎｏｎＺｅｒｏＳｉｚｅ０と表される）と、第２のＭ×Ｎ個の係数サブブロック（ｎｏｎＺｅｒｏＳｉｚｅ１と表される）とで異なってもよい。
１） 一例において、ｎｏｎＺｅｒｏＳｉｚｅ０は、ｎｏｎＺｅｒｏＳｉｚｅ１よりも大きくてもよい。例えば、ｎｏｎＺｅｒｏＳｉｚｅ０＝１６およびｎｏｎＺｅｒｏＳｉｚｅ１＝８である。
ｉｉ． 一例において、２．１０章に記載されるようなｎｏｎＺｅｒｏＳｉｚｅは、前方ＲＳＴおよび／または反転ＲＳＴが適用されるべき１つのＭ×Ｎサブブロックのみである場合、または前方ＲＳＴおよび／または反転ＲＳＴが適用されるべき２つ以上のＭ×Ｎサブブロックがある場合には異なっていてもよい。
１） 一例において、順方向ＲＳＴおよび／または逆方向ＲＳＴに適用されるべきＭ×Ｎ個のサブブロックが複数ある場合、ｎｏｎＺｅｒｏＳｉｚｅは８に等しくてもよい。

３． 現在のブロックのサイズが４×ＨまたはＷ×４であり、Ｈ＞８であり、Ｗ＞８である場合、１つのＭ×Ｎ個のサブブロック（例えば、左上のＭ×Ｎ個のサブブロック）の係数のみに順方向ＲＳＴを適用し、且つ／またはＲＳＴを逆にすることが提案される。例えば、Ｍ＝Ｎ＝４
ａ． 一例において、Ｈ＞Ｔ１および／またはＷ＞Ｔ２、例えば、Ｔ１＝Ｔ２＝１６である場合、順方向ＲＳＴおよび／または反転ＲＳＴは、１つのＭ×Ｎ個の係数サブブロックのみに適用される。
ｂ． 一例において、Ｈ＜Ｔ１および／またはＷ＜Ｔ２、例えばＴ１＝Ｔ２＝３２である場合、順方向ＲＳＴおよび／または逆方向ＲＳＴは、１つのＭ×Ｎ個の係数サブブロックのみに適用される。
ｃ． 一例において、順方向ＲＳＴおよび／または逆方向ＲＳＴは、すべてのＨ＞８および／またはＷ＞８の場合、１つのＭ×Ｎ個の係数サブブロックのみに適用される。
ｄ． 一例において、現在のブロックのサイズがＭ×ＨまたはＷ×Ｎであり、ここで、Ｈ≧Ｎであり、Ｗ≧Ｍである場合、順方向ＲＳＴおよび／または逆方向ＲＳＴは、１つのＭ×Ｎ個のサブブロック（例えば、左上のＭ×Ｎ個のサブブロック）のみに適用される。例えば、Ｍ＝Ｎ＝４

４． ＲＳＴは、非正方形領域に適用されてもよい。領域のサイズをＫ×Ｌで表し、この場合、ＫがＬと等しくないとする。
ａ． さらに、代替的に、非ゼロ係数の最大数が満たされるように、順方向ＲＳＴの後に変換係数にゼロ化を適用してもよい。
ｉ． 一例において、変換係数が左上のＭ×Ｍ領域の外側に位置し、ＭがＫ以下であり、ＭがＬよりも大きくない場合、変換係数は０に設定してもよい。

５． ２つの隣接するＭ×Ｎ個のサブブロックにおける係数が、単一の順方向ＲＳＴおよび／または逆方向ＲＳＴに関与し得ることが提案される。例えば、Ｍ＝Ｎ＝４。
ａ． 一例において、以下のような１つ以上の動作は、エンコーダにおいて実行してもよい。動作は順に従って実行してもよい。
ｉ． ２つの隣接するＭ×Ｎ個のサブブロックにおける係数を、２×Ｍ×Ｎ個の要素を有する１－Ｄベクトルに再配置する。
ｉｉ． １－Ｄベクトルに、２×Ｍ×Ｎ列、Ｍ×Ｎ行（またはＭ×Ｎ列、２×Ｍ×Ｎ行）の変換行列を有する順方向ＲＳＴを適用する。
ｉｉｉ． Ｍ×Ｎ個の要素を有する変換された１－Ｄベクトルは、第１のＭ×Ｎ個のサブブロック（例えば、左上のサブブロック）に再配置する。
ｉｖ． 第２のＭ×Ｎサブブロックにおけるすべての係数は、ゼロとして設定してもよい。
ｂ． 一例において、以下のような１つ以上の動作は、デコーダにおいて実行してもよい。動作は順に従って実行してもよい。
ｉ． 第１のＭ×Ｎサブブロック（例えば、左上のサブブロック）における係数を、Ｍ×Ｎ個の要素を有する１－Ｄベクトルに再配置する。
ｉｉ． １－Ｄベクトルに、Ｍ×Ｎ列、２×Ｍ×Ｎ行（または２×Ｍ×Ｎ列、Ｍ×Ｎ行）の変換行列を有する反転ＲＳＴを適用する。
ｉｉｉ． ２×Ｍ×Ｎ個の要素を有する変換された１－Ｄベクトルを、２つの隣接するＭ×Ｎ個のサブブロックに再配置する。
ｃ． 一例において、１つのブロックは、Ｋ（Ｋ＞１）個のサブブロックに分割されてもよく、主メジャーおよび二次変換は、共に、サブブロックレベルで行ってもよい。

６． ゼロ化範囲（例えば、２．１０章に記載のように、ｎｏｎＺｅｒｏＳｉｚｅ）は、色成分に依存してもよい。
ａ． 一例において、同じブロック寸法の場合、輝度およびクロマ成分の場合、この範囲が異なってもよい。

７． ゼロ化範囲（例えば、２．１０章に記載されるようなｎｏｎＺｅｒｏＳｉｚｅ）は、符号化された情報に依存してもよい。
ａ． 一例において、それは、イントラモードまたは非イントラモード等の符号化モードに依存してもよい。
ｂ． 一例において、それは、符号化モード、例えば、イントラモード、インターモード、またはＩＢＣモードに依存してもよい。
ｃ． 一例において、それは参照ピクチャ／動き情報に依存してもよい。

８． 具体的なブロック寸法のゼロ化範囲（例えば、２．１０章に記載のように、ｎｏｎＺｅｒｏＳｉｚｅ）は、量子化パラメータ（ＱＰ）に依存してもよいことが提案される。
ａ． 一例において、ＱＰがＱＰＡである場合、ｎｏｎＺｅｒｏＳｉｚｅは非ＺｅｒｏＳｉｚｅＡに等しく、ＱＰがＱＰＢである場合、ｎｏｎＺｅｒｏＳｉｚｅは非ＺｅｒｏＳｉｚｅＢであると仮定する。ＱＰＡがＱＰＢ以上である場合、ｎｏｎＺｅｒｏＳｉｚｅＡはｎｏｎＺｅｒｏＳｉｚｅＢ以下である。
ｂ． 異なるｎｏｎＺｅｒｏＳｉｚｅのために、異なる変換／ｉｎｖ変換行列を使用してもよい。

９． ＳＰＳ、ＰＰＳ、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、ＣＴＵ行、ＣＴＵ、ＣＵ、または任意の映像データユニットなどにおいて、ゼロ化範囲（例えば、２．１０章に記載のようなｎｏｎＺｅｒｏＳｉｚｅ）を信号通知できることが提案される。
ａ． 代替的に、複数の範囲を定義してもよい。そして、ＳＰＳ、ＰＰＳ、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、ＣＴＵの行、ＣＴＵ、ＣＵ等において、どの候補の非ゼロサイズが選択されたかの指示を信号通知してもよい。

１０． ＲＳＴを適用するかどうか、および／またはどのように適用するかは、カラーフォーマット、および／または別個の平面符号化の使用法、および／または色成分に依存してもよい。
ａ． 一例において、ＲＳＴは、クロマ成分（例えば、Ｃｂおよび／またはＣｒ）に適用されなくてもよい。
ｂ． 一例において、カラーフォーマットが４：０：０である場合、ＲＳＴはクロマ成分に適用されなくてもよい。
ｃ． 一例において、別個の平面符号化が使用される場合、ＲＳＴはクロマ成分に適用されなくてもよい。
ｄ． 一例において、特定のブロック寸法のためのｎｏｎＺｅｒｏＳｉｚｅは、色成分に依存してもよい。
ｉ． 一例において、クロマ成分のｎｏｎＺｅｒｏＳｉｚｅは、同じブロック寸法の場合、輝度成分のｎｏｎＺｅｒｏＳｉｚｅより小さくてもよい。

１１． ＲＳＴ制御情報（例えば、ＲＳＴが適用されるかどうか、および／またはどの変換行列グループが選択されるか）は、単一の符号化構造ツリーで符号化される場合、輝度およびクロマ成分について別個に信号通知してもよいことが提案される。

１２． ＲＳＴを適用するかどうか、およびどのように適用するかは、現在のブロックおよび／または近傍のブロックの符号化された情報（例えば、符号化モード）に依存してもよい。
ａ． 一例において、ＲＳＴは、１つまたは複数の特定のイントラ予測モードに使用できない。
ｉ． 例えば、ＬＭモードにＲＳＴを使用できない。
ｉｉ． 例えば、ＬＭ－ＴモードにおいてＲＳＴを使用できない。
ｉｉｉ． 例えば、ＬＭ－ＡモードではＲＳＴを使用できない。
ｉｖ． 例えば、ＲＳＴは、広角イントラ予測モードには使用できない。
ｖ． 例えば、ＲＳＴは、ＢＤＰＣＭモードまたは／およびＤＰＣＭモードまたは／またはＲＢＤＰＣＭモードに使用できない。
ｖｉ． 例えば、ＡＬＷＩＰモードではＲＳＴを使用できない。
ｖｉｉ． 例えば、ＲＳＴは、特定の角度イントラ予測モード（例えば、ＤＣ、平面、垂直、水平等）に使用できない。
ｖｉｉｉ． 例えば、ＲＳＴは、ＬＭモードおよび／またはＬＭ－Ｔモードおよび／またはＬＭ－Ａモードにおける輝度成分に使用してもよいが、クロマ成分には使用されなくてもよい。
ｉｘ． 例えば、ジョイントクロマ残差符号化が適用される場合、ＲＳＴはクロマ成分に使用されなくてもよい。
ｂ． ＲＳＴを適用できない場合、現在のブロックにおける情報関連ＲＳＴを示すための構文要素は、信号通知されなくてもよい。

１３． ＲＳＴは、イントラ符号化されていないブロックに適用されてもよいことが提案される。
ａ． 一例において、ＲＳＴは、インター符号化ブロックに適用してもよい。
ｂ． 一例において、ＲＳＴは、イントラブロックコピー（ＩＢＣ）符号化ブロックに適用してもよい。
ｃ． 一例において、ＲＳＴは、インター・イントラ結合予測（ＣＩＩＰ）で符号化されたブロックに適用してもよい。

１４． ＲＳＴは異なるレベルで制御してもよいことが提案される。
ａ． 例えば、ＲＳＴ（例えば、制御フラグ）が適用可能であるかどうかを示す情報は、ＰＰＳ、スライスヘッダ、ピクチャヘッダ、タイルグループヘッダ、タイル、ＣＴＵ行、ＣＴＵにおいて信号通知してもよい。
ｂ． ＲＳＴが適用可能であるかどうかは、標準的なプロファイル／レベル／層に依存してもよい。

１５． 位置依存イントラ予測組み合わせ（ＰＤＰＣ）が適用されるかどうかは、ＲＳＴが適用されるかどうかに依存してもよいことが提案される。
ａ． 一例において、現在のブロックがＲＳＴを適用した場合、ＰＤＰＣを適用しなくてもよい。
ｂ． 一例において、現在のブロックがＲＳＴを適用した場合、ＰＤＰＣを適用してもよい。
ｃ． 代替的に、ＲＳＴが適用されるかどうかは、ＰＤＰＣが適用されるかどうかに依存してもよい。
ｉ．一例において、ＰＤＰＣが適用される場合、ＲＳＴは適用されない。
ｉｉ． ＲＳＴを適用できない場合、現在のブロックにおける情報関連ＲＳＴを示すための構文要素は、信号通知されなくてもよい。

１６． イントラ予測に使用される近傍のサンプルをフィルタリングするかどうかは、ＲＳＴが適用されるかどうかに依存してもよいことが提案される。
ａ． 一例において、現在のブロックがＲＳＴを適用した場合、近傍のサンプルをフィルタリングしなくてもよい。
ｂ． 一例において、現在のブロックがＲＳＴを適用した場合、近傍のサンプルをフィルタリングしてもよい。
ｃ． 代替的に、ＲＳＴが適用されるかどうかは、イントラ予測に使用される近傍のサンプルがフィルタリングされるかどうかに依存してもよい。
ｉ． 一例において、イントラ予測に使用される近傍のサンプルをフィルタリングする場合、ＲＳＴは適用されない。
ｉｉ． 一例において、イントラ予測に使用される近傍のサンプルをフィルタリングしない場合、ＲＳＴは適用されない。
ｉｉｉ． ＲＳＴを適用できない場合、現在のブロックにおける情報関連ＲＳＴを示すための構文要素は、信号通知されなくてもよい。

１７． 現在のブロックを変換スキップ（ｔｒａｎｓｆｏｒｍ ｓｋｉｐ）で符号化する場合、ＲＳＴを適用してもよいことが提案される。
ａ． 例えば、主変換はスキップされるが、二次変換を依然として適用してもよい。
ｂ． 変換スキップモードで使用される二次変換行列は、非変換スキップモードで使用される二次変換行列とは異なっていてもよい。

１８． ＲＳＴに使用される変換行列は、８未満のビット幅で記憶させてもよいことが提案される。例えば、ＲＳＴに使用される変換行列は、ビット幅６または４で記憶させてもよい。

１９． ＲＳＴに使用される変換行列は、予測方式で記憶させてもよいことが提案される。
ａ． 一例において、ＲＳＴのための第１の変換行列における第１の要素は、ＲＳＴのための第１の変換行列における第２の要素によって予測されてもよい。
ｉ． 例えば、２つの素子の差を記憶させてもよい。
ｉｉ． 例えば、この差は、ビット幅が８未満、例えば６または４で記憶させてもよい。
ｂ． 一例において、ＲＳＴのための第１の変換行列における第１の要素は、ＲＳＴのための二次変換行列における第２の要素によって予測されてもよい。
ｉ． 例えば、２つの素子の差を記憶させてもよい。
ｉｉ． 例えば、この差は、ビット幅が８未満、例えば６または４で記憶させてもよい。

２０． ＲＳＴのための第１の変換行列は、ＲＳＴのための二次変換行列から導出してもよいことが提案される。
ａ． 一例において、ＲＳＴのための二次変換行列の部分要素を抽出し、ＲＳＴのための第１の変換行列を構築してもよい。
ｂ． 一例において、ＲＳＴのための第１の変換行列は、ＲＳＴのための二次変換行列の全体または一部を回転または反転させることによって導出されてもよい。
ｃ． 一例において、ＲＳＴのための第１の変換行列は、ＲＳＴのための二次変換行列に対してダウンサンプリングまたはアップサンプリングを行うことによって導出される。

２１． 現在のブロックにおける情報に関連するＲＳＴを示すための構文要素は、剰余（変換されてもよい）を信号通知する前に、信号通知してもよいことが提案される。
ａ． 一例において、情報関連ＲＳＴの信号通知は、残差を構文解析する時に計数される非ゼロまたはゼロ係数に依存しなくてもよい。
ｂ． 一例において、残差を構文解析する時に、非ゼロまたはゼロ係数を計数しなくてもよい。
ｃ． 一例において、ＲＳＴによってすべてゼロに設定されたサブブロックのための符号化ブロックフラグ（ｃｂｆ）は、信号通知されず、０であると推測してもよい。
ｄ． 一例において、ＲＳＴによってゼロに設定された係数の有意なフラグは、信号通知されず、０であると推測してもよい。
ｅ． 剰余ブロックを構文解析するための走査順序は、ＲＳＴを適用するかどうか、およびどのように適用するかに依存してもよい。
ｉ． 一例において、ＲＳＴによってゼロに設定された係数は、走査されなくてもよい。
ｆ． 剰余ブロックを構文解析する算術符号化コンテキストは、ＲＳＴを適用するかどうか、およびどのように適用するかに依存してもよい。

２２． 量子化行列を適用するかどうか、およびどのように適用するかは、ＲＳＴを適用するかどうか、およびどのように適用するかに依存してもよいことが提案される。
ａ． 一例において、ＲＳＴが適用されるかどうかに関わらず、異なる量子化行列が適用されてもよい。
ｂ． 代替的に、ＲＳＴを適用するかどうか、およびどのように適用するかは、量子化行列を適用するかどうか、およびどのように適用するかに依存してもよい。
ｉ． 一例において、ブロックに量子化行列を適用する場合、ＲＳＴを適用しなくてもよい。

２３． 量子化された係数／残差にＲＳＴを適用してもよいことが提案される。
ａ． 一例において、ＲＳＴは、変換スキップが使用される場合、残差に適用されてもよい。
ｂ． 一例において、ＲＳＴは、１つのブロックの量子化変換係数に適用されてもよい。
２４． ＲＳＴはサブブロック変換ブロックに適用されてもよいことが提案される。
ａ． 一例において、ＲＳＴは、サブブロック変換によって生成された左上の係数に適用してもよい。

図１６は、映像処理装置１６００のブロック図である。装置１６００は、本明細書に記載の方法の１つ以上を実装するために使用してもよい。装置１６００は、スマートフォン、タブレット、コンピュータ、ＩｏＴ（モノのインターネット）受信機等により実施されてもよい。装置１６００は、１つ以上の処理装置１６０２と、１つ以上のメモリ１６０４と、映像処理ハードウェア１６０６と、を含んでもよい。１つまたは複数のプロセッサ１６０２は、本明細書に記載される１つ以上の方法を実装するように構成されてもよい。メモリ（複数可）１６０４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア１６０６は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。

図１７は、映像処理の方法１７００の一例を示すフローチャートである。この方法１７００は、現在の映像ブロックのビットストリーム表現と前記現在の映像ブロックの画素との間での変換中、縮小寸法による二次変換を選択的に適用するための制約規則を判定する（１７０２）ことを含む。方法１７００は、制約規則に従って縮小寸法による二次変換を適用することで変換を行うこと（１７０４）を含む。縮小寸法による二次変換は、前記現在の映像ブロックの寸法から縮小された寸法を有する。縮小寸法による二次変換は、前記変換中に一次変換と共に特定の順序で適用される。

追加の実施形態および技術は、以下の実施例に記載されるとおりである。

１．現在の映像ブロックのビットストリーム表現と前記現在の映像ブロックの画素との間での変換中、縮小寸法による二次変換を選択的に適用するための制約規則を判定することと、前記制約規則に従って縮小寸法による前記二次変換を適用することで前記変換を行うことと、含み、縮小寸法による前記二次変換は、前記現在の映像ブロックの寸法から縮小された寸法を有し、縮小寸法による前記二次変換は、前記変換中に一次変換と共に特定の順序で適用される、映像処理方法。

２． 前記変換は、前記現在の映像ブロックを前記ビットストリーム表現に符号化することを含み、前記特定の順序は、まず前記一次変換を順方向に適用することと、続いて縮小寸法による前記二次変換を順方向に選択的に適用することと、続いて前記二次変換の出力を順方向に縮小寸法で量子化することとを含む、実施例１に記載の方法。

３． 前記変換は、前記ビットストリーム表現から前記現在の映像ブロックを復号化することを含み、前記特定の順序は、まず前記ビットストリーム表現に逆量子化を適用することと、続いて逆方向に縮小寸法による前記二次変換を選択的に適用することと、続いて逆方向に縮小寸法による前記二次変換の出力に前記逆方向の前記一次変換を適用することと、を含む、実施例１に記載の方法。

４． 前記制約規則は、［ＭｉｎＣｏｅｆ，ＭａｘＣｏｅｆ］の範囲に逆方向に縮小寸法による前記二次変換の出力の範囲をクリップすることを規定し、包括的に、この場合、ＭｉｎＣｏｅｆおよび／またはＭａｘＣｏｅｆは、前記現在の映像ブロックの条件の関数である２つの整数値である、実施例１～３のいずれかに記載の方法。

５． 前記現在の映像ブロックの前記条件が、前記現在の映像ブロックによって表現される色または輝度成分のタイプである、実施例４に記載の方法。

６． 前記制約規則は、前記現在の映像ブロックの１つ以上のＭ×Ｎ個のサブブロックに、縮小寸法による前記二次変換を適用し、前記現在の映像ブロックの残りのサブブロックをゼロ化することを規定する、実施例１に記載の方法。

７． 前記制約規則は、前記現在の映像ブロックの異なるサブブロックに対して、縮小寸法による前記二次変換を異なるように適用することを規定する、実施例１に記載の方法。

８． 前記制約規則は、サイズが４×ＨまたはＷ×４である前記現在の映像ブロックに起因して、前記現在の映像ブロックのちょうど１つのＭ×Ｎサブブロックに、縮小寸法による前記二次変換を適用することを規定し、この場合、Ｈは、整数画素における高さであり、Ｗは、整数画素における幅である、実施例１～５のいずれかに記載の方法。

９．Ｈ＞８またはＷ＞８である、実施例８に記載の方法。

１０． 前記現在の映像ブロックが映像の非正方形領域である、実施例１～９のいずれかに記載の方法。

１１． 前記制約規則は、前記一次変換の順方向変換係数をゼロ化するか、またはゼロ係数を二次変換の逆方向出力にパディングすることを規定する、実施例２または３に記載の方法。

実施例１～５のさらなる実施形態は、第４章の項目１に記載する。実施例６～７のさらなる実施形態は、第４章の項目２に記載する。実施例８～９のさらなる実施形態は、章４の項目３に記載する。実施例１０～１１のさらなる実施形態は、第４章の項目４に記載する。

１２．現在の映像ブロックと近傍の映像領域のビットストリーム表現と、前記現在の映像ブロックの画素と、前記近傍の領域の画素との間での変換中、縮小寸法による二次変換を選択的に適用するための制約規則を判定することと、前記制約規則に従って縮小寸法による前記二次変換を適用することで前記変換を行うことと、含み、縮小寸法による前記二次変換は、前記現在の映像ブロックの寸法から縮小された寸法を有し、縮小寸法による前記二次変換は、前記変換中に一次変換と共に特定の順序で適用される、映像処理方法。

１３． 前記近傍の映像領域は、前記現在の映像ブロックの左上のブロックを含む、実施例１２に記載の方法。

１４． 前記現在の映像ブロックおよび前記近傍の映像領域は、親映像ブロックのサブブロックに対応する、実施例１２に記載の方法。

実施例１２～１４のさらなる実施形態は、第４章の項目５に記載する。

１５． 現在の映像ブロックのビットストリーム表現と前記現在の映像ブロックの画素との間での変換中、縮小寸法による二次変換を選択的に適用するためのゼロ化規則を判定することと、前記ゼロ化規則に従って、縮小寸法による前記二次変換を適用することによってこの変換を行うことを含み、縮小寸法による二次変換は、現在の映像ブロックの寸法から縮小された寸法を有し、前記ゼロ化規則は、縮小寸法による二次変換に使用される係数の最大数を規定する、映像処理方法。

１６． 前記係数の最大数は、前記現在の映像ブロックの成分識別の関数である、実施例１５に記載の方法。

１７． 輝度映像ブロックとクロマ映像ブロックとでは、前記係数の最大数が異なる、実施例１６に記載の方法。

１８． 前記ゼロ化規則は、前記現在の映像ブロックの符号化された情報の関数であるゼロ化範囲を規定する、実施例１５～１７のいずれかに記載の方法。

１９．前記ゼロ化規則は、前記現在の映像ブロックの量子化パラメータの関数であるゼロ化範囲を規定する、実施例１５～１７のいずれかに記載の方法。

２０． シーケンスパラメータセットレベルまたはピクチャパラメータセットレベルに含まれるフィールド、またはピクチャヘッダ、スライスヘッダ、またはタイルグループヘッダ、または符号化ツリーユニット行、符号化ツリーユニット、または符号化ユニット若しくは映像データユニットレベルのフィールドによって、前記ビットストリーム表現における前記ゼロ化範囲を示す、実施例１５～１９のいずれかに記載の方法。

実施例１５～１７のさらなる実施形態は、第４章の項目６に記載する。実施例１８のさらなる実施形態は、第４章の項目７に記載する。実施例１９のさらなる実施形態は、第４章の項目８に記載する。実施例２０のさらなる実施形態は、第４章の項目９に記載する。

２１． 現在の映像ブロックのビットストリーム表現と前記現在の映像ブロックの画素との間での変換中、縮小寸法による二次変換を選択的に適用するための条件を判定することと、前記条件に従って、縮小寸法による前記二次変換を適用することによってこの変換を行うことを含み、縮小寸法による二次変換は、現在の映像ブロックの寸法から縮小された寸法を有し、前記条件は、前記ビットストリーム表現で信号化される、映像処理方法。

２２．前記条件は、カラーフォーマットであるか、または別個の平面符号化の使用であるか、または前記現在の映像ブロックの色同一性に基づく、実施例２１に記載の方法。

実施例２１～２２のさらなる実施形態は、第４章の項目１０に記載する。

２３． 前記条件は、クロマ成分と輝度成分とで別個にビットストリーム表現で信号通知される、実施例２１～２２のいずれかに記載の方法。

実施例２３のさらなる実施形態は、第４章の項目１１に記載する。

２４． 前記条件は、前記現在の映像ブロックおよび近傍の映像領域の符号化された情報に依存する、実施例２１～２３のいずれかに記載の方法。

２５． 前記条件は、特定のイントラ予測モードを使用して符号化される前記現在の映像ブロックに適用することを排除する、実施例２４に記載の方法。

実施例２４～２５のさらなる実施形態は、第４章の項目１２に記載する。

２６． 前記条件は、インター符号化される前記現在の映像ブロックに適用することを規定する、実施例２４に記載の方法。

２７． 前記条件は、イントラブロックコピーモードを使用して符号化される前記現在の映像ブロックに適用することを規定する、実施例２４に記載の方法。

実施例２５～２６のさらなる実施形態は、第４章の項目１３に記載する。

２８． 前記条件が、前記レベル内のすべてのブロックが前記条件に準拠するようなレベルで前記ビットストリーム表現で信号通知され、前記レベルは、シーケンスパラメータセットレベル、またはピクチャパラメータセットレベル、またはピクチャヘッダ、スライスヘッダ、またはタイルグループヘッダ、または符号化ツリーユニット行、符号化ツリーユニット、または符号化ユニット若しくは映像データユニットレベルである、実施例２１に記載の方法。

実施例２８のさらなる実施形態は、第４章の項目１４に記載する。

２９． ２１．前記条件は、前記現在の映像ブロックが変換スキップモードを使用して符号化されることである、実施例２１に記載の方法。

実施例２９のさらなる実施形態は、第４章の項目１７に記載する。

３０． 現在の映像ブロックのビットストリーム表現と前記現在の映像ブロックの画素との間での変換の間に、縮小寸法による二次変換を選択的に適用し、条件に従って縮小寸法による前記二次変換を適用することで、前記変換を行うことを含み、縮小寸法による前記二次変換は、前記現在の映像ブロックの寸法から寸法が低減されている。この変換は、共存規則に基づいて、位置依存イントラ予測組み合わせ（ＰＤＰＣ）を選択的に適用することを含む、映像処理方法。

３１． 共存規則は、前記二次変換を適用することによって、前記現在の映像ブロックにＰＤＰＣを適用することを排除する、実施例３０に記載の方法。

３２． 共存規則は、前記二次変換を適用することによって、前記現在の映像ブロックに前記ＰＤＰＣを適用することを規定する、実施例３０に記載の方法。

３３． 前記二次変換を選択的に適用するステップは、前記ＰＤＰＣを使用する前記現在の映像ブロックに対して行われる、実施例３０に記載の方法。

実施例３０～３３のさらなる実施形態は、第４章の項目１５に記載する。

３４． 現在の映像ブロックのビットストリーム表現と前記現在の映像ブロックの画素との間での変換中、縮小寸法による二次変換を適用することと、前記条件に従って、縮小寸法による前記二次変換を適用することによってこの変換を行うことを含み、縮小寸法による前記二次変換は、前記現在の映像ブロックの寸法から縮小された寸法を有し、前記適用することは、前記変換中にイントラ予測のための近傍のサンプルの使用を制御する、映像処理方法。

実施例３４のさらなる実施形態は、第４章の項目１６に記載する。

３５． 現在の映像ブロックのビットストリーム表現と前記現在の映像ブロックの画素との間での変換中、縮小寸法による二次変換を適用することと、前記条件に従って、縮小寸法による前記二次変換を適用することによってこの変換を行うことを含み、縮小寸法による前記二次変換は、前記現在の映像ブロックの寸法から縮小された寸法を有し、前記選択的に適用することは、前記変換中に量子化行列の使用を制御する、映像処理方法。

３６． 前記量子化行列の使用は、前記二次変換を適用することによってのみ発生する、実施例３５に記載の方法。

実施例３５～３６のさらなる実施形態は、第４章の項目２２に記載する。

３７． 前記一次変換および前記二次変換は、ビット幅が８未満の変換行列として記憶される、実施例１～３６のいずれかに記載の方法。

３８． 前記一次変換および前記二次変換は、予測変換行列として記憶される、実施例１～３６のいずれかに記載の方法。

３９． 前記一次変換は、第１の規則を使用して前記二次変換から派生可能である、または前記二次変換は、第２の規則を使用して前記一次変換から派生可能である、実施例１～３６のいずれかに記載の方法。

４０． 前記ビットストリーム表現は、前記現在の映像ブロックのための残差情報の前に、前記二次変換または前記一次変換に関する情報を含む、実施例１～３６のいずれかに記載の方法。

実施例３７～４０のさらなる実施形態は、第４章の項目１８、１９、２０、および２１に記載する。

４１． 実施例１～４０の１つ以上に実装するように構成された処理装置を備える映像処理装置。

４２．前記コードが記憶されたコンピュータ読み取り可能な媒体であって、前記コードが処理装置によって実行されると、前記処理装置に、実施例１～４０の１つ以上に記載の方法を実装させる。

前記開示された技術は、縮小寸法二次変換の使用を含む技法を使用して圧縮効率を向上させるために、映像エンコーダまたはデコーダに実施され得ることが理解される。

図１８は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム１８００を示すブロック図である。様々な実装形態は、システム１８００のモジュールの一部又は全部を含んでもよい。システム１８００は、映像コンテンツを受信するための入力ユニット１８０２を含んでもよい。映像コンテンツは、未加工又は非圧縮フォーマット、例えば、８又は１０ビットのマルチモジュール画素値で受信されてもよく、又は圧縮又は符号化フォーマットで受信されてもよい。入力ユニット１９０２は、ネットワークインターフェース、周辺バスインターフェース、又は記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット（登録商標）、受動光ネットワーク（ＰＯＮ）等の有線インターフェース、およびＷｉ－Ｆｉ（登録商標）またはセルラーインターフェース等の無線インターフェースを含む。

システム１８００は、本明細書に記載される様々な符号化又は符号化方法を実装することができる符号化モジュール１８０４を含んでもよい。符号化モジュール１８０４は、入力ユニット１８０２からの映像の平均ビットレートを符号化モジュール１８０４の出力に低減し、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮または映像コード変換技術と呼ばれることがある。符号化モジュール１８０４の出力は、モジュール１８０６によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット１８０２において受信された、記憶された又は通信された映像のビットストリーム（又は符号化）表現は、モジュール１８０８によって使用されて、表示インターフェースユニット１８１０に送信される画素値又は表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像伸張（映像展開）と呼ばれることがある。さらに、特定の映像処理動作を「符号化」動作又はツールと呼ぶが、符号化ツール又は動作は、エンコーダで使用され、対応する復号化ツール又は動作であり符号化の結果を逆にするものは、デコーダによって行われることが理解されよう。

周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニバーサルシリアルバス（ＵＳＢ）または高精細マルチメディアインターフェース（ＨＤＭＩ（登録商標））またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、シリアルアドバンスドテクノロジーアタッチメント（ＳＡＴＡ）、ＰＣＩ、ＩＤＥインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、又はデジタルデータ処理及び／又は映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。

図１９は、本技術による映像処理のための例示的な方法１９００のフローチャートである。方法１９００は、動作１９１０において、映像のブロックと映像のビットストリーム表現との間での変換のために、縮小寸法による逆方向二次変換からの出力値が、［ｍｉｎ，ｍａｘ］の範囲内に含まれるように制約されていることを判定することを含む。逆方向二次変換は、逆量子化ステップと逆方向一次変換との間のブロックに適用可能である。縮小寸法はブロックの寸法から縮小され、ｍｉｎおよびｍａｘは整数値である。方法１９００は、動作１９２０において、その判定に基づいて変換を行うことを含む。いくつかの実施形態において、縮小寸法の逆方向二次変換は、低周波数が縮小寸法に対応する逆低周波数非可分変換を含む。

いくつかの実施形態において、逆量子化ステップの後の係数は、［ｑｍｉｎ，ｑｍａｘ］に制限され、ｑｍｉｎおよびｑｍａｘは正の整数である。（１）ｍｉｎがｑｍｉｎであるか、または（２）ｍａｘがｑｍａｘであるかのうちの少なくとも１つが満たされる。いくつかの実施形態において、前記範囲は前記ブロックの色成分に基づく。いくつかの実施形態において、ｍｉｎまたはｍａｘのうち少なくとも１つは色成分のビット深度に基づく。いくつかの実施形態において、この範囲はブロックの形状に基づく。いくつかの実施形態において、この範囲は、ブロックが正方形であるかまたは非正方形であるかに基づく。いくつかの実施形態において、前記範囲は前記ブロックの寸法に基づく。いくつかの実施形態において、前記ビットストリーム表現においてｍｉｎまたはｍａｘのうち少なくとも１つが信号通知される。いくつかの実施形態において、前記範囲はシーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、タイルグループヘッダ、符号化ツリーユニットまたは符号化ユニットにおいて信号通知される。

いくつかの実施形態において、ｍｉｎは、ブロックの輝度成分に対して、－（１＜（ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇ？Ｍａｘ（１５，ＢｉｔＤｅｐｔｈＹ＋６）：１５））であり、ｍａｘは、前記ブロックの輝度成分に対して（１＜＜（ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇ？Ｍａｘ（１５，ＢｉｔＤｅｐｔｈＹ＋６）：１５））である。ＢｉｔＤｅｐｔｈＹは、輝度成分のビット深度であり、ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇは、ビットストリーム表現において信号通知される変数である。

いくつかの実施形態において、ｍｉｎは、ブロックの輝度成分に対して、－（１＜（ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇ？Ｍａｘ（１５，ＢｉｔＤｅｐｔｈＣ＋６）：１５））であり、ｍａｘは、前記ブロックのクロマ成分に対して（１＜＜（ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇ？Ｍａｘ（１５，ＢｉｔＤｅｐｔｈＣ＋６）：１５））である。ＢｉｔＤｅｐｔｈＣは、輝度成分のビット深度であり、ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇは、前記ビットストリーム表現において信号通知される変数である。

いくつかの実施形態において、ｍｉｎは、－（１＜＜１５）に等しく、ｍａｘは、－（１＜＜１５）－１である。

いくつかの実施形態において、ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇは、シーケンスパラメータセットにおいて信号通知される。いくつかの実施形態において、順方向一次変換と量子化ステップとの間に適用可能な二次変換後のブロックの係数は、ある範囲内に制限される。

図２０は、本技術による映像処理のための例示的な方法２０００のフローチャートである。方法２０００は、動作２０１０において、映像のブロックと映像のビットストリーム表現との間での変換のために、二次変換が適用可能なサブブロックの数に基づいて、ブロックのサブブロックに縮小寸法による二次変換を適用する方法を判定することを含む。前記二次変換は、順方向一次変換と量子化ステップとの間、あるいは逆量子化ステップと逆方向一次変換との間のブロックに適用可能である。前記縮小寸法とはブロックの寸法から縮小されたものである。方法２０００は、また、動作２０２０において、その判定に基づいて変換を行うことを含む。

いくつかの実施形態において、前記縮小寸法による前記二次変換は、前記低周波数が縮小寸法に対応する前記低周波数非可分変換を含む。いくつかの実施形態において、前記縮小寸法は前記サブブロックの寸法に対応する。

いくつかの実施形態において、サブブロック寸法は４×４であってもよい。いくつかの実施形態において、前記サブブロックは、サブブロックインデックスに関連付けられる。非ゼロ範囲外にあるサブブロックの係数をゼロに設定し、サブブロックインデックスに基づいて前記ゼロ化範囲を判定する。いくつかの実施形態において、非ゼロ範囲外にある前記サブブロックの係数は、ゼロに設定される。前記非ゼロ範囲は、二次変換が適用可能なサブブロックの数に基づいて判定される。

いくつかの実施形態において、二次変換が適用可能なサブブロックの数は１より多い。第１の方法で第１のサブブロックに前記二次変換を適用し、第２の方法で第２のサブブロックに前記第１の方法とは異なる第２の方法で二次変換を適用する。いくつかの実施形態において、第１の非ゼロ範囲外にある前記第１のサブブロックの係数は、ゼロに設定される。前記第２の非ゼロ範囲の外側にある第２のサブブロックの係数は、ゼロに設定され、前記第１の非ゼロ範囲は、前記第２の非ゼロ範囲と異なる。いくつかの実施形態において、前記第１の非ゼロ範囲は、前記第２の非ゼロ範囲よりも大きい。いくつかの実施形態において、前記第１の非ゼロ範囲は１６として表現され、前記第２の非ゼロ範囲は８として表される。

いくつかの実施形態において、前記二次変換が１つのサブブロックのみに適用される場合、第１の非ゼロ範囲外の前記１つのみのサブブロックのみの係数をゼロに設定する。前記低周波数非可分変換が複数のサブブロックに適用される場合、第２の非ゼロ範囲外の前記複数のサブブロックの係数は、ゼロに設定される。いくつかの実施形態において、前記第１の非ゼロ範囲は、前記第２の非ゼロ範囲とは異なる。いくつかの実施形態において、前記第２の非ゼロ範囲は８で表現される。

図２１は、本技術による映像処理のための例示的な方法のフローチャートである。方法２１００は、動作２１１０において、映像の１つのブロックとこの映像のビットストリーム表現とを変換するために、このブロックの１つの寸法が１つの条件を満たす場合、このブロックの１つのサブブロックに対して縮小寸法による二次変換を適用可能であると判定することを含む。二次変換は、順方向一次変換と量子化ステップとの間で、または逆量子化ステップと逆方向一次変換との間で行われる。前記縮小寸法とはブロックの寸法から縮小されたものである。方法２１００は、また、動作２１２０において、その判定に基づいて変換を行うことを含む。

いくつかの実施形態において、前記縮小寸法は前記サブブロックの寸法に対応する。いくつかの実施形態において、二次変換が適用可能である単一のサブブロックは現在のブロックの左上のサブブロックである。いくつかの実施形態において、単一のサブブロックは、Ｍ×Ｎの寸法を有し、ＭおよびＮは正の整数である。いくつかの実施形態において、Ｍ＝Ｎ＝４である。いくつかの実施形態において、前記条件は、前記ブロックの寸法が４×ＨまたはＷ×４であり、Ｈ＞８であり、Ｗ＞８であることを規定する。いくつかの実施形態において、（１）Ｈ＞Ｔ１、または（２）Ｗ＞Ｔ２のうちの少なくとも１つが満たされ、Ｔ１およびＴ２が８よりも大きい。いくつかの実施形態において、Ｔ１＝Ｔ２＝１６である。いくつかの実施形態において、（１）Ｈ＜Ｔ１、または（２）Ｗ＜Ｔ２のうちの少なくとも１つが満たされ、Ｔ１およびＴ２が８よりも大きい。いくつかの実施形態において、Ｔ１＝Ｔ２＝３２である。いくつかの実施形態において、前記条件は、前記ブロックの寸法がＭ×ＨまたはＷ×Ｎであり、Ｈ≧ＮおよびＷ≧Ｍであることを規定する。

図２２は、本技術による映像処理のための例示的な方法のフローチャートである。方法２２００は、動作２２１０において、映像のブロックと前記映像のビットストリーム表現との間での変換のために、縮小寸法による二次変換を前記ブロックにおけるＫ×Ｌの寸法を有する領域に適用可能であることを判定することを含む。ＫおよびＬは正の整数であり、ＫはＬでない。二次変換は、順方向一次変換と量子化ステップとの間、または逆量子化ステップと逆方向一次変換との間で行われる。前記縮小寸法とはブロックの寸法から縮小されたものである。方法２２００は、また、動作２２２０において、その判定に基づいて変換を行うことを含む。

いくつかの実施形態において、前記縮小寸法は前記領域の寸法に対応する。いくつかの実施形態において、非ゼロ範囲外にある前記領域の係数は、ゼロに設定される。いくつかの実施形態において、前記非ゼロ範囲は前記ブロックの左上の領域として表現され、前記左上の領域はＭ×Ｍの寸法を有し、ＭはＫおよびＬ以下である。

図２３は、本技術による映像処理のための例示的な方法のフローチャートである。方法２３００は、動作２３１０において、映像のブロックとこの映像のビットストリーム表現との間での変換のために、このブロックの特徴に基づいて非ゼロ範囲を判定することを含む。非ゼロ範囲とは、縮小寸法による二次変換に関連付けられた係数をゼロに設定する範囲外に相当する。二次変換は、順方向一次変換と量子化ステップとの間で、または逆量子化ステップと逆方向一次変換との間で行われる。前記縮小寸法とはブロックの寸法から縮小されたものである。方法２３００は、また、動作２３２０において、その判定に基づいて変換を行うことを含む。

いくつかの実施形態において、前記ブロックの特徴は前記ブロックの色成分を含む。いくつかの実施形態において、前記ブロックの輝度成分のための第１の非ゼロ範囲は、前記ブロックのクロマ成分のための第２の非ゼロ範囲とは異なる。いくつかの実施形態において、前記ブロックの特徴は前記ブロックを符号化された情報を含む。いくつかの実施形態において、前記符号化された情報は、前記ブロックがイントラモードで符号化されたものであるか或いは非イントラモードで符号化されたものであるかを示す情報を含む。いくつかの実施形態において、前記符号化された情報は、前記ブロックがイントラモード、インターモードまたはインターブロックコピーモードで符号化されているかを示す情報を含む。いくつかの実施形態において、前記符号化された情報は動き情報の参照ピクチャを含む。いくつかの実施形態において、ブロックの特徴はブロックの量子化パラメータを含む。いくつかの実施形態において、第１の非ゼロ範囲は第１の量子化パラメータに対応し、第２の非ゼロ範囲は第２の量子化パラメータに対応し、前記第１の非ゼロ範囲は、前記第１の量子化パラメータが前記第２の量子化パラメータ以上である場合、前記第２の非ゼロ範囲以下である。

いくつかの実施形態において、異なる非ゼロ範囲は、二次変換のための異なる変換行列に関連付けられる。いくつかの実施形態において、非ゼロ範囲は、シーケンスパラメータセット、ピクチャパラメータセット、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、符号化ツリーユニット（ＣＴＵ）行、ＣＴＵ、または符号化ユニットにおいて、ビットストリーム表現で信号通知される。いくつかの実施形態において、複数の非ゼロ範囲が前記二次変換に適用可能であり、前記複数の非ゼロ範囲のうちの１つの選択を示す値は、シーケンスパラメータセット、ピクチャパラメータセット、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、符号化ツリーユニット（ＣＴＵ）行、ＣＴＵ、または符号化ユニットにおいて、前記ビットストリーム表現で信号通知される。

いくつかの実施形態において、前記変換を行うことは、映像の前記ブロックに基づいてビットストリーム表現を生成することを含む。いくつかの実施形態において、変換を行うことは、ビットストリーム表現から映像の前記ブロックを生成することを含む。

図２４Ａは、本技術による映像符号化のための例示的な方法のフローチャートである。方法２４００は、動作２４１０において、縮小寸法による二次変換が、１つの映像ブロックの２つの隣接するサブブロックに適用可能であることを判定することを含む。前記２つの隣接するサブブロックの各々は、Ｍ×Ｎの寸法を有し、ＭおよびＮは正の整数である。前記二次変換は、順方向一次変換と量子化ステップとの間で行われる。前記縮小寸法とはブロックの寸法から縮小されたものである。方法２４００は、動作２４２０において、前記判定に基づいて前記映像の符号化表現を生成することをさらに含む。

いくつかの実施形態において、前記縮小寸法は前記２つの隣接するブロックの寸法に対応する。いくつかの実施形態において、前記方法は、前記２つの隣接するサブブロックの係数を２×Ｍ×Ｎ個の要素を有する一次元ベクトルに配列することを含む。いくつかの実施形態において、前記方法は、変換行列を使用して前記一次元ベクトルに二次変換を適用することにより、Ｍ×Ｎ個の変換要素を取得することを含む。前記変換行列は、２×Ｍ×Ｎ個の要素の第１の寸法と、Ｍ×Ｎ個の要素の第２の寸法とを有する。いくつかの実施形態において、前記方法は、２×Ｍ×Ｎ個の変換された素子を２つの隣接するサブブロックの第１のサブブロック内に再配列することを含む。いくつかの実施形態において、この方法は、前記２つの隣接するサブブロックの第２のサブブロックにおける要素をゼロに設定することを含む。いくつかの実施形態において、前記順方向一次変換および前記二次変換の両方は、サブブロックレベルで行われる。

図２４Ｂは、本技術による映像復号化のための例示的な方法のフローチャートである。方法２４５０は、動作２４６０において、縮小寸法による二次変換が、１つの映像ブロックの２つの隣接するサブブロックに適用可能であることを判定することを含む。前記２つの隣接するサブブロックの各々は、Ｍ×Ｎの寸法を有し、ＭおよびＮは正の整数である。前記二次変換は、逆量子化ステップと逆方向一次変換との間で行われる。前記縮小寸法とはブロックの寸法から縮小されたものである。方法２４５０は、また、動作２４７０において、前記判定に従って、前記映像の符号化表現を構文解析することで、前記映像の前記ブロックを生成することを含む。

いくつかの実施形態において、前記縮小寸法は前記２つの隣接するブロックの寸法に対応する。いくつかの実施形態において、前記方法は、前記２つの隣接するサブブロックの第１のサブブロックの係数を２×Ｍ×Ｎ個の要素を有する一次元ベクトルに配列することを含む。前記いくつかの実施形態において、前記方法は、変換行列を使用して前記一次元ベクトルに二次変換を適用することにより、２×Ｍ×Ｎ個の変換済み要素を取得することを含む。前記変換行列は、Ｍ×Ｎ個の要素の第１の寸法と、２×Ｍ×Ｎ個の要素の第２の寸法とを有する。いくつかの実施形態において、前記方法は、２×Ｍ×Ｎ個の変換された素子を２つの隣接するサブブロックに再配列することを含む。いくつかの実施形態において、Ｍ＝Ｎ＝４である。

いくつかの実施形態において、前記縮小寸法による前記二次変換は、前記低周波数が縮小寸法に対応する前記低周波数非可分変換を含む。

図２５は、本技術による映像処理のための例示的な方法のフローチャートである。方法２５００は、動作２５１０において、映像のブロックと前記映像のビットストリーム表現との間での変換のために、規則に従って、前記ブロックに関連付けられた特徴に基づいて、前記ブロックに縮小寸法による二次変換を適用するかどうかを判定することを含む。二次変換は、順方向一次変換と量子化ステップとの間で、または逆量子化ステップと逆方向一次変換との間で行われる。前記縮小寸法とはブロックの寸法から縮小されたものである。方法２５００は、動作２５２０において、その判定に基づいて変換を行うことを含む。

いくつかの実施形態において、前記ブロックに関連付けられた特徴は前記ブロックの符号化された情報または近傍のブロックの符号化された情報を含む。いくつかの実施形態において、前記規則は、符号化された情報が前記ブロックまたは前記近傍のブロックが１つ以上の特定の符号化モードで符号化されていることを示す場合、前記二次変換を前記ブロックに適用可能でないことを規定する。いくつかの実施形態において、前記１つ以上の特定符号化モードは、リニアモード（ＬＭ）、ＬＭ－Ｔモード、ＬＭ－Ａモード、広角イントラ予測モード、ブロック差動パルス符号変調（ＢＤＰＣＭ）モード、差動パルス符号変調（ＤＰＣＭ）モード、残差ドメイン差動パルス符号変調（ＲＢＤＰＣＭ）モード、行列ベースイントラ予測（ＭＩＰ）モード、または角度イントラ予測モードのうち少なくとも１つを含む。いくつかの実施形態において、前記規則は、ブロックが結合クロマ残差符号化モードで符号化される場合、前記二次変換を前記ブロックのクロマ成分に適用可能でないことを規定する。前記結合クロマ残差符号化モードでの前記ブロックの符号化は、前記ブロックのクロマ成分に関連付けられた残差の平均である結合残差を判定することを含む。いくつかの実施形態において、前記規則は、前記二次変換が前記ブロックの輝度成分に適用可能であり、且つＬＭモード、ＬＭ－ＴモードまたはＬＭ－Ａモードで符号化される前記ブロックのクロマ成分に適用不可能であることを規定する。

いくつかの実施形態において、前記ブロックに関連付けられた前記特徴は、量子化または前記逆量子化ステップの後の前記ブロックの係数または残差を含む。いくつかの実施形態において、前記規則は、ブロックを符号化するために変換スキップモードを使用する場合、前記二次変換を前記残差に適用することを規定する。変換スキップモードは、前記順方向または前記逆方向一次変換をスキップするモードである。いくつかの実施形態において、前記規則は、前記二次変換を前記ブロックの量子化変換された係数に適用することを規定する。

いくつかの実施形態において、前記ブロックに関連付けられた前記特徴は、前記ブロックがイントラ符号化ツールを使用して符号化されたものであるかどうかを特徴とする。いくつかの実施形態において、前記規則は、前記ブロックがインター符号化ツールを使用して符号化される場合、二次変換が前記ブロックに適用可能であることを規定する。いくつかの実施形態において、前記規則は、前記ブロックがイントラブロックコピー符号化ツールを使用して符号化される場合、二次変換が前記ブロックに適用可能であることを規定する。いくつかの実施形態において、前記規則は、インター・イントラ予測符号化ツールを用いてブロックを符号化する場合、前記二次変換を前記ブロックに適用可能であることを規定する。

いくつかの実施形態において、前記ブロックに関連付けられた前記特徴は、前記ブロックのクロマフォーマットに関連付けられた情報を含む。いくつかの実施形態において、前記規則は、前記二次変換が前記ブロックのクロマ成分に適用可能でないことを規定する。いくつかの実施形態において、前記規則は、前記ブロックのクロマフォーマットが４：０：０である場合、前記二次変換を前記ブロックのクロマ成分に適用可能でないことを規定する。いくつかの実施形態において、前記規則は、クロマフォーマットのクロマ成分が別個に符号化される場合、前記二次変換を前記ブロックのクロマ成分に適用可能でないことを規定する。いくつかの実施形態において、前記規則は前記二次変換が前記ブロックに適用可能であることを規定する。ブロックの１つの寸法に関連付けられた二次変換の非ゼロ範囲は、ブロックの色成分に基づいて判定され、この非ゼロ範囲は、ブロックの係数がゼロに設定される範囲外である。いくつかの実施形態において、ブロックの同じ寸法の場合、ブロックのクロマ成分の第１の非ゼロ範囲は、ブロックの輝度成分の第２の非ゼロ範囲より小さい。

いくつかの実施形態において、位置依存イントラ予測（ＰＤＰＣ）符号化ステップをブロックに適用することができるかは、前記二次変換が適用可能であるかに基づいて判定される。いくつかの実施形態において、前記ＰＤＰＣ符号化ステップは、前記二次変換がブロックに適用可能である場合には適用されない。いくつかの実施形態において、前記ＰＤＰＣ符号化ステップは、前記二次変換がブロックに適用可能である場合に適用可能である。

いくつかの実施形態において、前記ブロックに関連付けられた特徴は、位置依存イントラ予測（ＰＤＰＣ）符号化ステップが前記ブロックに適用可能であるかを含む。いくつかの実施形態において、前記規則は、前記ＰＤＰＣ符号化ステップが適用可能である場合、前記ブロックに前記二次変換を適用しないことを規定する。いくつかの実施形態において、イントラ予測符号化ステップのために前記ブロックの近傍のサンプルをフィルタリングするかどうかは、前記二次変換が前記ブロックに適用可能であるかどうかに基づいて判定される。いくつかの実施形態において、前記二次変換が前記ブロックに適用される場合、近傍のサンプルはフィルタリングされない。いくつかの実施形態において、前記二次変換が前記ブロックに適用される場合、近傍のサンプルをフィルタリングする。

いくつかの実施形態において、このブロックに関連付けられた特徴は、このブロックに適用されるイントラ予測符号化ステップのために、このブロックの近傍のサンプルをフィルタリングするかどうかを含む。いくつかの実施形態において、前記規則は、近傍のサンプルをフィルタリングする場合、前記二次変換が適用可能でないことを規定する。いくつかの実施形態において、前記規則は、近傍のサンプルをフィルタリングしない場合、前記二次変換が適用可能でないことを規定する。

いくつかの実施形態において、前記ブロックに関連付けられた特徴は、前記ブロックが順方向または逆方向一次変換をスキップする変換スキップモードで符号化されるかを含む。いくつかの実施形態において、前記ブロックは前記変換スキップモードで符号化され、前記二次変換は前記ブロックに適用可能である。いくつかの実施形態において、変換スキップモードが有効化されるときの二次変換のための第１の変換行列は、変換スキップモードが無効化されるときの二次変換のための二次変換行列とは異なる。いくつかの実施形態において、量子化行列がブロックに適用可能であるかどうかは、前記二次変換が適用されるかどうかに基づいて判定される。いくつかの実施形態において、二次変換が適用可能である場合は第１の量子化行列が適用可能であり、二次変換が適用不可能である場合は第２の異なる量子化行列が適用可能である。

いくつかの実施形態において、前記ブロックに関連付けられた特徴は、前記量子化行列が前記ブロックに適用可能であるかを含む。いくつかの実施形態において、前記規則は、前記量子化行列を適用する場合、前記二次変換を適用可能でないことを規定する。いくつかの実施形態において、前記ブロックに関連付けられた特徴は、サブブロックレベル変換が前記ブロックに適用可能であるかどうかを含む。いくつかの実施形態において、前記規則は、前記二次変換が前記サブブロックレベル変換により生成された前記ブロックの左上のサブブロックの係数に適用可能であることを規定する。いくつかの実施形態において、前記量子化ステップまたは前記逆量子化ステップの後、残差ブロックを構文解析するための走査順序は、前記二次変換がブロックに適用されるかどうかに基づいて判定される。いくつかの実施形態において、前記二次変換によりゼロに設定された係数は走査されない。いくつかの実施形態において、前記量子化または前記逆量子化ステップの後、残差ブロックを構文解析するための算術符号化コンテキストは、前記二次変換が前記ブロックに適用されるかどうかに基づいて判定される。

いくつかの実施形態において、二次変換に関する情報は、ビットストリーム表現において１つ以上のレベルで信号通知され、この１つ以上のレベルは、ピクチャパラメータセット、スライス、ヘッダ、ピクチャヘッダ、タイルグループヘッダ、タイル、符号化ツリーユニット行、または符号化ツリーユニットを含む。いくつかの実施形態において、二次変換が適用可能であるかどうかは、情報が信号通知される前記１つ以上のレベルに基づく。いくつかの実施形態において、前記情報は１つの符号化ツリーユニット内で符号化された１つの輝度成分と１つのクロマ成分とで別個に信号通知される。いくつかの実施形態において、前記二次変換がブロックに適用可能でない場合、前記二次変換に関する１つ以上の構文要素は、前記ブロックの前記ビットストリーム表現において排除される。いくつかの実施形態において、前記ビットストリーム表現における量子化変換された残差の前に、前記二次変換に関する１つ以上の構文要素を信号通知する。いくつかの実施形態において、前記１つ以上の構文要素は、前記量子化残差を構文解析する時に判定された複数の係数とは独立して信号通知される。いくつかの実施形態において、前記量子化残差を構文解析するとき、前記係数の数はカウントされない。いくつかの実施形態において、前記二次変換によりすべてのサブブロックを示す構文フラグをゼロに設定することは、前記ビットストリーム表現において排除され、前記構文フラグの値が０であることを意味する。いくつかの実施形態において、前記二次変換により係数を示す構文フラグをゼロに設定することは、前記ビットストリーム表現において排除され、前記構文フラグの値が０であることを意味する。

図２６は、本技術による映像処理のための例示的な方法のフローチャートである。方法２６００は、動作２６１０において、映像のブロックと前記映像のビットストリーム表現との間での変換のために、前記ブロックに適用可能な、縮小寸法による二次変換のための１つ以上の変換行列の係数のビット精度制約を判定することを含む。二次変換は、順方向一次変換と量子化ステップとの間で、または逆量子化ステップと逆方向一次変換との間で行われる。前記縮小寸法とはブロックの寸法から縮小されたものである。方法２６００は、また、動作２６２０において、その判定に基づいて変換を行うことを含む。

いくつかの実施形態において、前記ビット精度制約は、前記１つ以上の変換行列の係数が８より小さいビット幅で記憶可能であることを含む。いくつかの実施形態において、前記ビット精度制約は、前記変換行列の係数が前記１つ以上の変換行列間の関連付けに基づいて記憶可能であることを含む。いくつかの実施形態において、変換行列における第１の要素と第２の要素との間の差が記憶され、前記第１の要素は前記第２の要素に基づいて導出される。いくつかの実施形態において、第１の変換行列における第１の要素と二次変換行列における第２の要素との間の差が記憶され、前記第１の要素は前記第２の要素に基づいて導出される。いくつかの実施形態において、前記差は８より小さいビット幅で表現される。いくつかの実施形態において、前記ビット幅は６または４である。

いくつかの実施形態において、前記縮小寸法による前記二次変換は、前記低周波数が縮小寸法に対応する前記低周波数非可分変換を含む。

いくつかの実施形態において、前記変換を行うことは、映像の前記ブロックに基づいてビットストリーム表現を生成することを含む。いくつかの実施形態において、変換を行うことは、ビットストリーム表現から映像の前記ブロックを生成することを含む。

開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを有効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが有効化される場合、エンコーダは、１つの映像ブロックを処理する際にこのツールまたはモードを使用するまたは実装するが、このツールまたはモードの使用に基づいて、結果として得られるビットストリームを必ずしも修正しなくてもよい。すなわち、映像のブロックから映像のビットストリーム表現への変換は、決定または判定に基づいて映像処理ツールまたはモードが有効化される場合に、この映像処理ツールまたはモードを使用する。別の例において、映像処理ツールまたはモードが有効化される場合、デコーダは、ビットストリームが映像処理ツールまたはモードに基づいて修正されたことを知って、ビットストリームを処理する。すなわち、決定または判定に基づいて有効化された映像処理ツールまたはモードを使用して、映像のビットストリーム表現から映像のブロックへの変換を行う。

開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを無効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが無効にされている場合、エンコーダは、映像のブロックを映像のビットストリーム表現に変換する際に、このツールまたはモードを使用しない。別の例において、映像処理ツールまたはモードが無効にされている場合、デコーダは、決定または判定に基づいて有効化された映像処理ツールまたはモードを使用してビットストリームが修正されていないことを知って、ビットストリームを処理する。

本明細書では、「映像処理」という用語は、映像符号化、映像復号化、映像圧縮、または映像展開を指すことができる。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、１つのマクロブロックは、変換および符号化された誤り残差値の観点から、且つビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。

本明細書に記載された開示された、およびその他の解決策、実施例、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの１つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、１つ以上のコンピュータプログラム製品、たとえば、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの１つ以上の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するために生成される。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、成分、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１つ以上のスクリプト）に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル）に記憶されていてもよい。１つのコンピュータプログラムを、１つのサイトに位置する１つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。

本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。

コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上の処理装置を含む。一般的に、処理装置は、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するための処理装置と、命令およびデータを記憶するための１つ以上のメモリデバイスとである。一般的に、コンピュータは、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスク等の半導体記憶装置を含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。

本特許明細書は多くの詳細を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテキストで説明されている特定の特徴は、１つの例において組み合わせて実装してもよい。逆に、１つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。

同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。

いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。

Claims (11)

1. 映像データ処理方法であって、
   映像の現在のブロックと前記映像のビットストリームとの間での変換のために、二次変換が現在のブロックに適用可能であることを判定することであって、前記二次変換が、順方向二次変換及び逆方向二次変換のうちの少なくとも１つを含み、前記順方向二次変換は、順方向一次変換と量子化との間で実行され、逆方向二次変換は、逆量子化と逆方向一次変換との間で実行される、判定することと、
   第１の条件を満たす前記現在のブロックの寸法に応じて、８×８の二次変換のサイズを有する前記二次変換が、８×８の寸法を有する前記現在のブロックの第１の単一の左上のサブブロックに適用可能であることを判定することであって、前記第１の条件は、前記現在のブロックの前記寸法がＷ１×Ｈ１であることを必要とし、Ｈ１＞８且つＷ１＞８である、判定することと、
   第２の条件を満たす前記現在のブロックの前記寸法に応じて、４×４の二次変換のサイズを有する前記二次変換が、４×４の寸法を有する前記現在のブロックの第２の単一の左上のサブブロックに適用可能であり、いずれの二次変換も、４×４の寸法を有するとともに前記第２の単一の左上のサブブロックに隣接するサブブロックに適用されないことを判定することであって、前記第２の条件は、前記現在のブロックの前記寸法が４×Ｈ１又はＷ１×４であることを必要とし、Ｈ１＞８且つＷ１＞８である、判定することと、
   前記判定に基づいて前記変換を実行することと、
   を含み、
   前記ブロックが非イントラ予測モードでコーディングされていることに応じて、前記二次変換が、前記ブロックに適用されない、
   方法。
2. 前記二次変換のための行列は、４つの変換セットから選択され、
   前記４つの変換セットのそれぞれは、２つの変換行列からなる、
   請求項１に記載の方法。
3. 前記現在のブロックがクロマブロックであることと、３つのクロスコンポーネントの線形モデルのイントラ予測モードの１つが前記現在のブロックに使用されていることと、に応じて、変換セット０が、前記現在のブロックに選択される、
   請求項２に記載の方法。
4. 前記二次変換を適用するかどうかは、ブロックのコーディングモードに依存する、
   請求項１から３のいずれか１項に記載の方法。
5. ブロックが変換スキップモードでコーディングされていることに応じて、前記二次変換が、前記ブロックに適用されない、
   請求項４に記載の方法。
6. 前記二次変換がブロックに適用されていないことに応じて、前記ブロック内の前記二次変換に関連する情報を示す構文要素が、ビットストリームに含まれない、
   請求項１から５のいずれか１項に記載の方法。
7. 前記変換は、前記映像を前記ビットストリームに符号化することを含む、
   請求項１から６のいずれか１項に記載の方法。
8. 前記変換は、前記ビットストリームから前記映像を復号化することを含む、
   請求項１から６のいずれか１項に記載の方法。
9. 処理装置と、命令を有する非一時的メモリと、を含む映像データ処理装置であって、
   前記処理装置による実行時の前記命令は、前記処理装置に、
   映像の現在のブロックと前記映像のビットストリームとの間での変換のために、二次変換が現在のブロックに適用可能であることを判定することであって、前記二次変換が、順方向二次変換及び逆方向二次変換のうちの少なくとも１つを含み、前記順方向二次変換は、順方向一次変換と量子化との間で実行され、逆方向二次変換は、逆量子化と逆方向一次変換との間で実行される、判定することと、
   第１の条件を満たす前記現在のブロックの寸法に応じて、８×８の二次変換のサイズを有する前記二次変換が、８×８の寸法を有する前記現在のブロックの第１の単一の左上のサブブロックに適用可能であることを判定することであって、前記第１の条件は、前記現在のブロックの前記寸法がＷ１×Ｈ１であることを必要とし、Ｈ１＞８且つＷ１＞８である、判定することと、
   第２の条件を満たす前記現在のブロックの前記寸法に応じて、４×４の二次変換のサイズを有する前記二次変換が、４×４の寸法を有する前記現在のブロックの第２の単一の左上のサブブロックに適用可能であり、いずれの二次変換も、４×４の寸法を有するとともに前記第２の単一の左上のサブブロックに隣接するサブブロックに適用されないことを判定することであって、前記第２の条件は、前記現在のブロックの前記寸法が４×Ｈ１又はＷ１×４であることを必要とし、Ｈ１＞８且つＷ１＞８である、判定することと、
   前記判定に基づいて前記変換を実行することと、
   を実行させ、
   前記ブロックが非イントラ予測モードでコーディングされていることに応じて、前記二次変換が、前記ブロックに適用されない、
   装置。
10. 命令を格納する非一時的なコンピュータ可読記憶媒体であって、
    前記命令は、処理装置に、
    映像の現在のブロックと前記映像のビットストリームとの間での変換のために、二次変換が現在のブロックに適用可能であることを判定することであって、前記二次変換が、順方向二次変換及び逆方向二次変換のうちの少なくとも１つを含み、前記順方向二次変換は、順方向一次変換と量子化との間で実行され、逆方向二次変換は、逆量子化と逆方向一次変換との間で実行される、判定することと、
    第１の条件を満たす前記現在のブロックの寸法に応じて、８×８の二次変換のサイズを有する前記二次変換が、８×８の寸法を有する前記現在のブロックの第１の単一の左上のサブブロックに適用可能であることを判定することであって、前記第１の条件は、前記現在のブロックの前記寸法がＷ１×Ｈ１であることを必要とし、Ｈ１＞８且つＷ１＞８である、判定することと、
    第２の条件を満たす前記現在のブロックの前記寸法に応じて、４×４の二次変換のサイズを有する前記二次変換が、４×４の寸法を有する前記現在のブロックの第２の単一の左上のサブブロックに適用可能であり、いずれの二次変換も、４×４の寸法を有するとともに前記第２の単一の左上のサブブロックに隣接するサブブロックに適用されないことを判定することであって、前記第２の条件は、前記現在のブロックの前記寸法が４×Ｈ１又はＷ１×４であることを必要とし、Ｈ１＞８且つＷ１＞８である、判定することと、
    前記判定に基づいて前記変換を実行することと、
    を実行させ、
    前記ブロックが非イントラ予測モードでコーディングされていることに応じて、前記二次変換が、前記ブロックに適用されない、
    記憶媒体。
11. 映像のビットストリームを格納する方法であって、
    二次変換が映像の現在のブロックに適用可能であることを判定することであって、前記二次変換が、順方向二次変換及び逆方向二次変換のうちの少なくとも１つを含み、前記順方向二次変換は、順方向一次変換と量子化との間で実行され、前記逆方向二次変換は、逆量子化と逆方向一次変換との間で実行される、判定することと、
    第１の条件を満たす前記現在のブロックの寸法に応じて、８×８の二次変換のサイズを有する前記二次変換が、８×８の寸法を有する前記現在のブロックの第１の単一の左上のサブブロックに適用可能であることを判定することであって、前記第１の条件は、前記現在のブロックの前記寸法がＷ１×Ｈ１であることを必要とし、Ｈ１＞８且つＷ１＞８である、判定することと、
    第２の条件を満たす前記現在のブロックの前記寸法に応じて、４×４の二次変換のサイズを有する前記二次変換が、４×４の寸法を有する前記現在のブロックの第２の単一の左上のサブブロックに適用可能であり、いずれの二次変換も、４×４の寸法を有するとともに前記第２の単一の左上のサブブロックに隣接するサブブロックに適用されないことを判定することであって、前記第２の条件は、前記現在のブロックの前記寸法が４×Ｈ１又はＷ１×４であることを必要とし、Ｈ１＞８且つＷ１＞８である、判定することと、
    前記判定に基づいて前記映像の前記ビットストリームを生成することと、
    前記ビットストリームを非一時的なコンピュータ可読記録媒体に格納することと、
    を含み、
    前記ブロックが非イントラ予測モードでコーディングされていることに応じて、前記二次変換が、前記ブロックに適用されない、
    方法。

Images