JP2023090929A - ビデオ復号化方法、ビデオ復号化装置及び記憶媒体 - Google Patents

Abstract

【課題】ビデオ復号化方法を提供する。【解決手段】複数のサブ分割が複数の垂直サブ分割であり、前記サブ分割の各々が２以下の幅を有すると判定された場合、イントラサブ分割（ＩＳＰ）モードで符号化ブロックの前記複数のサブ分割についてイントラ予測を実行し、前記符号化ブロックの前記複数のサブ分割についてイントラ予測を実行することは、前記複数のサブ分割の少なくとも２つのサブ分割を前記イントラ予測の１つの予測領域にマージし、前記少なくとも２つのサブ分割の１つのサブ分割から再構成されたサンプルが、前記少なくとも２つのサブ分割のいずれか他のサブ分割の前記イントラ予測を実行するために使用されないように、前記予測領域に隣接する複数のリファレンスサンプルに基づいて、前記イントラ予測の前記予測領域の予測サンプルを生成する、ことを含む。【選択図】図２

Description

本開示は、一般に、ビデオ符号化及び圧縮に関する。詳細には、本開示は、イントラサブ分割符号化モードを使用してビデオ符号化を実行するシステム及び方法に関する。より詳細には、ビデオ復号化方法、ビデオ復号化装置及び記憶媒体に関する。

このセクションは、本開示に関連する背景情報を提供する。このセクションに含まれる情報は、必ずしも先行技術として解釈されるべきではない。

ビデオデータを圧縮するために、様々なビデオ符号化技術の何れかを使用することができる。ビデオ符号化は、１つ以上のビデオ符号化標準に従って実行することができる。いくつかの例示的なビデオ符号化規格は、ＶＶＣ（versatile video coding）、ＪＥＭ（joint exploration test model）符号化、Ｈ．２６５／ＨＥＶＣ（high-efficiency video coding）、Ｈ．２６４／ＡＶＣ（advanced video coding）、及びＭＰＥＧ（moving picture experts group）符号化を含む。

ビデオ符号化は、一般に、ビデオ画像またはシーケンスに固有の冗長性を利用する予測方法（例えば、インター予測、イントラ予測など）を利用する。ビデオ符号化技法の１つの目標は、ビデオ品質の劣化を回避しながら、または最小限に抑えながら、ビデオデータを、より低いビットレートを使用する形式に圧縮することである。

２０１３年１０月に完成したＨＥＶＣ規格の最初のバージョンは、前世代のビデオ符号化規格（Ｈ．２６４／ＭＰＥＧ ＡＶＣ）と比較して、約５０％のビットレート節約または同等の知覚品質を提供する。ＨＥＶＣ規格は、以前の技術と比較して、著しい符号化改善を提供するが、追加の符号化ツールを使用することによって、ＨＥＶＣよりも優れた符号化効率を達成することができるというエビデンスがある。このエビデンスに基づき、ビデオ符号化エキスパートグループ（ＶＣＥＧ）及び動画エキスパートグループ（ＭＰＥＧ）の両方が、将来のビデオ符号化標準化のための新しい符号化技術を開発するための探索的研究を開始した。ＪＶＥＴ（Joint Video Exploration Team）は、ＩＴＵ－Ｔ ＶＥＣＧ及びＩＳＯ／ＩＥＣ ＭＰＥＧによって２０１５年１０月に設立され、符号化効率の大幅な向上を可能にする高度な技術の重要な研究を開始した。ＪＥＭ（Joint Exploration Model）と呼ばれる１つのリファレンスソフトウェアモデルは、ＨＥＶＣ試験モデル（ＨＭ）の上にいくつかの追加のコーディングツールを統合することによってＪＶＥＴによって維持された。

２０１７年１０月には、ＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣが、ＨＥＶＣを超えた能力を有する映像圧縮に関する共同提案（ＣｆＰ）を発表した。２０１８年４月には、第１０回ＪＶＥＴで２３件のＣｆＰ回答を受け、評価を行った。これらの応答は、ＨＥＶＣ標準に対して約４０％の圧縮効率利得を示した。このような評価結果を踏まえ、ＪＶＥＴは、次世代ビデオ符号化規格「ＶＶＣ（Versatile Video Coding）」の開発に向けた新たなプロジェクトを立ち上げた。また、２０１８年４月には、ＶＶＣ規格のリファレンス実装を実証するために、ＶＶＣテストモデル（ＶＴＭ）と呼ばれる１つのリファレンスソフトウェアコードベースが確立された。

このセクションは、本開示の一般的な概要を提供し、その全範囲またはその特徴の全ての包括的な開示ではない。

本開示の第１の態様によれば、ビデオ符号化方法は、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行される複数のプログラムを記憶するメモリとを有するコンピューティングデバイスにおいて実行される。この方法は、複数の対応するサブ分割のそれぞれについてそれぞれのイントラ予測を独立して生成することを含み、それぞれのイントラ予測は、現在の符号化ブロックからの複数のリファレンスサンプルを使用して生成される。

本開示の第２の態様によれば、ビデオ符号化方法は、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行される複数のプログラムを記憶するメモリとを有するコンピューティングデバイスにおいて実行される。この方法は、イントラサブ分割（ＩＳＰ）符号化ブロックの輝度成分について、Ｍの可能なイントラ予測モードのうちのＮのモードのみを使用して、複数の対応するサブ分割のそれぞれについてそれぞれのイントラ予測を生成することを含み、Ｍ及びＮは正の整数であり、ＮはＭ未満である。

本開示の第３の態様によれば、ビデオ符号化方法は、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行される複数のプログラムを記憶するメモリとを有するコンピューティングデバイスにおいて実行される。この方法は、イントラサブ分割（ＩＳＰ）符号化ブロックの彩度成分について、Ｍの可能なイントラ予測モードのうちのＮのモードのみを使用してイントラ予測を生成することを含み、Ｍ及びＮは正の整数であり、ＮはＭ未満である。

本開示の第４の態様によれば、ビデオ符号化方法は、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行される複数のプログラムを記憶するメモリとを有するコンピューティングデバイスにおいて実行される。この方法は、輝度成分のためのイントラサブ分割（ＩＳＰ）符号化ブロック全体の複数の対応するサブ分割のそれぞれについて、及び彩度成分について、それぞれの輝度イントラ予測を生成し、イントラサブ分割（ＩＳＰ）符号化ブロック全体について彩度イントラ予測を生成する。

本開示の第５の態様によれば、ビデオ符号化方法は、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行される複数のプログラムを記憶するメモリとを有するコンピューティングデバイスにおいて実行される。この方法は、イントラサブ分割モードを使用して第１予測を生成し、インター予測モードを使用して第２予測を生成し、第１予測及び第２予測に加重平均を適用することによって最終的な予測を生成するために、第１予測及び第２予測を組み合わせる。

多くのビデオ符号化規格と併せて使用することができる例示的なエンコーダを示すブロック図である。 多くのビデオ符号化規格と併せて使用することができる例示的なデコーダを示すブロック図である。 マルチタイプ木構造のための５つのタイプの例示的なブロック分割を示す。 ＶＶＣ標準と共に使用するための例示的なイントラモードのセットを示す。 イントラ予測を実行するための複数のリファレンス線のセットを示す図である。 第１矩形ブロックのイントラ予測を実行するために使用される、第１セットのリファレンスサンプル及び角度方向を示す。 第２矩形ブロックのイントラ予測を実行するために使用される、第２セットのリファレンスサンプル及び角度方向を示す。 正方形ブロックのイントラ予測を実行するために使用される、第３セットのリファレンスサンプル及び角度方向を示す。 １つの符号化ブロックの位置依存イントラ予測結合（ＰＤＰＣ）のために使用される、隣接する再構成されたサンプルのための例示的な位置のセットを示す。 ８×４ブロックのための短距離イントラ予測分割（ＳＤＩＰ）の例示的なセットを示す。 ４×８ブロックのための短距離イントラ予測分割（ＳＤＩＰ）の例示的なセットを示す。 任意のサイズのブロックのための短距離イントラ予測分割（ＳＤＩＰ）の例示的なセットを示す。 輝度値の関数としての彩度値のプロットであり、プロットは、１セットのリニアモデルパラメータを導出するために使用される。 図９Ａのリニアモデルパラメータの導出に使用されるサンプルの位置を示す。 現在の符号化ブロックの外側のリファレンスサンプルのみを使用する、全てのサブ分割のためのイントラ予測のためのリファレンスサンプルの生成を示す。 図１０の第１サブ分割に対するインター予測子サンプルとイントラ予測子サンプルとの結合を示す。 図１０の第２サブ分割に対するインター予測子サンプルとイントラ予測サンプルとの結合を示す。

以下、本開示の例示的で非限定的な実施形態のセットを、添付の図面と併せて説明する。構造、方法、または機能の変形は、本明細書で提示される例に基づいて、関連技術の当業者によって実装されてもよく、そのような変形は全て、本開示の範囲内に含まれる。矛盾が存在しない場合には、異なる実施形態の教示は、互いに組み合わせることができるが、必ずしもそうである必要はない。

本開示で使用される用語は、本開示を限定するのではなく、特定の例を説明することを対象とする。本開示ならびに添付の特許請求の範囲で使用される単数形「１つの」などは、他の意味が文脈に明確に含まれない限り、複数形も指す。本明細書で使用される用語「及び／または」は、１つまたは複数の関連する列挙されたアイテムの任意のまたは全ての可能な組合せを指すことを理解されたい。

ここでは、「第１」、「第２」、「第３」などの用語を用いて、様々な情報を記述することができるが、これらの用語によって情報が限定されるべきではない。これらの用語は、情報の１つのカテゴリーを別のカテゴリーと区別するためにのみ用いられる。例えば、本開示の範囲から逸脱することなく、第１情報は第２情報と称されてもよく、同様に、第２情報は、第１情報と称されてもよい。本明細書で使用されるように、「ならば」という用語は、文脈に応じて、「とき」、「際」、または「応答して」を意味する。

本明細書全体を通して、単数または複数の「一実施形態」、「ある実施形態」、「別の実施形態」などへの言及は、一実施形態に関連して説明された１つまたは複数の特定の特徴、構造、または特性が本開示の少なくとも１つの実施形態に含まれることを意味し、したがって、単数または複数の「一実施形態において」、「ある実施形態において」、「別の実施形態において」などの語句の、本明細書全体の様々な位置での出現は、必ずしも全て同じ実施形態を指すわけではない。さらに、１つまたは複数の実施形態における特定の特徴、構造、または特性は、任意の適切な方法で組み合わせることができる。

概念的には、多くのビデオ符号化標準は、上記したように類似している。例えば、実質的に全てのビデオ符号化規格は、ブロックベースの処理を使用し、ビデオ圧縮を達成するために同様のビデオ符号化ブロックダイアグラムを共有する。ＨＥＶＣと同様に、ＶＶＣ規格はブロックベースのハイブリッドビデオ符号化フレームワークに基づいて構築されて
いる。

図１は、多くのビデオ符号化規格と併せて使用され得る、例示的なエンコーダ１００のブロック図を示す。エンコーダ１００において、ビデオフレームは、処理のために複数のビデオブロックに分割される。与えられた各ビデオブロックに対して、インター予測アプローチまたはイントラ予測アプローチの何れかに基づいて予測が形成される。インター予測では、１つまたは複数の予測子が、以前に再構成されたフレームからのピクセルに基づいて、動き推定及び動き補償によって形成される。イントラ予測では、予測子は、現在のフレーム内の再構成されたピクセルに基づいて形成される。モード決定により、現在のブロックを予測するために最良の予測子を選択することができる。

現在のビデオブロックとその予測子の差を表す予測残差が、変換回路１０２に送信される。次いで、変換係数が、エントロピー低減のために、変換回路１０２から量子回路１０４に送信される。次いで、量子化係数をエントロピー符号化回路１０６に供給し、圧縮ビデオビットストリームを生成する。図１に示すように、ビデオブロック分割情報、動きベクトル、リファレンスピクチャインデックス、及びイントラ予測モードなどの、インター予測回路及び／またはイントラ予測回路１１２からの予測関連情報１１０も、エントロピー符号化回路１０６を通して供給され、圧縮ビデオビットストリーム１１４に保存される。

エンコーダ１００では、予測の目的でピクセルを再構成するために、デコーダ関連の回路も必要である。まず、逆量子化回路１１６と逆変換回路１１８を通して予測残差を再構成する。この再構成された予測残差をブロック予測子１２０と組み合わせて、現在のビデオブロックについてフィルタ処理されていない再構成画素を生成する。

符号化効率及び視覚品質を改善するために、インループフィルタ１１５が一般に使用される。例えば、デブロッキングフィルタは、ＡＶＣ、ＨＥＶＣ、並びにＶＶＣの現在のバージョンにおいて利用可能である。ＨＥＶＣでは、符号化効率をさらに改善するために、ＳＡＯ（Sample Adaptive Offset）と呼ばれる追加のインループフィルタが定義される。現在のＶＶＣ規格では、ＡＬＦ（Adaptive Loop Filter）と呼ばれるさらに別のインループフィルタが活発に検討されており、最終規格に含まれる可能性が高い。

これらのインループフィルタ動作はオプションである。これらの動作を実行することは、符号化効率及び視覚品質を改善するのに役立つ。それらはまた、エンコーダ１００による決定としてオフにされて、計算の複雑さを節約することができる。

イントラ予測は、通常、フィルタリングされていない再構成ピクセルに基づいており、一方、インター予測は、これらのフィルタオプションがエンコーダ１００によってオンにされる場合、フィルタリングされた再構成ピクセルに基づいていることに留意されたい。

図２は、多くのビデオ符号化規格と共に使用され得る例示的なデコーダ２００を示すブロック図である。このデコーダ２００は、図１のエンコーダ１００内に存在する再構成関連部分に類似している。デコーダ２００（図２）において、入力ビデオビットストリーム２０１は、まず、エントロピー復号化回路２０２を通して復号化され、量子化係数レベル及び予測関連情報を導出する。量子化された係数レベルは、逆量子化回路２０４及び逆変換回路２０６を通して処理され、再構成された予測残差を得る。イントラ／インターモードセレクタ２１２で実施されるブロック予測機構は、復号化された予測情報に基づいて、イントラ予測プロシージャ２０８または動き補償プロシージャ２１０の何れかを実行するように構成される。加算器２１４を用いて、逆変換回路２０６からの再構成予測残差とブロック予測子機構により生成された予測出力とを合計することにより、フィルタ処理され
ていない再構成画素の集合が得られる。再構成されたブロックは、リファレンスピクチャストアとして機能するピクチャバッファ２１３に格納される前に、インループフィルタ２０９をさらに通過することができる。ピクチャバッファ２１３内の再構成されたビデオは、その後、ディスプレイデバイスを駆動するために送出されるとともに、将来のビデオブロックを予測するために使用されることができる。インループフィルタ２０９がオンにされる状況において、最終的な再構成されたビデオ出力２２２を導出するために、フィルタリング操作がこれらの再構成されたピクセルに対して実行される。

ここで図１に戻ると、エンコーダ１００への入力ビデオ信号はブロック毎に処理される。各ブロックは、符号化ユニット（ＣＵ）と呼ばれる。ＶＴＭ－１．０では、ＣＵは１２８×１２８ピクセルまでであってよい。ＨＥＶＣ（High Efficiency Video Encoding）、ＪＥＭ（Joint Exploration Test Model）、ＶＶＣ（Versatile Video Encoding）では、圧縮の基本単位は、符号化木ユニット（ＣＴＵ）と呼ばれる。しかしながら、４分木のみに基づいてブロックを分割するＨＥＶＣ標準とは対照的に、ＶＶＣ標準では、１つのＣＴＵは、４分木／２分木／３分木構造に基づいて変化する局所特性に適応するためにＣＵに分割される。さらに、ＨＥＶＣ規格における複数分割ユニットタイプの概念は、ＶＶＣ規格には存在しない。すなわち、ＣＵ、ＰＵ（Prediction Unit）、及びＴＵ（Transform Unit）の分離は、ＶＶＣ規格には存在しない。代わりに、各ＣＵは、さらなる分割なしで、予測及び変換の両方のための基本ユニットとして常に使用される。ＨＥＶＣ及びＪＥＭの最大ＣＴＵサイズは、最大で６４×６４輝度ピクセル、及び、４：２：０彩度形式の場合、３２×３２彩度ピクセルの２ブロックとして定義される。ＣＴＵ内の輝度ブロックの最大許容サイズは、１２８×１２８に指定される（輝度変換ブロックの最大サイズは６４×６４であるが）。

図３は、マルチタイプ木構造のための５つのタイプの例示的なブロック分割を示す。５つのタイプの例示的なブロック分割は、４分割３０１、水平２分割３０２、垂直２分割３０３、水平３分割３０４、及び垂直３分割３０５を含む。マルチタイプ木構造が利用される状況では、１つのＣＴＵが最初に４分木構造によって分割される。次に、各４分木リーフノードは、２分木構造及び３分木構造によってさらに分割することができる。

図３の例示的なブロック分割３０１、３０２、３０３、３０４、または３０５のうちの１つまたは複数を使用して、図１に示す構成を使用して、空間予測及び／または時間予測を実行することができる。空間予測（または「イントラ予測」）は、現在のビデオブロックを予測するために、同じビデオピクチャ／スライス内の既に符号化された隣接ブロック（リファレンスサンプルと呼ばれる）のサンプルからのピクセルを使用する。空間予測は、ビデオ信号に固有の空間冗長性を低減する。

時間予測（「インター予測」または「動き補償予測」とも呼ばれる）は、既に符号化されたビデオピクチャからの再構成ピクセルを使用して、現在のビデオブロックを予測する。時間予測は、ビデオ信号に固有の時間的冗長性を低減する。所与のＣＵについての時間予測信号は、通常、現在のＣＵとその時間リファレンスとの間の動きの量及び方向を示す１つまたは複数の動きベクトル（ＭＶ）によって信号化される。また、複数のリファレンスピクチャがサポートされている場合、１つのリファレンスピクチャインデックスがさらに送信され、リファレンスピクチャインデックスは、リファレンスピクチャストア内のどのリファレンスピクチャから時間予測信号が来るかを識別するために使用される。

空間及び／または時間予測が実行された後、エンコーダ１００内のイントラモード／インターモード決定回路１２１は、例えば、レート歪み最適化法に基づいて、最良の予測モードを選択する。次いで、ブロック予測子１２０は、現在のビデオブロックから減算され、結果として生じる予測残差は、変換回路１０２及び量子化回路１０４を使用して、非相
関化される。得られた量子化された残差係数は、逆量子化回路１１６によって逆量子化され、逆変換回路１１８によって逆変換され、再構成された残差を形成し、次いで、ＣＵの再構成された信号を形成するために予測ブロックに戻される。デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）、及び／または適応インループフィルタ（ＡＬＦ）などのさらなるインループフィルタ１１５を、再構成されたＣＵがピクチャバッファ１１７のリファレンスピクチャストアに入れられ、将来のビデオブロックを符号化するために使用される前に、再構成されたＣＵに適用することができる。出力ビデオビットストリーム１１４を形成するために、符号化モード（インターまたはイントラ）、予測モード情報、動き情報、及び量子化された残差係数は全て、エントロピー符号化ユニット１０６に送信され、さらに圧縮され、パックされてビットストリームを形成する。

ＶＶＣ標準において適用される基本イントラ予測方式は、いくつかのモジュールが、イントラサブ分割（ＩＳＰ）符号化モード、イントラ広角方向による拡張イントラ予測、位置依存イントラ予測組み合わせ（ＰＤＰＣ）及び４タップイントラ補間などのＶＶＣ標準においてさらに拡張及び／または改良されていることを除いて、ＨＥＶＣ標準と概ね同じに保たれる。本開示の１つの広い態様は、ＶＶＣ規格における既存のＩＳＰ設計を改善することを対象とする。さらに、ＶＶＣ規格に含まれ、本開示において提案される技法に密接に関連する他の符号化ツール（例えば、イントラ予測及び変換符号化プロセスにおけるツール）が、以下でより詳細に説明される。

〔イントラ広角方向を持つイントラ予測モード〕
ＨＥＶＣ標準の場合のように、ＶＶＣ標準は、ＣＵのサンプルを予測するために、１つの現在のＣＵに隣接する（すなわち、上または左）、以前に復号されたサンプルのセットを使用する。しかしながら、自然ビデオ（特に、高解像度、例えば４Ｋを有するビデオコンテンツについて）に存在するより微細なエッジ方向を捕捉するために、イントラ角度モードの量は、ＨＥＶＣ規格の３３モードからＶＶＣ規格の９３モードに拡張される。角度方向に加えて、ＨＥＶＣ標準及びＶＶＣ標準の両方は、平面モード（境界から導出された水平及び垂直傾斜を有する緩やかに変化する表面を仮定する）及びＤＣモード（平坦な表面を仮定する）のために提供する。

図４は、ＶＶＣ標準と共に使用するための１セットの例示的なイントラモード４００を図示し、図５は、イントラ予測を実行するための１セットの複数のリファレンス線を図示する。図４を参照すると、例示的なイントラモード４００のセットは、モード０、１、－１４、－１２、－１０、－８、－６、－４、－２、２、４、６、８、１０、１２、１４、１６、１８、２０、２２、２４、２６、２８、３０、３２、３４、３６、３８、４０、４２、４４、４６、４８、５０、５２、５４、５６、５８、６０、６２、６４、６６、６８、７０、７２、７４、７６、７８及び８０を含む。モード０は平面モード、モード１はＤＣモードに対応する。ＨＥＶＣ標準のイントラ予測プロセスと同様に、ＶＶＣ標準における定義されたイントラモード（すなわち、平面、ＤＣ及び角度方向）の全ては、イントラ予測のためのリファレンスとして、予測されたブロックの上及び左にある１セットの隣接する再構築されたサンプルを利用する。しかしながら、再構成されたサンプルの最も近い行／列（図５の行０、５０１）のみがリファレンスとして使用されるＨＥＶＣ規格とは異なり、２つの追加の行／列（すなわち、図５の行１、５０３及び行３、５０５）がイントラ予測プロセスのために使用されるマルチリファレンスライン（ＭＲＬ）がＶＶＣに導入される。選択されたリファレンス行／列のインデックスは、エンコーダ１００（図１）からデコーダ２００（図２）に信号で送信される。行１、５０３または行３、５０５など、図５において最も近くない行／列が選択される場合、図４の平面モード及びＤＣモードは、現在のブロックを予測するために使用され得るイントラモードのセットから除外される。

図６Ａは、矩形ブロック（幅Ｗを高さＨで除した値は２に等しい）のイントラ予測のために使用されるリファレンスサンプル及び角度方向６０２、６０４の第１セットを図示する。リファレンスサンプルの第１セットは、第１サンプル６０１及び第２サンプル６０３を含む。図６Ｂは、垂直に長い矩形ブロック（Ｗ／Ｈ＝１／２）のイントラ予測に使用される第２セットのリファレンスサンプル及び角度方向６０６、６０８を示す。リファレンスサンプルの第２セットは、第３サンプル６０５及び第４サンプル６０７を含む。図６Ｃは、正方形ブロック（Ｗ＝Ｈ）のイントラ予測のために使用される、第３セットのリファレンスサンプル及び角度方向６１０及び６１２を示す。リファレンスサンプルの第３セットは、第５サンプル６０９及び第６サンプル６１０を含む。最近傍を利用すると仮定すると、図６Ｃは、１つのイントラブロックの予測サンプルを導出するためにＶＶＣ規格で使用することができる第３リファレンスサンプルの位置を示す。図６Ｃに示されるように、４分木／２分木／３分木分割構造が適用されるため、正方形の符号化ブロックに加えて、ＶＶＣ標準の文脈でのイントラ予測手順に矩形符号化ブロックも存在する。

１つの与えられたブロックの不均等な幅と高さのために、異なるブロック形状に対して様々な角度方向のセットが選択され、これは広角イントラ予測とも呼ばれる。詳細には、平面及びＤＣモードの他に、正方形及び矩形の両符号化ブロックについて、表１に示すように、９３の角度方向のうち６５の角度方向も各ブロック形状に対してサポートされる。このような設計は、（ブロック形状に基づいて角度方向を適応的に選択することにより）ビデオに典型的に存在する方向構造を効率的に捕らえることができるだけでなく、各符号化ブロックに対して合計６７のイントラモード（すなわち、平面、ＤＣ及び６５の角度方向）を確実に有効にすることができる。これは、異なるブロックサイズにわたって一貫した設計を提供しながら、信号イントラモードの良好な効率を達成することができる。

[表１ ＶＶＣの異なるブロック形状のイントラ予測のために選択された角度方向]

〔位置依存イントラ予測結合〕
先に述べたように、イントラ予測サンプルは、フィルタリングされていない、またはフィルタリングされた近傍リファレンスサンプルのセットの何れかから生成され、これは、現在の符号化ブロックとその近傍との間のブロック境界に沿って不連続性を導入し得る。このような問題を解決するために、境界フィルタリングは、ＤＣ、水平（すなわち、図４のモード１８）及び垂直（すなわち、モード５０）予測モードの予測サンプルの第１の行／列を、フィルタリングされていないリファレンスサンプルと組み合わせることによって、２タップフィルタ（ＤＣモード用）または勾配ベースの平滑化フィルタ（水平及び垂直予測モード用）を利用することによって、ＨＥＶＣ規格において適用される。

ＶＶＣ規格における位置依存イントラ予測結合（ＰＤＰＣ）ツールは、イントラ予測サンプルとフィルタリングされていないリファレンスサンプルとの重み付けされた結合を使用することによって、前述の概念を拡張する。現在のＶＶＣワーキングドラフトでは、ＰＤＰＣは、信号化なしの以下のイントラモード、すなわち、平面、ＤＣ、水平（すなわち、モード１８）、垂直（すなわち、モード５０）、左下対角方向に近い角度方向（すなわち、モード２、３、４、…、１０）、及び右上対角方向に近い角度方向（すなわち、モード５８、５９、６０、…、６６）に対してイネーブルされる。座標（ｘ，ｙ）として位置する予測サンプルがｐｒｅｄ（ｘ，ｙ）であると仮定すると、ＰＤＰＣ後のその対応する値は、以下のように計算される。

ｐｒｅｄ（ｘ，ｙ）＝（ｗＬ×Ｒ_－１，ｙ＋ｗＴ×Ｒ_ｘ－１－ｗＴＬ×Ｒ_{－１，－１}＋（６４－ｗＬ－ｗＴ＋ｗＴＬ）×ｐｒｅｄ（ｘ，ｙ）＋３２）＞＞６ … （１）

ここで、Ｒ_ｘ－１、Ｒ_－１，ｙはそれぞれ現在のサンプル（ｘ、ｙ）の上及び左にあるリファレンスサンプルを表し、Ｒ_{－１，－１}は現在のブロックの左上隅にあるリファレンスサンプルを表す。

図７は、１つの符号化ブロックの位置依存イントラ予測結合（ＰＤＰＣ）のために使用される、隣接する再構成されたサンプルのための例示的な位置のセットを示す。第１リファレンスサンプル７０１（Ｒ_ｘ－１）は、現在の予測サンプル（ｘ、ｙ）の上に位置するリファレンスサンプルを表す。第２リファレンスサンプル７０３（Ｒ_－１，ｙ）は、現在の予測サンプル（ｘ、ｙ）の左に位置するリファレンスサンプルを表す。第３のリファレンスサンプル７０５（Ｒ_{－１，－１}）は、現在の予測サンプル（ｘ、ｙ）の左上隅に位置するリファレンスサンプルを表す。

第１、第２、及び第３リファレンスサンプル７０１、７０３、及び７０５を含むリファレンスサンプルは、ＰＤＰＣプロセス中に現在の予測サンプル（ｘ、ｙ）と結合される。現在の符号化ブロックがＷ×Ｈの大きさであると仮定した場合、以下のように、式（１）の重みｗＬ、ｗＴ及びｗＴＬは、予測モード及びサンプル位置に応じて適応的に選択される。

ＤＣモードでは、
ｗＴ＝３２＞＞（（ｙ＜＜１）＞＞ｓｈｉｆｔ）、ｗＬ＝３２＞＞（（ｘ＜＜１）＞＞ｓｈｉｆｔ）、ｗＴＬ＝（ｗＬ＞＞４）＋（ｗＴ＞＞４）…（２）

平面モードでは、
ｗＴ＝３２＞＞（ｙ＜＜１）＞＞ｓｈｉｆｔ）、ｗＬ＝３２＞＞（（ｘ＜＜１）＞＞ｓｈｉｆｔ）、ｗＴＬ＝０…（３）

水平モードでは、
ｗＴ＝３２＞＞（（ｙ＜＜１）＞＞ｓｈｉｆｔ）、ｗＬ＝３２＞＞（（ｘ＜＜１）＞＞ｓｈｉｆｔ）、ｗＴＬ＝ｗＴ …（４）

垂直モードでは、
ｗＴ＝３２＞＞（（ｙ＜＜１）＞＞ｓｈｉｆｔ）、ｗＬ＝３２＞＞（（ｘ＜＜１）＞＞ｓｈｉｆｔ）、ｗＴＬ＝ｗＬ…（５）

左下対角方向では、
ｗＴ＝１６＞＞（（ｙ＜＜１）＞＞ｓｈｉｆｔ）、ｗＬ＝１６＞＞（（ｘ＜＜１）＞＞ｓ
ｈｉｆｔ）、ｗＴＬ＝０…（６）

右上対角方向では、
ｗＴ＝１６＞＞（（ｙ＜＜１）＞＞ｓｈｉｆｔ）、ｗＬ＝１６＞＞（（ｘ＜＜１）＞＞ｓｈｉｆｔ）、ｗＴＬ＝０…（７）

ここで、ｓｈｉｆｔ＝（ｌｏｇ_２（Ｗ）－２＋ｌｏｇ_２（Ｈ）－２＋２）＞＞２

〔多重変換選択と形状適応変換選択〕

ＨＥＶＣ規格で使用されるＤＣＴ－ＩＩ変換に加えて、ＤＣＴ－ＶＩＩＩ及びＤＳＴ－ＶＩＩの追加のコア変換を導入することによって、ＶＶＣ規格で多重変換選択（ＭＴＳ）ツールが使用可能になる。ＶＶＣ規格では、変換の適応選択は、１つのＭＴＳフラグをビットストリームに信号化することによって、符号化ブロックレベルで可能にされる。詳細には、１つのブロックについてＭＴＳフラグが０に等しい場合、１対の固定変換（例えば、ＤＣＴ－ＩＩ）が水平方向及び垂直方向に適用される。そうでない場合（ＭＴＳフラグが１に等しい場合）、各方向の変換タイプ（ＤＣＴ－ＶＩＩＩまたはＤＳＴ－ＶＩＩの何れか）を示すために、ブロックに対して２つの追加のフラグがさらに信号化される。

一方、ＶＶＣ標準における４分木／２分木／３分木ベースのブロック分割構造の導入により、イントラ予測の残差の分布はブロック形状と強く相関する。したがって、ＭＴＳがディスエーブルされる（すなわち、ＭＴＳフラグが１つの符号化ブロックに対して０に等しい）とき、１つの形状適応変換選択方法が、ＤＣＴ－ＩＩ及びＤＳＴ－ＶＩＩ変換が現在のブロックの幅及び高さに基づいて暗黙的にイネーブルされる全てのイントラ符号化ブロックに適用される。より詳細には、各矩形ブロックに対して、本方法は、１つのブロックの短辺に関連する方向にＤＳＴ－ＶＩＩ変換を使用し、ブロックの長辺に関連する方向にＤＣＴ－ＩＩ変換を使用する。各正方形ブロックに対して、ＤＳＴ－ＶＩＩは両方向に適用される。さらに、異なるブロックサイズの新しい変換を導入することを回避するために、ＤＳＴ－ＶＩＩ変換は、１つのイントラ符号化ブロックの短辺が１６以下である場合にのみ有効にされる。そうでなければ、ＤＣＴ－ＩＩ変換が常に適用される。

表２は、ＶＶＣにおける形状適応変換選択法に基づくイントラ符号化ブロックのための、イネーブルされた水平及び垂直変換を示す。

［表２ ＶＶＣのブロック内の形状適応変換選択］

〔イントラサブ分割符号化モード〕
従来のイントラモードは、１つの符号化ブロックに隣接する再構成されたサンプルのみを利用して、そのブロックのイントラ予測サンプルを生成する。このような方法に基づいた予測サンプルとリファレンスサンプルとの間の空間相関は、予測サンプルとリファレンスサンプルとの間の距離にほぼ比例する。したがって、内側部分のサンプル（特に、ブロックの右下隅に位置するサンプル）は、通常、ブロック境界に近いサンプルよりも低い予
測品質を有する。イントラ予測効率をさらに改善するために、短距離イントラ予測（ＳＤＩＰ）が提案され、よく研究された。この方法は、１つのイントラ符号化ブロックを、水平方向または垂直方向に、予測のために複数のサブブロックに分割する。通常、正方形ブロックは４つのサブブロックに分割される。例えば、８×８ブロックは、４つの２×８または４つの８×２サブブロックに分割され得る。このようなサブブロックベースのイントラ予測の１つの極端なケースは、いわゆるラインベース予測であり、ここで、ブロックは予測のために１次元の行／列に分割される。例えば、１つのＷ×Ｈ（幅×高さ）ブロックを、Ｗ×１のサイズのＨサブブロックに、または１×ＨのサイズのＷサブブロックに、イントラ予測のために分割することができる。得られた行／列のそれぞれは、（図６Ａ、６Ｂ、６Ｃ、及び７に示されるように）通常の２次元（２Ｄ）ブロックと同じ方法で符号化され、すなわち、利用可能なイントラモードの１つによって予測され、予測誤差は、変換及び量子化に基づいて非相関化され、再構成のためにデコーダ２００（図２）に送信される。その結果、１つのサブブロック（例えば、行／列）内の再構成されたサンプルは、次のサブブロック内のサンプルを予測するためのリファレンスとして使用することができる。上記のプロセスは、現在のブロック内の全てのサブブロックが予測され、符号化されるまで繰り返される。さらに、信号化オーバーヘッドを低減するために、１つの符号化ブロック内の全てのサブブロックは、同じイントラモードを共有する。

ＳＤＩＰでは、異なるサブブロック分割が異なる符号化効率を提供する場合がある。一般に、ラインベースの予測は、異なる分割間で「最短予測距離」を提供するので、最良の符号化効率を提供する。一方、コーデックハードウェア実装では、最悪の符号化／復号化スループットを備えている。例えば、４×４のサブブロックを有するブロックと、４×１または１×４のサブブロックを有する同じブロックと、を考慮すると、後者の場合は前者の場合のスループットの４分の１に過ぎない。ＨＥＶＣでは、輝度に対する最小のイントラ予測ブロックサイズは４×４である。

図８Ａは、８×４ブロック８０１のための短距離イントラ予測（ＳＤＩＰ）分割の例示的なセットを示し、図８Ｂは、４×８ブロック８０３のための短距離イントラ予測（ＳＤＩＰ）分割の例示的なセットを示し、図８Ｃは、任意のサイズのブロック８０５のための短距離イントラ予測（ＳＤＩＰ）分割の例示的なセットを示す。近年、サブ分割予測（ＩＳＰ）と呼ばれるビデオ符号化ツールがＶＶＣ規格に導入された。概念的には、ＩＳＰはＳＤＩＰと非常に似ている。詳細には、ブロックサイズに応じて、ＩＳＰは、現在の符号化ブロックを、水平方向または垂直方向の何れかで２つまたは４つのサブブロックに分割し、各サブブロックは、少なくとも１６個のサンプルを含む。

まとめると、図８Ａ、８Ｂ、及び８Ｃは、異なる符号化ブロックサイズに対して考えられる全ての分割ケースを示している。さらに、ＶＶＣ規格における他の符号化ツールとの相互作用を取り扱うために、現在のＩＳＰ設計には、以下の主な態様も含まれている。

●広角イントラ方向との相互作用：ＩＳＰは広角イントラ方向と組み合わされる。現在の設計では、通常のイントラ方向またはその対応する広角イントラ方向が適用されるべきかどうかを決定するために使用されるブロックサイズ（すなわち、幅／高さ比）は、元の符号化ブロックのうちの１つ、すなわち、サブブロック分割の前のブロックである。

●複数のリファレンス線との相互作用：ＩＳＰを複数のリファレンス線と一緒にイネーブルにすることはできない。詳細には、現在のＶＶＣ信号化設計では、ＩＳＰイネーブル／ディスエーブルフラグは、ＭＲＬインデックスの後に信号化される。１つのイントラブロックが１つの非ゼロＭＲＬインデックスを有する（すなわち、非最近傍隣接サンプルを参照する）場合、ＩＳＰイネーブル／ディスエーブルフラグは、信号化されず、０として推測され、すなわち、この場合、ＩＳＰは、符号化ブロックに対して自動的にディスエーブ
ルされる。

●最も確率の高いモードとの相互作用：通常のイントラモードと同様に、１つのＩＳＰブロックに対して使用されるイントラモードは、最も確率の高いモード（ＭＰＭ）メカニズムを介して信号化される。しかしながら、通常のイントラモードと比較して、ＩＳＰのＭＰＭ方式には、以下の変更が行われている。１）分割ＩＳＰブロックは、ＭＰＭリストに含まれるイントラモードのみをイネーブルにし、ＭＰＭリストにない他の全てのイントラモードをディスエーブルにする。２）分割ＩＳＰブロックに対して、そのＭＰＭリストはＤＣモードを除外し、ＩＳＰ水平分割に水平イントラモードを優先し、ＩＳＰ垂直分割に垂直モードを優先する。

●少なくとも１つの非ゼロ係数ブロックフラグ（ＣＢＦ）：現在のＶＶＣでは、変換ブロックが０に等しくない１つ以上の変換係数レベルを含むことを特定するために、ＣＢＦフラグが各変換ユニット（ＴＵ）に対して信号化される。ＩＳＰを使用する特定のブロックがあると、デコーダはサブ分割の少なくとも１つに非ゼロのＣＢＦがあると看做す。このため、ｎがサブ分割の数で、最初のｎ－１のサブ分割がゼロのＣＢＦを生成した場合、ｎ番目のサブ分割のＣＢＦは１と推測される。したがって、それを送信し、復号する必要はない。

●多重変換選択との相互作用：ＩＳＰはＭＴＳと排他的に適用される。すなわち、１つの符号化ブロックがＩＳＰを使用する場合、そのＭＴＳフラグは通知されないが、常に０（ディスエーブル）と推測される。しかしながら、ＤＣＴ－ＩＩ変換を常に使用する代わりに、（ＤＳＴ－ＶＩＩ及びＤＣＴ－ＩＩを含む）コア変換の固定セットが、ブロックサイズに基づいてＩＳＰ符号化ブロックに暗黙的に適用される。詳細には、Ｗ及びＨが１つのＩＳＰサブ分割の幅及び高さであると仮定すると、その水平変換及び垂直変換は、表３に記載されるように、以下の規則に従って選択される。

［表３ ＩＳＰブロックに対する選択された水平及び垂直変換］

〔交差成分リニアモデル予測〕
図９Ａは、輝度値の関数としての彩度値のプロットであり、ここで、プロットは、１セットのリニアモデルパラメータを導出するために使用される。より詳細には、以下のように、彩度値と輝度値との間の関係を表す直線９０１が、１セットのリニアモデルパラメータを導出するために使用される。交差成分冗長性を低減するために、交差成分リニアモデル（ＣＣＬＭ）予測モードがＶＶＣで使用され、そのために、彩度サンプルは、以下のよ
うなリニアモデルを使用することによって、同じＣＵの再構成された輝度サンプルに基づいて予測される。
ｐｒｅｄ_Ｃ（ｉ，ｊ）＝α・ｒｅｃ_Ｌ’（ｉ，ｊ）＋β …（８）
ここで、ｐｒｅｄ_Ｃ（ｉ，ｊ）はＣＵ内の予測彩度サンプルを表し、ｒｅｃ_Ｌ’（ｉ，ｊ）は同じＣＵのダウンサンプリングされ再構成された輝度サンプルを表す。リニアモデルパラメータα及びβは、図９Ａに例示されるように、２つのサンプルから、輝度値と彩度値との間の関係を表す直線９０１から導出される。これらは、最小輝度サンプルＡ（Ｘ_Ａ、Ｙ_Ａ）と、隣接する輝度サンプルの集合内の最大ルミナンスサンプルＢ（Ｘ_Ｂ、Ｙ_Ｂ）である。ここで、Ｘ_Ａ、Ｙ_ＡはサンプルＡのｘ座標（輝度値）及びｙ座標（彩度値）の値で、Ｘ_Ｂ、Ｙ_ＢはサンプルＢのｘ座標及びｙ座標の値である。リニアモデルパラメータは以下の式に従って取得される。
α＝（ｙ_Ｂ－ｙ_Ａ）／（ｘ_Ｂ－ｘ_Ａ）
β＝ｙ_Ａ－αｘ_Ａ
このような方法は、ｍｉｎ－Ｍａｘ法とも呼ばれる。上式の除算は回避でき、乗算とシフトで置き換えることができる。

図９Ｂは、図９Ａのリニアモデルパラメータの導出に使用されるサンプルの位置を示す。正方形の形状を持つ符号化ブロックに対しては、リニアモデルパラメータα及びβに対する上記２つの式が直接適用される。非正方形符号化ブロックの場合、長い方の境界の隣接するサンプルは、最初に、短い方の境界と同じ数のサンプルを有するようにサブサンプリングされる。図９Ｂは、彩度サンプル９０３のＮ×Ｎセット及び輝度サンプル９０５の２Ｎ×２Ｎセットを含む、ＣＣＬＭモードに関与する、左及び上のサンプルの位置、ならびに現在のブロックのサンプルを示す。リニアモデル係数を一緒に計算するために上テンプレート及び左テンプレートを使用することに加えて、これらのテンプレートはまた、ＬＭ＿Ａ及びＬＭ＿Ｌモードと呼ばれる他の２つのＬＭモードにおいて代替的に使用され得る。

ＬＭ＿Ａモードでは、上記テンプレート内のピクセルサンプルのみが、リニアモデル係数を計算するために使用される。より多くのサンプルを得るために、上記のテンプレートは（Ｗ＋Ｗ）に拡張される。ＬＭ＿Ｌモードでは、左テンプレート内のピクセルサンプルのみが、リニアモデル係数を計算するために使用される。より多くのサンプルを得るために、左テンプレートを（Ｈ＋Ｈ）に拡張する。上側リファレンス線がＣＴＵ境界にあるとき、ダウンサンプリングされた輝度サンプルを作成するために、１つの輝度線（イントラ予測における一般的なラインバッファ）のみが使用されることに留意されたい。

彩度イントラモード符号化の場合、彩度イントラモード符号化のために合計８のイントラモードが許容される。これらのモードは、５の従来のイントラモード及び３のクロスコンポーネントリニアモデルモード（ＣＣＬＭ、ＬＭ＿Ａ、及びＬＭ＿Ｌ）を含む。彩度モード信号化及び導出プロセスを表４に示す。彩度モード符号化は、対応する輝度ブロックのイントラ予測モードに直接依存する。Ｉスライスでは、輝度成分及び彩度成分のための別個のブロック分割構造が使用可能であるので、１つの彩度ブロックは、複数の輝度ブロックに対応することができる。したがって、彩度ＤＭモードの場合、現在の彩度ブロックの中心位置をカバーする対応する輝度ブロックのイントラ予測モードは、直接継承される。

[表４：ＣＣＬＭ＿がイネーブルされているときの輝度モードからの彩度予測モードの導出]

ＶＶＣにおけるＩＳＰツールはイントラ予測効率を高めることができるが、ＶＶＣの性能をさらに改善する余地がある。一方、既存のＩＳＰのいくつかの部分は、より効率的なコーデックハードウェア実装を提供するために、及び／または改善された符号化効率を提供するために、さらなる単純化から恩恵を受けることになる。本開示では、ＩＳＰ符号化効率をさらに改善するため、既存のＩＳＰ設計を単純化するため、及び／または改善されたハードウェア実装を容易にするために、いくつかの方法が提案される。

〔ＩＳＰのための独立（または並列）サブ分割予測子生成〕
図１０は、現在の符号化ブロック１０００の外部のリファレンスサンプルのみを使用して、全てのサブ分割についてのイントラ予測１００７のためのリファレンスサンプルの生成を示す。現在の符号化ブロック１０００は、第１のサブ分割１、１００１、第２のサブ分割２、１００２、第３のサブ分割３、１００３、及び第４のサブ分割４、１００４を含む。本開示では、各サブ分割１００１、１００２、１００３、及び１００４について独立してイントラ予測を生成することが提案される。言い換えれば、サブ分割１００１、１００２、１００３、及び１００４の全ての予測子を並列に生成することができる。一実施形態では、全てのサブ分割の予測子は、従来の非サブ分割イントラモードで使用されるのと同じ手法を使用して生成される。詳細には、１つのサブ分割の再構成されたサンプルは、同じ符号化ユニット内の他の任意のサブ分割のためのイントラ予測サンプルを生成するために使用されず、各サブ分割１００１、１００２、１００３、１００４の全ての予測子は、図１０に示されるように、現在の符号化ブロック１０００のリファレンスサンプルを使用して生成される。

ＶＶＣ規格におけるＩＳＰモードの場合、各サブ分割の幅は、２以下とすることができる。１つの詳細な例は、以下の通りである。ＶＶＣ規格におけるＩＳＰモードによれば、符号化ブロックの以前に復号された２×Ｎサブブロックの再構成された値に対する２×Ｎ（幅×高さ）サブブロック予測の依存性は許容されず、その結果、サブブロックの予測のための最小幅は４サンプルになる。例えば、垂直分割でＩＳＰを用いて符号化された８×８符号化ブロックは、それぞれサイズ２×８の４つの予測領域に分割され、左２つの２×８予測領域は、イントラ予測を実行するために第１の４×８予測領域にマージされる。変換回路１０２（図１）は、各２×８分割に適用される。

この例によれば、右の２つの２×８予測領域は、イントラ予測を実行するために第２の４×８予測領域にマージされる。変換回路１０２は、各２×８分割に適用される。第１の４×８予測領域は、現在の符号化ブロックの隣接画素を使用してイントラ予測子を生成し
、第２の４×８領域は、第１の４×８領域（第２の４×８領域の左に位置する）からの再構成画素、または現在の符号化ブロック（第２の４×８の上に位置する）からの隣接画素を使用することに留意されたい。

別の実施形態では、水平（ＨＯＲ）予測モード（図４に示されるようにモード１８）のみ、ならびに（図４に示されるように）１８よりも小さいモード指標を有する予測モードのみを使用して、水平サブ分割のイントラ予測を形成することができ、垂直（ＶＥＲ）予測モード（すなわち、図４に示されるモード５０）のみを使用し、（図４に示されるように）５０よりも大きなモード指標を有する予測モードを使用して、垂直サブ分割のイントラ予測を形成することができることに留意されたい。その結果、ＨＯＲ予測モード（図４のモード１８として示される）と、モードが１８より小さい角度予測モードの全てとで、各水平サブ分割に対するイントラ予測は、独立して、かつ、並列に行うことができる。同様に、ＶＥＲ予測モード（図４のモード５０）、及び５０を超えるモードを有する角度予測モードの全てで、各垂直サブ分割に対するイントラ予測は、独立して、かつ、並列に実行され得る。

〔ＩＳＰのための輝度成分のためのイントラ予測モード符号化〕
本開示では、ＩＳＰ符号化ブロック（Ｎは正の整数である）のための輝度成分のために、全ての可能なイントラ予測モードのうちのＮ個のモードのみを許可することが提案される。一実施形態では、ＩＳＰ符号化ブロックの輝度成分に対して１つのモードのみが許可される。例えば、このシングル許可モードは、平面モードであってもよい。別の例では、このシングル許可モードはＤＣモードであってもよい。第３の例では、このシングル許可モードは、ＨＯＲ予測モード、ＶＥＲ予測モード、または対角（ＤＩＡ）モード（図４のモード３４）イントラ予測モードのうちの１つであってもよい。

別の実施形態では、ＩＳＰ符号化ブロックの輝度成分に対して１つのモードのみが許可され、このモードは、サブ分割の方向、すなわち、それが水平サブ分割であるか垂直サブ分割であるかによって異なってもよい。例えば、ＨＯＲ予測モードのみが水平サブ分割のために許可され、一方、ＶＥＲ予測モードのみが垂直サブ分割のために許可される。さらに別の例では、ＶＥＲ予測モードのみが水平サブ分割のために許可され、一方、ＨＯＲ予測モードのみが垂直サブ分割のために許可される。

さらに別の実施形態では、ＩＳＰ符号化ブロックの輝度成分に対して２つのモードのみが許容される。それぞれのモードの各々は、対応するサブ分割の方向、すなわち、サブ分割の方向が水平であるか垂直であるかに応答して選択され得る。例えば、平面及びＨＯＲ予測モードのみが水平サブ分割に対して許可され、一方、平面及びＶＥＲ予測モードのみが垂直サブ分割に対して許可される。

ＩＳＰ符号化ブロックの輝度成分に対して許容されるＮ個のモードを信号伝達するために、従来の最確モード（ＭＰＭ）メカニズムは利用されない。代わりに、本発明者らは、各イントラモードについて決定されたバイナリ符号ワードを使用して、ＩＳＰ符号化ブロックについてイントラモードを信号化することを提案する。符号ワードは、切り捨てバイナリ（ＴＢ）２値化プロセス、固定長（Fixed-Length）２値化プロセス、切り捨てライス（ＴＲ：Truncated Rice）２値化プロセス、ｋ次Ｅｘｐ－Ｇｏｌｏｍｂ２値化プロセス、限定ＥＧｋ２値化プロセスなどを含む、様々な異なるプロセスの何れかを使用して生成され得る。これらのバイナリ符号ワード生成プロセスは、ＨＥＶＣの仕様において明確に定義されている。ライスパラメータがゼロに等しい切り捨てライスは、切り捨て単項（Truncated Unary）２値化としても知られている。異なる２値化方法を使用する符号ワードのセットの例を表５に示す。

[表５ 様々な２値化方法を使用して生成されたバイナリ符号ワード]

〔ＩＳＰのための独立（または並列）サブ分割予測子生成〕
さらに別の実施形態では、通常のイントラモードのためのＭＰＭ導出プロセスは、ＩＳＰモードのために直接再使用され、ＭＰＭフラグ及びＭＰＭインデックスの信号化方法は、既存のＩＳＰ設計と同じに保たれる。

〔ＩＳＰのための彩度成分のためのイントラ予測モード符号化〕
本開示では、ＩＳＰ符号化ブロック（Ｎ_ｃは正の整数）のための彩度成分に対して、全ての可能な彩度イントラ予測モードからのＮ_ｃモードのみを許可することが提案される。一実施形態では、ＩＳＰ符号化ブロックの彩度成分に対して１つのモードのみが許可される。例えば、このシングル許可モードは、直接モード（ＤＭ）であってもよい。別の例では、このシングル許可モードは、ＬＭモードであってもよい。第３の例では、このシングル許可モードは、ＨＯＲ予測モードまたはＶＥＲ予測モードのうちの１つとすることができる。直接モード（ＤＭ）は、対応する輝度ブロックによって使用される同じイントラ予測モードを彩度ブロックに適用するように構成される。

別の実施形態では、ＩＳＰ符号化ブロックの彩度成分に対して２つのモードのみが許容される。一例では、ＤＭ及びＬＭのみが、ＩＳＰ符号化ブロックの彩度成分に対して許可される。

さらに別の実施形態では、ＩＳＰ符号化ブロックの彩度成分に対して４つのモードのみが許可される。一例では、ＩＳＰ符号化ブロックの彩度コンポーネントにはＤＭ、ＬＭ、ＬＭ＿Ｌ、及びＬＭ＿Ａ のみが許可される。

ＩＳＰ符号化ブロックの彩度構成要素のためのＮ_ｃモードを信号化するために、従来のＭＰＭメカニズムは利用されない。代わりに、ビットストリームで選択された彩度モードを示すために、固定バイナリ符号ワードが使用される。例えば、ＩＳＰ符号化ブロックの彩度イントラ予測モードは、決定されたバイナリ符号ワードを使用して信号化されることができる。符号ワードは、切り捨てバイナリ（ＴＢ）２値化プロセス、固定長２値化プロセス、切り捨てライス（ＴＲ）２値化プロセス、ｋ次Ｅｘｐ－Ｇｏｌｏｍｂ２値化プロセス、限定ＥＧｋ２値化プロセスなどを含む異なるプロセスを使用して生成され得る。

〔ＩＳＰ符号化ブロックの彩度成分の符号化ブロックサイズ〕
本開示では、ＩＳＰ符号化ブロックのための彩度成分のためのサブ分割符号化を許可し
ないことが提案される。代わりに、ＩＳＰ符号化ブロックの彩度成分には、通常の全ブロックベースのイントラ予測が使用される。言い換えると、ＩＳＰ符号化ブロックの場合、サブ分割は、その彩度成分にサブ分割を持たないそのルミナンス成分に対してのみ実行される。

〔ＩＳＰとインター予測との組み合わせ〕
図１１は、図１０の第１サブ分割１００１のためのインター予測子サンプルとイントラ予測子サンプルとの結合を示す。同様に、図１２は、図１０の第２サブ分割１００２のためのインター予測子サンプルとイントラ予測サンプルとの結合を示す。より詳細には、符号化効率をさらに改善するために、予測がＩＳＰモードとインター予測モードとの重み付けされた組み合わせ（例えば、重み付けされた平均化）として生成される、新しい予測モードが提供される。ＩＳＰモードのためのイントラ予測子生成は、図１０に関連して前述したものと同じである。インター予測子は、マージモードまたはインターモードのプロセスによって生成されてもよい。

図１１の例示的な例では、現在のブロック（全てのサブ分割を含む）のインター予測子サンプル１１０１は、マージインデックスによって示されるマージ候補を使用して動き補償を実行することによって生成される。イントラ予測子サンプル１１０３は、信号化されたイントラモードを使用してイントラ予測を実行することによって生成される。このプロセスは、以前のサブ分割の再構成されたサンプルを使用して、図１２に示すように、第１ではないサブ分割（すなわち、第２サブ分割１００２）のイントラ予測子サンプルを生成することができることに留意されたい。インター及びイントラ予測子サンプルが生成された後、それらは、サブ分割のための最終予測子サンプルを生成するために加重平均される。組み合わされたモードは、イントラモードとして扱うことができる。あるいは、結合されたモードは、イントラモードの代わりにインターモードまたはマージモードとして扱われてもよい。

〔ＩＳＰ符号化ブロックのためのＣＢＦ信号化〕
ＩＳＰの設計を単純化するために、本開示では、最後のサブ分割のために常にＣＢＦを信号化することが提案される。

本開示の別の実施形態では、最後のサブ分割のＣＢＦを信号化せずに、デコーダ側でその値を推測することが提案される。例えば、最後のサブ分割のＣＢＦの値は常に１として推測される。別の例では、最後のサブ分割に対するＣＢＦの値は、常にゼロとして推測される。

本開示の一実施形態によれば、ビデオ符号化の方法は、複数の対応するサブ分割のそれぞれについてそれぞれのイントラ予測を独立して生成することを含み、それぞれのイントラ予測は、現在の符号化ブロックからの複数のリファレンスサンプルを使用して生成される。

いくつかの例では、複数の対応するサブ分割のうちの第１のサブ分割からの再構成されたサンプルは、複数の対応するサブ分割のうちの任意の他のサブ分割のためのそれぞれのイントラ予測を生成するために使用されない。

いくつかの例では、複数の対応するサブ分割のそれぞれは、２以下の幅を有する。

いくつかの例では、複数の対応するサブ分割は、複数の垂直サブ分割及び複数の水平サブ分割を含み、方法は、水平予測モードのみを使用して複数の水平サブ分割のためのイントラ予測の第１セットを生成することと、垂直予測モードのみを使用して複数の垂直サブ
分割のためのイントラ予測の第２セットを生成することとをさらに備える。

いくつかの例では、水平予測モードは、１８より小さいモードインデックスを使用して実行される。

いくつかの例では、垂直予測モードは、５０より大きいモードインデックスを使用して実行される。

いくつかの例では、水平予測モードは、複数の水平サブ分割のそれぞれについて独立して並列に実行される。

いくつかの例では、垂直予測モードは、複数の垂直サブ分割のそれぞれについて独立して並列に実行される。

いくつかの例では、複数の対応するサブ分割は、最後のサブ分割を含み、方法は、最後のサブ分割の係数ブロックフラグ（ＣＢＦ）値を信号化することをさらに備える。

いくつかの例では、複数の対応するサブ分割は、最後のサブ分割を含み、この方法は、デコーダにおいて、最後のサブ分割の係数ブロックフラグ（ＣＢＦ）値を推測することをさらに備える。

いくつかの例では、係数ブロックフラグ（ＣＢＦ）値は、常に１として推測される。

いくつかの例では、係数ブロックフラグ（ＣＢＦ）値は、常にゼロとして推測される。

本開示の別の実施形態によれば、ビデオ符号化の方法は、イントラサブ分割（ＩＳＰ）符号化ブロックの輝度成分について、Ｍ個の可能なイントラ予測モードのうちのＮ個のモードのみを使用して、複数の対応するサブ分割のそれぞれについてそれぞれのイントラ予測を生成することを含み、Ｍ及びＮは正の整数であり、ＮはＭ未満である。

いくつかの例では、複数の対応するサブ分割のそれぞれは、２以下の幅を有する。

いくつかの例では、Ｎは１に等しく、その結果、シングルモードのみが輝度成分に対して許容される。

いくつかの例では、シングルモードは平面モードである。

いくつかの例では、シングルモードはＤＣモードである。

いくつかの例では、シングルモードは、水平（ＨＯＲ）予測モード、垂直（ＶＥＲ）予測モード、または対角（ＤＩＡ）予測モードの何れか１つである。

いくつかの例では、シングルモードは、サブ分割の方向に応答して選択され、水平（ＨＯＲ）予測モードは、サブ分割の方向が水平であることに応答して選択され、垂直（ＶＥＲ）予測モードは、サブ分割の方向が垂直であることに応答して選択される。

いくつかの例では、シングルモードは、サブ分割の方向に応答して選択され、水平（ＨＯＲ）予測モードは、サブ分割の方向が垂直であることに応答して選択され、垂直（ＶＥＲ）予測モードは、サブ分割の方向が水平であることに応答して選択される。

いくつかの例では、Ｎは２に等しく、２つのモードが輝度成分に対して許容される。

いくつかの例では、２つのモードの第１セットは、第１サブ分割の方向に応答して選択され、２つのモードの第２セットは、第２サブ分割の方向に応答して選択される。

いくつかの例では、２つのモードの第１セットは、平面モード及び水平（ＨＯＲ）予測モードを含み、第１サブ分割方向は、水平サブ分割を含み、第２モードのセットは、平面モード及び垂直（ＶＥＲ）予測モードを含み、第２サブ分割方向は、垂直サブ分割を含む。

いくつかの例では、Ｎ個のモードのそれぞれのモードは、所定のバイナリ符号ワードのセットからの対応するバイナリ符号ワードを使用して信号化される。

いくつかの例では、所定のバイナリ符号ワードのセットは、切り捨てバイナリ（ＴＢ）２値化プロセス、固定長２値化プロセス、切り捨てライス（ＴＲ）２値化プロセス、切り捨て単項２値化プロセス、ｋ次Ｅｘｐ－Ｇｏｌｕｍｂ２値化プロセス、または限定ＥＧｋ２値化プロセスのうちの少なくとも１つを使用して生成される。

本開示の別の実施形態によれば、ビデオ符号化の方法は、イントラサブ分割（ＩＳＰ）符号化ブロックの彩度成分について、Ｍ個の可能なイントラ予測モードのうちのＮ個のモードのみを使用してイントラ予測を生成することを含み、ここで、Ｍ及びＮは正の整数であり、ＮはＭ未満である。

いくつかの例では、Ｎは１に等しく、その結果、シングルモードのみが彩度成分に対して許容される。

いくつかの例では、シングルモードは、直接モード（ＤＭ）、リニアモデル（ＬＭ）モード、水平（ＨＯＲ）予測モード、または垂直（ＶＥＲ）予測モードである。

いくつかの例では、Ｎは２に等しく、その結果、２つのモードが彩度成分に対して許容される。

いくつかの例では、Ｎは４に等しく、その結果、４つのモードが彩度成分に対して許容される。

いくつかの例では、Ｎ個のモードのそれぞれのモードは、所定のバイナリ符号ワードのセットからの対応するバイナリ符号ワードを使用して信号化される。

いくつかの例では、所定のバイナリ符号ワードのセットは、切り捨てバイナリ（ＴＢ）２値化プロセス、固定長２値化プロセス、切り捨てライス（ＴＲ）２値化プロセス、切り捨て単項２値化プロセス、ｋ次Ｅｘｐ－Ｇｏｌｕｍｂ２値化プロセス、または限定ＥＧｋ２値化プロセスのうちの少なくとも１つを使用して生成される。

本開示の別の実施形態によれば、ビデオ符号化の方法は、輝度成分のためのイントラサブ分割（ＩＳＰ）符号化ブロック全体の複数の対応するサブ分割のそれぞれについて、及び彩度成分のために、それぞれの輝度イントラ予測を生成することと、イントラサブ分割（ＩＳＰ）符号化ブロック全体について、彩度イントラ予測を生成することとを備える。

いくつかの例では、複数の対応するサブ分割のそれぞれは、２以下の幅を有する。

本開示の別の実施形態によれば、ビデオ符号化の方法は、イントラサブ分割モードを使用して第１予測を生成し、インター予測モードを使用して第２予測を生成し、第１の予測及び第２の予測に加重平均を適用することによって最終的な予測を生成するために、第１及び第２の予測を組み合わせる。

いくつかの例では、第２予測は、マージモードまたはインターモードのうちの少なくとも１つを使用して生成される。

１つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実施される場合、機能は、１つ以上の命令またはコードとして、コンピュータ読み取り可能な媒体上に記憶され、またはそれを介して送信され、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体は、データ記憶媒体のような有形の媒体に対応するコンピュータ可読記憶媒体、または、例えば通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含んでいてもよい。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形のコンピュータ可読記憶媒体、または（２）信号または搬送波などの通信媒体に対応することができる。データ記憶媒体は、本出願に記載の実施のための命令、コード及び／またはデータ構造を検索するために、１つ以上のコンピュータまたは１つ以上のプロセッサによってアクセス可能な任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。

さらに、上記の方法は、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子構成要素を含む１つまたは複数の回路を含む装置を使用して実装され得る。装置は、上述の方法を実行するために、他のハードウェアまたはソフトウェアコンポーネントと組み合わせて回路を使用することができる。上記で開示された各モジュール、サブモジュール、ユニット、またはサブユニットは、１つまたは複数の回路を使用して少なくとも部分的に実装され得る。

本発明の他の実施形態は、本明細書を考慮し、本明細書に開示された本発明を実施することにより、当業者には明らかになるであろう。本出願は、本発明の一般的な原理に従い、当該技術分野における既知の又は慣例の実施の範囲内に入るような本開示からの逸脱を含む、本発明の任意の変形、使用、又は適応を包含することが意図される。本明細書及び各実施形態は、単なる例示を意図するものであり、本発明の真の範囲及び趣旨は、特許請求の範囲に記載する。

本発明は、上述し、添付図面に示した例に正確に限定されるものではなく、本発明の範囲から逸脱することなく、様々な修正及び変更を行うことができることが理解されるであろう。本発明の範囲は、添付の特許請求の範囲によってのみ限定されることが意図される。

〔関連出願の相互参照〕
本出願は、２０１９年２月５日に出願された米国仮特許出願第６２／８０１，２１４号の利益を主張する。前述の出願の全開示は、その全体が参照により本明細書に組み込まれる。

Claims (10)

1. 複数のサブ分割が複数の垂直サブ分割であり、前記サブ分割の各々が２以下の幅を有すると判定された場合、イントラサブ分割（ＩＳＰ）モードで符号化ブロックの前記複数のサブ分割についてイントラ予測を実行し、
   前記符号化ブロックの前記複数のサブ分割についてイントラ予測を実行することは、
   前記複数のサブ分割の少なくとも２つのサブ分割を前記イントラ予測の１つの予測領域にマージし、
   前記少なくとも２つのサブ分割の１つのサブ分割から再構成されたサンプルが、前記少なくとも２つのサブ分割のいずれか他のサブ分割の前記イントラ予測を実行するために使用されないように、前記予測領域に隣接する複数のリファレンスサンプルに基づいて、前記イントラ予測の前記予測領域の予測サンプルを生成する、
   ことを含む、
   ビデオ復号化方法。
2. ５０よりも大きいモードインデックスで垂直予測モードを使用して、前記複数の垂直サブ分割について予測サンプルのセットを生成することをさらに含む、
   請求項１に記載のビデオ復号化方法。
3. 前記予測領域のサブ分割について、前記イントラ予測を独立して並列に実行することをさらに含む、
   請求項１に記載のビデオ復号化方法。
4. 前記複数のサブ分割は、最後のサブ分割を含み、
   前記最後のサブ分割のための係数ブロックフラグ（ＣＢＦ）値を信号化することをさらに含む、
   請求項１に記載のビデオ復号化方法。
5. 前記複数のサブ分割は、最後のサブ分割を含み、
   デコーダにおいて、前記最後のサブ分割の係数ブロックフラグ（ＣＢＦ）値を推測することをさらに含む、
   請求項４に記載のビデオ復号化方法。
6. 前記係数ブロックフラグ（ＣＢＦ）値は、常に１または０として推測される、
   請求項５に記載のビデオ復号化方法。
7. 前記予測領域の２以上の予測サンプルは並列に生成される、
   請求項１に記載のビデオ復号化方法。
8. １以上のプロセッサと、
   前記１以上のプロセッサによって実行可能な命令を記憶した非一時的コンピュータ可読メモリと、
   を含み、
   前記１以上のプロセッサは、
   複数のサブ分割が複数の垂直サブ分割であり、前記サブ分割の各々が２以下の幅を有すると判定された場合、イントラサブ分割（ＩＳＰ）モードで符号化ブロックの前記複数のサブ分割についてイントラ予測を実行する、
   ように構成され、
   前記符号化ブロックの前記複数のサブ分割についてイントラ予測を実行することは、
   前記複数のサブ分割の少なくとも２つのサブ分割を前記イントラ予測の１つの予測領域にマージし、
   前記少なくとも２つのサブ分割の１つのサブ分割から再構成されたサンプルが、前記少なくとも２つのサブ分割のいずれか他のサブ分割の前記イントラ予測を実行するために使用されないように、前記予測領域に隣接する複数のリファレンスサンプルに基づいて、前記イントラ予測の前記予測領域の予測サンプルを生成する、
   ことを含む、
   ビデオ復号化装置。
9. 前記１以上のプロセッサは、さらに、
   ５０よりも大きいモードインデックスで垂直予測モードを使用して、前記複数の垂直サブ分割について予測サンプルのセットを生成する、
   ように構成されている、
   請求項８に記載のビデオ復号化装置。
10. １以上のプロセッサを有するビデオ復号化装置によって実行される複数のプログラムを記憶した非一時的コンピュータ可読記憶媒体であって、
    前記１以上のプロセッサによって実行されると、前記複数のプログラムは、請求項１～請求項７の何れか１項に記載のビデオ復号化方法を、前記ビデオ復号化装置に実行させる、
    非一時的コンピュータ可読記憶媒体。
    

Images