JP7367237B2 - ビデオ符号化用の予測依存残差スケーリングのための方法およびデバイス - Google Patents

Description

関連出願の相互参照
本出願は、２０２０年６月２４日出願の米国仮特許出願番号第６３／０４３，５６９号に記載されている利益を主張する。前述の出願の全開示は、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。

本発明は、一般に、ビデオ符号化および圧縮に関する。より詳細には、本発明は、符号化ユニットに対して予測依存残差スケーリング（ｐｒｅｄｉｃｔｉｏｎ ｄｅｐｅｎｄｅｎｔ ｒｅｓｉｄｕａｌ ｓｃａｌｉｎｇ，ＰＤＲＳ）を使用してビデオ符号化を実行するためのシステムおよび方法に関する。

このセクションは、本開示に関連する背景情報を提供する。このセクションに含まれる情報は、必ずしも先行技術と解釈されるべきではない。

ビデオデータを圧縮するために、様々なビデオ符号化技術のうちのいずれかを使用することができる。ビデオ符号化は、１つまたは複数のビデオ符号化規格に従って実行することができる。いくつかの例示的なビデオ符号化規格は、多用途ビデオ符号化（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ，ＶＶＣ）、共同探索テストモデル（ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｍｏｄｅｌ，ＪＥＭ）符号化、高効率ビデオ符号化（Ｈ．２６５／ＨＥＶＣ）、アドバンストビデオ符号化（Ｈ．２６４／ＡＶＣ）、および動画エキスパートグループ（ＭＰＥＧ）符号化を含む。

ビデオ符号化は、一般に、ビデオ画像またはシーケンスに固有の冗長性を利用する予測方法（例えば、インター予測、イントラ予測など）を利用する。ビデオ符号化技術の目的の１つは、ビデオ品質の低下を回避または最小化しながら、ビデオデータをより低いビットレートを使用する形式に圧縮することである。

このセクションは、本開示の一般的な概要を提供し、その全範囲またはその特徴のすべての包括的な開示ではない。

本出願の第１の態様によれば、彩度スケーリングを伴う輝度マッピング（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ，ＬＭＣＳ）のフレームワークの下で、結合インターイントラ予測（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ，ＣＩＩＰ）モードによって符号化された符号化ユニット（ＣＵ）の輝度成分の、マッピングされたドメインにおける複数の予測サンプルが取得され、ＣＵの輝度成分の、マッピングされたドメインにおける複数の残差サンプルが取得され、マッピングされたドメインにおける複数の予測サンプルが、マッピングされたドメインにおける複数の残差サンプルに加算されて、輝度成分の、マッピングされたドメインにおける複数の再構成サンプルが得られ、輝度成分の複数の再構成サンプルが、事前定義された複数の逆マッピングスケーリング係数に基づいて、マッピングされたドメインから元のドメインに変換される。
本出願の第２の態様によれば、ビデオ復号のための方法が提供される。この方法は、彩度スケーリングを伴う輝度マッピング（ＬＭＣＳ）のフレームワーク下で、結合インターイントラ予測（ＣＩＩＰ）モードによって符号化された、符号化ユニット（ＣＵ）の輝度成分の、マッピングされたドメインにおける複数の予測サンプルを取得することと、ＣＵの輝度成分の、マッピングされたドメインにおける複数の残差サンプルを取得することと、マッピングされたドメインにおける複数の予測サンプルを、マッピングされたドメインにおける複数の残差サンプルに加算し、輝度成分の、マッピングされたドメインにおける複数の再構成されたサンプルを得ることと、事前定義された複数の逆マッピングスケーリング係数に基づいて、輝度成分の複数の再構成されたサンプルを、マッピングされたドメインから元のドメインに変換することと、を含む。
一実施態様では、ＣＵの輝度成分の、マッピングされたドメインにおける複数の予測サンプルを取得することは、ＣＵの時間参照ピクチャからＣＵの輝度成分の、元のドメインにおける複数のインター予測サンプルを導出することと、事前定義された符号化ビット深度、および事前定義された順方向マッピング精度内にある事前定義された複数の順方向マッピングスケーリング係数に基づいて、輝度成分の複数のインター予測サンプルを、元のドメインからマッピングされたドメインに変換することと、を含む。
一実施態様では、事前定義された符号化ビット深度、および事前定義された順方向マッピング精度内にある事前定義された複数の順方向マッピングスケーリング係数に基づいて、輝度成分の複数のインター予測サンプルを、元のドメインからマッピングされたドメインに変換することは、事前定義された複数の順方向マッピングスケーリング係数を使用して、クリッピング操作なしで、輝度成分の複数のインター予測サンプルを、元のドメインからマッピングされたドメインに変換することと、を含む。
一実施態様では、事前定義された順方向マッピング精度が１１ビットである。

本出願の第３の態様によれば、コンピューティングデバイスは、１つまたは複数のプロセッサと、メモリと、メモリに格納された複数のプログラムとを含む。プログラムは、１つまたは複数のプロセッサによって実行されると、コンピューティングデバイスに、本出願の第１の態様または第２の態様で上述したような操作を実行させる。

本出願の第４の態様によれば、非一時的コンピュータ可読記憶媒体は、１つまたは複数のプロセッサを有するコンピューティングデバイスによって実行される複数のプログラムを格納する。プログラムは、１つまたは複数のプロセッサによって実行されると、コンピューティングデバイスに、本出願の第１の態様または第２の態様で上述したような操作を実行させる。

以下、本開示の例示的な非限定的な実施形態のセットを、添付の図面と併せて説明する。構造、方法、または機能の変形は、本明細書に提示された例に基づいて当業者によって実施されてもよく、そのような変形はすべて本開示の範囲内に含まれる。矛盾が存在しない場合、異なる実施形態の教示は、互いに組み合わせることができるが、必ずしも組み合わせる必要はない。

多くのビデオ符号化規格と共に使用され得る、例示的なブロックベースのハイブリッドビデオエンコーダを示すブロック図である。 多くのビデオ符号化規格と共に使用され得る、例示的なビデオデコーダを示すブロック図である。 多くのビデオ符号化規格と併せて使用され得る、マルチタイプツリー構造におけるブロック分割の図である。 ＬＭＣＳを適用した復号処理を示すフローチャートである。 双方向オプティカルフロー（Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ，ＢＤＯＦ）処理の図である。 デコーダ側動きベクトル微調整（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ，ＤＭＶＲ）、ＢＤＯＦ、およびＣＩＩＰのすべてが有効にされている場合のＬＭＣＳにおける彩度残差スケーリングのワークフローを示すフローチャートである。 予測依存残差スケーリング（ＰＤＲＳ）手順のステップを示すフローチャートである。 ＬＭＣＳ処理においてＰＤＲＳ手順が適用される場合の復号処理のワークフローを示すフローチャートである。 スケーリング係数を導出するために、予測サンプルのみを使用することによって生じる、残差マッピング誤差を示す図である。 彩度サンプル再構成手順のステップを示すフローチャートである。 第２の彩度サンプル再構成手順のステップを示すフローチャートである。 ＤＭＶＲ、ＢＤＯＦ、およびＣＩＩＰが彩度スケーリングのための輝度予測サンプルを生成するために適用されない、第２の彩度サンプル再構成手順の一例における、ＬＭＣＳ復号処理のワークフローを示すフローチャートである。 彩度スケーリングのための輝度予測サンプルを生成するために初期単一予測信号が適用される、第２の彩度サンプル再構成手順の第２の例における、ＬＭＣＳ復号処理のワークフローを示すフローチャートである。 彩度残差サンプル再構成手順のステップを示すフローチャートである。 彩度残差サンプル再構成手順の１つまたは複数の実施形態における、ＬＭＣＳ復号処理のワークフローを示すフローチャートである。 彩度残差サンプル再構成手順の他の一実施形態における、ＬＭＣＳ復号処理のワークフローを示すフローチャートである。 第２の彩度残差サンプル再構成手順のステップを示すフローチャートである。 非クリッピング彩度残差スケーリング係数導出手順のステップを示すフローチャートである。 非クリッピング彩度残差スケーリング係数導出手順の一例に関与する領域の図である。 非クリッピング彩度サンプル復号手順のステップを示すフローチャートである。 非クリッピング彩度サンプル復号手順の１または複数の実施形態のステップを示すフローチャートである。 非クリッピング彩度サンプル復号手順の１つまたは複数の実施形態のステップを示すフローチャートである。 本開示の第１の態様のステップを示すフローチャートである。 本開示の第１の態様の１つまたは複数の実施形態のステップを示すフローチャートである。 本開示の第１の態様の１つまたは複数の実施形態のステップを示すフローチャートである。 本開示の第１の態様の１つまたは複数の実施形態のステップを示すフローチャートである。 本開示のいくつかの実装形態による、ビデオ符号化のための例示的な装置を例示するブロック図である。

本開示で使用される用語は、本開示を限定するためではなく、特定の例を示すためのものである。本開示および添付の特許請求の範囲で使用される単数形「ａ」、「ａｎ」および「ｔｈｅ」は、他の意味が文脈に明確に含まれない限り、複数形も指す。本明細書で使用される「および／または（ａｎｄ／ｏｒ）」という用語は、１つまたは複数の関連する列挙された項目の任意のまたはすべての可能な組み合わせを指すことを理解されたい。

本明細書では、「第１」、「第２」、「第３」などの用語を使用して様々な情報を説明することができるが、情報はこれらの用語によって限定されるべきではないことを理解されたい。これらの用語は、情報のあるカテゴリを別のカテゴリと区別するためにのみ使用される。例えば、本開示の範囲から逸脱することなく、第１の情報を第２の情報と呼ぶことができる。同様に、第２の情報を第１の情報と呼ぶこともできる。本明細書で使用される場合、「場合（ｉｆ）」という用語は、文脈に応じて、「時（ｗｈｅｎ）」または「際（ｕｐｏｎ）」または「～に応答して（ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ）」を意味すると理解され得る。

本明細書を通して、単数または複数の「一実施形態」、「実施形態」、「別の実施形態」などへの言及は、実施形態に関連して説明される１つまたは複数の特定の特徴、構造、または特性が、本開示の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体の様々な場所における単数または複数の「一実施形態では」または「実施形態では」、「別の実施形態では」などの句の出現は、必ずしもすべてが同じ実施形態を指すとは限らない。さらに、１つまたは複数の実施形態における特定の特徴、構造、または特性は、任意の適切な方法で組み合わせることができる。

ＨＥＶＣ規格の最初のバージョンは２０１３年１０月に完成され、これは、前世代のビデオ符号化規格Ｈ．２６４／ＭＰＥＧ ＡＶＣと比較して、約５０％のビットレート節約または同等の知覚品質を提供する。ＨＥＶＣ規格は、その先行規格よりも大幅な符号化改善を提供するが、ＨＥＶＣの上に追加の符号化ツールを用いることで、優れた符号化効率を達成できる証拠がある。それに基づいて、ＶＣＥＧおよびＭＰＥＧの両方は、将来のビデオ符号化の標準化のための新しい符号化技術の探索作業を開始した。符号化効率を大幅に向上する可能性がある高度技術の重要研究を開始するために、ＩＴＵ－Ｔ ＶＥＣＧおよびＩＳＯ／ＩＥＣ ＭＰＥＧによって２０１５年１０月に１つの共同ビデオ探索チーム（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ，ＪＶＥＴ）が形成された。共同探索モデル（ＪＥＭ）と呼ばれる１つの参照ソフトウェアは、ＨＥＶＣテストモデル（ＨＭ）の上にいくつかの追加の符号化ツールを統合することにより、ＪＶＥＴによって維持された。

２０１７年１０月、ＨＥＶＣを超える能力を有するビデオ圧縮に関する提案（ＣｆＰ）、ＩＴＵ－ＴおよびＩＳＯ／ＩＥＣにより共同で募集された。２０１８年４月に、２３回のＣｆＰ応答が受け取られ、１０回のＪＶＥＴ会議で評価したところ、ＨＥＶＣを約４０％上回る圧縮効率の増加が実証された。このような評価結果に基づき、ＪＶＥＴは、新世代動画像符号化規格である多用途ビデオ符号化（ＶＶＣ）の開発プロジェクトを新たに立ち上げた。同じ月に、ＶＶＣ試験モデル（ＶＶＣ ｔｅｓｔ ｍｏｄｅｌ，ＶＴＭ）と呼ばれる１つの参照ソフトウェアが、ＶＶＣ規格の参照実装を実証するために確立された。

ビデオ符号化で利用される予測方法は、通常、ビデオデータに固有の冗長性を低減または除去するために空間（フレーム内）予測および／または時間（フレーム間）予測を実行することを含み、概して、ブロックベースのビデオ符号化に関連付けられる。ＨＥＶＣと同様に、ＶＶＣはブロックベースのハイブリッドビデオ符号化フレームワークに基づいて構築されている。

ブロックベースのビデオ符号化では、入力ビデオ信号はブロックごとに処理される。各ブロックについて、空間予測および／または時間予測を実行することができる。現在のＶＶＣ設計などのより新しいビデオ符号化規格では、ブロックは、四分木だけでなく二分木および／または三分木も含む、マルチタイプツリー構造に基づいてさらに分割することができる。これは、変化する局所的特性のより良好な適応を可能にする。

空間予測（「イントラ予測」としても知られる）は、現在のブロックを予測するために、同じビデオピクチャ／スライス内の既に符号化された隣接ブロック（参照サンプルと呼ばれる）のサンプルからの画素を使用する。空間予測は、ビデオ信号に固有の空間的冗長性を低減する。

復号処理の間、ビデオビットストリームは最初にエントロピー復号ユニットにおいてエントロピー復号される。符号化モードおよび予測情報は、予測ブロックを形成するために、空間予測ユニット（イントラ符号化された場合）または時間予測ユニット（インター符号化された場合）のいずれかに送信される。残差変換係数は、残差ブロックを再構成するために、逆量子化ユニットおよび逆変換ユニットに送られる。そして、予測ブロックと残差ブロックとが加算される。再構成されたブロックは、参照ピクチャストア内に格納される前に、ループ内フィルタリングをさらに通過してもよい。その後、参照ピクチャストア内の再構成されたビデオは、ディスプレイデバイスを駆動するために送出されるとともに、将来のビデオブロックを予測するために使用される。

現在のＶＶＣ設計などのより新しいビデオ符号化規格では、彩度スケーリングを伴う輝度マッピング（ＬＭＣＳ）の符号化ツールは、ループ内フィルタリングの前に適用され得る。ＬＭＣＳは、符号化効率を改善するために入力信号のダイナミックレンジを調整することを目的とする。

しかしながら、ＬＭＣＳの現在の設計では、輝度成分のインター予測サンプルのマッピング精度は、内部符号化深度のダイナミックレンジを超える可能性がある。

概念的には、背景技術のセクションで前述したものを含む、多くのビデオ符号化規格が類似している。例えば、実質的にすべてのビデオ符号化規格はブロックベースの処理を使用し、ビデオ圧縮を達成するために同様のビデオ符号化ブロック図を共有する。

図１は、多くのビデオ符号化規格と共に使用され得る、例示的なブロックベースのハイブリッドビデオエンコーダ１００のブロック図を示す。エンコーダ１００では、ビデオフレームが複数のビデオブロックに分割されて処理される。所与のビデオブロックごとに、インター予測手法またはイントラ予測手法のいずれかに基づいて、予測が形成される。インター予測では、以前に再構成されたフレームからの画素に基づいて、動き推定および動き補償によって、１つまたは複数の予測子が形成される。イントラ予測では、現在のフレーム内の再構成された画素に基づいて予測子が形成される。モード決定により、現在のブロックを予測するために最良の予測子を選択することができる。

現在のビデオブロックとその予測子との間の差を表す予測残差は、変換回路１０２に送信される。変換係数はその後、エントロピー低減のために変換回路１０２から量子化回路１０４へ送信される。量子化された係数は、その後、圧縮ビデオビットストリームを生成するためにエントロピー符号化回路１０６に供給される。図１に示すように、ビデオブロック分割情報、動きベクトル、参照ピクチャインデックス、およびイントラ予測モードなどのインター予測回路および／またはイントラ予測回路１１２からの予測関連情報１１０も、エントロピー符号化回路１０６を介して供給され、圧縮ビデオビットストリーム１１４に保存される。

エンコーダ１００では、予測の目的で画素を再構成するために、デコーダ関連の回路も必要とされる。まず、予測残差が逆量子化回路１１６および逆変換回路１１８によって再構成される。この再構成された予測残差は、現在のビデオブロックのフィルタリングされていない再構成画素を生成するために、ブロック予測子１２０と組み合わされる。

時間予測（「インター予測」または「動き補償予測」とも呼ばれる）は、現在のビデオブロックを予測するために、既に符号化されたビデオピクチャからの再構成画素を使用する。時間予測は、ビデオ信号に固有の時間的冗長性を低減する。所与のＣＵの時間予測信号は、通常、現在のＣＵとその時間基準との間の動きの量および方向を示す、１つまたは複数の動きベクトル（ＭＶ）によってシグナリングされる。また、複数の参照ピクチャがサポートされている場合、１つの参照ピクチャインデックスがさらに送信され、これは、参照ピクチャストア内のどの参照ピクチャから時間予測信号が来るかを識別するために使用される。

空間および／または時間予測が実行された後、エンコーダ１００内のイントラ／インターモード決定回路１２１は、例えばレート歪み最適化方法に基づいて、最良の予測モードを選択する。次に、ブロック予測子１２０は、現在のビデオブロックから減算される。そして、得られた予測残差は、変換回路１０２および量子化回路１０４を使用して逆相関される。得られた量子化残差係数は、逆量子化回路１１６によって逆量子化され、逆変換回路１１８によって逆変換されて再構成残差が形成され、次いで、これが予測ブロックに加算されてＣＵの再構成信号が形成される。再構成されたＣＵがピクチャバッファ１１７の参照ピクチャストアに入れられ、将来のビデオブロックを符号化するために使用される前に、再構成されたＣＵにデブロッキングフィルタ、サンプル適応オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ，ＳＡＯ）、および／または適応ループ内フィルタ（ａｄａｐｔｉｖｅ ｉｎ－ｌｏｏｐ ｆｉｌｔｅｒ，ＡＬＦ）などの、さらなるループ内フィルタリング１１５を適用することができる。出力ビデオビットストリーム１１４を形成するために、符号化モード（インターまたはイントラ）、予測モード情報、動き情報、および量子化残差係数はすべて、ビットストリームを形成するためにさらに圧縮およびパックされるようにエントロピー符号化ユニット１０６に送信される。

例えば、デブロッキングフィルタは、ＡＶＣ、ＨＥＶＣ、ならびにＶＶＣの現在のバージョンで利用可能である。ＨＥＶＣでは、符号化効率をさらに向上させるために、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）と呼ばれる追加のループ内フィルタが定義されている。ＶＶＣ規格の現在のバージョンでは、ＡＬＦ（適応ループフィルタ）と呼ばれるさらに別のループ内フィルタが積極的に研究されており、最終規格に含まれる可能性が高い。

これらのループ内フィルタ操作は任意である。これらの操作を実行することは、符号化効率および視覚的品質を改善するのに役立つ。それらはまた、計算複雑性を軽減するためにエンコーダ１００が提供する決定として、オフにされてもよい。

イントラ予測は、通常、フィルタ処理されていない再構成された画素に基づいているが、インター予測は、フィルタ処理された再構成された画素に基づいており、これらのフィルタオプションがエンコーダ１００によってオンにされていることに留意されたい。

図２は、多くのビデオ符号化規格と共に使用され得る例示的なビデオデコーダ２００を示すブロック図である。このデコーダ２００は、図１のエンコーダ１００に存在する再構成関連セクションと同様である。デコーダ２００（図２）において、入力ビデオビットストリーム２０１は、量子化された係数レベルおよび予測関連情報を導出するために、エントロピー復号２０２を介して最初に復号される。次いで、量子化された係数レベルは、逆量子化２０４および逆変換２０６を介して処理され、再構成された予測残差を取得する。イントラ／インターモード選択器２１２に実装されたブロック予測子メカニズムは、復号された予測情報に基づいて、イントラ予測２０８または動き補償２１０のいずれかを実行するように構成される。フィルタリングされていない再構成画素のセットは、加算器２１４を使用して、逆変換２０６からの再構成された予測残差とブロック予測子メカニズムによって生成された予測出力とを合計することによって得られる。

再構成されたブロックは、参照ピクチャストアとして機能するピクチャバッファ２１３に格納される前に、ループ内フィルタ２０９をさらに通過することができる。ピクチャバッファ２１３内の再構成されたビデオは、その後、ディスプレイデバイスを駆動するために送出されることができるとともに、将来のビデオブロックを予測するために使用されることができる。ループ内フィルタ２０９がオンになっている状況では、これらの再構成された画素に対してフィルタ操作が実行され、最終的な再構成されたビデオ出力２２２を導出する。

ＨＥＶＣのようなビデオ符号化規格では、ブロックは、四分木に基づいて分割されてもよい。現在のＶＶＣなどのより新しいビデオ符号化規格では、より多くの分割方法が採用され、１つの符号化ツリーユニット（ＣＴＵ）をＣＵに分割して、四分木、二分木、または三分木に基づく、様々なローカル特性に適応させることができる。ＣＵ、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ）の分離は、現在のＶＶＣのほとんどの符号化モードには存在せず、各ＣＵは、さらなる分割なしで予測と変換の両方のための基本ユニットとして常に使用される。しかしながら、イントラサブ分割符号化モードなどのいくつかの特定の符号化モードでは、各ＣＵは依然として複数のＴＵを含むことができる。マルチタイプツリー構造では、１つのＣＴＵが最初に四分木構造によって分割される。次に、各四分木リーフノードは、二分木構造および三分木構造によってさらに分割することができる。

図３は、現在のＶＶＣで採用されている５つの分割タイプ、すなわち、四分割３０１、水平二分割３０２、垂直二分割３０３、水平三分割３０４、および垂直値分割３０５を示す。マルチタイプツリー構造が利用される状況では、１つのＣＴＵが最初に四分木構造によって分割される。次に、各四分木リーフノードは、二分木構造および三分木構造によってさらに分割することができる。

図３の例示的なブロック分割３０１，３０２，３０３，３０４または３０５のうちの１つまたは複数を使用して、図１に示す構成を使用して空間予測および／または時間予測を実行することができる。空間予測（または「イントラ予測」）は、同じビデオピクチャ／スライス内の符号化済みの隣接ブロック（参照サンプルと呼ばれる）のサンプルからの画素を使用して、現在のビデオブロックを予測する。空間予測は、ビデオ信号に固有の空間的冗長性を低減する。

現在のＶＶＣなどの新しいビデオ符号化規格では、新しい符号化ツールである彩度スケーリングを伴う輝度マッピング（ＬＭＣＳ）が追加されている。ループフィルタ（例えば、デブロッキングフィルタ、ＳＡＯ、およびＡＬＦ）の前に適用される１つの新しい符号化ツールとして、ＬＭＣＳが追加される。

一般に、ＬＭＣＳは２つの主要なモジュールを有する。第１には、適応区分線形モデルに基づく輝度成分のループ内マッピング、そして、第２には、輝度依存性彩度残差スケーリングである。

図４は、ＬＭＣＳを適用した修正復号処理を示す。図４では、特定のブロックは、マッピングされたドメインで実行される復号モジュールを表し、エントロピー復号４０１、逆量子化４０２、逆変換４０３、輝度イントラ予測４０４、および輝度サンプル再構成４０５（すなわち、輝度予測サンプルＹ’_ｐｒｅｄと輝度残差サンプルＹ’_ｒｅｓとを加算して、再構成された輝度サンプルＹ’_{ｒｅｃｏｎ}を生成する）を含む。特定の他のブロックは、元の（すなわち、マッピングされていない）ドメインで実行される復号モジュールを示し、動き補償予測４０９、彩度イントラ予測４１２、彩度サンプル再構成４１３（すなわち、彩度予測サンプルＣ_ｐｒｅｄと彩度残差サンプルＣ_ｒｅｓとを加算して、再構成された彩度サンプルＣ_{ｒｅｃｏｎ}を生成する）、およびループ内フィルタ処理４０７（デブロッキング、ＳＡＯ、およびＡＬＦを包含する）を含む。ブロックのさらなるグループは、輝度サンプルの順方向マッピング４１０および逆（または逆方向）マッピング４０６、ならびに彩度残差スケーリング４１１を含む、ＬＭＣＳによって導入された新しい操作モジュールを表す。また、図４に示すように、復号されたピクチャバッファ（ＤＰＢ）４０８（輝度用）および４１５（彩度用）に格納されているすべての参照ピクチャは、元のドメインにある。

ＬＭＣＳのループ内マッピングは、符号化効率を改善するために入力信号のダイナミックレンジを調整することを目的とする。既存のＬＭＣＳ設計における輝度サンプルのループ内マッピングは、２つのマッピング関数、１つの順方向マッピング関数ＦｗｄＭａｐ、および１つの対応する逆マッピング関数ＩｎｖＭａｐに基づいて構築される。順方向マッピング関数は、１６個の等しいサイズの断片を有する１つの区分線形モデルを使用してエンコーダからデコーダにシグナリングされる。逆マッピング関数は、順方向マッピング関数から直接導出することができ、したがってシグナリングされる必要はない。

輝度マッピングモデルのパラメータは、スライスレベルでシグナリングされる。輝度マッピングモデルが現在のスライスに対してシグナリングされるべきかどうかを示すために、存在フラグが最初にシグナリングされる。輝度マッピングモデルが現在のスライスに存在する場合、対応する区分線形モデルパラメータがさらにシグナリングされる。区分線形モデルに基づいて、入力信号のダイナミックレンジは、元のドメインで等しいサイズを有する１６個のセグメントに分割され、各セグメントは対応するセグメントにマッピングされる。元のドメインにおける所与のセグメントについて、マッピングされたドメインにおけるその対応するセグメントは、同じまたは異なるサイズを有し得る。マッピングされたドメインにおける各セグメントのサイズは、そのセグメントのコードワード数（すなわち、マッピングされたサンプル値）によって示される。元のドメインにおける各セグメントについて、マッピングされたドメインにおける対応するセグメント内のコードワードの数に基づいて、線形マッピングパラメータを導出することができる。例えば、入力が１０ビット深度であるとき、元のドメインにおける１６個のセグメントの各々は６４個の画素値を有し、マッピングされたドメインにおけるセグメントの各々もそれに割り当てられた６４個のコードワードを有する場合、それは単純な一対一マッピング（すなわち、各サンプル値を変更しないマッピング）を示す。マッピングされたドメインにおける各セグメントのシグナリングされたコードワード数は、スケーリング係数を計算し、そのセグメントに応じてマッピング関数を調整するために使用される。さらに、スライスレベルでは、別のＬＭＣＳ制御フラグがシグナリングされ、スライスのＬＭＣＳを有効／無効にする。

各セグメントについて、対応する区分線形モデルは、この段落の直後のボックスに記載されているように定義される。

ｉ番目のセグメント（ｉ＝０．．．１５）の場合、対応する区分線形モデルは、２つの入力ピボット点ＩｎｐｕｔＰｉｖｏｔ［ｉ］およびＩｎｐｕｔＰｉｖｏｔ［ｉ＋１］、ならびに、２つの出力（マッピング）ピボット点ＭａｐｐｅｄＰｉｖｏｔ［ｉ］およびＭａｐｐｅｄＰｉｖｏｔ［ｉ＋１］、によって定義される。さらに、１０ビットの入力ビデオを想定すると、ＩｎｐｕｔＰｉｖｏｔ［ｉ］およびＭａｐｐｅｄＰｉｖｏｔ［ｉ］の値（ｉ＝０．．．１５）は、以下のように計算される。
１．変数ＯｒｇＣＷ＝６４を設定する。
２．ｉ＝０：１６の場合、ＩｎｐｕｔＰｉｖｏｔ［ｉ］＝ｉ＊ＯｒｇＣＷ
３．ｉ＝０：１６の場合、ＭａｐｐｅｄＰｉｖｏｔ［ｉ］は以下のように計算される。
ＭａｐｐｅｄＰｉｖｏｔ［０］＝０；
（ｉ＝０；ｉ＜１６；ｉ＋＋）の場合
ＭａｐｐｅｄＰｉｖｏｔ［ｉ＋１］＝ＭａｐｐｅｄＰｉｖｏｔ［ｉ］＋ＳｉｇｎａｌｅｄＣＷ［ｉ］
ここで、ＳｉｇｎａｌｅｄＣＷ［ｉ］は、第ｉのセグメントについてのコードワードのシグナリングされた数である。

図４に示すように、ＬＭＣＳ処理中に２つの異なるドメインで動作する必要がある。インター予測モード（「インターＣＵ」）を介して符号化された各ＣＵについて、その動き補償予測は、元のドメインで実行される。しかしながら、輝度成分（すなわち、輝度予測サンプルと輝度残差サンプルとの加算）の再構成はマッピングされたドメインで実行されるため、動き補償輝度予測Ｙ_ｐｒｅｄは、Ｙ’_ｐｒｅｄが画素再構成４０５に使用される前に、順方向マッピング関数４１０すなわちＹ’_ｐｒｅｄ＝ＦｗｄＭａｐ（Ｙ_ｐｒｅｄ）を介して、元のドメインからマッピングされたドメインにおける値Ｙ’_ｐｒｅｄにマッピングされる必要がある。一方、イントラ予測モード（「イントラＣＵ」）を介して符号化された各ＣＵについて、Ｙ’_ｐｒｅｄが画素再構成４０５に使用される前に、マッピングされたドメインでイントラ予測４０４が実行されることを考える（図４に示す）と、予測サンプルのマッピングは必要ではない。最後に、再構成された輝度サンプルＹ’_{ｒｅｃｏｎ}を生成した後、逆方向マッピング関数４０６を適用して、再構成された輝度サンプルＹ’_{ｒｅｃｏｎ}を元のドメインの値Ｙ_{ｒｅｃｏｎ}に変換してから、輝度ＤＰＢ ４０８に進む、すなわち、Ｙ_{ｒｅｃｏｎ}＝ＩｎｖＭａｐ（Ｙ’_{ｒｅｃｏｎ}）である。インターＣＵにのみ適用される必要がある予測サンプルの順方向マッピング４１０とは異なり、再構成されたサンプルの逆方向マッピング４０６は、インターＣＵとイントラＣＵの両方に適用される必要がある。

要約すると、デコーダ側では、現在のＬＭＣＳのループ内輝度マッピングは、輝度予測サンプルＹ_ｐｒｅｄが必要に応じてマッピングされたドメインに最初に変換されるように行われる。Ｙ’ｐｒｅｄ＝ＦｗｄＭａｐ（Ｙｐｒｅｄ）。次に、マッピングされた予測サンプルがデコードされた輝度残差に加算され、マッピングされたドメインの再構成された輝度サンプルを形成する。Ｙ’ｒｅｃｏｎ＝Ｙ’ｐｒｅｄ＋Ｙ’ｒｅｓ。最後に、逆マッピングを適用して、再構成された輝度サンプルＹ’ｒｅｃｏｎを元のドメインに変換する。Ｙｒｅｃｏｎ＝ＩｎｖＭａｐ（Ｙ’ｒｅｃｏｎ）。エンコーダ側では、輝度残差はマッピングされたドメインで符号化されるため、マッピングされた輝度の元のサンプルとマッピングされた輝度の予測サンプルとの間の差として生成される。Ｙ’ｒｅｓ＝ＦｗｄＭａｐ（Ｙｏｒｇ）－ＦｗｄＭａｐ（Ｙｐｒｅｄ）。

ＬＭＣＳの第２のステップである輝度依存彩度残差スケーリングは、ループ内マッピングが輝度信号に適用されるときに、輝度信号とその対応する彩度信号との間の量子化精度の相互作用を補償するように設計される。彩度残差スケーリングが有効であるか無効であるかは、スライスヘッダでも通知される。輝度マッピングが有効にされており、現在のスライスに対して輝度成分および彩度成分の並列木分割が無効にされている場合、輝度依存彩度残差スケーリングが適用されるかどうかを示すために、追加のフラグがシグナリングされる。輝度マッピングが使用されない場合、または現在のスライスに対して並列木分割が有効にされている場合、輝度依存彩度残差スケーリングは常に無効にされる。さらに、４つ以下の彩度サンプルを含むＣＵについて、彩度残差スケーリングは常に無効にされる。

イントラＣＵおよびインターＣＵの両方について、彩度残差をスケーリングするために使用されるスケーリングパラメータは、対応するマッピングされた輝度予測サンプルの平均に依存する。スケーリングパラメータは、この段落の直後のボックスに記載されているように導出される。

ａｖｇ’_Ｙを、マッピングされたドメインにおける輝度予測サンプルの平均として表す。スケーリングパラメータＣ_{ＳｃａｌｅＩｎｖ}は、以下のステップに従って計算される。
１．マッピングされたドメインでａｖｇ’_Ｙが属する区分線形モデルのセグメントインデックスＹ_１ｄｘを見つける。ここで、Ｙ_１ｄｘは、０から１５の範囲の整数値を有する。
２．Ｃ_{ＳｃａｌｅＩｎｖ}＝ｃＳｃａｌｅＩｎｖ［Ｙ_１ｄｘ］、式中、ｃＳｃａｌｅＩｎｖ［ｉ］、ｉ＝０．．．１５は、予め計算された１６個のルックアップテーブル（ＬＵＴ）である。
イントラ予測はＬＭＣＳのマッピングされたドメインで実行されるため、イントラ、結合インターイントラ予測（ＣＩＩＰ）、またはイントラ・ブロック・コピー（ＩＢＣ）モードとして符号化されたＣＵの場合、ａｖｇ’_Ｙは、輝度予測サンプルの平均として計算される。そうでない場合、ａｖｇ’_Ｙは、順方向マッピングされたインター予測輝度サンプルの平均として計算される。

図４はまた、輝度依存彩度残差スケーリングについての輝度予測サンプルの平均の計算を示す。インターＣＵの場合、順方向マッピングされた輝度予測Ｙ’_ｐｒｅｄは、スケーリングされた彩度残差Ｃ_{ｒｅｓＳｃａｌｅ}と共に彩度残差スケーリング４１１に供給されて、彩度残差Ｃ_ｒｅｓが導出され、これは、再構成された彩度値Ｃ_{ｒｅｃｏｎ}を導出するために、彩度予測Ｃ_ｐｒｅｄと共に彩度再構成４１３に供給される。イントラＣＵの場合、イントラ予測４０４は、既にマッピングされたドメインにあるＹ’_ｐｒｅｄを生成し、それは、インターＣＵの場合と同様の方法で彩度残差スケーリング４１１に供給される。

サンプルベースで実行される輝度マッピングとは異なり、Ｃ_{ＳｃａｌｅＩｎｖ}は、彩度ＣＵ全体に対して固定される。Ｃ_{ＳｃａｌｅＩｎｖ}が与えられると、この段落の直後のボックスに記載されているように、彩度残差スケーリングが適用される。

エンコーダ側：

デコーダ側：

ここで、Ｃ_{ＲｅｓＳｃａｌｅ}およびＣ_Ｒｅｓは、それぞれ、元のおよびスケーリングされた彩度残差サンプル値を表す。

現在のＶＶＣなどの新しいビデオ符号化規格では、新しい符号化ツールが導入されており、新しい符号化ツールのいくつかの例は、双方向オプティカルフロー（Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ，ＢＤＯＦ）、デコーダ側動きベクトル微調整（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ，ＤＭＶＲ）、結合インターイントラ予測（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ ａｎｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ，ＣＩＩＰ）、アフィンモード、およびアフィンモード用のオプティカルフローによる予測微調整（Ｐｒｅｄｉｃｔｉｏｎ Ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ Ｏｐｔｉｃａｌ Ｆｌｏｗ，ＰＲＯＦ）である。

現在のＶＶＣでは、双方向オプティカルフロー（ＢＤＯＦ）を適用して、双方向予測符号化ブロックの予測サンプルを補正する。

図５は、ＢＤＯＦ処理の説明図である。ＢＤＯＦは、双予測が使用される場合にブロックベースの動き補償予測の上で実行されるサンプルに関する動きの微調整である。各４×４サブブロック５０１の動き微調整

は、サブブロックの周りの１つの６×６ウインドウΩ

内にＢＤＯＦが適用された後の参照ピクチャリスト０（Ｌ０）と参照ピクチャリスト１（Ｌ１）の予測サンプル、５０２と５０３との間の差を最小化することによって計算される。

具体的には、この段落の直後のボックスに記載されているように、動き微調整

の値が導出される。

ここで、

はフロア関数であり、ｃｌｉｐ３（ｍｉｎ，ｍａｘ，ｘ）は、［ｍｉｎ，ｍａｘ］の範囲内の任意の値ｘをクリッピングする関数である。記号＞＞は、ビット単位の右シフト操作を表す。記号＜＜は、ビット単位の左シフト操作を表す。

は、不規則な局所的な動きに起因する伝播された誤差を防止するための動き補正閾値であり、これは１＜＜ｍａｘ（５，ｂｉｔＤｅｐｔｈ－７）に等しく、ここで、ｂｉｔＤｅｐｔｈは内部ビット深度である。さらに、

である。

すぐ上のボックス内の値

および

は、この段落の直後のボックスに記載されているようにさらに計算される。

ここで、

すぐ上のボックス内の値

は、中間高精度（すなわち、１６ビット）で生成されるリスト

内の予測信号の座標

におけるサンプル値である。値

および

は、その２つの隣接するサンプル間の差を直接計算することによって得られる、サンプルの水平勾配および垂直勾配である。値

および

は、この段落の直後のボックスに記載されているように計算される。

上述の動き微調整
の値を導出するためのボックスに記載されているように、式（１）に従って導出された動き微調整に基づき、この段落の直後のボックスに示されるように、オプティカルフローモデルに基づいて動き軌跡に沿ってＬ０／Ｌ１予測サンプルを補間することによって、ＣＵの最終的な双予測サンプルが計算される。

ここで、
および
は、双予測のためにＬ０およびＬ１予測信号を結合するために適用される右シフト値およびオフセット値であり、それぞれ
および
に等しい。

上述したビット深度制御方法に基づいて、ＢＤＯＦ処理全体の中間パラメータの最大ビット深度は３２ビットを超えず、乗算への最大入力は１５ビット以内であることが保証され、すなわち、ＢＤＯＦ実装には１５ビット乗算器があれば十分である。

ＤＭＶＲは、バイラテラルマッチング予測を使用することによってさらに補正することができる２つの初期シグナリングされたＭＶを有するマージブロックに使用される双予測技術である。

具体的には、ＤＭＶＲでは、バイラテラルマッチングは、２つの異なる参照ピクチャ内の現在のＣＵの動き軌跡に沿った２つのブロック間の最良一致を見つけることによって、現在のＣＵの動き情報を導出するために使用される。マッチング処理に用いられるコスト関数は、行サブサンプリングされたＳＡＤ（差分絶対値和）である。マッチング処理が行われた後、補正されたＭＶは予測段階で動き補償に使用され、後続のピクチャの時間的動きベクトル予測および未補正のＭＶは、現在のＣＵの動きベクトルとその空間的近傍の動きベクトルとの間の動きベクトル予測に使用される。

連続的な動き軌跡の仮定の下では、２つの参照ブロックを指す動きベクトルＭＶ０およびＭＶ１は、現在のピクチャと２つの参照ピクチャとの間の時間距離、すなわちＴＤ０およびＴＤ１に比例するものとする。特殊なケースとして、現在のピクチャが２つの参照ピクチャの間に時間的にあり、現在のピクチャから２つの参照ピクチャまでの時間的距離が同じである場合、バイラテラルマッチングはミラーベースの双方向ＭＶになる。

現在のＶＶＣでは、ハイブリッドビデオ符号化方式でインター予測方法およびイントラ予測方法が使用され、各ＰＵは、時間ドメインまたは空間ドメインのいずれかで相関を利用するためにインター予測またはイントラ予測を選択することしかできないが、両方ではない。しかしながら、以前の文献で指摘されたように、インター予測ブロックおよびイントラ予測ブロックによって生成された残差信号は、互いに非常に異なる特性を提示する可能性がある。したがって、２種類の予測を効率的に組み合わせることができれば、予測残差のエネルギーを削減して符号化効率を向上させるために、もう一つのより正確な予測が期待できる。さらに、自然なビデオコンテンツでは、動くオブジェクトの動きが複雑になる可能性がある。例えば、古いコンテンツ（例えば、以前に符号化されたピクチャに含まれるオブジェクト）と新たなコンテンツ（例えば、以前に符号化されたピクチャにおいて除外されるオブジェクト）の両方を含む領域が存在する可能性がある。そのようなシナリオでは、インター予測もイントラ予測も現在のブロックの１つの正確な予測を提供することができない。

予測効率をさらに向上させるために、マージモードで符号化された１つのＣＵのイントラ予測とインター予測とを組み合わせた、結合インターイントラ予測（ＣＩＩＰ）が、ＶＶＣ規格で採用されている。具体的には、各マージＣＵについて、現在のＣＵに対してＣＩＩＰが有効にされているかどうかを示すために、１つの追加のフラグがシグナリングされる。フラグが１に等しい場合、ＣＩＩＰは、輝度および彩度成分のイントラ予測サンプルを生成するために平面モードのみを適用する。さらに、等しい重み（すなわち、０．５）が、ＣＩＩＰ ＣＵの最終予測サンプルとして、インター予測サンプルおよびイントラ予測サンプルを平均するために適用される。

ＶＶＣはまた、動き補償予測のためのアフィンモードをサポートする。ＨＥＶＣでは、動き補償予測には並進する動きモデルのみが適用される。現実世界では、ズームイン／ズームアウト、回転、遠近の動き、および他の不規則な動きなど、多くの種類の動きがある。ＶＶＣでは、インター符号化ブロックごとに１つのフラグをシグナリングすることによって、アフィン動き補償予測が適用され、並進する動きまたはアフィン動きモデルがインター予測に適用されるかどうかを示す。現在のＶＶＣ設計では、４パラメータアフィンモードおよび６パラメータアフィンモードを含む２つのアフィンモードが、１つのアフィン符号化ブロックに対してサポートされている。

４パラメータアフィンモデルは、次のパラメータを有する。水平方向および垂直方向の各々の並進する動きのための２つのパラメータ、ズームの動きのための１つのパラメータ、および両方向の回転する動きのための１つのパラメータである。水平ズームパラメータは垂直ズームパラメータと等しい。水平回転パラメータは垂直回転パラメータと等しい。動きベクトルおよびアフィンパラメータのより良好な適応を達成するために、ＶＶＣにおいて、それらのアフィンパラメータは、現在のブロックの左上隅および右上隅に位置する、２つのＭＶ（制御点動きベクトル（ＣＰＭＶ）とも呼ばれる）に変換される。ブロックのアフィン動きフィールドは、２つの制御点ＭＶ（Ｖ_０、Ｖ_１）によって記述される。

制御点の動きベクトルに基づいて、１つのアフィン符号化ブロックの動きフィールド（ｖ_ｘ、ｖ_ｙ）が、この段落の直後のボックスに記載されているように計算される。

６パラメータアフィンモードは、次のパラメータを有する。水平方向および垂直方向の各々の並進する動きための２つのパラメータ、ズームの動きのための１つのパラメータおよび水平方向の回転する動きのための１つのパラメータ、ズームの動きのための１つのパラメータおよび垂直方向の回転する動きのための１つのパラメータである。６パラメータアフィン動きモデルは、３つのＣＰＭＶにおいて３つのＭＶで符号化される。

１つの６パラメータアフィンブロックの３つの制御点は、ブロックの左上、右上、および左下隅に位置する。左上制御点の動きは並進する動きに関連し、右上制御点の動きは水平方向の回転およびズームの動きに関連し、左下制御点の動きは垂直方向の回転およびズームの動きに関連する。４パラメータアフィン動きモデルと比較して、６パラメータアフィン動きモードの水平方向の回転およびズームの動きは、垂直方向のそれらの動きと同じではない場合がある。

（Ｖ_０，Ｖ_１，Ｖ_２）が現在のブロックの左上、右上、および左下隅のＭＶであると仮定すると、各サブブロック（ｖ_ｘ、ｖ_ｙ）の動きベクトルは、この段落の直後のボックスに記載されているように、制御点で３つのＭＶを使用して導出される。

アフィン動き補償精度を向上させるために、オプティカルフローによる予測微調整（ＰＲＯＦ）が、現在のＶＶＣにおいて現在研究され、それは、オプティカルフローモデルに基づいてサブブロックベースのアフィン動き補償を補正する。具体的には、サブブロックベースのアフィン動き補償を行った後、１つのアフィンブロックの輝度予測サンプルは、オプティカルフロー方程式に基づいて導出された１つのサンプル微調整値によって修正される。詳細には、ＰＲＯＦの操作は、以下の４つのステップにまとめることができる。

ステップ１において、サブブロックベースのアフィン動き補償が実行され、４パラメータアフィンモデルについては上記の式（６）において、および６パラメータアフィンモデルについては上記の式（７）において、導出されたサブブロックＭＶを使用して、サブブロック予測

を生成する。

ステップ２において、各予測サンプルの空間勾配

および

は、この段落の直後のボックスに記載されているように計算される。

さらにステップ２において、勾配を計算するために、予測サンプルの１つの追加の行／列が１つのサブブロックの各側で生成される必要がある。メモリ帯域幅および複雑さを低減するために、拡張された境界上のサンプルは、追加の補間処理を回避するために、参照ピクチャ内の最も近い整数画素位置からコピーされる。

ステップ３では、輝度予測微調整値は、この段落の直後のボックスに記載されているように計算される。

ここで、

は、サンプル位置

について計算され

と記述された画素ＭＶと、画素

が位置するサブブロックのサブブロックＭＶとの差である。

さらに、現在のＰＲＯＦ設計では、元の予測サンプルに予測微調整を加えた後、この段落の直後のボックスに記載されているように、補正された予測サンプルの値を１５ビット以内にクリッピングするために、第４のステップとして一回のクリッピング操作が実行される。

ここで、

および

は、それぞれ位置

における元のおよび補正された予測サンプルである。

アフィンモデルパラメータおよびサブブロック中心に対する画素位置は、サブブロックごとに変更されないので、

を第１のサブブロックについて計算し、同じＣＵ内の他のサブブロックについて再利用することができる。サンプル位置

からサンプルが属するサブブロックの中心までの水平および垂直オフセットを

および

とすると、この段落の直後のボックスに記載されているように

を導出することができる。

上記のアフィンサブブロックＭＶ導出式（６）および（７）に基づいて、ＭＶ差

は、この段落の直後のボックスに記載されているように導出することができる。

４パラメータアフィンモデルの場合、

６パラメータアフィンモデルの場合、

ここで、

は現在の符号化ブロックの左上、右上および左下の制御点ＭＶであり、

および

はブロックの幅および高さである。既存のＰＲＯＦ設計では、ＭＶ差

および

は常に、１／３２ ｐｅｌの精度で導出される。

現在のＬＭＣＳ設計によれば、彩度残差サンプルは、それらの対応する輝度予測サンプルに基づいてスケーリングされる。より新しい符号化ツールがインターＣＵに対して有効にされると、このインターＣＵ内のＬＭＣＳを介して彩度残差サンプルをスケーリングするために使用される輝度予測サンプルは、これらのより新しい符号化ツールの十字適用した最後に取得される。

図６は、ＤＭＶＲ、ＢＤＯＦ、およびＣＩＩＰのすべてが有効にされている場合のＬＭＣＳにおける彩度残差スケーリングのワークフローを示すフローチャートである。輝度Ｌ０予測値６０１および輝度Ｌ１予測値６０２からの出力は、ＤＭＶＲ ６０３およびＢＤＯＦ ６０４に順次供給され、得られた輝度インター予測値６２１は、輝度イントラ予測６０５からの輝度イントラ予測値６２２と共に平均６０６に供給されて平均輝度予測値６２３を生成し、これは、彩度残差６０８と共に彩度残差スケーリング６０７に供給され、その結果、彩度残差スケーリング６０７、彩度予測６１０、および彩度再構成６０９が協働して、最終結果を生成することができる。

現在のＬＭＣＳ設計は、ビデオ復号処理に３つの課題を提示する。第１に、異なるドメイン間のマッピング（異なるドメインマッピング）は、追加の計算複雑性およびオンチップメモリを必要とする。第２に、輝度および彩度スケーリング係数の導出が、異なる輝度予測値を使用するという事実は、追加の複雑さをもたらす。第３に、ＬＭＣＳとより新しい符号化ツールとの間の相互作用は、復号処理に遅延、すなわちＬＭＣＳに関連する遅延問題を導入する。

第１に、現在のＬＭＣＳ設計では、元のドメインの再構成されたサンプルとマッピングされたドメインの両方が、様々な復号モジュールで使用される。結果として、これらのサンプルは、異なる復号モジュール間で１つのドメインから別のドメインに変換される必要があることが多く、これは、より高い計算複雑性およびより多くのオンチップメモリの両方を招く可能性がある。

具体的には、イントラモード、ＣＩＩＰモード、およびＩＢＣモードの場合、１つの現在のＣＵの隣接の再構成されたドメインからのマッピングされたドメイン参照サンプルが、予測サンプルを生成するために使用される。しかし、インターモードの場合、動き補償予測は、参照として時間参照ピクチャの元のドメイン再構成サンプルを使用して実行される。ＤＰＢに格納された再構成サンプルも、元のドメインにある。図４に示すように、異なる予測モードの下での再構成されたサンプルのそのような混合表現は、追加の順方向および逆輝度マッピング操作を招く。

例えば、インターＣＵの場合、輝度再構成操作（すなわち、予測サンプルと残差サンプルとを一緒に加算すること）は、マッピングされたドメインで実行されるため、元のドメインで生成されたインター予測輝度サンプルは、それらが輝度サンプル再構成に使用される前にマッピングされたドメインに変換される必要がある。別の例では、イントラＣＵとインターＣＵの両方について、逆（または逆方向）マッピングが常に適用されて、再構成された輝度サンプルがマッピングされたドメインから元のドメインに変換された後、ＤＰＢに格納される。そのような設計は、追加の順方向／逆マッピング操作に起因して計算複雑性を増大させるだけでなく、再構成されたサンプルの複数のバージョンを維持するために、より多くのオンチップメモリを必要とする。

上記の説明に基づいて、いくつかのＬＭＣＳ設計では、輝度マッピングおよび輝度依存彩度残差スケーリングが、それぞれ輝度成分および彩度成分を符号化するために実行される。実際のハードウェア実装形態では、順方向および逆（または逆方向）マッピング関数ＦｗｄＭａｐおよびＩｎｖＭａｐは、ルックアップテーブル（ＬＵＴ）を使用して、またはオンザフライで計算されて実装することができる。ＬＵＴベースの解決策が使用される場合、関数ＦｗｄＭａｐ、ＩｎｖＭａｐ、およびｃＳｃａｌｅＩｎｖからの可能な出力要素は、事前に計算され、ＬＵＴとして事前に格納されることができ、その後、現在のスライス内のすべてのＣＵの輝度マッピングおよび彩度残差スケーリング操作に使用することができる。入力ビデオが１０ビットであると仮定すると、ＦｗｄＭａｐおよびＩｎｖＭａｐの各ＬＵＴには２^１０＝１０２４個の要素があり、ＬＵＴの各要素は１０ビットを有する。したがって、順方向および逆輝度マッピングのＬＵＴの合計記憶容量は、２＊１０２４＊１０＝２０４８０ビット＝２５６０バイトに等しい。一方、彩度スケーリングパラメータＣ_{ＳｃａｌｅＩｎｖ}を導出するためには、エンコーダおよびデコーダにおいて１６エントリのＬＵＴテーブルｃＳｃａｌｅＩｎｖが維持される必要があり、各彩度スケーリングパラメータは３２ビットで格納される。これに対応して、ＬＵＴ ｃＳｃａｌｅＩｎｖを格納するために使用されるメモリサイズは、１６＊３２＝５１２ビット＝６４バイトに等しい。２５６０と６４との間の差は、順方向および逆（逆方向）マッピング操作によって必要とされる追加のオンチップメモリのスケールを示す。

さらに、現在のＶＶＣなどの新しいビデオ符号化規格では、イントラ予測とデブロッキングフィルタの両方が、上記の隣接ブロックの再構成されたサンプルを使用する。したがって、現在のピクチャ／スライスの幅における再構成サンプルの１つの余分な行は、ビデオ符号化において「ラインバッファ」としても知られる、バッファ内に維持される必要がある。ラインバッファ内の再構成されたサンプルは、１つのＣＴＵ内の第１の行に位置するＣＵのイントラ予測およびデブロッキング操作のための基準として、少なくとも使用される。既存のＬＭＣＳ設計によれば、イントラ予測およびデブロッキングフィルタは、異なるドメインの再構成されたサンプルを使用する。したがって、元のドメイン再構成サンプルとマッピングされたドメイン再構成サンプルの両方を格納するために追加のオンチップメモリが必要になり、これはラインバッファのサイズをほぼ２倍にする可能性がある。

ライン・バッファ・サイズを増加させることに加えて、ライン・バッファ・サイズの２倍化を回避するための別の実装形態選択は、オンザフライでドメインマッピング操作を実行することである。しかしながら、これは無視できない計算複雑性の増加の犠牲を伴う。

したがって、ＬＭＣＳの現在の設計は、異なるドメイン間の必要なマッピングのために、追加の計算複雑性およびオンチップメモリを必要とする。

第２に、提案された適応輝度残差スケーリングでは、輝度成分と彩度成分の両方が、それらの予測残差に対してスケーリング操作を有する。ＬＭＣＳの現在の設計における輝度および彩度スケーリング係数導出方法の両方は、対応するスケーリング係数を導出するために輝度予測サンプル値を使用するが、それらの対応する操作の間には違いがある。

輝度残差スケーリングの場合、スケーリング係数は、各輝度残差サンプルがそれ自体のスケーリング係数を有することを可能にすることによって、サンプルごとに導出される。しかしながら、彩度残差スケーリングの場合、スケーリング係数はＣＵ全体に対して固定され、すなわち、ＣＵ内のすべての彩度残差サンプルは、マッピングされた輝度予測サンプルの平均に基づいて計算される同じスケーリング係数を共有する。

また、２つの異なるＬＵＴが、輝度残差および彩度残差のスケーリング係数を計算するために使用される。具体的には、輝度ＬＵＴへの入力は、元の輝度予測サンプル値のマッピングモデルセグメントインデックスであり、彩度ＬＵＴへの入力は、マッピングされた輝度予測サンプルの平均値のマッピング・モデル・セグメント・インデックスである。いくつかの例では、輝度予測サンプルをマッピングされたドメインにマッピングする必要なしに、１つのＬＵＴを使用して輝度残差と彩度残差の両方をスケーリングすることが可能になる。

このような違いは、符号化処理に余分な複雑さをもたらし、輝度および彩度スケーリング係数導出に対する調和された手法が望ましい。したがって、１つの統一された設計を達成するために、輝度残差および彩度残差のスケーリング方法を調和させるためのいくつかの方法を提案することができる。

第３に、「輝度依存彩度残差スケーリング」に関して上述したように、現在のＬＭＣＳ設計に従って、彩度残差サンプルは、それらの対応する輝度予測サンプルに基づいてスケーリングされる。これは、ＣＵのすべての輝度予測サンプルが完全に生成されるまで、１つのＬＭＣＳ ＣＵの彩度残差サンプルを再構成することができないことを意味する。また、上述したように、インター予測の効率を高めるために、ＤＭＶＲ、ＢＤＯＦ、およびＣＩＩＰを適用することができる。図６に示すように、ＬＭＣＳの現在の設計の彩度残差スケーリングについて、ＤＭＶＲ、ＢＤＯＦ、およびＣＩＩＰの３つのモジュールすべてなどの新しい符号化ツールを順次呼び出して、彩度残差のスケーリング係数を判定するために使用される輝度予測サンプルを生成することができる。３つのモジュールの高い計算複雑性を考えると、ＬＭＣＳの彩度残差スケーリングを実行する前にそれらの成功完了まで待つことは、彩度サンプルの復号のために、深刻な遅延を引き起こす可能性がある。アフィンＣＵの場合、各アフィンＣＵがＰＲＯＦ処理を実行し、続いてＬＭＣＳを実行することができるため、ＰＲＯＦ処理は遅延問題も有する可能性があり、これは彩度サンプルの復号の遅延問題も引き起こす可能性がある。

さらに、ＬＭＣＳの現在の設計では、彩度残差スケーリング係数導出処理中に不要なクリッピング操作が実行され、計算の複雑さおよびオンチップメモリの余分な要件がさらに増加する。

本開示は、ＬＭＣＳの現在の設計によって提示されるこれらの課題を解決または緩和することを目的とし、より詳細には、本開示は、符号化利得を維持しながらハードウェアコーデック実装のためのＬＭＣＳの複雑性を低減することができる方式を論じている。

マッピング操作によって予測／再構成サンプルを変換する既存のＬＭＣＳフレームワークを使用する代わりに、予測依存残差スケーリング（ＰＤＲＳ）と呼ばれる１つの新しい方法が提案され、サンプルマッピングなしで予測残差を直接スケーリングする。提案された方法は、ＬＭＣＳと同様の効果および符号化効率を達成することができるが、実装複雑性ははるかに低い。

ＰＤＲＳ手順では、図７に示すように、輝度残差サンプルを復号するための輝度予測サンプルを取得し（７０１）、輝度予測サンプルを使用してスケーリング係数を導出し（７０２）、スケーリング係数を使用して輝度残差サンプルをスケーリングし（７０３）、輝度予測サンプルとスケーリングされた輝度残差サンプルとを加算することによって再構成された輝度サンプルを計算する（７０４）。

いくつかの例では、ＬＭＣＳの実装複雑性を低減するために、適応輝度残差スケーリング方法が提案される。具体的には、輝度予測残差を計算する前に予測／再構成された輝度サンプルをマッピングされたドメインに直接変換する既存のＬＭＣＳ方法とは異なり、ＰＤＲＳ手順の提案された方法では、輝度予測残差サンプルは、マッピング操作なしで元のドメインにおける通常の予測処理と同じ方法で導出され、続いて輝度予測残差に対するスケーリング操作が行われる。輝度予測残差のスケーリングは、対応する輝度予測サンプル値および区分線形モデルに依存する。結果として、現在のＬＭＣＳ設計における順方向および逆輝度マッピング操作は完全に削除することができ、復号処理中に関与するすべての予測サンプルおよび再構成サンプルは、元のサンプルドメインに維持される。上記の特徴に基づいて、提案された方法は予測依存残差スケーリングと呼ばれる。さらに、彩度残差スケーリング導出の遅延を改善するために、彩度残差サンプルのスケーリングパラメータを計算するために使用される輝度予測サンプルの生成から、ＤＭＶＲ、ＢＤＯＦ、およびＣＩＩＰ操作を、完全にまたは部分的に除外するためのいくつかの方法が提案され得る。

図８は、ＬＭＣＳ処理においてＰＤＲＳ手順を適用した場合の復号処理のワークフローを示すフローチャートである。これは、異なるドメイン間のマッピングの必要性の排除を示している。ここで、残差復号モジュール（例えば、エントロピー復号８０１、逆量子化８０２および逆変換８０３）を除いて、他のすべての復号モジュール（イントラ予測８０４，８０９，８１２およびインター予測８１６、再構成８０６および８１３、ならびにすべてのループ内フィルタ８０７および８１４を含む）は元のドメインで動作している。具体的には、輝度サンプルを再構成するために、ＰＤＲＳ手順で提案された方法は、輝度予測残差サンプルＹ_ｒｅｓを元の振幅レベルに逆スケーリングし、次にそれらを輝度予測サンプルＹ_ｐｒｅｄに加算するだけでよい。

ＰＤＲＳ手順により、既存のＬＭＣＳ設計における順方向および逆輝度サンプルマッピング操作が完全に除去される。これは、計算複雑性を節約／低減するだけでなく、ＬＭＣＳパラメータを節約するための潜在的な記憶容量サイズも低減する。例えば、ＬＵＴベースの解決策が輝度マッピングを実施するために使用される場合、２つのマッピングＬＵＴ ＦｗｄＭａｐ［］およびＩｎｖＭａｐ［］（約２５６０バイト）を格納するために以前に使用された記憶容量は、提案された方法ではもはや必要とされない。さらに、元のドメインとマッピングされたドメインの両方に再構成輝度サンプルを格納する必要がある既存の輝度マッピング方法とは異なり、ＰＤＲＳ手順の提案された方法は、元のドメインのみですべての予測サンプルおよび再構成サンプルを生成し維持する。これに対応して、既存の輝度マッピングと比較して、ＰＤＲＳ手順における提案された方法は、イントラ予測およびデブロッキングのために再構成されたサンプルを格納するために使用されるラインバッファのサイズを、半分だけ効率的に削減することができる。

ＰＤＲＳ手順の１つまたは複数の実施形態によれば、輝度予測サンプルおよび輝度残差サンプルは、輝度予測ブロックおよびその関連残差ブロック内の１つの同一位置からのものである。

ＰＤＲＳ手順の１つまたは複数の実施形態によれば、輝度予測サンプルを使用してスケーリング係数を導出するステップは、可能な輝度予測サンプル値の全範囲を複数の輝度予測サンプルセグメントに分割するステップと、事前定義された区分線形モデルに基づいて複数の輝度予測サンプルセグメントの各々について１つのスケーリング係数を計算するステップと、複数の輝度予測サンプルセグメントのスケーリング係数に基づいて輝度予測サンプルのスケーリング係数を判定するステップとを含む。

一例では、複数の輝度予測サンプルセグメントのスケーリング係数に基づいて輝度予測サンプルのスケーリング係数を判定するステップは、輝度予測サンプルを複数の輝度予測サンプルセグメントのうちの１つのセグメントに割り当てるステップと、輝度予測サンプルのスケーリング係数を割り当てられた輝度予測サンプルセグメントのスケーリング係数として計算するステップと、を含む。

この例では、複数の輝度予測サンプルセグメントは、事前定義された１６個のＬＵＴテーブルｓｃａｌｅＦｏｒｗａｒｄ内の１６個のセグメントを含み、複数の輝度予測サンプルセグメントの各々について１つのスケーリング係数を計算するための事前定義された区分線形モデルは、事前定義されたＬＵＴテーブルｓｃａｌｅＦｏｒｗａｒｄ内の１６個のセグメントに対応する１６個の値を含む。

操作精度を維持するために、輝度残差サンプルをスケーリング／逆スケーリングするために使用されるスケーリングパラメータは、それらの対応する同じ場所に配置された輝度予測サンプルに基づいて判定されてもよい。一例では、Ｐｒｅｄ_Ｙを１つの輝度予測サンプルの値とすると、その対応する残差サンプルのスケーリング係数は、以下のステップを介して計算される。

同じ例では、スケーリング係数（例えば、輝度残差スケーリング係数Ｓｃａｌｅ_Ｙ）は、この段落の直後のボックスで記載されているように、割り当てられた輝度予測サンプルセグメントに基づいて計算される。

Ｓｃａｌｅ_Ｙ＝ｓｃａｌｅＦｏｒｗａｒｄ［Ｉｄｘ_Ｙ］
ここで、Ｙは、スケーリング係数が計算されている輝度残差値であり、Ｓｃａｌｅ_Ｙは、スケーリング係数であり、ｓｃａｌｅＦｏｒｗａｒｄ［ｉ］（ｉ＝０．．．１５）は、事前定義された１６個のＬＵＴテーブルであり、Ｉｄｘ_Ｙは、輝度予測サンプルドメイン値に割り当てられたセグメントのセグメントインデックスである。
ｓｃａｌｅＦｏｒｗａｒｄ［ｉ］（ｉ＝０．．．１５）は、以下のように事前計算される。
ｓｃａｌｅＦｏｒｗａｒｄ［ｉ］＝（ＯｒｇＣＷ＜＜ＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣ）／ＳｉｇｎａｌｅｄＣＷ［ｉ］
ここで、ＯｒｇＣＷおよびＳｉｇｎａｌｅｄＣＷ［ｉ］は、元のドメインおよびマッピングされたドメインにおけるｉ番目のセグメントのコードワードの数であり、ＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、スケーリング係数の精度である。

同じ例では、輝度スケーリング係数Ｓｃａｌｅ_Ｙが与えられると、この段落の直後のボックスに記載されているように、輝度残差サンプルスケーリング方法を適用することができる。

この例の背後にある動機は、現在のＬＭＣＳにおける順方向マッピングが、１つの区分線形モデルに基づいていることである。元の輝度サンプルと輝度予測サンプルの両方が同じ断片（すなわち、２つのピボット点ＩｎｐｕｔＰｉｖｏｔ［ｉ］およびＩｎｐｕｔＰｉｖｏｔ［ｉ＋１］によって定義される同じセグメント）に位置する場合、元の輝度サンプルと予測輝度サンプルの２つの順方向マッピング関数は、全く同じになる。これに対応して、Ｙ’ｒｅｓ＝ＦｗｄＭａｐ（Ｙｏｒｇ）－ＦｗｄＭａｐ（Ｙｐｒｅｄ）＝ＦｗｄＭａｐ（Ｙｏｒｇ－Ｙｐｒｅｄ）＝＝ＦｗｄＭａｐ（Ｙｒｅｓ）となる。この式の両側に逆マッピングを適用することにより、対応するデコーダ側再構成操作は、以下のように表すことができる。Ｙｒｅｃｏｎ＝Ｙｐｒｅｄ＋ＩｎｖＭａｐ（Ｙ’ｒｅｓ）。

言い換えれば、元の輝度サンプルと輝度予測サンプルの両方が同じ断片に位置する状況では、ＬＭＣＳにおける輝度マッピング方法は、例えば、図８に示すように、この可能な実装形態で実施されるように、復号処理における１つの残差スケーリング操作によって達成することができる。

エンコーダ側：

デコーダ側：

このような結論は、元の輝度サンプルと輝度予測サンプルの両方が２つのピボット点ＩｎｐｕｔＰｉｖｏｔ［ｉ］およびＩｎｐｕｔＰｉｖｏｔ［ｉ＋１］によって定義される同じセグメントに位置するという仮定に基づいて導出されるが、この例のこの可能な実装形態は、元の輝度サンプルと輝度予測サンプルが区分線形モデルの異なるセグメントに位置する場合であっても、ＶＶＣにおける既存の輝度マッピング操作の単純化および／または近似として依然として使用することができる。実験結果は、そのような単純化および／または近似が、符号化性能にほとんど影響を及ぼさないことを示している。

繰り返しになるが、この例は、元の輝度サンプル値と予測された輝度サンプル値の両方が区分線形モードの同じセグメントに位置するという仮定に基づいている。この場合、元の輝度サンプルおよび予測輝度サンプルに適用される順方向／逆マッピング関数は同じである。したがって、単に輝度予測サンプルに依存して、対応する残差スケーリング係数を計算することが安全である。

しかしながら、ＣＵの予測サンプルが十分に正確でない場合（例えば、参照サンプルから遠く離れているサンプルは通常はあまり正確に予測されない、イントラ予測されたＣＵの場合）、予測サンプルおよび元のサンプルは、区分線形モデルの異なるセグメントに位置することが多い。この場合、予測サンプル値に基づいて導出されたスケーリング係数は、元の（すなわち、マッピングされていない）ドメインにおける残差サンプルとマッピングされたドメインにおける残差サンプルとの間の元のマッピング関係を反映する際に、信頼できない可能性がある。

図９は、スケーリング係数を導出するために、予測サンプルのみを用いることで生じる残差マッピング誤差を示す図である。図９において、塗りつぶされた三角形の点は、区分線形関数における異なるセグメントのピボット制御点を表し、塗りつぶされた円形の点は、元のサンプル値および予測されたサンプル値を表す。Ｙ_ｏｒｇおよびＹ_ｐｒｅｄは、元の（すなわち、マッピングされていない）ドメインにおける元のサンプルおよび予測されたサンプルである。Ｙ’_ｏｒｇおよびＹ’_ｐｒｅｄは、それぞれＹ_ｏｒｇおよびＹ_ｐｒｅｄのマッピングされたサンプルである。Ｙ_ｒｅｓおよびＹ’_ｒｅｓは、ＶＶＣにおける既存のサンプルベースの輝度マッピング方法が適用される場合の元のドメインおよびマッピングされたドメインにおける対応する残差である。Ｙ’_{ｒｅｓＳｃａｌｅ}は、提案された輝度残差スケーリング方式に基づいて導出されるマッピングされた残差サンプルである。図９に示すように、元のサンプルと予測サンプルとが区分線形モデルの同じセグメント内にないため、予測サンプルに基づいて導出されたスケーリング係数は、マッピングされたドメイン（すなわち、Ｙ’_ｒｅｓ）内の元の残差を近似するスケーリングされた残差（すなわち、Ｙ’_{ｒｅｓＳｃａｌｅ}）を生成するのに十分に正確ではない可能性がある。

第２の例では、元の輝度サンプル値と予測された輝度サンプル値の両方が、区分線形モードの同じセグメントに位置するという仮定は必要ではない。

この第２の例では、残差スケーリング係数の精度を向上させるために、輝度予測サンプルが位置する区分線形モデルのセグメントから直接スケーリング係数を導出する代わりに、スケーリング係数は、Ｎ個（Ｎは正の整数）の隣接するセグメントのスケーリング係数の平均として計算される。

この第２の例では、複数の輝度予測サンプルセグメントのスケーリング係数に基づいて輝度予測サンプルのスケーリング係数を判定するステップは、輝度予測サンプルを複数の輝度予測サンプルセグメントのうちの１つのセグメントに割り当てるステップと、輝度予測サンプルのスケーリング係数を、割り当てられた輝度予測サンプルセグメントに隣接するいくつかの輝度予測サンプルセグメントのスケーリング係数の平均として計算するステップと、を含む。

より具体的には、この第２の例の１つの可能な実装形態では、スケーリング係数は、以下のステップで説明するように、割り当てられた輝度予測サンプルセグメントに基づいて計算され得る。例えば、デコーダ側では、輝度予測サンプルＰｒｅｄ_Ｙおよび輝度残差

が与えられると、逆スケーリング

に適用されるスケーリング係数は以下のように計算される。
１）元のドメインでＰｒｅｄ_Ｙが属する区分線形モデルの対応するセグメントインデックスＩｄｘ_Ｙを見つけるか、または取得する。
２）

≧０
の場合、輝度残差スケーリング係数は、以下のように計算される。

３）そうでない場合（すなわち、

輝度残差スケーリング係数は、以下のように計算される。

ここで、ｓｃａｌｅＦｏｒｗａｒｄ［ｉ］（ｉ＝０．．．１５）は、事前定義された１６個のＬＵＴであり、次のように計算される。
ｓｃａｌｅＦｏｒｗａｒｄ［ｉ］＝（ＯｒｇＣＷ＜＜ＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣ）／ＳｉｇｎａｌｅｄＣＷ［ｉ］
ここで、ＯｒｇＣＷおよびＳｉｇｎａｌｅｄＣＷ［ｉ］は、それぞれ元のドメインおよびマッピングされたドメインにおけるｉ番目のセグメントのコードワードの数であり、ＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣはスケーリング係数の精度である。

上記の実装形態と他の点では同一であるこの第２の例の第２の可能な実装形態では、スケーリング係数は、この段落の直後のボックスに記載されているように、割り当てられた輝度予測サンプルセグメントに基づいて計算することができる。

１）元のドメインでＰｒｅｄ_Ｙが属する区分線形モデルの対応するセグメントインデックスＩｄｘ_Ｙを見つけるか、または取得する。
２）輝度残差スケーリング係数は、以下のように計算される。

ここで、ｓｃａｌｅＦｏｒｗａｒｄは前の例と同じままであり、Ｍは［０、（Ｎ－１）］の範囲の整数である。Ｍの一例の値は、（Ｎ－１）／２である。Ｍの別の例示的な値は、Ｎ／２であってもよい。

この第２の例の上記の２つの可能な実装形態は、割り当てられたセグメントに基づくＮ個の輝度予測サンプルドメイン値セグメントの選択においてのみ異なる。

１つの彩度サンプル再構成手順では、図１０に示すように、入力位置において輝度残差サンプルと彩度残差サンプルの両方を復号するために輝度予測サンプル値が取得され（１００１）、次に、輝度残差サンプルに関連付けられた輝度予測サンプルが取得され（１００２）、次に、彩度残差サンプルに関連付けられた彩度予測サンプルが取得され（１００３）、輝度予測サンプルを使用して、輝度残差サンプルの第１のスケーリング係数および彩度残差サンプルの第２のスケーリング係数を導出し（１００４）、第１のスケーリング係数を使用して、輝度残差サンプルをスケーリングし（１００５）、第２のスケーリング係数を使用して、彩度残差サンプルをスケーリングし（１００６）、再構成された輝度サンプルは、彩度予測サンプルとスケーリングされた彩度残差サンプルとを加算することによって計算され（１００７）、再構成された彩度サンプルは、彩度予測サンプルとスケーリングされた彩度残差サンプルとを加算することによって計算される（１００８）。

彩度サンプル再構成手順は、より統一された設計を達成するように、輝度残差および彩度残差のスケーリング方法を調和させることを目的とする。

彩度サンプル再構成手順の１つまたは複数の実施形態によれば、輝度予測サンプル値は、入力位置を含む符号化ユニット（ＣＵ）内のすべての輝度予測サンプルの平均である。これらの実施形態では、彩度スケーリング導出方法は、輝度残差のスケーリング係数を計算するために使用され、より具体的には、各輝度残差サンプルに対して１つのスケーリング係数を別々に導出する代わりに、輝度予測サンプルの平均に基づいて計算される１つの共有スケーリング係数が、ＣＵ全体の輝度残差サンプルをスケーリングするために使用される。

彩度サンプル再構成手順の別の実施形態によれば、輝度予測サンプル値は、入力位置を含む符号化ユニット（ＣＵ）から細分された事前定義されたサブブロック内のすべての輝度予測サンプルの平均である。この実施形態では、輝度残差および彩度残差の両方のスケーリング係数を導出するために、サブブロックベースの方法を提案することができる。具体的には、１つのＣＵは、まず、複数のＭ×Ｎ個のサブブロックに等しく分割される。各サブブロックについて、すべてまたは部分的な輝度予測サンプルが使用され、サブブロックの輝度および彩度の両方の残差をスケーリングするために使用される、対応するスケーリング係数を導出する。第１の方法と比較して、第２の方法は、サブブロックの外側にある相関の低い輝度予測サンプルが、サブブロックのスケーリング係数の計算から除外されるため、推定されたスケーリング係数の空間精度を改善することができる。一方、第２の方法はまた、サブブロックの輝度予測が終了した後に、すなわち、ＣＵ全体の輝度予測サンプルの完全な生成を待つことなく直ちに、１つのサブブロック内の輝度残差および彩度残差のスケーリングが開始され得ることを考慮すると、輝度および彩度残差再構成の遅延を低減することができる。

彩度サンプル再構成手順の第３の実施形態によれば、輝度予測サンプルドメイン値は、同じ場所に配置された輝度予測サンプルを含む。この実施形態では、輝度残差スケーリング方法は、彩度残差をスケーリングするように拡張され、各彩度残差サンプルの異なるスケーリング係数は、その同じ場所に配置された輝度予測サンプル値に基づいて導出される。

彩度サンプル再構成手順の上記の実施形態では、彩度残差のスケーリングを行うために、輝度スケーリング係数の計算に使用されるのと同じＬＵＴを使用することが提案される。一例では、彩度残差のＣＵレベルのスケーリング係数Ｓｃａｌｅ_Ｃを導出するために、以下に従うことができる。
１）ａｖｇ_Ｙとして示される、ＣＵ内の輝度予測サンプル（元のドメインで表される）の平均を計算する。
２）ａｖｇ_Ｙが属する区分線形モデルの対応するセグメントインデックスＩｄｘ_Ｙを見つけるか、または取得する。
３）Ｓｃａｌｅ_Ｃの値を以下のように計算する。
Ｓｃａｌｅ_Ｃ＝ｓｃａｌｅＦｏｒｗａｒｄ［Ｉｄｘ_Ｙ］
ここで、ｓｃａｌｅＦｏｒｗａｒｄ［ｉ］（ｉ＝０．．．１５）は、１つの事前定義された１６個のＬＵＴであり、これは次のように計算される。
ｓｃａｌｅＦｏｒｗａｒｄ［ｉ］＝（ＯｒｇＣＷ＜＜ＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣ）／ＳｉｇｎａｌｅｄＣＷ［ｉ］
ここで、ＯｒｇＣＷおよびＳｉｇｎａｌｅｄＣＷ［ｉ］は、それぞれ元のドメインおよびマッピングされたドメインにおけるｉ番目のセグメントのコードワードの数であり、ＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣはスケーリング係数の精度である。

上記の例は、現在のＣＵの各サブブロックごとに彩度残差のスケーリング係数が導出される場合に、容易に拡張することができる。その場合、上記の第１のステップでは、ａｖｇＹはサブブロックの元のドメインにおける輝度予測サンプルの平均として計算されるが、ステップ２およびステップ３は同じままである。

第２の彩度サンプル再構成手順では、図１１に示すように、符号化ユニット（ＣＵ）のための輝度予測処理中にいくつかの事前定義された中間輝度予測段階をスキップすることによって複数の輝度予測サンプルが取得され（１１０１）、取得された複数の輝度予測サンプルを使用して、ＣＵ内の彩度残差サンプルのためのスケーリング係数を導出し（１１０２）、スケーリング係数を使用して、ＣＵ内の彩度残差サンプルをスケーリングし（１１０３）、再構成された彩度サンプルは、ＣＵ内の彩度予測サンプルおよびスケーリングされた彩度残差サンプルを加算することによって計算される（１１０４）。

第２の彩度サンプル再構成手順の１つまたは複数の実施形態によれば、事前定義された中間輝度予測段階は、デコーダ側動きベクトル導出（ＤＭＶＲ）、双方向オプティカルフロー（ＢＤＯＦ）、および結合インターイントラ予測（ＣＩＩＰ）の１つまたは複数の双予測モジュールを含む。これらの実施形態では、遅延問題を解決するために、ＤＭＶＲ、ＢＤＯＦ／ＰＲＯＦ、ＣＩＩＰイントラ／インター結合処理の前に導出されたインター予測サンプルを使用して、彩度残差のスケーリング係数を導出する。

図１２は、ＤＭＶＲ、ＢＤＯＦ、およびＣＩＩＰが彩度スケーリングのための輝度予測サンプルを生成するために適用されない、第２の彩度サンプル再構成手順のこの実施形態の一例における、ＬＭＣＳ復号処理のワークフローを示すフローチャートである。ここで、ＤＭＶＲ １２０３、ＢＤＯＦ １２０４および／またはＣＩＩＰの輝度イントラ予測部１２０５が完全に終了するのを待つ代わりに、初期Ｌ０およびＬ１の輝度予測１２０１および１２０２に基づく、予測サンプル１２２１および１２２２が利用可能になるとすぐに、彩度残差スケーリング処理１２０８を開始することができる。

図１２では、ＤＭＶＲ １２０３、ＢＤＯＦ １２０４、および／またはＣＩＩＰ １２０５の前に、初期Ｌ０およびＬ１の予測サンプル１２２１および１２２２を組み合わせるために、元の平均化操作１２０６に加えて、１つの追加の平均化操作１２１１が必要である。

複雑さを低減するために、第２の彩度サンプル再構成手順のこの実施形態の第２の例では、初期Ｌ０予測サンプルが常に使用され、彩度残差のためのスケーリング係数を導出することができる。

図１３は、初期単一予測信号が彩度スケーリングのための輝度予測サンプルを生成するために適用される、第２の彩度サンプル再構成手順のこの実施形態の第２の例における、ＬＭＣＳ復号処理のワークフローを示すフローチャートである。元の平均化操作１３０６に加えて追加の平均化操作は必要ない。初期Ｌ０の予測サンプル１３２１は、ＤＭＶＲ １３０３、ＢＤＯＦ １３０４、および／またはＣＩＩＰ １３０５の前の彩度残差のスケーリング係数を導出するために使用される。

第２の彩度サンプル再構成手順のこの実施形態の第３の例では、彩度残差スケーリング係数を導出するために使用される輝度予測サンプルとして、１つの初期予測信号（Ｌ０またはＬ１）が適応的に選択される。この例の１つの可能な実装形態では、初期予測信号（Ｌ０またはＬ１）の間で、その参照ピクチャが現在のピクチャよりも小さいピクチャ順序カウント（ＰＯＣ）距離を有するものが、彩度残差スケーリング係数を導出するために選択される。

第２の彩度サンプル再構成手順の別の実施形態では、彩度残差スケーリング係数を判定するために使用されるインター予測サンプルを生成するためにＣＩＩＰを有効にしながら、ＤＭＶＲ、ＢＤＯＦ／ＰＲＯＦのみを無効にすることが提案される。具体的には、この方法では、ＤＭＶＲおよびＢＤＯＦ／ＰＲＯＦの前に導出されたインター予測サンプルが最初に平均化される。次に、ＣＩＩＰのイントラ予測サンプルと組み合わされる。最後に、結合された予測サンプルは、彩度残差スケーリング係数を決定するための予測サンプルとして使用される。

第２の彩度サンプル再構成手順のさらに別の実施形態では、彩度残差スケーリング係数を判定するために使用される予測サンプルを生成するために、ＤＭＶＲおよびＣＩＩＰを保持しながら、ＢＤＯＦ／ＰＲＯＦのみを無効にすることが提案される。

第２の彩度サンプル再構成手順のさらに別の実施形態では、彩度残差スケーリング係数を判定するために使用される輝度予測サンプルを導出する際に、ＤＭＶＲを無効にしながら、ＢＤＯＦ／ＰＲＯＦおよびＣＩＩＰを保持することが提案される。

さらに、第２の彩度サンプル再構成手順の上記の実施形態における方法は、彩度予測残差スケーリングの遅延を低減するように設計されているので示されているが、それらの方法は、輝度予測残差スケーリングの遅延を低減するためにも使用できること、に言及する価値がある。例えば、「予測依存残差スケーリングに基づく輝度マッピング」のセクションで説明したＰＤＲＳ方法にも、すべての方法を適用することができる。

既存のＤＭＶＲ設計によれば、計算複雑性を軽減するために、ＤＭＶＲ動き微調整に使用される予測サンプルは、デフォルトの８タップ補間の代わりに２タップバイリニアフィルタを使用して生成される。補正された動きが判定された後、現在のＣＵの最終予測サンプルを生成するためにデフォルトの８タップフィルタが適用される。したがって、ＤＭＶＲによって生じる彩度残差復号遅延を低減するために、バイリニアフィルタによって生成された輝度予測サンプル（現在のＣＵが双予測される場合、Ｌ０およびＬ１予測サンプルの平均）を使用して、彩度残差のスケーリング係数を判定することが提案される。

１つの彩度残差サンプル再構成手順によれば、図１４に示すように、１つまたは複数の輝度予測サンプル値が、デコーダ側動きベクトル導出（ＤＭＶＲ）のバイリニアフィルタの出力から選択され（１４０１）、１つまたは複数の選択された輝度予測サンプル値が、入力ビデオの元の符号化ビット深度と同じビット深度を有する別の１つまたは複数の輝度予測サンプル値に調整され（１４０２）、入力ビデオの元の符号化ビット深度と同じビット深度を有する輝度予測サンプル値を使用して、１つまたは複数の彩度残差サンプルを復号するためのスケーリング係数を導出し（１４０３）、スケーリング係数を使用して、１つまたは複数の彩度残差サンプルをスケーリングし（１４０４）、１つまたは複数の彩度残差サンプルが、１つまたは複数のスケーリングされた彩度残差サンプルとそれらの対応する彩度予測サンプルとを加算することによって再構成される（１４０５）。

彩度残差サンプル再構成手順の１つまたは複数の実施形態では、ＤＭＶＲのバイリニアフィルタの出力から１つまたは複数の輝度予測サンプル値を選択するステップは、ＤＭＶＲのバイリニアフィルタの出力からＬ０およびＬ１の輝度予測サンプルを選択するステップを含む。

図１５は、彩度残差サンプル再構成手順のそのような一実施形態におけるＬＭＣＳ復号処理のワークフローを示すフローチャートである。ＤＭＶＲ １５０３のバイリニアフィルタ１５１２成分の出力からのＬ０およびＬ１予測サンプル１５２１および１５２２は、１つまたは複数の彩度残差サンプルを復号するための彩度残差スケーリング１５０７で使用されるべき彩度残差スケーリング入力１５２３を導出するために、平均１５１１に供給される。

これらの実施形態では、ビットコード深度の問題がある。ＤＭＶＲによって使用される内部記憶容量サイズを節約するために、ＤＭＶＲのバイリニアフィルタによって生成される中間Ｌ０およびＬ１予測サンプルは、１０ビット精度である。これは、１４ビットに等しい通常の双予測の即時予測サンプルの表現ビット深度とは異なる。したがって、バイリニアフィルタから出力された中間予測サンプルは、その異なる精度のために、彩度残差スケーリング係数を判定するために直接適用することができない。

この問題に対処するために、最初に、ＤＭＶＲ中間ビット深度を通常の動き補償補間に使用される中間ビット深度と整合させる、すなわち、ビット深度を１０ビットから１４ビットに増加させることが提案される。その後、通常の双予測信号を生成するために適用される既存の平均処理を再利用して、彩度残差スケーリング係数を判定するための対応する予測サンプルを生成することができる。

これらの実施形態の一例では、１つまたは複数の選択された輝度予測サンプル値を、入力ビデオの元の符号化ビット深度と同じビット深度を有する別の１つまたは複数の輝度予測サンプル値に調整することは、左シフトにより、ＤＭＶＲのバイリニアフィルタの出力からのＬ０およびＬ１輝度予測サンプルの内部ビット深度を１４ビットに増加させることと、１４ビットシフトされたＬ０およびＬ１輝度予測サンプル値を平均することによって１４ビット平均輝度予測サンプル値を取得することと、右シフトにより、１４ビット平均輝度予測サンプル値の内部ビット深度を入力ビデオの元の符号化ビット深度に変更することによって、１４ビット平均輝度予測サンプル値を変換することと、を含む。

より具体的には、この例では、彩度スケーリング係数は、この段落の直後のボックスに記載されたステップによって判定される。

１）内部ビット深度整合。次のように示されるように、バイリニアフィルタによって生成されたＬ０およびＬ１の予測サンプルの内部ビット深度を、１０ビットから１４ビットに増加させる。

ここで、

および

はバイリニアフィルタから出力された予測サンプルであり、

および

はビット深度整合後のスケーリングされた予測サンプルである。

は、以下の平均操作によって生じる予測サンプルのシフトされたダイナミックレンジを補償するために使用される定数である。
２）Ｌ０およびＬ１のスケーリングされた予測サンプルの平均。彩度残差スケーリング係数を判定するために使用される最終的な輝度サンプルは、以下のように２つのスケーリングされた輝度予測サンプルを平均することによって計算される。

ここで、ビット深度は、入力ビデオの符号化ビット深度である。

彩度残差サンプル再構成手順の他の実施形態では、ＤＭＶＲのバイリニアフィルタの出力から１つまたは複数の輝度予測サンプル値を選択し、入力ビデオの元の符号化ビット深度と同じビット深度を有する別の１つまたは複数の輝度予測サンプル値に１つまたは複数の選択された輝度予測サンプル値を調整するステップは、ＤＭＶＲのバイリニアフィルタの出力からＬ０およびＬ１の輝度予測サンプルのうちの１つの輝度予測サンプルを選択するステップと、シフトによって選択された１つの輝度予測値の内部ビット深度を入力ビデオの元の符号化ビット深度に変更することによって１つの選択された輝度予測サンプルを調整するステップと、入力ビデオの元の符号化ビット深度と同じビット深度を有する輝度予測サンプルとして調整された輝度予測サンプルを使用するステップと、を含む。

図１６は、彩度残差サンプル再構成手順のそのような他の一実施形態における、ＬＭＣＳ復号処理のワークフローを示すフローチャートである。ＤＭＶＲ １６０３のバイリニアフィルタ１６１２成分の出力からのＬ０予測サンプル１６２１は、１つまたは複数の彩度残差サンプルを復号するための彩度残差スケーリング１６０７で使用される。この実施形態では、初期単一予測サンプル（すなわち、Ｌ０予測サンプル）を直接使用して、彩度残差のスケーリング係数を導出することが提案される。

彩度残差サンプル再構成手順の１つのそのような他の実施形態の一例では、現在のＣＵが双予測されると仮定すると、彩度スケーリング係数は、この段落の直後のボックスに記載されたように、バイリニアフィルタから出力された輝度サンプルを入力ビデオの元の符号化ビット深度にシフトすることによって判定される。

ビット深度が１０以下である場合、

そうでない場合、

最後に、輝度予測サンプルを生成する代わりに、参照サンプル（すなわち、外部参照ピクチャから取り出される整数位置のサンプル）を直接使用して、彩度残差のスケーリング係数を判定することが提案される。１つまたは複数の実施形態において、彩度残差スケーリング係数を判定するために、Ｌ０およびＬ１における参照サンプルの平均を使用することが提案される。別の実施形態では、彩度残差スケーリング係数を計算するために、一方向（例えば、リストＬ０）の参照サンプルのみに提案することができる。

第２の彩度残差サンプル再構成手順によれば、図１７に示すように、１つまたは複数の輝度参照サンプル値が参照ピクチャから選択され（１７０１）、１つまたは複数の選択された輝度参照サンプル値が輝度サンプル値に変換され（１７０２）、変換された輝度サンプルを使用してスケーリング係数を導出し（１７０３）、スケーリング係数を使用して１つまたは複数の彩度残差サンプルをスケーリングし（１７０４）、１つまたは複数の彩度残差サンプルが、１つまたは複数のスケーリングされた彩度残差サンプルとそれらの対応する彩度予測サンプルとを加算することによって再構成される（１７０５）。

第２の彩度残差サンプル再構成手順の１つまたは複数の実施形態では、参照ピクチャから１つまたは複数の輝度参照サンプル値を選択し、１つまたは複数の選択された輝度参照サンプル値を輝度サンプル値に変換するステップは、Ｌ０およびＬ１参照ピクチャからＬ０およびＬ１の両方の輝度参照サンプル値を取得するステップと、変換された輝度サンプル値としてＬ０およびＬ１の輝度参照サンプル値を平均するステップと、を含む。

第２の彩度残差サンプル再構成手順の他の実施形態では、参照ピクチャから１つまたは複数の輝度参照サンプルを選択し、１つまたは複数の選択された輝度参照サンプルを輝度サンプル値に変換するステップは、Ｌ０およびＬ１参照ピクチャからのＬ０およびＬ１輝度参照サンプル値の中から１つの輝度参照サンプル値を選択するステップと、１つの選択された輝度参照サンプル値を変換された輝度サンプル値として使用するステップと、を含む。

既存のＬＭＣＳ設計によれば、現在のＣＵが位置する６４ｘ６４領域に隣接する再構成輝度サンプルは、領域内のＣＵの彩度残差スケーリング係数を計算するために使用される。さらに、１つのクリッピング操作、すなわちＣｌｉｐ １（）は、再構成された輝度隣接サンプルを、平均が計算される前に、内部ビット深度のダイナミックレンジ（［０，（１＜＜ｂｉｔＤｅｐｔｈ）－１］の範囲内にクリッピングするために適用される。

具体的には、本方法は、まず、現在のＣＵが属する対応する６４ｘ６４領域の、６４個の左隣接輝度サンプルおよび６４個の上隣接輝度サンプル、をフェッチする。次いで、左および上の隣接サンプルの平均、すなわちａｖｇＹを計算し、ＬＭＣＳ区分線形モデル内のａｖｇＹのセグメントインデックスＹ_１ｄｘを見つける。最後に、彩度残差Ｃ_{ＳｃａｌｅＩｎｖ}＝ｃＳｃａｌｅＩｎｖ［Ｙ_１ｄｘ］を導出する。

具体的には、現在のＶＶＣ草案では、対応する平均輝度をどのように導出するかは以下のように説明され、クリッピング操作Ｃｌｉｐ １（）は、目立つフォントサイズで示されるように適用されている。
変数ｖａｒＳｃａｌｅの導出には、以下の順序付きステップが適用される。
変数ｉｎｖＡｖｇＬｕｍａは、以下のように導出される。
－配列ｒｅｃＬｕｍａ［ｉ］（ｉ＝０（２＊ｓｉｚｅＹ－１））、および変数ｃｎｔは、以下のように導出される。
－変数ｃｎｔは０に等しく設定される。
－ａｖａｉｌＬがＴＲＵＥに等しい場合、配列ｒｅｃＬｕｍａ［ｉ］（ｉ＝０．．ｓｉｚｅＹ－１は、ｃｕｒｒＰｉｃ［ｘＣｕＣｂ－１］［Ｍｉｎ（ｙＣｕＣｂ＋ｉ，ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ－１）］（ｉ＝０．．ｓｉｚｅＹ－１）に等しく設定され、ｃｎｔはｓｉｚｅＹに等しく設定される。
－ａｖａｉｌＴがＴＲＵＥに等しい場合、配列ｒｅｃＬｕｍａ［ｃｎｔ＋ｉ］（ｉ＝０．．ｓｉｚｅＹ－１）は、ｃｕｒｒＰｉｃ［Ｍｉｎ（ｘＣｕＣｂ＋ｉ，ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ－１）］［ｙＣｕＣｂ－１］（ｉ＝０．．ｓｉｚｅＹ－１）に等しく設定され、ｃｎｔは（ｃｎｔ＋ｓｉｚｅＹ）に等しく設定される。
－変数ｉｎｖＡｖｇＬｕｍａは、以下のように導出される。
－ｃｎｔが０より大きい場合、以下が適用される。

－そうでない場合（ｃｎｔは０に等しい）、以下が適用される。
ｉｎｖＡｖｇＬｕｍａ＝１＜＜（ＢｉｔＤｅｐｔｈ－１）
上記の説明では、ｓｉｚｅＹは６４である。ｒｅｃＬｕｍａ［ｉ］は、上および左の隣接する輝度サンプルの再構成サンプルである。ｉｎｖＡｖｇＬｕｍａは、計算された輝度平均である。

しかしながら、再構成処理では、１つのＣＵの残差サンプルに予測サンプルを加算した後、結果のサンプル値は、内部ビット深度のダイナミックレンジに既にクリッピングされている。これは、現在の６４ｘ６４領域の周りのすべての隣接する再構成輝度サンプルが、内部ビット深度の範囲内にあることが保証されることを意味する。したがって、それらの平均、すなわちａｖｇＹもこの範囲を超えることはできない。その結果、既存のクリッピング（すなわち、Ｃｌｉｐ １（））は、対応する彩度残差スケーリング係数を計算する必要がない。ＬＭＣＳ設計の複雑さおよびメモリ要件をさらに低減するために、隣接する再構成された輝度サンプルの平均を計算するときから、クリッピング操作を除去し、彩度残差スケーリング係数を導出することが提案される。

図１８は、非クリッピング彩度残差スケーリング係数導出手順のステップを示すフローチャートである。図１８では、ＣＵが位置する第２の所定の領域に隣接する第１の所定の領域からの複数の再構成された輝度サンプルが、ＣＵの復号中に選択され（１８０１）、複数の再構成された輝度サンプルの平均が計算され（１８０２）、複数の再構成された輝度サンプルの平均が、ＣＵを復号するための彩度残差スケーリング係数を導出する際に、クリッピングなしで直接使用される（１８０３）。

非クリッピング彩度残差スケーリング係数導出手順の１つまたは複数の実施形態では、複数の再構成輝度サンプルの平均は、複数の再構成輝度サンプルの算術平均である。

非クリッピング彩度残差スケーリング係数導出手順の１つまたは複数の実施形態では、ＣＵを復号するための彩度残差スケーリング係数を導出する際に、複数の再構成された輝度サンプルの平均をクリッピングなしで直接使用するステップは、事前定義された区分線形モデルにおける平均のセグメントインデックスを識別するステップと、セグメントの線形モデルの勾配に基づいてＣＵを復号するためのクロム残差スケーリング係数を導出するステップと、を含む。

非クリッピング彩度残差スケーリング係数導出手順の１つまたは複数の実施形態では、第１の所定の領域内の輝度予測サンプルおよび輝度残差サンプルを生成するステップと、輝度残差サンプルを輝度予測サンプルに加算するステップと、加算された輝度サンプルを符号化ビット深度のダイナミックレンジにクリッピングするステップと、によって、第１の所定の領域内の複数の再構成輝度サンプルが生成される。

非クリッピング彩度残差スケーリング係数導出手順の１つまたは複数の実施形態では、複数の再構成輝度サンプルは、複数の順方向マッピングされたインター輝度再構成サンプルである。

非クリッピング彩度残差スケーリング係数導出手順の１つまたは複数の実施形態において、第２の所定の領域は、ＣＵが位置する６４×６４の領域である。

一例では、図１９に示すように、第１の所定の領域は、第２の所定の領域１９０４の真上の１ｘ６４の領域１９０２内の上部隣接サンプルを含み得る。これに代え、あるいはこれに加えて、第１の所定の領域は、第２の所定の領域１９０４のすぐ左の６４ｘ１の領域１９０３内の左の近隣サンプルを含み得る。

既存のＬＭＣＳ設計によれば、元のドメインとマッピングされたドメインの両方の再構成されたサンプルは、異なるモードで符号化されたＣＵに使用される。これに対応して、２つのドメイン間で予測および再構成輝度サンプルを変換するために、複数のＬＭＣＳ変換が現在の符号化／復号処理に関与する。

具体的には、イントラモード、ＣＩＩＰモード、およびＩＢＣモードの場合、イントラ予測サンプルを生成するために使用される１つの現在のＣＵの隣接する再構成ドメインからの参照サンプルは、マッピングされたドメイン内に維持される。対照的に、ＣＩＩＰモードおよびすべてのインターモードでは、時間参照ピクチャから生成される動き補償予測サンプルは、元のドメインにある。輝度再構成操作はマッピングされたドメインで実行されるため、輝度成分のそれらのインター予測サンプルは、残差サンプルと加算される前にマッピングされたドメインに変換される必要がある。一方、イントラおよびインターモードの両方について、逆マッピングは、マッピングされたドメインから元のドメインに変換された、再構成された輝度サンプルに常に適用される。

さらに、クリッピング操作、すなわちＣｌｉｐ １（）は、インター予測サンプルを、マッピングされたドメインに変換された後に、内部ビット深度のダイナミックレンジ（すなわち、［０，（１＜＜ｂｉｔＤｅｐｔｈ）－１］の範囲内にクリッピングするために適用される。一方、イントラおよびインターモードの両方について、再構成された輝度サンプルが元のドメインに変換された後、同じクリッピング操作が再構成された輝度サンプルにも適用される。

しかしながら、既存のＬＭＣＳ設計に基づいて、順方向ＬＭＣＳから得られるサンプルが常に内部ビット深度のダイナミックレンジ内にあることを保証するビットストリーム制約が一つある。これは、インターＣＵのマッピングされた輝度予測サンプルが、そのようなダイナミックレンジを超えることができないことを意味する。したがって、インターモードのマッピングされた輝度予測サンプルに適用される既存のクリッピング操作は、冗長である。一例として、インターモードおよびＣＩＩＰモードのインター予測サンプルの順方向変換後に、クリッピング操作を除去することが提案され得る。別の例では、再構成された輝度サンプルをマッピングされたドメインから元のドメインに変換するときに、逆ＬＭＣＳマッピング処理からクリッピング操作を除去することが提案され得る。

より具体的には、現在のＶＶＣ草案では、輝度サンプルの逆マッピング処理は以下のように説明され、式（１２４２）のクリッピング操作Ｃｌｉｐ １（）は、目立つフォントサイズで示されるように適用されている。
８．８．２．２ 輝度サンプルの逆マッピング処理
この処理への入力は、輝度サンプルｌｕｍａＳａｍｐｌｅである。
この処理の出力は、修正された輝度サンプルｉｎｖＬｕｍａＳａｍｐｌｅである。
ｉｎｖＬｕｍａＳａｍｐｌｅの値は以下のように導出される。
－輝度サンプルｌｕｍａＳａｍｐｌｅを含むスライスのｓｌｉｃｅ＿ｌｍｃｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい場合、以下の順序付きステップが適用される。
１．変数ｉｄｘＹＩｎｖは、ｌｕｍａＳａｍｐｌｅを入力として、ｉｄｘＹＩｎｖを出力として、条項８．８．２．３で指定されているように、輝度サンプルの区分関数インデックス処理の識別を呼び出すことによって導出される。
２．変数ｉｎｖＳａｍｐｌｅは以下のように導出される。

３．逆マッピングされた輝度サンプルｉｎｖＬｕｍａＳａｍｐｌｅは、以下のように導出される。

－そうでない場合、ｉｎｖＬｕｍａＳａｍｐｌｅはｌｕｍａＳａｍｐｌｅと等しく設定される。

さらに、現在のＶＶＣ草案では、結合マージおよびイントラ予測のための重み付きサンプル予測処理は、以下のように説明され、ここでは、目立つフォントサイズで示されるように、クリッピング操作Ｃｌｉｐ １（）が適用されている。
８．５．６．７ 結合マージおよびイントラ予測のための重み付きサンプル予測処理
この処理への入力は以下の通りである。
－現在のピクチャの左上輝度サンプルに対して、現在の輝度符号化ブロックの左上サンプルを指定する輝度位置（ｘＣｂ、ｙＣｂ）
－現在の符号化ブロックの幅ｃｂＷｉｄｔｈ、
－現在の符号化ブロックの高さｃｂＨｅｉｇｈｔ
－２つの（ｃｂＷｉｄｔｈ）ｘ（ｃｂＨｅｉｇｈｔ）配列ｐｒｅｄＳａｍｐｌｅｓＩｎｔｅｒおよびｐｒｅｄＳａｍｐｌｅｓＩｎｔｒａ
－色成分インデックスを指定する変数ｃＩｄｘ
この処理の出力は、予測サンプル値の（ｃｂＷｉｄｔｈ）×（ｃｂＨｅｉｇｈｔ）配列ｐｒｅｄＳａｍｐｌｅｓＣｏｍｂである。
変数ｓｃａｌｌＦａｃｔは以下のように導出される。

隣接する輝度位置（ｘＮｂＡ、ｙＮｂＡ）および（ｘＮｂＢ、ｙＮｂＢ）は、それぞれ、（ｘＣｂ－１，ｙＣｂ－１＋（ｃｂＨｅｉｇｈｔ＜＜ｓｃａｌｌＦａｃｔＹ））および（ｘＣｂ－１＋（ｃｂＷｉｄｔｈ＜＜ｓｃａｌｌＦａｃｔＸ）、ｙＣｂ－１）に、等しく設定される。
ＸがＡまたはＢのいずれかに置き換えられる場合、変数ａｖａｉｌａｂｌｅＸおよびｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＸは、以下のように導出される。
－条項６．４．４で指定された隣接ブロック可用性の導出処理では、（ｘＣｂ、ｙＣｂ）に等しく設定された位置（ｘＣｕｒｒ、ｙＣｕｒｒ）、（ｘＮｂＸ、ｙＮｂＸ）に等しく設定された隣接位置（ｘＮｂＹ、ｙＮｂＹ）、ＦＡＬＳＥに等しく設定されたｃｈｅｃｋＰｒｅｄＭｏｄｅＹ、および０に等しく設定されたｃＩｄｘ、が入力として呼び出され、出力はａｖａｉｌａｂｌｅＸに割り当てられる。
－変数ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＸは、以下のように導出される。
－ａｖａｉｌａｂｌｅＸがＴＲＵＥに等しく、ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＮｂＸ］［ｙＮｂＸ］がＭＯＤＥ＿ＩＮＴＲＡに等しい場合、ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＸはＴＲＵＥに等しく設定される。
－そうでない場合、ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＸは、ＦＡＬＳＥと等しく設定される。
重みｗは以下のように導出される。
－ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＡとｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＢの両方がＴＲＵＥに等しい場合、ｗは３に等しく設定される。
－そうでない場合、ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＡとｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＢの両方がＦＡＬＳＥに等しい場合、ｗは１に等しく設定される。
－そうでない場合、ｗは２に等しく設定される。
ｃＩｄｘが０に等しく、ｓｌｉｃｅ＿ｌｍｃｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい場合、ｘ＝０．．ｃｂＷｉｄｔｈ－１およびｙ＝０．．ｃｂＨｅｉｇｈｔ－１を有するｐｒｅｄＳａｍｐｌｅｓＩｎｔｅｒ［ｘ］［ｙ］は、以下のように修正される。

ｘ＝０．．ｃｂＷｉｄｔｈ－１およびｙ＝０．．ｃｂＨｅｉｇｈｔ－１を有する予測サンプルｐｒｅｄＳａｍｐｌｅｓＣｏｍｂ［ｘ］［ｙ］は、以下のように導出される。

さらに、現在のＶＶＣ草案では、輝度サンプルのマッピング処理を用いたピクチャ再構成は以下のように説明され、クリッピング操作Ｃｌｉｐ １（）は、目立つフォントサイズで示されるように適用されている。
８．７．５．２ 輝度サンプルのマッピング処理によるピクチャ再構成
この処理への入力は以下の通りである。
－現在のピクチャの左上サンプルに対する、現在のブロックの左上サンプルの位置（ｘＣｕｒｒ、ｙＣｕｒｒ）、
－ブロック幅を規定する変数ｎＣｕｒｒＳｗ
－ブロック高さを指定する変数ｎＣｕｒｒＳｈ
－現在のブロックの輝度予測サンプルを指定する（ｎＣｕｒｒＳｗ）ｘ（ｎＣｕｒｒＳｈ）配列ｐｒｅｄＳａｍｐｌｅｓ
－現在のブロックの輝度残差サンプルを指定する（ｎＣｕｒｒＳｗ）ｘ（ｎＣｕｒｒＳｈ）配列ｒｅｓＳａｍｐｌｅｓ
この処理の出力は、再構成された輝度ピクチャサンプルアレイｒｅｃＳａｍｐｌｅｓである。
マッピングされた予測輝度サンプルｐｒｅｄＭａｐＳａｍｐｌｅｓの（ｎＣｕｒｒＳｗ）×（ｎＣｕｒｒＳｈ）配列は、以下のように導出される。
－以下の条件のうちの１つが真である場合、ｐｒｅｄＭａｐＳａｍｐｌｅｓ［ｉ］［ｊ］は、ｉ＝０．．ｎＣｕｒｒＳｗ－１、ｊ＝０．．ｎＣｕｒｒＳｈ－１に対してｐｒｅｄＳａｍｐｌｅｓ［ｉ］［ｊ］と等しく設定される。
－ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＣｕｒｒ］［ｙＣｕｒｒ］はＭＯＤＥ＿ＩＮＴＲＡと等しい。
－ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＣｕｒｒ］［ｙＣｕｒｒ］は、ＭＯＤＥ＿ＩＢＣと等しい。
－ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＣｕｒｒ］［ｙＣｕｒｒ］は、ＭＯＤＥ＿ＰＬＴと等しい。
－ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＣｕｒｒ］［ｙＣｕｒｒ］はＭＯＤＥ＿ＩＮＴＥＲに等しく、ｃｉｉｐ＿ｆｌａｇ［ｘＣｕｒｒ］［ｙＣｕｒｒ］は１に等しい。
－そうでない場合（ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＣｕｒｒ］［ｙＣｕｒｒ］がＭＯＤＥ＿ＩＮＴＥＲに等しく、ｃｉｉｐ＿ｆｌａｇ［ｘＣｕｒｒ］［ｙＣｕｒｒ］が０に等しい）、以下が適用される。

ここで、ｉ＝０．．ｎＣｕｒｒＳｗ－１、ｊ＝０．．ｎＣｕｒｒＳｈ－１）
再構成された輝度ピクチャサンプルｒｅｃＳａｍｐｌｅｓは、以下のように導出される。

ここで、ｉ＝０．．ｎＣｕｒｒＳｗ－１，ｊ＝０．．ｎＣｕｒｒＳｈ－１

これらの冗長なクリッピング操作は、既存のＬＭＣＳ設計における計算複雑性およびオンチップメモリの余分な要件を招く。ＬＭＣＳ設計の複雑さおよびメモリ要件をさらに低減するために、これらの冗長なクリッピング操作を除去することが提案される。

非クリッピング彩度サンプル復号手順によれば、図２０に示すように、彩度スケーリングを伴う輝度マッピング（ＬＭＣＳ）フレームワークの下で、インターモードまたは結合インターイントラ予測（ＣＩＩＰ）モードによって符号化された符号化ユニット（ＣＵ）の復号中に、輝度成分の複数の再構成されたサンプルが、マッピングされたドメイン内で取得され（２００１）、輝度成分の複数の再構成されたサンプルをマッピングされたドメインから元のドメインに変換することにより、輝度成分の複数の変換されたサンプルが元のドメイン内で取得され（２００２）、ＣＵの彩度サンプルを復号するための彩度スケーリング係数を導出する際に、元のドメインにおける複数の変換された輝度成分のサンプルが、クリッピングなしで、で使用される（２００３）。

非クリッピング彩度サンプル復号手順の１つまたは複数の実施形態では、図２１に示すように、ＣＵがインターモードによって符号化される場合、マッピングされたドメインにおける輝度成分の複数の再構成されたサンプルを取得するステップは、元のドメインにおける輝度成分の複数のインター予測サンプルを計算するステップ（２１０１）と、マッピングされたドメインにおける輝度成分の複数の変換されたインター予測サンプルを取得するために、輝度成分の複数のインター予測サンプルを元のドメインからマッピングされたドメインに、クリッピングなしで、変換するステップ（２１０２）と、
マッピングされたドメインにおける輝度成分の複数の変換されたインター予測サンプルを、マッピングされたドメインにおける輝度成分の複数の残差サンプルに加算し、その結果、マッピングされたドメインにおける輝度成分の複数の再構成されたサンプルが得られるステップ（２１０３）と、を含む。

非クリッピング彩度サンプル復号手順の他の１つまたは複数の実施形態では、図２２に示すように、ＣＵがＣＩＩＰモードによって符号化される場合、マッピングされたドメインにおける輝度成分の複数の再構成されたサンプルを取得するステップは、元のドメインにおける輝度成分の複数のインター予測サンプルを計算するステップ（２２０１）と、マッピングされたドメインにおける輝度成分の複数の変換されたインター予測サンプルを取得するために、輝度成分の複数のインター予測サンプルを元のドメインからマッピングされたドメインに、クリッピングなしで、変換するステップ（２２０２）と、マッピングされたドメインにおける輝度成分の複数のイントラ予測サンプルを計算するステップ（２２０３）と、複数の変換されたインター予測サンプルと複数のイントラ予測サンプルとの加重平均によって、マッピングされたドメインにおける輝度成分の予測サンプルを導出するステップ（２２０４）と、
マッピングされたドメインにおける輝度成分の導出された予測サンプルを、マッピングされたドメインにおける輝度成分の複数の残差サンプルに加算し、その結果、マッピングされたドメインにおける輝度成分の複数の再構築されたサンプルが得られるステップ（２２０５）と、を含む。

現在のＬＭＣＳが有効にされると、順方向および逆方向輝度マッピングは、１１ビットの精度で定義された１つのＬＵＴテーブルを使用して実行される。例えば、順方向輝度マッピングを例にとると、現在の順方向マッピングスケーリング係数は、以下のように定義される。
ＳｃａｌｅＣｏｅｆｆ［ｉ］＝（ｌｍｃｓＣＷ［ｉ］＊（１＜＜１１）＋（１＜＜（Ｌｏｇ ２（ＯｒｇＣＷ）－１）））＞＞（Ｌｏｇ ２（ＯｒｇＣＷ））
ここで、ｌｍｃｓＣＷは、マッピングされた輝度ドメインの１つのセグメントの長さであり、ＯｒｇＣＷは、１＜＜（ＢｉｔＤｅｐｔｈ－４）に等しい元の輝度ドメインの１つのセグメントの長さである。

しかしながら、１１ビットのこのような精度は、１６ビット未満の内部符号化ビット深度にのみ十分であることが分かった。内部符号化ビット深度が１６ビットである場合、Ｌｏｇ ２（ＯｒｇＣＷ）の値は１２となる。そのような場合、１１ビット精度の向上は、スケーリング係数導出をサポートするのに十分ではない。これにより、現在のビットストリーム適合性が適用された場合、すなわち、マッピングされた輝度ドメインにおけるセグメントの長さの合計が（１＜＜ＢｉｔＤｅｐｔｈ）－１以下である場合でも、順方向輝度マッピング後のマッピングされた予測輝度サンプル値は、内部符号化ビット深度のダイナミックレンジを超えることになり得る。

このような考察に基づいて、２つの解決策が提案される。

１つの解決策では、インターモードおよびＣＩＩＰモードのマッピングされた輝度予測サンプルに、常にクリッピング操作を適用することが提案される。その上、現在のビットストリーム適合性を除去することができる。

この解決策の下で、結合マージおよびイントラ予測のための重み付きサンプル予測処理は以下のようになる。現在のＶＶＣ草案における同じ手順の仕様と比較して、マッピングされた輝度予測サンプルがクリッピング値を含むように、クリッピング操作Ｃｌｉｐ １（）が式（１０２８ ａ）に常に適用される。
８．５．６．７ 結合マージおよびイントラ予測のための重み付きサンプル予測処理
この処理への入力は以下の通りである。
ｃＩｄｘが０に等しく、ｓｌｉｃｅ＿ｌｍｃｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい場合、ｘ＝０．．ｃｂＷｉｄｔｈ－１およびｙ＝０．．ｃｂＨｅｉｇｈｔ－１を有するｐｒｅｄＳａｍｐｌｅｓＩｎｔｅｒ［ｘ］［ｙ］は、以下のように修正される。

ｘ＝０．．ｃｂＷｉｄｔｈ－１およびｙ＝０．．ｃｂＨｅｉｇｈｔ－１を有する予測サンプルｐｒｅｄＳａｍｐｌｅｓＣｏｍｂ［ｘ］［ｙ］は、以下のように導出される。

この解決策の下でも、輝度サンプルのマッピング処理を用いたピクチャ再構成は以下のようになる。現在のＶＶＣ草案における同じ手順の仕様と比較して、マッピングされた輝度予測サンプルがクリッピング値を含むように、クリッピング操作Ｃｌｉｐ １（）が追加される。
８．７．５．２ 輝度サンプルのマッピング処理によるピクチャ再構成
この処理への入力は以下の通りである。
－現在のピクチャの左上サンプルに対する、現在のブロックの左上サンプルの位置（ｘＣｕｒｒ、ｙＣｕｒｒ）、
－ブロック幅を規定する変数ｎＣｕｒｒＳｗ
－ブロック高さを指定する変数ｎＣｕｒｒＳｈ
－現在のブロックの輝度予測サンプルを指定する（ｎＣｕｒｒＳｗ）ｘ（ｎＣｕｒｒＳｈ）配列ｐｒｅｄＳａｍｐｌｅｓ
－現在のブロックの輝度残差サンプルを指定する（ｎＣｕｒｒＳｗ）ｘ（ｎＣｕｒｒＳｈ）配列ｒｅｓＳａｍｐｌｅｓ
この処理の出力は、再構成された輝度ピクチャサンプルアレイｒｅｃＳａｍｐｌｅｓである。
マッピングされた予測輝度サンプルｐｒｅｄＭａｐＳａｍｐｌｅｓの（ｎＣｕｒｒＳｗ）×（ｎＣｕｒｒＳｈ）配列は、以下のように導出される。
－以下の条件のうちの１つが真である場合、ｐｒｅｄＭａｐＳａｍｐｌｅｓ［ｉ］［ｊ］は、ｉ＝０．．ｎＣｕｒｒＳｗ－１、ｊ＝０．．ｎＣｕｒｒＳｈ－１に対してｐｒｅｄＳａｍｐｌｅｓ［ｉ］［ｊ］と等しく設定される。
－ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＣｕｒｒ］［ｙＣｕｒｒ］はＭＯＤＥ＿ＩＮＴＲＡと等しい。
－ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＣｕｒｒ］［ｙＣｕｒｒ］は、ＭＯＤＥ＿ＩＢＣと等しい。
－ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＣｕｒｒ］［ｙＣｕｒｒ］は、ＭＯＤＥ＿ＰＬＴと等しい。
－ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＣｕｒｒ］［ｙＣｕｒｒ］はＭＯＤＥ＿ＩＮＴＥＲに等しく、ｃｉｉｐ＿ｆｌａｇ［ｘＣｕｒｒ］［ｙＣｕｒｒ］は１に等しい。
－そうでない場合（ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＣｕｒｒ］［ｙＣｕｒｒ］がＭＯＤＥ＿ＩＮＴＥＲに等しく、ｃｉｉｐ＿ｆｌａｇ［ｘＣｕｒｒ］［ｙＣｕｒｒ］が０に等しい）、以下が適用される。

ここで、ｉ＝０．．ｎＣｕｒｒＳｗ－１、ｊ＝０．．ｎＣｕｒｒＳｈ－１）
再構成された輝度ピクチャサンプルｒｅｃＳａｍｐｌｅｓは、以下のように導出される。

ここで、ｉ＝０．．ｎＣｕｒｒＳｗ－１，ｊ＝０．．ｎＣｕｒｒＳｈ－１

第２の解決策では、ＬＭＣＳのスケーリング係数導出の精度を１１ビット（Ｍビットと表記）を超えるように増加させることが提案される。

この第２の解決策の下では、順方向輝度マッピングは以下のようになる。
ＳｃａｌｅＣｏｅｆｆ［ｉ］＝（ｌｍｃｓＣＷ［ｉ］＊（１＜＜Ｍ）＋（１＜＜（Ｌｏｇ ２（ＯｒｇＣＷ）－１）））＞＞（Ｌｏｇ ２（ＯｒｇＣＷ））
ｉｄｘＹ＝ｐｒｅｄＳａｍｐｌｅｓ［ｉ］［ｊ］＞＞Ｌｏｇ２（ＯｒｇＣＷ）
ｐｒｅｄＭａｐＳａｍｐｌｅｓ［ｉ］［ｊ］＝ＬｍｃｓＰｉｖｏｔ［ｉｄｘＹ］＋
（ＳｃａｌｅＣｏｅｆｆ［ｉｄｘＹ］＊（ｐｒｅｄＳａｍｐｌｅｓ［ｉ］［ｊ］－ＩｎｐｕｔＰｉｖｏｔ［ｉｄｘＹ］）＋（１＜＜（Ｍ－１）））＞＞Ｍ（１２１９）
ｗｉｔｈ ｉ＝０．．ｎＣｕｒｒＳｗ－１，ｊ＝０．．ｎＣｕｒｒＳｈ－１

第２の解決策の一実施形態では、順方向および逆輝度マッピングの両方のスケーリング係数導出の精度を高めることが提案される。第２の解決策の別の実施形態では、順方向輝度マッピングのスケーリング係数導出の精度のみを高めることが提案される。

上記の２つの解決策のいずれかが適用される場合、インターモードおよびＣＩＩＰモードのマッピングされた輝度予測サンプルに適用される現在のクリッピング操作も安全に除去することができる。

本開示の第１の態様によれば、図２３に示すように、ＬＭＣＳフレームワークの下でインターモードまたはＣＩＩＰモードによって符号化されたＣＵの輝度成分の、マッピングされたドメインにおける複数の予測サンプルが取得され（２３０１）、ＣＵの輝度成分の、マッピングされたドメインにおける複数の残差サンプルがビットストリームから受信され（２３０２）、マッピングされたドメインにおける複数の予測サンプルが、マッピングされたドメインにおける複数の残差サンプルに加算され、その結果、輝度成分の、マッピングされたドメインにおける複数の再構成サンプルが得られ（２３０３）、輝度成分の複数の再構成サンプルが、事前定義された複数の逆マッピングスケーリング係数に基づいて、マッピングされたドメインから元のドメインに変換される（２３０４）。

本開示の第一の態様の１つまたは複数の実施形態では、図２４に例示されるように、ＣＵはインターモードによって符号化され、ＣＵの輝度成分の、マッピングされたドメインにおける複数の予測サンプルを取得することは、ＣＵの時間参照ピクチャからＣＵの輝度成分の、元のドメインにおける複数のインター予測サンプルを導出すること（２４０１）と、その後、事前定義された符号化ビット深度、および事前定義された順方向マッピング精度内にある事前定義された複数の順方向マッピングスケーリング係数に基づいて、輝度成分の複数のインター予測サンプルを、元のドメインからマッピングされたドメインに変換すること（２４０２）と、を含む。

本開示の第一の態様の他の１つまたは複数の実施形態では、図２５に例示されるように、ＣＵはＣＩＩＰモードによって符号化され、ＣＵの輝度成分の、マッピングされたドメインにおける複数の予測サンプルを取得することは、ＣＵの時間参照ピクチャからＣＵの輝度成分の、元のドメインにおける複数のインター予測サンプルを導出すること（２５０１）と、事前定義された符号化ビット深度、および事前定義された順方向マッピング精度内にある事前定義された複数の順方向マッピングスケーリング係数に基づいて、輝度成分の複数のインター予測サンプルを、元のドメインからマッピングされたドメインに変換すること（２５０２）と、ＣＵの輝度成分の、マッピングされたドメインにおける複数のイントラ予測サンプルを計算すること（２５０３）と、変換された複数のインター予測サンプルおよび複数のイントラ予測サンプルの加重平均として、マッピングされたドメインにおけるＣＵの輝度成分の予測サンプルを導出すること（２５０４）と、を含む。

一例では、図２６に示すように、事前定義された符号化ビット深度、および事前定義された順方向マッピング精度内にある事前定義された複数の順方向マッピングスケーリング係数に基づいて、輝度成分の複数のインター予測サンプルを、元のドメインからマッピングされたドメインに変換することは、事前定義された複数の順方向マッピングスケーリング係数を使用して、輝度成分の複数のインター予測サンプルを、元のドメインからマッピングされたドメインに変換すること（２６０１）と、事前定義された符号化ビット深度、および事前定義された順方向マッピング精度に基づいて、クリッピング操作が必要であるかどうかを判定すること（２６０２）と、クリッピング操作が必要であるという判定に応答して、マッピングされたドメインにおける輝度成分の複数のインター予測サンプルを、事前定義された符号化ビット深度にクリッピングすること（２６０３）と、クリッピング操作が必要ではないという判定に応答して、輝度成分の複数のインター予測サンプルのクリッピングをバイパスすること（２６０４）と、を含む。

１つまたは複数の場合において、クリッピング操作が必要であるかどうか判定することは、事前定義された符号化ビット深度が事前定義された順方向マッピング精度よりも大きい場合に、クリッピング操作が必要であると判定することを含む。

１つまたは複数の場合において、クリッピング操作が必要であるかどうか判定することは、事前定義された符号化ビット深度が事前定義された順方向マッピング精度よりも小さい場合に、クリッピング操作が必要ではないと判定することを含む。

１つまたは複数の例では、クリッピング操作が必要であるかどうかを判定することは、事前定義された符号化ビット深度および事前定義された順方向マッピング精度に関係なく、クリッピング操作が必要であると判定することを含む。

１つまたは複数の例では、クリッピング操作が必要かどうかを判定することは、事前定義された符号化ビット深度および事前定義された順方向マッピング精度に関係なく、クリッピング操作が必要ではないと判定することを含む。

１つまたは複数の例では、事前定義された順方向マッピング精度は１５ビットである。

１つまたは複数の例では、事前定義された順方向マッピング精度は１１ビットである。

図２７は、本開示のいくつかの実装形態にしたがうビデオ符号化のための装置を例示するブロック図である。装置２７００は、携帯電話、タブレットコンピュータ、デジタル放送端末、タブレットデバイス、または携帯情報端末などの端末であってもよい。

図２７に示すように、装置２７００は、以下の構成要素、処理構成要素２７０２、メモリ２７０４、電源構成要素２７０６、マルチメディア構成要素２７０８、オーディオ構成要素２７１０、入力／出力（Ｉ／Ｏ）インターフェース２７１２、センサ構成要素２７１４、および通信構成要素２７１６、のうちの１つまたは複数を含み得る。

処理構成要素２７０２は、通常、表示、通話、データ通信、カメラ操作および記録操作に関連する操作など、装置２７００の全体的な操作を制御する。処理構成要素２７０２は、上記の方法のステップの全部または一部を完了するために命令を実行するための１つまたは複数のプロセッサ２７２０を含むことができる。さらに、処理構成要素２７０２は、処理構成要素２７０２と他の構成要素との間の相互作用を容易にするために、１つまたは複数のモジュールを含むことができる。例えば、処理構成要素２７０２は、マルチメディア構成要素２７０８と処理構成要素２７０２との間の対話を容易にするために、マルチメディアモジュールを含むことができる。

メモリ２７０４は、装置２７００の操作をサポートするために、異なるタイプのデータを格納するように構成される。そのようなデータの例は、装置２７００上で動作する任意のアプリケーションまたは方法のための命令、連絡先データ、電話帳データ、メッセージ、写真、ビデオなどを含む。メモリ２７０４は、任意のタイプの一時的または非一時的記憶媒体またはそれらの組み合わせを含むことができ、メモリ２７０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたはコンパクトディスクであってもよい。非一時的記憶媒体は、例えば、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ、ハイブリッドドライブまたはソリッドステートハイブリッドドライブ（ＳＳＨＤ）、読み出し専用メモリ（ＲＯＭ）、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、磁気テープ、フロッピー（登録商標）ディスクなどであってもよい。

電源構成要素２７０６は、装置２７００の異なる構成要素に電力を供給する。電源構成要素２７０６は、電源管理システム、１つまたは複数の電源、および装置２７００のための電力の生成、管理、および分配に関連する他の構成要素を含むことができる。

マルチメディア構成要素２７０８は、装置２７００とユーザとの間の出力インターフェースを提供する画面を含む。いくつかの例では、画面は、液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含むことができる。画面がタッチパネルを含む場合、画面は、ユーザからの入力信号を受信するタッチスクリーンとして実装されてもよい。タッチパネルは、タッチパネル上のタッチ、スライド、およびジェスチャを検知するための１つまたは複数のタッチセンサを含むことができる。タッチセンサは、タッチまたはスライド操作の境界を感知するだけでなく、タッチまたはスライド操作に関連する持続時間および圧力を検出することもできる。いくつかの例では、マルチメディア構成要素２７０８は、フロントカメラおよび／またはリアカメラを含むことができる。装置２７００が撮影モードまたはビデオモードなどの操作モードにあるとき、フロントカメラおよび／またはリアカメラは外部マルチメディアデータを受信することができる。

オーディオ構成要素２７１０は、オーディオ信号を出力および／または入力するように構成される。例えば、オーディオ構成要素２７１０は、マイクロフォン（ＭＩＣ）を含む。装置２７００が通話モード、録音モード、および音声認識モードなどの動作モードにあるとき、マイクロフォンは外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、メモリ２７０４にさらに格納されてもよく、または通信構成要素２７１６を介して送信されてもよい。いくつかの例では、オーディオ構成要素２７１０は、オーディオ信号を出力するためのスピーカをさらに含む。

Ｉ／Ｏインターフェース２７１２は、処理構成要素２７０２と周辺インターフェースモジュールとの間のインターフェースを提供する。上記の周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、音量ボタン、開始ボタン、およびロックボタンを含むことができるが、これらに限定されない。

センサ構成要素２７１４は、装置２７００の異なる態様で状態評価を提供するための１つまたは複数のセンサを含む。例えば、センサ構成要素２７１４は、装置２７００のオン／オフ状態および構成要素の相対位置を検出することができる。例えば、構成要素は、装置２７００のディスプレイおよびキーパッドである。センサ構成要素２７１４はまた、装置２７００または装置２７００の構成要素の位置変化、装置２７００上のユーザの接触の有無、装置２７００の向きまたは加速／減速、および装置２７００の温度変化を検出することができる。センサ構成要素２７１４は、物理的な接触なしに近くの物体の存在を検出するように構成された近接センサを含むことができる。センサ構成要素２７１４は、撮像用途に使用されるＣＭＯＳまたはＣＣＤイメージセンサなどの光学センサをさらに含むことができる。いくつかの例では、センサ構成要素２７１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ、または温度センサをさらに含むことができる。

通信構成要素２７１６は、装置２７００と他のデバイスとの間の有線または無線通信を容易にするように構成される。装置２７００は、ＷｉＦｉ、４Ｇ、またはそれらの組み合わせなどの通信規格に基づいて無線ネットワークにアクセスすることができる。一例では、通信構成要素２７１６は、放送チャネルを介して外部の放送管理システムから放送信号または放送関連情報を受信する。一例では、通信構成要素２７１６は、短距離通信を促進するための近距離無線通信（ＮＦＣ）モジュールをさらに含んでもよい。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術、および他の技術に基づいて実装されてもよい。

一例では、装置２７００は、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または上記の方法を実行する他の電子素子のうちの１つまたは複数によって実装されてもよい。

１つまたは複数の例では、記載された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実施され得る。ソフトウェアで実装される場合、機能は、コンピュータ可読媒体に記憶されるか、または１つまたは複数の命令またはコードとしてコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、例えば通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体、を含むことができる。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形のコンピュータ可読記憶媒体、または（２）信号または搬送波などの通信媒体、に対応することができる。データ記憶媒体は、本出願に記載された実装形態を実装するための命令、コード、および／またはデータ構造を取り出すために、１つもしくは複数のコンピュータ、または、１つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含むことができる。

さらに、上記の方法は、装置２７００を使用して実施することができる。本開示は、特定用途向け集積回路、プログラマブル論理アレイ、および他のハードウェアデバイスなどの専用ハードウェア実装を含むことができる。ハードウェア実装は、本明細書に記載の方法のうちの１つまたは複数を実装するように構成することができる。様々な実装形態の装置およびシステムを含むことができる例は、様々な電子およびコンピューティングシステムを広く含むことができる。本明細書に記載された１つまたは複数の例は、モジュール間およびモジュールを介して、または特定用途向け集積回路の一部として、通信することができる関連する制御およびデータ信号を有する２つ以上の特定の相互接続されたハードウェアモジュールまたはデバイスを使用して機能を実装することができる。したがって、開示された装置またはシステムは、ソフトウェア、ファームウェア、およびハードウェアの実装形態を包含し得る。「モジュール（ｍｏｄｕｌｅ）」、「サブモジュール（ｓｕｂ－ｍｏｄｕｌｅ）」、「回路（ｃｉｒｃｕｉｔ）」、「サブ回路ｓｕｂ－ｃｉｒｃｕｉｔ」、「回路（ｃｉｒｃｕｉｔｒｙ）」、「サブ回路（ｓｕｂ－ｃｉｒｃｕｉｔｒｙ）」、「ユニット（ｕｎｉｔ）」、または「サブユニット（ｓｕｂ－ｕｎｉｔ）」という用語は、１つまたは複数のプロセッサによって実行することができるコードまたは命令を記憶するメモリ（共有、専用、またはグループ）を含むことができる。本明細書で言及されるモジュールは、格納されたコードまたは命令の有無にかかわらず、１つまたは複数の回路を含むことができる。モジュールまたは回路は、接続された１つまたは複数の構成要素を含むことができる。

本発明の他の実施形態は、本明細書の考察および本明細書に開示される本発明の実施から当業者には明らかであろう。本出願は、本発明の一般的な原理に従い、当技術分野における既知のまたは慣習的な実施に含まれるような本開示からの逸脱を含む、本発明の任意の変形、使用、または適合を網羅することを意図している。本明細書および実施例は、例示としてのみ考慮されることが意図され、本発明の真の範囲および精神は、以下の特許請求の範囲によって示される。

本発明は、上記で説明され、添付の図面に示された正確な例に限定されず、その範囲から逸脱することなく様々な修正および変更を行うことができることが理解されよう。本発明の範囲は、添付の特許請求の範囲によってのみ限定されることが意図されている。

Claims (6)

1. 彩度スケーリングを伴う輝度マッピング（ＬＭＣＳ）のフレームワーク下で、結合インターイントラ予測（ＣＩＩＰ）モードによって符号化された、符号化ユニット（ＣＵ）の輝度成分の、マッピングされたドメインにおける複数の予測サンプルを取得することと、
   前記ＣＵの前記輝度成分の、前記マッピングされたドメインにおける複数の残差サンプルを取得することと、
   前記マッピングされたドメインにおける前記複数の予測サンプルを、前記マッピングされたドメインにおける前記複数の残差サンプルに加算し、前記輝度成分の、前記マッピングされたドメインにおける複数の再構成されたサンプルを得ることと、
   事前定義された複数の逆マッピングスケーリング係数に基づいて、前記輝度成分の前記複数の再構成されたサンプルを、前記マッピングされたドメインから元のドメインに変換することと、
   を含み、
   前記ＣＵの前記輝度成分の、前記マッピングされたドメインにおける前記複数の予測サンプルを取得することは、
   前記ＣＵの時間参照ピクチャから前記ＣＵの前記輝度成分の、前記元のドメインにおける複数のインター予測サンプルを導出することと、
   事前定義された符号化ビット深度、および事前定義された順方向マッピング精度内にある事前定義された複数の順方向マッピングスケーリング係数に基づいて、前記輝度成分の前記複数のインター予測サンプルを、前記元のドメインから前記マッピングされたドメインに変換することと、
   前記ＣＵの前記輝度成分の、前記マッピングされたドメインにおける複数のイントラ予測サンプルを計算することと、
   前記マッピングされたドメインにおける前記ＣＵの前記輝度成分の前記予測サンプルを、前記変換された複数のインター予測サンプルおよび前記複数のイントラ予測サンプルの加重平均として導出することと、
   を含む、
   ビデオ復号のための方法。
2. 前記事前定義された符号化ビット深度、および前記事前定義された順方向マッピング精度内にある前記事前定義された複数の順方向マッピングスケーリング係数に基づいて、前記輝度成分の前記複数のインター予測サンプルを、前記元のドメインから前記マッピングされたドメインに変換することは、
   前記事前定義された複数の順方向マッピングスケーリング係数を使用して、前記輝度成分の前記複数のインター予測サンプルを、前記元のドメインから前記マッピングされたドメインに変換することと、
   前記輝度成分の、前記マッピングされたドメインにおける前記複数のインター予測サンプルを、前記事前定義された符号化ビット深度のダイナミックレンジにクリッピングすることと、
   を含む、請求項１に記載の方法。
3. 前記事前定義された順方向マッピング精度が１１ビットである、請求項１に記載の方法。
4. コンピューティングデバイスであって、
   １つまたは複数のプロセッサと、
   前記１つまたは複数のプロセッサに結合された非一時的記憶装置と、
   前記１つまたは複数のプロセッサによって実行されると、前記コンピューティングデバイスに請求項１から３のいずれか一項に記載の方法を実行させる、前記非一時的記憶装置に格納された複数のプログラムと、
   を含む、コンピューティングデバイス。
5. １つまたは複数のプロセッサを有するコンピューティングデバイスによって実行される複数のプログラムを格納する非一時的コンピュータ可読記憶媒体であって、前記複数のプログラムは、前記１つまたは複数のプロセッサによって実行されると、前記コンピューティングデバイスに請求項１から３のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
6. プロセッサによって実行されると、請求項１から３のいずれか一項に記載の方法を実行する命令を有するコンピュータ読み取り可能な媒体に記憶されたコンピュータプログラム。