JP7307192B2 - デコーダ側の動きベクトルの導出 - Google Patents

Description

関連出願の相互参照
本願は、２０２０年４月２日出願の国際特許出願ＰＣＴ／ＣＮ２０２０／０８２９３７号の国内段階であり、２０１９年４月２日出願の国際特許出願ＰＣＴ／ＣＮ２０１９／０８１１５５号、２０１９年５月７日出願の国際特許出願ＰＣＴ／ＣＮ２０１９／０８５７９６号の優先権および利益を主張する。上記出願の開示全体は、本明細書の開示の一部として参照により援用される。

本明細書は、映像および画像符号化、復号化技術に関する。

デジタル映像は、インターネット及び他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信及び表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。

１つの例示的な態様において、映像を処理する方法が開示される。前記方法は、視覚メディアデータの現在のブロックと対応する視覚メディアデータの符号化表現との間で変換を行うことを含み、この現在のブロックを変換することは、双方向オプティカルフロー（ＢＩＯ）技法またはデコーダ側動きベクトル改良（ＤＭＶＲ）技法の一方または両方を使用することが現在のブロックに対して有効または無効化されるかどうかを判定することを含み、ＢＩＯ技法またはＤＭＶＲ技法の使用を判定することは、現在のブロックに関連付けられたコスト基準に基づく。

別の例示的な態様において、映像を処理する方法が開示される。前記方法は、視覚メディアデータの現在のブロックと対応する前記視覚メディアデータの符号化表現との間で変換を行うことを含み、前記現在のブロックを前記変換することは、デコーダ側動きベクトル改良（ＤＭＶＲ）技法を前記現在のブロックに使用することが有効化されているか、または無効化されているかを判定することを含み、前記ＤＭＶＲ技法は、平均除去絶対差の合計（mean removed sum of absolute differences）（ＭＲＳＡＤ）コスト基準以外のコスト基準に基づいて前記現在のブロックの動き情報を改良することを含む。

別の例示的な態様において、映像を処理する方法が開示される。前記方法は、視覚メディアデータの現在のブロックと対応する前記視覚メディアデータの符号化表現との間で変換を行うことを含み、前記現在のブロックを前記変換することは、双方向オプティカルフロー（ＢＩＯ）技法またはデコーダ側動きベクトル改良（ＤＭＶＲ）技法の一方または両方を使用することが前記現在のブロックに対して有効または無効化されるかどうかを判定することを含み、前記ＢＩＯ技法または前記ＤＭＶＲ技法の前記使用を判定することは、前記現在のブロックに関連付けられた１対の参照ブロックの平均値の差が閾値を超えることを計算することに基づく。

別の例示的な態様において、映像を処理する方法が開示される。前記方法は、第１の参照ブロックを修正して第１の修正された参照ブロックを生成し、第２の参照ブロックを修正して第２の修正された参照ブロックを生成することであって、前記第１の参照ブロックおよび前記第２の参照ブロックは、両方とも視覚メディアデータの現在のブロックに関連付けられている、生成することと、前記第１の修正された参照ブロックと前記第２の修正された参照ブロックとの間の差を判定することであって、前記差は、絶対変換差の合計（sum of absolute transformed differences）（ＳＡＴＤ）と、平均値分離絶対変換差の合計（mean removed sum of absolute transformed differences）（ＭＲＳＡＴＤ）と、二乗誤差の合計（sum of squares error）（ＳＳＥ）と、平均値分離二乗誤差の合計（mean removed sum of squares error）（ＭＲＳＳＥ）と、平均値差、または勾配値のうちの１つ以上を含む、判定することと、前記視覚メディアデータの現在のブロックと対応する前記視覚メディアデータの符号化表現との間で変換を行うことを含み、前記変換は、前記第１の参照ブロックおよび前記第２の参照ブロックをそれぞれ修正することから生成された前記第２の修正された参照ブロックとの間の前記差の使用を含む。

別の例示的な態様において、映像を処理する方法が開示される。前記方法は、視覚メディアデータの現在のブロックに関連付けられた参照ピクチャを使用して時間的勾配または修正された時間的勾配を判定することであって、前記時間的勾配または前記修正された時間的勾配は、前記参照ピクチャ間の差を示す、判定することと、前記視覚メディアデータの現在のブロックと対応する前記視覚メディアデータの符号化表現との間で変換を行うことを含み、前記変換は、前記時間的勾配または前記修正された時間的勾配に部分的に基づいて双方向オプティカルフロー（ＢＩＯ）技法の使用を含む。

別の例示的な態様において、映像を処理する方法が開示される。前記方法は、第１の映像ブロックまたはそのサブブロックに関連付けられた参照ピクチャを使用して第１の時間的勾配を判定することと、第２の映像ブロックまたはそのサブブロックに関連付けられた参照ピクチャを使用して第２の時間的勾配を判定することと、修正された第１の時間的勾配および修正された第２の時間的勾配を生成するために、前記第１の時間的勾配の修正および前記第２の時間的勾配の修正を行うことであって前記第１の映像ブロックに関連付けられた前記第１の時間的勾配の前記修正は、前記第２の映像ブロックに関連付けられた前記第２の時間的勾配の前記修正とは異なる、修正を行うことと、前記第１の映像ブロックおよび前記第２の映像ブロックの、前記対応する符号化表現への変換を行うこととを含む。

別の例示的な態様において、映像を処理する方法が開示される。前記方法は、前記現在のブロックに関連付けられた第１の相互参照ブロックおよび第２の相互参照ブロックの一方または両方を修正することと、修正された第１の相互参照ブロックおよび／または前記修正された第２相互参照ブロックの前記一方または両方を使用することに基づいて、双方向オプティカル（ＢＩＯ）フロー技法を適用することにしたがって、前記現在のブロックに関連付けられた空間的勾配を判定することと、前記現在のブロックおよび対応する符号化表現の間での変換を行うことであって、前記変換は前記現在のブロックに関連付けられた前記空間的勾配の使用を含む、変換を行うことと、を含む。

別の例示的な態様において、映像を処理する方法が開示される。前記方法は、処理装置によって、ブロックレベルで信号通知されたフラグが、現在のブロックに対して、デコーダ側動きベクトル改良（ＤＭＶＲ）技法または双方向オプティカルフロー（ＢＩＯ）技法のうちの一方または両方を有効にするべきであることを少なくとも部分的に示す判定を行うことと、前記現在のブロックと対応する符号化表現との間で変換を行うことであって、前記符号化表現は、前記ＤＭＶＲ技法および／または前記ＢＩＯ技法のうちの前記一方または両方を有効にするかどうかを示す前記フラグを含む、変換を行うことと、を含む。

別の例示的な態様において、映像を処理する方法が開示される。前記方法は、処理装置により、現在のブロックに対してデコーダ側動きベクトル改良（ＤＭＶＲ）技法を有効にするべきであると判定することを含み、前記判定は、前記現在のブロックの高さにのみ基づいて行われ、且つ前記現在のブロックと対応する符号化表現との間で変換を行うことを含む。

別の例示的な態様において、映像を処理する方法が開示される。前記方法は、視覚メディアデータの現在のブロックと対応する視覚メディアデータの符号化表現との間で変換を行うことを含み、前記変換は、現在のブロックに対して、デコーダ側動きベクトル改良（ＤＭＶＲ）技法または双方向オプティカルフロー（ＢＩＯ）技法の一方または両方に関連付けられた規則を使用することを含み、前記ＤＭＶＲ技法に関連付けられた規則は、前記ＢＩＯ技法への適用に準拠しており、前記ＢＩＯ技法または前記ＤＭＶＲ技法の前記一方または両方の前記使用が有効化されているか無効化されているかを判定することは、前記規則を適用することに基づく。

別の例示的な態様において、上述された方法は、処理装置を含む映像デコーダによって実装されてもよい。

別の例示的な態様において、上述された方法は、処理装置を含む映像エンコーダによって実装されてもよい。

さらに別の例示的な態様において、これらの方法は、処理装置実行可能命令の形式で実施されてもよく、コンピュータ可読プログラム媒体に記憶されてもよい。

これらの、および他の態様は、本明細書でさらに説明される。

バイラテラルマッチングの例を示す。 テンプレートマッチングの例を示す。 フレームレートアップ変換（ＦＲＵＣ）における単方向動き推定（ＭＥ）の例を示す。 オプティカルフローの軌跡の例を示す。 ブロック拡張なしの双方向オプティカルフロー（ＢＩＯ）の例を示す。 ブロック拡張なしの双方向オプティカルフロー（ＢＩＯ）の例を示す。 ６点検索によるバイラテラルマッチングの例を示す。 適応整数検索パターンおよびハーフサンプル検索パターンの例を示す。 映像処理装置の例を示すブロック図である。 映像エンコーダの実装形態の例を示すブロック図である。 映像処理方法の例を示すフローチャートである。 映像処理方法の例を示すフローチャートである。 映像処理方法の例を示すフローチャートである。 映像処理方法の例を示すフローチャートである。 映像処理方法の例を示すフローチャートである。 映像処理方法の例を示すフローチャートである。 映像処理方法の例を示すフローチャートである。 開示された技術を実装することができる例示的な映像処理システムを示すブロック図である。 映像処理方法の例を示すフローチャートである。 映像処理方法の例を示すフローチャートである。 映像処理方法の例を示すフローチャートである。 映像処理方法の例を示すフローチャートである。 映像処理方法の例を示すフローチャートである。 映像処理方法の例を示すフローチャートである。 映像処理方法の例を示すフローチャートである。 映像処理方法の例を示すフローチャートである。 映像処理方法の例を示すフローチャートである。 映像処理方法の例を示すフローチャートである。

映像の圧縮率を改善するために、研究者らは、映像を符号化する新しい技術を絶えず求めている。本明細書は、伸張または復号化されたデジタル映像の品質を向上させるために、映像ビットストリームのデコーダによって使用できる様々な技術を提供する。さらに、映像エンコーダは、さらなる符号化に使用される復号化されたフレームを再構成するために、符号化の処理中にこれらの技術を実装してもよい。

本明細書では、読みやすさを向上させるためにセクションの見出しを使用しており、各章に記載される技法および実施形態の範囲をそのセクションにのみ限定するものではない。さらに、様々な既存の映像コーデック規格からの特定の用語を使用したが、開示される技術は、これらの映像規格またはその後継規格にのみ限定されるものではなく、他の映像コーデック規格にも適用可能である。さらに、いくつかの場合において、対応する符号化ステップを使用する技法が開示され、デコーダにおいて、逆順の対応する復号化するステップが行われることが理解される。また、符号化は、映像が１つの符号化表現（例えば、１つのビットレート）から別の符号化表現（例えば、異なるビットレート）に表現されるコード変換を行うために使用してもよい。

１． 概要

本明細書は、映像符号化技術に関する。具体的には、映像符号化における動き補償に関する。ＨＥＶＣのような既存の映像符号化規格に適用してもよいし、規格（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を確定させるために適用してもよい。本発明は、将来の映像符号化規格または映像コーデックにも適用可能である。

２． 背景

映像符号化規格は、主に周知のＩＴＵ－ＴおよびＩＳＯ／ＩＥＣ規格の開発によって発展してきた。ＩＴＵ－ＴはＨ．２６１とＨ．２６３を作り、ＩＳＯ／ＩＥＣはＭＰＥＧ－１とＭＰＥＧ－４ Ｖｉｓｕａｌを作り、両団体はＨ．２６２／ＭＰＥＧ－２ ＶｉｄｅｏとＨ．２６４／ＭＰＥＧ－４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）とＨ．２６５／ＨＥＶＣ規格を共同で作った。Ｈ．２６２以来、映像符号化規格は、時間予測と変換符号化が利用されるハイブリッド映像符号化構造に基づく。ＨＥＶＣを超えた将来の映像符号化技術を探索するため、２０１５年には、ＶＣＥＧとＭＰＥＧが共同でＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）を設立した。それ以来、多くの新しい方法がＪＶＥＴによって採用され、ＪＥＭ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅ）と呼ばれる参照ソフトウェアに組み込まれてきた。２０１８年４月には、ＶＣＥＧ（Ｑ６／１６）とＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＣ２９／ＷＧ１１（ＭＰＥＧ）の間にＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔ Ｔｅａｍ（ＪＶＥＴ）が発足し、ＨＥＶＣと比較して５０％のビットレート削減を目標にＶＶＣ規格の策定に取り組んでいる。

ＶＶＣ草案の最新バージョン、即ち汎用映像符号化（草案２）は、以下を参照することができる。
ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ－ｓｕｄｐａｒｉｓ．ｅｕ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１１＿Ｌｊｕｂｌｊａｎａ／ｗｇ１１／ＪＶＥＴ－Ｋ１００１－ｖ７．ｚｉｐ．ＶＴＭと呼ばれるＶＶＣの最新の参照ソフトウェアは、以下で確認することができる。
ｈｔｔｐｓ：／／ｖｃｇｉｔ．ｈｈｉ．ｆｒａｕｎｈｏｆｅｒ．ｄｅ／ｊｖｅｔ／ＶＶＣＳｏｆｔｗａｒｅ＿ＶＴＭ／ｔａｇｓ／ＶＴＭ－２．１．

図９は映像エンコーダの実装形態の例のブロック図である。図９は、エンコーダの実装が、映像エンコーダが映像復号化機能も実行する（次の映像データの符号化に使用するために映像データの圧縮表現を再構成する）フィードバック経路を組み込んでいることを示す。

２．１ パターンマッチング動きベクトル導出

ＰＭＭＶＤ（Ｐａｔｔｅｒｎ Ｍａｔｃｈｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｅｒｉｖａｔｉｏｎ）モードは、ＦＲＵＣ（Ｆｒａｍｅ－Ｒａｔｅ Ｕｐ Ｃｏｎｖｅｒｓｉｏｎ）技術に基づく特殊なマージモードである。このモードでは、ブロックの動き情報は信号通知されず、デコーダ側で導出される。

そのマージフラグが真である場合、ＦＲＵＣフラグは、ＣＵに信号通知される。ＦＲＵＣフラグが偽である場合、マージインデックスを信号通知することができ、通常のマージモードが使用される。ＦＲＵＣフラグが真である場合、追加のＦＲＵＣモードフラグを信号通知して、どの方法（バイラテラルマッチングまたはテンプレートマッチング）を使用してブロックの動き情報を導出するかを示す。

エンコーダ側では、ＣＵのためにＦＲＵＣマージモードを使用するかどうかの決定は、通常のマージ候補に対して行われるのと同じように、ＲＤコストの選択に基づく。つまり、ＲＤコスト選択を使用して、１つのＣＵに対して２つのマッチングモード（バイラテラルマッチングおよびテンプレートマッチング）を両方チェックする。最小コストに導くものが、更に、他のＣＵモードと比較される。ＦＲＵＣマッチングモードが最も効率的なものである場合、ＣＵに対してＦＲＵＣフラグを真に設定し、関連するマッチングモードを使用する。

ＦＲＵＣマージモードにおける動き導出処理は、２つのステップを有する。まず、ＣＵレベルの動き探索を実行し、次に、サブＣＵレベルの動き改良を実行する。ＣＵレベルでは、バイラテラルマッチング又はテンプレートマッチングに基づいて、ＣＵ全体のための初期の動きベクトルを導出する。まず、ＭＶ候補のリストを生成し、最小マッチングコストに導く候補を、さらなるＣＵレベル改良の開始点として選択する。そして、開始点付近のバイラテラルマッチングまたはテンプレートマッチングに基づく局所検索を行い、最小マッチングコストとなるＭＶ結果をＣＵ全体のＭＶとする。続いて、導出されたＣＵ動きベクトルを開始点として、サブＣＵレベルでの動き情報をさらに改良する。

例えば、Ｗ×Ｈ ＣＵ動き情報導出のために、以下の導出処理を行う。第１のステージにおいて、Ｗ×Ｈ ＣＵ全体のためのＭＶが導出される。第２のステージにおいて、ＣＵは、Ｍ×Ｍ個のサブＣＵにさらに分割される。Ｍの値は、（１６）のように計算されるが、Ｄは、予め規定義された分割深さであり、ＪＥＭにおいてデフォルトで３に設定される。そして、各サブＣＵのＭＶを以下のように導出する。

図１に示すように、このバイラテラルマッチングは、２つの異なる参照ピクチャにおける現在のＣＵの動き軌跡に沿った２つのブロック間の最も近いマッチングを見出すことにより、現在のＣＵの動き情報を導出するために用いられる。連続した動き軌跡を仮定すると、２つの参照ブロックを指す動きベクトルＭＶ０およびＭＶ１は、現在のピクチャと２つの参照ピクチャとの間の時間的距離、例えばＴＤ０およびＴＤ１に比例する。特殊なケースとしては、現在のピクチャが時間的に２つの参照ピクチャの間にあり、現在のピクチャから２つの参照ピクチャまでの時間的な距離が同じである場合、バイラテラルマッチングはミラーに基づく双方向ＭＶとなる。

図２に示すように、現在のピクチャにおけるテンプレート（現在のＣＵの上側および／または左側の近傍のブロック）と、参照ピクチャにおけるブロック（テンプレートと同じサイズ）との間の最も近いマッチングを見出すことで、テンプレートマッチングを使用して、現在のＣＵの動き情報を導出する。前述のＦＲＵＣマージモード以外に、テンプレートマッチングは、ＡＭＶＰモードにも適用される。ＪＥＭにおいて、ＨＥＶＣと同様、ＡＭＶＰは２つの候補を有する。テンプレートマッチング法を用いることで、新しい候補を導出する。テンプレートマッチングによって新規に導出された候補が、第１の既存のＡＭＶＰ候補と異なる場合、ＡＭＶＰ候補リストの最初に挿入し、次に、リストサイズを２（第２の既存のＡＭＶＰ候補を取り除くことを意味する）に設定する。ＡＭＶＰモードに適用される場合、ＣＵレベル検索のみが適用される。
ＣＵレベルＭＶ候補セット

ＣＵレベルのＭＶ候補セットは、以下を含むことができる。
・現在のＣＵがＡＭＶＰモードになっている場合の元のＡＭＶＰ候補、
・すべてのマージ候補、
・２．１．１．３項に紹介されるような、補間されたＭＶフィールド内の複数のＭＶ、
・上と左の近傍の動きベクトル

バイラテラルマッチングを使用する場合、マージ候補の各有効なＭＶを入力として使用して、バイラテラルマッチングを仮定してＭＶ対を生成する。例えば、マージ候補の１つの有効なＭＶは、参照リストＡにおいて（ＭＶａ，ｒｅｆａ）であり、そして、その対をなすバイラテラルＭＶの参照ピクチャｒｅｆｂが他の参照リストＢにおいて見出され、ｒｅｆａおよびｒｅｆｂは、時間的に現在のピクチャの異なる側にある。参照リストＢにおいてこのようなｒｅｆｂが利用可能でない場合、ｒｅｆｂをｒｅｆａとは異なる参照として決定し、現在のピクチャとの時間的距離はリストＢにおける最小値である。ｒｅｆｂを決定した後、現在のピクチャとｒｅｆａ，ｒｅｆｂとの時間的距離に基づいてＭＶａをスケーリングすることでＭＶｂを導出する。

補間されたＭＶフィールドからの４つのＭＶもＣＵレベル候補リストに追加する。具体的には、現在のＣＵの（０，０）、（Ｗ／２，０）、（０，Ｈ／２）、（Ｗ／２，Ｈ／２）の位置の補間されたＭＶを加算する。

ＡＭＶＰモードでＦＲＵＣを適用する場合、元のＡＭＶＰ候補をＣＵレベルＭＶ候補セットにも加える。

ＣＵレベルにおいて、ＡＭＶＰ ＣＵのための最大１５個のＭＶおよびマージＣＵのための最大１３個のＭＶを候補リストに加える。

サブＣＵレベルＭＶ候補セット

サブＣＵレベルのＭＶ候補セットは、以下を含むことができる。
・ＣＵレベルの検索から決定されたＭＶ、
・上、左、左上、右上の近傍のＭＶ、
・参照ピクチャからの並置されたＭＶのスケーリングされたバージョン、
・最大４つのＡＴＭＶＰ候補、
・最大４つのＳＴＭＶＰ候補

参照ピクチャからのスケーリングされたＭＶは、以下のように導出される。両方のリストにおける参照ピクチャをすべてトラバースする。参照ピクチャにおけるサブＣＵの配列位置にあるＭＶは、開始ＣＵレベルＭＶの参照に対してスケーリングされる。

ＡＴＭＶＰおよびＳＴＭＶＰの候補は、最初の４つの候補に限定される

サブＣＵレベルにおいて、最大１７個のＭＶが候補リストに追加される。

補間ＭＶフィールドの生成

フレームを符号化する前に、一方のＭＥに基づいてピクチャ全体に対して補間動きフィールドを生成する。そして、この動きフィールドを後にＣＵレベルまたはサブＣＵレベルのＭＶ候補として使用してもよい。

まず、両方の参照リストにおける各参照ピクチャの動きフィールドは、４×４ブロックレベルでトラバースされる。各４×４ブロックにおいて、現在のピクチャ（図３に示す）の４×４ブロックを通過するブロックに関連する動きで、補間動きがまだ割り当てられていない場合、時間的距離ＴＤ０およびＴＤ１に基づいて（ＨＥＶＣにおけるＴＭＶＰのＭＶスケーリングと同様に）、参照ブロックの動きを現在のピクチャにスケーリングし、スケーリングされた動きを現在のフレームのブロックに割り当てる。４×４ブロックにスケーリングされたＭＶが割り当てられていない場合、ブロックの動きは、補間された動きフィールドにおいて利用不可能であるとマークされる。

補間およびマッチングコスト

１つの動きベクトルが１つの分数のサンプル位置を指す場合、動き補償補間を行うことができる。複雑性を低減するために、通常の８タップＨＥＶＣ補間の代わりに、バイラテラルマッチングおよびテンプレートマッチングの両方に双線形補間を使用する。

マッチングコストの計算は、異なるステップでは少し異なる。ＣＵレベルの候補セットから候補を選択する場合、マッチングコストは、バイラテラルマッチングまたはテンプレートマッチングの差分の絶対値の和（ＳＡＤ）である。開始ＭＶを決定した後、サブＣＵレベル検索におけるバイラテラルマッチングのマッチングコストＣを以下のように算出する。

ここで、ｗは、経験的に４に設定された重み係数であり、ＭＶおよびＭＶ^Ｓは、それぞれ、現在のＭＶおよび開始ＭＶを示す。ＳＡＤは、依然として、サブＣＵレベル検索におけるテンプレートマッチングのマッチングコストとして使用される。

ＦＲＵＣモードにおいて、ＭＶは、輝度サンプルのみを使用することによって導出される。導出された動きは、ＭＣインター予測のために、輝度および彩度の両方に使用される。ＭＶを決定した後、輝度用の８タップ補間フィルタおよび彩度用の４タップ補間フィルタを使用して、最終的なＭＣを行う。

ＭＶの改良

ＭＶ改良は、バイラテラルマッチングコストまたはテンプレートマッチングコストの基準を有するパターンに基づくＭＶ検索である。ＪＥＭでは、２つの検索パターン、即ち、無制限中心バイアス菱形検索（ＵＣＢＤＳ）およびＣＵレベルおよびサブＣＵレベルでのＭＶ改良のための適応的横断検索をそれぞれサポートする。ＣＵおよびサブＣＵレベルのＭＶ改良の両方のために、ＭＶは、１／４輝度サンプルＭＶの精度で直接検索され、これに続いて１／８輝度サンプルＭＶの改良が行われる。ＣＵおよびサブＣＵステップのためのＭＶ改良の検索範囲は、８つの輝度サンプルに等しく設定される。

テンプレートマッチングＦＲＵＣマージモードにおける予測方向の選択

バイラテラルマッチングマージモードにおいては、２つの異なる参照ピクチャにおける現在のＣＵの動き軌跡に沿った２つのブロック間の最も近いマッチングに基づいて、ＣＵの動き情報を導出するため、双方向予測が常に適用される。テンプレートマッチングマージモードについては、そのような限定はない。テンプレートマッチングマージモードにおいて、エンコーダは、ｌｉｓｔ０からの単一予測、ｌｉｓｔ１からの単一予測、またはＣＵのための双方向予測のうちから選択することができる。選択は、テンプレートマッチングコストに基づいて、以下のように行う。

ｃｏｓｔＢｉ≦ｆａｃｔｏｒ＊ｍｉｎ（ｃｏｓｔ０，ｃｏｓｔ１）の場合
双方向予測を用いる。
それ以外の場合において、ｃｏｓｔ０≦ｃｏｓｔ１の場合
ｌｉｓｔ０からの単一予測を用いる。
そうでない場合、
ｌｉｓｔ１からの単一予測を用いる。

ここで、ｃｏｓｔ０はｌｉｓｔ０テンプレートマッチングのＳＡＤであり、ｃｏｓｔ１はｌｉｓｔ１テンプレートマッチングのＳＡＤであり、ｃｏｓｔＢｉは双方向予測テンプレートマッチングのＳＡＤである。ｆａｃｔｏｒの値が１．２５である場合、選択処理が双方向予測に偏っていることを意味する。

このインター予測方向選択は、ＣＵレベルのテンプレートマッチング処理にのみ適用される

ハイブリッドのイントラおよびインター予測

ＪＶＥＴ－Ｌ０１００には、多重仮説を生成する１つの方法として、ハイブリッドのイントラおよびインター予測とを用いる複数の仮説予測が提案されている。

多重仮説予測をイントラモードの改良に適用する場合、マルチ仮説予測は、１つのイントラ予測と１つのマージインデックス予測とを組み合わせる。マージＣＵにおいて、フラグが真である場合、１つのフラグをマージモードのために信号通知し、イントラ候補リストから１つのイントラモードを選択する。輝度成分の場合、イントラ候補リストは、ＤＣ、プレーナ、水平、および垂直モードを含む４つのイントラ予測モードから導出され、イントラ候補リストのサイズは、ブロックの形状に依存して３または４であることができる。ＣＵの幅がＣＵの高さの２倍よりも大きい場合、水平モードはイントラモードリストを排除し、ＣＵの高さがＣＵの幅の２倍よりも大きい場合、垂直モードはイントラモードリストから削除される。重み付け平均を使用して、イントラモードインデックスで選択された１つのイントラ予測モードと、マージインデックスで選択された１つのマージインデックス付き予測とを組み合わせる。クロマ成分の場合、ＤＭは、余分な信号伝達なしに常に適用される。予測を結合するための重みは、以下のように記述される。ＤＣまたは平面モードが選択された場合、またはＣＢの幅または高さが４より小さい場合、等分した重みが適用される。ＣＢの幅および高さが４以上のＣＢに対して、水平／垂直モードが選択された場合、まず、１つのＣＢを垂直／水平方向に４つの等面積領域に分割する。それぞれの重みセットは、（ｗ＿ｉｎｔｒａ_ｉ，ｗ＿ｉｎｔｅｒ_ｉ）と表し、ｉは１～４であり、（ｗ＿ｉｎｔｒａ_１，ｗ＿ｉｎｔｅｒ_１）＝（６，２）、（ｗ＿ｉｎｔｒａ_２，ｗ＿ｉｎｔｅｒ_２）＝（５，３）、（ｗ＿ｉｎｔｒａ_３，ｗ＿ｉｎｔｅｒ_３）＝（３，５）、（ｗ＿ｉｎｔｒａ_４，ｗ＿ｉｎｔｅｒ_４）＝（２，６）である場合に、対応する領域に適用される。（ｗ＿ｉｎｔｒａ_１，ｗ＿ｉｎｔｅｒ_１）は、参照サンプルに最も近い領域に対するものであり、（ｗ＿ｉｎｔｒａ_４，ｗ＿ｉｎｔｅｒ_４）は、参照サンプルから最も遠い領域に対するものである。そして、２つの重み付け予測と３ビットの右シフトとを合計することで、合成予測を算出することができる。また、以下の近傍のＣＵを参照するために、予測子のイントラ仮説のためのイントラ予測モードを省略することができる。

双方向オプティカルフロー（ＢＩＯ）

ＢＩＯにおいて、まず、動き補償を行い、現在のブロックの（各予測方向における）第１の予測を生成する。第１の予測は、ブロック内の各サブブロック／画素の空間的勾配、時間的勾配、およびオプティカルフローを導出するために用いられ、これらを使用して第２の予測、即ちサブブロック／画素の最終予測を生成する。以下、その詳細を説明する。

双方向オプティカルフロー（ＢＩＯ）は、双方向予測のためにブロック単位の動き補償の上で実行されるサンプル単位の動きの改良である。サンプルレベルの動きの改良は、信号通知を使用しない。

ここで、ブロック動き補償後の基準ｋ（ｋ＝０，１）からの輝度値をＩ^（ｋ）とし、∂I^(ｋ)／∂ｘ、∂I^(ｋ)／∂ｙをそれぞれ、Ｉ^（ｋ）の勾配の水平成分、垂直成分とする。オプティカルフローが有効化されていると仮定すると、動きベクトルフィールド（ｖ_ｘ，ｖ_ｙ）は、以下の式によって与えられる。

このオプティカルフロー方程式をそれぞれのサンプルの動き軌跡に対してエルミート補間によって組み合わせることにより、両端にある両機能値Ｉ^（ｋ）および導関数∂I^(ｋ)／∂ｘ、∂I^(ｋ)／∂ｙに合致する唯一の３次多項式が得られる。ｔ＝０におけるこの多項式の値は、ＢＩＯ次式のような、ＢＩＯ予測となる。

ここで、τ_０およびτ_１は、図４に示すように、参照フレームまでの距離を示す。距離τ_０およびτ_１は、Ｒｅｆ０およびＲｅｆ１のＰＯＣに基づいて以下のように計算される。τ_０＝ＰＯＣ（ｃｕｒｒｅｎｔ）－ＰＯＣ（Ｒｅｆ０），τ_１＝ＰＯＣ（Ｒｅｆ１）－ＰＯＣ（ｃｕｒｒｅｎｔ）．両方の予測が同じ時間方向から来たものである場合（両方とも過去から来たものであるか、または両方とも将来から来たものである場合）、符号が異なる（即ち、τ_０・τ_１＜０）。ここで、ＢＩ０は、予測が同じ時刻からのものでない（即ち、τ_０≠τ_１）場合にのみ適用され、両方の参照領域は、非ゼロ動き（ＭＶｘ_０，ＭＶｙ_０，ＭＶｘ_１，ＭＶｙ_１≠０）を有し、ブロック動きベクトルは、時間距離（ＭＶｘ_０／ＭＶｘ_１＝ＭＶｙ_０／ＭＶｙ_１＝－τ_０／τ_１）に比例する。

動きベクトルフィールド（ｖ_ｘ，ｖ_ｙ）は、点ＡおよびＢ（図９上の動き軌跡と基準フレーム平面の交差）における値の差Δを最小化することによって判定される。モデルは、Δに対するローカルテーラー展開の第１の線形項のみを以下のように使用する。

式５におけるすべての値は、サンプルの位置（ｉ’，ｊ’）に依存し、これまでのところ表記から省略した。動きがローカル周辺エリアにおいて一貫していると仮定すると、Δは、現在の予測点（ｉ，ｊ）を中心とする（２Ｍ＋１）×（２Ｍ＋１）個の正方形窓Ωの内側で最小化することができる。式中、Ｍは２に等しい。

この最適化問題に対して、ＪＥＭは、まず垂直方向に最小化し、次に水平方向に最小化する簡単なアプローチを使用する。その結果、以下となる。

式中、以下である。

ゼロまたは非常に小さな数値での除算を回避するために、式７および式８において、正則化パラメータｒおよびｍを導入する。
ｒ＝５００・４^ｄ－８ （１０）
ｍ＝７００・４^ｄ－８ （１１）
ここで、ｄは映像サンプルのビット深度である。

ＢＩＯに対するメモリアクセスを通常の双方向予測動き補償と同じにするために、現在のブロック内の位置に対してのみ、すべての予測値および勾配値Ｉ（ｋ）、∂Ｉ^（ｋ）／∂ｘ、∂Ｉ^（ｋ）／∂ｙを計算する。式９において、予測ブロックの境界上の現在の予測点を中心とする（２Ｍ＋１）×（２Ｍ＋１）個の正方形窓Ωは、（図５（ａ）に示すように）ブロックの外側の位置にアクセスできる。ＪＥＭにおいて、ブロックの外部のＩ^（ｋ）、∂Ｉ^（ｋ）／∂ｘ、∂Ｉ^（ｋ）／∂ｙの値はブロックの内部で最も近い利用可能な数値に等しくなるように設定される。例えば、これは、図５（ｂ）に示すように、パディングとして実装されてもよい。

ＢＩＯを用いることで、サンプル毎に動きフィールドを改良することができる。計算の複雑性を低減するために、ＪＥＭではブロックに基づくＢＩＯの設計が用いられている。４×４ブロックに基づいて動きの改良を計算する。ブロックに基づくＢＩＯにおいて、４×４ブロックにおけるすべてのサンプルの、式９におけるｓ_ｎの値を統合し、次いで、この統合したｓ_ｎの値を使用して、４×４ブロックのためのＢＩＯ動きベクトルオフセットを導出する。具体的には、ブロックに基づくＢＩＯ導出には、以下の式を用いる。

式中、ｂ_ｋは、予測ブロックのｋ番目の４×４ブロックに属するサンプルのセットを表し、式７および式８におけるｓ_ｎを（（ｓ_ｎ，ｂｋ）＞＞４）に置き換え、関連する動きベクトルオフセットを導出する。

場合によっては、ＢＩＯのＭＶ管理は、雑音または不規則な動きのために信頼できない場合がある。したがって、ＢＩＯにおいて、ＭＶレジメンの大きさは閾値ｔｈＢＩＯにクリップされる。閾値は、現在のピクチャの参照ピクチャがすべて一方向からのものであるかどうかに基づいて判定される。現在のピクチャのすべての参照ピクチャが一方向からのものである場合、閾値を１２×２^１４－ｄに設定し、そうでない場合、閾値を１２×２^１３－ｄに設定する。

ＨＥＶＣ動き補償処理（２Ｄ分離可能ＦＩＲ）に準拠した演算を使用して、動き補償補間と同時にＢＩＯの勾配を算出する。この２Ｄ分離可能なＦＩＲのための入力は、ブロック動きベクトルの端数部分にしたがって、動き補償処理および端数位置（ｆｒａｃＸ，ｆｒａｃＹ）のためのものと同じ参照フレームサンプルである。水平勾配∂Ｉ／∂ｘの場合、信号は、まず、デスケーリングシフトｄ－８で端数位置ｆｒａｃＹに対応するＢＩＯｆｉｌｔｅｒＳを使用して垂直方向に補間され、次に、勾配フィルタＢＩＯｆｉｌｔｅｒＧを端数位置ｆｒａｃＸに対応する水平方向に、１８－ｄによるデスケーリングシフトで適用する。垂直方向勾配∂Ｉ／∂ｙの場合、まず、第１の勾配フィルタを、デスケーリングシフトｄ－８で端数位置ｆｒａｃＹに対応するＢＩＯｆｉｌｔｅｒＳを使用して垂直方向に適用し、次に、ＢＩＯｆｉｌｔｅｒＳを水平方向に使用して、端数位置ｆｒａｃＸに対応する信号変位を１８－ｄによるデスケーリングシフトで行う。適度な複雑性を維持するために、勾配計算ＢＩＯｆｉｌｔｅｒＧおよび信号変位ＢＩＯｆｉｌｔｅｒＦのための補間フィルタの長さはより短い（６タップ）。表１は、ＢＩＯにおけるブロック動きベクトルの異なる端数位置の勾配計算に使用されるフィルタを示す。表２は、ＢＩＯにおける予測信号の生成に使用できる補間フィルタを示す。

本ＪＥＭにおいて、２つの予測が異なる参照ピクチャからのものである場合、ＢＩＯはすべての双方向予測ブロックに適用される。ＣＵに対してＬＩＣが有効になっている場合、ＢＩＯは無効になる。

本ＪＥＭにおいて、ＯＢＭＣは、通常のＭＣ処理の後、１つのブロックに適用される。計算の複雑性を低減するために、ＯＢＭＣ処理中にＢＩＯは適用されない。つまり、ＢＩＯは、それ自身のＭＶを使用する場合、１つのブロックのＭＣ処理においてのみ適用され、ＯＢＭＣ処理において近傍のブロックのＭＶを使用する場合、ＭＣ処理においては適用されない。

２段階早期終了方法が使用され、２つの予測信号の類似性に基づいて、ＢＩＯ演算を条件付きで無効化する。早期終了は、まずＣＵレベルで適用され、次にサブＣＵレベルで適用される。具体的には、提案した方法は、まず、ＣＵレベルのＬ０予測信号とＬ１予測信号との間のＳＡＤを計算する。ＢＩＯが輝度にのみ適用されると仮定すると、輝度サンプルのみをＳＡＤ計算のために考慮することができる。ＣＵレベルのＳＡＤが予め規定された閾値以下の場合、ＢＩＯ処理はＣＵ全体に対して完全に無効化される。ＣＵレベル閾値は、サンプルごとに２^{（ＢＤｅｐｔｈ－９）}に設定される。ＣＵレベルでＢＩＯ処理が無効化されておらず、現在のＣＵが複数のサブＣＵを含む場合、ＣＵ内の各サブＣＵのＳＡＤを計算する。次に、サブＣＵレベルにおいて、サンプルごとに３＊２^{（ＢＤｅｐｔｈ－１０）}に設定される予め規定されたサブＣＵレベルＳＡＤ閾値に基づいて、バイオ処理をイネーブルするかディスエーブルするかを決定する。

２．４ ＶＶＣにおけるＢＤＯＦの仕様

ＢＤＯＦ（ＪＶＥＴ－Ｎ１００１－ｖ２）の仕様は以下のとおりである。

８．５．７．４ 双方向オプティカルフロー予測処理

この処理への入力は以下の通りである。
－ 現在の符号化ブロックの幅および高さを規定する２つの変数ｎＣＢＷおよびｎＣＢＨ、
－ ２つの（ｎＣＢＷ＋２）×（ｎＣＢＨ＋２）輝度予測サンプル配列ｐｒｅｄＳａｍｐｌｅｓＬ０およびｐｒｅｄＳａｍｐｌｅｓＬ１、
－ 予測リスト利用フラグｐｒｅｄＦｌａｇＬ０およびｐｒｅｄＦｌａｇＬ１、
－ 参照インデックスｒｅｆＩｄｘＬ０およびｒｅｆＩｄｘＬ１、
－ 双方向オプティカルフロー利用フラグｂｄｏｆＵｔｉｌｉｚａｔｉｏｎＦｌａｇ［ｘＩｄｘ］［ｙＩｄｘ］、但しｘＩｄｘ＝０．．（ｎＣｂＷ＞＞２）－１，ｙＩｄｘ＝０．．（ｎＣｂＨ＞＞２）－１

この処理の出力は、輝度予測サンプル値の（ｎＣＢＷ）×（ｎＣＢＨ）アレイｐｂＳａｍｐｌｅｓである。

変数ｂｉｔＤｅｐｔｈ、ｓｈｉｆｔ１、ｓｈｉｆｔ２、ｓｈｉｆｔ３、ｓｈｉｆｔ４、ｏｆｆｓｅｔ４、およびｍｖＲｅｆｉｎｅＴｈｒｅｓは、以下のように導出される。
－ 変数ｂｉｔＤｅｐｔｈはＢｉｔＤｅｐｔｈ_Ｙに等しく設定される。
－ 変数ｓｈｉｆｔ１は、Ｍａｘ（２，１４－ｂｉｔＤｅｐｔｈ）に等しく設定される。
－ 変数ｓｈｉｆｔ２は、Ｍａｘ（８，ｂｉｔＤｅｐｔｈ－４）に等しく設定される。
－ 変数ｓｈｉｆｔ３は、Ｍａｘ（５，ｂｉｔＤｅｐｔｈ－７）に等しく設定される。
－ 変数ｓｈｉｆｔ４をＭａｘ（３，１５－ｂｉｔＤｅｐｔｈ）は等しく設定され、変数ｏｆｆｓｅｔ４は１＜＜（ｓｈｉｆｔ４－１）に等しく設定される。
－ 変数ｍｖＲｅｆｉｎｅＴｈｒｅｓは、Ｍａｘ（２，１＜＜（１３－ｂｉｔＤｅｐｔｈ））に等しく設定される。

ｘＩｄｘ＝０．．（ｎＣｂＷ＞＞２）－１およびｙＩｄｘ＝０．．（ｎＣｂＨ＞＞２）－１の場合、以下が適用される。
－ 変数ｘＳｂを（ｘＩｄｘ＜＜２）＋１に等しく設定し、ｙＳｂを（ｙＩｄｘ＜＜２）＋１に等しく設定する。
－ ｂｄｏｆＵｔｉｌｉｚａｔｉｏｎＦｌａｇ［ｘＳｂＩｄｘ］［ｙＩｄｘ］がＦＡＬＳＥに等しい場合、ｘ＝ｘＳｂ－１．．ｘＳｂ＋２，ｙ＝ｙＳｂ－１．．ｙＳｂ＋２に対して、現在のサブブロックの予測サンプル値は、以下のように導出される。
ｐｂＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（２^{ｂｉｔＤｅｐｔｈ}）－１，（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ＋１］［ｙ＋１］＋ｏｆｆｓｅｔ２＋ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ＋１］［ｙ＋１］）＞＞ｓｈｉｆｔ２） （８－８５２）
－ そうでない場合（ｂｄｏｆＵｔｉｌｉｚａｔｉｏｎＦｌａｇ［ｘＳｂＩｄｘ］［ｙＩｄｘ］がＴＲＵＥに等しい）、現在のサブブロックの予測サンプル値は、以下のように導出される。

－ ｘ＝ｘＳｂ－１．．ｘＳｂ＋４，ｙ＝ｙＳｂ－１．．ｙＳｂ＋４の場合、以下の順序付けられたステップが適用される。

１． 予測サンプルアレイ内の対応するサンプル位置（ｘ，ｙ）の各々の位置（ｈ_ｘ，ｖ_ｙ）は、以下のように導出される。
ｈ_ｘ＝Ｃｌｉｐ３（１，ｎＣｂＷ，ｘ） （８－８５３）
ｖ_ｙ＝Ｃｌｉｐ３（１，ｎＣｂＨ，ｙ） （８－８５４）

２． 変数ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］，ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］，ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］およびｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］は、以下のように導出される。
ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈ_ｘ＋１］［ｖ_ｙ］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈ_ｘ－１］［ｖ_ｙ］）＞＞ｓｈｉｆｔ１ （８－８５５）
ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅＬ０［ｈ_ｘ］［ｖ_ｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈ_ｘ］［ｖ_ｙ－１］）＞＞ｓｈｉｆｔ１ （８－８５６）
ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓＬ１［ｈ_ｘ＋１］［ｖ_ｙ］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈ_ｘ－１］［ｖ_ｙ］）＞＞ｓｈｉｆｔ１ （８－８５７）
ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅＬ１［ｈ_ｘ］［ｖ_ｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈ_ｘ］［ｖ_ｙ－１］）＞＞ｓｈｉｆｔ１ （８－８５８）

３． 変数ｔｅｍｐ［ｘ］［ｙ］，ｔｅｍｐＨ［ｘ］［ｙ］およびｔｅｍｐＶ［ｘ］［ｙ］は、以下のように導出される。
ｄｉｆｆ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈ_ｘ］［ｖ_ｙ］＞＞ｓｈｉｆｔ２）－（ｐｒｅｄＳａｍｐｌｅｓＬ１［ｈ_ｘ］［ｖ_ｙ］＞＞ｓｈｉｆｔ２） （８－８５９）
ｔｅｍｐＨ［ｘ］［ｙ］＝（ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］＋ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］）＞＞ｓｈｉｆｔ３ （８－８６０）
ｔｅｍｐＶ［ｘ］［ｙ］＝（ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］＋ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］）＞＞ｓｈｉｆｔ３ （８－８６１）

－ 変数ｓＧｘ２、ｓＧｙ２、ｓＧｘＧｙ、ｓＧｘｄＩ、ｓＧｙｄＩは、以下のように導出される。
ｓＧｘ２＝Σ_ｉΣ_ｊ（ｔｅｍｐＨ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｔｅｍｐＨ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ＝－１．．４ （８－８６２）
ｓＧｙ２＝Σ_ｉΣ_ｊ（ｔｅｍｐＶ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｔｅｍｐＶ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ＝－１．．４ （８－８６３）
ｓＧｘＧｙ＝Σ_ｉΣ_ｊ（ｔｅｍｐＨ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｔｅｍｐＶ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ－１．．４ （８－８６４）
ｓＧｘｄＩ＝Σ_ｉΣ_ｊ（－ｔｅｍｐＨ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｄｉｆｆ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ＝－１．．４ （８－８６５）
ｓＧｙｄＩ＝Σ_ｉΣ_ｊ（－ｔｅｍｐＶ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｄｉｆｆ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ＝－１．．４ （８－８６６）

－ 現在のサブブロックの水平および垂直方向の動きオフセットは、以下のように導出される。
ｖ_ｘ＝ｓＧｘ２＞０？Ｃｌｉｐ３（－ｍｖＲｅｆｉｎｅＴｈｒｅｓ，ｍｖＲｅｆｉｎｅＴｈｒｅｓ，－（ｓＧｘｄＩ＜＜３）＞＞Ｆｌｏｏｒ（Ｌｏｇ２（ｓＧｘ２）））：０
（８－８６７）
ｖ_ｙ＝ｓＧｙ２＞０？Ｃｌｉｐ３（－ｍｖＲｅｆｉｎｅＴｈｒｅｓ，ｍｖＲｅｆｉｎｅＴｈｒｅｓ，（（ｓＧｙｄＩ＜＜３）－（（ｖ_ｘ＊ｓＧｘＧｙ_ｍ）＜＜１２＋ｖ_ｘ＊ｓＧｘＧｙ_ｓ）＞＞１）＞＞Ｆｌｏｏｒ（Ｌｏｇ２（ｓＧｘ２）））：０ （８－８６８）

－ ｘ＝ｘＳｂ－１．．ｘＳｂ＋２，ｙ＝ｙＳｂ－１．．ｙＳｂ＋２の場合、現在のサブブロックの予測サンプル値は、以下のように導出される。
ｂｄｏｆＯｆｆｓｅｔ＝Ｒｏｕｎｄ（（ｖ_ｘ＊（ｇｒａｄｉｅｎｔＨＬ１［ｘ＋１］［ｙ＋１］－ｇｒａｄｉｅｎｔＨＬ０［ｘ＋１］［ｙ＋１］））＞＞１）＋Ｒｏｕｎｄ（（ｖ_ｙ＊（ｇｒａｄｉｅｎｔＶＬ１［ｘ＋１］［ｙ＋１］－ｇｒａｄｉｅｎｔＶＬ０［ｘ＋１］［ｙ＋１］））＞＞１） （８－８６９）
［Ｅｄ．（ＪＣ）：Ｒｏｕｎｄ（）演算はｆｌｏａｔ入力に対して定義される。Ｒｏｕｎｄ（）演算は入力が整数値であるため、ここでは冗長に見える。推薦人が確認すること］
ｐｂＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（２^{ｂｉｔＤｅｐｔｈ}）－１，（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ＋１］［ｙ＋１］＋ｏｆｆｓｅｔ４＋（８－８７０）
ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ＋１］［ｙ＋１］＋ｂｄｏｆＯｆｆｓｅｔ）＞＞ｓｈｉｆｔ４）

空間的勾配は、以下のように計算される。
ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈ_ｘ＋１］［ｖ_ｙ］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈ_ｘ－１］［ｖ_ｙ］）＞＞ｓｈｉｆｔ１ （８－８５５）

一方、時間的勾配は、以下のようにして算出される。
ｄｉｆｆ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈ_ｘ］［ｖ_ｙ］＞＞ｓｈｉｆｔ２）－（ｐｒｅｄＳａｍｐｌｅｓＬ１［ｈ_ｘ］［ｖ_ｙ］＞＞ｓｈｉｆｔ２） （８－８５９）

このように、空間的勾配および時間的勾配の計算は整合されていない。

２．５ デコーダ側動きベクトル改良

双方向予測演算において、１つのブロック領域を予測するために、ｌｉｓｔ０の動きベクトル（ＭＶ）およびｌｉｓｔ１のＭＶをそれぞれ使用して構成される双方向予測ブロックを組み合わせ、１つの予測信号を形成する。ＪＶＥＴ－Ｋ０２１７、デコーダ側動きベクトル改良（ＤＭＶＲ）方法において、バイラテラルマッチング処理によって、双方向予測の２つの動きベクトルをさらに改良する。

以下の条件が成り立てば、提案した方法において、ＤＭＶＲは、マージモードおよびスキップモードにおいてのみ適用される。
（ＰＯＣ－ＰＯＣ０）＊（ＰＯＣ－ＰＯＣ１）＜０，
式中、ＰＯＣは、現在の符号化対象のピクチャのピクチャオーダカウントであり、ＰＯＣ０およびＰＯＣ１は、現在のピクチャに対する参照のピクチャオーダカウントである。

信号通知されたマージ候補対は、ＤＭＶＲ処理への入力として使用され、初期動きベクトル（ＭＶ０，ＭＶ１）と呼ばれる。ＤＭＶＲで検索された検索点は、動きベクトル差分ミラーリング条件に従う。すなわち、候補動きベクトルの対（ＭＶ０’，ＭＶ１’）で表されるＤＭＶＲのチェック点は、次の２つの式に従う。
ＭＶ０’＝ＭＶ０＋ＭＶ_ｄｉｆｆ
ＭＶ１’＝ＭＶ１－ＭＶ_ｄｉｆｆ
ここで、ＭＶ_ｄｉｆｆは、１つの参照ピクチャにおける探索空間内の点を表す。

探索空間を構築した後、通常の８タップＤＣＴＩＦ補間フィルタを使用して片側予測を構築する。２つの予測（図６）と検索点との間のＭＲＳＡＤ（平均値分離絶対差の合計）を使用することによって、バイラテラルマッチングコスト関数を計算し、結果として最小限のコストとなる検索点を、改良されたＭＶ対として選択する。ＭＲＳＡＤ計算には、１６ビット精度のサンプル（これは補間フィルタリングの出力である）を使用し、ＭＲＳＡＤ計算の前にクリッピングおよび丸め演算を適用しない。丸めおよびクリッピングを適用しない理由は、内部バッファ要件を低減するためである。

図６は、６点検索によるバイラテラルマッチングの例を示す。

提案した方法では、整数精度検索点を適応パターン法で選択する。まず、中心点（初期動きベクトルが指す）に対応するコストを算出する。他の４つのコスト（符号の形状）は、２つの予測によって算出され、中心点に対して互いに反対側に位置する。先に計算されたコスト（図７）の勾配によって、この角における最後の６番目の点を選択する。

図７は、適応整数検索パターンおよびハーフサンプル検索パターンの例を示す。

ＤＭＶＲ処理の出力は、最小コストに対応する改良された動きベクトルの対である。

１回の繰り返しの後、探索空間の中心点で最小限のコストに達した場合、すなわち動きベクトルが変わらなかった場合、改良処理は終了する。そうでない場合、最良のコストをさらに中心と見なし、この処理を続け、一方、最小コストは中心点に対応せず、検索範囲を超えない。

半画素探索の適用が探索範囲を超えない場合にのみ、ハーフサンプル精度探索が適用される。この場合、中心点の周りのプラスの形状点に対応して、４回のＭＲＳＡＤ計算のみが行われ、これは、整数精度検索の間、最良のものとして選択される。最後に、最小コスト点に対応する改良された動きベクトル対を出力する。

ＪＶＥＴ－Ｌ０１６３には、若干の簡単化および改良がさらに提案されている。
基準サンプリングパディング

最初の動きベクトルが指す参照サンプルブロックを拡大するために、参照サンプルパディングが適用される。符号化ブロックのサイズを「ｗ」および「ｈ」とした場合、サイズｗ＋７およびｈ＋７のブロックが参照ピクチャバッファから取り出されると仮定する。次に、最も近いサンプルを使用してサンプルを繰り返しパディングすることにより、検索したバッファを各方向に２サンプルずつ拡大する。その後、この拡張参照サンプルブロックを使用して、改良された動きベクトル（各方向において最初の動きベクトル２サンプルから逸脱してもよい）を取得した後、最終予測を生成する。

なお、この変形例によれば、ＤＭＶＲにおける外部メモリアクセスは、符号化損失を生じることなく完全に排除される。

８タップＤＣＴＩＦの代わりの双線形補間

本提案によれば、ＤＭＶＲ検索処理中に双線形補間を適用し、これは、ＭＲＳＡＤ計算に使用される予測が双線形補間を使用して生成されることを意味する。最終的に改良された動きベクトルが取得されると、通常の８タップＤＣＴＩＦ補間フィルタを適用して、最終予測を生成する。

小さなブロックのためのＤＭＶＲの無効化

ブロック４×４、４×８、８×４では、ＤＭＶＲは無効になる。

マージ候補間のＭＶ差に基づく早期終了

ＭＶ改良処理を限定するために、ＤＭＶＲに追加の条件を課す。これにより、以下の条件が満たされる場合、ＤＭＶＲは条件付きで無効化される。

選択されたマージ候補と同じマージリストにおける前のマージ候補のいずれかとの間のＭＶ差は、予め規定された閾値未満である（すなわち、それぞれ６４画素未満、２５６画素未満、および少なくとも２５６画素のＣＵの場合、１／４、１／２、および１画素幅の間隔である）。

中心探索座標におけるＳＡＤコストに基づく早期終了

現在のＣＵの初期動きベクトルを使用して、２つの予測信号（Ｌ０、Ｌ１予測）の絶対差の合計（ＳＡＤ）を算出する。ＳＡＤが予め規定された閾値よりも大きくない場合、即ちサンプル当たりの２^{（ＢＤｅｐｔｈ－９）}の場合、ＤＭＶＲはスキップされ、そうでない場合、ＤＭＶＲは現在のブロックの２つの動きベクトルを改良するために引き続き適用される。

ＤＭＶＲの適用条件

ＤＭＶＲの適用条件は、ＢＭＳ２．１で実装されている場合、（ＰＯＣ－ＰＯＣ１）×（ＰＯＣ－ＰＯＣ２）＜０であり、新しい条件（ＰＯＣ－ＰＯＣ１）＝＝（ＰＯＣ２－ＰＯＣ）によって置き換えられる。これは、ＤＭＶＲが適用されるのは、参照ピクチャが反対の時間方向にあり、現在のピクチャに対して等距離である場合のみであることを意味する。

一つおきの行を使用したＭＲＳＡＤ計算

ＭＲＳＡＤコストは、１つのブロックの奇数番目の行に対してのみ計算され、偶数番目のサンプル行は考慮に入れない。これにより、ＭＲＳＡＤ計算のための演算回数が半減される。

２．６ 関連方法

平成３０年８月４日に出願された「視覚媒体符号化のための動き改良（Ｍｏｔｉｏｎ Ｒｅｆｉｎｅｍｅｎｔ ｆｏｒ Ｖｉｓｕａｌ Ｍｅｄｉａ Ｃｏｄｉｎｇ）」という名称の特許出願番号ＰＣＴ／ＣＮ２０１８／０９８６９１（本明細書において参照により援用される）によって識別される本願明細書において、ＭＶ更新方法および２ステップインター予測方法が提案されている。ＢＩＯにおける参照ブロック０と参照ブロック１との間の導出されたＭＶをスケーリングし、リスト０およびリスト１の元の動きベクトルに加える。一方、更新されたＭＶを使用して動き補償を行い、第２のインター予測を最終予測として生成する。時間的勾配は、参照ブロック０と参照ブロック１との間の平均差を取り除くことによって修正される。

２．７ ＶＶＣ草案４におけるＤＭＶＲ

ＪＶＥＴ－Ｍ１００１＿ｖ７（ＶＶＣ作業草案４，第７版）におけるＤＭＶＲの使用法は、以下のように定義される。
－ 以下のすべての条件が真である場合、ｄｍｖｒＦｌａｇは１に等しく設定される。
－ ｓｐｓ＿ｄｍｖｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ ｉｓ １と等しい
－ 現在のブロックは、三角形予測モード、ＡＭＶＲアフィンモード、サブブロックモード（マージアフィンモード、ＡＴＭＶＰモードを含む）で符号化されていない。
－ ｍｅｒｇｅ＿ｆｌａｇ［ｘＣｂ］［ｙＣｂ］が１に等しい
－ ｐｒｅｄＦｌａｇＬ０［０］［０］とｐｒｅｄＦｌａｇＬ１［０］［０］の両方が１に等しい
－ ｍｍｖｄ＿ｆｌａｇ［ｘＣｂ］［ｙＣｂ］が０
－ ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ，ＲｅｆＰｉｃＬｉｓｔ［０］［ｒｅｆＩｄｘＬ０］）は、ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ＲｅｆＰｉｃＬｉｓｔ［１］［ｒｅｆＩｄｘＬ１］，ｃｕｒｒＰｉｃ）に等しい。
－ ｃｂＨｅｉｇｈｔが８以上である
－ ｃｂＨｅｉｇｈｔ＊ｃｂＷｉｄｔｈが６４以上である

３． 実施形態が解決しようとする課題の例

ＢＩＯでは、早期終了段階において、２つの参照ブロックまたはサブブロック間の差を計算し、一方、時間的勾配も計算する。時間的勾配は実際には２つの参照画素間の差（または右シフトした差）であるため、この差および時間的勾配の両方を計算しても意味がない。

ＤＭＶＲにおいて、ＭＲＳＡＤ計算は、１つのブロック改良動きベクトルを判定するために用いられる。

ＢＩＯにおいて、ＳＡＤ計算を使用して、１つのブロック／１つのサブブロックのすべてのサンプルを使用して、１つのブロックまたは１つのサブブロックに対してＢＩＯを有効化／無効化するべきかどうかを決定するが、これは計算の複雑性を増大させる。

この計算方法は、空間的勾配と時間的勾配とで異なる。

４．実施形態の例

ＳＡＴＤを絶対変換差の合計として、ＭＲＳＡＴＤを平均値分離絶対変換差の合計として、ＳＳＥを二乗誤差の合計として、およびＭＲＳＳＥを平均値分離二乗誤差の合計として表す。

以下の詳細な技術は、一般的な概念を説明するための例であると考えられるべきである。これらの技術は狭い意味で解釈されるべきではない。さらに、これらの発明は、任意の方法で組み合わせることができる。

以下の説明において、ＳａｔＳｈｉｆｔ（ｘ，ｎ）は、以下のように定義される。

Ｓｈｉｆｔ（ｘ，ｎ）は、Ｓｈｉｆｔ（ｘ，ｎ）＝（ｘ＋ｏｆｆｓｅｔ０）＞＞ｎとして定義される。

一例において、ｏｆｆｓｅｔ０および／またはｏｆｆｓｅｔ１は、（１＜＜ｎ）＞＞１または（１＜＜（ｎ－１））に設定される。別の実施例において、ｏｆｆｓｅｔ０および／またはｏｆｆｓｅｔ１は０に設定される。

別の例において、ｏｆｆｓｅｔ０＝ｏｆｆｓｅｔ１＝（（１＜＜ｎ）＞＞１）－１ ｏｒ （（１＜＜（ｎ－１）））－１である。

ＢＤＯＦの勾配計算において、２つの近傍の（空間的に近傍のまたは時間的に近傍の）サンプル間の差および／または非隣接のサンプル間の差を計算することができ、右シフトは勾配計算中に行われてもよい。２つの近傍のサンプルがｎｅｉｇ０、ｎｅｉｇ１であり、右シフト値が１であり、算出される傾きがｇｒａｄであるとする。なお、空間的勾配および時間的勾配について、ｓｈｉｆｔ１が異なってもよい。

１． 空間的勾配および時間的勾配の計算に使用される方法を調整することが提案される。
ａ． 一例において、勾配は、シフトされたサンプル差にしたがって計算される。
ｉ． 代替的に、勾配は、修正されたサンプルの（例えば、シフトすることによって）差にしたがって計算される。
ｂ． 一例において、勾配計算において、右シフトの前に減算を行ってもよい。例えば、ｇｒａｄ＝（ｎｅｉｇ０－ｎｅｉｇ１）＞＞ｓｈｉｆｔ１．
ｃ． 一例において、勾配計算において、減算は右シフトの後に行ってもよい。例えば、ｇｒａｄ＝（ｎｅｉｇ０＞＞ｓｈｉｆｔ１）－（ｎｅｉｇ１＞＞ｓｈｉｆｔ１）．
ｄ． 一例において、勾配計算において、右シフトの前に減算を行い、右シフトの前にオフセットを加えてもよい。例えば、ｇｒａｄ＝（ｎｅｉｇ０－ｎｅｉｇ１＋ｏｆｆｓｅｔ）＞＞ｓｈｉｆｔ１．このオフセットは、１＜＜（ｓｈｉｆｔ１－１）ｏｒ１＜＜ｓｈｉｆｔ１＞＞１に等しくてもよい。
ｅ． 一例において、勾配計算において、右シフトの後に減算を行ってもよく、右シフトの前にオフセットを加えてもよい。例えば、ｇｒａｄ＝（（ｎｅｉｇ０＋ｏｆｆｓｅｔ）＞＞ｓｈｉｆｔ１）－（（ｎｅｉｇ１＋ｏｆｆｓｅｔ）＞＞ｓｈｉｆｔ１）．このオフセットは、１＜＜（ｓｈｉｆｔ１－１）ｏｒ１＜＜ｓｈｉｆｔ１＞＞１に等しくてもよい。
ｆ． 一例において、この勾配は、ＳａｔＳｈｉｆｔ（ｎｅｉｇ０－ｎｅｉｇ１，ｓｈｉｆｔ１）として算出されてもよい。
ｉ． 代替的に、この勾配は、ＳａｔＳｈｉｆｔ（ｎｅｉｇ０，ｓｈｉｆｔ１）－ＳａｔＳｈｉｆｔ（ｎｅｉｇ１，ｓｈｉｆｔ１）として算出されてもよい。

２． 早期終了段階におけるＢＩＯおよび／またはＤＭＶＲの有効化／無効化を判定するために、他の基準、例えば、ＳＡＴＤまたはＭＲＳＡＴＤまたはＳＳＥまたはＭＲＳＳＥまたは平均値の差または勾配値を用いることが提案される。
ａ． 一例において、ブロックレベルおよびサブブロックレベルの有効化／無効化決定は、異なる規則、例えば、ＳＡＤを有する規則およびＳＡＴＤを有する規則を選択してもよい。
ｂ． 一例において、ブロック／サブブロックにおいて、勾配値（水平および／または垂直）または平均勾配値または勾配値の範囲が１つの条件を満たす（例えば、閾値よりも大きい、または所定の範囲外にある）場合、ＢＩＯおよび／またはＤＭＶＲは無効にしてもよい。
ｃ． 有効化／無効化ＢＩＯ／ＤＭＶＲを判定するために使用される基準は、ＶＰＳ／ＳＰＳ／ＰＰＳ／スライスヘッダ／タイルグループヘッダにおいて、エンコーダからデコーダに信号通知されてもよいことが提案される。

３． ＤＭＶＲ処理における１つのブロックの改良された動きベクトルを判定するために、他の基準、例えば、ＳＡＴＤ、ＭＲＳＡＴＤ、またはＳＳＥ、またはＭＲＳＳＥを使用してＭＲＳＡＤに置き換えることが提案される。
ａ． 一例において、ＤＭＶＲ処理における１つのサブブロックの改良された動きベクトル、例えば、ＳＡＴＤ、ＭＲＳＡＴＤ、またはＳＳＥ、またはＭＲＳＳＥは、ＭＲＳＡＤに取って代わる。
ｂ． 一例において、ＳＡＴＤ（またはＭＲＳＡＴＤ）が適用される場合、ブロック全体がＭ×Ｎ個のサブブロックに分割され、各サブブロックごとにＳＡＴＤ（またはＭＲＳＡＴＤ）が算出される。サブブロックのすべてまたは一部のＳＡＴＤ（またはＭＲＳＡＴＤ）を合計し、ブロック全体のＳＡＴＤ（またはＭＲＳＡＴＤ）値を得る。

４． １つのブロックの２つの参照ブロックの平均値の差が閾値（Ｔ１）よりも大きい場合、ＢＩＯおよび／またはＤＭＶＲを無効にしてもよい。
ａ． １つのサブブロックの２つの参照サブブロックの平均値差が閾値（Ｔ２）よりも大きい場合、ＢＩＯを無効にしてもよい。
ｂ． 閾値Ｔ１および／またはＴ２は、予め規定されてもよい。
ｃ． 閾値Ｔ１および／またはＴ２は、ブロック寸法に依存してもよい。

５． ＢＩＯの早期終了段階において、２つの参照ブロック／サブブロック間の差（例えば、ＳＡＤ／ＳＡＴＤ／ＳＳＥ等）を計算する前に、まず、参照ブロックまたは／およびサブブロックを修正してもよいことが提案される。
ａ． 一例において、参照ブロックまたは／およびサブブロックの平均を計算し、その後、参照ブロックまたは／およびサブブロックによって差し引いてもよい。
ｂ． 一例において、方法は、２０１８年年７月２０日に出願された「動き予測に基づく更新された動きベクトル（Ｍｏｔｉｏｎ Ｐｒｅｄｉｃｔｉｏｎ Ｂａｓｉｎｇ Ｕｐｄａｔｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒｓ）」という名称の出願であるＰＣＴ／ＣＮ２０１８／０９６３８４（参照により本明細書に組み込まれる）に開示されており、参照ブロックおよび／またはサブブロックの平均値の計算に使用されてよく、即ち、平均値はいくつかの代表的な位置の計算に使用される。

６． ＢＩＯおよび／またはＤＭＶＲの早期終了段階において、２つの参照ブロックおよび／またはサブブロック間の差（例えば、ＳＡＤ／ＳＡＴＤ／ＳＳＥ／ＭＲＳＡＤ／ＭＲＳＡＴＤ／ＭＲＳＳＥ等）は、いくつかの代表的な位置に対してのみ計算されてもよいことが提案される。
ａ． 一例において、ブロックまたは／およびサブブロックに対して偶数行の差のみを計算する。
ｂ． 一例において、１つのブロック／サブブロックの４つのコーナーサンプルの差のみが、このブロックまたは／およびサブブロックに対して計算される。
ｃ． 一例において、前記方法は、２０１８年７月２日に出願された「映像符号化におけるデコーダ側の動きベクトル導出（Ｄｅｃｏｄｅｒ Ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｅｒｉｖａｔｉｏｎ ｉｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）」という名称の米国仮出願第６２／６９３，４１２号（本明細書において参照により援用される）に開示されており、代表的な位置を選択するために使用されてもよい。
ｄ． 一例において、２つの参照ブロック間の差（例えば、ＳＡＤ／ＳＡＴＤ／ＳＳＥ／ＭＲＳＡＤ／ＭＲＳＡＴＤ／ＭＲＳＳＥ等）は、いくつかの代表的なサブブロックについてのみ計算されてもよい。
ｅ． 一例において、代表的な位置またはサブブロックについて算出された差（例えば、ＳＡＤ／ＳＡＴＤ／ＳＳＥ／ＭＲＳＡＤ／ＭＲＳＡＴＤ／ＭＲＳＳＥ等）を合計することにより、ブロック／サブブロック全体の差を得る。

７．時間的勾配（位置（ｘ，ｙ）における時間的グラデーションは、Ｇ（ｘ，ｙ）＝Ｐ０（ｘ，ｙ）－Ｐ１（ｘ，ｙ）と定義され、Ｐ０（ｘ，ｙ）とＰ１（ｘ，ｙ）は、２つの異なる参照ピクチャからの（ｘ，ｙ）における予測値を表す）、または、修正された時間的勾配を、ＢＩＯの早期終了段階において（ＳＡＤの代わりに）差として使用し、その結果、早期終了に使用された閾値を調整してもよいことが提案される。
ａ． 一例において、時間的勾配の絶対値の合計が計算され、２つの参照ブロックまたは／およびサブブロックの差として使用される。
ｂ． 一例において、時間的勾配の絶対値の合計は、ブロックおよび／またはサブブロックのいくつかの代表的な位置においてのみ計算される。
ｃ． 一例において、前記方法は、米国特許に開示されている。代表的な位置を選択するために、２０１８年７月２日に出願された「映像符号化におけるデコーダ側の動きベクトル導出（Ｄｅｃｏｄｅｒ Ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｅｒｉｖａｔｉｏｎ ｉｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）」という名称の仮出願第６２／６９３，４１２号（本明細書において参照により援用される）を使用してもよい。

８． 時間的勾配修正処理は、異なるブロック／サブブロックに対して適応的に行ってもよいことが提案される。
ａ． 一例において、時間的勾配は、２つの参照ブロック間の平均絶対差(absolute mean difference)（またはＳＡＤ／ＳＡＴＤ／ＳＳＥ等）が閾値Ｔよりも大きい場合にのみ、例えばＴ＝４となるように修正される。
ｂ． 一例において、時間的勾配は、２つの参照ブロック間の平均絶対差（またはＳＡＤ／ＳＡＴＤ／ＳＳＥ等）が閾値Ｔより小さい場合にのみ、例えばＴ＝２０となるように修正される。
ｃ． 一例において、時間的勾配は、２つの参照ブロック間の平均絶対差（またはＳＡＤ／ＳＡＴＤ／ＳＳＥ等）が［Ｔ１，Ｔ２］の範囲内に含まれる場合にのみ、例えばＴ１＝４、Ｔ２＝２０となるように修正される。
ｄ． 一例において、２つの参照ブロック間の平均絶対差（またはＳＡＤ／ＳＡＴＤ／ＳＳＥ等）が閾値Ｔよりも大きい場合に、例えばＴ（Ｔ＝４０）となるように修正され、ＢＩＯは無効化される。
ｅ． 一例において、これらの閾値は、暗黙的に予め規定されてもよい。
ｆ． 一例において、これらの閾値は、ＳＰＳ／ＰＰＳ／ピクチャ／スライス／タイルレベルで信号通知されてもよい。
ｇ． 一例において、これらの閾値は、異なるＣＵ、ＬＣＵ、スライス、タイル、またはピクチャごとに異なってもよい。
ｉ． 一例において、これらの閾値は、復号化／符号化された画素値に基づいて設計されてもよい。
ｉｉ． 一例において、これらの閾値は、異なる参照ピクチャに対して異なるように設計されてもよい。
ｈ． 一例において、時間的勾配は、２つの（または２つのうちのいずれか１つの）参照ブロックの（絶対）平均が閾値Ｔよりも大きい場合にのみ、例えばＴ＝４０となるように修正される。
ｉ． 一例において、時間的勾配は、２つの（または２つのうちのいずれか１つの）参照ブロックの（絶対）平均が閾値Ｔより小さい場合にのみ、例えばＴ＝１００となるように修正される。
ｊ． 一例において、時間的勾配は、２つの（または２つのうちのいずれか１つの）参照ブロックの（絶対）平均が［Ｔ１，Ｔ２］の範囲内に含まれる場合にのみ、例えばＴ１＝４０、Ｔ２＝１００となるように修正される。
ｋ． 一例において、時間的勾配は、２つの（または２つのうちのいずれか１つの）参照ブロックの（絶対）平均が、平均絶対差（またはＳＡＤ／ＳＡＴＤ等）にＴ（一例において、Ｔ＝４．５）を掛けた値よりも大きい／小さい場合にのみ修正される。
ｌ． 一例において、時間的勾配は、２つの（または２つのうちのいずれか１つの）参照ブロックの（絶対）平均が、平均絶対差（またはＳＡＤ／ＳＡＴＤ等）に［Ｔ１，Ｔ２］（一例において、Ｔ１＝４．５，Ｔ２＝７）を掛けた値の範囲内にある場合にのみ修正される。

９． なお、ハイブリッドのイントラおよびインター予測モードにおいて、２つのインター参照ブロックは、ＢＩＯにおける空間的勾配を計算する時に修正されてもよいし、またはＢＩＯ手順全体を行う前に修正されてもよいことが提案される。
ａ． 一例において、各予測方向におけるイントラ予測ブロックおよびインター予測ブロックを（ハイブリッドのインターおよびインター予測と同じ重み付け方法を使用して）重み平均し、ｗＡｖｇＢｌｋＬ０およびｗＡｖｇＢｌｋＬ１と表される、ＢＩＯにおける空間的勾配を導出するために使用される２つの新しい予測ブロックを生成する。
ｂ． 一例において、ｗＡｖｇＢｌｋＬ０およびｗＡｖｇＢｌｋＬ１は、ｐｒｅｄＢｌｋと表される現在のブロックの予測ブロックを生成するために用いられる。そして、ＢＩＯ手順として、ｗＡｖｇＢｌｋＬ０、ｗＡｖｇＢｌｋＬ１、およびｐｒｅｄＢｌｋをさらに用い、ＢＩＯで生成された改良した予測ブロックを最終予測ブロックとして用いる。

１０． ＤＭＶＲまたは／およびＢＩＯフラグは、ブロックに対してＤＭＶＲおよび／またはＢＩＯが有効化されているかどうかを示すように、ブロックレベルで信号通知されてもよいことが提案される。
ａ． 一例において、このようなフラグは、ＡＭＶＰモードの場合にのみ信号通知されてもよく、マージモードにおいて、このようなフラグは、空間的および／または時間的に近傍のブロックから継承されてもよい。
ｂ． 一例において、ＢＩＯまたは／およびＤＭＶＲが有効化されるかどうかは、信号通知されたフラグおよびオンザフライ判定（例えば、早期終了段階におけるＳＡＤに基づく判定）によって一緒に決定されてもよい。信号通知されたフラグは、オンザフライ決定が正しいかどうかを示すことができる。
ｃ． このようなフラグは、単一予測ブロックに対しては通知されない。
ｄ． このようなフラグは、２つの参照ピクチャが両方とも表示順に前のピクチャまたは後のピクチャである双方向予測ブロックには信号通知されない場合がある。
ｅ． ＰＯＣ＿ｄｉｆｆ（ｃｕｒＰｉｃ，ｒｅｆ０）がＰＯＣ＿ｄｉｆｆ（ｒｅｆ１，ｃｕｒＰｉｃ）に等しくない場合、このようなフラグは双方向予測ブロックには信号通知されなくてもよく、ＰＯＣ＿ｄｉｆｆ（）は２つのピクチャの間のＰＯＣ差を計算し、ｒｅｆ０およびｒｅｆ１は現在のピクチャの参照ピクチャである。
ｆ． このようなフラグは、イントラ符号化ブロックに対しては信号通知されない。代替的に、さらに、このようなフラグは、ハイブリッドのイントラおよびインター予測モードで符号化されたブロックに対しては信号通知されない。代替的に、このようなフラグは、現在のピクチャ参照ブロックに対して信号通知されず、即ち、参照ピクチャが現在のピクチャである。
ｇ． フラグを信号通知するかどうかは、ブロック寸法に依存してもよい。例えば、ブロックサイズが閾値より小さい場合、このようなフラグは信号通知されない。代替的に、ブロックの幅および／または高さが閾値以上である場合、このようなフラグは信号通知されない。
ｈ． フラグを信号通知するかどうかは、動きベクトルの精度に依存してもよい。例えば、動きベクトルが整数精度である場合、このようなフラグは信号通知されない。
ｉ． そのようなフラグが信号通知されない場合、それは暗黙的に真または偽であると導出されてもよい。
ｊ． 前記方法が有効化されているかどうかを示すために、スライスヘッダ／タイルヘッダ／ＰＰＳ／ＳＰＳ／ＶＰＳにおいて１つのフラグを信号通知してもよい。
ｋ． このような信号通知方法は、ピクチャの時間層に依存し、例えば、時間層が高いピクチャに対しては無効化されてもよい。
ｌ． このような信号通知方法は、ピクチャのＱＰに依存し、例えば、ＱＰが高いピクチャに対しては無効化してもよい。

１１． ブロックの高さとブロックのサイズの両方をチェックする代わりに、ブロックの高さのみにしたがってＤＭＶＲを有効にするか無効化するかを判定することが提案される。
ａ． 一例において、ＤＭＶＲは、ブロックの高さがＴ１よりも大きい（例えば、Ｔ１＝４）場合、有効化されてもよい。
ｂ． 一例において、ＤＭＶＲは、ブロックの高さがＴ１以上（例えば、Ｔ１＝８）である場合に有効化されてもよい。

１２． ＤＭＶＲ／ＢＩＯに適用される上記方法は、他のデコーダ側動きベクトル導出（ＤＭＶＤ）方法にのみ適用可能であり、例えば、アフィンモードのためのオプティカルフローに基づく予測改良などに適用可能である。
ａ． 一例において、ＤＭＶＲおよびＢＩＯの使用判定のための条件チェックは、ブロックの高さが同じ閾値を満たすかどうか等、調整されてもよい。
ｉ． 一例において、ＤＭＶＲおよびＢＩＯは、ブロックの高さがＴ１以上（例えば、Ｔ１＝８）である場合、有効化されてもよい。
ｉｉ． 一例において、ＤＭＶＲおよびＢＩＯは、ブロックの高さがＴ１よりも大きい（例えば、Ｔ１＝４）場合、有効化されてもよい。

５． 実施形態

５．１ 実施形態＃１

ＪＶＥＴ－Ｍ１００１＿ｖ７（ＶＶＣ作業草案４，第７版）におけるＤＭＶＲの使用法は、以下のように修正される。
－ 以下のすべての条件が真である場合、ｄｍｖｒＦｌａｇは１に等しく設定される。
－ ｓｐｓ＿ｄｍｖｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ ｉｓ １と等しい
－ 現在のブロックは、三角形予測モード、ＡＭＶＲアフィンモード、サブブロックモード（マージアフィンモード、ＡＴＭＶＰモードを含む）で符号化されていない。
－ ｍｅｒｇｅ＿ｆｌａｇ［ｘＣｂ］［ｙＣｂ］が１に等しい
－ ｐｒｅｄＦｌａｇＬ０［０］［０］およびｐｒｅｄＦｌａｇＬ１［０］［０］の両方が１に等しい
－ ｍｍｖｄ＿ｆｌａｇ［ｘＣｂ］［ｙＣｂ］が０
－ ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ，ＲｅｆＰｉｃＬｉｓｔ［０］［ｒｅｆＩｄｘＬ０］）は、ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ＲｅｆＰｉｃＬｉｓｔ［１］［ｒｅｆＩｄｘＬ１］，ｃｕｒｒＰｉｃ）に等しい。
－ ｃｂＨｅｉｇｈｔが８以上である

つまり、「ｃｂＨｅｉｇｈｔ＊ｃｂＷｉｄｔｈが６４以上である」を削除する。

５．２ 実施形態＃２

新規に追加された部分は太字の顔イタリック体で強調表示され、削除された部分は取り消し線で取り消される。

ｉ． 一例

８．５．７．４ 双方向オプティカルフロー予測処理

この処理への入力は以下の通りである。
－ 現在の符号化ブロックの幅および高さを規定する２つの変数ｎＣＢＷおよびｎＣＢＨ、
－ ２つの（ｎＣＢＷ＋２）×（ｎＣＢＨ＋２）輝度予測サンプル配列ｐｒｅｄＳａｍｐｌｅｓＬ０およびｐｒｅｄＳａｍｐｌｅｓＬ１、
－ 予測リスト利用フラグｐｒｅｄＦｌａｇＬ０およびｐｒｅｄＦｌａｇＬ１、
－ 参照インデックスｒｅｆＩｄｘＬ０およびｒｅｆＩｄｘＬ１、
－ 双方向オプティカルフロー利用フラグｂｄｏｆＵｔｉｌｉｚａｔｉｏｎＦｌａｇ［ｘＩｄｘ］［ｙＩｄｘ］、但しｘＩｄｘ＝０．．（ｎＣｂＷ＞＞２）－１，ｙＩｄｘ＝０．．（ｎＣｂＨ＞＞２）－１

この処理の出力は、輝度予測サンプル値の（ｎＣＢＷ）×（ｎＣＢＨ）アレイｐｂＳａｍｐｌｅｓである。

変数ｂｉｔＤｅｐｔｈ、ｓｈｉｆｔ１、ｓｈｉｆｔ２、ｓｈｉｆｔ３、ｓｈｉｆｔ４、ｏｆｆｓｅｔ４、およびｍｖＲｅｆｉｎｅＴｈｒｅｓは、以下のように導出される。
－ 変数ｂｉｔＤｅｐｔｈはＢｉｔＤｅｐｔｈ_Ｙに等しく設定される。
－ 変数ｓｈｉｆｔ１は、Ｍａｘ（２，１４－ｂｉｔＤｅｐｔｈ）に等しく設定される。
－ 変数ｓｈｉｆｔ２は、Ｍａｘ（８，ｂｉｔＤｅｐｔｈ－４）に等しく設定される。
－ 変数ｓｈｉｆｔ３は、Ｍａｘ（５，ｂｉｔＤｅｐｔｈ－７）に等しく設定される。
－ 変数ｓｈｉｆｔ４をＭａｘ（３，１５－ｂｉｔＤｅｐｔｈ）は等しく設定され、変数ｏｆｆｓｅｔ４は１＜＜（ｓｈｉｆｔ４－１）に等しく設定される。
－ 変数ｍｖＲｅｆｉｎｅＴｈｒｅｓは、Ｍａｘ（２，１＜＜（１３－ｂｉｔＤｅｐｔｈ））に等しく設定される。

ｘＩｄｘ＝０．．（ｎＣｂＷ＞＞２）－１およびｙＩｄｘ＝０．．（ｎＣｂＨ＞＞２）－１の場合、以下が適用される。
－ 変数ｘＳｂを（ｘＩｄｘ＜＜２）＋１に等しく設定し、ｙＳｂを（ｙＩｄｘ＜＜２）＋１に等しく設定する。
－ ｂｄｏｆＵｔｉｌｉｚａｔｉｏｎＦｌａｇ［ｘＳｂＩｄｘ］［ｙＩｄｘ］がＦＡＬＳＥに等しい場合、ｘ＝ｘＳｂ－１．．ｘＳｂ＋２，ｙ＝ｙＳｂ－１．．ｙＳｂ＋２に対して、現在のサブブロックの予測サンプル値は、以下の通りである。
ｐｂＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（２^{ｂｉｔＤｅｐｔｈ}）－１，（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ＋１］［ｙ＋１］＋ｏｆｆｓｅｔ２＋ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ＋１］［ｙ＋１］）＞＞ｓｈｉｆｔ２） （８－８５２）
－ そうでない場合（ｂｄｏｆＵｔｉｌｉｚａｔｉｏｎＦｌａｇ［ｘＳｂＩｄｘ］［ｙＩｄｘ］がＴＲＵＥに等しい）、現在のサブブロックの予測サンプル値は、以下のように導出される。

－ ｘ＝ｘＳｂ－１．．ｘＳｂ＋４，ｙ＝ｙＳｂ－１．．ｙＳｂ＋４の場合、以下の順序付けられたステップが適用される。
４． 予測サンプルアレイ内の対応するサンプル位置（ｘ，ｙ）の各々の位置（ｈ_ｘ，ｖ_ｙ）は、以下のように導出される。
ｈ_ｘ＝Ｃｌｉｐ３（１，ｎＣｂＷ，ｘ） （８－８５３）
ｖ_ｙ＝Ｃｌｉｐ３（１，ｎＣｂＨ，ｙ） （８－８５４）
５． 変数ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］，ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］，ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］およびｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］は、以下のように導出される。
ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈ_ｘ＋１］［ｖ_ｙ］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈ_ｘ－１］［ｖ_ｙ］）＞＞ｓｈｉｆｔ１ （８－８５５）
ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅＬ０［ｈ_ｘ］［ｖ_ｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈ_ｘ］［ｖ_ｙ－１］）＞＞ｓｈｉｆｔ１ （８－８５６）
ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓＬ１［ｈ_ｘ＋１］［ｖ_ｙ］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈ_ｘ－１］［ｖ_ｙ］）＞＞ｓｈｉｆｔ１ （８－８５７）
ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅＬ１［ｈ_ｘ］［ｖ_ｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈ_ｘ］［ｖ_ｙ－１］）＞＞ｓｈｉｆｔ１ （８－８５８）
６． 変数ｔｅｍｐ［ｘ］［ｙ］，ｔｅｍｐＨ［ｘ］［ｙ］およびｔｅｍｐＶ［ｘ］［ｙ］は、以下のように導出される。

ｄｉｆｆ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈ_ｘ］［ｖ_ｙ］ －ｐｒｅｄＳａｍｐｌｅｓＬ１［ｈ_ｘ］［ｖ_ｙ］）＞＞ｓｈｉｆｔ２ （８－８５９）
ｔｅｍｐＨ［ｘ］［ｙ］＝（ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］＋ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］）＞＞ｓｈｉｆｔ３ （８－８６０）
ｔｅｍｐＶ［ｘ］［ｙ］＝（ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］＋ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］）＞＞ｓｈｉｆｔ３ （８－８６１）

－ 変数ｓＧｘ２、ｓＧｙ２、ｓＧｘＧｙ、ｓＧｘｄＩ、ｓＧｙｄＩは、以下のように導出される。
ｓＧｘ２＝Σ_ｉΣ_ｊ（ｔｅｍｐＨ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｔｅｍｐＨ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ＝－１．．４ （８－８６２）
ｓＧｙ２＝Σ_ｉΣ_ｊ（ｔｅｍｐＶ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｔｅｍｐＶ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ＝－１．．４ （８－８６３）
ｓＧｘＧｙ＝Σ_ｉΣ_ｊ（ｔｅｍｐＨ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｔｅｍｐＶ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ－１．．４ （８－８６４）
ｓＧｘｄＩ＝Σ_ｉΣ_ｊ（－ｔｅｍｐＨ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｄｉｆｆ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ＝－１．．４ （８－８６５）
ｓＧｙｄＩ＝Σ_ｉΣ_ｊ（－ｔｅｍｐＶ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｄｉｆｆ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ＝－１．．４ （８－８６６）

－ 現在のサブブロックの水平および垂直方向の動きオフセットは、以下のように導出される。
ｖ_ｘ＝ｓＧｘ２＞０？Ｃｌｉｐ３（－ｍｖＲｅｆｉｎｅＴｈｒｅｓ，ｍｖＲｅｆｉｎｅＴｈｒｅｓ，－（ｓＧｘｄＩ＜＜３）＞＞Ｆｌｏｏｒ（Ｌｏｇ２（ｓＧｘ２）））：０ （８－８６７）
ｖ_ｙ＝ｓＧｙ２＞０？Ｃｌｉｐ３（－ｍｖＲｅｆｉｎｅＴｈｒｅｓ，ｍｖＲｅｆｉｎｅＴｈｒｅｓ，（（ｓＧｙｄＩ＜＜３）－（（ｖ_ｘ＊ｓＧｘＧｙ_ｍ）＜＜１２＋ｖ_ｘ＊ｓＧｘＧｙ_ｓ）＞＞１）＞＞Ｆｌｏｏｒ（Ｌｏｇ２（ｓＧｘ２）））：０ （８－８６８）

－ ｘ＝ｘＳｂ－１．．ｘＳｂ＋２，ｙ＝ｙＳｂ－１．．ｙＳｂ＋２の場合、現在のサブブロックの予測サンプル値は、以下のように導出される。
ｂｄｏｆＯｆｆｓｅｔ＝Ｒｏｕｎｄ（（ｖ_ｘ＊（ｇｒａｄｉｅｎｔＨＬ１［ｘ＋１］［ｙ＋１］－ｇｒａｄｉｅｎｔＨＬ０［ｘ＋１］［ｙ＋１］））＞＞１）＋Ｒｏｕｎｄ（（ｖ_ｙ＊（ｇｒａｄｉｅｎｔＶＬ１［ｘ＋１］［ｙ＋１］－ｇｒａｄｉｅｎｔＶＬ０［ｘ＋１］［ｙ＋１］））＞＞１） （８－８６９）
［Ｅｄ．（ＪＣ）：Ｒｏｕｎｄ（）演算はｆｌｏａｔ入力に対して定義される。Ｒｏｕｎｄ（）演算は入力が整数値であるため、ここでは冗長に見える。推薦人が確認すること］
ｐｂＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（２^{ｂｉｔＤｅｐｔｈ}）－１，（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ＋１］［ｙ＋１］＋ｏｆｆｓｅｔ４＋ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ＋１］［ｙ＋１］＋ｂｄｏｆＯｆｆｓｅｔ）＞＞ｓｈｉｆｔ４） （８－８７０）

ｉｉ． 一例

８．５．７．４ 双方向オプティカルフロー予測処理

この処理への入力は以下の通りである。
－ 現在の符号化ブロックの幅および高さを規定する２つの変数ｎＣＢＷおよびｎＣＢＨ、
－ ２つの（ｎＣＢＷ＋２）×（ｎＣＢＨ＋２）輝度予測サンプル配列ｐｒｅｄＳａｍｐｌｅｓＬ０およびｐｒｅｄＳａｍｐｌｅｓＬ１、
－ 予測リスト利用フラグｐｒｅｄＦｌａｇＬ０およびｐｒｅｄＦｌａｇＬ１、
－ 参照インデックスｒｅｆＩｄｘＬ０およびｒｅｆＩｄｘＬ１、
－ 双方向オプティカルフロー利用フラグｂｄｏｆＵｔｉｌｉｚａｔｉｏｎＦｌａｇ［ｘＩｄｘ］［ｙＩｄｘ］、但しｘＩｄｘ＝０．．（ｎＣｂＷ＞＞２）－１，ｙＩｄｘ＝０．．（ｎＣｂＨ＞＞２）－１

この処理の出力は、輝度予測サンプル値の（ｎＣＢＷ）×（ｎＣＢＨ）アレイｐｂＳａｍｐｌｅｓである。

変数ｂｉｔＤｅｐｔｈ、ｓｈｉｆｔ１、ｓｈｉｆｔ２、ｓｈｉｆｔ３、ｓｈｉｆｔ４、ｏｆｆｓｅｔ４、およびｍｖＲｅｆｉｎｅＴｈｒｅｓは、以下のように導出される。
－ 変数ｂｉｔＤｅｐｔｈはＢｉｔＤｅｐｔｈ_Ｙに等しく設定される。
－ 変数ｓｈｉｆｔ１は、Ｍａｘ（２，１４－ｂｉｔＤｅｐｔｈ）に等しく設定される。
－ 変数ｓｈｉｆｔ２は、Ｍａｘ（８，ｂｉｔＤｅｐｔｈ－４）に等しく設定される。
－ 変数ｓｈｉｆｔ３は、Ｍａｘ（５，ｂｉｔＤｅｐｔｈ－７）に等しく設定される。
－ 変数ｓｈｉｆｔ４をＭａｘ（３，１５－ｂｉｔＤｅｐｔｈ）は等しく設定され、変数ｏｆｆｓｅｔ４は１＜＜（ｓｈｉｆｔ４－１）に等しく設定される。
－ 変数ｍｖＲｅｆｉｎｅＴｈｒｅｓは、Ｍａｘ（２，１＜＜（１３－ｂｉｔＤｅｐｔｈ））に等しく設定される。

ｘＩｄｘ＝０．．（ｎＣｂＷ＞＞２）－１およびｙＩｄｘ＝０．．（ｎＣｂＨ＞＞２）－１の場合、以下が適用される。
－ 変数ｘＳｂを（ｘＩｄｘ＜＜２）＋１に等しく設定し、ｙＳｂを（ｙＩｄｘ＜＜２）＋１に等しく設定する。
－ ｂｄｏｆＵｔｉｌｉｚａｔｉｏｎＦｌａｇ［ｘＳｂＩｄｘ］［ｙＩｄｘ］がＦＡＬＳＥに等しい場合、ｘ＝ｘＳｂ－１．．ｘＳｂ＋２，ｙ＝ｙＳｂ－１．．ｙＳｂ＋２に対して、現在のサブブロックの予測サンプル値は、以下のように導出される。
ｐｂＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（２^{ｂｉｔＤｅｐｔｈ}）－１，（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ＋１］［ｙ＋１］＋ｏｆｆｓｅｔ２＋ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ＋１］［ｙ＋１］）＞＞ｓｈｉｆｔ２） （８－８５２）
－ そうでない場合（ｂｄｏｆＵｔｉｌｉｚａｔｉｏｎＦｌａｇ［ｘＳｂＩｄｘ］［ｙＩｄｘ］がＴＲＵＥに等しい）、現在のサブブロックの予測サンプル値は、以下のように導出される。

－ ｘ＝ｘＳｂ－１．．ｘＳｂ＋４，ｙ＝ｙＳｂ－１．．ｙＳｂ＋４の場合、以下の順序付けられたステップが適用される。
７． 予測サンプルアレイ内の対応するサンプル位置（ｘ，ｙ）の各々の位置（ｈ_ｘ，ｖ_ｙ）は、以下のように導出される。
ｈ_ｘ＝Ｃｌｉｐ３（１，ｎＣｂＷ，ｘ） （８－８５３）
ｖ_ｙ＝Ｃｌｉｐ３（１，ｎＣｂＨ，ｙ） （８－８５４）
８． 変数ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］，ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］，ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］およびｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］は、以下のように導出される。

ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈ_ｘ＋１］［ｖ_ｙ］＞＞ｓｈｉｆｔ１）－（ｐｒｅｄＳａｍｐｌｅＬ０［ｈ_ｘ－１］［ｖ_ｙ］＞＞ｓｈｉｆｔ１） （８－８５５）
ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅＬ０［ｈ_ｘ］［ｖ_ｙ＋１］＞＞ｓｈｉｆｔ１）－（ｐｒｅｄＳａｍｐｌｅＬ０［ｈ_ｘ］［ｖ_ｙ－１］＞＞ｓｈｉｆｔ１） （８－８５６）
ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓＬ１［ｈ_ｘ＋１］［ｖ_ｙ］＞＞ｓｈｉｆｔ１）－（ｐｒｅｄＳａｍｐｌｅＬ１［ｈ_ｘ－１］［ｖ_ｙ］＞＞ｓｈｉｆｔ１） （８－８５７）
ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅＬ１［ｈ_ｘ］［ｖ_ｙ＋１］＞＞ｓｈｉｆｔ１）－（ｐｒｅｄＳａｍｐｌｅＬ１［ｈ_ｘ］［ｖ_ｙ－１］＞＞ｓｈｉｆｔ１） （８－８５８）
９． 変数ｔｅｍｐ［ｘ］［ｙ］，ｔｅｍｐＨ［ｘ］［ｙ］およびｔｅｍｐＶ［ｘ］［ｙ］は、以下のように導出される。
ｄｉｆｆ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈ_ｘ］［ｖ_ｙ］＞＞ｓｈｉｆｔ２）－（ｐｒｅｄＳａｍｐｌｅｓＬ１［ｈ_ｘ］［ｖ_ｙ］＞＞ｓｈｉｆｔ２） （８－８５９）
ｔｅｍｐＨ［ｘ］［ｙ］＝（ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］＋ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］）＞＞ｓｈｉｆｔ３ （８－８６０）
ｔｅｍｐＶ［ｘ］［ｙ］＝（ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］＋ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］）＞＞ｓｈｉｆｔ３ （８－８６１）

－ 変数ｓＧｘ２、ｓＧｙ２、ｓＧｘＧｙ、ｓＧｘｄＩ、ｓＧｙｄＩは、以下のように導出される。
ｓＧｘ２＝Σ_ｉΣ_ｊ（ｔｅｍｐＨ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｔｅｍｐＨ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ＝－１．．４ （８－８６２）
ｓＧｙ２＝Σ_ｉΣ_ｊ（ｔｅｍｐＶ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｔｅｍｐＶ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ＝－１．．４ （８－８６３）
ｓＧｘＧｙ＝Σ_ｉΣ_ｊ（ｔｅｍｐＨ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｔｅｍｐＶ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ－１．．４ （８－８６４）
ｓＧｘｄＩ＝Σ_ｉΣ_ｊ（－ｔｅｍｐＨ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｄｉｆｆ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ＝－１．．４ （８－８６５）
ｓＧｙｄＩ＝Σ_ｉΣ_ｊ（－ｔｅｍｐＶ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｄｉｆｆ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ＝－１．．４ （８－８６６）

－ 現在のサブブロックの水平および垂直方向の動きオフセットは、以下のように導出される。
ｖ_ｘ＝ｓＧｘ２＞０？Ｃｌｉｐ３（－ｍｖＲｅｆｉｎｅＴｈｒｅｓ，ｍｖＲｅｆｉｎｅＴｈｒｅｓ，－（ｓＧｘｄＩ＜＜３）＞＞Ｆｌｏｏｒ（Ｌｏｇ２（ｓＧｘ２）））：０ （８－８６７）
ｖ_ｙ＝ｓＧｙ２＞０？Ｃｌｉｐ３（－ｍｖＲｅｆｉｎｅＴｈｒｅｓ，ｍｖＲｅｆｉｎｅＴｈｒｅｓ，（（ｓＧｙｄＩ＜＜３）－（（ｖ_ｘ＊ｓＧｘＧｙ_ｍ）＜＜１２＋ｖ_ｘ＊ｓＧｘＧｙ_ｓ）＞＞１）＞＞Ｆｌｏｏｒ（Ｌｏｇ２（ｓＧｘ２）））：０ （８－８６８）

－ ｘ＝ｘＳｂ－１．．ｘＳｂ＋２，ｙ＝ｙＳｂ－１．．ｙＳｂ＋２の場合、現在のサブブロックの予測サンプル値は、以下のように導出される。
ｂｄｏｆＯｆｆｓｅｔ＝Ｒｏｕｎｄ（（ｖ_ｘ＊（ｇｒａｄｉｅｎｔＨＬ１［ｘ＋１］［ｙ＋１］－ｇｒａｄｉｅｎｔＨＬ０［ｘ＋１］［ｙ＋１］））＞＞１）＋Ｒｏｕｎｄ（（ｖ_ｙ＊（ｇｒａｄｉｅｎｔＶＬ１［ｘ＋１］［ｙ＋１］－ｇｒａｄｉｅｎｔＶＬ０［ｘ＋１］［ｙ＋１］））＞＞１） （８－８６９）
［Ｅｄ．（ＪＣ）：Ｒｏｕｎｄ（）演算はｆｌｏａｔ入力に対して定義される。Ｒｏｕｎｄ（）演算は入力が整数値であるため、ここでは冗長に見える。推薦人が確認すること］
ｐｂＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（２^{ｂｉｔＤｅｐｔｈ}）－１，（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ＋１］［ｙ＋１］＋ｏｆｆｓｅｔ４＋ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ＋１］［ｙ＋１］＋ｂｄｏｆＯｆｆｓｅｔ）＞＞ｓｈｉｆｔ４） （８－８７０）

ｉｉｉ． 一例

８．５．７．４ 双方向オプティカルフロー予測処理

この処理への入力は以下の通りである。
－ 現在の符号化ブロックの幅および高さを規定する２つの変数ｎＣＢＷおよびｎＣＢＨ、
－ ２つの（ｎＣＢＷ＋２）×（ｎＣＢＨ＋２）輝度予測サンプル配列ｐｒｅｄＳａｍｐｌｅｓＬ０およびｐｒｅｄＳａｍｐｌｅｓＬ１、
－ 予測リスト利用フラグｐｒｅｄＦｌａｇＬ０およびｐｒｅｄＦｌａｇＬ１、
－ 参照インデックスｒｅｆＩｄｘＬ０およびｒｅｆＩｄｘＬ１、
－ 双方向オプティカルフロー利用フラグｂｄｏｆＵｔｉｌｉｚａｔｉｏｎＦｌａｇ［ｘＩｄｘ］［ｙＩｄｘ］、但しｘＩｄｘ＝０．．（ｎＣｂＷ＞＞２）－１，ｙＩｄｘ＝０．．（ｎＣｂＨ＞＞２）－１

この処理の出力は、輝度予測サンプル値の（ｎＣＢＷ）×（ｎＣＢＨ）アレイｐｂＳａｍｐｌｅｓである。

変数ｂｉｔＤｅｐｔｈ、ｓｈｉｆｔ１、ｓｈｉｆｔ２、ｓｈｉｆｔ３、ｓｈｉｆｔ４、ｏｆｆｓｅｔ４、ｏｆｆｓｅｔ５，ｏｆｆｓｅｔ６，、およびｍｖＲｅｆｉｎｅＴｈｒｅｓは、以下のように導出される。
－ 変数ｂｉｔＤｅｐｔｈはＢｉｔＤｅｐｔｈ_Ｙに等しく設定される。
－ 変数ｓｈｉｆｔ１は、Ｍａｘ（２，１４－ｂｉｔＤｅｐｔｈ）に等しく設定される。
－ 変数ｓｈｉｆｔ２は、Ｍａｘ（８，ｂｉｔＤｅｐｔｈ－４）に等しく設定される。
－ 変数ｓｈｉｆｔ３は、Ｍａｘ（５，ｂｉｔＤｅｐｔｈ－７）に等しく設定される。
－ 変数ｓｈｉｆｔ４をＭａｘ（３，１５－ｂｉｔＤｅｐｔｈ）は等しく設定され、変数ｏｆｆｓｅｔ４は１＜＜（ｓｈｉｆｔ４－１）に等しく設定される。
－ 変数ｍｖＲｅｆｉｎｅＴｈｒｅｓは、Ｍａｘ（２，１＜＜（１３－ｂｉｔＤｅｐｔｈ））に等しく設定される。
－ 変数ｏｆｆｓｅｔ５は、（１＜＜（ｓｈｉｆｔ１－１））に等しく設定される。
－ 変数ｏｆｆｓｅｔ６は（１＜＜（ｓｈｉｆｔ２－１））に等しく設定される。

ｘＩｄｘ＝０．．（ｎＣｂＷ＞＞２）－１およびｙＩｄｘ＝０．．（ｎＣｂＨ＞＞２）－１の場合、以下が適用される。
－ 変数ｘＳｂを（ｘＩｄｘ＜＜２）＋１に等しく設定し、ｙＳｂを（ｙＩｄｘ＜＜２）＋１に等しく設定する。
－ ｂｄｏｆＵｔｉｌｉｚａｔｉｏｎＦｌａｇ［ｘＳｂＩｄｘ］［ｙＩｄｘ］がＦＡＬＳＥに等しい場合、ｘ＝ｘＳｂ－１．．ｘＳｂ＋２，ｙ＝ｙＳｂ－１．．ｙＳｂ＋２に対して、現在のサブブロックの予測サンプル値は、以下のように導出される。
ｐｂＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（２^{ｂｉｔＤｅｐｔｈ}）－１，（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ＋１］［ｙ＋１］＋ｏｆｆｓｅｔ２＋ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ＋１］［ｙ＋１］）＞＞ｓｈｉｆｔ２） （８－８５２）
－ そうでない場合（ｂｄｏｆＵｔｉｌｉｚａｔｉｏｎＦｌａｇ［ｘＳｂＩｄｘ］［ｙＩｄｘ］がＴＲＵＥに等しい）、現在のサブブロックの予測サンプル値は、以下のように導出される。

－ ｘ＝ｘＳｂ－１．．ｘＳｂ＋４，ｙ＝ｙＳｂ－１．．ｙＳｂ＋４の場合、以下の順序付けられたステップが適用される。
１０． 予測サンプルアレイ内の対応するサンプル位置（ｘ，ｙ）の各々の位置（ｈ_ｘ，ｖ_ｙ）は、以下のように導出される。
ｈ_ｘ＝Ｃｌｉｐ３（１，ｎＣｂＷ，ｘ） （８－８５３）
ｖ_ｙ＝Ｃｌｉｐ３（１，ｎＣｂＨ，ｙ） （８－８５４）
１１． 変数ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］，ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］，ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］およびｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］は、以下のように導出される。
ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈ_ｘ＋１］［ｖ_ｙ］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈ_ｘ－１］［ｖ_ｙ］＋ｏｆｆｓｅｔ５）＞＞ｓｈｉｆｔ１ （８－８５５）
ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅＬ０［ｈ_ｘ］［ｖ_ｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈ_ｘ］［ｖ_ｙ－１］＋ｏｆｆｓｅｔ５）＞＞ｓｈｉｆｔ１ （８－８５６）
ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓＬ１［ｈ_ｘ＋１］［ｖ_ｙ］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈ_ｘ－１］［ｖ_ｙ］＋ｏｆｆｓｅｔ５）＞＞ｓｈｉｆｔ１ （８－８５７）
ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅＬ１［ｈ_ｘ］［ｖ_ｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈ_ｘ］［ｖ_ｙ－１］＋ｏｆｆｓｅｔ５）＞＞ｓｈｉｆｔ１ （８－８５８）
１２． 変数ｔｅｍｐ［ｘ］［ｙ］，ｔｅｍｐＨ［ｘ］［ｙ］およびｔｅｍｐＶ［ｘ］［ｙ］は、以下のように導出される。

ｄｉｆｆ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈ_ｘ］［ｖ_ｙ］ －ｐｒｅｄＳａｍｐｌｅｓＬ１［ｈ_ｘ］［ｖ_ｙ］＋ｏｆｆｓｅｔ６）＞＞ｓｈｉｆｔ２ （８－８５９）
ｔｅｍｐＨ［ｘ］［ｙ］＝（ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］＋ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］）＞＞ｓｈｉｆｔ３ （８－８６０）
ｔｅｍｐＶ［ｘ］［ｙ］＝（ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］＋ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］）＞＞ｓｈｉｆｔ３ （８－８６１）

－ 変数ｓＧｘ２、ｓＧｙ２、ｓＧｘＧｙ、ｓＧｘｄＩ、ｓＧｙｄＩは、以下のように導出される。
ｓＧｘ２＝Σ_ｉΣ_ｊ（ｔｅｍｐＨ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｔｅｍｐＨ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ＝－１．．４ （８－８６２）
ｓＧｙ２＝Σ_ｉΣ_ｊ（ｔｅｍｐＶ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｔｅｍｐＶ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ＝－１．．４ （８－８６３）
ｓＧｘＧｙ＝Σ_ｉΣ_ｊ（ｔｅｍｐＨ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｔｅｍｐＶ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ－１．．４ （８－８６４）
ｓＧｘｄＩ＝Σ_ｉΣ_ｊ（－ｔｅｍｐＨ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｄｉｆｆ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ＝－１．．４ （８－８６５）
ｓＧｙｄＩ＝Σ_ｉΣ_ｊ（－ｔｅｍｐＶ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｄｉｆｆ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ＝－１．．４ （８－８６６）

－ 現在のサブブロックの水平および垂直方向の動きオフセットは、以下のように導出される。
ｖ_ｘ＝ｓＧｘ２＞０？Ｃｌｉｐ３（－ｍｖＲｅｆｉｎｅＴｈｒｅｓ，ｍｖＲｅｆｉｎｅＴｈｒｅｓ，－（ｓＧｘｄＩ＜＜３）＞＞Ｆｌｏｏｒ（Ｌｏｇ２（ｓＧｘ２）））：０ （８－８６７）
ｖ_ｙ＝ｓＧｙ２＞０？Ｃｌｉｐ３（－ｍｖＲｅｆｉｎｅＴｈｒｅｓ，ｍｖＲｅｆｉｎｅＴｈｒｅｓ，（（ｓＧｙｄＩ＜＜３）－（（ｖ_ｘ＊ｓＧｘＧｙ_ｍ）＜＜１２＋ｖ_ｘ＊ｓＧｘＧｙ_ｓ）＞＞１）＞＞Ｆｌｏｏｒ（Ｌｏｇ２（ｓＧｘ２）））：０ （８－８６８）

－ ｘ＝ｘＳｂ－１．．ｘＳｂ＋２，ｙ＝ｙＳｂ－１．．ｙＳｂ＋２の場合、現在のサブブロックの予測サンプル値は、以下のように導出される。
ｂｄｏｆＯｆｆｓｅｔ＝Ｒｏｕｎｄ（（ｖ_ｘ＊（ｇｒａｄｉｅｎｔＨＬ１［ｘ＋１］［ｙ＋１］－ｇｒａｄｉｅｎｔＨＬ０［ｘ＋１］［ｙ＋１］））＞＞１）＋Ｒｏｕｎｄ（（ｖ_ｙ＊（ｇｒａｄｉｅｎｔＶＬ１［ｘ＋１］［ｙ＋１］－ｇｒａｄｉｅｎｔＶＬ０［ｘ＋１］［ｙ＋１］））＞＞１） （８－８６９）
［Ｅｄ．（ＪＣ）：Ｒｏｕｎｄ（）演算はｆｌｏａｔ入力に対して定義される。Ｒｏｕｎｄ（）演算は入力が整数値であるため、ここでは冗長に見える。推薦人が確認すること］
ｐｂＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（２^{ｂｉｔＤｅｐｔｈ}）－１，（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ＋１］［ｙ＋１］＋ｏｆｆｓｅｔ４＋ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ＋１］［ｙ＋１］＋ｂｄｏｆＯｆｆｓｅｔ）＞＞ｓｈｉｆｔ４） （８－８７０）

図８は、映像処理装置８００のブロック図である。装置８００は、本明細書に記載の方法の１つ以上を実装するために使用してもよい。装置８００は、スマートフォン、タブレット、コンピュータ、ＩｏＴ（モノのインターネット）受信機等により実施されてもよい。装置８００は、１つ以上の処理装置８０２と、１つ以上のメモリ８０４と、映像処理ハードウェア８０６と、を含んでもよい。１つまたは複数の処理装置８０２は、本明細書に記載される１つ以上の方法を実装するように構成されてもよい。メモリ（複数可）８０４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア８０６は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。映像処理ハードウェア８０６は、専用ハードウェア、またはグラフィカル処理装置ユニット（ＧＰＵ）若しくは専用信号処理ブロックの形式で、処理装置８０２内に部分的にまたは完全に含まれてもよい。

図１０は、映像を処理する方法１０００のフローチャートである。方法１０００は、第１の映像ブロックの特徴の判定（１００５）を行うことであって、前記特徴は、前記第１の映像ブロックに関連付けられた参照ブロック間の差を含み、前記差は、絶対変換差の合計（ＳＡＴＤ）、平均値分離絶対変換差の合計（ＭＲＳＡＴＤ）、二乗誤差の合計（ＳＳＥ）、平均値分離二乗誤差の合計（ＭＲＳＳＥ）、平均値の差、または勾配値の１つ以上を含む、判定を行うことと、前記第１の映像ブロックの特徴に基づいて、双方向オプティカルフロー（ＢＩＯ）技法またはデコーダ側動きベクトル改良（ＤＭＶＲ）技法のうちの一方または両方の動作状態を判定すること（１０１０）であって、前記動作状態は、有効化されているまたは無効化されている、の一方である、判定することと、前記ＢＩＯ技法または前記ＤＭＶＲ技法のうちの一方または両方の前記動作状態に準拠した前記第１の映像ブロックの処理をさらに行うこと（１０１５）と、を含む。

図１１は、映像を処理する方法１１００のフローチャートである。方法１１００は、第１の参照ブロックを修正（１１０５）して第１の修正された参照ブロックを生成し、第２の参照ブロックを修正して第２の修正された参照ブロックを生成することであって、前記第１の参照ブロックおよび前記第２の参照ブロックは、第１の映像ブロックに関連付けられている、生成することと、前記第１の修正された参照ブロックと前記第２の修正された参照ブロックとの間の差を行うこと（１１１０）であって、前記差は、絶対変換差の合計（ＳＡＴＤ）、平均値分離絶対変換差の合計（ＭＲＳＡＴＤ）、二乗誤差の合計（ＳＳＥ）、平均値分離二乗誤差の合計（ＭＲＳＳＥ）、平均値の差、または勾配値の１つ以上を含む、差を行うことと、前記第１の修正された参照ブロックと前記第２の修正された参照ブロックとの間の差に基づいて前記第１の映像ブロックをさらに処理することを行うこと（１１１５）と、を含む。

図１２は、映像を処理する方法１２００のフローチャートである。前記方法１２００は、第１の映像ブロックに関連付けられた第１の参照ブロックの一部分と第２の参照ブロックの一部分との間の差を判定すること（１２０５）であって、前記差は、絶対変換差の合計（ＳＡＴＤ）、平均値分離絶対変換差の合計（ＭＲＳＡＴＤ）、二乗誤差の合計（ＳＳＥ）、平均値分離二乗誤差の合計（ＭＲＳＳＥ）、平均値の差、または勾配値の１つ以上を含む、差を判定することと、前記差に基づいて前記第１の映像ブロックのさらなる処理を行うこと（１２１０）と、を含む。

図１３は、映像を処理する方法１３００のフローチャートである。方法１３００は、第１の映像ブロックに関連付けられた参照ピクチャを使用して時間的勾配または修正された時間的勾配を判定すること（１３０５）であって、前記時間的勾配または前記修正された時間的勾配は、前記参照ピクチャ間の差を示す、判定することと、前記差にしたがって双方向オプティカルフロー（ＢＩＯ）符号化ツールを使用して前記第１の映像ブロックのさらなる処理を行うこと（１３１０）と、を含む。

図１４は、映像を処理する方法１４００のフローチャートである。前記方法１４００は、第１の映像ブロックに関連付けられた参照ピクチャを使用して時間的勾配を判定すること（１４０５）と、修正された時間的勾配を生成するために前記時間的勾配を修正すること（１４１０）と、前記修正された時間的勾配を使用して前記第１の映像ブロックのさらなる処理を行うこと（１４１５）と、を含む。

図１５は、映像を処理する方法１５００のフローチャートである。方法１５００は、第１の映像ブロックに関連付けられた第１の相互参照ブロックおよび第２の相互参照ブロックの一方または両方を修正すること（１５０５）と、前記修正された第１の相互参照ブロックまたは前記修正された第２の相互参照ブロックの一方または両方を使用して、双方向オプティカルフロー符号化ツール（ＢＩＯ）に従った空間的勾配を判定すること（１５１０）と、前記空間的勾配に基づいて前記第１の映像ブロックのさらなる処理を行うこと（１５１５）と、を含む。

図１６は、映像を処理する方法１６００のフローチャートである。方法１６００は、ブロックレベルで信号通知されたフラグが、第１の映像ブロックに対して、デコーダ側動きベクトル改良（ＤＭＶＲ）または双方向オプティカルフロー（ＢＩＯ）のうちの一方または両方を有効にするべきであることを示す判定を行うこと（１６０５）と、前記第１の映像ブロックのさらなる処理を行うこと（１６１０）であって、前記フラグに準拠したＤＭＶＲまたはＢＩＯの一方または両方を適用することを含む前記処理を行うことと、を含む。

方法１０００、１１００、１２００、１３００、１４００、１５００、および１６００を参照すると、双方向オプティカルフロー（ＢＩＯ）またはデコーダ側動きベクトル改良（ＤＭＶＲ）の使用を判定するいくつかの例が、本明細書の第４章に記載されている。例えば、第４章で説明したように、参照ブロック間の差を判定してもよく、この差を使用してＢＩＯまたはＤＭＶＲを有効化または無効化してもよい。

方法１０００、１１００、１２００、１３００、１４００、１５００および１６００を参照すると、映像ブロックは、動き情報予測に関するビットストリーム生成規則を使用することによって、ビット効率を達成し得る映像ビットストリームにおいて符号化されてもよい。

前記方法は、ＢＩＯ技法またはＤＭＶＲ技法の動作状態がブロックレベルとサブブロックレベルとで異なることを含むことができる。

前記方法は、前記勾配値、前記勾配値の平均、または前記勾配値の範囲のうちの１つ以上が閾値範囲の中に含まれることを判定することを含み、前記動作状態を判定することが、前記勾配値、前記勾配値の平均、または前記勾配値の範囲が閾値範囲の中に含まれることの判定に基づく。

前記方法は、動作状態を判定することが、映像パラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、またはスライスヘッダにおいて、エンコーダからデコーダに信号通知される情報にさらに基づいて行われることを含むことができる。

前記方法は、ＳＡＴＤ、ＭＲＳＡＴＤ、ＳＳＥまたはＭＲＳＳＥに基づいて、第１の映像ブロックの改良された動きベクトルを判定することを含むことができ、改良された動きベクトルに基づいてさらなる処理を行う。

前記方法は、前記改良された動きベクトルをＳＡＴＤまたはＭＲＳＡＴＤに基づいて判定することを含むことができ、前記方法は、前記第１の映像ブロックの各サブブロックに対してＳＡＴＤまたはＭＲＳＡＴＤを判定することと、各サブブロックに対するＳＡＴＤまたはＭＲＳＡＴＤの合計に基づいて、前記第１の映像ブロックに対する前記ＳＡＴＤまたはＭＲＳＡＴＤを生成することと、をさらに含み、前記第１の映像ブロックのさらなる処理は、生成されたＳＡＴＤまたはＭＲＳＡＴＤに基づいて行われる。

前記方法は、前記第１の映像ブロックの２つの参照ブロックの平均値の差が閾値よりも大きいことを判定することを含むことができ、前記２つの参照ブロックの前記平均値の差に基づいて、ＢＩＯまたはＤＭＶＲの一方または両方が無効化された動作状態にある。

前記方法は、前記第１の映像ブロックのサブブロックのうち、２つの参照サブブロックの平均値の差が閾値よりも大きいことを判定することを含むことができ、前記２つの参照サブブロックの前記平均値の差に基づいて、ＢＩＯまたはＤＭＶＲの一方または両方が無効化された動作状態にある。

前記方法は、前記閾値が予め規定されることを含むことができる。

前記方法は、前記第１の映像ブロックの寸法を判定することを含むことができ、前記閾値は、前記第１の映像ブロックの前記寸法に基づく。

前記方法は、前記第１の参照ブロックおよび前記第２の参照ブロックを修正することが、前記第１の参照ブロックから前記第１の参照ブロックの平均を減算することを含むことができる。

前記方法は、前記第１の参照ブロックおよび前記第２の参照ブロックの前記一部分が偶数行を含むことを含むことができる。

前記方法は、前記第１の参照ブロックおよび前記第２の参照ブロックの前記一部分がコーナーサンプルを含むことを含むことができる。

前記方法は、前記第１の参照ブロックおよび前記第２の参照ブロックの前記一部分が、代表的なサブブロックを含むことを含むことができる。

前記方法は、前記代表的なサブブロック間の差を合計し、前記第１の参照ブロックまたは前記第２の参照ブロックの差を生成することを含むことができる。

前記方法は、前記差が前記時間的勾配の絶対値の合計に関することを含むことができる。

前記方法は、時間的勾配を修正することが、参照ブロック間の平均絶対差が閾値よりも大きいことに基づくことを含むことができる。

前記方法は、前記閾値が４であることを含むことができる。

前記方法は、時間的勾配を修正することが、参照ブロック間の平均絶対差が閾値未満であることに基づくことを含むことができる。

前記方法は、前記閾値が２０であることを含むことができる。

前記方法は、時間的勾配を修正することが、閾値範囲内にある参照ブロック間の平均絶対差に基づくことを含むことができる。

前記方法は、前記平均絶対差が閾値よりも大きいことに基づいて、ＢＩＯが無効化された動作状態にあることを含むことができる。

前記方法は、前記閾値または前記閾値範囲が、ＶＰＳ、ＳＰＳ、ＰＰＳ、ピクチャ、スライス、またはタイルレベルで示されることを含むことができる。

前記方法は、異なる符号化ユニット（ＣＵ）、最大符号化ユニット（ＬＣＵ）、スライス、タイル、またはピクチャごとに、前記閾値または前記閾値範囲が異なることを含むことができる。

前記方法は、前記閾値または前記閾値範囲が、復号化または符号化された画素値に基づくものであることを含むことができる。

前記方法は、前記閾値または前記閾値範囲が参照ピクチャに基づくものであることを含むことができる。

前記方法は、前記空間的勾配を判定することが、各予測方向におけるイントラ予測ブロックおよびインター予測ブロックの重み付け平均を判定することを含むことができる。

前記方法は、前記フラグが高度動きベクトル予測（ＡＭＶＰ）モードで提供されることと、マージモードにおいて、空間的に近傍のブロックまたは時間的に近傍のブロックの一方または両方から前記フラグを継承することとを含むことができる。

前記方法は、単一予測ブロックのために前記フラグが信号通知されないことを含むことができる。

前記方法は、表示順に前のピクチャまたは後のピクチャである参照ピクチャを使用して、双方向予測ブロックに対して前記フラグを信号通知しないことを含むことができる。

前記方法は、双方向予測ブロックに対して前記フラグが信号通知されないことを含むことができる。

前記方法は、フラグがイントラ符号化されたブロックのために信号通知されないことを含むことができる。

前記方法は、ハイブリッドのイントラおよびインター予測モードで符号化されたブロックに対して前記フラグを信号通知しないことを含むことができる。

前記方法は、前記第１の映像ブロックの次元に基づいて前記フラグを信号通知することを含むことができる。

前記方法は、フラグがＶＰＳ、ＳＰＳ、またはＰＰＳで信号通知されることを含むことができる。

前記方法は、前記フラグが、前記第１の映像ブロックに関連付けられたピクチャの時間層に基づくことを含むことができる。

前記方法は、前記フラグが、前記第１の映像ブロックに関連付けられたピクチャの量子化パラメータ（ＱＰ）に基づくことを含むことができる。

図１７は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム１７００を示すブロック図である。様々な実装形態は、システム１７００のモジュールの一部又は全部を含んでもよい。システム１７００は、映像コンテンツを受信するための入力ユニット１７０２を含んでもよい。映像コンテンツは、未加工又は非圧縮フォーマット、例えば、８又は１０ビットのマルチコンポーネント画素値で受信されてもよく、又は圧縮又は符号化フォーマットで受信されてもよい。入力ユニット１７０２は、ネットワークインターフェース、周辺バスインターフェース、又は記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット（登録商標）、受動光ネットワーク（ＰＯＮ）等の有線インターフェース、およびＷｉ－Ｆｉ（登録商標）またはセルラーインターフェース等の無線インターフェースを含む。

システム１７００は、本明細書に記載される様々な符号化又は符号化方法を実装することができる符号化モジュール１７０４を含んでもよい。符号化モジュール１７０４は、入力ユニット１７０２から符号化モジュール１７０４の出力への映像の平均ビットレートを低減して、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮または映像コード変換技術と呼ばれることがある。符号化モジュール１７０４の出力は、モジュール１７０６によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット１７０２において受信された、記憶された又は通信された映像のビットストリーム（又は符号化）表現は、モジュール１７０８によって使用されて、表示インターフェースユニット１７１０に送信される画素値又は表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像復元と呼ばれることがある。さらに、特定の映像処理動作を「符号化」動作又はツールと呼ぶが、符号化ツール又は動作はエンコーダで使用され、符号化の結果を逆にし対応する復号化ツール又は動作が、デコーダによって行われることが理解されよう。

周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニバーサルシリアルバス（ＵＳＢ）または高精細マルチメディアインターフェース（ＨＤＭＩ（登録商標））またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、シリアルアドバンスドテクノロジーアタッチメント（ＳＡＴＡ）、ＰＣＩ、ＩＤＥインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、又はデジタルデータ処理及び／又は映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。

理解されるように、前記開示された技法は、圧縮されている前記符号化ユニットが、前記従来の正方形のブロックまたは半正方形の長方形のブロックとは大きく異なる形状を有する場合、圧縮効率を向上させるために、映像エンコーダまたはデコーダに実施されてもよい。例えば、４×３２または３２×４サイズのユニットのような長いまたは高い符号化ユニットを使用する新しい符号化ツールは、開示された技術から恩恵を受けることができる。

いくつかの実装形態において、映像処理方法は次のように行ってもよい。

映像ブロックと前記映像ブロックのビットストリーム表現との間での変換中に、空間的勾配および時間的勾配を計算するフィルタリングの方法を使用し、
前記フィルタリングを使用して前記変換を行う。
ここで、この変換は、映像ブロックの画素値からビットストリーム表現を生成すること、またはビットストリーム表現から画素値を生成することを含む。

いくつかの実施形態において、前記空間的および時間的勾配は、シフトされたサンプル差を使用して算出される。

いくつかの実施形態において、前記空間的および時間的勾配は、修正されたサンプルを使用して算出される。

前記方法のさらなる詳細は、第４章に記載の項目１に記載されている。

図１８は、映像処理方法の例を示すフローチャートである。前記方法のステップは、本願の第４章の実施例２に記載されている。この方法は、視覚メディアデータの現在のブロックと対応する視覚メディアデータの符号化表現との間で変換を行うこと（ステップ１８０５）であって、この現在のブロックを変換することは、双方向オプティカルフロー（ＢＩＯ）技法またはデコーダ側動きベクトル改良（ＤＭＶＲ）技法の一方または両方を使用することが現在のブロックに対して有効または無効化されるかどうかを判定することを含み、ＢＩＯ技法またはＤＭＶＲ技法の使用を判定することは、現在のブロックに関連付けられたコスト基準に基づく、変換を行うことを含む。

図１９は、映像処理方法の例を示すフローチャートである。前記方法のステップは、本願の第４章の実施例３に記載されている。この方法は、視覚メディアデータの現在のブロックと対応する前記視覚メディアデータの符号化表現との間で変換を行うこと（ステップ１９０５）であって、前記現在のブロックを前記変換することは、デコーダ側動きベクトル改良（ＤＭＶＲ）技法の前記現在のブロックでの使用が有効化されているか無効化されているかを判定することを含み、前記ＤＭＶＲ技法は、平均除去絶対差の合計（ＭＲＳＡＤ）コスト基準以外のコスト基準に基づいて前記現在のブロックの動き情報を改良することを含む、変換を行うことを含む。

図２０は、映像処理方法の例を示すフローチャートである。前記方法のステップは、本願の第４章の実施例４に記載されている。この方法は、視覚メディアデータの現在のブロックと対応する前記視覚メディアデータの符号化表現との間で変換を行うこと（ステップ２００５）であって、前記現在のブロックを前記変換することは、双方向オプティカルフロー（ＢＩＯ）技法またはデコーダ側動きベクトル改良（ＤＭＶＲ）技法の一方または両方を使用することが前記現在のブロックに対して有効または無効化されるかどうかを判定することを含み、前記ＢＩＯ技法または前記ＤＭＶＲ技法の前記使用を判定することは、前記現在のブロックに関連付けられた１対の参照ブロックの平均値の差が閾値を超えることを計算することに基づく、変換を行うことを含む。

図２１は、映像処理方法の例を示すフローチャートである。前記方法のステップは、本願の第４章の実施例６に記載されている。前記方法は、第１の参照ブロックを修正して第１の修正された参照ブロックを生成し、第２の参照ブロックを修正して第２の修正された参照ブロックを生成すること（ステップ２１０５）であって、前記第１の参照ブロックおよび前記第２の参照ブロックの両方は、視覚メディアデータの現在のブロックに関連付けられている、生成することを含む。前記方法は、さらに、前記第１の修正された参照ブロックと前記第２の修正された参照ブロックとの間の差を判定すること（ステップ２１１０）であって、前記差は、絶対変換差の合計（ＳＡＴＤ）、平均値分離絶対変換差の合計（ＭＲＳＡＴＤ）、二乗誤差の合計（ＳＳＥ）、平均値分離二乗誤差の合計（ＭＲＳＳＥ）、平均値の差、または勾配値の１つ以上を含む、判定することを含む。前記方法は、視覚メディアデータの現在のブロックと、対応する視覚メディアデータの符号化表現との間での変換を行うこと（ステップ２１１５）であって、前記変換は、前記第１の参照ブロックおよび前記第２の参照ブロックをそれぞれ修正することから生成された、前記第１の修正された参照ブロックと前記第２の修正された参照ブロックとの間の前記差の使用を含む、変換を行うことを含む。

図２２は、映像処理方法の例を示すフローチャートである。前記方法のステップは、本願の第４章の実施例７に記載されている。本方法は、視覚メディアデータの現在のブロックに関連付けられた参照ピクチャを使用して、参照ピクチャ間の差を示す時間的勾配または修正された時間的勾配を判定すること（ステップ２２０５）であって、前記時間的勾配または前記修正された時間的勾配は、前記参照ピクチャ間の差を表す、判定することを含む。前記方法は、視覚メディアデータの現在のブロックと対応する前記視覚メディアデータの符号化表現との間で変換を行うこと（ステップ２２１０）であって、前記変換は、時間的勾配または修正された時間的勾配に部分的に基づいて双方向オプティカルフロー（ＢＩＯ）技法を使用することを含む、変換を行うことを含む。

図２３は、映像処理方法の例を示すフローチャートである。前記方法のステップは、本願の第４章の実施例８に記載されている。前記方法は、第１の映像ブロックまたはそのサブブロックに関連付けられた参照ピクチャを使用して第１の時間的勾配を判定すること（ステップ２３０５）を含む。前記方法は、第２の映像ブロックまたはそのサブブロックに関連付けられた参照ピクチャを使用して第２の時間的勾配を判定すること（ステップ２３１０）を含む。前記方法は、修正された第１の時間的勾配および修正された第２の時間的勾配を生成するために、前記第１の時間的勾配の修正および前記第２の時間的勾配の修正を行うこと（ステップ２３１５）であって、前記第１の映像ブロックに関連付けられた前記第１の時間的勾配の前記修正は、前記第２の映像ブロックに関連付けられた前記第２の時間的勾配の前記修正とは異なる、修正を行うことを含む。前記方法は、前記第１の映像ブロックおよび前記第２の映像ブロックの、これらの対応する符号化表現への変換を行うこと（ステップ２３２０）を含む。

図２４は、映像処理方法の例を示すフローチャートである。前記方法のステップは、本願の第４章の実施例９に記載されている。前記方法は、前記現在のブロックに関連付けられた第１の相互参照ブロックおよび第２の相互参照ブロックの一方または両方を修正すること（ステップ２４０５）を含む。本方法は、修正された第１の相互参照ブロックおよび／または前記修正された第２の相互参照ブロックの前記一方または両方を使用することに基づいて、双方向オプティカル（ＢＩＯ）フロー技法を適用することにしたがって、前記現在のブロックに関連付けられた空間的勾配を判定すること（ステップ２４１０）を含む。前記方法は、前記現在のブロックおよび対応する符号化表現の間での変換を行うこと（ステップ２４１５）であって、前記変換は、前記現在のブロックに関連付けられた前記空間的勾配の使用を含む、変換を行うことを含む。

図２５は、映像処理方法の例を示すフローチャートである。前記方法のステップは、本願の第４章の実施例１０に記載されている。前記方法は、処理装置によって、ブロックレベルで信号通知されたフラグが、現在のブロックに対して、デコーダ側動きベクトル改良（ＤＭＶＲ）技法または双方向オプティカルフロー（ＢＩＯ）技法のうちの一方または両方を有効にするべきであることを少なくとも部分的に示す判定を行うこと（ステップ２５０５）を含む。前記方法は、前記現在のブロックと対応する符号化表現との間で変換を行うこと（ステップ２５１０において）であって、前記符号化表現は、前記ＤＭＶＲ技法および／または前記ＢＩＯ技法のうちの前記一方または両方を有効にするかどうかを示す前記フラグを含む、変換を行うことを含む。

図２６は、映像処理方法の例を示すフローチャートである。前記方法のステップは、本願の第４章の実施例１１に記載されている。前記方法は、処理装置により、現在のブロックに対してデコーダ側動きベクトル改良（ＤＭＶＲ）技法を有効にするべきであるという判定を行うこと（ステップ２６０５）であって、前記判定は、前記現在のブロックの高さに排他的に基づく、判定を行うことを含む。前記方法は、前記現在のブロックと対応する符号化表現との間で変換を行うこと（ステップ２６１０）を含む。

図２７は、映像処理方法の例を示すフローチャートである。前記方法のステップは、本願の第４章の実施例１２に記載されている。この方法は、視覚メディアデータの現在のブロックと対応する視覚メディアデータの符号化表現との間で変換を行うこと（ステップ２７０５において）であって、前記変換は、現在のブロックに対して、デコーダ側動きベクトル改良（ＤＭＶＲ）技法または双方向オプティカルフロー（ＢＩＯ）技法の一方または両方に関連付けられた規則を使用することを含み、前記ＤＭＶＲ技法に関連付けられた規則は、前記ＢＩＯ技法への適用に準拠しており、前記ＢＩＯ技法または前記ＤＭＶＲ技法の前記一方または両方の前記使用が有効化されているか無効化されているかを判定することは、前記規則を適用することに基づく、変換を行うことを含む。

本技術のいくつかの実施形態は、項に基づく形式で説明される。

１． 視覚メディア処理方法であって、
視覚メディアデータの現在のブロックと対応する視覚メディアデータの符号化表現との間で変換を行うことを含み、
この現在のブロックを変換することは、双方向オプティカルフロー（ＢＩＯ）技法またはデコーダ側動きベクトル改良（ＤＭＶＲ）技法の一方または両方を使用することが現在のブロックに対して有効または無効化されるかどうかを判定することを含み、
ＢＩＯ技法またはＤＭＶＲ技法の使用を判定することは、現在のブロックに関連付けられたコスト基準に基づく、
方法。

２． 前記コスト基準は、前記差は、絶対変換差の合計（ＳＡＴＤ）、平均値分離絶対変換差の合計（ＭＲＳＡＴＤ）、二乗誤差の合計（ＳＳＥ）、平均値分離二乗誤差の合計（ＭＲＳＳＥ）、平均値の差、または勾配値の１つ以上に基づく、第１項に記載の方法。

３． 前記コスト基準は、前記現在のブロックのサブブロックに関連付けられる、第１～２項のいずれか１項以上に記載の方法。

４． サブブロックレベルのコスト基準がブロックレベルのコスト基準と異なる、第３項に記載の方法。

５． 前記勾配値、勾配値の平均、または勾配値の範囲の１つ以上が閾値範囲外であると判定されると、前記ＢＩＯ技法および／またはＤＭＶＲ技法の適用を無効化すること、をさらに含む、第１項から第４項のいずれか１項以上に記載の方法。

６． 前記現在のブロックに関連付けられた前記コスト基準が、前記符号化表現で信号通知される、第１項に記載の方法。

７． 前記コスト基準は、映像パラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、またはスライスヘッダで信号通知される、第６項に記載の方法。

８． 視覚メディア処理方法であって、
視覚メディアデータの現在のブロックと対応する視覚メディアデータの符号化表現との間で変換を行うことを含み、
この現在のブロックを変換することは、双方向オプティカルフロー（ＢＩＯ）技法またはデコーダ側動きベクトル改良（ＤＭＶＲ）技法の一方または両方を使用することが現在のブロックに対して有効化または無効化されるかどうかを判定することを含み、
このＤＭＶＲ技法は、平均除去絶対差の合計（ＭＲＳＡＤ）コスト基準以外のコスト基準に基づいて、現在のブロックの動き情報を改良することを含む、
方法。

９． 現在のブロックに関連付けられたコスト基準は、絶対変換差の合計（ＳＡＴＤ）、平均値分離絶対変換差の合計（ＭＲＳＡＴＤ）、二乗誤差の合計（ＳＳＥ）、または平均値分離二乗誤差の合計（ＭＲＳＳＥ））のうちの１つ以上に基づく、第８項に記載の方法。

１０． 前記コスト基準は、前記現在のブロックのサブブロックに関連付けられる、第８～９項のいずれか１項以上に記載の方法。

１１． 現在のブロックをサイズＭ×Ｎの複数のサブブロックに分割することであって、コスト基準は、複数のサブブロックの各々に関連付けられた動き情報に基づく、分割することと、
複数のサブブロックの各々に対応するコストを生成することと、
をさらに含む、第１０項に記載の方法。

１２． 複数のサブブロックの各々に対応するコストの少なくとも１つのサブセットを合計し、現在のブロックに関連付けられた結果としてのコストを生成すること、をさらに含む、第１１項に記載の方法。

１３． 視覚メディア処理方法であって、
視覚メディアデータの現在のブロックと対応する視覚メディアデータの符号化表現との間で変換を行うことを含み、
この現在のブロックを変換することは、双方向オプティカルフロー（ＢＩＯ）技法またはデコーダ側動きベクトル改良（ＤＭＶＲ）技法の一方または両方を使用することが現在のブロックに対して有効または無効化されるかどうかを判定することを含み、
ＢＩＯ技法またはＤＭＶＲ技法の使用を判定することは、現在のブロックに関連付けられた１対の参照ブロックの平均値の差が閾値を超えることを計算することに基づく、
方法。

１４． 前記閾値は第１の閾値であり、さらに、
前記現在のブロックの１つのサブブロックに関連付けられた１対の参照サブブロックの平均値の差が第２の閾値を超えた場合、前記ＢＩＯ技法および／または前記ＤＭＶＲ技法の適用を無効化することを含む、第１３項に記載の方法。

１５． 前記第１の閾値および／または前記第２の閾値は、予め規定された数である、第１４項に記載の方法。

１６． 前記第１の閾値および／または前記第２の閾値は、前記現在のブロックの寸法に基づく、項目１４に記載の方法。

１７． 視覚メディア処理方法であって、
第１の参照ブロックを修正して第１の修正された参照ブロックを生成し、第２の参照ブロックを修正して第２の修正された参照ブロックを生成することであって、前記第１の参照ブロックおよび前記第２の参照ブロックの両方が、視覚メディアデータの現在のブロックに関連付けられている、修正することと、
前記第１の修正された参照ブロックと前記第２の修正された参照ブロックとの間の差を判定することであって、前記差は、絶対変換差の合計（ＳＡＴＤ）、平均値分離絶対変換差の合計（ＭＲＳＡＴＤ）、二乗誤差の合計（ＳＳＥ）、平均値分離二乗誤差の合計（ＭＲＳＳＥ）、平均値の差、または勾配値の１つ以上を含む、差を判定することと、
視覚メディアデータの現在のブロックと、対応する視覚メディアデータの符号化表現との間での変換を行うことであって、前記変換は、前記第１の参照ブロックおよび前記第２の参照ブロックをそれぞれ修正することから生成された前記第１の修正された参照ブロックと前記第２の修正された参照ブロックとの間の前記差の使用を含む、変換を行うことと、
を含む方法。

１８． 前記第１の参照ブロックと塩基第２の参照ブロックを前記修正することは、
前記第１の参照ブロックに含まれるサンプル値に基づいて第１の算術平均と、前記第２の参照ブロックに含まれるサンプル値に基づいて第２の算術平均を算出することと、
前記第１の参照ブロックに含まれるサンプルから前記第１の算術平均を減算し、前記第２の参照ブロックに含まれるサンプルから前記第２の算術平均を減算することと、を含む、第１７項に記載の方法。

１９． 前記第１の算術平均および前記第２の算術平均は、前記第１の参照ブロックおよび前記第２の参照ブロックにそれぞれ含まれるサンプルのサブセットに基づく、第１８項に記載の方法。

２０． 前記第１の参照ブロックおよび／または前記第２の参照ブロックは、現在のブロックに関連付けられたサブブロックである、第１７～１９項のいずれか１項以上に記載の方法。

２１． 視覚メディア処理方法であって、
視覚メディアデータの現在のブロックに関連付けられた参照ピクチャを使用して、参照ピクチャ間の差を示す時間的勾配または修正された時間的勾配を判定することであって、前記時間的勾配または前記修正された時間的勾配は、前記参照ピクチャ間の差を表す、判定することと、
視覚メディアデータの現在のブロックと対応する前記視覚メディアデータの符号化表現との間で変換を行うことであって、前記変換は、時間的勾配または修正された時間的勾配に部分的に基づいて双方向オプティカルフロー（ＢＩＯ）技法を使用することを含む、変換を行うことと、を含む、
方法。

２２． 時間的勾配または修正された時間的勾配が閾値以下であることを判定することに応じて、ＢＩＯ技法を早期に終了させること、をさらに含む、第２１項に記載の方法。

２３． 時間的勾配または修正された勾配の絶対値の合計を計算するために使用されるサンプルの数に基づいて閾値を調整すること、をさらに含む、第２２項に記載の方法。

２４． 前記方法は、前記差が前記時間的勾配の絶対値の合計に関することを含む、第２１～２３項のうちのいずれか１項以上に記載の方法。

２５． 前記参照ピクチャ間の前記差が、第１の参照ピクチャの第１の部分と第２の参照ピクチャの第２の部分との間の差に対応する、第２１～２４項のいずれか１項以上に記載の方法。

２６． 前記参照ピクチャは、前記現在のブロックのサブブロックに関連付けられる、第２１～２５項のいずれか１項以上に記載の方法。

２７． 視覚メディア処理方法であって、
第１の映像ブロックまたはそのサブブロックに関連付けられた参照ピクチャを使用して第１の時間的勾配を判定することと、
第２の映像ブロックまたはそのサブブロックに関連付けられた参照ピクチャを使用して第２の時間的勾配を判定することと、
修正された第１の時間的勾配および修正された第２の時間的勾配を生成するために、前記第１の時間的勾配の修正および前記第２の時間的勾配の修正を行うことであって、前記第１の映像ブロックに関連付けられた前記第１の時間的勾配の前記修正は、前記第２の映像ブロックに関連付けられた前記第２の時間的勾配の前記修正とは異なる、修正を行うことと、
前記第１の映像ブロックおよび前記第２の映像ブロックの、これらに対応する符号化表現への変換を行うことと、を含む、方法。

２８． 前記第１の時間的勾配の前記修正および／または前記第２の時間的勾配の前記修正は、前記第１の映像ブロックおよび／または前記第２の映像ブロックに関連付けられた前記参照ピクチャ間の平均絶対差が閾値よりも大きいことに条件付きで基づく、第２７項に記載の方法。

２９． 前記閾値は４である、第２８項に記載の方法。

３０． 前記第１の時間的勾配の前記修正および／または前記第２の時間的勾配の前記修正は、前記第１の映像ブロックおよび／または前記第２の映像ブロックに関連付けられた前記参照ピクチャ間の平均絶対差が閾値より小さいことに条件付きで基づく、第２７項に記載の方法。

３１． 前記閾値は２０である、第３０項に記載の方法。

３２． 前記第１の時間的勾配の前記修正および／または前記第２の時間的勾配の前記修正は、前記第１の映像ブロックおよび／または前記第２の映像ブロックに関連付けられた前記参照ピクチャ間の平均絶対差が閾値範囲内にあることに条件付きで基づく、第２７項に記載の方法。

３３． 前記第１の映像ブロックおよび／または前記第２の映像ブロックに関連付けられた前記参照ピクチャの間の平均絶対差が閾値よりも大きいことに基づいて、前記第１の映像ブロックおよび／または前記第２の映像ブロックに対して双方向オプティカルフロー（ＢＩＯ）技法を用いることを無効化すること、をさらに含む、第２７～３２項のいずれかに記載の方法。

３４． 前記閾値または前記閾値範囲は、前記第１の映像ブロックおよび／または前記第２の映像ブロックに関連付けられたＶＰＳ、ＳＰＳ、ＰＰＳ、ピクチャ、スライス、またはタイルレベルで示される、第２７～３３のいずれか１項以上に記載の方法。

３５． 前記閾値または前記閾値範囲は、暗黙のうちに予め規定されたパラメータである、第２７～３３項のいずれか１項以上に記載の方法。

３６． 前記閾値または前記閾値範囲は、第１の映像ブロックおよび／または第２の映像ブロックに関連付けられた異なる符号化ユニット（ＣＵ）、最大符号化ユニット（ＬＣＵ）、スライス、タイル、またはピクチャごとに異なる、第２７～３３項のいずれか１項以上に記載の方法。

３７． 前記閾値または前記閾値範囲は、前記第１の映像ブロックおよび／または前記第２の映像ブロックに関連付けられた復号化または符号化された画素値に基づく、第２７～３３のいずれか１項以上に記載の方法。

３８． 第１の参照ピクチャのセットの閾値または閾値範囲が、第２の参照ピクチャのセットの前記閾値または前記閾値範囲と異なる、第２７～３３項のいずれか１項以上に記載の方法。

３９． 前記第１の時間的勾配の前記修正および／または前記第２の時間的勾配の前記修正は、前記第１の映像ブロックおよび／または前記第２の映像ブロックに関連付けられた前記参照ピクチャの平均絶対差が閾値よりも大きいことに条件付きで基づく、第２７項に記載の方法。

４０． 前記閾値は４０である、項目３９に記載の方法。

４１． 前記第１の時間的勾配の前記修正および／または前記第２の時間的勾配の前記修正は、前記第１の映像ブロックおよび／または前記第２の映像ブロックに関連付けられた前記参照ピクチャの平均絶対差が閾値より小さいことに条件付きで基づく、第２７項に記載の方法。

４２． 前記閾値は１００である、第４１項に記載の方法。

４３． 前記第１の時間的勾配の前記修正および／または前記第２の時間的勾配の前記修正は、前記第１の映像ブロックおよび／または前記第２の映像ブロックに関連付けられた前記参照ピクチャの平均絶対差が閾値範囲内に含まれることに条件付きで基づく、第２７項に記載の方法。

４４． 前記第１の時間的勾配の前記修正および／または前記第２の時間的勾配の前記修正は、前記第１の映像ブロックおよび／または前記第２の映像ブロックに関連付けられた前記参照ピクチャの平均絶対差が前記第１の映像ブロックおよび／または前記第２の映像ブロックに乗算係数を掛けた値に関連付けられた参照ピクチャの平均絶対差よりも大きいことに条件付きで基づく、第２７項に記載の方法。

４５． 前記第１の時間的勾配の前記修正および／または前記第２の時間的勾配の前記修正は、前記第１の映像ブロックおよび／または前記第２の映像ブロックに関連付けられた前記参照ピクチャの平均絶対差が前記第１の映像ブロックおよび／または前記第２の映像ブロックに乗算係数を掛けた値に関連付けられた参照ピクチャの平均絶対差より小さいことに条件付きで基づく、第２７項に記載の方法。

４６． 前記乗算係数が４．５である、第４４～４５項のいずれか１項以上に記載の方法。

４７． 視覚メディア処理方法であって、
前記現在のブロックに関連付けられた第１の相互参照ブロックおよび第２の相互参照ブロックの一方または両方を修正することと、
修正された第１の相互参照ブロックおよび／または前記修正された第２の相互参照ブロックの前記一方または両方を使用することに基づいて、双方向オプティカル（ＢＩＯ）フロー技法を適用することにしたがって、前記現在のブロックに関連付けられた空間的勾配を判定することと、
前記現在のブロックおよび対応する符号化表現の間での変換を行うことであって、前記変換は、前記現在のブロックに関連付けられた前記空間的勾配の使用を含む、変換を行うことと、を含む、方法。

４８． 前記空間的勾配を判定することが、
現在のブロックに関連付けられたイントラ予測ブロックとインター予測ブロックとの重み付け平均に基づいて、２つの予測ブロックを生成することと、
現在のブロックに関連付けられた前記空間的勾配を判定するために２つの予測ブロックを使用することと、を含む、第４７項に記載の方法。

４９． 前記ＢＩＯ技法を使用して、前記２つの予測ブロックから改良された予測ブロックを生成することと、
前記現在のブロックのサブブロックおよび／またはサンプルを予測するための改良された予測ブロックを使用することと、をさらに含む、第４８項に記載の方法。

５０． 視覚メディア処理方法であって、
処理装置によって、ブロックレベルで信号通知されたフラグが、現在のブロックに対して、デコーダ側動きベクトル改良（ＤＭＶＲ）技法または双方向オプティカルフロー（ＢＩＯ）技法のうちの一方または両方を有効にするべきであることを少なくとも部分的に示す判定を行うことと、
前記現在のブロックと対応する符号化表現との間で変換を行うことであって、前記符号化表現は、前記ＤＭＶＲ技法および／または前記ＢＩＯ技法のうちの前記一方または両方を有効にするかどうかを示す前記フラグを含む、変換を行うことと、を含む、
方法。

５１． 前記フラグは、前記現在のブロックに対して高度動きベクトル予測（ＡＭＶＰ）技法が有効化されていることを検出することに応じて、符号化表現で信号通知される、第５０項記載の方法。

５２． 前記フラグは、現在のブロックに対してマージモードが有効化されていることを検出することに応じて、現在のブロックに関連付けられた空間的に近傍のブロックまたは時間的に近傍のブロックの一方または両方から導出される、第５０項記載の方法。

５３． 前記フラグは、選択されたマージ候補が空間的マージ候補である場合、選択されたマージ候補から継承される、第５２項の方法。

５４． 前記フラグは、選択された融合候補が時間的融合候補である場合、前記選択された融合候補から継承される、第５２項に記載の方法。

５５． 前記現在のブロックに関連付けられたコスト基準を使用して、ＤＭＶＲ技法および／またはＢＩＯ技法の前記一方または両方が有効化されているかどうかを判定し、前記符号化表現で信号通知された前記フラグを使用して、このような判定が正確であるかどうかを示す、第５０項に記載の方法。

５６． 前記現在のブロックに関連付けられたコスト基準は、前記現在のブロックの２つの参照ブロック間の絶対差の合計（ＳＡＤ）であり、コスト基準が閾値よりも大きい場合、ＤＭＶＲ技法および／またはＢＩＯ技法の一方または両方が有効化されているという判定が適用される、第５５項に記載の方法。

５７． 前記現在のブロックが単一予測ブロックであると判定されると、符号化表現におけるフラグの信号通知をスキップすること、をさらに含む、第５０項に記載の方法。

５８． 前記現在のブロックが、両方とも表示順に前または後ろにある１対の参照ピクチャに関連付けられた双方向予測ブロックであると判定されると、符号化表現におけるフラグの信号通知をスキップする、ことをさらに含む、第５０項に記載の方法。

５９． 前記現在のブロックが、前記現在のブロックに関連付けられた現在のピクチャからの異なるピクチャオーダカウント（ＰＯＣ）距離を有する１対の参照ピクチャに関連付けられた双方向予測ブロックであると判定されると、前記符号化表現における前記フラグの信号通知をスキップする、ことをさらに含む、第５０項に記載の方法。

６０． 前記現在のブロックがイントラ符号化されたブロックであると判定されると、前記符号化表現におけるフラグの信号通知をスキップすること、をさらに含む、第５０項に記載の方法。

６１． 前記現在のブロックがハイブリッドイントラおよびインター予測ブロックであると判定されると、前記符号化表現における前記フラグの信号通知をスキップすること、をさらに含む、第５０項に記載の方法。

６２． 前記現在のブロックが参照ブロックと同じピクチャの少なくとも１つのブロックに関連付けられていると判定されると、前記符号化表現における前記フラグの信号通知をスキップすること、をさらに含む、第５０項に記載の方法。

６３． 前記現在のブロックの寸法が閾値より小さいと判定されると、前記符号化表現における前記フラグの信号通知をスキップすること、をさらに含む、第５０項に記載の方法。

６４． 前記現在のブロックの寸法が閾値以上であると判定されると、前記符号化表現における前記フラグの信号通知をスキップすること、をさらに含む、第５０項に記載の方法。

６５． 前記現在のブロックに関連付けられた動き情報の精度が整数精度であると判定されると、前記符号化表現における前記フラグの信号通知をスキップすること、をさらに含む、第５０項に記載の方法。

６６． 前記現在のブロックを含むピクチャに関連付けられた時間層が閾値を超えていると判定されると、前記符号化表現における前記フラグの信号通知をスキップすること、をさらに含む、第５０項に記載の方法。

６７． 前記現在のブロックに関連付けられた量子化パラメータが閾値を超えていると判定されると、前記符号化表現における前記フラグの信号通知をスキップすること、をさらに含む、第５０項に記載の方法。

６８． 前記符号化表現における前記フラグの信号通知がスキップされることを判定することに応じて、前記フラグの値を真または偽として導出すること、をさらに含む、第５０項～第６７項のいずれか１項以上に記載の方法。

６９． フラグが真であると判定されると、前記ＤＭＶＲ技法または前記ＢＩＯ技法の一方または両方を有効化すること、をさらに含む、第５０項～第６７項のいずれか１項以上に記載の方法。

７０． フラグが偽であると判定されると、前記ＤＭＶＲ技法または前記ＢＩＯ技法の一方または両方を無効化すること、をさらに含む、第５０項～第６７項のいずれか１項以上に記載の方法。

７１． 前記フラグが真であると判定されると、少なくとも１つのコスト基準に基づいて、前記ＤＭＶＲ技法または前記ＢＩＯ技法の一方または両方を有効化または無効化することを正しいものとして判定すること、をさらに含む、第５０項～第６７項のいずれか１項以上に記載の方法。

７２． 前記フラグが偽であると判定されると、少なくとも１つのコスト基準に基づいて、前記ＤＭＶＲ技法または前記ＢＩＯ技法の一方または両方を有効化または無効化することを正しくないものとして判定すること、をさらに含む、第５０項～第６７項のいずれか１項以上に記載の方法。

７３． 前記フラグが、スライスヘッダ、タイルヘッダ、映像パラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはピクチャパラメータセット（ＰＰＳ）で信号通知される、第５０項～第６７項のいずれか１項以上に記載の方法。

７４． 前記第１のフラグは、前記ＤＭＶＲ技法が無効化されているかどうかを示すように信号通知され、前記第２のフラグは、ＢＩＯ技法が無効化されているかどうかを示すように信号通知される、第５０項に記載の方法。

７５． 前記ＤＭＶＲ技法のためのフラグが真であると判定されると、スライス、タイル、映像、シーケンスまたはピクチャのための前記ＤＭＶＲ技法を無効化すること、をさらに含む、第６４項～第７４項のいずれか１項以上に記載の方法。

７６． 前記ＤＭＶＲ技法のためのフラグが偽であると判定されると、前記ＤＭＶＲ技法はスライス、タイル、映像、シーケンス、またはピクチャのために有効化されること、をさらに含む、第６４項～第７４項のいずれか１項以上に記載の方法。

７７． 前記ＢＩＯ技法のフラグが真であると判定されると、スライス、タイル、映像、シーケンスまたはピクチャの前記ＢＩＯ技法を無効化すること、をさらに含む、第６４項～第７４項のいずれか１項以上に記載の方法。

７８． 前記ＢＩＯ技法のためのフラグが偽であると判定されると、スライス、タイル、映像、シーケンスまたはピクチャのための前記ＢＩＯ技法が有効化されること、をさらに含む、第６４項～第７４項のいずれか１項以上に記載の方法。

７９． 視覚メディア処理方法であって、
処理装置により、現在のブロックに対してデコーダ側動きベクトル改良（ＤＭＶＲ）技法を有効にするべきであると判定を行うことであって、前記判定は前記現在のブロックの高さに排他的に基づく、判定を行うことと、
前記現在のブロックと対応する符号化表現との間で変換を行うことと、を含む、方法。

８０． ＤＭＶＲ技法が有効化されたことを判定することに応じて、前記現在のブロックの高さが閾値パラメータよりも大きいまたは超えていることを検証すること、をさらに含む、第７９項に記載の方法。

８１． 前記閾値パラメータが４に等しい、第８０項に記載の方法。

８２． 前記閾値パラメータが８に等しい、第８０項に記載の方法。

８３． 視覚メディア処理方法であって、
視覚メディアデータの現在のブロックと対応する視覚メディアデータの符号化表現との間で変換を行うことを含み、前記変換は、現在のブロックに対して、デコーダ側動きベクトル改良（ＤＭＶＲ）技法または双方向オプティカルフロー（ＢＩＯ）技法の一方または両方に関連付けられた規則を使用することを含み、前記ＤＭＶＲ技法に関連付けられた規則は、前記ＢＩＯ技法への適用に準拠しており、
現在のブロックにおける前記ＢＩＯ技法または前記ＤＭＶＲ技法の前記一方または両方の前記使用が有効化されているか無効化されているかを判定することは、前記規則を適用することに基づく、方法。

８４． 前記ＤＭＶＲ技法が有効化されるかどうかを判定する規則は、ＢＩＯ技法が有効化されるかどうかを判定する規則と同じである、請求項８３に記載の方法。

８５． 前記ＢＩＯ技法および／またはＤＭＶＲ技法が有効化されているかどうかを判定する規則は、現在のブロックの高さが閾値以上であることを検証することを規定する、第８４項に記載の方法。

８６． 前記ＢＩＯ技法および／またはＤＭＶＲ技法が有効化されているかどうかを判定する規則は、現在のブロックの幅と高さの両方が閾値以上であることを検証することを規定する、第８４項に記載の方法。

８７． 前記閾値が４または８である、第８５項または第８６項のいずれか１項以上に記載の方法。

８８． 前記ＢＩＯ技法および／またはＤＭＶＲ技法が有効化されているかどうかを判定する規則は、現在のブロックの寸法が閾値以上であることを検証することを規定する、第８４項に記載の方法。

８９． 前記閾値は６４または１２８である、第８６項に記載の方法。

９０． ＢＩＯ技法および／またはＤＭＶＲ技法が有効であるかどうかを判定する規則が、前記現在のブロックがＣＵレベルウェイト（ＢＣＷ）モードで双方向予測により符号化されていないことを検証することを規定しており、２つの参照リストの２つの参照ブロックに不均等な重みが使用されている、第８４項に記載の方法。

９１． 前記ＢＩＯ技法および／または前記ＤＭＶＲ技法が有効化されているかどうかを判定するための規則は、前記現在のブロックが、前記現在のブロックに関連付けられた前記現在のピクチャから同じピクチャオーダカウント（ＰＯＣ）距離を有する１つの１対の参照ピクチャに関連付けられた双方向予測ブロックであることを検証することを規定する、第８４項に記載の方法。

９２． 前記１対の参照ピクチャは、現在のブロックに関連付けられた現在のピクチャの前のピクチャと後のピクチャとを表示順に含む、第９１項に記載の方法。

９３． 第１項～第９２項の１項以上に記載の方法を実装するように構成された処理装置を備える、映像復号化装置。

９４． 第１項～第９２項の１項以上に記載の方法を実装するように構成された処理装置を備える映像符号化装置。

９５． コンピュータコードが記憶されたコンピュータプログラム製品であって、前記のコードが処理装置により実行されると、前記処理装置は、第１項～第９２項のいずれかに記載の方法を実装する、コンピュータプログラム製品。

９６． 本明細書に記載の方法、装置またはシステム。

本明細書に記載された開示された、およびその他の解決策、実施例、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの１つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの１つ以上の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するために生成される。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、成分、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１つ以上のスクリプト）に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル）に記憶されていてもよい。１つのコンピュータプログラムを、１つのサイトに位置する１つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。

本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。

コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上の処理装置を含む。一般的に、処理装置は、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するための処理装置と、命令およびデータを記憶するための１つ以上のメモリデバイスとである。一般的に、コンピュータは、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスク等の半導体記憶装置を含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。

本特許明細書は多くの詳細を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテキストで説明されている特定の特徴は、１つの例において組み合わせて実装してもよい。逆に、１つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。

同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。

いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。

Claims (14)

1. 映像データを処理する方法であって、
   映像の現在のブロックに対して、動き補償に基づいて初期予測サンプルを決定することと、
   オプティカルフロー改良技法に基づいて、予測サンプルオフセットを用いて前記初期予測サンプルを改良して、最終予測サンプルを取得することと、
   前記最終予測サンプルに基づいて、前記現在のブロックと前記映像のビットストリームとの間で変換を行うことと、
   を含み、
   前記予測サンプルオフセットは、前記初期予測サンプルの少なくとも１つの空間的勾配に基づいて決定され、
   前記空間的勾配は、少なくとも、同じ参照ピクチャリストからの２つの第１の予測サンプル間の差に基づいて計算され、
   前記２つの第１の予測サンプル間の前記差を計算する前に、前記２つの第１の予測サンプルの値は、第１の値で右シフトされ、
   前記予測サンプルオフセットは、少なくとも１つの時間的勾配に基づいてさらに決定され、
   前記時間的勾配は、少なくとも、異なる参照ピクチャリストからの２つの第２の予測サンプル間の差に基づいて計算され、
   前記２つの第２の予測サンプル間の前記差のシフトルールは、前記２つの第１の予測サンプル間の前記差のシフトルールと同じであり、
   前記シフトルールは、右シフト演算と減算演算との順序を含む、
   方法。
2. 前記現在のブロック内のサンプル位置（ｘ，ｙ）に対して、前記２つの第１の予測サンプルは、前記同じ参照ピクチャリストＸに対応する位置（ｈｘ＋１，ｖｙ）及び（ｈｘ－１，ｖｙ）、又は、前記同じ参照ピクチャリストＸに対応する位置（ｈｘ，ｖｙ＋１）及び（ｈｘ，ｖｙ－１）、を有し、
   Ｘ＝０又は１、ｈｘ＝Ｃｌｉｐ３（１，ｎＣｂＷ，ｘ）及びｖｙ＝Ｃｌｉｐ３（１，ｎＣｂＨ，ｙ）であり、ｎＣｂＷ及びｎＣｂＨは、前記現在のブロックの幅と高さであり、Ｃｌｉｐ３は、以下のように定義されるクリッピング関数である、
   

   

   請求項１に記載の方法。
3. 前記２つの第２の予測サンプル間の前記差を計算する前に、前記２つの第２の予測サンプルの値は、第２の値で右シフトされる、
   請求項１又は２に記載の方法。
4. 前記現在のブロック内のサンプル位置（ｘ、ｙ）に対して、前記２つの第２の予測サンプルは、参照ピクチャリスト０及び参照ピクチャリスト１に対応する位置（ｈｘ，ｖｙ）を有し、
   ｈｘ＝Ｃｌｉｐ３（１，ｎＣｂＷ，ｘ）及びｖｙ＝Ｃｌｉｐ３（１，ｎＣｂＨ，ｙ）であり、ｎＣｂＷ及びｎＣｂＨは、前記現在のブロックの幅と高さであり、Ｃｌｉｐ３は以下のように定義されるクリッピング関数である、
   

   

   請求項３に記載の方法。
5. 前記第１の値は、第２の値とは異なる、
   請求項３に記載の方法。
6. 前記現在のブロックのサイズに関連する条件に基づいて、前記オプティカルフロー改良技法が可能であるかどうかを示す、
   請求項１～５のいずれか１項に記載の方法。
7. デコーダ側動きベクトル改良技法が前記現在のブロックに対して有効であるかどうかは、同じ条件に基づいており、
   前記デコーダ側動きベクトル改良技法を使用して、参照ピクチャリスト０の少なくとも１つの参照サンプルに基づいて取得された少なくとも１つの予測サンプルと、参照ピクチャリスト１の少なくとも１つの参照サンプルに基づいて取得された少なくとも１つの予測サンプルと、の間のコストに基づいて、前記現在のブロックの改良された動き情報を導出する、
   請求項６に記載の方法。
8. 前記オプティカルフロー改良技法及び前記デコーダ側動きベクトル改良技法は、少なくとも前記現在のブロックの高さがＴ１以上であることに基づいて可能になる、
   請求項７に記載の方法。
9. Ｔ１＝８である、
   請求項８に記載の方法。
10. 前記変換を行うことは、前記ビットストリームから前記現在のブロックを復号化することを含む、
    請求項１～９のいずれか１項に記載の方法。
11. 前記変換を行うことは、前記現在のブロックを前記ビットストリームに符号化することを含む、
    請求項１～９のいずれか一項に記載の方法。
12. プロセッサと、プロセッサ上の命令を有する非一時的メモリと、を有する映像データ処理装置であって、
    前記プロセッサによって前記命令を実行することで、前記プロセッサに、
    映像の現在のブロックに対して、動き補償に基づいて初期予測サンプルを決定することと、
    オプティカルフロー改良技法に基づいて、予測サンプルオフセットを用いて前記初期予測サンプルを改良して、最終予測サンプルを取得することと、
    前記最終予測サンプルに基づいて、前記現在のブロックと前記映像のビットストリームとの間で変換を行うことと、
    を実行させ、
    前記予測サンプルオフセットは、前記初期予測サンプルの少なくとも１つの空間的勾配に基づいて決定され、
    前記空間的勾配は、少なくとも、同じ参照ピクチャリストからの２つの第１の予測サンプル間の差に基づいて計算され、
    前記２つの第１の予測サンプル間の前記差を計算する前に、前記２つの第１の予測サンプルの値は、第１の値で右シフトされ、
    前記予測サンプルオフセットは、少なくとも１つの時間的勾配に基づいてさらに決定され、
    前記時間的勾配は、少なくとも、異なる参照ピクチャリストからの２つの第２の予測サンプル間の差に基づいて計算され、
    前記２つの第２の予測サンプル間の前記差のシフトルールは、前記２つの第１の予測サンプル間の前記差のシフトルールと同じであり、
    前記シフトルールは、右シフト演算と減算演算との順序を含む、
    装置。
13. 非一時的なコンピュータ可読記憶媒体であって、
    プロセッサに、
    映像の現在のブロックに対して、動き補償に基づいて初期予測サンプルを決定することと、
    オプティカルフロー改良技法に基づいて、予測サンプルオフセットを用いて前記初期予測サンプルを改良して、最終予測サンプルを取得することと、
    前記最終予測サンプルに基づいて、前記現在のブロックと前記映像のビットストリームとの間で変換を行うことと、
    を実行させ、
    前記予測サンプルオフセットは、初期予測サンプルの少なくとも１つの空間的勾配に基づいて決定され、
    前記空間的勾配は、少なくとも、同じ参照ピクチャリストからの２つの第１の予測サンプル間の差に基づいて計算され、
    前記２つの第１の予測サンプル間の前記差を計算する前に、前記２つの第１の予測サンプルの値は、第１の値で右シフトされ、
    前記予測サンプルオフセットは、少なくとも１つの時間的勾配に基づいてさらに決定され、
    前記時間的勾配は、少なくとも、異なる参照ピクチャリストからの２つの第２の予測サンプル間の差に基づいて計算され、
    前記２つの第２の予測サンプル間の前記差のシフトルールは、前記２つの第１の予測サンプル間の前記差のシフトルールと同じであり、
    前記シフトルールは、右シフト演算と減算演算との順序を含む、
    記憶媒体。
14. 映像のビットストリームを格納する方法であって、
    映像の現在のブロックに対して、動き補償に基づいて初期予測サンプルを決定することと、
    オプティカルフロー改良技法に基づいて、予測サンプルオフセットを用いて前記初期予測サンプルを改良して、最終予測サンプルを取得することと、
    前記最終予測サンプルに基づいて、前記ビットストリームを生成することと、
    前記ビットストリームを非一時的なコンピュータ可読記録媒体に格納することと、
    を含み、
    前記予測サンプルオフセットは、前記初期予測サンプルの少なくとも１つの空間的勾配に基づいて決定され、
    前記空間的勾配は、少なくとも、同じ参照ピクチャリストからの２つの第１の予測サンプル間の差に基づいて計算され、
    前記２つの第１の予測サンプル間の前記差を計算する前に、前記２つの第１の予測サンプルの値は、第１の値で右シフトされ、
    前記予測サンプルオフセットは、少なくとも１つの時間的勾配に基づいてさらに決定され、
    前記時間的勾配は、少なくとも、異なる参照ピクチャリストからの２つの第２の予測サンプル間の差に基づいて計算され、
    前記２つの第２の予測サンプル間の前記差のシフトルールは、前記２つの第１の予測サンプル間の前記差のシフトルールと同じであり、
    前記シフトルールは、右シフト演算と減算演算との順序を含む、
    方法。

Images