JP2022535528A - デコーダ側動きベクトル精密化ツールオン／オフ制御 - Google Patents

デコーダ側動きベクトル精密化ツールオン／オフ制御 Download PDF

Info

Publication number
JP2022535528A
JP2022535528A JP2021571614A JP2021571614A JP2022535528A JP 2022535528 A JP2022535528 A JP 2022535528A JP 2021571614 A JP2021571614 A JP 2021571614A JP 2021571614 A JP2021571614 A JP 2021571614A JP 2022535528 A JP2022535528 A JP 2022535528A
Authority
JP
Japan
Prior art keywords
video data
decoder
subset
side refinement
enabled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021571614A
Other languages
English (en)
Other versions
JPWO2020247760A5 (ja
Inventor
ハン・フアン
ウェイ－ジュン・チエン
ヴァディム・セレジン
マルタ・カルツェヴィッツ
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2022535528A publication Critical patent/JP2022535528A/ja
Publication of JPWO2020247760A5 publication Critical patent/JPWO2020247760A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、2つ以上の異なるデコーダ側精密化ツールの非常に正確なオン/オフ制御を有効にするための技法について記載する。これらのツールをビデオデータのビデオシーケンス全体用に可能にし、または有効にするだけではなく、本開示は、ビデオシーケンスのサブセット(または部分)用に異なるデコーダ側精密化ツールを有効にし、または無効にするための技法について記載する。

Description

本出願は、2019年6月6日に出願された米国仮出願第62/858,094号、および2019年6月18日に出願された米国仮出願第62/863,080号の利益を主張する、2020年6月4日に出願された米国特許出願第16/892,714号の優先権を主張し、これらの出願の各々の内容全体は、参照によって本明細書に組み込まれる。
本開示は、ビデオ符号化およびビデオ復号に関する。
デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、Part 10アドバンストビデオコーディング(AVC)、ITU-T H.265/高効率ビデオコーディング(HEVC)によって定義された規格、およびそのような規格の拡張に記載されている技法などの、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶し得る。
ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するために、空間(ピクチャ内)予測および/または時間(ピクチャ間)予測を含む。ブロックベースのビデオコーディングの場合、ビデオスライス(たとえば、ビデオピクチャ、またはビデオピクチャの一部分)は、ビデオブロックに区分されてもよく、ビデオブロックは、コーディングツリーユニット(CTU)、コーディングユニット(CU)、および/またはコーディングノードと呼ばれることもある。ピクチャのイントラコード化(I)スライスの中のビデオブロックは、同じピクチャの中の隣接ブロックの中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコード化(PまたはB)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
Brossら、「Versatile Video Coding (Draft 5)」、Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11、14th Meeting:Geneva, CH、19～27、2019年3月、JVET-N1001-v3
多用途ビデオコーディング(VVC)規格の開発において、圧縮効率を向上するために、いくつかのデコーダ側動き精密化ツールが提案され、かつ/または規格に採用されてきた。一例が双方向オプティカルフロー(BDOF)であり、別の例示的ツールがデコーダ側動きベクトル精密化(DMVR)である。概して、本開示は、デコーダ側精密化ツールオン/オフ制御のための技法を含む、いくつかの異なるビデオ符号化および復号技法について記載する。
より詳細には、本開示は、2つ以上の異なるデコーダ側精密化ツールの非常に正確なオン/オフ制御を有効にするための技法について記載する。これらのツールを単にビデオデータのビデオシーケンス全体用に可能にし、または有効にするのではなく、本開示は、ビデオシーケンスのサブセット(または部分)用に異なるデコーダ側精密化ツールを有効にし、または無効にするための技法について記載する。このようにして、本技法は、異なるビデオアプリケーションまたは設定において、復号の複雑さを軽減し、圧縮効率を高めるという、相反する目標の間で一層の柔軟性を提供することができる。
いくつかの例では、本開示は、複数のピクチャを含むビデオデータのシーケンスを復号する方法について記載する。この方法は、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを示す第1のシンタックス要素を復号するステップと、第1のシンタックス要素の値に基づいて、第1のデコーダ側精密化ツールが、ビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを判断するステップとを含み得る。さらに、この方法は、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを示す第2のシンタックス要素を復号するステップと、第1のシンタックス要素の値に基づいて、第2のデコーダ側精密化ツールが、ビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを判断するステップとを含み得る。例として、ビデオデータの第1のサブセットは、ビデオシーケンス内の、スライス、ピクチャ、サブピクチャ、フレーム、またはビデオデータのブロックを含み得る。ビデオデータの第1のサブセットを復号することは、第1のデコーダ側精密化ツールが第1のサブセット用に有効にされたことに応答して、第1のデコーダ側精密化ツールを使って、ビデオデータの第1のサブセットを復号することと、第1のデコーダ側精密化ツールが第1のサブセット用に無効にされたことに応答して、第1のデコーダ側精密化ツールを使わずにビデオデータの第1のサブセットを復号することと、第2のデコーダ側精密化ツールが第1のサブセット用に有効にされたことに応答して、第2のデコーダ側精密化ツールを使って、ビデオデータの第1のサブセットを復号することと、第2のデコーダ側精密化ツールが第1のサブセット用に無効にされたことに応答して、第2のデコーダ側精密化ツールを使わずに、ビデオデータのサブセットを復号することとを含み得る。
他の例では、本開示は、複数のピクチャを含むビデオデータのシーケンスを符号化する方法について記載する。この方法は、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第1のシンタックス要素の第1のインスタンスを符号化するステップと、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように第1のシンタックス要素の第2のインスタンスを符号化するステップであって、第2のサブセットは第1のサブセットとは異なる、ステップと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第2のシンタックス要素の第1のインスタンスを符号化するステップと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように第2のシンタックス要素の第2のインスタンスを符号化するステップとを含み得る。
いくつかの例では、本開示は、複数のピクチャを含むビデオデータのシーケンスを記憶するように構成されたメモリと、処理回路構成とを備えるビデオ復号デバイスについて記載し、処理回路構成は、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを示す第1のシンタックス要素を復号することと、第1のシンタックス要素の値に基づいて、第1のデコーダ側精密化ツールが、ビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを判断することと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを示す第2のシンタックス要素を復号することと、第1のシンタックス要素の値に基づいて、第2のデコーダ側精密化ツールが、ビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを判断することとを行うように構成される。処理回路構成は、第1のデコーダ側精密化ツールが第1のサブセット用に有効にされたことに応答して、第1のデコーダ側精密化ツールを使って、ビデオデータの第1のサブセットを復号することと、第1のデコーダ側精密化ツールが第1のサブセット用に無効にされたことに応答して、第1のデコーダ側精密化ツールを使わずにビデオデータの第1のサブセットを復号することと、第2のデコーダ側精密化ツールが第1のサブセット用に有効にされたことに応答して、第2のデコーダ側精密化ツールを使って、ビデオデータの第1のサブセットを復号することと、第2のデコーダ側精密化ツールが第1のサブセット用に無効にされたことに応答して、第2のデコーダ側精密化ツールを使わずに、ビデオデータのサブセットを復号することとを行うようにさらに構成され得る。
いくつかの例では、本開示は、複数のピクチャを含むビデオデータのシーケンスを記憶するように構成されたメモリと、処理回路構成とを備えるビデオ符号化デバイスについて記載し、処理回路構成は、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第1のシンタックス要素の第1のインスタンスを符号化することと、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように第1のシンタックス要素の第2のインスタンスを符号化することであって、第2のサブセットは第1のサブセットとは異なる、ことと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第2のシンタックス要素の第1のインスタンスを符号化することと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように第2のシンタックス要素の第2のインスタンスを符号化することとを行うように構成される。
さらに他の例では、本開示は、命令を記憶するコンピュータ可読記憶媒体について記載し、命令は、実行されると、ビデオデバイスの1つまたは複数のプロセッサに、本開示の符号化または復号方法を実施させる。
1つまたは複数の例の詳細が、添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。
本開示の技法を実施し得る例示的なビデオ符号化および復号システムを示すブロック図である。 例示的な4分木2分木(QTBT)構造および対応するコーディングツリーユニット(CTU)を示す概念図である。 例示的な4分木2分木(QTBT)構造および対応するコーディングツリーユニット(CTU)を示す概念図である。 本開示の技法を実施し得る例示的なビデオエンコーダを示すブロック図である。 本開示の技法を実施し得る例示的なビデオデコーダを示すブロック図である。 双方向オプティカルフローにおいて使われる拡張コーディングユニット領域を示す概念図である。 デコーダ側動きベクトル精密化の例を示す概念図である。 動きベクトル差分探索点を用いる例示的マージモードを示す概念図である。 本開示の例示的な符号化方法を示すフローチャートである。 本開示の例示的な復号方法を示すフローチャートである。 本開示に一致する別の復号方法を示すフローチャートである。 本開示に一致する別の符号化方法を示すフローチャートである。
本開示は、2つ以上の異なるデコーダ側精密化ツールの非常に正確なオン/オフ制御を有効にするための技法について記載する。開発中の現在の多用途ビデオコーディング(VVC)規格など、いくつかのビデオ圧縮規格を用いて、いくつかのデコーダ側動き精密化ツールが、圧縮効率を向上するために採用されている。ただし、デコーダ側動き精密化ツールは、圧縮効率を向上し得るが、復号の複雑さも増す可能性があり、これは、いくつかの状況にとって望ましくない。本開示の技法は、デコーダ側精密化ツールを有効または無効にする能力に一層の柔軟性を提供することができ、そうすることによって、異なるビデオアプリケーションまたは設定における復号の複雑さを軽減し、圧縮効率を高めるという、相反する目標の間で柔軟性を提供することができる。
1つの例示的デコーダ側精密化ツールは双方向オプティカルフロー(BDOF)ツールであり、別の例示的デコーダ側精密化ツールはデコーダ側動きベクトル精密化(DMVR)ツールである。概して、本開示は、これら、または他のデコーダ側精密化ツールのデコーダ側動き精密化オン/オフ制御のための技法について記載する。特に、記載する技法は、ビデオシーケンス中のビデオデータのサブセットの非常に正確なオン/オフ制御を可能にし得る。たとえば、これらのツールを単にビデオシーケンス用に可能にし、または有効にするのではなく、本開示は、ビデオシーケンスのサブセット(または部分)用に異なるデコーダ側精密化ツールを有効にし、または無効にするための技法について記載する。
いくつかの例では、異なるデコーダ側精密化ツールの別個のオン/オフ制御が、ビデオシーケンスの異なるサブセットまたは部分用に、たとえば、ビデオシーケンス内のビデオデータのスライス、ビデオシーケンス内のビデオデータのフレーム、ビデオシーケンス内のビデオデータのピクチャ、ビデオシーケンス内のビデオデータのサブピクチャ、ビデオシーケンス内のビデオデータのブロック、またはビデオシーケンスのビデオデータの別の部分(全部ではないが一部)用に有効または無効にされ得る。このようにして、異なるビデオアプリケーションまたは設定における復号の複雑さを軽減し、圧縮効率を高めるという、相反する目標の間で一層の柔軟性が得られる。ビデオシーケンスのサブセットは、たとえば、ビデオデータのシーケンスの複数のピクチャの中の第1のピクチャの少なくとも一部分を含み得る。
本開示によると、1つもしくは複数のデコーダ側精密化ツールが、圧縮効率の向上のために有効にされてよく、または代替として、1つもしくは複数のデコーダ側精密化ツールが、デコーダの簡素さを促進するために無効にされてよい。制御は、ビデオデータのサブセットに対する(たとえば、ビデオシーケンス全体の部分または一部についてのみ)そのような制御を可能にすることによって、より適応的になり得る。オン/オフ制御は、ビデオデータのフレーム、ビデオデータのピクチャ、ビデオデータのスライス、ビデオデータのサブピクチャ、ビデオデータのブロック、またはより大きいビデオシーケンスの他のサブセットもしくはサブ部分用のコード化ビットストリームの1つまたは複数のシンタックス要素によりシグナリングされ得る。
本開示では、以下の頭字語を使う。
コーディングユニット:CU
コーディングツリーユニット:CTU
動きベクトル:MV
動きベクトル差分:MVD
動きベクトル予測子:MVP
図1は、本開示の技法を実施し得る例示的なビデオ符号化および復号システム100を示すブロック図である。本開示の技法は、一般に、ビデオデータをコーディング(符号化および/または復号)することを対象とする。一般に、ビデオデータは、ビデオを処理するための任意のデータを含む。したがって、ビデオデータは、未加工の符号化されていないビデオ、符号化されたビデオ、復号された(たとえば、再構築された)ビデオ、およびシグナリングデータなどのビデオメタデータを含み得る。
図1に示すように、システム100は、この例では、復号され、宛先デバイス116によって表示されるべき符号化ビデオデータを提供するソースデバイス102を含む。具体的には、ソースデバイス102は、コンピュータ可読媒体110を介して宛先デバイス116にビデオデータを提供する。ソースデバイス102および宛先デバイス116は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイスなどを含む、広範囲のデバイスのいずれかを備え得る。場合によっては、ソースデバイス102および宛先デバイス116は、ワイヤレス通信用に装備されることがあり、したがって、ワイヤレス通信デバイスと呼ばれることがある。
図1の例では、ソースデバイス102は、ビデオソース104、メモリ106、ビデオエンコーダ200、および出力インターフェース108を含む。宛先デバイス116は、入力インターフェース122、ビデオデコーダ300、メモリ120、およびディスプレイデバイス118を含む。本開示によると、ソースデバイス102のビデオエンコーダ200および宛先デバイス116のビデオデコーダ300は、デコーダ側動き精密化オン/オフ制御のための技法を適用するように構成され得る。したがって、ソースデバイス102はビデオ符号化デバイスの例を表し、宛先デバイス116はビデオ復号デバイスの例を表す。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または配置を含み得る。たとえば、ソースデバイス102は、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス116は、統合されたディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
図1に示すようなシステム100は一例にすぎない。一般に、任意のデジタルビデオ符号化および/または復号デバイスが、デコーダ側動き精密化オン/オフ制御のための技法を実施し得る。ソースデバイス102および宛先デバイス116は、ソースデバイス102が宛先デバイス116への送信用のコード化ビデオデータを生成するような、コーディングデバイスの例にすぎない。本開示は、データのコーディング(符号化および/または復号)を実施するデバイスとして、「コーディング」デバイスに言及する。したがって、ビデオエンコーダ200およびビデオデコーダ300は、コーディングデバイス、具体的には、それぞれビデオエンコーダおよびビデオデコーダの例を表す。いくつかの例では、デバイス102、116は、デバイス102、116の各々がビデオ符号化および復号構成要素を含むように実質的に対称的な方法で動作し得る。したがって、システム100は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのための、ビデオデバイス102、116間の一方向または双方向のビデオ送信をサポートし得る。
一般に、ビデオソース104は、ビデオデータのソース(すなわち、未加工の符号化されていないビデオデータ)を表し、ビデオデータの逐次的な一連のピクチャ(「フレーム」とも呼ばれる)をビデオエンコーダ200に提供し、ビデオエンコーダ200はピクチャのためのデータを符号化する。ソースデバイス102のビデオソース104は、ビデオカメラ、以前にキャプチャされた未加工ビデオを含むビデオアーカイブ、および/またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなどの、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース104は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブされたビデオとコンピュータ生成されたビデオとの組合せを生成し得る。各場合において、ビデオエンコーダ200は、キャプチャされた、事前にキャプチャされた、またはコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ200は、受信された順序(「表示順序」と呼ばれることがある)からコーディング用のコーディング順序にピクチャを並べ替え得る。ビデオエンコーダ200は、符号化ビデオデータを含むビットストリームを生成し得る。次いで、ソースデバイス102は、たとえば、宛先デバイス116の入力インターフェース122による受信および/または取出しのために、符号化ビデオデータを、出力インターフェース108を介してコンピュータ可読媒体110上に出力し得る。
ソースデバイス102のメモリ106および宛先デバイス116のメモリ120は、汎用メモリを表す。いくつかの例では、メモリ106、120は、未加工ビデオデータ、たとえば、ビデオソース104からの未加工ビデオと、ビデオデコーダ300からの未加工復号ビデオデータとを記憶し得る。追加または代替として、メモリ106、120は、たとえば、それぞれ、ビデオエンコーダ200およびビデオデコーダ300によって実行可能なソフトウェア命令を記憶し得る。この例ではビデオエンコーダ200およびビデオデコーダ300とは別々に示されているが、ビデオエンコーダ200およびビデオデコーダ300は、機能的に類似するまたは同等の目的で内部メモリも含み得ることを理解されたい。さらに、メモリ106、120は、符号化ビデオデータ、たとえば、ビデオエンコーダ200からの出力およびビデオデコーダ300への入力を記憶し得る。いくつかの例では、メモリ106、120の一部は、たとえば、未加工の復号および/または符号化ビデオデータを記憶するための、1つまたは複数のビデオバッファとして割り振られ得る。
コンピュータ可読媒体110は、符号化ビデオデータをソースデバイス102から宛先デバイス116にトランスポートすることが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体110は、たとえば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、ソースデバイス102が符号化ビデオデータを宛先デバイス116にリアルタイムで直接送信することを可能にする通信媒体を表す。ワイヤレス通信プロトコルなどの通信規格に従って、出力インターフェース108が、符号化ビデオデータを含む送信信号を変調してよく、入力インターフェース122が、受信された送信信号を復調してよい。通信媒体は、無線周波数(RF)スペクトルまたは1つもしくは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどのパケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス102から宛先デバイス116への通信を容易にするために有用であり得る任意の他の機器を含み得る。
いくつかの例では、ソースデバイス102は、符号化データを出力インターフェース108から記憶デバイス112に出力し得る。同様に、宛先デバイス116は、入力インターフェース122を介して、記憶デバイス112からの符号化データにアクセスし得る。記憶デバイス112は、ハードドライブ、ブルーレイディスク、DVD、CD-ROM、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体のような、種々の分散型またはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。
いくつかの例では、ソースデバイス102は、ソースデバイス102によって生成された符号化ビデオを記憶し得るファイルサーバ114または別の中間記憶デバイスに、符号化ビデオデータを出力し得る。宛先デバイス116は、ストリーミングまたはダウンロードを介して、ファイルサーバ114からの記憶されたビデオデータにアクセスし得る。ファイルサーバ114は、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス116に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ114は、ウェブサーバ(たとえば、ウェブサイトのための)、ファイル転送プロトコル(FTP)サーバ、コンテンツ配信ネットワークデバイス、またはネットワーク接続ストレージ(NAS)デバイスを表し得る。宛先デバイス116は、インターネット接続を含む任意の標準的なデータ接続を通して、ファイルサーバ114からの符号化ビデオデータにアクセスし得る。これは、ワイヤレスチャネル(たとえば、Wi-Fi接続)、ワイヤード接続(たとえば、デジタル加入者回線(DSL)、ケーブルモデムなど)、またはファイルサーバ114上に記憶された符号化ビデオデータにアクセスするのに適した両方の組合せを含み得る。ファイルサーバ114および入力インターフェース122は、ストリーミング送信プロトコル、ダウンロード送信プロトコル、またはそれらの組合せに従って動作するように構成され得る。
出力インターフェース108および入力インターフェース122は、ワイヤレス送信機/受信機、モデム、ワイヤードネットワーキング構成要素(たとえば、イーサネットカード)、種々のIEEE 802.11規格のいずれかに従って動作するワイヤレス通信構成要素、または他の物理構成要素を表し得る。出力インターフェース108および入力インターフェース122がワイヤレス構成要素を備える例では、出力インターフェース108および入力インターフェース122は、4G、4G-LTE(ロングタームエボリューション)、LTEアドバンスト、5Gなどのセルラー通信規格に従って、符号化ビデオデータなどのデータを転送するように構成され得る。出力インターフェース108がワイヤレス送信機を備えるいくつかの例では、出力インターフェース108および入力インターフェース122は、IEEE 802.11仕様、IEEE 802.15仕様(たとえば、ZigBee(商標))、Bluetooth(商標)規格などの他のワイヤレス規格に従った、符号化ビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス102および/または宛先デバイス116は、それぞれのシステムオンチップ(SoC)デバイスを含み得る。たとえば、ソースデバイス102は、ビデオエンコーダ200および/または出力インターフェース108に起因する機能性を実施するためのSoCデバイスを含むことができ、宛先デバイス116は、ビデオデコーダ300および/または入力インターフェース122に起因する機能性を実施するためのSoCデバイスを含むことができる。
本開示の技法は、オーバージエアテレビジョンブロードキャスト、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーHTTP(DASH)などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他の適用例などの、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。
宛先デバイス116の入力インターフェース122は、コンピュータ可読媒体110(たとえば、記憶デバイス112、ファイルサーバ114など)から符号化ビデオビットストリームを受信する。符号化ビデオビットストリームは、ビデオブロックまたは他のコード化ユニット(たとえば、スライス、ピクチャ、ピクチャグループ、シーケンスなど)の特性および/または処理を記述する値を有するシンタックス要素など、ビデオエンコーダ200によって定義され、ビデオデコーダ300によっても使用されるシグナリング情報を含み得る。ディスプレイデバイス118は、復号ビデオデータの復号ピクチャをユーザに表示する。ディスプレイデバイス118は、陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを表し得る。
図1には示されていないが、いくつかの例では、ビデオエンコーダ200およびビデオデコーダ300は各々、オーディオエンコーダおよび/またはオーディオデコーダと統合されることがあり、共通のデータストリーム中のオーディオとビデオの両方を含む多重化されたストリームを処理するために、適切なMUX-DEMUXユニット、または他のハードウェアおよび/もしくはソフトウェアを含み得る。適用可能な場合、MUX-DEMUXユニットは、ITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
ビデオエンコーダ200およびビデオデコーダ300は各々、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなど、様々な適切なエンコーダおよび/またはデコーダ回路構成のいずれかとして実装され得る。技法が部分的にソフトウェアにおいて実装されるとき、デバイスは、適切な非一時的コンピュータ可読媒体にソフトウェア用の命令を記憶し、本開示の技法を実施するために1つまたは複数のプロセッサを使用してハードウェアにおいて命令を実行し得る。ビデオエンコーダ200およびビデオデコーダ300の各々は、1つまたは複数のエンコーダまたはデコーダに含まれもてよく、それらのいずれも、それぞれのデバイスの中で複合エンコーダ/デコーダ(コーデック)の一部として統合されてもよい。ビデオエンコーダ200および/またはビデオデコーダ300を含むデバイスは、集積回路、マイクロプロセッサ、および/またはセルラー電話などのワイヤレス通信デバイスを備え得る。
ビデオエンコーダ200およびビデオデコーダ300は、高効率ビデオコーディング(HEVC)とも呼ばれるITU-T H.265などのビデオコーディング規格、またはマルチビューおよび/もしくはスケーラブルビデオコーディング拡張などのその拡張に従って動作し得る。代替として、ビデオエンコーダ200およびビデオデコーダ300は、多用途ビデオコーディング(VVC)とも呼ばれる共同探索テストモデル(JEM)またはITU-T H.266などの、他のプロプライエタリ規格または業界規格に従って動作し得る。VVC規格の最新のドラフトが、Brossら、「Versatile Video Coding (Draft 5)」、Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11、14th Meeting:Geneva, CH、19～27、2019年3月、JVET-N1001-v3(これ以降、「VVC Draft 5」)に記載されている。しかしながら、本開示の技法は、いかなる特定のコーディング規格にも限定されない。
一般に、ビデオエンコーダ200およびビデオデコーダ300は、ピクチャのブロックベースのコーディングを実施し得る。「ブロック」という用語は、一般に、処理される(たとえば、符号化および/または復号プロセスにおいて符号化される、復号される、または他の方法で使用される)べきデータを含む構造を指す。たとえば、ブロックは、輝度および/または色度データのサンプルの2次元行列を含み得る。一般に、ビデオエンコーダ200およびビデオデコーダ300は、YUV(たとえば、Y、Cb、Cr)フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルに対する赤、緑、および青(RGB)のデータをコーディングするのではなく、ビデオエンコーダ200およびビデオデコーダ300は、輝度成分および色度成分をコーディングしてもよく、色度成分は、赤の色調と青の色調の両方の色度成分を含んでもよい。いくつかの例では、ビデオエンコーダ200が、符号化に先立って、受信されたRGBフォーマットされたデータをYUV表現にコンバートし、ビデオデコーダ300が、YUV表現をRGBフォーマットにコンバートする。代替として、前処理ユニットおよび後処理ユニット(図示せず)が、これらのコンバージョンを実施し得る。
本開示は、一般に、ピクチャのデータを符号化または復号するプロセスを含めるように、ピクチャのコーディング(たとえば、符号化および復号)に言及することがある。同様に、本開示は、ブロックのためのデータを符号化または復号するプロセスを含めるように、ピクチャのブロックのコーディング、たとえば、予測および/または残差コーディングに言及することがある。符号化ビデオビットストリームは、一般に、コーディング決定(たとえば、コーディングモード)およびブロックへのピクチャの区分を表すシンタックス要素のための一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、一般に、ピクチャまたはブロックを形成するシンタックス要素のためのコーディング値として理解されるべきである。
HEVCは、コーディングユニット(CU)、予測ユニット(PU)、および変換ユニット(TU)を含む、様々なブロックを定義する。HEVCによると、(ビデオエンコーダ200などの)ビデオコーダは、4分木構造に従ってコーディングツリーユニット(CTU)をCUに区分する。すなわち、ビデオコーダは、CTUおよびCUを4個の等しい重複しない正方形に区分し、4分木の各ノードは、0個または4個のいずれかの子ノードを有する。子ノードがないノードは「リーフノード」と呼ばれることがあり、そのようなリーフノードのCUは、1つもしくは複数のPUおよび/または1つもしくは複数のTUを含み得る。ビデオコーダはPUおよびTUをさらに区分し得る。たとえば、HEVCでは、残差4分木(RQT)はTUの区分を表す。HEVCでは、PUはインター予測データを表し、TUは残差データを表す。イントラ予測されるCUは、イントラモード指示などのイントラ予測情報を含む。
別の例として、ビデオエンコーダ200およびビデオデコーダ300は、JEMまたはVVCに従って動作するように構成され得る。JEMまたはVVCによると、(ビデオエンコーダ200などの)ビデオコーダは、ピクチャを複数のコーディングツリーユニット(CTU)に区分する。ビデオエンコーダ200は、4分木2分木(QTBT)構造またはマルチタイプツリー(MTT)構造などのツリー構造に従ってCTUを区分し得る。QTBT構造は、HEVCのCU、PU、およびTUの間の区別など、複数の区分タイプの概念を排除する。QTBT構造は、2つのレベル、すなわち、4分木区分に従って区分された第1のレベルおよび2分木区分に従って区分された第2のレベルを含む。QTBT構造のルートノードはCTUに対応する。2分木のリーフノードはコーディングユニット(CU)に対応する。
MTT区分構造では、ブロックは、4分木(QT)区分、2分木(BT)区分、および1つまたは複数のタイプのトリプルツリー(TT)区分を使用して区分され得る。トリプルツリー区分は、ブロックが3個のサブブロックに分けられる区分である。いくつかの例では、トリプルツリー区分は、中心を通って元のブロックを分割することなく、ブロックを3個のサブブロックに分割する。MTTにおける区分タイプ(たとえば、QT、BT、およびTT)は対称または非対称であり得る。
いくつかの例では、ビデオエンコーダ200およびビデオデコーダ300は、輝度成分および色度成分の各々を表すために単一のQTBT構造またはMTT構造を使用してもよく、他の例では、ビデオエンコーダ200およびビデオデコーダ300は、輝度成分のための1つのQTBT/MTT構造および両方の色度成分のための別のQTBT/MTT構造(またはそれぞれの色度成分のための2つのQTBT/MTT構造)などの、2つ以上のQTBTまたはMTT構造を使用し得る。
ビデオエンコーダ200およびビデオデコーダ300は、HEVCごとの4分木区分、QTBT区分、MTT区分、または他の区分構造を使用するように構成され得る。説明のために、本開示の技法の記載はQTBT区分に関して提示される。しかしながら、本開示の技法はまた、4分木区分、または他のタイプの区分も使用するように構成されたビデオコーダに適用され得ることを理解されたい。
本開示は、垂直次元および水平次元に換算して(CUまたは他のビデオブロックなどの)ブロックのサンプル次元を指すために、互換的に「N×N」および「NかけるN」、たとえば、16×16サンプルまたは16かける16サンプルを使用し得る。一般に、16×16CUは、垂直方向に16個のサンプル(y=16)および水平方向に16個のサンプル(x=16)を有する。同様に、N×N CUは、一般に、垂直方向にN個のサンプルおよび水平方向にN個のサンプルを有し、ここで、Nは負ではない整数値を表す。CU中のサンプルは、行および列に配置され得る。さらに、CUは、必ずしも水平方向に垂直方向と同じ数のサンプルを有する必要があるとは限らない。たとえば、CUはN×Mサンプルを備えてもよく、ここで、Mは必ずしもNに等しいとは限らない。
ビデオエンコーダ200は、予測および/または残差情報、ならびに他の情報を表すCUのためのビデオデータを符号化する。予測情報は、CUのための予測ブロックを形成するためにCUがどのように予測されることになるかを示す。残差情報は、一般に、符号化に先立つCUのサンプルと予測ブロックのサンプルとの間のサンプルごとの差分を表す。
CUを予測するために、ビデオエンコーダ200は、一般に、インター予測またはイントラ予測を通してCUのための予測ブロックを形成し得る。インター予測は、一般に、以前にコーディングされたピクチャのデータからCUを予測することを指すが、イントラ予測は、一般に、同じピクチャの以前にコーディングされたデータからCUを予測することを指す。インター予測を実施するために、ビデオエンコーダ200は、1つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ200は、一般に、たとえば、CUと参照ブロックとの間の差分に関してCUと厳密に一致する参照ブロックを識別するために、動き探索を実施し得る。ビデオエンコーダ200は、参照ブロックが現在のCUと厳密に一致するかどうかを判断するために、絶対差分和(SAD)、2乗差分和(SSD)、平均絶対差(MAD)、平均2乗差(MSD)、または他のそのような差分算出を使用して差分メトリックを算出し得る。いくつかの例では、ビデオエンコーダ200は、単方向予測または双方向予測を使用して現在のCUを予測し得る。
JEMおよびVVCのいくつかの例は、インター予測モードと見なされ得るアフィン動き補償モードも提供する。アフィン動き補償モードでは、ビデオエンコーダ200は、ズームインもしくはズームアウト、回転、遠近運動、または他の不規則な運動タイプなどの、非並進運動を表す2つ以上の動きベクトルを判断し得る。
イントラ予測を実施するために、ビデオエンコーダ200は、イントラ予測モードを選択して予測ブロックを生成し得る。JEMおよびVVCのいくつかの例は、様々な方向モードを含む67個のイントラ予測モード、ならびに平面モードおよびDCモードを提供する。一般に、ビデオエンコーダ200は、そこから現在のブロックのサンプルを予測するための現在のブロック(たとえば、CUのブロック)に対する隣接サンプルを記述するイントラ予測モードを選択する。そのようなサンプルは、一般に、ビデオエンコーダ200がラスタ走査順序で(左から右に、上から下に)CTUおよびCUをコーディングすると仮定すると、現在のブロックと同じピクチャ中の現在のブロックの上方、上方および左側、または左側にあり得る。
ビデオエンコーダ200は、現在のブロックのための予測モードを表すデータを符号化する。たとえば、インター予測モードの場合、ビデオエンコーダ200は、様々な利用可能なインター予測モードのうちのどれが使用されるか、ならびに対応するモードについての動き情報を表すデータを符号化し得る。単方向または双方向インター予測の場合、たとえば、ビデオエンコーダ200は、高度動きベクトル予測(AMVP)またはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ200は、アフィン動き補償モードのための動きベクトルを符号化するために類似のモードを使用し得る。
ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ200はブロックのための残差データを算出し得る。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成されたそのブロックのための予測ブロックとの間のサンプルごとの差分を表す。ビデオエンコーダ200は、サンプルドメインではなく変換ドメインにおいて変換データを生成するために、1つまたは複数の変換を残差ブロックに適用し得る。たとえば、ビデオエンコーダ200は、離散コサイン変換(DCT)、整数変換、ウェーブレット変換、または概念的に類似の変換を残差ビデオデータに適用し得る。加えて、ビデオエンコーダ200は、モード依存非分離可能2次変換(MDNSST:mode-dependent non-separable secondary transform)、信号依存変換、カルーネンレーベ変換(KLT)などの2次的な変換を、最初の変換に続いて適用し得る。ビデオエンコーダ200は、1つまたは複数の変換の適用に続いて、変換係数を生成する。
上述のように、変換係数を生成するための任意の変換に続いて、ビデオエンコーダ200は、変換係数の量子化を実施し得る。量子化とは、概して、係数を表すために使用されるデータの量をできる限り低減するように変換係数が量子化されてさらなる圧縮を行うプロセスを指す。量子化プロセスを実施することによって、ビデオエンコーダ200は、係数の一部または全部に関連付けられたビット深度を低減し得る。たとえば、ビデオエンコーダ200は量子化の間にnビット値をmビット値に丸めてもよく、ここで、nはmよりも大きい。いくつかの例では、量子化を実施するために、ビデオエンコーダ200は、量子化されるべき値のビット単位の右シフトを実施し得る。
量子化に続いて、ビデオエンコーダ200は、変換係数を走査し、量子化された変換係数を含む2次元行列から1次元ベクトルを生成し得る。走査は、より高いエネルギー(したがって、より低い周波数)変換係数をベクトルの前方に置き、より低いエネルギー(したがって、より高い周波数)変換係数をベクトルの後方に置くように設計され得る。いくつかの例では、ビデオエンコーダ200は、シリアル化ベクトルを生成し、次いで、ベクトルの量子化された変換係数をエントロピー符号化するために、量子化された変換係数を走査するための事前定義された走査順序を使用し得る。他の例では、ビデオエンコーダ200は適応走査を実施し得る。量子化された変換係数を走査して1次元ベクトルを形成した後、ビデオエンコーダ200は、たとえば、コンテキスト適応型バイナリ算術コーディング(CABAC)に従って、1次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ200はまた、ビデオデータを復号する際にビデオデコーダ300によって使用するための符号化ビデオデータに関連付けられたメタデータを記述するシンタックス要素のための値をエントロピー符号化し得る。
CABACを実施するために、ビデオエンコーダ200は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、たとえば、シンボルの隣接値がゼロ値化されているかどうかに関係し得る。確率判断は、シンボルに割り当てられたコンテキストに基づき得る。
ビデオエンコーダ200は、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、または、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、もしくはビデオパラメータセット(VPS)などの他のシンタックスデータにおいて、ビデオデコーダ300へのブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびシーケンスベースのシンタックスデータなどのシンタックスデータをさらに生成し得る。ビデオデコーダ300は、そのようなシンタックスデータを同様に復号して、対応するビデオデータをどのように復号するかを判断し得る。実際、本開示は、ビデオシーケンスの部分またはサブセット(たとえば、全部ではないが一部)に関連付けられたパラメータセット中で起こるデコーダ側精密化制御シグナリングを企図する。そのようなシグナリングは、たとえば、ピクチャ、フレーム、スライス、サブピクチャ、ビデオブロック、またはビデオデータのより大きいシーケンス内のビデオデータの別のサブセットに適用することができる。したがって、デコーダ側精密化制御シグナリングは、ビデオシーケンスに関連付けられたビデオデータの第1のサブセット(たとえば、第1のピクチャ、スライス、フレーム、サブピクチャ、ブロック、またはビデオデータの他のサブセット)が、ビデオデータの第1のサブセットとは異なる、同じビデオシーケンス内のビデオデータの第2のサブセット(たとえば、異なるピクチャ、スライス、フレーム、ブロック、サブピクチャ、またはビデオデータの他のサブセット)とは異なるデコーダ側精密化ツールで復号されるように制御され得る。
このようにして、ビデオエンコーダ200は、符号化ビデオデータ、たとえば、ブロック(たとえば、CU)へのピクチャの区分ならびにブロックについての予測および/または残差情報を記述するシンタックス要素を含むビットストリームを生成し得る。最終的に、ビデオデコーダ300は、ビットストリームを受信し、符号化ビデオデータを復号し得る。デコーダ側精密化ツールのオン/オフシグナリングは、デコーダがいかなる所望のデコーダ側精密化も適用するように適切に構成されるのを保証することができ、制御は、従来の制御よりも精密化され得る。
一般に、ビデオデコーダ300は、ビデオエンコーダ200によって実施されるプロセスとは逆のプロセスを実施して、ビットストリームの符号化ビデオデータを復号する。たとえば、ビデオデコーダ300は、ビデオエンコーダ200のCABAC符号化プロセスとは逆であるが実質的に同様の方法で、CABACを使用してビットストリームのシンタックス要素のための値を復号し得る。シンタックス要素は、CTUへのピクチャの区分情報、およびQTBT構造などの対応する区分構造に従った各CTUの区分を定義して、CTUのCUを定義し得る。さらに、シンタックス要素は、デコーダ側精密化ツールがビデオシーケンスの異なる部分用にオンそれともオフであるかの、正確な(サブシーケンスレベル)制御を可能にし得る。シンタックス要素は、ビデオデータのブロック(たとえば、CU)についての予測および残差情報をさらに定義し得る。
残差情報は、たとえば、量子化された変換係数によって表され得る。ビデオデコーダ300は、ブロックのための残差ブロックを再現するために、ブロックの量子化された変換係数を逆量子化し、逆変換し得る。ビデオデコーダ300は、ブロックのための予測ブロックを形成するために、シグナリングされた予測モード(イントラ予測またはインター予測)および関連する予測情報(たとえば、インター予測についての動き情報)を使用する。ビデオデコーダ300は次いで、予測ブロックと残差ブロックとを(サンプルごとに)組み合わせて、元のブロックを再現し得る。ビデオデコーダ300は、ブロックの境界に沿って視覚的アーティファクトを低減するためのデブロッキングプロセスを実施するなどの、追加の処理を実施し得る。
本開示の技法によると、ビデオエンコーダ200およびビデオデコーダ300は、デコーダ側動き精密化モードがビデオシーケンス内のビデオデータのサブセット(たとえば、スライス、ピクチャ、フレーム、サブピクチャ、ブロック、または他のサブセット)用にオンそれともオフであるかを示すシンタックス要素をコーディングするように構成されてよく、ビデオエンコーダ200およびビデオデコーダ300は、そのサブセット(たとえば、スライス、ピクチャ、フレーム、サブピクチャ、ブロック、または他のサブセット)に関連付けられたシンタックス要素に基づいて、ビデオデータサブセットのブロックをコーディングするように構成されてよい。
本開示は、一般に、シンタックス要素などの特定の情報を「シグナリングすること」に言及する。「シグナリング」という用語は、一般に、シンタックス要素および/または符号化ビデオデータを復号するために使用される他のデータのための値の通信を指すことがある。すなわち、ビデオエンコーダ200は、ビットストリーム中でシンタックス要素のための値をシグナリングし得る。一般に、シグナリングは、ビットストリームにおいて値を生成することを指す。上述のように、ソースデバイス102は、実質的にリアルタイムで、または、宛先デバイス116によって後で取り出すためにシンタックス要素を記憶デバイス112に記憶するときに行われ得るなど、リアルタイムではなく、ビットストリームを宛先デバイス116にトランスポートし得る。本開示によると、異なるシンタックス要素が、異なるデコーダ側精密化ツールが有効にされるかどうかをシグナリングするために使われてよく、シンタックス要素は、ビデオシーケンスの異なるサブセットまたは部分用に(たとえば、異なるスライス、ピクチャ、フレーム、サブピクチャ、またはビデオデータのより大きいビデオシーケンス内のビデオデータのブロック用に)デコーダ側精密化ツールが有効にされ、または無効にされることを可能にするように、ビデオシーケンスについて何度もシグナリングされる場合がある。
図2Aおよび図2Bは、例示的な4分木2分木(QTBT)構造130および対応するコーディングツリーユニット(CTU)132を示す概念図である。実線は4分木***を表し、点線は2分木***を示す。2分木の各***(すなわち、非リーフ)ノードでは、どの***タイプ(すなわち、水平または垂直)が使用されるかを示すために1つのフラグがシグナリングされ、ここで、この例では、0が水平***を示し、1が垂直***を示す。4分木***の場合、4分木ノードはブロックをサイズが等しい4個のサブブロックに水平および垂直に***するので、***タイプを示す必要はない。したがって、ビデオエンコーダ200は、QTBT構造130の領域木レベル(すなわち、実線)のための(***情報などの)シンタックス要素およびQTBT構造130の予測木レベル(すなわち、破線)のための(***情報などの)シンタックス要素を符号化することができ、ビデオデコーダ300は、それらのシンタックス要素を復号することができる。QTBT構造130の末端リーフノードによって表されるCUのための、予測データおよび変換データなどのビデオデータを、ビデオエンコーダ200は符号化することができ、ビデオデコーダ300は復号することができる。
一般に、図2BのCTU132は、第1のレベルおよび第2のレベルでQTBT構造130のノードに対応するブロックのサイズを定義するパラメータに関連付けられ得る。これらのパラメータは、CTUサイズ(サンプル中のCTU132のサイズを表す)、最小4分木サイズ(MinQTSize、最小の許容される4分木リーフノードサイズを表す)、最大2分木サイズ(MaxBTSize、最大の許容される2分木ルートノードサイズを表す)、最大2分木深度(MaxBTDepth、最大の許容される2分木深度を表す)、および最小2分木サイズ(MinBTSize、最小の許容される2分木リーフノードサイズを表す)を含み得る。
CTUに対応するQTBT構造のルートノードは、QTBT構造の第1のレベルで4個の子ノードを有することがあり、子ノードの各々は、4分木区分に従って区分されることがある。すなわち、第1のレベルのノードは、(子ノードを有しない)リーフノードであるか、4個の子ノードを有するかのいずれかである。QTBT構造130の例は、分岐のための実線を有する親ノードと子ノードとを含むようなノードを表す。第1のレベルのノードが最大の許容される2分木ルートノードサイズ(MaxBTSize)より大きくない場合、ノードはそれぞれの2分木によってさらに区分され得る。1つのノードの2分木***は、***の結果として生じるノードが最小の許容される2分木リーフノードサイズ(MinBTSize)または最大の許容される2分木深度(MaxBTDepth)に達するまで繰り返され得る。QTBT構造130の例は、分岐のための破線を有するようなノードを表す。2分木リーフノードはコーディングユニット(CU)と呼ばれ、コーディングユニット(CU)は、これ以上の区分なしで、予測(たとえば、イントラピクチャ予測またはインターピクチャ予測)および変換のために使用される。上で論じられたように、CUは「ビデオブロック」または「ブロック」とも呼ばれ得る。
QTBT区分構造の一例では、CTUサイズは128×128(ルーマサンプルおよび2つの対応する64×64クロマサンプル)として設定され、MinQTSizeは16×16として設定され、MaxBTSizeは64×64として設定され、(幅と高さの両方についての)MinBTSizeは4として設定され、MaxBTDepthは4として設定される。4分木リーフノードを生成するために、4分木区分がまずCTUに適用される。4分木リーフノードは、16×16(すなわち、MinQTSize)から128×128(すなわち、CTUサイズ)までのサイズを有し得る。リーフ4分木ノードが128×128である場合、それは2分木によってさらに***されず、それはサイズがMaxBTSize(すなわち、この例では64×64)を超えるからである。それ以外の場合、リーフ4分木ノードは2分木によってさらに区分される。したがって、4分木リーフノードは2分木のルートノードでもあり、0としての2分木深度を有する。2分木深度がMaxBTDepth(この例では4)に達するとき、さらなる***は許可されない。2分木ノードがMinBTSize(この例では4)に等しい幅を有するとき、それはさらなる水平***が許可されないことを示唆する。同様に、MinBTSizeに等しい高さを有する2分木ノードは、その2分木ノードに対してさらなる垂直***が許可されないことを示唆する。上述のように、2分木のリーフノードはCUと呼ばれ、さらなる区分なしで予測および変換に従ってさらに処理される。
図3は、本開示の技法を実施し得る例示的なビデオエンコーダ200を示すブロック図である。図3は、説明のために提供され、本開示において広く例示および説明されるような技法の限定と見なされるべきでない。説明のために、本開示は、HEVCビデオコーディング規格および開発中のH.266ビデオコーディング規格などのビデオコーディング規格の文脈でビデオエンコーダ200について説明する。しかしながら、本開示の技法はこれらのビデオコーディング規格に限定されず、概してビデオ符号化および復号に適用可能である。
図3の例では、ビデオエンコーダ200は、ビデオデータメモリ230、モード選択ユニット202、残差生成ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、フィルタユニット216、復号ピクチャバッファ(DPB)218、およびエントロピー符号化ユニット220を含む。ビデオデータメモリ230、モード選択ユニット202、残差生成ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、フィルタユニット216、DPB218、およびエントロピー符号化ユニット220のいずれかまたはすべては、1つもしくは複数のプロセッサにおいてまたは処理回路構成において実装され得る。さらに、ビデオエンコーダ200は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路構成を含み得る。
ビデオデータメモリ230は、ビデオエンコーダ200の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ200は、たとえば、ビデオソース104(図1)から、ビデオデータメモリ230に記憶されたビデオデータを受信し得る。DPB218は、ビデオエンコーダ200による後続のビデオデータの予測において使用するための参照ビデオデータを記憶する参照ピクチャメモリとして作用し得る。ビデオデータメモリ230およびDPB218は、同期DRAM(SDRAM)を含むダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗RAM(RRAM)、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ230およびDPB218は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ230は、図示のように、ビデオエンコーダ200の他の構成要素とともにオンチップであってもよく、またはそれらの構成要素に対してオフチップであってもよい。
本開示では、ビデオデータメモリ230への言及は、そのようなものとして特に説明されていない限り、ビデオエンコーダ200の内部のメモリ、または、そのようなものとして特に説明されていない限り、ビデオエンコーダ200の外部のメモリに限定されるものとして解釈されるべきではない。むしろ、ビデオデータメモリ230への言及は、符号化するためにビデオエンコーダ200が受信するビデオデータ(たとえば、符号化されるべき現在のブロックのためのビデオデータ)を記憶する参照メモリとして理解されるべきである。図1のメモリ106はまた、ビデオエンコーダ200の様々なユニットからの出力の一時的な記憶を提供し得る。
図3の様々なユニットは、ビデオエンコーダ200によって実施される動作を理解することを助けるために図示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。固定機能回路は、特定の機能性を提供する回路を指し、実施され得る動作に対してプリセットされる。プログラマブル回路は、様々なタスクを実施するようにプログラムされ得る回路を指し、実施され得る動作において柔軟な機能性を提供する。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義された方法でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は(たとえば、パラメータを受信するまたはパラメータを出力するための)ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは概して不変である。いくつかの例では、ユニットのうちの1つまたは複数は別個の回路ブロック(固定機能またはプログラマブル)であってもよく、いくつかの例では、1つまたは複数のユニットは集積回路であってもよい。
ビデオエンコーダ200は、算術論理ユニット(ALU)、初等関数ユニット(EFU)、デジタル回路、アナログ回路、および/またはプログラマブル回路から形成されたプログラマブルコアを含み得る。ビデオエンコーダ200の動作がプログラマブル回路によって実行されるソフトウェアを使用して実施される例では、メモリ106(図1)が、ビデオエンコーダ200が受信および実行するソフトウェアのオブジェクトコードを記憶してもよく、またはビデオエンコーダ200内の別のメモリ(図示せず)が、そのような命令を記憶してもよい。
ビデオデータメモリ230は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ200は、ビデオデータメモリ230からビデオデータのピクチャを取り出し、ビデオデータを残差生成ユニット204およびモード選択ユニット202に提供し得る。ビデオデータメモリ230中のビデオデータは、符号化されるべき未加工ビデオデータであり得る。
モード選択ユニット202は、動き推定ユニット222、動き補償ユニット224、およびイントラ予測ユニット226を含む。モード選択ユニット202は、他の予測モードに従ってビデオ予測を実施するための追加の機能ユニットを含み得る。例として、モード選択ユニット202は、パレットユニット、(動き推定ユニット222および/または動き補償ユニット224の一部であり得る)イントラブロックコピーユニット、アフィンユニット、線形モデル(LM)ユニットなどを含み得る。
モード選択ユニット202は、一般に、符号化パラメータの組合せおよびそのような組合せに対する結果として生じるレート歪み値をテストするために複数の符号化パスを協調させる。符号化パラメータは、CUへのCTUの区分、CUのための予測モード、CUの残差データのための変換タイプ、CUの残差データのための量子化パラメータなどを含み得る。モード選択ユニット202は、その他のテストされた組合せよりも良いレート歪み値を有する符号化パラメータの組合せを最終的に選択し得る。
ビデオエンコーダ200は、ビデオデータメモリ230から取り出されたピクチャを一連のCTUに区分し、スライス内に1つまたは複数のCTUをカプセル化し得る。モード選択ユニット202は、上記で説明したHEVCのQTBT構造または4分木構造などのツリー構造に従ってピクチャのCTUを区分し得る。上記で説明したように、ビデオエンコーダ200は、ツリー構造に従ってCTUを区分することから1つまたは複数のCUを形成し得る。そのようなCUは、一般に、「ビデオブロック」または「ブロック」と呼ばれることもある。
一般に、モード選択ユニット202はまた、現在のブロック(たとえば、現在のCU、またはHEVCでは、PUおよびTUの重複する部分)のための予測ブロックを生成するために、その構成要素(たとえば、動き推定ユニット222、動き補償ユニット224、およびイントラ予測ユニット226)を制御する。現在のブロックのインター予測の場合、動き推定ユニット222は、1つまたは複数の参照ピクチャ(たとえば、DPB218に記憶された1つまたは複数の以前にコーディングされたピクチャ)中の1つまたは複数の厳密に一致する参照ブロックを識別するために動き探索を実施し得る。具体的には、動き推定ユニット222は、たとえば、絶対差分和(SAD)、2乗差分和(SSD)、平均絶対差(MAD)、平均2乗差(MSD)などに従って、潜在的な参照ブロックが現在のブロックにどのくらい類似しているかを表す値を算出し得る。動き推定ユニット222は一般に、現在のブロックと検討されている参照ブロックとの間のサンプルごとの差を使用して、これらの算出を実施し得る。動き推定ユニット222は、現在のブロックに最も厳密に一致する参照ブロックを示す、これらの算出の結果として生じる最も低い値を有する参照ブロックを識別し得る。
動き推定ユニット222は、現在のピクチャ中の現在のブロックの位置に対する参照ピクチャ中の参照ブロックの位置を定義する1つまたは複数の動きベクトル(MV)を形成し得る。次いで、動き推定ユニット222は動きベクトルを動き補償ユニット224に提供し得る。たとえば、単方向インター予測の場合、動き推定ユニット222は単一の動きベクトルを提供し得るが、双方向インター予測の場合、動き推定ユニット222は2つの動きベクトルを提供し得る。次いで、動き補償ユニット224は、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット224は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルが分数サンプル精度を有する場合、動き補償ユニット224は、1つまたは複数の補間フィルタに従って、予測ブロックに対する値を補間し得る。さらに、双方向インター予測の場合、動き補償ユニット224は、それぞれの動きベクトルによって識別された2つの参照ブロックのためのデータを取り出し、たとえば、サンプルごとの平均化または重み付けされた平均化によって、取り出されたデータを合成し得る。
別の例として、イントラ予測またはイントラ予測コーディングの場合、イントラ予測ユニット226は、現在のブロックに隣接するサンプルから予測ブロックを生成し得る。たとえば、方向モードの場合、イントラ予測ユニット226は、一般に、隣接サンプルの値を数学的に合成し、これらの算出された値を現在のブロックにわたる定義された方向に投入して、予測ブロックを生成し得る。別の例として、DCモードの場合、イントラ予測ユニット226は、現在のブロックに対する隣接サンプルの平均を算出し、予測ブロックのサンプルごとにこの結果として生じる平均を含めるべき予測ブロックを生成し得る。
モード選択ユニット202は、予測ブロックを残差生成ユニット204に提供する。残差生成ユニット204は、ビデオデータメモリ230から現在のブロックの未加工の符号化されていないバージョンを受信し、モード選択ユニット202から予測ブロックを受信する。残差生成ユニット204は、現在のブロックと予測ブロックとの間のサンプルごとの差分を算出する。結果として生じるサンプルごとの差分は、現在のブロックのための残差ブロックを定義する。いくつかの例では、残差生成ユニット204はまた、残差差分パルスコード変調(RDPCM)を使用して残差ブロックを生成するために、残差ブロック中のサンプル値の間の差分を判断し得る。いくつかの例では、残差生成ユニット204は、バイナリ減算を実施する1つまたは複数の減算器回路を使用して形成され得る。
モード選択ユニット202がCUをPUに区分する例では、各PUはルーマ予測ユニットおよび対応するクロマ予測ユニットに関連付けられ得る。ビデオエンコーダ200およびビデオデコーダ300は、様々なサイズを有するPUをサポートし得る。上記で示したように、CUのサイズは、CUのルーマコーディングブロックのサイズを指すことがあり、PUのサイズは、PUのルーマ予測ユニットのサイズを指すことがある。特定のCUのサイズが2N×2Nであると仮定すると、ビデオエンコーダ200は、イントラ予測に対して2N×2NまたはN×NのPUサイズ、およびインター予測に対して2N×2N、2N×N、N×2N、N×N、または類似の、対称のPUサイズをサポートし得る。ビデオエンコーダ200およびビデオデコーダ300はまた、インター予測に対して2N×nU、2N×nD、nL×2N、およびnR×2NのPUサイズのための非対称区分をサポートし得る。
モード選択ユニットがCUをPUにさらに区分しない例では、各CUはルーマコーディングブロックおよび対応するクロマコーディングブロックに関連付けられ得る。上記のように、CUのサイズは、CUのルーマコーディングブロックのサイズを指すことがある。ビデオエンコーダ200およびビデオデコーダ120は、2N×2N、2N×N、またはN×2NというCUサイズをサポートし得る。
少数の例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル(LM)モードコーディングなどの他のビデオコーディング技法では、モード選択ユニット202は、コーディング技法と関連付けられるそれぞれのユニットを介して、符号化されている現在のブロックに対する予測ブロックを生成する。パレットモードコーディングなどのいくつかの例では、モード選択ユニット202は、予測ブロックを生成しなくてもよく、代わりに、選択されたパレットに基づいてブロックを再構築する方式を示すシンタックス要素を生成してもよい。そのようなモードでは、モード選択ユニット202は、符号化されるべきエントロピー符号化ユニット220にこれらのシンタックス要素を提供し得る。
上記で説明したように、残差生成ユニット204は、現在のブロックおよび対応する予測ブロックのためのビデオデータを受信する。次いで、残差生成ユニット204は現在のブロックのための残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット204は予測ブロックと現在のブロックとの間のサンプルごとの差分を算出する。
変換処理ユニット206は、変換係数のブロック(本明細書では「変換係数ブロック」と呼ばれる)を生成するために、1つまたは複数の変換を残差ブロックに適用する。変換処理ユニット206は、変換係数ブロックを形成するために、様々な変換を残差ブロックに適用し得る。たとえば、変換処理ユニット206は、離散コサイン変換(DCT)、方向変換、カルーネンレーベ変換(KLT)、または概念的に類似の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット206は、複数の変換、たとえば、回転変換などの、1次変換および2次変換を残差ブロックに対して実施し得る。いくつかの例では、変換処理ユニット206は、変換を残差ブロックに適用しない。
量子化ユニット208は、変換係数ブロック中で変換係数を量子化して、量子化された変換係数ブロックを生成し得る。量子化ユニット208は、現在のブロックに関連付けられた量子化パラメータ(QP)値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ200は(たとえば、モード選択ユニット202を介して)、CUと関連付けられるQP値を調整することによって、現在のブロックと関連付けられる変換係数ブロックに適用される量子化の程度を調節し得る。量子化が情報の損失をもたらすことがあり、したがって、量子化された変換係数は、変換処理ユニット206によって生成される元の変換係数より精度が低いことがある。
逆量子化ユニット210および逆変換処理ユニット212は、それぞれ、量子化された変換係数ブロックに逆量子化および逆変換を適用して、変換係数ブロックから残差ブロックを再構築し得る。再構築ユニット214は、モード選択ユニット202によって生成される再構築された残差ブロックおよび予測ブロックに基づいて、(ある程度の歪みを伴う可能性があるが)現在のブロックに対応する再構築されたブロックを生成し得る。たとえば、再構築ユニット214は、モード選択ユニット202によって生成される予測ブロックからの対応するサンプルに再構築された残差ブロックのサンプルを加算して、再構築されたブロックを生成し得る。
フィルタユニット216は、再構築されたブロックに対して1回または複数回のフィルタ動作を実施し得る。たとえば、フィルタユニット216は、CUの端部に沿ってブロッキネスアーティファクトを低減するためにデブロッキング動作を実施し得る。フィルタユニット216の動作は、いくつかの例では、スキップされ得る。
ビデオエンコーダ200は、DPB218に再構築されたブロックを記憶する。たとえば、フィルタユニット216の動作が必要とされない例では、再構築ユニット214は再構築されたブロックをDPB218に記憶し得る。フィルタユニット216の動作が必要とされる例では、フィルタユニット216はフィルタリングされた再構築ブロックをDPB218に記憶し得る。動き推定ユニット222および動き補償ユニット224は、後で符号化されるピクチャのブロックをインター予測するために、再構築された(および場合によってはフィルタリングされた)ブロックから形成される、DPB218から参照ピクチャを取り出し得る。加えて、イントラ予測ユニット226は、現在のピクチャの中の他のブロックをイントラ予測するために、現在のピクチャのDPB218の中の再構築されたブロックを使用し得る。
一般に、エントロピー符号化ユニット220は、ビデオエンコーダ200の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット220は、量子化ユニット208からの量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット220は、モード選択ユニット202からの予測シンタックス要素(たとえば、インター予測のための動き情報またはイントラ予測のためのイントラモード情報)をエントロピー符号化し得る。エントロピー符号化ユニット220は、ビデオデータの別の例であるシンタックス要素に対して1つまたは複数のエントロピー符号化動作を実施して、エントロピー符号化データを生成し得る。たとえば、エントロピー符号化ユニット220は、コンテキスト適応型可変長コーディング(CAVLC)動作、CABAC動作、可変対可変(V2V)長コーディング動作、シンタックスベースのコンテキスト適応型バイナリ算術コーディング(SBAC)動作、確率間隔区分エントロピー(PIPE)コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実施し得る。いくつかの例では、エントロピー符号化ユニット220は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。
ビデオエンコーダ200は、スライスまたはピクチャのブロックを再構築するために必要とされるエントロピー符号化シンタックス要素を含むビットストリームを出力し得る。具体的には、エントロピー符号化ユニット220がビットストリームを出力し得る。
上記で説明した動作は、ブロックに関して説明されている。そのような説明は、ルーマコーディングブロックおよび/またはクロマコーディングブロックのための動作であるものとして理解されるべきである。上記で説明したように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、CUのルーマ成分およびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、PUのルーマ成分およびクロマ成分である。
いくつかの例では、ルーマコーディングブロックに関して実施される動作は、クロマコーディングブロックのために繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル(MV)および参照ピクチャを識別するための動作は、クロマブロックのためのMVおよび参照ピクチャを識別するために繰り返される必要はない。むしろ、ルーマコーディングブロックのためのMVはクロマブロックのためのMVを判断するためにスケーリングされてもよく、参照ピクチャは同じであってもよい。別の例として、イントラ予測プロセスは、ルーマコーディングブロックおよびクロマコーディングブロックについて同じであってもよい。
ビデオエンコーダ200は、ビデオデータを記憶するように構成されたメモリと、回路構成で実装されるとともに、デコーダ側動き精密化モードがビデオシーケンス内のビデオデータのサブセット用にオンそれともオフであるかを示すシンタックス要素を(たとえば、スライスレベル、ピクチャレベル、サブピクチャレベル、フレームレベル、またはブロックレベルで)コーディングするように、およびシンタックス要素に基づいて、ビデオデータのサブセット中のビデオデータのブロックをコーディングするように構成された1つまたは複数の処理ユニットとを含む、ビデオデータを符号化するように構成されたデバイスの例を表す。
いくつかの例によると、デコーダ側精密化シグナリング(たとえば、ビデオシーケンスのサブセット用のオン/オフ制御)は、モード選択ユニット202によって実施され、可能性としては動き推定ユニット222および動き補償ユニット224によって、符号化プロセス中の復号ループの一部として適用され得る。たとえば、DMVRツールの有効化または無効化は、DMVRのオンまたはオフを示す値をエントロピー符号化ユニット220へ出力することによって、モード選択ユニット202によってシグナリングされ得る。同様に、BDOFツールの有効化または無効化は、BDOFのオンまたはオフを示す値をエントロピー符号化ユニット220へ出力することによって、モード選択ユニット202によってシグナリングされ得る。ただし、本明細書に記載されるように有効または無効にされ得る他のタイプのデコーダ側精密化が、イントラ予測ユニット226および/またはフィルタユニット216など、他のユニットによって有効にされてよい。
いくつかの例では、ビデオエンコーダ200は、複数のピクチャを含むビデオデータのシーケンスを符号化するように構成され得る。そうする際、ビデオエンコーダ200(具体的には、動き補償ユニット224およびエントロピー符号化ユニット220)は、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第1のシンタックス要素の第1のインスタンスを符号化することと、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように第1のシンタックス要素の第2のインスタンスを符号化することであって、第2のサブセットは第1のサブセットとは異なる、こととを行うように構成され得る。さらに、ビデオエンコーダ200(具体的には、動き補償ユニット224およびエントロピー符号化ユニット220)は、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第2のシンタックス要素の第1のインスタンスを符号化することと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように第2のシンタックス要素の第2のインスタンスを符号化することとを行うようにさらに構成され得る。このようにして、2つの異なるデコーダ側精密化ツールのオン/オフ制御は、コード化ビデオシーケンスの異なるサブセット用に、コード化ビットストリーム中で有効または無効にされ得る。ビデオデータメモリ230は、複数のピクチャを含むビデオデータのシーケンスを記憶するように構成されたメモリを含んでよく、動き補償ユニット224およびエントロピー符号化ユニット220は、デコーダ側精密化ツールに関連付けられた符号化および判断を実施するように構成された処理回路構成を備えてよい。
図4は、本開示の技法を実施し得る例示的なビデオデコーダ300を示すブロック図である。図4は、説明のために提供され、本開示において広く例示および説明されるような技法を限定するものではない。説明のために、本開示は、JEM、VVC、およびHEVCの技法によるビデオデコーダ300について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に従って構成されたビデオコーディングデバイスによって実施され得る。
図4の例では、ビデオデコーダ300は、コード化ピクチャバッファ(CPB)メモリ320、エントロピー復号ユニット302、予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構築ユニット310、フィルタユニット312、および復号ピクチャバッファ(DPB)314を含む。CPBメモリ320、エントロピー復号ユニット302、予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構築ユニット310、フィルタユニット312、およびDPB314のいずれかまたはすべては、1つもしくは複数のプロセッサにおいてまたは処理回路構成において実装され得る。さらに、ビデオデコーダ300は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路構成を含み得る。
予測処理ユニット304は、動き補償ユニット316およびイントラ予測ユニット318を含む。予測処理ユニット304は、他の予測モードに従って予測を実施するための追加のユニットを含み得る。例として、予測処理ユニット304は、パレットユニット、(動き補償ユニット316の一部を形成し得る)イントラブロックコピーユニット、アフィンユニット、線形モデル(LM)ユニットなどを含み得る。他の例では、ビデオデコーダ300は、より多いか、より少ないか、または異なる機能構成要素を含み得る。
CPBメモリ320は、ビデオデコーダ300の構成要素によって復号されるべき、符号化ビデオビットストリームなどのビデオデータを記憶し得る。CPBメモリ320に記憶されたビデオデータは、たとえば、コンピュータ可読媒体110(図1)から取得され得る。CPBメモリ320は、符号化ビデオビットストリームからの符号化ビデオデータ(たとえば、シンタックス要素)を記憶するCPBを含み得る。また、CPBメモリ320は、ビデオデコーダ300の様々なユニットからの出力を表す一時的なデータなど、コード化ピクチャのシンタックス要素以外のビデオデータを記憶し得る。DPB314は、一般に、符号化ビデオビットストリームの後続のデータまたはピクチャを復号するときにビデオデコーダ300が参照ビデオデータとして出力および/または使用し得る復号ピクチャを記憶する。CPBメモリ320およびDPB314は、SDRAMを含むDRAM、MRAM、RRAM、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。CPBメモリ320およびDPB314は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、CPBメモリ320は、ビデオデコーダ300の他の構成要素とともにオンチップであってもよく、またはそれらの構成要素に対してオフチップであってもよい。
追加または代替として、いくつかの例では、ビデオデコーダ300はメモリ120(図1)からコード化ビデオデータを取り出し得る。すなわち、メモリ120は、CPBメモリ320に関して上記で説明したようなデータを記憶し得る。同様に、メモリ120は、ビデオデコーダ300の機能性の一部または全部がビデオデコーダ300の処理回路構成によって実行されるべきソフトウェアにおいて実装されるとき、ビデオデコーダ300によって実行されるべき命令を記憶し得る。いくつかの例では、デコーダ側精密化は(有効にされると)、予測処理ユニット304、動き補償ユニット316、イントラ予測ユニット318および/またはフィルタユニット312など、ビデオデコーダ300内のユニットによって実施される。たとえば、DMVRは、有効にされると、動き補償ユニット316によって実施されてよく、BDOFは、有効にされると、動き補償ユニットによって実施されてよい。他の例では、本明細書に記載されるように有効または無効にされ得る他のタイプのデコーダ側精密化が、動き補償ユニット316によって、またはイントラ予測ユニット318および/もしくはフィルタユニット312など、他のユニットによって実施されてよい。
図4に示す様々なユニットは、ビデオデコーダ300によって実施される動作を理解することを助けるために図示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。図3と同様に、固定機能回路は、特定の機能性を提供する回路を指し、実施され得る動作に対してプリセットされる。プログラマブル回路は、様々なタスクを実施するようにプログラムされ得る回路を指し、実施され得る動作において柔軟な機能性を提供する。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義された方法でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は(たとえば、パラメータを受信するまたはパラメータを出力するための)ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは概して不変である。いくつかの例では、ユニットのうちの1つまたは複数は別個の回路ブロック(固定機能またはプログラマブル)であってもよく、いくつかの例では、1つまたは複数のユニットは集積回路であってもよい。
ビデオデコーダ300は、ALU、EFU、デジタル回路、アナログ回路、および/またはプログラマブル回路から形成されたプログラマブルコアを含み得る。ビデオデコーダ300の動作がプログラマブル回路上で実行するソフトウェアによって実施される例では、オンチップメモリまたはオフチップメモリが、ビデオデコーダ300が受信および実行するソフトウェアの命令(たとえば、オブジェクトコード)を記憶し得る。
エントロピー復号ユニット302は、CPBから符号化ビデオデータを受信し、ビデオデータをエントロピー復号して、シンタックス要素を再現し得る。予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構築ユニット310、およびフィルタユニット312は、ビットストリームから抽出されたシンタックス要素に基づいて、復号ビデオデータを生成し得る。
一般に、ビデオデコーダ300は、ブロックごとにピクチャを再構築する。ビデオデコーダ300は、各ブロックに対する再構築動作を個別に実施し得る(ここで、現在再構築されている、すなわち復号されているブロックは、「現在のブロック」と呼ばれ得る)。
エントロピー復号ユニット302は、量子化された変換係数ブロックの量子化された変換係数、ならびに量子化パラメータ(QP)および/または変換モード指示などの変換情報を定義するシンタックス要素をエントロピー復号し得る。逆量子化ユニット306は、量子化の程度と、同様に、逆量子化ユニット306が適用すべき逆量子化の程度とを判断するために、量子化された変換係数ブロックに関連付けられたQPを使用し得る。逆量子化ユニット306は、たとえば、量子化された変換係数を逆量子化するために、ビット単位の左シフト演算を実施し得る。逆量子化ユニット306は、それによって、変換係数を含む変換係数ブロックを形成し得る。
逆量子化ユニット306が変換係数ブロックを形成した後、逆変換処理ユニット308は、現在のブロックに関連付けられた残差ブロックを生成するために、1つまたは複数の逆変換を変換係数ブロックに適用し得る。たとえば、逆変換処理ユニット308は、逆DCT、逆整数変換、逆カルーネンレーベ変換(KLT)、逆回転変換、逆方向変換、または別の逆変換を係数ブロックに適用し得る。
さらに、予測処理ユニット304は、エントロピー復号ユニット302によってエントロピー復号された予測情報シンタックス要素に従って予測ブロックを生成する。たとえば、現在のブロックがインター予測されることを予測情報シンタックス要素が示す場合、動き補償ユニット316は予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、そこから参照ブロックを取り出すべきDPB314中の参照ピクチャ、ならびに現在のピクチャ中の現在のブロックの場所に対する参照ピクチャ中の参照ブロックの場所を識別する動きベクトルを示し得る。動き補償ユニット316は、一般に、動き補償ユニット224(図3)に関して説明した方法と実質的に同様の方法でインター予測プロセスを実施し得る。
別の例として、現在のブロックがイントラ予測されることを予測情報シンタックス要素が示す場合、イントラ予測ユニット318は、予測情報シンタックス要素によって示されたイントラ予測モードに従って予測ブロックを生成し得る。やはり、イントラ予測ユニット318は、一般に、イントラ予測ユニット226(図3)に関して説明した方法と実質的に同様の方法でイントラ予測プロセスを実施し得る。イントラ予測ユニット318は、DPB314から現在のブロックに対する隣接サンプルのデータを取り出し得る。
再構築ユニット310は、予測ブロックと残差ブロックとを使用して現在のブロックを再構築し得る。たとえば、再構築ユニット310は、予測ブロックの対応するサンプルに残差ブロックのサンプルを追加して、現在のブロックを再構築し得る。
フィルタユニット312は、再構築されたブロックに対して1回または複数回のフィルタ動作を実施し得る。たとえば、フィルタユニット312は、再構築されたブロックの端部に沿ったブロッキネスアーティファクトを減らすために、デブロッキング動作を実施し得る。フィルタユニット312の動作は、必ずしもすべての例において実施されるとは限らない。
ビデオデコーダ300は、DPB314に再構築されたブロックを記憶し得る。上記で説明したように、DPB314は、イントラ予測のための現在のピクチャおよび後続の動き補償のための以前に復号されたピクチャのサンプルなどの参照情報を予測処理ユニット304に提供し得る。さらに、ビデオデコーダ300は、図1のディスプレイデバイス118などのディスプレイデバイス上に後で提示するための、DPB314からの復号ピクチャを出力し得る。
このように、ビデオデコーダ300は、ビデオデータを記憶するように構成されたメモリと、回路構成で実装されるとともに、デコーダ側動き精密化モードがビデオシーケンス内のビデオデータのサブセット用にオンそれともオフであるかを示すシンタックス要素を(たとえば、スライスレベル、ピクチャレベル、サブピクチャレベル、フレームレベル、またはブロックレベルで)コーディングするように、およびシンタックス要素に基づいて、ビデオデータのサブセット中のビデオデータのブロックをコーディングするように構成された1つまたは複数の処理ユニットとを含むビデオ復号デバイスの例を表す。
たとえば、ビデオデコーダ300(具体的には、エントロピー復号ユニット302および動き補償ユニット316)は、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを示す第1のシンタックス要素を復号することと、第1のシンタックス要素の値に基づいて、第1のデコーダ側精密化ツールが、ビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを判断することと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを示す第2のシンタックス要素を復号することと、第1のシンタックス要素の値に基づいて、第2のデコーダ側精密化ツールが、ビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを判断することとを行うように構成され得る。ビデオデコーダ300(具体的には、エントロピー復号ユニット302および動き補償ユニット316)は、第1のデコーダ側精密化ツールが第1のサブセット用に有効にされたことに応答して、第1のデコーダ側精密化ツールを使って、ビデオデータの第1のサブセットを復号することと、第1のデコーダ側精密化ツールが第1のサブセット用に無効にされたことに応答して、第1のデコーダ側精密化ツールを使わずにビデオデータの第1のサブセットを復号することと、第2のデコーダ側精密化ツールが第1のサブセット用に有効にされたことに応答して、第2のデコーダ側精密化ツールを使って、ビデオデータの第1のサブセットを復号することと、第2のデコーダ側精密化ツールが第1のサブセット用に無効にされたことに応答して、第2のデコーダ側精密化ツールを使わずにビデオデータの第1のサブセットを復号することとを行い得る。CPBメモリ320は、複数のピクチャを含むビデオデータのシーケンスを記憶するように構成されたメモリを含んでよく、エントロピー復号ユニット302および動き補償ユニット316は、デコーダ側精密化ツールに関連付けられた復号および判断を実施するように構成された処理回路構成を備えてよい。
双方向オプティカルフロー(BDOF)
双方向オプティカルフロー(BDOF)モードは、以前はBIOとも呼ばれ、4×4サブブロックレベルにおいてコーディングユニット(CU)の双予測信号を精密化するのに使われ得るツールである。その名称が示すように、BDOFモードはオプティカルフロー概念に基づき、この概念では、オブジェクトの動きが滑らかであると仮定する。各4×4サブブロックについて、ビデオエンコーダ200およびビデオデコーダ300は、L0およびL1予測サンプルの間の差分を最小化することによって、動き精密化(vx,vy)を算出し得る。ビデオエンコーダ200およびビデオデコーダ300は次いで、4×4サブブロック中の双予測サンプル値を調節するのに、動き精密化を使えばよい。
以下のステップが、BDOFプロセスにおいて適用され得る。最初に、ビデオエンコーダ200およびビデオデコーダ300は、2つの予測信号の、k=0,1である水平および垂直勾配、すなわち
Figure 2022535528000002
を、2つの隣接サンプル、すなわち、
Figure 2022535528000003
の間の差分を直接算出することによって計算すればよく、上式で、I(k)(i,j)は、k=0,1であるリストk中の予測信号の座標(i,j)におけるサンプル値である。
次いで、ビデオエンコーダ200およびビデオデコーダ300は、勾配、すなわちS1、S2、S3、S5およびS6の自己および相互相関を、
Figure 2022535528000004
として算出すればよく、上式で、
Figure 2022535528000005
であり、Ωは、4×4サブブロックの周辺の6×6ウィンドウである。
ビデオエンコーダ200およびビデオデコーダ300は次いで、相互および自己相関項を使って動き精密化(vx,vy)を、式
Figure 2022535528000006
を使って導出することができ、上式で、
Figure 2022535528000007
は床関数である。
動き精密化および勾配に基づいて、ビデオエンコーダ200およびビデオデコーダ300は、4×4サブブロック中の各サンプル用に以下の調節を算出することができる。
Figure 2022535528000008
最終的に、ビデオエンコーダ200およびビデオデコーダ300は、CUのBDOFサンプルを、双予測サンプルを以下のように調節することによって算出し得る。
predBDOF(x,y)=(I(0)(x,y)+I(1)(x,y)+b(x,y)+οoffset)≫shift
これらの値は、BDOFプロセス中の乗数が15ビットを超えず、BDOFプロセス中の中間パラメータの最大ビット幅が32ビット以内に保たれるように選択される。
勾配値を導出するために、ビデオエンコーダ200およびビデオデコーダ300は、現在のCU境界の外で、リストk(k=0,1)中でいくつかの予測サンプルI(k)(i,j)を生成すればよい。図5は、双方向オプティカルフローにおいて使われる拡張コーディングユニット領域501を示す概念図である。図5に示すように、VVCテストモデル4.0(VTM4)におけるBDOFは、CUの境界の周辺の1つの拡張行/列を使う。境界外予測サンプルを生成する計算の複雑さを制御するために、ビデオエンコーダ200およびビデオデコーダ300は、(座標に対してfloor()演算を使って)近くの整数位置にある参照サンプルを補間なしで直接とることによって、拡張エリア(白い位置)中で予測サンプルを生成すればよく、標準8タップ動き補償補間フィルタが、CU(グレー位置)内で予測サンプルを生成するのに使われる。いくつかの例では、ビデオエンコーダ200およびビデオデコーダ300は、これらの拡張サンプル値を勾配算出において使うだけでよい。BDOFプロセスにおける残りのステップについては、CU境界の外の何らかのサンプルおよび勾配値が必要とされる場合、ビデオエンコーダ200およびビデオデコーダ300は、サンプルおよび勾配値を、それらの最近傍からパディングすれば(たとえば、繰り返せば)よい。
VTMの一例では、ビデオエンコーダ200およびビデオデコーダ300は、以下の条件でコーディングされているCU用のBDOFを適用するように構成され得る。
・双予測MV
・双予測は、2つの方向に対して等しい重みである
・現在のピクチャに対して、1つの参照ピクチャは過去にあり、別の参照ピクチャは未来にある
・CUは、さらに64個のルーマサンプルを有し、CUの高さは8ルーマサンプル以上である
デコーダ側動きベクトル精密化(DMVR)
マージモードのMVの正確さを増すために、ビデオエンコーダ200およびビデオデコーダ300は、双向性マッチングベースのデコーダ側動きベクトル精密化を適用するように構成され得る。いくつかの例では、ビデオエンコーダ200は、再構築ループ中でデコーダ側動きベクトル精密化技法を適用することができる。双予測演算において、ビデオデコーダ300は、参照ピクチャリストL0および参照ピクチャリストL1中の初期MV周辺で、精密化されたMVを探索するように構成され得る。ビデオデコーダ300は、参照ピクチャリストL0およびリストL1中の2つの候補ブロックの間の歪みを算出するのに、ブロックマッチング方法を使えばよい。図6は、デコーダ側動きベクトル精密化の例を示す概念図である。
図6に示すように、ビデオデコーダ300は、初期MVの周辺の各MV候補に基づいて、601および602と標示されるブロックの間の絶対差分和(SAD)を算出することができる。最も低いSADをもつMV候補が、精密化されたMVになり、ビデオデコーダ300によって、双予測信号を生成するのに使われる。
VTMの一例では、DMVRは、以下の条件でコーディングされているCU用に適用される。
・双予測MVを用いるCUレベルマージモード
・双予測は、2つの方向に対して等しい重みである
・現在のピクチャに対して、1つの参照ピクチャは過去にあり、別の参照ピクチャは未来にある
・両方の参照ピクチャから現在のピクチャまでの距離(すなわちPOC差分)が同じである
・CUは、さらに64個のルーマサンプルを有し、CUの高さは8ルーマサンプルよりも上である
動きベクトル差分によるマージモード(MMVD)
暗黙的に導出された動き情報が、現在のCUの予測サンプル生成のために直接使われるマージモードに加え、動きベクトル差分によるマージモード(MMVD)が、VVCにおいて導入される。ビデオエンコーダ200は、CU用にMMVDモードが使われるかどうかを指定するために、スキップフラグおよびマージフラグを送った後、MMVDフラグをシグナリングするように構成され得る。
MMVDでは、マージ候補が選択された後、ビデオエンコーダ200およびビデオデコーダ300は、シグナリングされたMVD情報を使ってマージ候補をさらに精密化し得る。さらなる情報は、マージ候補フラグ、動き規模を指定するためのインデックス、および動き方向の指示についてのインデックスを含む。MMVDモードでは、ビデオエンコーダ200およびビデオデコーダ300は、マージリスト中の最初の2つの候補について、MV基盤として使われるべき1つを選択し得る。ビデオエンコーダ200は、どちらが使われるかを指定するためのマージ候補フラグをシグナリングする。ビデオデコーダ300は、使うべきマージ候補を判断するためのフラグを復号する。
距離インデックス(IDX)は、動き規模情報を指定し、開始点からのあらかじめ定義されたオフセットを示す。図7は、動きベクトル差分探索点を用いる例示的マージモードを示す概念図である。探索点は、L0参照701内に示される中心点の所に、および/またはL1参照702内に示される中心点の所に定められ得る。図7に示すように、開始MVの水平成分または垂直成分のいずれかにオフセットが加えられる。距離インデックスとあらかじめ定義されたオフセットの関係は、Table 1-1(表1)において規定される。
Figure 2022535528000009
方向インデックス(IDX)は、開始点に相対したMVDの方向を表す。方向インデックスは、Table 1-2(表2)に示すように4つの方向を表し得る。MVD符号の意味は、開始MVの情報によって変わり得る。開始MVが、単予測MV、または両方のリストが現在のピクチャの同じ側をポイントする双予測MVである(すなわち、2つの参照のPOCが両方とも、現在のピクチャのPOCよりも大きいか、もしくは両方とも現在のピクチャのPOCよりも小さい)とき、Table 1-2(表2)中の符号は、開始MVに加えられるMVオフセットの符号を指定する。開始MVが、2つのMVが現在のピクチャの異なる側をポイントする双予測MVである(すなわち、一方の参照のPOCが現在のピクチャのPOCよりも大きく、他方の参照のPOCが現在のピクチャのPOCよりも小さい)とき、Table 1-2(表2)中の符号は、開始MVのlist0 MV成分に加えられるMVオフセットの符号を指定し、list1 MVについての符号は反対の値を有する。
Figure 2022535528000010
上述したデコーダ側動き精密化ツールは、圧縮効率を向上し得る。ただし、デコーダ側動き精密化ツールの使用は、符号化/復号の複雑さも増す。本開示では、異なるアプリケーションにおいて複雑さと圧縮効率との間の最良トレードオフを実装者が選択するための選択肢を提供するために、デコーダ側動き精密化ツールのオン/オフ制御のための技法が開示される。
本開示は概して、ビデオシーケンス内のビデオデータのサブセットに適用されるオン/オフ制御について記載する。したがって、本開示によると、異なるデコーダ側精密化ツールの制御は、ビデオシーケンスの異なるサブセットまたは部分用に、たとえば、ビデオシーケンス内の、ビデオデータのスライス、ビデオデータのフレーム、ビデオデータのピクチャ、ビデオデータのサブピクチャ、またはビデオデータのブロック用に有効または無効にされ得る。このようにして、異なるビデオアプリケーションまたは設定における復号の複雑さを軽減し、圧縮効率を高めるという、相反する目標の間で一層の柔軟性が得られる。ビデオシーケンスのサブセットは、たとえば、ビデオデータのシーケンスの複数のピクチャの中の第1のピクチャの少なくとも一部分を含み得る。
スライスとは、ビデオデータの部分またはサブセットを指し得る。スライスは、ビデオシーケンスのピクチャ全体またはその一部分を含み得る。ビデオシーケンスは、複数のピクチャを含み得る。ビデオシーケンスのサブセットは、たとえば、ビデオデータのシーケンスの複数のピクチャの中の第1のピクチャの少なくとも一部分、たとえば、ピクチャ全体またはフレーム、シーケンスのピクチャの全部ではないが一部、シーケンスのピクチャの部分、スライス(ピクチャの一部もしくは全部を含み得る)、ブロックのセット、または個々のビデオブロックを含み得る。制御が、ビデオシーケンスの異なる部分が異なるデコーダ側精密化を適用するのを可能にし得る限り、制御は、本開示に従って、これらの異なるレベルのいずれにおいても提供されてよい。
スライスレベル制御
本開示の一例では、ビデオエンコーダ200およびビデオデコーダ300は、スライスレベルオン/オフ制御をコーディングするように構成され得る。つまり、ビデオエンコーダ200およびビデオデコーダ300は、スライスレベルで1つもしくは複数のデコーダ側動き精密化技法(たとえば、DMVR、BDOFなど)を適用する(すなわち、オンにする)か、または適用しない(すなわち、オフにする)ように構成され得る。スライスレベル制御のための同様の技法が、シーケンスの他のサブ部分に適用されてよい。
一例では、ビデオエンコーダ200およびビデオデコーダ300は、スライス中でのDMVRのオン/オフ状況を示すように、第1のシンタックス要素(たとえば、フラグ)をスライスヘッダにおいてコーディングすることができ、ビデオエンコーダ200およびビデオデコーダ300は、スライス中でのBDOFのオン/オフ状況を示すように、第2のシンタックス要素(たとえば、フラグ)をスライスヘッダにおいてコーディングすることができ、またはその反対である。
別の例では、ビデオエンコーダ200およびビデオデコーダ300は、スライス中でのDMVRとBDOFの両方のオン/オフ状況を示すように、1つのシンタックス要素(たとえば、フラグ)をスライスヘッダにおいてコーディングし得る。
さらに別の例では、ビデオエンコーダ200およびビデオデコーダ300は、スライス中でのDMVRのオン/オフ状況を示すように、ただ1つのシンタックス要素(たとえば、フラグ)をスライスヘッダにおいてコーディングし得る。スライスレベルでのBDOFのオン/オフ制御は利用可能でない。つまり、BDOFは、この例では、スライスレベルではオン/オフされない。
さらに別の例では、ビデオエンコーダ200およびビデオデコーダ300は、スライス中でのBDOFのオン/オフ状況を示すように、ただ1つのシンタックス要素(たとえば、フラグ)をスライスヘッダにおいてコーディングし得る。スライスレベルでのDMVRのオン/オフ制御は利用可能でない。つまり、DMVRは、この例では、スライスレベルではオン/オフされない。スライスは、ピクチャ全体またはピクチャのサブセットもしくは部分を指し得る。
ブロックレベル制御
さらに別の例では、ビデオエンコーダ200およびビデオデコーダ300は、より精密な制御のために、シンタックス要素をブロックレベルでコーディングし得る。後で概説するように、いくつかの異なる方法が使われてよい。
ブロックレベルオン/オフフラグ
一例では、ビデオエンコーダ200およびビデオデコーダ300は、マージモードCU(すなわち、マージモードを使ってコーディングされたCU)についてのフラグを、DMVRのオン/オフ状況を示すようにコーディングし得る。
上記技法の一変形形態では、ビデオエンコーダ200およびビデオデコーダ300は、マージモードCUについてのフラグを、DMVRとBDOFの両方のオン/オフ状況を示すようにコーディングし得る。
上記技法の別の変形形態では、ビデオエンコーダ200およびビデオデコーダ300は、マージ候補インデックスが、ある程度の一定の範囲内にある場合にのみ、DMVR(またはBDOF)のオン/オフ状況を示すようにフラグをコーディングし得る。一例では、範囲は0からNであってよく、ここでNは1、2、3、4、他であってよい。別の例では、範囲はNから最大許容インデックスであってよく、ここでNは1、2、3、4、他であってよい。
別の例では、DMVRオン/オフフラグ(有効化フラグともいう)およびBDOFオン/オフ(有効化)フラグは、動き情報の一部であってよく、ネイバーブロックから動きベクトル候補として借用される(たとえば、再利用される)。人為的動きベクトル候補が導出されたとき、ビデオエンコーダ200およびビデオデコーダ300は、一例ではそれらのフラグを0にセットすればよい。
他の例では、ブロックレベルまたはスライスレベル制御よりもむしろ、より大きいビデオシーケンス内のビデオデータの他の定義されたサブセット用に、たとえば、ピクチャのセット(ただし、ビデオシーケンスの部分のみ)用に、個々のピクチャ用に、ビデオデータのフレーム用に、ピクチャのサブピクチャもしくは部分用に、スライス用に、ブロック用に、またはより大きいビデオシーケンス内のビデオデータの別のサブセット用に、制御が提供され得る。
MMVDモード用のゼロMVD
別の例では、ビデオエンコーダ200およびビデオデコーダ300は、MMVDモード用のゼロMVDを可能にすることにより、ブロックレベルオン/オフ制御を実装し得る。現時点では、ブロックがMMVDモードでコーディングされている場合、DMVRは適用されない。したがって、MMVDモード用のMVDがゼロである場合、DMVRなしの標準マージモードと等価になる。同じ発想が、BDOFのケースに適用されてよい。つまり、BDOFは、MMVDモードにおいてゼロMVDと一緒には使われない。
MMVDモードのためのゼロMVDが適用されたとき、ビデオエンコーダ200およびビデオデコーダ300は、距離インデックスとあらかじめ定められたオフセットの関係を、第1のインデックスがゼロオフセットを示し、それに応じて、他のオフセット値のインデックスが1だけ加算されるように修正してよい。修正された表の例が、Table 2-1(表3)に示される。距離インデックスのシグナリングを変える必要はないことに留意されたい。ただし、ゼロMVDが適用され、シグナリングされた距離インデックスが0である場合、ビデオエンコーダ200およびビデオデコーダ300は、ゼロMVDが方向をもたないので、方向インデックスをコーディングする必要はなくてよい。
Figure 2022535528000011
MMVDモードのための適応的ゼロMVD
本開示の別の例では、ビデオエンコーダ200およびビデオデコーダ300は、ブロックサイズおよび/またはスライスタイプに従って、MMVDモードにおいてゼロMVDを適応的に適用してよい。
DMVRを適用することができないPまたは低遅延コーディングスライスについて、ビデオエンコーダ200およびビデオデコーダ300は、MMVDモードにゼロMVDを適用しなくてよい。同様に、ブロックのサイズがサイズ制約を満たさない場合、DMVRはブロックに適用されない。この例では、ビデオエンコーダ200およびビデオデコーダ300は、ブロックのためのMMVDモードにゼロMVDを適用しなくてよい。
上述した同じ技法が、BDOFモードのために適用されてよい。
BDOF
いくつかの例では、ゼロMVDは、BDOFを制御するのにも使われ得る。たとえば、ゼロMVDが適用される場合、ビデオエンコーダ200およびビデオデコーダ300はBDOFを実施しなくてよい。
冗長性除去
本開示の別の例では、ビデオエンコーダ200およびビデオデコーダ300は、選択されたベースマージ候補の上にゼロMVDを適用してよい。現在のスライスがBスライスであり、現在のブロックがサイズ制約を満足する場合であっても、ベースマージ候補は、DMVR条件すべてを満足するとは限らない場合がある。したがって、DMVRは、対応するマージ候補用に保証されない。ゼロMVDは、ベースマージ候補に適用される場合、通常マージモードにおけるマージ候補と同一であってよい。それらの冗長MMVD候補を、冗長MMVD候補を修正することによって削除することが提案されている。たとえば、ビデオエンコーダ200およびビデオデコーダ300は、予測方向、参照ピクチャ/インデックス、および動きベクトルを変えるように構成されてよい。
冗長性は、ブロックレベルオン/オフフラグに関して上述した方法にも存在し得る。たとえば、CUレベルフラグがオンであるとき、フラグは、現在のCUにDMVRおよび/またはBDOFが適用され得ることを示す。ただし、いくつかのマージ候補は、DMVR/BDOF条件すべてを満足するとは限らない場合がある。したがって、その候補が選ばれた場合、CUレベルフラグは、オンであるかオフであるかにかかわらず、同一の結果で終わることになる。
したがって、冗長性除去の追加例について、以下で説明する。以下の技法は、上述したブロックレベルオン/オフフラグ技法、上述したMMVDモードのためのゼロMVD技法のどの組合せとともに、またはどの他のブロックレベルDMVR/BDOFオン/オフ制御技法とともに適用されてもよい。
単予測から双予測へのコンバート
本開示の別の例では、選択されたベースマージ候補が単予測される場合、ビデオエンコーダ200およびビデオデコーダ300は、選択されたベースマージ候補を、冗長性除去のために双予測にコンバートすればよい。
一例では、ビデオエンコーダ200およびビデオデコーダ300は、単方向の動きをミラーリングすることによってコンバージョンを実施し得る。一例では、単方向の動きベクトルがMV0であり、参照リストがL0であり、参照インデックスがrefIdx0である場合、他方のリスト中のミラーリングされた動きベクトルはMV1=-MV0であり、参照リストはL1であり、参照インデックスはrefIdx1=refIdx0である。別の例では、ミラーリングされた参照インデックスは常に0であり、ミラーリングされた動きベクトルは、現在のピクチャと、L0中のrefIdx0およびL1中の参照インデックス0によって示される参照ピクチャとの間のPOC距離に従ってスケーリングされる。
新規距離オフセット値の追加
いくつかの例では、選択されたベースマージ候補が双予測されるが、DMVR条件を満たさない場合、ビデオエンコーダ200およびビデオデコーダ300は、距離インデックス0を、MMVDオフセットテーブル中に存在しない新規距離オフセット値と解釈すればよい。たとえば、1/8、1/16、他である。
単予測を双予測にコンバートする代わりに、新規オフセット値を追加する方法は、単予測であるベースマージ候補に適用されてもよい。
双予測から単予測へのコンバート
双予測ベースマージ候補についての冗長性を除去する別の例では、ビデオエンコーダ200およびビデオデコーダ300は、双予測ベースマージ候補を単予測にコンバートすればよい。たとえば、L0/L1動きは、選択されたベースマージ候補が双予測であるがDMVR条件を満たさない場合、破棄される。
等しくない重み双予測と等しい重み双予測との間のコンバート
場合によっては、ビデオエンコーダ200およびビデオデコーダ300は、2つの方向についての重み付けパラメータが等しくない場合、双予測マージ候補に対するDMVRを実施しなくてよい。等しくない重み双予測がMMVDにおいて許容され、ゼロMVDが適用される場合、ビデオエンコーダ200およびビデオデコーダ300は、等しくない重み双予測ベースマージ候補を等しい重み双予測ベースマージ候補にコンバートすればよく、ビデオエンコーダ200およびビデオデコーダ300は、等しい重み双予測ベースマージ候補を等しくない重み双予測ベースマージ候補にコンバートすればよい。
場合によっては、シーケンスレベル制御により、1つまたは複数のデコーダ側精密化ツールが大規模ビデオシーケンス用に利用可能であるかどうかが判断されてよく、より低いレベル制御(たとえば、シーケンスのサブセット用)により、デコーダ側精密化ツールがビデオシーケンス内の異なるサブセット用にオンまたはオフに制御されることが可能になり得る。
図8は、現在のブロックを符号化するための例示的な方法を示すフローチャートである。現在のブロックは現在のCUを含み得る。ビデオエンコーダ200(図1および図3)に関して説明されるが、他のデバイスが図8の方法と同様の方法を実施するように構成され得ることを理解されたい。
この例では、ビデオエンコーダ200は最初に、現在のブロックを予測する(350)。たとえば、ビデオエンコーダ200は、現在のブロックに対する予測ブロックを形成し得る。次いで、ビデオエンコーダ200は、現在のブロックのための残差ブロックを算出し得る(352)。残差ブロックを算出するために、ビデオエンコーダ200は、元の符号化されていないブロックと現在のブロックのための予測ブロックとの間の差分を算出し得る。次いで、ビデオエンコーダ200は、残差ブロックの係数を変換して量子化し得る(354)。次に、ビデオエンコーダ200は、残差ブロックの量子化された変換係数を走査し得る(356)。走査の間、または走査に続いて、ビデオエンコーダ200は、係数をエントロピー符号化し得る(358)。たとえば、ビデオエンコーダ200は、CAVLCまたはCABACを使用して係数を符号化し得る。次いで、ビデオエンコーダ200は、ブロックのエントロピーコーディングされたデータを出力し得る(360)。
図8に一致するいくつかの例では、符号化プロセス(現在のブロックを予測するステップ(350)など)は、デコーダ側精密化を有効にし、または無効にするためのステップを含み得る。したがって、符号化プロセスは、より大きいビデオシーケンスの異なるサブセットまたは部分用にそのようなデコーダ側精密化ツールを有効にし、または無効にするために、本明細書に記載されるように、シンタックス要素を符号化するためのステップを含み得る。
図9は、ビデオデータの現在のブロックを復号するための例示的な方法を示すフローチャートである。現在のブロックは現在のCUを含み得る。ビデオデコーダ300(図1および図4)に関して説明するが、他のデバイスが図9の方法に類似の方法を実施するように構成され得ることを理解されたい。
ビデオデコーダ300は、エントロピーコード化予測情報および現在のブロックに対応する残差ブロックの係数のためのエントロピーコード化データなどの、現在のブロックのためのエントロピーコード化データを受信し得る(370)。ビデオデコーダ300は、現在のブロックのための予測情報を判断するために、および残差ブロックの係数を再現するために、エントロピーコード化データをエントロピー復号し得る(372)。ビデオデコーダ300は、現在のブロックに対する予測ブロックを算出するために、たとえば、現在のブロックに対する予測情報によって示されるようなイントラ予測モードまたはインター予測モードを使用して、現在のブロックを予測し得る(374)。次いで、ビデオデコーダ300は、量子化された変換係数のブロックを作成するために、再現された係数を逆走査し得る(376)。次いで、ビデオデコーダ300は、残差ブロックを生じるために、係数を逆量子化および逆変換し得る(378)。ビデオデコーダ300は、予測ブロックおよび残差ブロックを合成することによって、現在のブロックを最終的に復号し得る(380)。
図9に一致するいくつかの例では、復号プロセス(現在のブロックを予測するステップ(374)など)は、1つまたは複数のデコーダ側精密化ツールの適用を含み得る。したがって、復号プロセスは、より大きいビデオシーケンスの異なるサブセットまたは部分用にデコーダ側精密化ツールを有効にし、または無効にするのを可能にする、本明細書に記載されるようなシンタックス要素を復号するためのステップを含み得る。図10および図11は、より大きいビデオシーケンス内のビデオデータの異なるサブセットを復号し、符号化するための例についての、ある程度の追加詳細を与え、ここで、異なるサブセット(たとえば、異なるスライス、異なるピクチャ、異なるサブピクチャ、異なるフレーム、ピクチャの異なるセット、異なるブロック、または他の異なるサブセット)は、デコーダ側精密化ツールを別個に有効または無効にしている。
図10に示すように、ビデオデコーダ300は、第1のシンタックス要素を復号すること(402)と、第1のシンタックス要素の値に基づいて、第1のデコーダ側精密化ツールが、ビデオデータのサブセット用に有効にされるか、それとも無効にされるかを判断すること(404)とを行うように構成された処理回路構成を含み得る。たとえば、第1のシンタックス要素は、DMVRツールに関連付けられたフラグまたはビットを含むことができ、ビデオデータのサブセットは、ビデオデータの複数のピクチャを含む、ビデオシーケンスの部分(全部ではないが一部)を含むことができる。特に、本明細書に記載されるサブセットは、ビデオデータのスライス、ビデオデータのピクチャ、ビデオデータのサブピクチャ、ビデオデータのフレーム、ビデオデータのブロック、またはビデオシーケンス内のビデオデータの別のサブ部分を含み得る。ビデオデコーダ300は、第2のシンタックス要素を復号すること(406)と、第2のシンタックス要素の値に基づいて、第2のデコーダ側精密化ツールが、ビデオデータのサブセット用に有効にされるか、それとも無効にされるかを判断すること(404)とを行うように構成され得る。たとえば、第2のシンタックス要素は、BDOFツールに関連付けられたフラグまたはビットを含み得る。ビデオデコーダ300は次いで、判断に基づいて、サブセット(すなわち、スライス、ピクチャ、サブピクチャ、フレーム、ブロック、またはより大きいシーケンスの他のサブセット)を復号する(410)。たとえば、デコーダ300は、第1のデコーダ側精密化ツールが第1のサブセット用に有効にされたことに応答して、第1のデコーダ側精密化ツールを使って、ビデオデータのサブセット(たとえば、ビデオデータの第1のサブセット)を復号することと、第1のデコーダ側精密化ツールが第1のサブセット用に無効にされたことに応答して、第1のデコーダ側精密化ツールを使わずに、ビデオデータのサブセットを復号することと、第2のデコーダ側精密化ツールが第1のサブセット用に有効にされたことに応答して、第2のデコーダ側精密化ツールを使って、ビデオデータのサブセットを復号することと、第2のデコーダ側精密化ツールが第1のサブセット用に無効にされたことに応答して、第2のデコーダ側精密化ツールを使わずに、ビデオデータのサブセットを復号することとを行うように構成され得る。
ビデオデコーダ300は、復号するべきビデオデータの別のサブセット、たとえば、別のスライス、ピクチャ、サブピクチャ、フレーム、ブロックまたは他のサブセットがあるかどうかを判断する(412)ように構成され得る。そうである場合(412の「yes」分岐)、プロセスは、ビデオデータの第2のサブセットに対して、たとえば、ビデオデータの第1のサブセットを含んでいた同じビデオシーケンス内の、異なるスライス、ピクチャ、サブピクチャ、フレーム、ブロックまたは他のサブセットに対して繰り返す。この例では、第1のシンタックス要素を復号する(402)第1のステップは、第1のシンタックス要素の第1のインスタンスを復号することを含むことができ、第2のシンタックス要素を復号する(406)第1のステップは、第2のシンタックス要素の第1のインスタンスを復号することを含むことができる。したがって、ビデオデコーダ300は、(別のサブセットを識別すると、すなわち、412の「yes」分岐)、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別する第1のシンタックス要素の第2のインスタンスを復号すること(402)ができ、第2のサブセットは第1のサブセットとは異なる。ビデオデコーダ300は次いで、第1のシンタックス要素の第2のインスタンスの値に基づいて、第1のデコーダ側精密化ツールが、ビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを判断し(404)、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを判断するために、第2のシンタックス要素の第2のインスタンスを復号し(406)、第2のシンタックス要素の第2のインスタンスの値に基づいて、第2のデコーダ側精密化ツールが、ビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを判断する(408)ことができる。デコーダ300は、ビデオデータの第2のサブセットを復号する(410)ように構成されてよく、このことは、第1のデコーダ側精密化ツールが第2のサブセット用に有効にされたことに応答して、第1のデコーダ側精密化ツールを使って、ビデオデータの第2のサブセットを復号することと、第1のデコーダ側精密化ツールが第2のサブセット用に無効にされたことに応答して、第1のデコーダ側精密化ツールを使わずにビデオデータの第2のサブセットを復号することと、第2のデコーダ側精密化ツールが第2のサブセット用に有効にされたことに応答して、第2のデコーダ側精密化ツールを使って、ビデオデータの第2のサブセットを復号することと、第2のデコーダ側精密化ツールが第2のサブセット用に無効にされたことに応答して、第2のデコーダ側精密化ツールを使わずにビデオデータの第2のサブセットを復号することとを含み得る。
ビデオデコーダ300は、復号するべきビデオデータの別のサブセット、たとえば、別のスライス、ピクチャ、サブピクチャ、フレーム、ブロックまたは他のサブセットがあるかどうかを再度判断する(412)ように構成され得る。そうである場合(412の「yes」分岐)、プロセスは、ビデオデータの第3のサブセットに対して、たとえば、ビデオデータの第1のサブセットを含んでいた同じビデオシーケンス内の、異なるスライス、ピクチャ、サブピクチャ、フレーム、ブロックまたは他のサブセットに対して繰り返す。実際、プロセスは、より大きいビデオシーケンス内のビデオデータの多くのサブセットに対して繰り返し得る。
ビデオデータの第3のサブセットに対して、たとえば、ビデオデコーダ300は、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを示す第1のシンタックス要素の第3のインスタンスを復号する(402)ように構成された処理回路構成を含むことができ、ここで、第3のサブセットは第1のサブセットとは異なり、第3のサブセットは第2のサブセットとは異なる。ビデオデコーダは、第1のシンタックス要素の第3のインスタンスの値に基づいて、第1のデコーダ側精密化ツールが、ビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを判断し(404)、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを識別する第2のシンタックス要素の第3のインスタンスを復号し(406)、第2のシンタックス要素の第3のインスタンスの値に基づいて、第2のデコーダ側精密化ツールが、ビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを判断する(408)ようにさらに構成されてよく、デコーダ300は、ビデオデータの第3のサブセットを復号する(410)ことができ、このことは、第1のデコーダ側精密化ツールが第3のサブセット用に有効にされたことに応答して、第1のデコーダ側精密化ツールを使って、ビデオデータの第3のサブセットを復号することと、第1のデコーダ側精密化ツールが第3のサブセット用に無効にされたことに応答して、第1のデコーダ側精密化ツールを使わずにビデオデータの第3のサブセットを復号することと、第2のデコーダ側精密化ツールが第3のサブセット用に有効にされたことに応答して、第2のデコーダ側精密化ツールを使って、ビデオデータの第3のサブセットを復号することと、第2のデコーダ側精密化ツールが第3のサブセット用に無効にされたことに応答して、第2のデコーダ側精密化ツールを使わずにビデオデータの第3のサブセットを復号することとを含み得る。
このようにして、デコーダ側精密化ツールは、ビデオシーケンス内のデータの異なるサブセット用に何度も有効または無効にされ得る。たとえば、ビデオデコーダ300は、第1のシンタックス要素の第1のインスタンスの値に基づいて、第1のデコーダ側精密化ツールがビデオデータの第1のサブセット用に有効にされると判断することと、第2のシンタックス要素の第1のインスタンスの値に基づいて、第2のデコーダ側精密化ツールがビデオデータの第1のサブセット用に無効にされると判断することと、第1のデコーダ側精密化ツールを使って、および第2のデコーダ側精密化ツールを使わずに、ビデオデータの第1のサブセットを復号することとを行うように構成され得る。次いで、同じビデオシーケンスに対して、ビデオデコーダ300は、第1のシンタックス要素の第2のインスタンスの値に基づいて、第1のデコーダ側精密化ツールがビデオデータの第2のサブセット用に無効にされると判断することと、第2のシンタックス要素の第2のインスタンスの値に基づいて、第2のデコーダ側精密化ツールがビデオデータの第2のサブセット用に有効にされると判断することと、第2のデコーダ側精密化ツールを使って、および第1のデコーダ側精密化ツールを使わずに、ビデオデータの第2のサブセットを復号することとを行うように構成され得る。
第1および第2のデコーダ側精密化ツールは概して、ビデオデータのシーケンスの複数のピクチャのいずれかを復号するために利用可能であり得るが、第1および第2のデコーダ側精密化ツールの一方または両方が、ビデオデータのシーケンス内のビデオデータのいくつかのサブセット用に有効にされてよく、第1および第2のデコーダ側精密化ツールの一方または両方が、ビデオデータのシーケンス内のビデオデータの他のサブセット用に無効にされてよい。
いくつかの例では、デコーダ側精密化ツールの一般的利用可能性はシーケンスレベルで定義されてよく、より精密化されたオン/オフ制御がシーケンスのサブセット(たとえば、スライス、ブロック、ピクチャ、サブピクチャ、フレーム、または他のサブセット)用に利用可能である。たとえば、ビデオデコーダ300は、ビデオデータのシーケンスに関連付けられた1つまたは複数のシンタックス要素を復号することと、ビデオデータのシーケンスに関連付けられた1つまたは複数のシンタックス要素に基づいて、ビデオデータのシーケンスの複数のピクチャを復号するために利用可能であるように、第1および第2のデコーダ側精密化ツールが有効にされると判断することとを行うように構成された処理回路構成を含み得る。次いで、ビデオデコーダ300は、デコーダ側精密化ツールのオン/オフ制御がサブシーケンスレベルで行われ得るように、図10のプロセスを、シーケンス内のビデオデータのサブセットの各々に対して実施すればよい。いくつかの例では、オン/オフ制御がそのサブセットについてシグナリングされたビデオデータの各サブセットは、ビデオデータのシーケンスの複数のピクチャの中のピクチャの少なくとも一部分を含み得る。やはり、例として、サブセットは、シーケンス内のビデオデータのスライス、シーケンス内のビデオデータのフレーム、ビデオデータのシーケンスの複数のピクチャの中のピクチャ、ビデオデータのサブピクチャ、またはシーケンス内のビデオデータのブロックを含み得る。
図11は、複数のピクチャを含むビデオシーケンスの異なる部分またはサブセット用に2つ以上のデコーダ側精密化ツールが有効または無効にされ得るための、本開示に一致する符号化技法を示す例示的流れ図である。図11に示すように、ビデオエンコーダ200は、デコーダ側精密化ツールがビデオシーケンス用に利用可能であるかどうかを判断する(502)ように構成され得る。場合によっては、デコーダ側精密化ツールの利用可能性は暗示され(シグナリングされず)、場合によっては、ビデオエンコーダ200は、シーケンスとの使用に対応できる1つまたは複数のデコーダ側精密化ツールを識別するように、1つまたは複数のシーケンスレベルシンタックス要素を符号化するように構成され得る。いずれの場合でも、1つまたは複数のデコーダ側精密化ツールが利用可能であると判断すると(502の「yes」分岐)、ビデオエンコーダ200は、第1のデコーダ側精密化ツールがビデオシーケンスのサブセット用に有効にされるかどうかを識別するように、第1のシンタックス要素を符号化し(504)得る。さらに、ビデオエンコーダ200は、第2のデコーダ側精密化ツールがビデオシーケンスのサブセット用に有効にされるかどうかを識別するように、第2のシンタックス要素を符号化する(506)ように構成され得る。ビデオエンコーダ200は次いで、シーケンスについて、符号化するべきビデオデータの別のサブセットがあるかどうかを判断すればよく、そうである場合(508の「yes」分岐)、ビデオエンコーダ200は、次のサブセットに対して、第1および第2のシンタックス要素を符号化するステップ(504および506)を繰り返し得る。
したがって、ビデオエンコーダ200は、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第1のシンタックス要素の第1のインスタンスを符号化すること(504)と、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように第1のシンタックス要素の第2のインスタンスを符号化すること(506)であって、第2のサブセットは第1のサブセットとは異なる、ことと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第2のシンタックス要素の第1のインスタンスを符号化する(504)ことと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように第2のシンタックス要素の第2のインスタンスを符号化することとを行うように構成された処理回路構成を備え得る。やはり、例として、第1のデコーダ側精密化ツールはDMVRツールを含むことができ、第2のデコーダ側精密化ツールはBDOFツールを含むことができる。
同様に、プロセスは、ビデオシーケンス内のデータの他のサブセット、たとえば、他のフレーム、スライス、ピクチャ、サブピクチャ、ブロック、またはビデオシーケンスの他のサブ部分(全部ではないが一部)に対して繰り返してよい。したがって、いくつかの例では、ビデオエンコーダ200は、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを識別するように第1のシンタックス要素の第3のインスタンスを符号化すること(504)であって、第3のサブセットは第1のサブセットとは異なり、第3のサブセットは第2のサブセットとは異なる、ことと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを識別するように、第2のシンタックス要素の第3のインスタンスを符号化することとを行い得る。
したがって、第1および第2のデコーダ側精密化ツールの一方または両方が、ビデオデータのシーケンス内のビデオデータのいくつかのサブセット用に有効にされてよく、第1および第2のデコーダ側精密化ツールの一方または両方が、ビデオデータのシーケンス内のビデオデータの他のサブセット用に無効にされてよい。
いくつかの例では、デコーダ側精密化ツールの一般的利用可能性はシーケンスレベルで定義されてよく、より精密化されたオン/オフ制御がシーケンスのサブセット(たとえば、スライス、ブロック、ピクチャ、サブピクチャ、フレーム、または他のサブセット)用に利用可能である。たとえば、ビデオエンコーダ200は、第1および第2のデコーダ側精密化ツールが、ビデオデータのシーケンスの複数のピクチャを復号するために利用可能であることを示すように、ビデオデータのシーケンスに関連付けられた1つまたは複数のシンタックス要素を符号化するように構成された処理回路構成を含み得る。これら、または他の例では、本明細書に記載されるように、第1および第2のデコーダ側精密化ツールの一方または両方が、ビデオデータのシーケンス内のビデオデータのいくつかのサブセット用に有効にされてよく、第1および第2のデコーダ側精密化ツールの一方または両方が、ビデオデータのシーケンス内のビデオデータの他のサブセット用に無効にされる。
やはり、ビデオデータのサブセットは、ビデオデータのシーケンスの複数のピクチャの中の第1のピクチャの少なくとも一部分を指し得る。ビデオデータのサブセットは、たとえば、スライス、フレーム、ピクチャ、サブピクチャ、ブロック、またはビデオシーケンス内のビデオデータの別の部分(全部ではないが一部)のうちの1つまたは複数を含み得る。
例に応じて、本明細書で説明する技法のいずれかのいくつかの作用またはイベントが、異なるシーケンスで実施される場合があり、追加され、統合され、または完全に除外されてもよい(たとえば、説明したすべての作用またはイベントが技法の実践にとって必要であるとは限らない)ことを認識されたい。さらに、いくつかの例では、作用またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して、同時に実施されてもよい。
例:以下の例は、本開示に一致する1つまたは複数の特徴または態様を論証することができる。
例1:方法が、デコーダ側動き精密化モードがビデオデータのスライス用にオンそれともオフであるかを示すスライスレベルシンタックス要素をコーディングするステップと、スライスレベルシンタックス要素に基づいて、ビデオデータのスライス中のビデオデータのブロックをコーディングするステップとを含む。
例2:デバイスが、メモリと、メモリと通信する1つまたは複数のプロセッサとを含み、1つまたは複数のプロセッサは、デコーダ側動き精密化モードがビデオデータのスライス用にオンそれともオフであるかを示すスライスレベルシンタックス要素をコーディングすることと、スライスレベルシンタックス要素に基づいて、ビデオデータのスライス中のビデオデータのブロックをコーディングすることとを行うように構成される。
例3:デバイスが、デコーダ側動き精密化モードがビデオデータのスライス用にオンそれともオフであるかを示すスライスレベルシンタックス要素をコーディングするための手段と、スライスレベルシンタックス要素に基づいて、ビデオデータのスライス中のビデオデータのブロックをコーディングするための手段とを含む。
例4:コンピュータ可読記憶媒体が、命令を有して符号化され、命令は、実行されると、プログラム可能プロセッサに、デコーダ側動き精密化モードがビデオデータのスライス用にオンそれともオフであるかを示すスライスレベルシンタックス要素をコーディングすることと、スライスレベルシンタックス要素に基づいて、ビデオデータのスライス中のビデオデータのブロックをコーディングすることとを行わせる。
例5:ビデオデータをコーディングする方法であって、デコーダ側動き精密化モードがビデオデータのスライス用にオンそれともオフであるかを示すスライスレベルシンタックス要素をコーディングするステップと、スライスレベルシンタックス要素に基づいて、ビデオデータのスライス中のビデオデータのブロックをコーディングするステップとを含む方法。
例6:デコーダ側動き精密化モードは、デコーダ側動きベクトル精密化または双方向オプティカルフローのうちの1つである、例5の方法。
例7:デコーダ側動き精密化モードがビデオデータのスライス用にオンそれともオフであるかを示すスライスレベルシンタックス要素をコーディングすることは、デコーダ側動きベクトル精密化モードがビデオデータのスライス用にオンそれともオフであるかを示す第1のスライスレベルシンタックス要素をコーディングすることと、双方向オプティカルフローモードがビデオデータのスライス用にオンそれともオフであるかを示す第2のスライスレベルシンタックス要素をコーディングすることとを含む、例5または6の方法。
例8:ビデオデータをコーディングする方法であって、デコーダ側動き精密化モードがビデオデータのブロック用にオンそれともオフであるかを示すブロックレベルシンタックス要素をコーディングするステップと、ブロックレベルシンタックス要素に基づいて、ビデオデータのブロックをコーディングするステップとを含む方法。
例9:デコーダ側動き精密化モードは、デコーダ側動きベクトル精密化または双方向オプティカルフローのうちの1つである、例8の方法。
例10:デコーダ側動き精密化モードは、デコーダ側動きベクトル精密化と双方向オプティカルフローの両方である、例8の方法。
例11:ビデオデータのブロックはマージモードコーディングユニットである、例8の方法。
例12:デコーダ側動き精密化モードがビデオデータのブロック用にオンそれともオフであるかを示すブロックレベルシンタックス要素をコーディングすることは、ビデオデータのブロックについてのマージ候補インデックスが、あらかじめ定義された範囲内にある場合に、デコーダ側動き精密化モードがビデオデータのブロック用にオンそれともオフであるかを示すブロックレベルシンタックス要素をコーディングすることを含む、例8の方法。
例13:デコーダ側動き精密化モードがビデオデータのブロック用にオンそれともオフであるかを示すブロックレベルシンタックス要素をコーディングすることは、デコーダ側動き精密化モードが、ビデオデータのブロック用のビデオデータの隣接ブロック用にオンそれともオフであるかを示す隣接ブロックレベルシンタックス要素を再利用することを含む、例8の方法。
例14:ビデオデータをコーディングする方法であって、ビデオデータのブロックにゼロ動きベクトル差分を適用することによって、デコーダ側動き精密化モードを無効にするステップと、ゼロ動きベクトルを使って、ビデオデータのブロックをコーディングするステップとを含む方法。
例15:ビデオデータのブロックは、動きベクトル差分を用いるマージモード(MMVD)を使ってコーディングされる、例14の方法。
例16:デコーダ側動き精密化モードは、デコーダ側動きベクトル精密化または双方向オプティカルフローのうちの1つである、例14の方法。
例17:ゼロ動きベクトル差分をビデオデータのブロックに適用することによって、デコーダ側動き精密化モードを無効にすることは、ブロックサイズまたはスライスタイプのうちの1つまたは複数に基づいて、ゼロ動きベクトル差分をビデオデータのブロックに適用することによって、デコーダ側動き精密化モードを無効にすることを含む、例14の方法。
例18:動きベクトル差分候補リストを用いるマージモード(MMVD)において冗長候補を削除するステップをさらに含む、例14の方法。
例19:コーディングすることは復号することを含む、例5～18のいずれかの方法。
例20:コーディングすることは符号化することを含む、例5～18のいずれかの方法。
例21:ビデオデータをコーディングするためのデバイスであって、例5～18のいずれかの方法を実施するための1つまたは複数の手段を備えるデバイス。
例22:1つまたは複数の手段は、回路構成において実装される1つまたは複数のプロセッサを備える、例21のデバイス。
例23:ビデオデータを記憶するためのメモリをさらに備える、例21または22のデバイス。
例24:復号ビデオデータを表示するように構成されたディスプレイをさらに備える、例21～23のいずれかのデバイス。
例25:カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、例21～24のいずれかのデバイス。
例26:デバイスはビデオデコーダを備える、例21～25のいずれかのデバイス。
例27:デバイスはビデオエンコーダを備える、例21～25のいずれかのデバイス。
例28:実行されると、1つまたは複数のプロセッサに例5～18のいずれかの方法を実施させる命令を記憶したコンピュータ可読記憶媒体。
例29:例5～18の技法のいずれかの組合せ。
例30:ビデオデータのシーケンスの複数のピクチャを復号する方法であって、第1のデコーダ側精密化ツールがビデオデータのシーケンスの複数のピクチャの中の第1のピクチャの第1の部分用に有効にされるかどうかを判断するために、第1のシンタックス要素を復号するステップであって、第1のデコーダ側精密化ツールは、ビデオデータのシーケンスの複数のピクチャを復号するために有効にされている、ステップと、第1のシンタックス要素の値に基づいて、第1のデコーダ側精密化ツールが第1のピクチャの第1の部分用に有効にされると判断するステップと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンスの複数のピクチャの中の第1のピクチャの第1の部分用に有効にされるかどうかを判断するために、第2のシンタックス要素を復号するステップであって、第2のデコーダ側精密化ツールは、ビデオデータのシーケンスの複数のピクチャを復号するために有効にされている、ステップと、第2のシンタックス要素の第1のインスタンスの値に基づいて、第2のデコーダ側精密化ツールが第1のピクチャの第1の部分用に無効にされると判断するステップと、第1のデコーダ側精密化ツールを使って、および第2のデコーダ側精密化ツールを使わずに、第1のピクチャの第1の部分を復号するステップとを含む方法。
例31:複数のピクチャを含むビデオデータのシーケンスを復号する方法であって、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを示す第1のシンタックス要素を復号するステップと、第1のシンタックス要素の値に基づいて、第1のデコーダ側精密化ツールが、ビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを判断するステップと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを示す第2のシンタックス要素を復号するステップと、第1のシンタックス要素の値に基づいて、第2のデコーダ側精密化ツールが、ビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを判断するステップと、第1のデコーダ側精密化ツールが第1のサブセット用に有効にされたことに応答して、第1のデコーダ側精密化ツールを使って、ビデオデータの第1のサブセットを復号するステップと、第1のデコーダ側精密化ツールが第1のサブセット用に無効にされたことに応答して、第1のデコーダ側精密化ツールを使わずにビデオデータの第1のサブセットを復号するステップと、第2のデコーダ側精密化ツールが第1のサブセット用に有効にされたことに応答して、第2のデコーダ側精密化ツールを使って、ビデオデータの第1のサブセットを復号するステップと、第2のデコーダ側精密化ツールが第1のサブセット用に無効にされたことに応答して、第2のデコーダ側精密化ツールを使わずにビデオデータの第1のサブセットを復号するステップとを含む方法。
例32:第1のデコーダ側精密化ツールはDMVRツールを含み、第2のデコーダ側精密化ツールはBDOFツールを含む、例31の方法。
例33:第1のシンタックス要素を復号することは、第1のシンタックス要素の第1のインスタンスを復号することを含み、第2のシンタックス要素を復号することは、第2のシンタックス要素の第1のインスタンスを復号することを含み、方法は、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを示す第1のシンタックス要素の第2のインスタンスを復号するステップであって、第2のサブセットは第1のサブセットとは異なる、ステップと、第1のシンタックス要素の第2のインスタンスの値に基づいて、第1のデコーダ側精密化ツールが、ビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを判断するステップと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを示す第2のシンタックス要素の第2のインスタンスを復号するステップと、第2のシンタックス要素の第2のインスタンスの値に基づいて、第2のデコーダ側精密化ツールが、ビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを判断するステップと、第1のデコーダ側精密化ツールが第2のサブセット用に有効にされたことに応答して、第1のデコーダ側精密化ツールを使って、ビデオデータの第2のサブセットを復号するステップと、第1のデコーダ側精密化ツールが第2のサブセット用に無効にされたことに応答して、第1のデコーダ側精密化ツールを使わずにビデオデータの第2のサブセットを復号するステップと、第2のデコーダ側精密化ツールが第2のサブセット用に有効にされたことに応答して、第2のデコーダ側精密化ツールを使って、ビデオデータの第2のサブセットを復号するステップと、第2のデコーダ側精密化ツールが第2のサブセット用に無効にされたことに応答して、第2のデコーダ側精密化ツールを使わずにビデオデータの第2のサブセットを復号するステップとをさらに含む、例30および31のいずれかの組合せの方法。
例34:第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを示す第1のシンタックス要素の第3のインスタンスを復号するステップであって、第3のサブセットは第1のサブセットとは異なり、第3のサブセットは第2のサブセットとは異なる、ステップと、第1のシンタックス要素の第3のインスタンスの値に基づいて、第1のデコーダ側精密化ツールが、ビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを判断するステップと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを示す第2のシンタックス要素の第3のインスタンスを復号するステップと、第2のシンタックス要素の第3のインスタンスの値に基づいて、第2のデコーダ側精密化ツールが、ビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを判断するステップと、第1のデコーダ側精密化ツールが第3のサブセット用に有効にされたことに応答して、第1のデコーダ側精密化ツールを使って、ビデオデータの第3のサブセットを復号するステップと、第1のデコーダ側精密化ツールが第3のサブセット用に無効にされたことに応答して、第1のデコーダ側精密化ツールを使わずにビデオデータの第3のサブセットを復号するステップと、第2のデコーダ側精密化ツールが第3のサブセット用に有効にされたことに応答して、第2のデコーダ側精密化ツールを使って、ビデオデータの第3のサブセットを復号するステップと、第2のデコーダ側精密化ツールが第3のサブセット用に無効にされたことに応答して、第2のデコーダ側精密化ツールを使わずにビデオデータの第3のサブセットを復号するステップとをさらに含む、例31～33のいずれかの組合せの方法。
例35:第1のシンタックス要素の第1のインスタンスの値に基づいて、第1のデコーダ側精密化ツールがビデオデータの第1のサブセット用に有効にされると判断するステップと、第2のシンタックス要素の第1のインスタンスの値に基づいて、第2のデコーダ側精密化ツールがビデオデータの第1のサブセット用に無効にされると判断するステップと、第1のデコーダ側精密化ツールを使って、および第2のデコーダ側精密化ツールを使わずに、ビデオデータの第1のサブセットを復号するステップと、第1のシンタックス要素の第2のインスタンスの値に基づいて、第1のデコーダ側精密化ツールがビデオデータの第2のサブセット用に無効にされると判断するステップと、第2のシンタックス要素の第2のインスタンスの値に基づいて、第2のデコーダ側精密化ツールがビデオデータの第2のサブセット用に有効にされると判断するステップと、第2のデコーダ側精密化ツールを使って、および第1のデコーダ側精密化ツールを使わずに、ビデオデータの第2のサブセットを復号するステップとをさらに含む、例31～34のいずれかの組合せの方法。
例36:第1および第2のデコーダ側精密化ツールは、ビデオデータのシーケンスの複数のピクチャのいずれかを復号するために利用可能であり、第1および第2のデコーダ側精密化ツールの一方または両方が、ビデオデータのシーケンス内のビデオデータのいくつかのサブセット用に有効にされ、第1および第2のデコーダ側精密化ツールの一方または両方が、ビデオデータのシーケンス内のビデオデータの他のサブセット用に無効にされる、例31～35のいずれかの組合せの方法。
例37:ビデオデータのシーケンスに関連付けられた1つまたは複数のシンタックス要素を復号するステップと、ビデオデータのシーケンスに関連付けられた1つまたは複数のシンタックス要素に基づいて、ビデオデータのシーケンスの複数のピクチャを復号するために利用可能であるように、第1および第2のデコーダ側精密化ツールが有効にされると判断するステップとをさらに含む、例31～36のいずれかの組合せの方法。
例38:第1のサブセットは、ビデオデータのシーケンスの複数のピクチャの中の第1のピクチャの少なくとも一部分を含む、例31～37のいずれかの組合せの方法。
例39:ビデオデータのシーケンス内のビデオデータの第1のサブセットは、ビデオデータのスライス、ビデオデータのフレーム、ビデオデータのシーケンスの複数のピクチャの中のピクチャ、サブピクチャ、およびビデオデータのブロックのうちの1つまたは複数を含む、例31～38のいずれかの組合せの方法。
例40:複数のピクチャを含むビデオデータのシーケンスを符号化する方法であって、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第1のシンタックス要素の第1のインスタンスを符号化するステップと、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように第1のシンタックス要素の第2のインスタンスを符号化するステップであって、第2のサブセットは第1のサブセットとは異なる、ステップと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第2のシンタックス要素の第1のインスタンスを符号化するステップと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように第2のシンタックス要素の第2のインスタンスを符号化するステップとを含む方法。
例41:第1のデコーダ側精密化ツールはDMVRツールを含み、第2のデコーダ側精密化ツールはBDOFツールを含む、例40の方法。
例42:第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを識別するように第1のシンタックス要素の第3のインスタンスを符号化するステップであって、第3のサブセットは第1のサブセットとは異なり、第3のサブセットは第2のサブセットとは異なる、ステップと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを識別するように、第2のシンタックス要素の第3のインスタンスを符号化するステップとをさらに含む、例40～41のいずれかの組合せの方法。
例43:第1および第2のデコーダ側精密化ツールの一方または両方が、ビデオデータのシーケンス内のビデオデータのいくつかのサブセット用に有効にされ、第1および第2のデコーダ側精密化ツールの一方または両方が、ビデオデータのシーケンス内のビデオデータの他のサブセット用に無効にされる、例40～42のいずれかの組合せの方法。
例44:第1および第2のデコーダ側精密化ツールが、ビデオデータのシーケンスの複数のピクチャを復号するために利用可能であることを示すように、ビデオデータのシーケンスに関連付けられた1つまたは複数のシンタックス要素を符号化するステップをさらに含み、第1および第2のデコーダ側精密化ツールの一方または両方が、ビデオデータのシーケンス内のビデオデータのいくつかのサブセット用に有効にされ、第1および第2のデコーダ側精密化ツールの一方または両方が、ビデオデータのシーケンス内のビデオデータの他のサブセット用に無効にされる、例40～43のいずれかの組合せの方法。
例45:第1のサブセットは、ビデオデータのシーケンスの複数のピクチャの中の第1のピクチャの少なくとも一部分を含む、例40～44のいずれかの組合せの方法。
例46:ビデオデータのシーケンス内のビデオデータの第1のサブセットは、スライス、フレーム、ピクチャ、サブピクチャ、およびブロックのうちの1つまたは複数を含む、例40～45のいずれかの組合せの方法。
例47:複数のピクチャを含むビデオデータのシーケンスを記憶するように構成されたメモリと、処理回路構成とを備えるビデオ復号デバイスであって、処理回路構成は、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを示す第1のシンタックス要素を復号することと、第1のシンタックス要素の値に基づいて、第1のデコーダ側精密化ツールが、ビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを判断することと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを示す第2のシンタックス要素を復号することと、第1のシンタックス要素の値に基づいて、第2のデコーダ側精密化ツールが、ビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを判断することと、第1のデコーダ側精密化ツールが第1のサブセット用に有効にされたことに応答して、第1のデコーダ側精密化ツールを使って、ビデオデータの第1のサブセットを復号することと、第1のデコーダ側精密化ツールが第1のサブセット用に無効にされたことに応答して、第1のデコーダ側精密化ツールを使わずにビデオデータの第1のサブセットを復号することと、第2のデコーダ側精密化ツールが第1のサブセット用に有効にされたことに応答して、第2のデコーダ側精密化ツールを使って、ビデオデータの第1のサブセットを復号することと、第2のデコーダ側精密化ツールが第1のサブセット用に無効にされたことに応答して、第2のデコーダ側精密化ツールを使わずにビデオデータの第1のサブセットを復号することとを行うように構成される、ビデオ復号デバイス。
例48:第1のデコーダ側精密化ツールはDMVRツールを含み、第2のデコーダ側精密化ツールはBDOFツールを含む、例47のビデオ復号デバイス。
例49:処理回路構成は、第1のシンタックス要素の第1のインスタンスを復号することによって第1のシンタックス要素を復号するように、および第2のシンタックス要素の第1のインスタンスを復号することによって第2のシンタックス要素を復号するように構成され、処理回路構成は、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを示す第1のシンタックス要素の第2のインスタンスを復号することであって、第2のサブセットは第1のサブセットとは異なる、ことと、第1のシンタックス要素の第2のインスタンスの値に基づいて、第1のデコーダ側精密化ツールが、ビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを判断することと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを示す第2のシンタックス要素の第2のインスタンスを復号することと、第2のシンタックス要素の第2のインスタンスの値に基づいて、第2のデコーダ側精密化ツールが、ビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを判断することと、第1のデコーダ側精密化ツールが第2のサブセット用に有効にされたことに応答して、第1のデコーダ側精密化ツールを使って、ビデオデータの第2のサブセットを復号することと、第1のデコーダ側精密化ツールが第2のサブセット用に無効にされたことに応答して、第1のデコーダ側精密化ツールを使わずにビデオデータの第2のサブセットを復号することと、第2のデコーダ側精密化ツールが第2のサブセット用に有効にされたことに応答して、第2のデコーダ側精密化ツールを使って、ビデオデータの第2のサブセットを復号することと、第2のデコーダ側精密化ツールが第2のサブセット用に無効にされたことに応答して、第2のデコーダ側精密化ツールを使わずにビデオデータの第2のサブセットを復号することとを行うようにさらに構成される、例47または48のビデオ復号デバイス。
例50:処理回路構成は、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを示す第1のシンタックス要素の第3のインスタンスを復号することであって、第3のサブセットは第1のサブセットとは異なり、第3のサブセットは第2のサブセットとは異なる、ことと、第1のシンタックス要素の第3のインスタンスの値に基づいて、第1のデコーダ側精密化ツールが、ビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを判断することと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを示す第2のシンタックス要素の第3のインスタンスを復号することと、第2のシンタックス要素の第3のインスタンスの値に基づいて、第2のデコーダ側精密化ツールが、ビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを判断することと、第1のデコーダ側精密化ツールが第3のサブセット用に有効にされたことに応答して、第1のデコーダ側精密化ツールを使って、ビデオデータの第3のサブセットを復号することと、第1のデコーダ側精密化ツールが第3のサブセット用に無効にされたことに応答して、第1のデコーダ側精密化ツールを使わずにビデオデータの第3のサブセットを復号することと、第2のデコーダ側精密化ツールが第3のサブセット用に有効にされたことに応答して、第2のデコーダ側精密化ツールを使って、ビデオデータの第3のサブセットを復号することと、第2のデコーダ側精密化ツールが第3のサブセット用に無効にされたことに応答して、第2のデコーダ側精密化ツールを使わずにビデオデータの第3のサブセットを復号することとを行うようにさらに構成される、例47～49のいずれかの組合せのビデオコーディングデバイス。
例51:処理回路構成は、第1のシンタックス要素の第1のインスタンスの値に基づいて、第1のデコーダ側精密化ツールがビデオデータの第1のサブセット用に有効にされると判断することと、第2のシンタックス要素の第1のインスタンスの値に基づいて、第2のデコーダ側精密化ツールがビデオデータの第1のサブセット用に無効にされると判断することと、第1のデコーダ側精密化ツールを使って、および第2のデコーダ側精密化ツールを使わずに、ビデオデータの第1のサブセットを復号することと、第1のシンタックス要素の第2のインスタンスの値に基づいて、第1のデコーダ側精密化ツールがビデオデータの第2のサブセット用に無効にされると判断することと、第2のシンタックス要素の第2のインスタンスの値に基づいて、第2のデコーダ側精密化ツールがビデオデータの第2のサブセット用に有効にされると判断することと、第2のデコーダ側精密化ツールを使って、および第1のデコーダ側精密化ツールを使わずに、ビデオデータの第2のサブセットを復号することとを行うように構成される、例47～50のいずれかの組合せのビデオコーディングデバイス。
例52:第1および第2のデコーダ側精密化ツールは、ビデオデータのシーケンスの複数のピクチャのいずれかを復号するために利用可能であり、第1および第2のデコーダ側精密化ツールの一方または両方が、ビデオデータのシーケンス内のビデオデータのいくつかのサブセット用に有効にされ、第1および第2のデコーダ側精密化ツールの一方または両方が、ビデオデータのシーケンス内のビデオデータの他のサブセット用に無効にされる、例47～51のいずれかの組合せのビデオコーディングデバイス。
例53:処理回路構成は、ビデオデータのシーケンスに関連付けられた1つまたは複数のシンタックス要素を復号することと、ビデオデータのシーケンスに関連付けられた1つまたは複数のシンタックス要素に基づいて、ビデオデータのシーケンスの複数のピクチャを復号するために利用可能であるように、第1および第2のデコーダ側精密化ツールが有効にされると判断することとを行うようにさらに構成される、例47～52のいずれかの組合せのビデオコーディングデバイス。
例54:第1のサブセットは、ビデオデータのシーケンスの複数のピクチャの中の第1のピクチャの少なくとも一部分を含む、例47～53のいずれかの組合せのビデオコーディングデバイス。
例55:ビデオデータのシーケンス内のビデオデータの第1のサブセットは、ビデオデータのスライス、ビデオデータのフレーム、ビデオデータのシーケンスの複数のピクチャの中のピクチャ、サブピクチャ、およびビデオデータのブロックのうちの1つまたは複数を含む、例47～54のいずれかの組合せのビデオコーディングデバイス。
例56:複数のピクチャを含むビデオデータのシーケンスを記憶するように構成されたメモリと、処理回路構成とを備えるビデオ符号化デバイスであって、処理回路構成は、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第1のシンタックス要素の第1のインスタンスを符号化することと、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように第1のシンタックス要素の第2のインスタンスを符号化することであって、第2のサブセットは第1のサブセットとは異なる、ことと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第2のシンタックス要素の第1のインスタンスを符号化することと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように第2のシンタックス要素の第2のインスタンスを符号化することとを行うように構成される、ビデオ符号化デバイス。
例57:第1のデコーダ側精密化ツールはDMVRツールを含み、第2のデコーダ側精密化ツールはBDOFツールを含む、例56のビデオ符号化デバイス。
例58:処理回路構成は、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを識別するように第1のシンタックス要素の第3のインスタンスを符号化することであって、第3のサブセットは第1のサブセットとは異なり、第3のサブセットは第2のサブセットとは異なる、ことと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを識別するように、第2のシンタックス要素の第3のインスタンスを符号化することとを行うようにさらに構成される、例56または57のビデオ符号化デバイス。
例59:第1および第2のデコーダ側精密化ツールの一方または両方が、ビデオデータのシーケンス内のビデオデータのいくつかのサブセット用に有効にされ、第1および第2のデコーダ側精密化ツールの一方または両方が、ビデオデータのシーケンス内のビデオデータの他のサブセット用に無効にされる、例56～58のいずれかの組合せのビデオ符号化デバイス。
例60:処理回路構成は、第1および第2のデコーダ側精密化ツールが、ビデオデータのシーケンスの複数のピクチャを復号するために利用可能であることを示すように、ビデオデータのシーケンスに関連付けられた1つまたは複数のシンタックス要素を符号化するようにさらに構成され、第1および第2のデコーダ側精密化ツールの一方または両方が、ビデオデータのシーケンス内のビデオデータのいくつかのサブセット用に有効にされ、第1および第2のデコーダ側精密化ツールの一方または両方が、ビデオデータのシーケンス内のビデオデータの他のサブセット用に無効にされる、例56～59のいずれかの組合せのビデオ符号化デバイス。
例61:第1のサブセットは、ビデオデータのシーケンスの複数のピクチャの中の第1のピクチャの少なくとも一部分を含む、例56～60のいずれかの組合せのビデオ符号化デバイス。
例62:ビデオデータのシーケンス内のビデオデータの第1のサブセットは、スライス、フレーム、ピクチャ、サブピクチャ、およびブロックのうちの1つまたは複数を含む、例56～61のいずれかの組合せのビデオ符号化デバイス。
例63:複数のピクチャを含むビデオデータのシーケンスを復号するように構成されたビデオ復号デバイスであって、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを示す第1のシンタックス要素を復号するための手段と、第1のシンタックス要素の値に基づいて、第1のデコーダ側精密化ツールが、ビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを判断するための手段と、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを示す第2のシンタックス要素を復号するための手段と、第1のシンタックス要素の値に基づいて、第2のデコーダ側精密化ツールが、ビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを判断するための手段と、第1のデコーダ側精密化ツールが第1のサブセット用に有効にされたことに応答して、第1のデコーダ側精密化ツールを使って、ビデオデータの第1のサブセットを復号するための手段と、第1のデコーダ側精密化ツールが第1のサブセット用に無効にされたことに応答して、第1のデコーダ側精密化ツールを使わずにビデオデータの第1のサブセットを復号するための手段と、第2のデコーダ側精密化ツールが第1のサブセット用に有効にされたことに応答して、第2のデコーダ側精密化ツールを使って、ビデオデータの第1のサブセットを復号するための手段と、第2のデコーダ側精密化ツールが第1のサブセット用に無効にされたことに応答して、第2のデコーダ側精密化ツールを使わずに、ビデオデータのサブセットを復号するための手段とを備えるビデオ復号デバイス。
例64:複数のピクチャを含むビデオデータのシーケンスを符号化するように構成されたビデオ符号化デバイスであって、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第1のシンタックス要素の第1のインスタンスを符号化するための手段と、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように第1のシンタックス要素の第2のインスタンスを符号化するための手段であって、第2のサブセットは第1のサブセットとは異なる、手段と、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第2のシンタックス要素の第1のインスタンスを符号化するための手段と、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように第2のシンタックス要素の第2のインスタンスを符号化するための手段とを備えるビデオ符号化デバイス。
例65:命令を記憶するコンピュータ可読記憶媒体であって、命令は、実行されると、ビデオ復号デバイスの1つまたは複数のプロセッサに、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを示す第1のシンタックス要素を復号することであって、ビデオデータのシーケンスは複数のピクチャを含む、ことと、第1のシンタックス要素の値に基づいて、第1のデコーダ側精密化ツールが、ビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを判断することと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを示す第2のシンタックス要素を復号することと、第1のシンタックス要素の値に基づいて、第2のデコーダ側精密化ツールが、ビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを判断することと、第1のデコーダ側精密化ツールが第1のサブセット用に有効にされたことに応答して、第1のデコーダ側精密化ツールを使って、ビデオデータの第1のサブセットを復号することと、第1のデコーダ側精密化ツールが第1のサブセット用に無効にされたことに応答して、第1のデコーダ側精密化ツールを使わずにビデオデータの第1のサブセットを復号することと、第2のデコーダ側精密化ツールが第1のサブセット用に有効にされたことに応答して、第2のデコーダ側精密化ツールを使って、ビデオデータの第1のサブセットを復号することと、第2のデコーダ側精密化ツールが第1のサブセット用に無効にされたことに応答して、第2のデコーダ側精密化ツールを使わずに、ビデオデータのサブセットを復号することとを行わせる、コンピュータ可読記憶媒体。
例66:命令を記憶するコンピュータ可読記憶媒体であって、命令は、実行されると、ビデオ符号化デバイスの1つまたは複数のプロセッサに、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように、第1のシンタックス要素の第1のインスタンスを符号化することであって、ビデオデータのシーケンスは複数のピクチャを含む、ことと、第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように第1のシンタックス要素の第2のインスタンスを符号化することであって、第2のサブセットは第1のサブセットとは異なる、ことと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第2のシンタックス要素の第1のインスタンスを符号化することと、第2のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように第2のシンタックス要素の第2のインスタンスを符号化することとを行わせる、コンピュータ可読記憶媒体。
1つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装され得る。ソフトウェアにおいて実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ可読媒体は一般に、(1)非一時的な有形コンピュータ可読記憶媒体、または(2)信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コード、および/またはデータ構造を取り出すために、1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、フラッシュメモリ、または、命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得るとともにコンピュータによってアクセスされ得る任意の他の媒体を備えることができる。また、いかなる接続も適切にコンピュータ可読媒体と呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まず、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびブルーレイディスク(disc)を含み、ディスク(disk)は通常、データを磁気的に再現し、ディスク(disc)は、レーザーを用いてデータを光学的に再現する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
命令は、1つまたは複数のDSP、汎用マイクロプロセッサ、ASIC、FPGA、または他の等価な集積論理回路構成もしくはディスクリート論理回路構成など、1つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」および「処理回路構成」という用語は、上記の構造、または本明細書で説明する技法の実装に適した任意の他の構造のいずれかを指すことがある。加えて、いくつかの態様では、本明細書で説明する機能性は、符号化および復号のために構成された専用のハードウェアモジュールおよび/もしくはソフトウェアモジュール内で提供されてもよく、または複合コーデックに組み込まれてもよい。また、技法は、1つまたは複数の回路または論理要素において完全に実装され得る。
本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実装され得る。開示された技法を実施するように構成されたデバイスの機能的側面を強調するために、様々な構成要素、モジュール、またはユニットが本開示に記載されているが、それらは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットは、コーデックハードウェアユニットにおいて組み合わされてよく、または適切なソフトウェアおよび/もしくはファームウェアとともに、上で説明されたような1つまたは複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合によって提供されてよい。
様々な例を説明してきた。これらおよび他の例は、以下の特許請求の範囲内に入る。
100 ビデオ符号化および復号システム、システム
102 ソースデバイス、デバイス、ビデオデバイス
104 ビデオソース
106 メモリ
108 出力インターフェース
110 コンピュータ可読媒体
112 記憶デバイス
114 ファイルサーバ
116 宛先デバイス、デバイス、ビデオデバイス
118 ディスプレイデバイス
120 メモリ
122 入力インターフェース
200 ビデオエンコーダ
202 モード選択ユニット
204 残差生成ユニット
206 変換処理ユニット
208 量子化ユニット
210 逆量子化ユニット
212 逆変換処理ユニット
214 再構築ユニット
216 フィルタユニット
218 復号ピクチャバッファ(DPB)
220 エントロピー符号化ユニット
222 動き推定ユニット
224 動き補償ユニット
226 イントラ予測ユニット
230 ビデオデータメモリ
300 ビデオデコーダ
302 エントロピー復号ユニット
304 予測処理ユニット
306 逆量子化ユニット
308 逆変換処理ユニット
310 再構築ユニット
312 フィルタユニット
314 復号ピクチャバッファ(DPB)
316 動き補償ユニット
318 イントラ予測ユニット
320 コード化ピクチャバッファ(CPB)メモリ

Claims (36)

  1. 複数のピクチャを含むビデオデータのシーケンスを復号する方法であって、
    第1のデコーダ側精密化ツールが、ビデオデータシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを示す第1のシンタックス要素を復号するステップと、
    前記第1のシンタックス要素の値に基づいて、前記第1のデコーダ側精密化ツールが、第1のビデオデータサブセット用に有効にされるか、それとも無効にされるかを判断するステップと、
    第2のデコーダ側精密化ツールが、前記ビデオデータシーケンス内の前記第1のビデオデータサブセット用に有効にされるか、それとも無効にされるかを示す第2のシンタックス要素を復号するステップと、
    前記第1のシンタックス要素の値に基づいて、前記第2のデコーダ側精密化ツールが、前記第1のビデオデータサブセット用に有効にされるか、それとも無効にされるかを判断するステップと、
    前記第1のデコーダ側精密化ツールが前記第1のサブセット用に有効にされたことに応答して、前記第1のデコーダ側精密化ツールを使って、前記第1のビデオデータサブセットを復号するステップと、
    前記第1のデコーダ側精密化ツールが前記第1のサブセット用に無効にされたことに応答して、前記第1のデコーダ側精密化ツールを使わずに前記第1のビデオデータサブセットを復号するステップと、
    前記第2のデコーダ側精密化ツールが前記第1のサブセット用に有効にされたことに応答して、前記第2のデコーダ側精密化ツールを使って、前記第1のビデオデータサブセットを復号するステップと、
    前記第2のデコーダ側精密化ツールが前記第1のサブセット用に無効にされたことに応答して、前記第2のデコーダ側精密化ツールを使わずに前記第1のビデオデータサブセットを復号するステップとを含む、方法。
  2. 前記第1のデコーダ側精密化ツールはデコーダ側動きベクトル精密化(DMVR)ツールを含み、前記第2のデコーダ側精密化ツールは双方向オプティカルフロー(BDOF)ツールを含む、請求項1に記載の方法。
  3. 前記第1のシンタックス要素を復号することは、前記第1のシンタックス要素の第1のインスタンスを復号することを含み、前記第2のシンタックス要素を復号することは、前記第2のシンタックス要素の第1のインスタンスを復号することを含み、前記方法は、
    前記第1のデコーダ側精密化ツールが、前記ビデオデータシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを示す前記第1のシンタックス要素の第2のインスタンスを復号するステップであって、前記第2のサブセットは前記第1のサブセットとは異なる、ステップと、
    前記第1のシンタックス要素の前記第2のインスタンスの値に基づいて、前記第1のデコーダ側精密化ツールが、第2のビデオデータサブセット用に有効にされるか、それとも無効にされるかを判断するステップと、
    前記第2のデコーダ側精密化ツールが、前記ビデオデータシーケンス内の前記第2のビデオデータサブセット用に有効にされるか、それとも無効にされるかを示す前記第2のシンタックス要素の第2のインスタンスを復号するステップと、
    前記第2のシンタックス要素の前記第2のインスタンスの値に基づいて、前記第2のデコーダ側精密化ツールが、前記第2のビデオデータサブセット用に有効にされるか、それとも無効にされるかを判断するステップと、
    前記第1のデコーダ側精密化ツールが前記第2のサブセット用に有効にされたことに応答して、前記第1のデコーダ側精密化ツールを使って、前記第2のビデオデータサブセットを復号するステップと、
    前記第1のデコーダ側精密化ツールが前記第2のサブセット用に無効にされたことに応答して、前記第1のデコーダ側精密化ツールを使わずに前記第2のビデオデータサブセットを復号するステップと、
    前記第2のデコーダ側精密化ツールが前記第2のサブセット用に有効にされたことに応答して、前記第2のデコーダ側精密化ツールを使って、前記第2のビデオデータサブセットを復号するステップと、
    前記第2のデコーダ側精密化ツールが前記第2のサブセット用に無効にされたことに応答して、前記第2のデコーダ側精密化ツールを使わずに前記第2のビデオデータサブセットを復号するステップとをさらに含む、請求項1に記載の方法。
  4. 前記第1のデコーダ側精密化ツールが、前記ビデオデータシーケンス内のビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを示す前記第1のシンタックス要素の第3のインスタンスを復号するステップであって、前記第3のサブセットは前記第1のサブセットとは異なり、前記第3のサブセットは前記第2のサブセットとは異なる、ステップと、
    前記第1のシンタックス要素の前記第3のインスタンスの値に基づいて、前記第1のデコーダ側精密化ツールが、第3のビデオデータサブセット用に有効にされるか、それとも無効にされるかを判断するステップと、
    前記第2のデコーダ側精密化ツールが、前記ビデオデータシーケンス内の前記第3のビデオデータサブセット用に有効にされるか、それとも無効にされるかを示す前記第2のシンタックス要素の第3のインスタンスを復号するステップと、
    前記第2のシンタックス要素の前記第3のインスタンスの値に基づいて、前記第2のデコーダ側精密化ツールが、前記第3のビデオデータサブセット用に有効にされるか、それとも無効にされるかを判断するステップと、
    前記第1のデコーダ側精密化ツールが前記第3のサブセット用に有効にされたことに応答して、前記第1のデコーダ側精密化ツールを使って、前記第3のビデオデータサブセットを復号するステップと、
    前記第1のデコーダ側精密化ツールが前記第3のサブセット用に無効にされたことに応答して、前記第1のデコーダ側精密化ツールを使わずに前記第3のビデオデータサブセットを復号するステップと、
    前記第2のデコーダ側精密化ツールが前記第3のサブセット用に有効にされたことに応答して、前記第2のデコーダ側精密化ツールを使って、前記第3のビデオデータサブセットを復号するステップと、
    前記第2のデコーダ側精密化ツールが前記第3のサブセット用に無効にされたことに応答して、前記第2のデコーダ側精密化ツールを使わずに前記第3のビデオデータサブセットを復号するステップとをさらに含む、請求項3に記載の方法。
  5. 前記第1のシンタックス要素の前記第1のインスタンスの値に基づいて、前記第1のデコーダ側精密化ツールが前記第1のビデオデータサブセット用に有効にされると判断するステップと、
    前記第2のシンタックス要素の前記第1のインスタンスの値に基づいて、前記第2のデコーダ側精密化ツールが前記第1のビデオデータサブセット用に無効にされると判断するステップと、
    前記第1のデコーダ側精密化ツールを使って、および前記第2のデコーダ側精密化ツールを使わずに、前記第1のビデオデータサブセットを復号するステップと、
    前記第1のシンタックス要素の前記第2のインスタンスの値に基づいて、前記第1のデコーダ側精密化ツールが前記第2のビデオデータサブセット用に無効にされると判断するステップと、
    前記第2のシンタックス要素の前記第2のインスタンスの値に基づいて、前記第2のデコーダ側精密化ツールが前記第2のビデオデータサブセット用に有効にされると判断するステップと、
    前記第2のデコーダ側精密化ツールを使って、および前記第1のデコーダ側精密化ツールを使わずに、前記第2のビデオデータサブセットを復号するステップとをさらに含む、請求項3に記載の方法。
  6. 前記第1および第2のデコーダ側精密化ツールは、前記ビデオデータシーケンスの前記複数のピクチャのいずれかを復号するために利用可能であり、前記第1および第2のデコーダ側精密化ツールの一方または両方が、前記ビデオデータシーケンス内のビデオデータのいくつかのサブセット用に有効にされ、前記第1および第2のデコーダ側精密化ツールの一方または両方が、前記ビデオデータシーケンス内のビデオデータの他のサブセット用に無効にされる、請求項1に記載の方法。
  7. 前記ビデオデータシーケンスに関連付けられた1つまたは複数のシンタックス要素を復号するステップと、
    前記ビデオデータシーケンスに関連付けられた前記1つまたは複数のシンタックス要素に基づいて、前記ビデオデータシーケンスの前記複数のピクチャを復号するために利用可能であるように、前記第1および第2のデコーダ側精密化ツールが有効にされると判断するステップとをさらに含む、請求項1に記載の方法。
  8. 前記第1のサブセットは、前記ビデオデータシーケンスの前記複数のピクチャの中の第1のピクチャの少なくとも一部分を含む、請求項1に記載の方法。
  9. 前記ビデオデータシーケンス内の前記第1のビデオデータサブセットは、
    ビデオデータのスライス、
    ビデオデータのフレーム、
    前記ビデオデータシーケンスの前記複数のピクチャの中のピクチャ、
    ビデオデータのサブピクチャ、および
    ビデオデータのブロックのうちの1つまたは複数を含む、請求項8に記載の方法。
  10. 複数のピクチャを含むビデオデータのシーケンスを符号化する方法であって、
    第1のデコーダ側精密化ツールが、ビデオデータシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第1のシンタックス要素の第1のインスタンスを符号化するステップと、
    前記第1のデコーダ側精密化ツールが、前記ビデオデータシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように前記第1のシンタックス要素の第2のインスタンスを符号化するステップであって、前記第2のサブセットは前記第1のサブセットとは異なる、ステップと、
    第2のデコーダ側精密化ツールが、前記ビデオデータシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第2のシンタックス要素の第1のインスタンスを符号化するステップと、
    前記第2のデコーダ側精密化ツールが、前記ビデオデータシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように前記第2のシンタックス要素の第2のインスタンスを符号化するステップとを含む、方法。
  11. 前記第1のデコーダ側精密化ツールはデコーダ側動きベクトル精密化(DMVR)ツールを含み、前記第2のデコーダ側精密化ツールは双方向オプティカルフロー(BDOF)ツールを含む、請求項10に記載の方法。
  12. 前記第1のデコーダ側精密化ツールが、前記ビデオデータシーケンス内のビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを識別するように前記第1のシンタックス要素の第3のインスタンスを符号化するステップであって、前記第3のサブセットは前記第1のサブセットとは異なり、前記第3のサブセットは前記第2のサブセットとは異なる、ステップと、
    前記第2のデコーダ側精密化ツールが、前記ビデオデータシーケンス内の第3のビデオデータサブセット用に有効にされるか、それとも無効にされるかを識別するように、前記第2のシンタックス要素の第3のインスタンスを符号化するステップとをさらに含む、請求項10に記載の方法。
  13. 前記第1および第2のデコーダ側精密化ツールの一方または両方が、前記ビデオデータシーケンス内のビデオデータのいくつかのサブセット用に有効にされ、前記第1および第2のデコーダ側精密化ツールの一方または両方が、前記ビデオデータシーケンス内のビデオデータの他のサブセット用に無効にされる、請求項10に記載の方法。
  14. 前記第1および第2のデコーダ側精密化ツールが、前記ビデオデータシーケンスの前記複数のピクチャを復号するために利用可能であることを示すように、前記ビデオデータシーケンスに関連付けられた1つまたは複数のシンタックス要素を符号化するステップをさらに含み、
    前記第1および第2のデコーダ側精密化ツールの一方または両方が、前記ビデオデータシーケンス内のビデオデータのいくつかのサブセット用に有効にされ、前記第1および第2のデコーダ側精密化ツールの一方または両方が、前記ビデオデータシーケンス内のビデオデータの他のサブセット用に無効にされる、請求項10に記載の方法。
  15. 前記第1のサブセットは、前記ビデオデータシーケンスの前記複数のピクチャの中の第1のピクチャの少なくとも一部分を含む、請求項10に記載の方法。
  16. 前記ビデオデータシーケンス内の第1のビデオデータサブセットは、
    スライス、
    フレーム、
    ピクチャ、
    サブピクチャ、および
    ブロックのうちの1つまたは複数を含む、請求項15に記載の方法。
  17. 複数のピクチャを含むビデオデータのシーケンスを記憶するように構成されたメモリと、
    処理回路構成とを備えるビデオ復号デバイスであって、前記処理回路構成は、
    第1のデコーダ側精密化ツールが、ビデオデータシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを示す第1のシンタックス要素を復号することと、
    前記第1のシンタックス要素の値に基づいて、前記第1のデコーダ側精密化ツールが、第1のビデオデータサブセット用に有効にされるか、それとも無効にされるかを判断することと、
    第2のデコーダ側精密化ツールが、前記ビデオデータシーケンス内の前記第1のビデオデータサブセット用に有効にされるか、それとも無効にされるかを示す第2のシンタックス要素を復号することと、
    前記第1のシンタックス要素の値に基づいて、前記第2のデコーダ側精密化ツールが、前記第1のビデオデータサブセット用に有効にされるか、それとも無効にされるかを判断することと、
    前記第1のデコーダ側精密化ツールが前記第1のサブセット用に有効にされたことに応答して、前記第1のデコーダ側精密化ツールを使って、前記第1のビデオデータサブセットを復号することと、
    前記第1のデコーダ側精密化ツールが前記第1のサブセット用に無効にされたことに応答して、前記第1のデコーダ側精密化ツールを使わずに前記第1のビデオデータサブセットを復号することと、
    前記第2のデコーダ側精密化ツールが前記第1のサブセット用に有効にされたことに応答して、前記第2のデコーダ側精密化ツールを使って、前記第1のビデオデータサブセットを復号することと、
    前記第2のデコーダ側精密化ツールが前記第1のサブセット用に無効にされたことに応答して、前記第2のデコーダ側精密化ツールを使わずに前記第1のビデオデータサブセットを復号することとを行うように構成される、ビデオ復号デバイス。
  18. 前記第1のデコーダ側精密化ツールはデコーダ側動きベクトル精密化(DMVR)ツールを含み、前記第2のデコーダ側精密化ツールは双方向オプティカルフロー(BDOF)ツールを含む、請求項17に記載のビデオ復号デバイス。
  19. 前記処理回路構成は、前記第1のシンタックス要素の第1のインスタンスを復号することによって前記第1のシンタックス要素を復号するように、および前記第2のシンタックス要素の第1のインスタンスを復号することによって前記第2のシンタックス要素を復号するように構成され、前記処理回路構成は、
    前記第1のデコーダ側精密化ツールが、前記ビデオデータシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを示す前記第1のシンタックス要素の第2のインスタンスを復号することであって、前記第2のサブセットは前記第1のサブセットとは異なる、ことと、
    前記第1のシンタックス要素の前記第2のインスタンスの値に基づいて、前記第1のデコーダ側精密化ツールが、第2のビデオデータサブセット用に有効にされるか、それとも無効にされるかを判断することと、
    前記第2のデコーダ側精密化ツールが、前記ビデオデータシーケンス内の前記第2のビデオデータサブセット用に有効にされるか、それとも無効にされるかを示す前記第2のシンタックス要素の第2のインスタンスを復号することと、
    前記第2のシンタックス要素の前記第2のインスタンスの値に基づいて、前記第2のデコーダ側精密化ツールが、前記第2のビデオデータサブセット用に有効にされるか、それとも無効にされるかを判断することと、
    前記第1のデコーダ側精密化ツールが前記第2のサブセット用に有効にされたことに応答して、前記第1のデコーダ側精密化ツールを使って、前記第2のビデオデータサブセットを復号することと、
    前記第1のデコーダ側精密化ツールが前記第2のサブセット用に無効にされたことに応答して、前記第1のデコーダ側精密化ツールを使わずに前記第2のビデオデータサブセットを復号することと、
    前記第2のデコーダ側精密化ツールが前記第2のサブセット用に有効にされたことに応答して、前記第2のデコーダ側精密化ツールを使って、前記第2のビデオデータサブセットを復号することと、
    前記第2のデコーダ側精密化ツールが前記第2のサブセット用に無効にされたことに応答して、前記第2のデコーダ側精密化ツールを使わずに前記第2のビデオデータサブセットを復号することとを行うようにさらに構成される、請求項17に記載のビデオ復号デバイス。
  20. 前記処理回路構成は、
    前記第1のデコーダ側精密化ツールが、前記ビデオデータシーケンス内のビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを示す前記第1のシンタックス要素の第3のインスタンスを復号することであって、前記第3のサブセットは前記第1のサブセットとは異なり、前記第3のサブセットは前記第2のサブセットとは異なる、ことと、
    前記第1のシンタックス要素の前記第3のインスタンスの値に基づいて、前記第1のデコーダ側精密化ツールが、第3のビデオデータサブセット用に有効にされるか、それとも無効にされるかを判断することと、
    前記第2のデコーダ側精密化ツールが、前記ビデオデータシーケンス内の前記第3のビデオデータサブセット用に有効にされるか、それとも無効にされるかを示す前記第2のシンタックス要素の第3のインスタンスを復号することと、
    前記第2のシンタックス要素の前記第3のインスタンスの値に基づいて、前記第2のデコーダ側精密化ツールが、前記第3のビデオデータサブセット用に有効にされるか、それとも無効にされるかを判断することと、
    前記第1のデコーダ側精密化ツールが前記第3のサブセット用に有効にされたことに応答して、前記第1のデコーダ側精密化ツールを使って、前記第3のビデオデータサブセットを復号することと、
    前記第1のデコーダ側精密化ツールが前記第3のサブセット用に無効にされたことに応答して、前記第1のデコーダ側精密化ツールを使わずに前記第3のビデオデータサブセットを復号することと、
    前記第2のデコーダ側精密化ツールが前記第3のサブセット用に有効にされたことに応答して、前記第2のデコーダ側精密化ツールを使って、前記第3のビデオデータサブセットを復号することと、
    前記第2のデコーダ側精密化ツールが前記第3のサブセット用に無効にされたことに応答して、前記第2のデコーダ側精密化ツールを使わずに前記第3のビデオデータサブセットを復号することとを行うようにさらに構成される、請求項19に記載のビデオ復号デバイス。
  21. 前記処理回路構成は、
    前記第1のシンタックス要素の前記第1のインスタンスの値に基づいて、前記第1のデコーダ側精密化ツールが前記第1のビデオデータサブセット用に有効にされると判断することと、
    前記第2のシンタックス要素の前記第1のインスタンスの値に基づいて、前記第2のデコーダ側精密化ツールが前記第1のビデオデータサブセット用に無効にされると判断することと、
    前記第1のデコーダ側精密化ツールを使って、および前記第2のデコーダ側精密化ツールを使わずに、前記第1のビデオデータサブセットを復号することと、
    前記第1のシンタックス要素の前記第2のインスタンスの値に基づいて、前記第1のデコーダ側精密化ツールが前記第2のビデオデータサブセット用に無効にされると判断することと、
    前記第2のシンタックス要素の前記第2のインスタンスの値に基づいて、前記第2のデコーダ側精密化ツールが前記第2のビデオデータサブセット用に有効にされると判断することと、
    前記第2のデコーダ側精密化ツールを使って、および前記第1のデコーダ側精密化ツールを使わずに、前記第2のビデオデータサブセットを復号することとを行うように構成される、請求項19に記載のビデオ復号デバイス。
  22. 前記第1および第2のデコーダ側精密化ツールは、前記ビデオデータシーケンスの前記複数のピクチャのいずれかを復号するために利用可能であり、前記第1および第2のデコーダ側精密化ツールの一方または両方が、前記ビデオデータシーケンス内のビデオデータのいくつかのサブセット用に有効にされ、前記第1および第2のデコーダ側精密化ツールの一方または両方が、前記ビデオデータシーケンス内のビデオデータの他のサブセット用に無効にされる、請求項17に記載のビデオ復号デバイス。
  23. 前記処理回路構成は、
    前記ビデオデータシーケンスに関連付けられた1つまたは複数のシンタックス要素を復号することと、
    前記ビデオデータシーケンスに関連付けられた前記1つまたは複数のシンタックス要素に基づいて、前記ビデオデータシーケンスの前記複数のピクチャを復号するために利用可能であるように、前記第1および第2のデコーダ側精密化ツールが有効にされると判断することとを行うようにさらに構成される、請求項17に記載のビデオ復号デバイス。
  24. 前記第1のサブセットは、前記ビデオデータシーケンスの前記複数のピクチャの中の第1のピクチャの少なくとも一部分を含む、請求項17に記載のビデオ復号デバイス。
  25. 前記ビデオデータシーケンス内の前記第1のビデオデータサブセットは、
    ビデオデータのスライス、
    ビデオデータのフレーム、
    前記ビデオデータシーケンスの前記複数のピクチャの中のピクチャ、
    ビデオデータのサブピクチャ、および
    ビデオデータのブロックのうちの1つまたは複数を含む、請求項24に記載のビデオ復号デバイス。
  26. 複数のピクチャを含むビデオデータのシーケンスを記憶するように構成されたメモリと、
    処理回路構成とを備えるビデオ符号化デバイスであって、前記処理回路構成は、
    第1のデコーダ側精密化ツールが、ビデオデータシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第1のシンタックス要素の第1のインスタンスを符号化することと、
    前記第1のデコーダ側精密化ツールが、前記ビデオデータシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように前記第1のシンタックス要素の第2のインスタンスを符号化することであって、前記第2のサブセットは前記第1のサブセットとは異なる、ことと、
    第2のデコーダ側精密化ツールが、前記ビデオデータシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第2のシンタックス要素の第1のインスタンスを符号化することと、
    前記第2のデコーダ側精密化ツールが、前記ビデオデータシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように前記第2のシンタックス要素の第2のインスタンスを符号化することとを行うように構成される、ビデオ符号化デバイス。
  27. 前記第1のデコーダ側精密化ツールはデコーダ側動きベクトル精密化(DMVR)ツールを含み、前記第2のデコーダ側精密化ツールは双方向オプティカルフロー(BDOF)ツールを含む、請求項26に記載のビデオ符号化デバイス。
  28. 前記処理回路構成は、
    前記第1のデコーダ側精密化ツールが、前記ビデオデータシーケンス内のビデオデータの第3のサブセット用に有効にされるか、それとも無効にされるかを識別するように前記第1のシンタックス要素の第3のインスタンスを符号化することであって、前記第3のサブセットは前記第1のサブセットとは異なり、前記第3のサブセットは前記第2のサブセットとは異なる、ことと、
    前記第2のデコーダ側精密化ツールが、前記ビデオデータシーケンス内の第3のビデオデータサブセット用に有効にされるか、それとも無効にされるかを識別するように、前記第2のシンタックス要素の第3のインスタンスを符号化することとを行うようにさらに構成される、請求項26に記載のビデオ符号化デバイス。
  29. 前記第1および第2のデコーダ側精密化ツールの一方または両方が、前記ビデオデータシーケンス内のビデオデータのいくつかのサブセット用に有効にされ、前記第1および第2のデコーダ側精密化ツールの一方または両方が、前記ビデオデータシーケンス内のビデオデータの他のサブセット用に無効にされる、請求項26に記載のビデオ符号化デバイス。
  30. 前記処理回路構成は、
    前記第1および第2のデコーダ側精密化ツールが、前記ビデオデータシーケンスの前記複数のピクチャを復号するために利用可能であることを示すように、前記ビデオデータシーケンスに関連付けられた1つまたは複数のシンタックス要素を符号化するようにさらに構成され、
    前記第1および第2のデコーダ側精密化ツールの一方または両方が、前記ビデオデータシーケンス内のビデオデータのいくつかのサブセット用に有効にされ、前記第1および第2のデコーダ側精密化ツールの一方または両方が、前記ビデオデータシーケンス内のビデオデータの他のサブセット用に無効にされる、請求項26に記載のビデオ符号化デバイス。
  31. 前記第1のサブセットは、前記ビデオデータシーケンスの前記複数のピクチャの中の第1のピクチャの少なくとも一部分を含む、請求項26に記載のビデオ符号化デバイス。
  32. 前記ビデオデータシーケンス内の第1のビデオデータサブセットは、
    スライス、
    フレーム、
    ピクチャ、
    サブピクチャ、および
    ブロックのうちの1つまたは複数を含む、請求項31に記載のビデオ符号化デバイス。
  33. 複数のピクチャを含むビデオデータのシーケンスを復号するように構成されたビデオ復号デバイスであって、
    第1のデコーダ側精密化ツールが、ビデオデータシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを示す第1のシンタックス要素を復号するための手段と、
    前記第1のシンタックス要素の値に基づいて、前記第1のデコーダ側精密化ツールが、第1のビデオデータサブセット用に有効にされるか、それとも無効にされるかを判断するための手段と、
    第2のデコーダ側精密化ツールが、前記ビデオデータシーケンス内の前記第1のビデオデータサブセット用に有効にされるか、それとも無効にされるかを示す第2のシンタックス要素を復号するための手段と、
    前記第1のシンタックス要素の値に基づいて、前記第2のデコーダ側精密化ツールが、前記第1のビデオデータサブセット用に有効にされるか、それとも無効にされるかを判断するための手段と、
    前記第1のデコーダ側精密化ツールが前記第1のサブセット用に有効にされたことに応答して、前記第1のデコーダ側精密化ツールを使って、前記第1のビデオデータサブセットを復号するための手段と、
    前記第1のデコーダ側精密化ツールが前記第1のサブセット用に無効にされたことに応答して、前記第1のデコーダ側精密化ツールを使わずに前記第1のビデオデータサブセットを復号するための手段と、
    前記第2のデコーダ側精密化ツールが前記第1のサブセット用に有効にされたことに応答して、前記第2のデコーダ側精密化ツールを使って、前記第1のビデオデータサブセットを復号するための手段と、
    前記第2のデコーダ側精密化ツールが前記第1のサブセット用に無効にされたことに応答して、前記第2のデコーダ側精密化ツールを使わずに、ビデオデータサブセットを復号するための手段とを備える、ビデオ復号デバイス。
  34. 複数のピクチャを含むビデオデータのシーケンスを符号化するように構成されたビデオ符号化デバイスであって、
    第1のデコーダ側精密化ツールが、ビデオデータシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第1のシンタックス要素の第1のインスタンスを符号化するための手段と、
    前記第1のデコーダ側精密化ツールが、前記ビデオデータシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように前記第1のシンタックス要素の第2のインスタンスを符号化するための手段であって、前記第2のサブセットは前記第1のサブセットとは異なる、手段と、
    第2のデコーダ側精密化ツールが、前記ビデオデータシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第2のシンタックス要素の第1のインスタンスを符号化するための手段と、
    前記第2のデコーダ側精密化ツールが、前記ビデオデータシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように前記第2のシンタックス要素の第2のインスタンスを符号化するための手段とを備える、ビデオ符号化デバイス。
  35. 命令を記憶するコンピュータ可読記憶媒体であって、前記命令は、実行されると、ビデオ復号デバイスの1つまたは複数のプロセッサに、
    第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを示す第1のシンタックス要素を復号することであって、ビデオデータシーケンスは複数のピクチャを含む、ことと、
    前記第1のシンタックス要素の値に基づいて、前記第1のデコーダ側精密化ツールが、第1のビデオデータサブセット用に有効にされるか、それとも無効にされるかを判断することと、
    第2のデコーダ側精密化ツールが、前記ビデオデータシーケンス内の前記第1のビデオデータサブセット用に有効にされるか、それとも無効にされるかを示す第2のシンタックス要素を復号することと、
    前記第1のシンタックス要素の値に基づいて、前記第2のデコーダ側精密化ツールが、前記第1のビデオデータサブセット用に有効にされるか、それとも無効にされるかを判断することと、
    前記第1のデコーダ側精密化ツールが前記第1のサブセット用に有効にされたことに応答して、前記第1のデコーダ側精密化ツールを使って、前記第1のビデオデータサブセットを復号することと、
    前記第1のデコーダ側精密化ツールが前記第1のサブセット用に無効にされたことに応答して、前記第1のデコーダ側精密化ツールを使わずに前記第1のビデオデータサブセットを復号することと、
    前記第2のデコーダ側精密化ツールが前記第1のサブセット用に有効にされたことに応答して、前記第2のデコーダ側精密化ツールを使って、前記第1のビデオデータサブセットを復号することと、
    前記第2のデコーダ側精密化ツールが前記第1のサブセット用に無効にされたことに応答して、前記第2のデコーダ側精密化ツールを使わずに、ビデオデータサブセットを復号することとを行わせる、コンピュータ可読記憶媒体。
  36. 命令を記憶するコンピュータ可読記憶媒体であって、前記命令は、実行されると、ビデオ符号化デバイスの1つまたは複数のプロセッサに、
    第1のデコーダ側精密化ツールが、ビデオデータのシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように、第1のシンタックス要素の第1のインスタンスを符号化することであって、ビデオデータシーケンスは複数のピクチャを含む、ことと、
    前記第1のデコーダ側精密化ツールが、前記ビデオデータシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように前記第1のシンタックス要素の第2のインスタンスを符号化することであって、前記第2のサブセットは前記第1のサブセットとは異なる、ことと、
    第2のデコーダ側精密化ツールが、前記ビデオデータシーケンス内のビデオデータの第1のサブセット用に有効にされるか、それとも無効にされるかを識別するように第2のシンタックス要素の第1のインスタンスを符号化することと、
    前記第2のデコーダ側精密化ツールが、前記ビデオデータシーケンス内のビデオデータの第2のサブセット用に有効にされるか、それとも無効にされるかを識別するように前記第2のシンタックス要素の第2のインスタンスを符号化することとを行わせる、コンピュータ可読記憶媒体。
JP2021571614A 2019-06-06 2020-06-05 デコーダ側動きベクトル精密化ツールオン／オフ制御 Pending JP2022535528A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962858094P 2019-06-06 2019-06-06
US62/858,094 2019-06-06
US201962863080P 2019-06-18 2019-06-18
US62/863,080 2019-06-18
US16/892,714 US11172212B2 (en) 2019-06-06 2020-06-04 Decoder-side refinement tool on/off control
US16/892,714 2020-06-04
PCT/US2020/036338 WO2020247760A1 (en) 2019-06-06 2020-06-05 Decoder-side motion vector refinement tool on/off control

Publications (2)

Publication Number Publication Date
JP2022535528A true JP2022535528A (ja) 2022-08-09
JPWO2020247760A5 JPWO2020247760A5 (ja) 2023-05-30

Family

ID=73650874

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021571614A Pending JP2022535528A (ja) 2019-06-06 2020-06-05 デコーダ側動きベクトル精密化ツールオン／オフ制御

Country Status (9)

Country Link
US (1) US11172212B2 (ja)
EP (1) EP3981159A1 (ja)
JP (1) JP2022535528A (ja)
KR (1) KR20220017906A (ja)
CN (1) CN114097234A (ja)
BR (1) BR112021023545A2 (ja)
SG (1) SG11202112038XA (ja)
TW (1) TW202123711A (ja)
WO (1) WO2020247760A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3941061A4 (en) * 2019-03-15 2022-05-04 Lg Electronics Inc. BDOF-BASED INTERPREDITION METHOD AND DEVICE
US11223840B2 (en) * 2019-08-19 2022-01-11 Tencent America LLC Method and apparatus for video coding
US20220312010A1 (en) * 2021-03-29 2022-09-29 Ofinno, Llc Geometric Partitioning Refinement
EP4367883A2 (en) * 2021-07-09 2024-05-15 OP Solutions, LLC Systems and methods for decoder-side synthesis of video sequences
WO2023219793A1 (en) * 2022-05-13 2023-11-16 Qualcomm Incorporated Mmvd merge mode with asymmetric motion vector difference

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140098851A1 (en) * 2012-10-04 2014-04-10 Qualcomm Incorporated Indication of video properties
WO2017036414A1 (en) 2015-09-02 2017-03-09 Mediatek Inc. Method and apparatus of decoder side motion derivation for video coding
US20180192071A1 (en) * 2017-01-05 2018-07-05 Mediatek Inc. Decoder-side motion vector restoration for video coding
US10595035B2 (en) 2017-03-22 2020-03-17 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
US10491917B2 (en) 2017-03-22 2019-11-26 Qualcomm Incorporated Decoder-side motion vector derivation
WO2020084465A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Simplified coding of generalized bi-directional index
EP3857890A4 (en) * 2018-11-06 2021-09-22 Beijing Bytedance Network Technology Co. Ltd. SIGNALING PAGE INFORMATION FOR INTERPREDICTION WITH GEOMETRIC PARTITIONING
US11178414B2 (en) * 2019-02-27 2021-11-16 Mediatek Inc. Classification for multiple merge tools

Also Published As

Publication number Publication date
CN114097234A (zh) 2022-02-25
US11172212B2 (en) 2021-11-09
EP3981159A1 (en) 2022-04-13
TW202123711A (zh) 2021-06-16
WO2020247760A1 (en) 2020-12-10
SG11202112038XA (en) 2021-12-30
BR112021023545A2 (pt) 2022-01-04
KR20220017906A (ko) 2022-02-14
US20200389656A1 (en) 2020-12-10

Similar Documents

Publication Publication Date Title
US10455249B2 (en) Downsampling process for linear model prediction mode
JP2022533664A (ja) ビデオコーディングのためのマージモードコーディング
CN113812148A (zh) 用于视频译码的参考图片重采样和帧间译码工具
CN113940069A (zh) 用于视频译码中的低频不可分离变换的变换和最后有效系数位置信令
KR102455655B1 (ko) 비디오 코딩에서의 계수 도메인 블록 차동 펄스-코드 변조
US10958928B2 (en) Decoder-side motion vector derivation for video coding
CN113508594A (zh) 视频编解码中三角形合并模式索引的信令
CN111602395B (zh) 用于视频译码的量化组
CN114128261A (zh) 用于视频译码的组合的帧间和帧内预测模式
US11172212B2 (en) Decoder-side refinement tool on/off control
US11064192B2 (en) Simplification of spatial-temporal motion vector prediction
KR20210138613A (ko) 비디오 코딩을 위한 그래디언트 기반 예측 정세화
CN112673636B (zh) 将运动向量取整以自适应运动向量差分辨率及提高视频译码中的运动向量存储精度
JP2021527999A (ja) シグナリングサブ予測ユニット動きベクトル予測子
CN113170162A (zh) 用于视频译码的共享候选列表和并行候选列表推导
JP2022533061A (ja) ビデオコーディングのための勾配ベースの予測改良
JP2022548637A (ja) ビデオコーディングのためのクロスコンポーネント適応ループフィルタリングのためのビットシフティング
JP2022548142A (ja) ビデオコーディングにおけるｂｄｏｆとｄｍｖｒとの調和された早期終了
US20210314598A1 (en) Signaling number of subblock merge candidates in video coding
JP2024500663A (ja) ビデオコーディングにおける最確モードリスト構築のためのデコーダ側イントラモード導出
US20210203982A1 (en) History-based motion vector predictor constraint for merge estimation region
US20210092404A1 (en) Reference picture constraint for decoder side motion refinement and bi-directional optical flow
CN114846801A (zh) 基于色度变换跳过的用于色度的lfnst信令
CN113940063A (zh) 解码图片缓冲器索引
JP2024501154A (ja) ビデオコーディングのための複数仮説予測

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240515