JP2022530172A - 適応解像度ビデオ符号化のためのインター符号化 - Google Patents

適応解像度ビデオ符号化のためのインター符号化 Download PDF

Info

Publication number
JP2022530172A
JP2022530172A JP2020561757A JP2020561757A JP2022530172A JP 2022530172 A JP2022530172 A JP 2022530172A JP 2020561757 A JP2020561757 A JP 2020561757A JP 2020561757 A JP2020561757 A JP 2020561757A JP 2022530172 A JP2022530172 A JP 2022530172A
Authority
JP
Japan
Prior art keywords
frame
resolution
current frame
motion
candidate list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020561757A
Other languages
English (en)
Inventor
ツイシャン・チャン
ユチェン・サン
リン・ジュ
ジアン・ルー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of JP2022530172A publication Critical patent/JP2022530172A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビットストリームの現在のフレームを取得することと、参照フレームバッファから１つ以上の参照ピクチャを取得することと、現在のフレームの解像度とは異なる解像度を有する取得された参照ピクチャをアップサンプリングまたはダウンサンプリングすることと、１つ以上の参照ピクチャのインター予測因子をサイズ変更することと、１つ以上の参照ピクチャと現在のフレームの１つ以上のブロックの動き情報とに基づいて、現在のフレームから再構築フレームを生成することであって、動き情報が少なくとも１つのインター予測因子を含む、こととによって、動き予測符号化フォーマットでの解像度適応型ビデオ符号化方法を実装するためのシステムおよび方法が提供され、これにより、これらの節約を相殺するかまたは損なうであろう追加データの伝送を必要とせずに、ビデオ符号化および配信におけるネットワーク伝送コストの大幅な削減を達成する。

Description

本明細書は、適応解像度ビデオ符号化のためのインター符号化に関する。
従来のビデオ符号化形式、例えば、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）およびＨ．２６５／ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格では、シーケンス内のビデオフレームは、それらのサイズおよび解像度を有し、ヘッダー内のシーケンスレベルで記録する。このため、フレーム解像度を変更するために、イントラ符号化フレームから新たなビデオシーケンスを生成しなければならず、これは、インター符号化フレームよりも伝送にかなり大きな帯域幅コストを伴う。したがって、ネットワーク帯域幅が低くなる、減少される、または調整されるときに、ダウンサンプリングされた低解像度ビデオをネットワーク上で適応的に伝送することが望ましいが、適応的にダウンサンプリングするための帯域幅のコストが帯域幅の利益を相殺するため、従来のビデオ符号化形式を使用しながら帯域幅の節約を実現することは困難である。
インター符号化フレームを伝送しながら解像度の変化をサポートする研究が行われている。ＡＯＭが開発したＡＶ１コーデックの実装では、ｓｗｉｔｃｈ＿ｆｒａｍｅと呼ばれる新しいフレームタイプが提供され、これは、以前のフレームとは異なる解像度で伝送することができる。しかしながら、ｓｗｉｔｃｈ＿ｆｒａｍｅの動きベクトル符号化は、以前のフレームの動きベクトルを参照することができないため、ｓｗｉｔｃｈ＿ｆｒａｍｅの使用は制限を受ける。このような参照は、従来、帯域幅コストを削減する別の方法を提供するため、ｓｗｉｔｃｈ＿ｆｒａｍｅの使用は、依然として帯域幅の利益を相殺するより大きな帯域幅の消費を維持する。
さらに、既存の動き符号化ツールは、並進動きモデルのみに基づいて動き補正予測（ＭＣＰ）を実施する。
次世代ビデオコーデック仕様ＶＶＣ／Ｈ．２６６の開発では、いくつかの新しい動き予測符号化ツールが提供されており、以前のフレームを参照する動きベクトル符号化、ならびに並進動き以外の不規則なタイプの動きに基づくＭＣＰをさらにサポートしている。これらの新しい符号化ツールに関してビットストリームで解像度の変更を実装するためには、新しい技術が必要である。
本開示の課題を解決するための手段は、特許請求の範囲に記載の構成を少なくとも含む。
詳細な説明は、添付の図面を参照して述べられる。図面では、参照番号の左端の数字（複数可）は、参照番号が最初に現れる図面を同定する。異なる図面における同じ参照番号の使用は、類似または同一の物品または特徴を示す。
４パラメータアフィン動きモデルおよび６パラメータアフィン動きモデルの複数のＣＭＰＶの構成をそれぞれ示す図である。 ４パラメータアフィン動きモデルおよび６パラメータアフィン動きモデルの複数のＣＭＰＶの構成をそれぞれ示す図である。 ブロックのルマ成分の動き情報を導出する図を示す図である。 アフィン動き予測符号化によるフレームのＣＵに対する動き候補の例示的な選択を示す図である。 継承アフィンマージ候補を導出する例を示す図である。 構築アフィンマージ候補を導出する例を示す図である。 テンプレートマッチングに基づくＤＭＶＲ双予測プロセスの図を示す図である。 ビデオ符号化プロセスの例示的なブロック図を示す図である。 解像度適応型ビデオ符号化を実装するビデオ符号化方法の例示的なフローチャートを示す図である。 解像度適応型ビデオ符号化を実装するビデオ符号化方法の例示的なフローチャートを示す図である。 解像度適応型ビデオ符号化を実装するビデオ符号化方法の例示的なフローチャートを示す図である。 解像度適応型ビデオ符号化を実装するビデオ符号化方法のさらなる例示的なフローチャートを示す図である。 解像度適応型ビデオ符号化を実装するビデオ符号化方法のさらなる例示的なフローチャートを示す図である。 解像度適応型ビデオ符号化を実装するビデオ符号化方法のさらなる例示的なフローチャートを示す図である。 動き予測符号化形式での解像度適応型ビデオ符号化を実装するためのプロセスおよび方法を実装するための例示的なシステムを示す図である。 動き予測符号化形式での解像度適応型ビデオ符号化を実装するためのプロセスおよび方法を実装するための例示的なシステムを示す図である。
本明細書に記載されるシステムおよび方法は、ビデオエンコーディングにおける適応解像度を可能にすることを対象とし、より具体的には、ＶＶＣ／Ｈ．２６６規格によって提供される動き予測符号化ツールに基づいて、フレーム間の適応解像度の変更を可能にするために、再構築フレームのアップサンプリングおよびダウンサンプリングを実装することを対象とする。
本開示の例示的な実施形態によれば、動き予測符号化形式は、１つ以上の他のフレームの動き情報および予測単位（ＰＵ）への１つ以上の参照を含むことによって、フレームの動き情報およびＰＵをエンコードするデータ形式を指し得る。動き情報は、動きベクトルおよび現在のフレームまたは別のフレームのブロックへの参照などの、フレームまたはその単位もしくは下位単位のブロック構造の動きを説明するデータを指し得る。ＰＵは、符号化単位（ＣＵ）などのフレームの複数のブロック構造の中で、ブロック構造に対応する単位または複数の下位単位を指してもよく、ブロックは、フレームデータに基づいて分割され、確立されたビデオコーデックに従って符号化される。予測単位に対応する動き情報は、本明細書に記載されるものを含むが、これらに限定されない、任意の動きベクトル符号化ツールによってエンコードされる動き予測を説明し得る。
本開示の例示的な実施形態によれば、動き予測符号化形式は、アフィン動き予測符号化およびデコーダ側動きベクトル精緻化（ＤＭＶＲ）を含み得る。本開示の例示的な実施形態に関するこれらの動き予測符号化形式の特徴は、本明細書に記載されるはずである。
アフィン動き予測符号化によるデコーダは、アフィン動きモデルを採用した符号化形式によるエンコードされたビットストリームの現在のフレームを取得し、再構築フレーム（「アフィン動き予測符号化再構築フレーム」）を導出してもよい。現在のフレームは、インター符号化されてもよい。
アフィン動き予測符号化再構築フレームのＣＵの動き情報は、アフィン動き補償予測によって予測されてもよい。動き情報は、複数の制御点動きベクトル（ＣＰＭＶ）および導出された動きベクトルを含む、複数の動きベクトルを含み得る。図１Ａおよび図１Ｂに示すように、複数のＣＰＭＶは、２つの制御点として機能するＣＵの２つの動き
Figure 2022530172000002
 、または３つの制御点として機能するＣＵの３つの動き
Figure 2022530172000003
 を含むことができ、ここで、
Figure 2022530172000004
 は、ＣＵの左上隅の制御点であり、
Figure 2022530172000005
 は、ＣＵの右上隅の制御点であり、
Figure 2022530172000006
 は、ＣＵの左下隅の制御点である。導出された動きベクトルは、制御点から、およびＣＵのサンプル位置（ｘ、ｙ）ピクセルからアフィン動きモデルによって導出されてもよく、これは、２つの制御点の４パラメータアフィン動きモデル、または３つの制御点の６パラメータアフィン動きモデルであってもよい。
サンプル位置（ｘ、ｙ）における動きベクトルは、以下の演算によって２つの制御点から導出されてもよい：
Figure 2022530172000007
 サンプル位置（ｘ、ｙ）における動きベクトルは、以下の演算によって３つの制御点から導出されてもよい：
Figure 2022530172000008
 動き情報は、ブロックのルマ成分の動き情報を導出し、またブロックの動き情報にブロックベースのアフィン変換を適用することによってブロックのクロマ成分の動き情報を導出することによって、さらに予測されてもよい。
図２に示すように、ブロックのルマ成分は、４×４ピクセルのルマ下位ブロックに分割されてもよく、各ルマ下位ブロックについて、ルマ下位ブロックの中心のサンプル位置におけるルマ動きベクトルは、全体のＣＵの制御点から上述の演算に従って導出されてもよい。ルマ下位ブロックの導出されたルマ動きベクトルは、１／１６の精度に四捨五入されてもよい。
ブロックのクロマ成分は、４×４ピクセルのクロマ下位ブロックに分割されてもよく、各クロマ下位ブロックは、隣接する４つのルマ下位ブロックを有してもよい。例えば、隣接するルマ下位ブロックは、クロマ下位ブロックの下、左、右、または上のルマ下位ブロックであってもよい。各クロマ下位ブロックについて、動きベクトルは、隣接するルマ下位ブロックのルマ動きベクトルの平均から導出されてもよい。
動き補償補間フィルタを各下位ブロックの導出された動きベクトルに適用して、各下位ブロックの動き予測を生成してもよい。
アフィン動き予測符号化再構築フレームのＣＵの動き情報は、動き候補リストを含み得る。動き候補リストは、複数の動き候補への参照を含むデータ構造であってもよい。動き候補は、現在のフレームのブロック構造のピクセルもしくは任意の他の好適な下位区分などのブロック構造もしくはその下位単位であってもよいか、または別のフレームの動き候補への参照であってもよい。動き候補は、空間的動き候補または時間的動き候補であってもよい。動きベクトル補償（ＭＶＣ）を適用することによって、デコーダは、動き候補リストから動き候補を選択し、再構築フレームのＣＵの動きベクトルとして動き候補の動きベクトルを導出してもよい。
図３は、本開示の例示的な実施形態による、アフィン動き予測符号化によるフレームのＣＵの動き候補の例示的な選択を示す。
アフィン動き予測符号化再構築フレームのアフィン動き予測モードがアフィンマージモードである本開示の例示的な実施形態によれば、フレームのＣＵは、８ピクセル以上の幅および高さの両方を有する。動き候補リストは、アフィンマージ候補リストであってもよく、最大で５つのＣＰＭＶＰ候補を含み得る。ＣＵの符号化は、マージインデックスを含み得る。マージインデックスは、アフィンマージのＣＰＭＶＰ候補を指してもよい。
現在のＣＵのＣＰＭＶは、空間的隣接ブロックまたは現在のＣＵへの時間的隣接ブロックの動き情報から導出される制御点動きベクトル予測因子（ＣＰＭＶＰ）候補に基づいて生成されてもよい。
図３に示すように、フレームの現在のＣＵの複数の空間的隣接ブロックが存在する。現在のＣＵの空間的隣接ブロックは、現在のＣＵの左側に隣接するブロックであってもよく、現在のＣＵの上部に隣接するブロックであってもよい。空間的隣接ブロックは、図３の左右方向および上下方向に対応する左右関係および上下関係を有する。図３の例によって、アフィンマージモードであるアフィン動き予測モードに従って符号化されたフレームのアフィンマージ候補リストは、最大で以下のＣＰＭＶＰ候補を含み得る：
左の空間的隣接ブロック（Ａ０）、
上の空間的隣接ブロック（Ｂ０）、
右上の空間的隣接ブロック（Ｂ１）、
左下の空間的隣接ブロック（Ａ１）、および
左上の空間的隣接ブロック（Ｂ２）。
本明細書に示される空間的隣接ブロックのうち、ブロックＡ０は、現在のＣＵ３０２の左のブロックであってもよく、ブロックＡ１は、現在のＣＵ３０２の左のブロックであってもよく、ブロックＢ０は、現在のＣＵ３０２の上のブロックであってもよく、ブロックＢ１は、現在のＣＵ３０２の上のブロックであってもよく、ブロックＢ２は、現在のＣＵ３０２の上のブロックであってもよい。現在のＣＵ３０２に対して、または互いに相対的に、各空間的隣接ブロックの相対的な位置決めは、これ以上限定されない。現在のＣＵ３０２に対して、または互いに、各空間的隣接ブロックの相対的なサイズに関して制限はない。
アフィンマージモードであるアフィン動き予測モードに従って符号化されたフレームのＣＵのアフィンマージ候補リストは、以下のＣＰＭＶＰ候補を含み得る。
最大で２つの継承アフィンマージ候補、
構築アフィンマージ候補、および
ゼロ動きベクトル。
継承アフィンマージ候補は、アフィン動き情報を有する空間的隣接ブロック、すなわち、ＣＰＭＶを有するＣＵに属する空間的隣接ブロックから導出されてもよい。
構築アフィンマージ候補は、アフィン動き情報を有さない空間的隣接ブロックおよび時間的隣接ブロックから導出されてもよく、すなわち、ＣＰＭＶは、並進動き情報のみを有するＣＵに属する空間的隣接ブロックおよび時間的隣接ブロックから導出されてもよい。
ゼロ動きベクトルは、（０，０）の動きシフトを有し得る。
最大で１つの継承アフィンマージ候補は、現在のＣＵの左の空間的隣接ブロックを検索することから導出されてもよく、最大１つの継承アフィンマージ候補は、現在のＣＵの上の空間的隣接ブロックを検索することから導出されてもよい。左の空間的隣接ブロックは、Ａ０およびＡ１の順序で検索されてもよく、上の空間的隣接ブロックは、Ｂ０、Ｂ１、およびＢ２の順序で検索されてもよく、各々の場合、アフィン動き情報を有する第１の空間的隣接ブロックについて検索されてもよい。このような第１の空間的隣接ブロックが左の空間的隣接ブロックの中で見つかった場合、ＣＰＭＶＰ候補は、第１の空間的隣接ブロックのＣＰＭＶから導出され、アフィンマージ候補リストに追加される。このような第１の空間的隣接ブロックが上の空間的隣接ブロックの中で見つかった場合、ＣＰＭＶＰ候補は、第１の空間的隣接ブロックのＣＰＭＶから導出され、アフィンマージ候補リストに追加される。このように２つのＣＰＭＶＰ候補が導出された場合、導出されたＣＰＭＶＰ候補間の枝刈りチェック、すなわち、２つの導出されたＣＰＭＶＰ候補が同じＣＰＭＶＰ候補であるかどうかのチェックは実施されない。
図４は、継承アフィンマージ候補を導出する例を示す。現在のＣＵ４０２は、左の空間的隣接ブロックＡを有する。ブロックＡは、ＣＵ４０４に属する。ブロックＡが４パラメータアフィンモデルに従って符号化されるとき、ＣＵ４０４は、以下のアフィン動き情報を有し得る：
Figure 2022530172000009
 は、ＣＵ４０４の左上隅のＣＰＭＶであり、
Figure 2022530172000010
 は、ＣＵ４０４の右上隅のＣＰＭＶである。ブロックＡを見つけると、
Figure 2022530172000011
 が取得されてもよく、サンプル位置に対する現在のＣＵ４０２の
Figure 2022530172000012
 は、
Figure 2022530172000013
 に従って計算されてもよく、結果として４パラメータアフィンマージ候補が得られる。
ブロックＡが６パラメータアフィンモデルに従って符号化されるとき、ＣＵ４０４は、追加的に、以下のアフィン動き情報を有してもよい：
Figure 2022530172000014
 は、ＣＵの左下隅にあるＣＰＭＶである。ブロックＡを見つけると、
Figure 2022530172000015
 が取得されてもよく、サンプル位置に対する現在のＣＵ４０２の
Figure 2022530172000016
 は、
Figure 2022530172000017
 に従って計算されてもよく、結果として６パラメータアフィンマージ候補が得られる。
図５は、構築アフィンマージ候補を導出する例を示す。構築アフィンマージ候補は、現在のＣＵ５０２の４つのＣＰＭＶから導出されてもよく、現在のＣＵ５０２の各ＣＰＭＶは、現在のＣＵ５０２の空間的隣接ブロックを検索することから、または現在のＣＵ５０２の時間的隣接ブロックから導出される。
ＣＰＭＶの導出では、以下のブロックが参照されてもよい：
左の空間的隣接ブロック（Ａ１）、
左の空間的隣接ブロック（Ａ２）、
上の空間的隣接ブロック（Ｂ１）、
右上の空間的隣接ブロック（Ｂ０）、
左下の空間的隣接ブロック（Ａ０）、
左上の空間的隣接ブロック（Ｂ２）、
上の空間的隣接ブロック（Ｂ３）、および
時間的隣接ブロック（Ｔ）。
以下のＣＰＭＶは、現在のＣＵ５０２に対して導出されてもよい：
左上のＣＰＭＶ（ＣＰＭＶ１）、
右上のＣＰＭＶ（ＣＰＭＶ２）、
左下のＣＰＭＶ（ＣＰＭＶ３）、および
右下のＣＰＭＶ（ＣＰＭＶ４）。
ＣＰＭＶ１は、空間的隣接ブロックＢ２、Ｂ３、およびＡ２をこの順序で検索し、関連技術で見出された基準に従って最初の利用可能な空間的隣接ブロックを選択することによって導出されてもよく、その詳細は本明細書では説明しない。
ＣＰＭＶ２は、空間的隣接ブロックＢ１およびＢ０をこの順序で検索し、同様に最初の利用可能な空間的隣接ブロックを選択することによって導出されてもよい。
ＣＰＭＶ３は、空間的隣接ブロックＡ１およびＡ０この順序でを検索し、同様に最初の利用可能な空間的隣接ブロックを選択することによって導出されてもよい。
ＣＰＭＶ４は、利用可能である場合、時間的隣接ブロックＴから導出されてもよい。
構築アフィンマージ候補は、以下の組み合わせの中で、現在のＣＵ５０２のＣＰＭＶの最初の利用可能な組み合わせを使用して、所与の順序で構築されてもよい。
｛ＣＰＭＶ１、ＣＰＭＶ２、ＣＰＭＶ３｝、
｛ＣＰＭＶ１、ＣＰＭＶ２、ＣＰＭＶ４｝、
｛ＣＰＭＶ１、ＣＰＭＶ３、ＣＰＭＶ４｝、
｛ＣＰＭＶ２、ＣＰＭＶ３、ＣＰＭＶ４｝、
｛ＣＰＭＶ１、ＣＰＭＶ２｝、および
｛ＣＰＭＶ１、ＣＰＭＶ３｝。
３つのＣＰＭＶの組み合わせが使用される場合、６パラメータアフィンマージ候補が生成される。２つのＣＰＭＶの組み合わせが使用される場合、４パラメータアフィンマージ候補が生成される。次いで、構築アフィンマージ候補は、アフィンマージ候補リストに追加される。
アフィン動き情報を有しないブロック、例えば、時間的動きベクトル予測因子（ＴＭＶＰ）符号化形式に従って符号化されたＣＵに属するブロックについて、ＣＵの符号化は、インター予測インジケータを含み得る。インター予測インジケータは、リスト０として指される第１の参照ピクチャリストを参照するリスト０予測、リスト１として指される第２の参照ピクチャリストを参照するリスト１予測、またはそれぞれリスト０およびリスト１として指される２つの参照ピクチャリストを参照する双予測を示し得る。リスト０予測またはリスト１予測を示すインター予測インジケータの場合、ＣＵの符号化は、それぞれリスト０またはリスト１によって参照される参照フレームバッファの参照ピクチャを指す参照インデックスを含み得る。双予測を示すインター予測インジケータの場合、ＣＵの符号化は、リスト０によって参照される参照フレームバッファの第１の参照ピクチャを指す第１の参照インデックス、およびリスト１によって参照される参照フレームの第２の参照ピクチャを指す第２の参照インデックスを含み得る。
インター予測インジケータは、インター符号化フレームのスライスヘッダ内のフラグとして符号化されてもよい。参照インデックス（複数可）は、インター符号化フレームのスライスヘッダに符号化されてもよい。参照インデックス（複数可）にそれぞれ対応する１つまたは２つの動きベクトル差分（ＭＶＤ）がさらに符号化されてもよい。
上述したＣＰＭＶの特定の組み合わせにおいて、ＣＰＭＶの参照インデックスが異なる場合、すなわち、ＣＭＰＶが、異なる解像度を有し得る異なる参照ピクチャを参照するＣＵから導出され得る場合、ＣＰＭＶの特定の組み合わせは破棄され、使用されなくてもよい。
任意の導出された継承アフィンマージ候補および任意の構築アフィンマージ候補をＣＵのアフィンマージ候補リストに追加した後、ゼロ動きベクトル、すなわち（０、０）の動きシフトを示す動きベクトルが、アフィンマージ候補リストの任意の残りの空の位置に追加される。
アフィン動き予測符号化再構築フレームのアフィン動き予測モードがアフィン適応動きベクトル予測（ＡＭＶＰ）モードである本開示の例示的な実施形態によれば、フレームのＣＵは、１６ピクセル以上の幅および高さの両方を有する。ＡＭＶＰモードの適用可能性、および４パラメータアフィン動きモデルまたは６パラメータアフィン動きモデルが使用されるかどうかは、符号化されたフレームデータを搬送するビデオビットストリームに搬送されるビットレベルフラグによって信号化されてもよい。動き候補リストは、ＡＭＶＰ候補リストであってもよく、最大２つのＡＭＶＰ候補を含んでもよい。
現在のＣＵのＣＰＭＶは、空間的隣接ブロックの現在のＣＵへの動き情報から導出されるＡＭＶＰ候補に基づいて生成されてもよい。
ＡＭＶＰモードであるアフィン動き予測モードに従って符号化されたフレームのＣＵのＡＭＶＰ候補リストは、以下のＣＰＭＶＰ候補を含み得る：
継承ＡＭＶＰ候補、
構築ＡＭＶＰ候補、
隣接ＣＵからの並進動きベクトル、および
ゼロ動きベクトル。
継承ＡＭＶＰ候補は、継承ＡＭＶＰ候補を導出するために検索された各空間的隣接ブロックが、現在のＣＵと同じ参照ピクチャを参照するＣＵに属することを除いて、継承アフィンマージ候補を導出するための方法と同じ方法で導出されてもよい。継承ＡＭＶＰ候補とＡＭＶＰ候補リストとの間では、継承ＡＭＶＰ候補をＡＭＶＰ候補リストに追加しながら枝刈りチェックは実施されない。
最初の利用可能な空間的隣接ブロックを選択することが、インター符号化されており、現在のＣＵと同じ参照ピクチャを参照する参照インデックスを有する最初の利用可能な空間的隣接ブロックが選択されるという基準に従ってさらに実施されることを除いて、構築ＡＭＶＰ候補は、構築アフィンマージ候補を導出する方法と同じ方法で導出されてもよい。さらに、時間的制御点がサポートされていないＡＭＶＰの実装によれば、時間的隣接ブロックは検索されなくてもよい。
現在のＣＵが４パラメータアフィン動きモデルで符号化され、現在のＣＵのＣＰＭＶ１およびＣＰＭＶ２が利用可能な場合、ＣＰＭＶ１およびＣＰＭＶ２は、１つの候補としてＡＭＶＰ候補リストに追加される。現在のＣＵが６パラメータアフィン動きモデルで符号化され、現在のＣＵのＣＰＭＶ１、ＣＰＭＶ２、およびＣＰＭＶ３が利用可能な場合、ＣＰＭＶ１、ＣＰＭＶ２、およびＣＰＭＶ３は、１つの候補としてＡＭＶＰ候補リストに追加される。そうでなければ、構築ＡＭＶＰ候補は、ＡＭＶＰ候補リストに追加するために利用可能ではない。
並進動きベクトルは、並進動き情報のみを有するＣＵに属する空間的隣接ブロックからの動きベクトルであり得る。
ゼロ動きベクトルは、（０，０）の動きシフトを有し得る。
任意の導出された継承アフィンマージ候補および任意の構築アフィンマージ候補をＣＵ、ＣＰＭＶ１、ＣＰＭＶ２、およびＣＰＭＶ３のアフィンマージ候補リストに追加した後、それぞれの利用可能性に従って、現在のＣＵのすべてのＣＰＭＶを予測するために、並進動きベクトルとして所与の順序でＡＭＶＰ候補リストに追加される。次いで、ゼロ動きベクトル、すなわち（０、０）の動きシフトを示す動きベクトルが、ＡＭＶＰ候補リストの任意の残りの空の位置に追加される。
ＤＭＶＲに従って予測される動き情報は、双予測によって予測されてもよい。再構築フレームのブロックの動き情報が、第１の参照ブロックの第１の動きベクトルおよび第２の参照ブロックの第２の動きベクトルへの参照を含んでもよく、第１の参照ブロックは、現在のブロックからの第１の時間的距離を有し、第２の参照ブロックは、現在のブロックからの第２の時間的距離を有するように、現在のフレームに対して双予測を実施してもよい。第１の時間的距離および第２の時間的距離は、現在のブロックとは異なる時間的方向にあってもよい。
第１の動きベクトルは、リスト０として指される第１の参照ピクチャリストの第１の参照ピクチャのブロックの動きベクトルであってもよく、第２の動きベクトルは、リスト１として指される第２の参照ピクチャリストの第２の参照ピクチャのブロックの動きベクトルであってもよい。現在のブロックが属するＣＵの符号化は、リスト０によって参照される参照フレームの第１の参照ピクチャを指す第１の参照インデックス、およびリスト１によって参照される参照フレームの第２の参照ピクチャを指す第２の参照インデックスを含み得る。
図６は、テンプレートマッチングに基づくＤＭＶＲ双予測プロセスの図を示す。ＤＭＶＲ双予測プロセスの第１のステップでは、初期の第１の動きベクトルｍｖ０によって参照されるリスト０の第１の参照ピクチャ６０４の初期の第１のブロック６０２、および初期の第２の動きベクトルｍｖ１によって参照されるリスト１の第２の参照ピクチャ６０８の初期の第２のブロック６０６は、初期の第１のブロック６０２と初期の第２のブロック６０６との重み付けされた組み合わせを生成するために平均化される。重み付けされた組み合わせは、テンプレート６１０として機能する。現在のブロック６１２の動き予測は、初期の第１のブロック６０２を参照する初期の第１の動きベクトルおよび初期の第２のブロック６０６を参照する初期の第２の動きベクトルを使用して実施されてもよい。
ＤＭＶＲ双予測プロセスの第２のステップでは、テンプレート６１０は、コスト測定によって、初期の第１のブロック６０２に近接する第１の参照ピクチャ６０４の第１のサンプル領域と、初期の第２のブロック６０６に近接する第２の参照画像６０８の第２のサンプル領域と比較される。コスト測定は、絶対差分の合計または平均除去された絶対差分の合計などの画像類似性の好適な尺度を利用してもよい。第１のサンプル領域内で、後続の第１のブロック６１４がテンプレートに対して測定された最小コストを有する場合、後続の第１のブロック６１４を参照する後続の第１の動きベクトルｍｖ０’は、初期の第１の動きベクトルｍｖ０を置き換えてもよい。第２のサンプル領域内で、後続の第２のブロック６１６がテンプレートに対して測定された最小コストを有する場合、後続の第２のブロック６１６を参照する後続の第２の動きベクトルｍｖ１’は、初期の第２の動きベクトルｍｖ１を置き換えてもよい。次いで、ｍｖ０’およびｍｖ１’を使用して、現在のブロック６１２について双予測が実施されてもよい。
図７は、本開示の例示的な実施形態による、ビデオ符号化プロセス７００の例示的なブロック図を示す。
ビデオ符号化プロセス７００は、ビットストリーム７１０などのソースから符号化フレームを取得し得る。本開示の例示的な実施形態によれば、ビットストリーム内の位置Ｎを有する現在のフレーム７１２を考慮すると、ビットストリーム内の位置Ｎ－１を有する以前のフレーム７１４は、現在のフレームの解像度よりも大きいかまたは小さい解像度を有してもよく、ビットストリーム内の位置Ｎ＋１を有する次のフレーム７１６は、現在のフレームの解像度よりも大きいかまたは小さい解像度を有してもよい。
ビデオ符号化プロセス７００は、現在のフレーム７１２を復号して、再構築フレーム７１８を生成し、参照フレームバッファ７９０または表示バッファ７９２などの宛先において再構築フレーム７１８を出力してもよい。現在のフレーム７１２は、符号化ループ７２０に入力されてもよく、これは、現在のフレーム７１２をビデオデコーダ７２２に入力するステップを繰り返すことと、参照フレームバッファ７９０の以前の再構築フレーム７９４に基づいて再構築フレーム７１８を生成することと、再構築フレーム７１８をループ内アップサンプラまたはダウンサンプラ７２４に入力することと、アップサンプリングまたはダウンサンプリング再構築フレーム７９６を生成することと、アップサンプリングまたはダウンサンプリング再構築フレーム７９６を参照フレームバッファ７９０に出力することと、を含んでもよい。代替的に、再構築フレーム７１８は、ループから出力されてもよく、これは、再構築フレームをループ後アップサンプラまたはダウンサンプラ７２６に入力することと、アップサンプリングまたはダウンサンプリング再構築フレーム７９８を生成することと、アップサンプリングまたはダウンサンプリング再構築フレーム７９８を表示バッファ７９２に出力することと、を含んでもよい。
本開示の例示的な実施形態によれば、ビデオデコーダ７２２は、本明細書に記載されるそれらの符号化形式を含むが、これらに限定されない、動き予測符号化形式を実装する任意のデコーダであってもよい。参照フレームバッファ７９０の以前の再構築フレームに基づいて再構築フレームを生成することは、本明細書に記載されるインター符号化動き予測を含んでもよく、以前の再構築フレームは、以前の符号化ループ中にループ内アップサンプラまたはダウンサンプラ７２２によって出力されたアップサンプリングまたはダウンサンプリング再構築フレームであってもよく、以前の再構築フレームは、本明細書に記載されるインター符号化動き予測における参照ピクチャとして機能する。
本開示の例示的な実施形態によれば、ループ内アップサンプラまたはダウンサンプラ７２４およびループ後アップサンプラまたはダウンサンプラ７２６は、各々動き予測符号化形式で符号化されたフレームの少なくともアップサンプリングまたはダウンサンプリング符号化ピクセル情報にそれぞれ好適なアップサンプリングまたはダウンサンプリングアルゴリズムを実装してもよい。ループ内アップサンプラまたはダウンサンプラ７２４およびループ後アップサンプラまたはダウンサンプラ７２６は、各々動きベクトルなどの動き情報のアップスケールおよびダウンスケールにさらに好適なアップサンプリングまたはダウンサンプリングアルゴリズムをそれぞれ実装してもよい。
ループ内アップサンプラまたはダウンサンプラ７２４によって出力されるアップサンプリングまたはダウンサンプリング再構築フレーム７９６が、符号化ループ７２０の将来の反復において、アップサンプリングまたはダウンサンプリング再構築フレーム７９６が以前の再構築フレームとして機能するために必要とされる前に、参照フレームバッファ７９０に入力され得るのに十分なように、ループ内アップサンプラまたはダウンサンプラ７２４は、ループ後アップサンプラまたはダウンサンプラ４２６によって利用されるアルゴリズムと比較して、比較的単純で、より大きな計算速度を有するアップサンプリングまたはダウンサンプリングアルゴリズムを利用してもよく、一方、ループ後アップサンプラまたはダウンサンプラ７２６によって出力されるアップサンプリングまたはダウンサンプリング再構築フレーム７９８は、アップサンプリングまたはダウンサンプリング再構築フレーム７９６がこのように必要とされる前に時間内に出力されない場合がある。例えば、ループ内アップサンプラは、訓練に依存しない補間、平均、またはバイリニアアップサンプリングアルゴリズムを利用し得る一方で、ループ後アップサンプラは、訓練されたアップサンプリングアルゴリズムを利用し得る。
したがって、以前の再構築フレーム７９４などの、現在のフレーム７１２の再構築フレーム７１８を生成する際の参照ピクチャとして機能するフレームは、以前のフレーム７１４および次のフレーム７１６の解像度に対する現在のフレーム７１２の解像度に従ってアップサンプリングまたはダウンサンプリングされてもよい。例えば、現在のフレーム７１２が以前のフレーム７１４および次のフレーム７１６のいずれかまたは両方の解像度よりも大きい解像度を有する場合、参照ピクチャとして機能するフレームをアップサンプリングしてもよい。参照ピクチャとして機能するフレームは、現在のフレーム７１２が以前のフレーム７１４および次のフレーム７１６のいずれかまたは両方よりも小さい解像度を有する場合にダウンサンプリングされてもよい。
図８Ａ、図８Ｂ、および図８Ｃは、フレームがアフィン動き予測符号化によって符号化される、本開示の例示的な実施形態による解像度適応型ビデオ符号化を実装するビデオ符号化方法８００の例示的なフローチャートを示す。
ステップ８０２において、ビデオデコーダは、アフィン動き予測符号化によってエンコードされたビットストリームの現在のフレームを取得してもよく、アフィンマージモードまたはＡＭＶＰモードは、ビットストリーム信号に従ってさらに有効化されてもよい。現在のフレームは、位置Ｎを有してもよい。ビットストリーム内の位置Ｎ－１を有する以前のフレームは、現在のフレームの解像度よりも大きいかまたは小さい解像度を有してもよく、ビットストリーム内の位置Ｎ＋１を有する次のフレームは、現在のフレームの解像度よりも大きいかまたは小さい解像度を有してもよい。
ステップ８０４において、ビデオデコーダは、参照フレームバッファから１つ以上の参照ピクチャを取得し、１つ以上の参照ピクチャの解像度を現在のフレームの解像度と比較してもよい。
ステップ８０６において、ビデオデコーダは、１つ以上の参照ピクチャの１つ以上の解像度が現在のフレームの解像度と異なると決定すると、利用可能であれば、参照フレームバッファから現在のフレームの解像度と同じ解像度を有するフレームを選択してもよい。
本開示の例示的な実施形態によれば、現在のフレームの解像度と同じ解像度を有するフレームは、現在のフレームの解像度と同じ解像度を有する参照フレームバッファの最新のフレームであってもよく、これは、参照フレームバッファの最新のフレームではない場合もある。
ステップ８０８において、ループ内アップサンプラまたはダウンサンプラは、現在のフレームの解像度と１つ以上の参照ピクチャの解像度との比率を決定してもよく、その比率に従って、１つ以上の参照ピクチャの動きベクトルをスケーリングしてもよい。
本開示の例示的な実施形態によれば、スケーリング動きベクトルは、動きベクトルの大きさを増加または減少させることを含み得る。
ステップ８１０Ａにおいて、ループ内アップサンプラまたはダウンサンプラは、比率に従って、１つ以上の参照ピクチャのインター予測因子をさらにサイズ変更してもよい。
本開示の例示的な実施形態によれば、インター予測因子は、例えば、異なる解像度を有し得る他の参照ピクチャを参照する動き予測のための動き情報であってもよい。
ステップ８１０Ｂにおいて、代替的に、ループ内アップサンプラまたはダウンサンプラは、現在のフレームのシーケンスヘッダまたはピクチャヘッダ内で信号化されたアップサンプルまたはダウンサンプルフィルタ係数を検出し、信号化されたフィルタ係数と現在のフレームのフィルタ係数との間の差分をビデオデコーダに伝送してもよい。フィルタ係数は、インター予測因子の係数であるとみなすことができる。したがって、インター予測因子のフィルタ係数と現在のフレームのフィルタ係数との間の差分により、予測動き情報が現在のフレームのフィルタに適用されることが可能になる。
ステップ８１２において、ビデオデコーダは、現在のフレームのブロックのアフィンマージ候補リストまたはＡＭＶＰ候補リストを導出してもよい。アフィンマージ候補リストまたはＡＭＶＰ候補リストの導出は、本明細書に記載された前述のステップに従って実施されてもよい。アフィンマージ候補リストまたはＡＭＶＰ候補リストの導出におけるＣＰＭＶＰ候補またはＡＭＶＰ候補の導出は、それぞれ、本明細書に記載された前述のステップに従ってさらに実施されてもよい。
ステップ８１４において、ビデオデコーダは、本明細書に記載された前述のステップに従って、アフィンマージ候補リストまたはＡＭＶＰ候補リストからＣＰＭＶＰ候補またはＡＭＶＰ候補を選択し、再構築フレームのブロックの動きベクトルとしてＣＰＭＶＰ候補またはＡＭＶＰ候補の動きベクトルを導出してもよい。
ステップ８１６において、ビデオデコーダは、１つ以上の参照ピクチャおよび選択されたＣＰＭＶＰまたはＡＭＶＰ候補に基づいて、現在のフレームから再構築フレームを生成してもよい。
再構築フレームは、現在のフレームと同じ解像度を有する選択された参照ピクチャへの参照によって、参照フレームバッファの他のフレームの動きベクトルもしくはインター予測因子がそれぞれ現在のフレームと同じ解像度に従ってスケーリングもしくはサイズ変更されることによって、またはフィルタをエンコードしながら、ループ内アップサンプラまたはダウンサンプラから現在のフレームのフィルタに伝送される信号化フィルタ係数と現在のフレームのフィルタ係数との間の差分を適用することによって予測されてもよい。
ステップ８１８において、再構築フレームは、ループ内アップサンプラまたはダウンサンプラ、およびループ後アップサンプラまたはダウンサンプラのうちの少なくとも１つに入力されてもよい。
ステップ８２０において、ループ内アップサンプラもしくはダウンサンプラ、またはループ後アップサンプラもしくはダウンサンプラのうちの少なくとも１つは、再構築フレームに基づいて、アップサンプリングまたはダウンサンプリング再構築フレームを生成してもよい。
ビットストリームによってサポートされた複数の解像度の異なる解像度に各々従って、複数のアップサンプリングまたはダウンサンプリング再構築フレームが生成されてもよい。
ステップ８２２において、再構築フレームおよび１つ以上のアップサンプリングまたはダウンサンプリング再構築フレームのうちの少なくとも１つは、参照フレームバッファおよび表示バッファのうちの少なくとも１つに入力されてもよい。
再構築フレームが参照フレームバッファに入力される場合、再構築フレームは、参照ピクチャとして取得されてもよく、その後、符号化ループの後続の反復において、上記のステップ８０６に関して説明されたようにアップサンプリングまたはダウンサンプリングされてもよい。１つ以上のアップサンプリングまたはダウンサンプリング再構築フレームが参照フレームバッファに入力される場合、符号化ループの後続の反復において、現在のフレームと同じ解像度を有するフレームとして、１つ以上のアップサンプリングまたはダウンサンプリングフレームのうちの１つを選択してもよい。
図９Ａ、図９Ｂ、および図９Ｃは、動き情報がＤＭＶＲによって予測される、本開示の例示的な実施形態による解像度適応型ビデオ符号化を実装するビデオ符号化方法９００の例示的なフローチャートを示す。
ステップ９０２において、ビデオデコーダは、ビットストリームの現在のフレームを取得してもよい。現在のフレームは、位置Ｎを有してもよい。ビットストリーム内の位置Ｎ－１を有する以前のフレームは、現在のフレームの解像度よりも大きいかまたは小さい解像度を有してもよく、ビットストリーム内の位置Ｎ＋１を有する次のフレームは、現在のフレームの解像度よりも大きいかまたは小さい解像度を有してもよい。
ステップ９０４において、ビデオデコーダは、参照フレームバッファから１つ以上の参照ピクチャを取得し、１つ以上の参照ピクチャの解像度を現在のフレームの解像度と比較してもよい。
ステップ９０６において、ビデオデコーダが１つ以上の参照ピクチャの１つ以上の解像度が現在のフレームの解像度と異なると決定すると、ループ内アップサンプラまたはダウンサンプラは、利用可能であれば、参照フレームバッファから現在のフレームの解像度と同じ解像度を有するフレームを選択してもよい。
本開示の例示的な実施形態によれば、ビデオデコーダは、現在のフレームの解像度と同じ解像度を有する参照フレームバッファからフレームを選択してもよい。現在のフレームの解像度と同じ解像度を有するフレームは、現在のフレームの解像度と同じ解像度を有する参照フレームバッファの最新のフレームであってもよく、これは、参照フレームバッファの最新のフレームではない場合もある。
ステップ９０８において、ループ内アップサンプラまたはダウンサンプラは、現在のフレームの解像度と１つ以上の参照ピクチャの解像度の比率を決定してもよく、その比率に従って、１つ以上の参照ピクチャのピクセルパターンをサイズ変更してもよい。
本開示の例示的な実施形態によれば、１つ以上の参照ピクチャのピクセルパターンのサイズ変更は、例えば、テンプレートを、コスト測定によって、初期の第１のブロックに近接する第１の参照ピクチャの第１のサンプル領域と初期の第２のブロックに近接する第２の参照ピクチャの第２のサンプル領域とを比較する上述されたステップなどの、ＤＭＶＲによる異なる解像度でのベクトル精緻化プロセスを促進し得る。
ステップ９１０において、ビデオデコーダは、本明細書に記載した前述のステップに従って、参照フレームバッファの第１の参照フレームおよび第２の参照フレームに基づいて、現在のフレームに対して双予測およびベクトル精緻化を実施してもよい。
ステップ９１２において、ビデオデコーダは、第１の参照フレームおよび第２の参照フレームに基づいて、現在のフレームから再構築フレームを生成してもよい。
再構築フレームは、現在のフレームと同じ解像度を有する選択された参照ピクチャへの参照によって、または参照フレームバッファの他のフレームのピクセルパターンが現在のフレームと同じ解像度に従ってサイズ変更されることよって、予測されてもよい。
ステップ９１４において、再構築フレームは、ループ内アップサンプラまたはダウンサンプラ、およびループ後アップサンプラまたはダウンサンプラのうちの少なくとも１つに入力されてもよい。
ステップ９１６において、ループ内アップサンプラもしくはダウンサンプラ、またはループ後アップサンプラもしくはダウンサンプラのうちの少なくとも１つは、再構築フレームに基づいて、アップサンプリングまたはダウンサンプリング再構築フレームを生成してもよい。
ビットストリームによってサポートされた複数の解像度の異なる解像度に各々従って、複数のアップサンプリングまたはダウンサンプリング再構築フレームが生成されてもよい。
ステップ９１８において、再構築フレームおよび１つ以上のアップサンプリングまたはダウンサンプリング再構築フレームのうちの少なくとも１つは、参照フレームバッファおよび表示バッファのうちの少なくとも１つに入力されてもよい。
再構築フレームが参照フレームバッファに入力される場合、再構築フレームは、参照ピクチャとして取得されてもよく、その後、符号化ループの後続の反復において、上記のステップ９０６に関して説明されたようにアップサンプリングまたはダウンサンプリングされてもよい。１つ以上のアップサンプリングまたはダウンサンプリング再構築フレームが参照フレームバッファに入力される場合、符号化ループの後続の反復において、現在のフレームと同じ解像度を有するフレームとして、１つ以上のアップサンプリングまたはダウンサンプリングフレームのうちの１つを選択してもよい。
図１０は、動き予測符号化形式での解像度適応型ビデオ符号化を実装するための上述されたプロセスおよび方法を実装するための例示的なシステム１０００を示す。
本明細書に記載された技術および機構は、システム１０００の複数のインスタンス、ならびに任意の他のコンピューティングデバイス、システム、および／または環境によって実装されてもよい。図１０に示されるシステム１０００は、システムの一例に過ぎず、上述されたプロセスおよび／または手順を実施するために利用される任意のコンピューティングデバイスの使用範囲または機能性に関するいかなる制限も示唆することを意図していない。実施形態との使用に好適であり得る他の周知のコンピューティングデバイス、システム、環境、および／または構成としては、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドデバイスもしくはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースシステム、セットトップボックス、ゲームコンソール、プログラム可能な家電製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムもしくはデバイスのいずれかを含む分散コンピューティング環境、ならびに／またはフィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）およびアプリケーション固有の集積回路（「ＡＳＩＣ」）を使用する実装などが挙げられるが、これらに限定されない。
システム１０００は、１つ以上のプロセッサ１００２およびプロセッサ（複数可）１００２に通信可能に結合されたシステムメモリ１００４を含み得る。プロセッサ（複数可）１００２は、１つ以上のモジュールおよび／またはプロセスを実行して、プロセッサ（複数可）１００２に様々な機能を実施されてもよい。いくつかの実施形態では、プロセッサ（複数可）１００２は、中央処理単位（ＣＰＵ）、グラフィックス処理単位（ＧＰＵ）、ＣＰＵとＧＰＵとの両方、または当該技術分野で既知の他の処理単位もしくは構成要素を含み得る。追加的に、プロセッサ（複数可）１００２の各々は、プログラムモジュール、プログラムデータ、および／または１つ以上のオペレーティングシステムを記憶することもできる独自のローカルメモリを有してもよい。
システム１０００の正確な構成およびタイプに応じて、システムメモリ１００４は、ＲＡＭなどの揮発性、ＲＯＭなどの不揮発性、フラッシュメモリ、ミニチュアハードドライブ、およびメモリカードなど、またはこれらのいくつかの組み合わせであってもよい。システムメモリ１００４は、プロセッサ（複数可）１００２によって実行可能な１つ以上のコンピュータ実行可能モジュール１００６を含み得る。
モジュール１００６は、デコーダモジュール１００８と、アップサンプラまたはダウンサンプラモジュール１０１０と、を含み得るが、これらに限定されない。デコーダモジュール１００８は、フレーム取得モジュール１０１２と、参照ピクチャ取得モジュール１０１４と、フレーム選択モジュール１０１６と、候補リスト導出モジュール１０１８と、動き予測モジュール１０２０と、再構築フレーム生成モジュール１０２２と、アップサンプラまたはダウンサンプラ入力モジュール１０２４と、を含み得る。アップサンプラまたはダウンサンプラモジュール１０１０は、比率決定モジュール１０２６と、スケーリングモジュール１０３０と、インター予測因子サイズ変更モジュール１０３２と、フィルタ係数検出および差分送信モジュール１０３４と、アップサンプリングまたはダウンサンプリング再構築フレーム生成モジュール１０３６と、バッファ入力モジュール１０３８と、を含み得る。
フレーム取得モジュール１０１２は、図８を参照して上述したように、アフィン動き予測符号化形式でエンコードされたビットストリームの現在のフレームを取得するように構成されてもよい。
参照ピクチャ取得モジュール１０１４は、図８を参照して上述したように、参照フレームバッファから１つ以上の参照ピクチャを取得し、１つ以上の参照ピクチャの解像度を、現在のフレームの解像度と比較するように構成されてもよい。
フレーム選択モジュール１０１６は、図８を参照して上述したように、参照ピクチャ取得モジュール１０１４が、１つ以上の参照ピクチャの１つ以上の解像度が現在のフレームの解像度とは異なると決定すると、参照フレームバッファから現在のフレームの解像度と同じ解像度を有するフレームを選択するように構成されてもよい。
候補リスト導出モジュール１０１８は、図８を参照して上述したように、現在のフレームのブロックのアフィンマージ候補リストまたはＡＭＶＰ候補リストを導出するように構成されてもよい。
動き予測モジュール１０２０は、図８を参照して上述したように、導出されたアフィンマージ候補リストまたはＡＭＶＰ候補リストからＣＰＭＶＰまたはＡＭＶＰ候補を選択し、再構築フレームのブロックの動きベクトルとしてＣＰＭＶＰまたはＡＭＶＰ候補の動きベクトルを導出するように構成されてもよい。
再構築フレーム生成モジュール１０２２は、１つ以上の参照ピクチャおよび選択された動き候補に基づいて、現在のフレームから再構築フレームを生成するように構成されてもよい。
アップサンプラまたはダウンサンプラ入力モジュール１０２４は、再構築フレームをアップサンプラまたはダウンサンプラモジュール１０１０に入力するように構成されてもよい。
比率決定モジュール１０２６は、現在のフレームの解像度と１つ以上の参照ピクチャの解像度との比率を決定するように構成されてもよい。
スケーリングモジュール１０３０は、比率に従って１つ以上の参照ピクチャの動きベクトルをスケーリングするように構成されてもよい。
インター予測因子サイズ変更モジュール１０３２は、比率に従って、１つ以上の参照ピクチャのインター予測因子をサイズ変更するように構成されてもよい。
フィルタ係数検出および差分送信モジュール１０３４は、現在のフレームのシーケンスヘッダまたはピクチャヘッダ内で信号化されたアップサンプルまたはダウンサンプルフィルタ係数を検出し、信号されたフィルタ係数と現在のフレームのフィルタ係数との間の差分をビデオデコーダに送信するように構成されてもよい。
アップサンプリングまたはダウンサンプリング再構築フレーム生成モジュール１０３６は、再構築フレームに基づいて、アップサンプリングまたはダウンサンプリング再構築フレームを生成するように構成されてもよい。
バッファ入力モジュール１０３８は、図８を参照して上述したように、アップサンプリングまたはダウンサンプリング再構築フレームを参照フレームバッファおよび表示バッファのうちの少なくとも１つに入力するように構成されてもよい。
システム１０００は、追加的に、処理されるビットストリームデータを受信するための、ならびに再構築フレームを参照フレームバッファおよび／または表示バッファに出力するための入力／出力（Ｉ／Ｏ）インターフェース１０４０を含み得る。システム１０００はまた、システム１０００がネットワーク（図示せず）を介して他のデバイス（図示せず）と通信することを可能にする通信モジュール１０５０も含み得る。ネットワークは、インターネット、有線ネットワークまたは直接有線接続などの有線媒体、ならびに音響、無線周波数（ＲＦ）、赤外線、および他の無線媒体などの無線媒体を含み得る。
図１１は、動き予測符号化形式での解像度適応型ビデオ符号化を実装するための上述されたプロセスおよび方法を実装するための例示的なシステム１１００を示す。
本明細書に記載された技術および機構は、システム１１００の複数のインスタンス、ならびに任意の他のコンピューティングデバイス、システム、および／または環境によって実装されてもよい。図１１に示されるシステム１１００は、システムの一例に過ぎず、上述されたプロセスおよび／または手順を実施するために利用される任意のコンピューティングデバイスの使用範囲または機能性に関するいかなる制限も示唆することを意図していない。実施形態との使用に好適であり得る他の周知のコンピューティングデバイス、システム、環境、および／または構成としては、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドデバイスもしくはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースシステム、セットトップボックス、ゲームコンソール、プログラム可能な家電製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムもしくはデバイスのいずれかを含む分散コンピューティング環境、ならびに／またはフィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）およびアプリケーション固有の集積回路（「ＡＳＩＣ」）を使用する実装などが挙げられるが、これらに限定されない。
システム１１００は、１つ以上のプロセッサ１１０２およびプロセッサ（複数可）１１０２に通信可能に結合されたシステムメモリ１１０４を含み得る。プロセッサ（複数可）１１０２は、１つ以上のモジュールおよび／またはプロセスを実行して、プロセッサ（複数可）１１０２に様々な機能を実施されてもよい。いくつかの実施形態では、プロセッサ（複数可）１１０２は、中央処理単位（ＣＰＵ）、グラフィックス処理単位（ＧＰＵ）、ＣＰＵとＧＰＵとの両方、または当該技術分野で既知の他の処理単位もしくは構成要素を含み得る。追加的に、プロセッサ（複数可）１１０２の各々は、プログラムモジュール、プログラムデータ、および／または１つ以上のオペレーティングシステムを記憶することもできる独自のローカルメモリを有してもよい。
システム１１００の正確な構成およびタイプに応じて、システムメモリ１１０４は、ＲＡＭなどの揮発性、ＲＯＭなどの不揮発性、フラッシュメモリ、ミニチュアハードドライブ、およびメモリカードなど、またはこれらのいくつかの組み合わせであってもよい。システムメモリ１１０４は、プロセッサ（複数可）１１０２によって実行可能な１つ以上のコンピュータ実行可能モジュール１１０６を含み得る。
モジュール１１０６は、デコーダモジュール１１０８と、アップサンプラまたはダウンサンプラモジュール１１１０と、を含み得るが、これらに限定されない。デコーダモジュール１１０８は、フレーム取得モジュール１１１２と、参照ピクチャ取得モジュール１１１４と、双予測モジュール１１１６と、ベクトル精緻化モジュール１１１８と、アップサンプリングまたはダウンサンプリング再構築フレーム生成モジュール１１２０と、アップサンプラまたはダウンサンプラ入力モジュール１１２２と、を含み得る。アップサンプラまたはダウンサンプラモジュール１１１０は、比率決定モジュール１１２４と、ピクセルパターンサイズ変更モジュール１１２８と、アップサンプリングまたはダウンサンプリング再構築フレーム生成モジュール１１３０と、バッファ入力モジュール１１３２と、を含み得る。
フレーム取得モジュール１１１２は、図９を参照して上述したように、ＢＩＯ符号化形式でエンコードされたビットストリームの現在のフレームを取得するように構成されてもよい。
参照ピクチャ取得モジュール１１１４は、図９を参照して上述したように、参照フレームバッファから１つ以上の参照ピクチャを取得し、１つ以上の参照ピクチャの解像度を、現在のフレームの解像度と比較するように構成されてもよい。
双予測モジュール１１１６は、図９を参照して上述したように、参照フレームバッファの第１の参照フレームおよび第２の参照フレームに基づいて、現在のフレームに対して双予測を実施するように構成されてもよい。
ベクトル精緻化モジュール１１１８は、図６を参照して上述したように、参照フレームバッファの第１の参照フレームおよび第２の参照フレームに基づいて、双予測プロセス中にベクトル精緻化を実施するように構成されてもよい。
再構築フレーム生成モジュール１１２０は、第１の参照フレームおよび第２の参照フレームに基づいて、現在のフレームから再構築フレームを生成するように構成されてもよい。
アップサンプラまたはダウンサンプラ入力モジュール１１２２は、再構築フレームをアップサンプラまたはダウンサンプラモジュール１１１０に入力するように構成されてもよい。
比率決定モジュール１１２４は、現在のフレームの解像度と１つ以上の参照ピクチャの解像度との比率を決定するように構成されてもよい。
ピクセルパターンサイズ変更モジュール１１２８は、比率に従って、１つ以上の参照ピクチャのピクセルパターンをサイズ変更するように構成されてもよい。
アップサンプリングまたはダウンサンプリング再構築フレーム生成モジュール１１３０は、再構築フレームに基づいて、アップサンプリングまたはダウンサンプリング再構築フレームを生成するように構成されてもよい。
バッファ入力モジュール１１３２は、図９を参照して上述したように、アップサンプリングまたはダウンサンプリング再構築フレームを参照フレームバッファおよび表示バッファのうちの少なくとも１つに入力するように構成されてもよい。
システム１１００は、追加的に、処理されるビットストリームデータを受信するための、ならびに再構築フレームを参照フレームバッファおよび／または表示バッファに出力するための入力／出力（Ｉ／Ｏ）インターフェース１１４０を含み得る。システム１１００はまた、システム１１００がネットワーク（図示せず）を介して他のデバイス（図示せず）と通信することを可能にする通信モジュール１１５０も含み得る。ネットワークは、インターネット、有線ネットワークまたは直接有線接続などの有線媒体、ならびに音響、無線周波数（ＲＦ）、赤外線、および他の無線媒体などの無線媒体を含み得る。
上述の方法のいくつかの動作またはすべての動作は、以下に定義するように、コンピュータ可読記憶媒体に記憶されたコンピュータ可読命令の実行によって実行され得る。明細書および請求項で使用される「コンピュータ可読命令」という用語は、ルーチン、アプリケーション、アプリケーションモジュール、プログラムモジュール、プログラム、構成要素、データ構造、アルゴリズムなどを含む。コンピュータ可読命令は、シングルプロセッサシステムまたはマルチプロセッサシステム、ミニコンピュータ、メインフレームコンピュータ、パーソナルコンピュータ、ハンドヘルドコンピューティングデバイス、マイクロプロセッサベースのプログラム可能な家電製品、それらの組み合わせなど、さまざまなシステム構成で実装され得る。
コンピュータ可読記憶媒体は、揮発性メモリ（ランダムアクセスメモリ（ＲＡＭ）など）および／または不揮発性メモリ（読み出し専用メモリ（ＲＯＭ）、フラッシュメモリなど）を含み得る。コンピュータ可読記憶媒体はまた、コンピュータ可読命令、データ構造、プログラムモジュールなどの不揮発性記憶装置を提供し得る、フラッシュメモリ、磁気記憶装置、光学記憶装置および／またはテープ記憶装置を含むが、これらに限定されない、追加の取り外し可能な記憶装置および／または非取り外し可能記憶装置を含み得る。
非一時的コンピュータ可読記憶媒体は、コンピュータ可読媒体の一例である。コンピュータ可読媒体は、少なくとも２つのタイプのコンピュータ可読媒体、すなわちコンピュータ可読記憶媒体およびコンピュータ可読通信媒体を含む。コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報の記憶のための任意のプロセスまたは技術で実装される、揮発性および不揮発性、取り外し可能媒体および非取り外し可能媒体を含む。コンピュータ可読記憶媒体は、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的に消去可能なプログラム可能な読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリまたはその他のメモリ技術、コンパクトディスクの読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）または他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいはコンピューティングデバイスによるアクセスのための情報を記憶するために使用され得る他の任意の非伝送媒体を含むが、これらに限定されない。対照的に、通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを、搬送波などの変調されたデータ信号または他の伝達機構で具体化し得る。本明細書で定義されるように、コンピュータ可読記憶媒体は、通信媒体を含まない。
１つ以上のプロセッサによって実行されたときに、図１～図１１を参照して上述した動作を実施し得る、１つ以上の非一時的コンピュータ可読記憶媒体に記憶されたコンピュータ可読命令。一般に、コンピュータ可読命令は、特定の機能を実行するか、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。動作が説明される順序は、制限として解釈されることを意図するものではなく、説明される動作の任意の数は、プロセスを実装するために任意の順序で、および／または並列に組み合わせられ得る。
上述した技術的解決策によって、本開示は、動き予測符号化形式によってサポートされるインター符号化解像度適応型ビデオ符号化を提供し、動きベクトルが以前のフレームを参照することを可能にしながら、フレーム間の解像度の変化を符号化することを可能にすることによって、複数の動き予測符号化形式においてビデオ符号化プロセスを改善する。したがって、インター符号化の帯域幅の節約が維持され、動き予測符号化の帯域幅の節約が実現され、これにより参照フレームが後続のフレームの動きベクトルを予測するために使用されることが可能になり、帯域幅の可用性に応じた適応的なダウンサンプリングおよびアップサンプリングの帯域幅の節約も、すべて同時に達成され、ビデオ符号化およびコンテンツ配信中のネットワークコストの大幅な改善を達成し、一方で、これらの節約を相殺するかまたは損なうであろう追加のデータ伝送を低減する。
Ａ．方法であって、ビットストリームの現在のフレームを取得することと、参照フレームバッファから現在のフレームの解像度とは異なる解像度を有する１つ以上の参照ピクチャを取得することと、１つ以上の参照ピクチャのインター予測因子をサイズ変更することと、１つ以上の参照ピクチャと現在のフレームの１つ以上のブロックの動き情報とに基づいて、現在のフレームから再構築フレームを生成することであって、動き情報が少なくとも１つのインター予測因子を含む、生成することと、を含む、方法。
Ｂ．１つ以上の参照ピクチャの解像度を現在のフレームの解像度と比較することと、１つ以上の参照ピクチャの１つ以上の解像度が現在のフレームの解像度とは異なることを決定すると、参照フレームバッファから現在のフレームの解像度と同じ解像度を有するフレームを選択することと、現在のフレームの解像度と１つ以上の参照ピクチャの解像度との比率を決定することと、現在のフレームの解像度に一致するように、比率に従って、１つ以上の参照ピクチャをサイズ変更することと、比率に従って１つ以上の参照ピクチャのインター予測因子をアップサンプリングまたはダウンサンプリングすることと、比率に従って、１つ以上の参照ピクチャの動きベクトルをスケーリングすることと、をさらに含む、段落Ａに記載の方法。
Ｃ．現在のフレームのアフィンマージ候補リストまたはＡＭＶＰ候補リストを導出することと、アフィンマージ候補リストまたはＡＭＶＰ候補リストからＣＰＭＶＰ候補またはＡＭＶＰ候補をそれぞれ選択することと、動き候補の動きベクトルを再構築フレームのブロックの動きベクトルとして導出することと、をさらに含む、段落Ａに記載の方法。
Ｄ．継承アフィンマージ候補および構築アフィンマージ候補のうちの少なくとも１つを導出することと、継承アフィンマージ候補および構築アフィンマージ候補のうちの少なくとも１つを、アフィンマージ候補リストまたはＡＭＶＰ候補リストに追加することと、をさらに含む、段落Ｃに記載の方法。
Ｅ．１つ以上の参照ピクチャと少なくとも１つのインター予測因子とに基づいて、現在のフレームから再構築フレームを生成することと、再構築フレームを、ループ内アップサンプラまたはダウンサンプラ、およびループ後アップサンプラまたはダウンサンプラのうちの少なくとも１つに入力することと、再構築フレームに基づいて、アップサンプリングまたはダウンサンプリング再構築フレームを生成することと、アップサンプリングまたはダウンサンプリング再構築フレームを、参照フレームバッファおよび表示バッファのうちの少なくとも１つに入力することと、をさらに含む、段落Ａに記載の方法。
Ｆ．方法であって、ビットストリームの現在のフレームを取得することと、参照フレームバッファから１つ以上の参照ピクチャを取得することと、１つ以上の参照ピクチャの解像度を現在のフレームの解像度と比較することと、１つ以上の参照ピクチャの１つ以上の解像度が現在のフレームの解像度とは異なることを決定すると、現在のフレームの解像度に従って１つ以上の参照ピクチャのピクセルパターンをサイズ変更することと、を含む、方法。
Ｇ．参照フレームバッファの第１の参照フレームおよび第２の参照フレームに基づいて、現在のフレームに対して双予測を実施することをさらに含む、段落Ｆに記載の方法。
Ｈ．現在のフレームに対して双予測を実施することが、参照フレームバッファの第１の参照フレームおよび第２の参照フレームに基づいて、現在のフレームに対してベクトル精緻化を実施することをさらに含む、段落Ｇに記載の方法。
Ｉ．第１の参照フレームと第２の参照フレームとに基づいて、現在のフレームから再構築フレームを生成することと、再構築フレームを、ループ内アップサンプラまたはダウンサンプラ、およびループ後アップサンプラまたはダウンサンプラのうちの少なくとも１つに入力することと、再構築フレームに基づいて、アップサンプリングまたはダウンサンプリング再構築フレームを生成することと、アップサンプリングまたはダウンサンプリング再構築フレームを、参照フレームバッファおよび表示バッファのうちの少なくとも１つに入力することと、をさらに含む、段落Ｈに記載の方法。
Ｊ．方法であって、ビットストリームの現在のフレームを取得することであって、ビットストリームは、複数の解像度を有するフレームを含む、取得することと、参照フレームバッファから１つ以上の参照ピクチャを取得することと、１つ以上の参照ピクチャと現在のフレームの１つ以上のブロックの動き情報とに基づいて、現在のフレームから再構築フレームを生成することであって、動き情報が、少なくとも１つのインター予測因子を含む、生成することと、複数の解像度の各解像度について、現在の再構築フレームをアップサンプリングまたはダウンサンプリングして、それぞれの解像度に一致するアップサンプリングまたはダウンサンプリング再構築フレームを生成することと、を含む、方法。
Ｋ．１つ以上の参照ピクチャのうちの少なくとも１つについて信号化されたアップサンプルまたはダウンサンプルフィルタ係数を検出することをさらに含む、段落Ｊに記載の方法。
Ｌ．インター予測因子のフィルタ係数と現在のフレームのフィルタ係数との間の差分を、現在のフレームのフィルタの符号化に適用することをさらに含む、段落Ｋに記載の方法。
Ｍ．再構築フレーム、および各アップサンプリングまたはダウンサンプリング再構築フレームを、参照フレームバッファに入力することをさらに含む、段落Ｊに記載の方法。
Ｎ．システムであって、１つ以上のプロセッサと、１つ以上のプロセッサに通信可能に結合されたメモリと、を備え、メモリが、１つ以上のプロセッサによって実行可能なコンピュータ実行可能モジュールを記憶しており、コンピュータ実行可能モジュールが、１つ以上のプロセッサによって実行されたときに関連する動作を実施し、コンピュータ実行可能モジュールが、ビットストリームの現在のフレームを取得するように構成されたフレーム取得モジュールと、参照フレームバッファから１つ以上の参照ピクチャを取得し、１つ以上の参照ピクチャの解像度を現在のフレームの解像度と比較するように構成された参照ピクチャ取得モジュールと、を備える、システム。
Ｏ．参照ピクチャ取得モジュールが１つ以上の参照ピクチャの１つ以上の解像度が現在のフレームの解像度とは異なることを決定すると、参照フレームバッファから現在のフレームの解像度と同じ解像度を有するフレームを選択するように構成されたフレーム選択モジュールをさらに備える、段落Ｎに記載のシステム。
Ｐ．現在のフレームのブロックに対するアフィンマージ候補リストまたはＡＭＶＰ候補リストを導出するように構成された候補リスト導出モジュールをさらに備える、段落Ｏに記載のシステム。
Ｑ．導出されたアフィンマージ候補リストまたはＡＭＶＰ候補リストからＣＰＭＶＰまたはＡＭＶＰ候補をそれぞれ選択するように構成された動き予測モジュールをさらに備える、段落Ｐに記載のシステム。
Ｒ．動き予測モジュールが、ＣＰＭＶＰまたはＡＭＶＰ候補の動きベクトルを再構築フレームのブロックの動きベクトルとして導出するようにさらに構成されている、段落Ｑに記載のシステム。
Ｓ．１つ以上の参照ピクチャと選択された動き候補とに基づいて、現在のフレームから再構築フレームを生成するように構成された再構築フレーム生成モジュールと、再構築フレームをアップサンプラまたはダウンサンプラモジュールに入力するように構成されたアップサンプラまたはダウンサンプラ入力モジュールと、現在のフレームの解像度と１つ以上の参照ピクチャの解像度との比率を決定するように構成された比率決定モジュールと、比率に従って１つ以上の参照ピクチャのインター予測因子をサイズ変更するように構成されたインター予測因子サイズ変更モジュールと、現在のフレームのシーケンスヘッダまたはピクチャヘッダ内で信号化されたアップサンプルまたはダウンサンプルフィルタ係数を検出し、信号化されたフィルタ係数と現在のフレームのフィルタ係数との間の差分をビデオデコーダに送信するように構成されたフィルタ係数検出および差分送信モジュールと、比率に従って１つ以上の参照ピクチャの動きベクトルをスケーリングするように構成されたスケーリングモジュールと、再構築フレームに基づいてアップサンプリングまたはダウンサンプリング再構築フレームを生成するように構成されたアップサンプリングまたはダウンサンプリング再構築フレーム生成モジュールと、アップサンプリングまたはダウンサンプリング再構築フレームを参照フレームバッファおよび表示バッファのうちの少なくとも１つに入力するように構成されたバッファ入力モジュールと、をさらに備える、段落Ｎに記載のシステム。
Ｔ．システムであって、１つ以上のプロセッサと、１つ以上のプロセッサに通信可能に結合されたメモリと、を備え、メモリが、１つ以上のプロセッサによって実行可能なコンピュータ実行可能モジュールを記憶しており、コンピュータ実行可能モジュールが、１つ以上のプロセッサによって実行されたときに関連する動作を実施し、コンピュータ実行可能モジュールが、ビットストリームの現在のフレームを取得するように構成されたフレーム取得モジュールと、参照フレームバッファから１つ以上の参照ピクチャを取得し、１つ以上の参照ピクチャの解像度を現在のフレームの解像度と比較するように構成された参照ピクチャ取得モジュールと、を備える、システム。
Ｕ．参照フレームバッファの第１の参照フレームと第２の参照フレームとに基づいて、現在のフレームに対して双予測を実施するように構成された双予測モジュールをさらに備える、段落Ｔに記載のシステム。
Ｖ．参照フレームバッファの第１の参照フレームおよび第２の参照フレームに基づいて、双予測プロセス中にベクトル精緻化を実施するように構成されたベクトル精緻化モジュールをさらに備える、段落Ｕに記載のシステム。
Ｗ．第１の参照フレームと第２の参照フレームとに基づいて、現在のフレームから再構築フレームを生成するように構成された再構築フレーム生成モジュールと、再構築フレームをアップサンプラまたはダウンサンプラモジュールに入力するように構成されたアップサンプラまたはダウンサンプラ入力モジュールと、再構築フレームに基づいて、アップサンプリングまたはダウンサンプリング再構築フレームを生成するように構成されたアップサンプリングまたはダウンサンプリング再構築フレーム生成モジュールと、アップサンプリングまたはダウンサンプリング再構築フレームを参照フレームバッファおよび表示バッファのうちの少なくとも１つに入力するように構成されたバッファ入力モジュールと、をさらに備える、段落Ｖに記載のシステム。
主題について、構造的特徴および／または方法論的動作に特有の言語で説明したが、添付の特許請求の範囲に定義された主題は、必ずしも説明された特定の特徴または動作に限定されないことが理解されるべきである。むしろ、特定の特徴および動作は、特許請求の範囲を実施する例示的な形態として開示されている。
３０２ 現在のＣＵ
４０２ 現在のＣＵ
４０４ ＣＵ
５０２ 現在のＣＵ
６０２ 初期の第１のブロック
６０４ 第１の参照ピクチャ
６０６ 初期の第２のブロック
６０８ 第２の参照ピクチャ
６１０ テンプレート
６１２ 現在のブロック
６１４ 後続の第１のブロック
６１６ 後続の第２のブロック
７００ ビデオ符号化プロセス
７１０ ビットストリーム
７１２ 現在のフレーム
７１４ 以前のフレーム
７１６ 次のフレーム
７１８ 再構築フレーム
７２０ 符号化ループ
７２２ ビデオデコーダ
７２４ ループ内アップサンプラまたはダウンサンプラ
７２６ ループ後アップサンプラまたはダウンサンプラ
７９０ 参照フレームバッファ
７９２ 表示バッファ
７９４ 以前の再構築フレーム
７９６ アップサンプリングまたはダウンサンプリング再構築フレーム
７９８ アップサンプリングまたはダウンサンプリング再構築フレーム
１０００ システム
１００２ プロセッサ（複数可）
１００４ システムメモリ
１００６ モジュール
１００８ デコーダモジュール
１０１０ アップサンプラまたはダウンサンプラモジュール
１０１２ フレーム取得モジュール
１０１４ 参照ピクチャ取得モジュール
１０１６ フレーム選択モジュール
１０１８ 候補リスト導出モジュール
１０２０ 動き予測モジュール
１０２２ 再構築フレーム生成モジュール
１０２４ アップサンプラまたはダウンサンプラ入力モジュール
１０２６ 比率決定モジュール
１０３０ スケーリングモジュール
１０３２ インター予測因子サイズ変更モジュール
１０３４ フィルタ係数検出および差分送信モジュール
１０３６ アップサンプリングまたはダウンサンプリング再構築フレーム生成モジュール
１０３８ バッファ入力モジュール
１０４０ 入力／出力（Ｉ／Ｏ）インターフェース
１０５０ 通信モジュール
１１００ システム
１１０２ プロセッサ（複数可）
１１０４ システムメモリ
１１０６ モジュール
１１０８ デコーダモジュール
１１１０ アップサンプラまたはダウンサンプラモジュール
１１１２ フレーム取得モジュール
１１１４ 参照ピクチャ取得モジュール
１１１６ 双予測モジュール
１１１８ ベクトル精緻化モジュール
１１２０ アップサンプリングまたはダウンサンプリング再構築フレーム生成モジュール
１１２２ アップサンプラまたはダウンサンプラ入力モジュール
１１２４ 比率決定モジュール
１１２８ ピクセルパターンサイズ変更モジュール
１１３０ アップサンプリングまたはダウンサンプリング再構築フレーム生成モジュール
１１３２ バッファ入力モジュール
１１４０ 入力／出力（Ｉ／Ｏ）インターフェース
１１５０ 通信モジュール

Claims (20)

  1. ビットストリームの現在のフレームを取得することと、
    参照フレームバッファから１つ以上の参照ピクチャを取得することであって、前記１つ以上の参照ピクチャが、前記現在のフレームの解像度とは異なる解像度を有するものである、ことと、
    １つ以上のインター予測因子をサイズ変更し、および／または前記１つ以上の参照ピクチャから取得された１つ以上の動きベクトルをスケーリングすることと、
    前記現在のフレームの１つ以上のブロックの動き情報に基づいて、前記現在のフレームから再構築フレームを生成することであって、前記動き情報が、少なくとも１つのインター予測因子および／または少なくとも１つの動きベクトルを含む、ことと、を含む方法。
  2. 前記１つ以上のインター予測因子をサイズ変更することが、前記現在のフレームの前記解像度に一致するように、前記現在のフレームの前記解像度と前記１つ以上の参照ピクチャの前記解像度との比率に従って実施され、
    前記再構築フレームを前記参照フレームバッファに参照ピクチャとして入力することをさらに含む、請求項１に記載の方法。
  3. 前記１つ以上の動きベクトルをスケーリングすることが、前記現在のフレームの前記解像度に一致するように、前記現在のフレームの前記解像度と前記１つ以上の参照ピクチャの前記解像度との比率に従って実施され、
    前記再構築フレームを前記参照フレームバッファに参照ピクチャとして入力することをさらに含む、請求項１に記載の方法。
  4. 前記現在のフレームのブロックのアフィンマージ候補リストまたはＡＭＶＰ候補リストを導出することをさらに含み、前記アフィンマージ候補リストまたは前記ＡＭＶＰ候補リストが、複数のＣＰＭＶＰ候補またはＡＭＶＰ候補をそれぞれ含む、請求項１に記載の方法。
  5. 前記アフィンマージ候補リストまたは前記ＡＭＶＰ候補リストを導出することが、最大で２つの継承アフィンマージ候補を導出することを含む、請求項４に記載の方法。
  6. 前記動き候補リストを導出することが、構築アフィンマージ候補を導出することを含む、請求項４に記載の方法。
  7. 前記導出されたアフィンマージ候補リストまたはＡＭＶＰ候補リストから、ＣＰＭＶＰ候補またはＡＭＶＰ候補をそれぞれ選択することと、
    前記ＣＰＭＶＰ候補または前記ＡＭＶＰ候補の動き情報を、前記現在のフレームの前記ブロックの動き情報として導出することと、をさらに含む、請求項４に記載の方法。
  8. 前記動き候補が参照ピクチャへの参照を含み、前記動き候補の動き情報を導出することが、
    参照ピクチャの動き情報への前記参照に基づいて、複数のＣＰＭＶを生成することをさらに含む、請求項８に記載の方法。
  9. １つ以上のプロセッサによって実行可能なコンピュータ可読命令を記憶するコンピュータ可読記憶媒体であって、前記コンピュータ可読命令が前記１つ以上のプロセッサによって実行されたときに、前記１つ以上のプロセッサに
    ビットストリームの現在のフレームを取得することと、
    参照フレームバッファから１つ以上の参照ピクチャを取得することと、
    前記１つ以上の参照ピクチャのうちの少なくとも１つについて信号化されたアップサンプルまたはダウンサンプルフィルタ係数を検出することと、
    前記１つ以上の参照ピクチャと前記現在のフレームの１つ以上のブロックの動き情報とに基づいて、前記現在のフレームから再構築フレームを生成することであって、前記動き情報が、別のフレームの動き情報への少なくとも１つの参照を含むものである、ことと、
    解像度に従って、前記現在の再構築フレームをアップサンプリングまたはダウンサンプリングして、前記解像度に一致するアップサンプリングまたはダウンサンプリング再構築フレームを生成することと、を含む動作を実施させる、コンピュータ可読記憶媒体。
  10. 前記動作が、前記インター予測因子のフィルタ係数と前記現在のフレームのフィルタ係数との間の差分を受信することをさらに含む、請求項９に記載のコンピュータ可読記憶媒体。
  11. 前記動作が、前記インター予測因子の前記フィルタ係数と前記現在のフレームの前記フィルタ係数との間の前記差分を、前記現在のフレームのフィルタの符号化に適用することをさらに含む、請求項１０に記載のコンピュータ可読記憶媒体。
  12. 前記動作が、前記再構築フレームおよび前記アップサンプリングまたはダウンサンプリングされた再構築フレームを、参照ピクチャとして前記参照フレームバッファに入力することをさらに含む、請求項９に記載のコンピュータ可読記憶媒体。
  13. １つ以上のプロセッサと、
    前記１つ以上のプロセッサに通信可能に結合されたメモリと、を備え、前記メモリが、前記１つ以上のプロセッサによって実行可能なコンピュータ実行可能モジュールを記憶しており、前記コンピュータ実行可能モジュールが、前記１つ以上のプロセッサによって実行されたときに関連づけられた動作を実施し、前記コンピュータ実行可能モジュールが、
    ビットストリームの現在のフレームを取得するように構成されたフレーム取得モジュールと、
    参照フレームバッファから１つ以上の参照ピクチャを取得するように構成された参照フレーム取得モジュールであって、前記１つ以上の参照ピクチャが、前記現在のフレームの解像度とは異なる解像度を有するものである、参照フレーム取得モジュールと、
    前記１つ以上の参照ピクチャの１つ以上のインター予測因子をサイズ変更するように構成されたインター予測因子サイズ変更モジュールと、
    前記１つ以上の参照ピクチャの１つ以上の動きベクトルをスケーリングするように構成されたスケーリングモジュールと、
    前記現在のフレームの１つ以上のブロックの動き情報に基づいて、前記現在のフレームから再構築フレームを生成するように構成された再構築フレーム生成モジュールであって、前記動き情報が、少なくとも１つのインター予測因子および／または少なくとも１つの動きベクトルを含む、再構築フレーム生成モジュールと、を備える、システム。
  14. 前記インター予測因子サイズ変更モジュールが、前記現在のフレームの前記解像度に基づいて、前記現在のフレームの前記解像度に一致するように、前記現在のフレームの前記解像度と前記１つ以上の参照ピクチャの前記解像度との比率に従って、前記１つ以上のインター予測因子をサイズ変更するようにさらに構成されており、
    前記再構築フレームを前記参照フレームバッファに参照ピクチャとして入力するように構成されたバッファ入力モジュールをさらに備える、請求項１３に記載のシステム。
  15. 前記スケーリングモジュールが、前記現在のフレームの前記解像度に基づいて、前記現在のフレームの前記解像度に一致するように、前記現在のフレームの前記解像度と前記１つ以上の参照ピクチャの前記解像度との比率に従って、前記１つ以上の動きベクトルをスケーリングするようにさらに構成されており、
    前記再構築フレームを前記参照フレームバッファに参照ピクチャとして入力するように構成されたバッファ入力モジュールをさらに備える、請求項１３に記載のシステム。
  16. 前記現在のフレームのブロック用のアフィンマージ候補リストまたはＡＭＶＰ候補リストを導出するように構成された候補リスト導出モジュールをさらに備え、前記アフィンマージ候補リストまたは前記ＡＭＶＰ候補リストが、複数のＣＰＭＶＰ候補またはＡＭＶＰ候補をそれぞれ含む、請求項１３に記載のシステム。
  17. 前記アフィンマージ候補リストまたは前記ＡＭＶＰ候補リストを導出することが、最大で２つの継承アフィンマージ候補を導出することを含む、請求項１６に記載のシステム。
  18. 前記動き候補リストを導出することが、構築アフィンマージ候補を導出することを含む、請求項１６に記載のシステム。
  19. 前記導出されたアフィンマージ候補リストまたはＡＭＶＰ候補リストから、ＣＰＭＶＰ候補またはＡＭＶＰ候補をそれぞれ選択し、前記ＣＰＭＶＰ候補または前記ＡＭＶＰ候補の動き情報を、前記現在のフレームの前記ブロックの動き情報として導出するように構成された動き予測モジュールをさらに備える、請求項１６に記載のシステム。
  20. 前記動き候補が、参照ピクチャの動き情報への参照を含み、前記動き予測モジュールが、
    参照ピクチャの動き情報への前記参照に基づいて、複数のＣＰＭＶを生成するようにさらに構成されている、請求項１９に記載のシステム。
JP2020561757A 2019-03-11 2019-03-11 適応解像度ビデオ符号化のためのインター符号化 Pending JP2022530172A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/077665 WO2020181456A1 (en) 2019-03-11 2019-03-11 Inter coding for adaptive resolution video coding

Publications (1)

Publication Number Publication Date
JP2022530172A true JP2022530172A (ja) 2022-06-28

Family

ID=72426146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020561757A Pending JP2022530172A (ja) 2019-03-11 2019-03-11 適応解像度ビデオ符号化のためのインター符号化

Country Status (5)

Country Link
US (1) US20210084291A1 (ja)
EP (1) EP3777143A4 (ja)
JP (1) JP2022530172A (ja)
CN (1) CN113597764B (ja)
WO (1) WO2020181456A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144908A1 (en) * 2018-01-26 2019-08-01 Mediatek Inc. Method and apparatus of affine inter prediction for video coding system
US12022059B2 (en) * 2018-12-07 2024-06-25 Beijing Dajia Internet Information Technology Co., Ltd. Video coding using multi-resolution reference picture management
JP7273193B2 (ja) * 2019-05-12 2023-05-12 北京字節跳動網絡技術有限公司 参照ピクチャ再サンプリングのための信号通知
CN114342406A (zh) * 2019-06-28 2022-04-12 Sk电信有限公司 用于推导双向预测权重索引的方法及图像解码设备
WO2023059034A1 (ko) * 2021-10-04 2023-04-13 엘지전자 주식회사 적응적으로 해상도를 변경하는 영상 부호화/복호화 방법, 장치, 및 비트스트림을 전송하는 방법
CN114531596A (zh) * 2022-01-25 2022-05-24 京东方科技集团股份有限公司 图像处理方法和装置
CN116527921B (zh) * 2023-06-29 2024-04-12 浙江大华技术股份有限公司 仿射候选构建方法、仿射预测的方法和相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015512216A (ja) * 2012-02-29 2015-04-23 エルジー エレクトロニクス インコーポレイティド インタレイヤ予測方法及びそれを利用する装置
JP2018533286A (ja) * 2015-09-23 2018-11-08 エルジー エレクトロニクス インコーポレイティド 画像の符号化／復号化方法及びこれのために装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100586882B1 (ko) * 2004-04-13 2006-06-08 삼성전자주식회사 모션 스케일러빌리티를 지원하는 코딩 방법 및 장치
CN102075743B (zh) * 2009-11-24 2014-03-12 华为技术有限公司 视频编码方法及装置、视频解码方法及装置
US8340188B2 (en) * 2010-01-08 2012-12-25 Research In Motion Limited Method and device for motion vector estimation in video transcoding using union of search areas
EP2557789B1 (en) * 2011-08-09 2017-09-27 Dolby Laboratories Licensing Corporation Guided image up-sampling in video coding
WO2015053001A1 (ja) * 2013-10-11 2015-04-16 ソニー株式会社 画像処理装置及び画像処理方法
CN106162174B (zh) * 2016-08-31 2019-10-29 北京奇艺世纪科技有限公司 一种视频多分辨率编码方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015512216A (ja) * 2012-02-29 2015-04-23 エルジー エレクトロニクス インコーポレイティド インタレイヤ予測方法及びそれを利用する装置
JP2018533286A (ja) * 2015-09-23 2018-11-08 エルジー エレクトロニクス インコーポレイティド 画像の符号化／復号化方法及びこれのために装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN, JIANLE ET AL.: "Algorithm description for Versatile Video Coding and Test Model 3 (VTM 3)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACA, vol. JVET-L1002 (version 2), JPN6023010823, 24 December 2018 (2018-12-24), ISSN: 0005015618 *
LI, MING AND WU, PING: "AHG18: Comments on the Implementations of Resolution Adaption on HEVC", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 7TH M, vol. JCTVC-G329 (version 1), JPN6023010825, 8 November 2011 (2011-11-08), ISSN: 0005015617 *

Also Published As

Publication number Publication date
US20210084291A1 (en) 2021-03-18
EP3777143A4 (en) 2022-02-16
CN113597764A (zh) 2021-11-02
CN113597764B (zh) 2022-11-01
WO2020181456A1 (en) 2020-09-17
EP3777143A1 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
JP2022530172A (ja) 適応解像度ビデオ符号化のためのインター符号化
TWI617185B (zh) 具有仿射運動補償的視訊編碼的方法以及裝置
CN113612994B (zh) 具有仿射运动补偿的视频编解码的方法
US20210235111A1 (en) Motion Estimation Using Collocated Blocks
KR102642784B1 (ko) 모션 벡터 리파인먼트를 위한 제한된 메모리 액세스 윈도우
CN111201795B (zh) 存储访问窗口和用于运动矢量修正的填充
JP2022514802A (ja) 解像度適応型ビデオ符号化
JP6574976B2 (ja) 動画像符号化装置および動画像符号化方法
CN111201792B (zh) 指向分数像素点位置的运动矢量的修正运动矢量
CN113170192A (zh) 仿射的merge与mvd
CN111567047B (zh) 进行子预测块运动矢量推导的存储器访问窗口
JP2022533295A (ja) 動画処理方法、装置、及びコンピュータプログラム
JP2024038060A (ja) デコーダ側動きベクトル洗練のための誤差面ベースのサブピクセル精度の洗練方法
KR102126511B1 (ko) 보충 정보를 이용한 영상 프레임의 보간 방법 및 장치
NZ590990A (en) Content adaptive and art directable scalable video coding
JP6280679B2 (ja) フレーム間引き装置、フレーム補間装置、映像符号化装置、映像復号装置、及びこれらのプログラム
JP3513277B2 (ja) 映像符号化装置及び映像復号化装置
US20230239461A1 (en) Inter coding for adaptive resolution video coding
JP6499334B2 (ja) 双方向動きベクトル予測装置、映像符号化装置、映像復号装置、及びこれらのプログラム
US20230388484A1 (en) Method and apparatus for asymmetric blending of predictions of partitioned pictures
JP2004364333A (ja) 画像符号化装置
CN114026867B (zh) 分辨率自适应视频编解码
WO2021046692A1 (en) Resolution-adaptive video coding with conditional interpolation filters
CN111247804A (zh) 图像处理的方法与装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231219

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240318