JP7313533B2 - オプティカルフローによる予測洗練化における方法および装置 - Google Patents
オプティカルフローによる予測洗練化における方法および装置 Download PDFInfo
- Publication number
- JP7313533B2 JP7313533B2 JP2022501055A JP2022501055A JP7313533B2 JP 7313533 B2 JP7313533 B2 JP 7313533B2 JP 2022501055 A JP2022501055 A JP 2022501055A JP 2022501055 A JP2022501055 A JP 2022501055A JP 7313533 B2 JP7313533 B2 JP 7313533B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- prof
- prediction
- samples
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本出願は、2019年7月10日に出願された仮出願第62/872,700号、および2019年7月12日に出願された仮出願第62/873,837号に基づき、これらの仮出願の優先権を主張するものであり、これらの仮出願の両方の全体は、全ての目的のために参照により本明細書に組み込まれる。
VVCでは、BDOFは、双予測された符号化ブロックの予測サンプルを洗練するために適用される。具体的には、図4に示されるように、BDOFは、双予測が使用されるときにブロックベースの動き補償予測の上で実施されるサンプル単位の動き洗練化である。
はフロア関数であり、clip3(min,max,x)は[min,max]の範囲の内部の所与の値xをクリップする関数であり、記号≫はビット単位の右シフト演算を表し、記号≪はビット単位の左シフト演算を表し、thBDOFは不規則な局所動きによる伝搬誤差を防止するための動き洗練化しきい値であり、動き洗練化しきい値は1≪max(5,bit-depth-7).に等しく、ここで、bit-depthは内部ビット深度である。(1)において、
である。
および
は、その2つの隣接サンプルの間の差分を直接計算することによって取得されたサンプルの水平勾配および垂直勾配であり、すなわち、
HEVCでは、動き補償予測に対して並進動きモデルのみが適用される。一方、現実の世界では、多くの種類の動き、例えば、ズームイン/アウト、回転、透視動き(perspective motion)、および他の不規則な動きがある。VVCでは、アフィン動き補償予測は、インター予測に対して並進動きモデルが適用されるかまたはアフィン動きモデルが適用されるかを示すためにインター符号化ブロックごとに1つのフラグをシグナリングすることによって適用される。現在のVVC設計では、4パラメータアフィンモードおよび6パラメータアフィンモードを含む2つのアフィンモードは、1つのアフィン符号化ブロックに対してサポートされている。
アフィン動き補償精度を改善するために、オプティカルフローモデルに基づいてサブブロックベースのアフィン動き補償を洗練するPROFは、現在のVVCにおいて現在研究されている。具体的には、サブブロックベースのアフィン動き補償を実施した後、1つのアフィンブロックのルーマ予測サンプルが、オプティカルフロー方程式に基づいて導出された1つのサンプル洗練化値によって修正される。詳細には、PROFの動作は以下の4つのこととして要約され得る。
であり、ここで、I(i,j)およびIr(i,j)は、それぞれ、ロケーション(i,j)における元の予測サンプルおよび洗練された予測サンプルである。
として導出され得る。
である。
であり、ここで、(v0x,v0y)、(v1x,v1y)、(v2x,v2y)は現在の符号化ブロックの左上、右上、および左下の制御点MVであり、wおよびhはブロックの幅および高さである。既存のPROF設計では、MV差分ΔvxおよびΔvyは常に1/32ペルの精度で導出される。
局所照明補償(LIC:local illumination compensation)は、時間隣接ピクチャの間に存在する局所照明変化の問題に対処するために使用される符号化ツールである。重みパラメータとオフセットパラメータのペアは、1つの現在のブロックの予測サンプルを取得するために参照サンプルに適用される。一般的な数学モデルは、
PROFはアフィンモードの符号化効率を高めることができるが、その設計は依然としてさらに改善される可能性がある。特に、PROFとBDOFの両方がオプティカルフローの概念に基づいて構築されるという事実を考慮すると、PROFがハードウェア実装を容易にするためにBDOFの既存の論理を最大限に活用することができるように、PROFおよびBDOFの設計をできるだけ調和させることが非常に望ましい。そのような考慮に基づいて、現在のPROF設計とBDOF設計との間の相互作用に関する以下の非効率性が本開示において識別される。
本開示では、ハードウェアコーデック実装を容易にするために既存のPROF設計を改善および簡略化するための方法が提供される。特に、既存のBDOF論理をPROFと最大限に共有するために、BDOFおよびPROFの設計を調和させることに特別な注意が払われる。一般に、本開示における提案される技術の主要な態様は、次のように要約される。
「問題の陳述」のセクションにおいて分析されたように、現在のPROFにおけるMV差分およびサンプル勾配の表現ビット深度は、正確な予測洗練化を導出するように整合されていない。さらに、サンプル勾配およびMV差分の表現ビット深度はBDOFとPROFとの間で一貫性がなく、このことはハードウェアにとって好ましくない。このセクションでは、BDOFのビット深度表現方法をPROFに拡張することによって、1つの改善されたビット深度表現方法が提案される。具体的には、提案される方法では、各サンプル位置における水平勾配および垂直勾配は、
である。
であり、ここで、(v0x,v0y)、(v1x,v1y)、(v2x,v2y)は、1/16ペル精度で表される、現在の符号化ブロックの左上、右上、および左下の制御点MVであり、wおよびhはブロックの幅および高さである。
として計算されるはずである。
ここで、limitは
に等しいしきい値であり、clip3(min,max,x)は[min,max]の範囲の内部の所与の値xをクリップする関数である。1つの例では、nbの値は2max(5,bit-depth-7)となるように設定される。最終的に、サンプルのPROF洗練化は、
として計算される。
前に論じられたように、1つのアフィン符号化ブロックが双予測されるとき、現在のPROFが一方的に適用される。より具体的には、PROFサンプル洗練化が別々に導出され、リストL0およびL1内の予測サンプルに適用される。その後、それぞれリストL0およびL1からの洗練された予測信号は、ブロックの最終的な双予測信号を生成するために平均される。これは、サンプル洗練化が導出され、双予測信号に適用されるBDOF設計とは対照的である。BDOFおよびPROFの双予測ワークフローの間のそのような差は、実際のコーデック・パイプライン設計にとって好ましくないことがある。
前に説明されたように、BDOFとPROFの両方は現在の符号化ブロック内部の各サンプルの勾配を計算し、このことはブロックの各側の予測サンプルの1つの追加の行/列にアクセスする。追加の補間複雑性を回避するために、ブロック境界の周りの拡張領域内の必要とされる予測サンプルは、整数参照サンプルから直接コピーされる。しかしながら、「問題の陳述」のセクションにおいて指摘されたように、異なるロケーションにおける整数サンプルは、BDOFおよびPROFの勾配値を計算するために使用される。
既存のBDOF設計およびPROF設計では、2つの符号化ツールの有効化/無効化を別々に制御するために、SPSにおいて2つの異なるフラグがシグナリングされる。しかしながら、BDOFとPROFとの間の類似性により、1つの同じ制御フラグによって高レベルからBDOFおよびPROFを有効化および/または無効化することがより望ましい。そのような考慮に基づいて、テーブル1に示されるように、sps_bdof_prof_enabled_flagと呼ばれる1つの新しいフラグがSPSに導入される。テーブル1に示されるように、BDOFの有効化および無効化はsps_bdof_prof_enabled_flagのみに依存する。フラグが1に等しいとき、シーケンス内のビデオ・コンテンツを符号化するためにBDOFが有効化される。さもなければ、sps_bdof_prof_enabled_flagが0に等しいとき、BDOFは適用されない。一方、sps_bdof_prof_enabled_flagに加えて、SPSレベル・アフィン制御フラグ、すなわち、sps_affine_enabled_flagも、PROFを条件付きで有効化および無効化するために使用される。フラグsps_bdof_prof_enabled_flagとsps_affine_enabled_flagの両方が1に等しいとき、アフィンモードで符号化される全ての符号化ブロックに対してPROFが有効化される。フラグsps_bdof_prof_enabled_flagが1に等しく、sps_affine_enabled_flagが0に等しいとき、PROFが無効化される。
現在のPROF設計によれば、PROFは、1つの符号化ブロックがアフィンモードによって予測されるときに常に呼び出される。しかしながら、方程式(6)および(7)に示されるように、1つのアフィンブロックのサブブロックMVは制御点MVから導出される。したがって、制御点MVの間の差分が比較的小さいとき、各サンプル位置におけるMVは一貫性があるはずである。そのような場合、PROFを適用する利益は非常に限定され得る。したがって、PROFの平均的な算出複雑性をさらに低減するために、1つの4×4サブブロック内のサンプル単位のMVとサブブロック単位のMVとの間の最大MV差分に基づいてPROFベースのサンプル洗練化を適応的にスキップすることが提案される。1つの4×4サブブロック内部のサンプルのPROF MV差分の値はサブブロック中心に対して対称であるので、最大の水平および垂直PROF MV差分は方程式(10)に基づいて
の最大値がしきい値以下であるとき、PROFプロセスがスキップされ得る。
現在のブロックの隣接する再構成されたサンプル(すなわち、テンプレート)は線形モデルパラメータを導出するためにLICによって使用されるので、1つのLIC符号化ブロックの復号は、その隣接サンプルの完全な再構成に依存する。そのような相互依存性により、実際のハードウェア実装の場合、LICは、隣接する再構成されたサンプルがLICパラメータ導出のために利用可能になる再構成ステージにおいて実施される必要がある。ブロック再構成は逐次的に(すなわち、1つずつ)実施されなければならないので、スループット(すなわち、並行して行われ得る単位時間当たりの作業の量)は、他の符号化方法をLIC符号化ブロックに一緒に適用するときに考慮すべき1つの重要な問題である。このセクションでは、アフィンモードに対してPROFとLICの両方が有効化されるときの相互作用を処理するための2つの方法が提案される。
Claims (7)
- ビデオ信号を復号するための双方向オプティカルフロー(BDOF)およびオプティカルフローによる予測洗練化(PROF)の統合方法であって、
デコーダにおいて、ビデオブロックを複数の重複しないビデオサブブロックへ分割することであって、前記複数の重複しないビデオサブブロックのうちの少なくとも1つが、2つの動きベクトルに関連付けられることと、
前記デコーダにおいて、前記複数の重複しないビデオサブブロックのうちの前記少なくとも1つの前記2つの動きベクトルに関連付けられた第1の参照ピクチャおよび第2の参照ピクチャを取得することであって、表示順序において、前記第1の参照ピクチャが現在のピクチャの前にあり、前記第2の参照ピクチャが前記現在のピクチャの後にあることと、
前記デコーダにおいて、前記第1の参照ピクチャから前記ビデオサブブロックの第1の予測サンプルI(0)(i,j)を取得することであって、iおよびjが前記現在のピクチャ内の1つのサンプルの座標を表す、ことと、
前記デコーダにおいて、前記第2の参照ピクチャから前記ビデオサブブロックの第2の予測サンプルI(1)(i,j)を取得することと、
前記デコーダにおいて、BDOFおよびPROFのための前記第1の予測サンプルI(0)(i,j)および第2の予測サンプルI(1)(i,j)の水平および垂直勾配値を取得することと、
前記デコーダにおいて、前記ビデオブロックがアフィンモードで符号化されないとき、前記BDOFに基づいて前記ビデオサブブロック内のサンプルのための動き洗練化を取得することと、
前記デコーダにおいて、前記ビデオブロックがアフィンモードで符号化されるとき、前記水平および垂直勾配値と動きベクトルの差分に応じた前記PROFに基づいて前記ビデオサブブロック内のサンプルのための動き洗練化を取得することであって、前記動きベクトルの差分が、対称範囲にクリップされることと、
前記デコーダにおいて、前記動き洗練化に基づいて前記ビデオブロックの予測サンプルを取得することと、
を含み、
前記第1の予測サンプルI (0) (i,j)および第2の予測サンプルI (1) (i,j)の前記水平および垂直勾配値を取得することが、
前記デコーダにおいて、対応する整数サンプル位置をコピーすることによって、前記ビデオサブブロックの第1の予測ブロックおよび第2の予測ブロックの上の境界、下の境界、左の境界、および右の境界に沿って拡張サンプルを導出すること、を含む、方法。 - 拡張サンプルを導出することが、
前記デコーダにおいて、左の整数参照サンプルから分数サンプル位置にコピーすることによって、前記左の境界および右の境界に沿って拡張サンプルをパディングすることと、
前記デコーダにおいて、上の整数参照サンプルから分数サンプル位置にコピーすることによって、前記上の境界および下の境界に沿って拡張サンプルをパディングすることと、を含む、請求項1に記載の統合方法。 - 拡張サンプルを導出することが、
前記デコーダにおいて、水平方向でそれぞれの分数サンプル位置に最も近い整数参照サンプルからコピーすることによって、前記左の境界および右の境界に沿って拡張サンプルを導出することと、
前記デコーダにおいて、垂直方向でそれぞれの分数サンプル位置に最も近い整数参照サンプルからコピーすることによって、前記上の境界および下の境界に沿って拡張サンプルをパディングすることと、を含む、請求項1に記載の統合方法。 - 各重複しないビデオサブブロックが、幅で4つのサンプルおよび高さで4つのサンプルを含む、請求項1に記載の統合方法。
- コンピューティングデバイスであって、
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読記憶媒体と、を含み、
前記1つまたは複数のプロセッサが、請求項1から4のいずれか1つに記載の方法を行うように構成される、コンピューティングデバイス。 - 1つまたは複数のプロセッサを有する復号装置によって実行される複数のプログラムを記憶するデコーダ可読記憶媒体であって、前記複数のプログラムは、前記1つまたは複数のプロセッサによって実行されると、前記復号装置に請求項1から4のいずれか1つに記載のビデオデータ復号方法を行わせる、デコーダ可読記憶媒体。
- 1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに請求項1から4のいずれか1つに記載の方法を行わせる複数の命令を備えるコンピュータプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023069637A JP2023089253A (ja) | 2019-07-10 | 2023-04-20 | オプティカルフローによる予測洗練化における方法および装置 |
JP2023134199A JP2023159292A (ja) | 2019-07-10 | 2023-08-21 | オプティカルフローによる予測洗練化における方法および装置 |
JP2023144689A JP2023164968A (ja) | 2019-07-10 | 2023-09-06 | オプティカルフローによる予測洗練化における方法および装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962872700P | 2019-07-10 | 2019-07-10 | |
US62/872,700 | 2019-07-10 | ||
US201962873837P | 2019-07-12 | 2019-07-12 | |
US62/873,837 | 2019-07-12 | ||
PCT/US2020/041701 WO2021007557A1 (en) | 2019-07-10 | 2020-07-10 | Methods and apparatus on prediction refinement with optical flow |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023069637A Division JP2023089253A (ja) | 2019-07-10 | 2023-04-20 | オプティカルフローによる予測洗練化における方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022531629A JP2022531629A (ja) | 2022-07-07 |
JP7313533B2 true JP7313533B2 (ja) | 2023-07-24 |
Family
ID=74115339
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022501055A Active JP7313533B2 (ja) | 2019-07-10 | 2020-07-10 | オプティカルフローによる予測洗練化における方法および装置 |
JP2023069637A Pending JP2023089253A (ja) | 2019-07-10 | 2023-04-20 | オプティカルフローによる予測洗練化における方法および装置 |
JP2023134199A Pending JP2023159292A (ja) | 2019-07-10 | 2023-08-21 | オプティカルフローによる予測洗練化における方法および装置 |
JP2023144689A Pending JP2023164968A (ja) | 2019-07-10 | 2023-09-06 | オプティカルフローによる予測洗練化における方法および装置 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023069637A Pending JP2023089253A (ja) | 2019-07-10 | 2023-04-20 | オプティカルフローによる予測洗練化における方法および装置 |
JP2023134199A Pending JP2023159292A (ja) | 2019-07-10 | 2023-08-21 | オプティカルフローによる予測洗練化における方法および装置 |
JP2023144689A Pending JP2023164968A (ja) | 2019-07-10 | 2023-09-06 | オプティカルフローによる予測洗練化における方法および装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20220132138A1 (ja) |
EP (1) | EP3991431A4 (ja) |
JP (4) | JP7313533B2 (ja) |
KR (2) | KR20220140047A (ja) |
CN (2) | CN114342378A (ja) |
MX (1) | MX2022000395A (ja) |
WO (1) | WO2021007557A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220044843A (ko) * | 2019-09-24 | 2022-04-11 | 엘지전자 주식회사 | 서브픽처 기반 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법 |
JP2021052389A (ja) * | 2020-08-21 | 2021-04-01 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
US11949863B2 (en) * | 2021-08-02 | 2024-04-02 | Tencent America LLC | Geometric partition mode with intra block copy |
WO2023182781A1 (ko) * | 2022-03-21 | 2023-09-28 | 주식회사 윌러스표준기술연구소 | 템플릿 매칭에 기초한 비디오 신호 처리 방법 및 이를 위한 장치 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10567755B2 (en) * | 2014-07-06 | 2020-02-18 | Lg Electronics Inc. | Method for processing video signal, and apparatus therefor |
US20180249172A1 (en) * | 2015-09-02 | 2018-08-30 | Mediatek Inc. | Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques |
KR20240025714A (ko) * | 2016-03-24 | 2024-02-27 | 엘지전자 주식회사 | 비디오 코딩 시스템에서 인터 예측 방법 및 장치 |
WO2017188566A1 (ko) * | 2016-04-25 | 2017-11-02 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인터 예측 방법 및 장치 |
US10728572B2 (en) * | 2016-09-11 | 2020-07-28 | Lg Electronics Inc. | Method and apparatus for processing video signal by using improved optical flow motion vector |
US10701390B2 (en) * | 2017-03-14 | 2020-06-30 | Qualcomm Incorporated | Affine motion information derivation |
RU2763042C2 (ru) * | 2017-07-03 | 2021-12-27 | Вид Скейл, Инк. | Прогнозирование компенсации движения на основе двунаправленного оптического потока |
WO2019117640A1 (ko) * | 2017-12-14 | 2019-06-20 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치 |
US11303898B2 (en) * | 2019-04-03 | 2022-04-12 | Mediatek Inc. | Coding transform coefficients with throughput constraints |
WO2020207475A1 (en) * | 2019-04-12 | 2020-10-15 | Mediatek Inc. | Method and apparatus of simplified affine subblock process for video coding system |
EP3991432A1 (en) * | 2019-07-01 | 2022-05-04 | InterDigital VC Holdings France, SAS | Bi-directional optical flow refinement of affine motion compensation |
-
2020
- 2020-07-10 KR KR1020227034882A patent/KR20220140047A/ko active Application Filing
- 2020-07-10 EP EP20837212.8A patent/EP3991431A4/en active Pending
- 2020-07-10 CN CN202080059396.0A patent/CN114342378A/zh active Pending
- 2020-07-10 WO PCT/US2020/041701 patent/WO2021007557A1/en unknown
- 2020-07-10 JP JP2022501055A patent/JP7313533B2/ja active Active
- 2020-07-10 CN CN202210578295.5A patent/CN115002454A/zh active Pending
- 2020-07-10 KR KR1020227004521A patent/KR102453806B1/ko active IP Right Grant
- 2020-07-10 MX MX2022000395A patent/MX2022000395A/es unknown
-
2022
- 2022-01-07 US US17/571,434 patent/US20220132138A1/en active Pending
-
2023
- 2023-04-20 JP JP2023069637A patent/JP2023089253A/ja active Pending
- 2023-08-21 JP JP2023134199A patent/JP2023159292A/ja active Pending
- 2023-09-06 JP JP2023144689A patent/JP2023164968A/ja active Pending
Non-Patent Citations (3)
Title |
---|
BROSS, Benjamin et al.,Versatile Video Coding (Draft 5),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19-27 Mar. 2019, [JVET-N1001-v10],JVET-N1001 (version 10),ITU-T,2019年07月02日,<URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/14_Geneva/wg11/JVET-N1001-v10.zip>: JVET-N1001-v10.docx: pp.219-233 |
XIU, Xiaoyu et al.,CE4/9-related: Combined Test of JVET-O0593/JVET-O0252/JVET-O0281/JVET-O0615 on harmonization on BDOF and PROF,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3-12 July 2019, [JVET-O01142-v2],JVET-O1142 (version 2),ITU-T,2019年07月09日,<URL:https://jvet-experts.org/doc_end_user/documents/15_Gothenburg/wg11/JVET-O1142-v2.zip>: JVET-O1142-v2.docx; pp.1-5, JVET-O1142-spec-change-WD-r2.docx; pp.1-21 |
XIU, Xiaoyu et al.,CE4-related: Prediction sample padding unification for BDOF and PROF,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3-12 July 2019, [JVET-O0594],JVET-O0594 (version 1),ITU-T,2019年06月26日,<URL:https://jvet-experts.org/doc_end_user/documents/15_Gothenburg/wg11/JVET-O0594-v1.zip>: JVET-O0594.docx; pp.1-4 |
Also Published As
Publication number | Publication date |
---|---|
US20220132138A1 (en) | 2022-04-28 |
WO2021007557A1 (en) | 2021-01-14 |
JP2023089253A (ja) | 2023-06-27 |
KR20220140047A (ko) | 2022-10-17 |
EP3991431A1 (en) | 2022-05-04 |
MX2022000395A (es) | 2022-04-06 |
JP2023159292A (ja) | 2023-10-31 |
KR102453806B1 (ko) | 2022-10-11 |
KR20220025205A (ko) | 2022-03-03 |
CN114342378A (zh) | 2022-04-12 |
CN115002454A (zh) | 2022-09-02 |
JP2023164968A (ja) | 2023-11-14 |
JP2022531629A (ja) | 2022-07-07 |
EP3991431A4 (en) | 2022-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7313533B2 (ja) | オプティカルフローによる予測洗練化における方法および装置 | |
JP7372433B2 (ja) | オプティカルフローを用いた予測リファインメントに関する方法および装置 | |
JP7305883B2 (ja) | Prof(prediction refinement with optical flow)の方法および装置 | |
US11889110B2 (en) | Methods and apparatus for prediction refinement with optical flow | |
JP2023100979A (ja) | オプティカルフローによる予測洗練化、双方向オプティカルフローおよびデコーダ側の動きベクトル洗練化のための方法および装置 | |
EP3963887A1 (en) | Methods and apparatus of prediction refinement with optical flow | |
EP3942824A1 (en) | Methods and apparatuses for prediction refinement with optical flow |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220210 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220210 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220330 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220927 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230420 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230420 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230427 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230711 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7313533 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |