JP2023087041A - インター予測を利用した映像符号化方法、映像復号化方法、及び非一時的なコンピュータ可読媒体 - Google Patents
インター予測を利用した映像符号化方法、映像復号化方法、及び非一時的なコンピュータ可読媒体 Download PDFInfo
- Publication number
- JP2023087041A JP2023087041A JP2023076011A JP2023076011A JP2023087041A JP 2023087041 A JP2023087041 A JP 2023087041A JP 2023076011 A JP2023076011 A JP 2023076011A JP 2023076011 A JP2023076011 A JP 2023076011A JP 2023087041 A JP2023087041 A JP 2023087041A
- Authority
- JP
- Japan
- Prior art keywords
- sample
- block
- affine
- prediction
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 75
- 230000033001 locomotion Effects 0.000 claims abstract description 460
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 202
- 239000013598 vector Substances 0.000 claims description 295
- 230000001419 dependent effect Effects 0.000 claims 3
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000013519 translation Methods 0.000 abstract description 3
- 239000000523 sample Substances 0.000 description 108
- 238000005286 illumination Methods 0.000 description 100
- 238000010586 diagram Methods 0.000 description 27
- 230000003287 optical effect Effects 0.000 description 26
- 238000013139 quantization Methods 0.000 description 23
- 230000002457 bidirectional effect Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 230000002093 peripheral effect Effects 0.000 description 16
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 13
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 241000023320 Luma <angiosperm> Species 0.000 description 9
- 239000000284 extract Substances 0.000 description 9
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 8
- 238000001914 filtration Methods 0.000 description 8
- 230000008707 rearrangement Effects 0.000 description 7
- 230000011664 signaling Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 239000013074 reference sample Substances 0.000 description 5
- 238000000638 solvent extraction Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 101100537098 Mus musculus Alyref gene Proteins 0.000 description 2
- 101150095908 apex1 gene Proteins 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
双方向オプティカルフローは、映像を構成するサンプル又は客体が一定の速度で移動し、サンプル値の変化がほとんどないという仮定に基づき、双方向動き予測を用いて予測したサンプルの動きをさらに補償する技術である。
これまで述べたインター予測は並進モーション(translation motion)モデルを反映した動き予測である。すなわち、横方向(x軸方向)及び縦方向(y軸方向)への動きを予測する技法である。しかしながら、実際には、並進モーションの以外に、回転(rotation)、ズームイン(zoom-in)、又はズームアウト(zoom-out)のような多様な形態の動きが存在する。本開示の一側面は、このような様々な形態の動きをカバーするアフィンモーション予測を提供する。
{CPMV2、CPMV3、CPMV4}、{CPMV1、CPMV2}、{CPMV1、CPMV3}
対象ブロックに対するサブブロック単位アフィンモーション予測を述べた。本開示のまた他の側面は、サブブロック単位アフィンモーション予測から生成した予測サンプルのサンプル値をサンプル単位に調整することに関連する。アフィンモーション予測が行われた単位であるサブブロック内で、各サンプルの位置に応じた動きを追加で補償する。
地域照明補償技術は、現在ブロックと予測ブロックの照明変化に関する線形モデルを用いて変化量を補償する符号化技術である。映像符号化装置のインター予測部124は、対象ブロックの動きベクトル(並進モーションベクトル)を用いて参照ピクチャ内で参照ブロックを決定し、参照ブロックの周辺(上側と左側)の既復元のサンプル及び対象ブロックの周囲(上側と左側)の既復元のサンプルを用いて照明補償のための線形モデルのパラメータを求める。
映像符号化装置のインター予測部124は、対象ブロックをアフィンモーション予測が行われた単位であるサブブロックを1つ以上含む複数の領域に分割する。
映像符号化装置は、複数の領域に対する照明補償パラメータを算出する。複数の照明補償パラメータを用い、対象ブロック内の領域又はサブブロック単位で照明補償を行う。映像符号化装置は、複数の領域のそれぞれに対し、補償パラメータを導出するために使用する現在ピクチャ及び参照ピクチャ内の既復元のサンプル(参照サンプル)を決定する。現在ピクチャ内の参照サンプルは、対象ブロックに隣接する既復元のサンプルから選択する。対象ブロックの左側の境界から離間している領域の場合、対象ブロックの左側に隣接する既復元のサンプルを参照サンプルとして選択する。対象ブロックの上側境界から離間している領域の場合、対象ブロックの上側に隣接する既復元のサンプルを参照サンプルとして選択する。
まず、横長及び縦長がそれぞれW、Hである対象ブロックが横方向及び縦方向にそれぞれ分割されて合計4つの領域で構成する場合を例に説明する。
対象ブロックを2つの領域に分割した場合でも、4つの領域に分割した場合と同様の方式で、各領域の照明補償パラメータを導出する。例えば、図16を参照すると、映像符号化装置は、上段領域の補償パラメータを導出するための現在ピクチャ内の参照サンプルとして、上段領域の上側に隣接する既復元のサンプルT0~Tw-1及び上段領域の左側に隣接する既復元のサンプル(L0~LH/2-1)を選択する。そして、上段領域の代表動きベクトルを用いて参照ピクチャ内の参照領域を決定し、その参照領域の上側と左側に隣接する既復元のサンプルを参照サンプルとして選択する。
前述したように、対象ブロックは、横方向及び縦方向にそれぞれ2m及び2n(m及びnは2以上の整数)に分割してもよい。あるいは、対象ブロックのアフィンモーション予測が行われる単位であるサブブロックに分割してもよい。このような例は図18に示す。
本開示のまた他の側面は、前述の様々なツールのオン/オフを制御するためのハイレベル(high-level)シンタックスのシグナリング技法に関連する。
本特許出願は、本明細書にその全体が参考として含まれる、2019年6月14日付で韓国に出願した特許出願番号第10-2019-0070633号、2019年7月8日付で韓国に出願した特許出願番号第10-2019-0082010号、及び2020年6月15日付で韓国に出願した特許出願番号第10-2020-0072332号に対して優先権を主張する。
120、540 予測部
122、542 イントラ予測部
124、544 インター予測部
130 減算器
140 変換部
145 量子化部
150、515 並べ替え部
155 エントロピー符号化部
160、520 逆量子化部
165、530 逆変換部
170、550 加算器
180、560 ループフィルタ部
182、562 デブロッキングフィルタ
184、564 SAOフィルタ
186、566 ALF
190、570 メモリ
510 エントロピー復号化部
Claims (16)
- 符号化したピクチャ(coded pictures)のシーケンス(sequence)をブロック単位で復号化する映像復号化方法において、
ビットストリームから第1のハイレベルシンタックス要素を復号化することで、アフィンモーション予測(affine motion prediction)が許容されるか否かをシーケンスレベルで設定するステップと、
前記第1のハイレベルシンタックス要素に依存し、前記ビットストリームから少なくとも1つのコーディングツールのそれぞれに対する1つ以上の第2のハイレベルシンタックス要素を復号化することで、前記少なくとも1つのコーディングツールの各々が許容されるか否かをピクチャレベルで設定するステップと、を含み、
ここで、前記少なくとも1つのコーディングツールは、アフィンモーション予測サンプルのサンプル単位調整(sample-by-sample adjustment)を含み、
さらに、前記シーケンスレベルの設定が、前記アフィンモーション予測が許容されることを示すとき、前記アフィンモーション予測を用いて符号化した対象ブロックの複数の制御点動きベクトル(affine motion prediction)を決定し、前記制御点動きベクトルを用いてサブブロック単位のアフィンモーション予測を実行して、前記対象ブロック内の各サブブロックに対するアフィン予測サンプルを生成するステップと、
前記ピクチャレベルの設定に基づき、前記対象ブロックを含む現在ピクチャに対して前記アフィンモーション予測サンプルのサンプル単位調整が許容されることが識別したとき、前記対象ブロックの前記制御点動きベクトルに基づいて前記各サブブロック内のサンプル位置に応じた動きを補償することで前記アフィン予測サンプルのサンプル値を修正するステップと、を含むことを特徴とする映像復号化方法。 - 前記第1のハイレベルシンタックス要素は、前記シーケンスのヘッダから復号化することを特徴とする請求項1に記載の映像復号化方法。
- 前記アフィンモーション予測サンプルのサンプル単位調整に対する前記1つ以上の第2のハイレベルシンタックス要素を復号化することは、
前記第1のハイレベルシンタックス要素が、前記アフィンモーション予測が許容されることを示すとき、前記シーケンスのヘッダから前記アフィンモーション予測サンプルに対するサンプル単位調整が許容されるか否かを示すシーケンスレベルフラグを復号化するステップ、及び、
前記シーケンスレベルフラグに依存し、前記シーケンスに属するピクチャそれぞれのピクチャヘッダから前記アフィンモーション予測サンプルに対するサンプル単位調整が許容されるか否かを示すピクチャレベルフラグを復号化するステップを含むことを特徴とする請求項2に記載の映像復号化方法。 - 前記第1のハイレベルシンタックス要素が前記アフィンモーション予測が許容されないことを示す、あるいは、前記シーケンスレベルフラグが前記サンプル単位調整が許容されないことを示すとき、前記ピクチャレベルフラグは前記ピクチャヘッダから復号化されず、前記サンプル単位調整が許容されないことを示す値に設定されることを特徴とする請求項3に記載の映像復号化方法。
- 前記第1のハイレベルシンタックス要素が、前記アフィンモーション予測が許容されないことを示すとき、前記アフィンモーション予測及び前記少なくとも1つのコーディングツールのすべては前記シーケンス内のすべてのピクチャに対して許容されないことを特徴とする請求項1に記載の映像復号化方法。
- 前記アフィン予測サンプルのサンプル値を修正するステップは、
前記対象ブロックの制御点動きベクトルを用い、修正しようとする対象サブブロック内のサンプル位置及び前記対象サブブロックの中心との間の差に起因する動きオフセットを生成するステップと、
前記対象サブブロック内のサンプル位置に対する横方向及び縦方向の勾配(gradient)を生成するステップと、
前記横方向及び縦方向の勾配及び前記動きオフセットを用い、前記対象サブブロック内のサンプル位置に対応するアフィン予測サンプルに対するサンプルオフセットを生成するステップと、
前記サンプル位置に対応するアフィン予測サンプルのサンプル値に前記サンプルオフセットを加算するステップと、を含むことを特徴とする請求項1に記載の映像復号化方法。 - 前記対象サブブロック内のサンプル位置に対して生成した前記動きオフセットは、前記対象ブロックの他のサブブロック内の同一サンプル位置に対する動きオフセットとして再利用されることを特徴とする請求項6に記載の映像復号化方法。
- コーディングしたピクチャ(coded pictures)のシーケンス(sequence)をブロック単位で復号化する画像復号装置において、
ビットストリームから第1のハイレベルシンタックス要素を復号化することでアフィンモーション予測(affine motion prediction)が許容されるか否かをシーケンスレベルで設定し、前記第1のハイレベルシンタックス要素に依存して前記ビットストリームから少なくとも1つのコーディングツールのそれぞれに対する1つ以上の第2のハイレベルシンタックス要素を復号化することで、前記少なくとも1つのコーディングツールの各々が許容されるか否かをピクチャレベルで設定する復号化部を含み、
ここで、前記少なくとも1つのコーディングツールはアフィンモーション予測サンプルのサンプル単位調整(sample-by-sample adjustment)を含み、
さらに、前記シーケンスレベルの決定が、前記アフィンモーション予測が許容されることを示すとき、前記アフィンモーション予測を用いて符号化した対象ブロックの複数の制御点動きベクトル(control point motion vector)を決定し、前記制御点動きベクトルを用いてサブブロック単位の前記アフィンモーション予測を実行することで、前記対象ブロック内の各サブブロックに対するアフィン予測サンプルを生成する予測部、を含み、
前記予測部は、
前記ピクチャレベルの設定に基づき、前記対象ブロックを含む現在ピクチャに前記アフィンモーション予測サンプルのサンプル単位調整が許容されることを識別したとき、前記対象ブロックの前記制御点動きベクトルに基づいて前記各サブブロック内のサンプル位置に応じた動きを補償することで、前記アフィン予測サンプルのサンプル値を修正することを特徴とする映像復号化装置。 - 前記第1のハイレベルシンタックス要素は、前記シーケンスのヘッダから復号化されることを特徴とする請求項8に記載の映像復号化装置。
- 前記復号化部は、
前記第1のハイレベルシンタックス要素が、前記アフィンモーション予測が許容されることを示すとき、前記シーケンスのヘッダから前記アフィンモーション予測サンプルのサンプル単位調整が許容されるか否かを示すシーケンスレベルフラグを復号化し、
前記シーケンスレベルフラグに依存し、前記シーケンスに属するピクチャそれぞれのピクチャヘッダから前記アフィンモーション予測サンプルのサンプル単位調整が許容されるか否かを示すピクチャレベルフラグを復号化することで、
前記アフィンモーション予測サンプルのサンプル単位調整に対する前記1つ以上の第2のハイレベルシンタックス要素を復号化することを特徴とする請求項9に記載の映像復号化装置。 - 前記復号化部は、
前記第1のハイレベルシンタックス要素が、前記アフィンモーション予測が許容されないことを示す、あるいは、前記シーケンスレベルフラグが前記サンプル単位調整が許容されないことを示すとき、前記ピクチャレベルフラグは前記ピクチャヘッダから復号化されず、前記サンプル単位調整が許容されないことを示す値に設定することを特徴とする請求項10に記載の映像復号化装置。 - 前記予測部は、
前記対象ブロックの制御点動きベクトルを用い、修正しようとする対象サブブロック内のサンプル位置及び前記対象サブブロックの中心との差に起因する動きオフセットを生成し、
前記対象サブブロック内のサンプル位置に対する横方向及び縦方向の勾配(gradient)を生成し、
前記横方向及び縦方向の勾配及び前記動きオフセットを用い、前記対象サブブロック内のサンプル位置に対応するアフィン予測サンプルに対するサンプルオフセットを生成し、
前記サンプル位置に対応するアフィン予測サンプルのサンプル値に前記サンプルオフセットを加算することで、
前記アフィン予測サンプルのサンプル値を修正することを特徴とする請求項8に記載の映像復号化装置。 - 前記対象サブブロック内のサンプル位置に対して生成した前記動きオフセットを前記対象ブロックの他のサブブロック内の同一サンプル位置に対する動きオフセットとして再利用することを特徴とする請求項12に記載の映像復号化装置。
- ピクチャ(coded pictures)のシーケンス(sequence)をブロック単位で符号化する方法において、
アフィンモーション予測(affine motion prediction)及び少なくとも1つのコーディングツールのすべてがディセーブル(disable)されるか否かを示すためのシーケンスレベルの第1のハイレベルシンタックス要素を前記シーケンスのヘッダに符号化するステップを含み、
ここで、前記少なくとも1つのコーディングツールは、アフィンモーション予測サンプルのサンプル単位調整(sample-by-sample adjustment)を含み、
さらに、前記第1のハイレベルシンタックス要素に依存し、前記少なくとも1つのコーディングツールの各々に対し、前記コーディングツールが許容されるか否かに対するシーケンスレベル又はピクチャレベルの設定を示すための1つ以上の第2のハイレベルシンタックス要素を符号化するステップと、
第1のハイレベルシンタックス要素が、前記少なくとも1つのコーディングツールの全てがディセーブル(disable)にならないことを示すとき、符号化しようとする対象ブロックに対する制御点動きベクトル(control point motion vector)を決定し、前記制御点動きベクトルを用いてサブブロック単位のアフィンモーション予測を実行することで、各サブブロックに対するアフィン予測サンプルを生成するステップと、
前記対象ブロックを含む現在ピクチャに対して前記アフィンモーション予測サンプルのサンプル単位調整が許容されるとき、前記対象ブロックの制御点動きベクトルに基づいて前記各サブブロック内のサンプル位置に応じた動きを補償することで、前記アフィン予測サンプルのサンプル値を修正するステップと、を含むことを特徴とする映像符号化方法。 - 前記アフィンモーション予測サンプルのサンプル単位調整に対する前記1つ以上の第2のハイレベルシンタックス要素を符号化することは、
前記第1のハイレベルシンタックス要素が、前記アフィンモーション予測が許容されることを示すとき、前記アフィンモーション予測サンプルに対するサンプル単位調整が許容されるか否かを示すシーケンスレベルフラグを前記シーケンスのヘッダに符号化するステップ、及び、
前記シーケンスレベルフラグに依存し、前記シーケンスに属するピクチャそれぞれのピクチャヘッダに前記サンプル単位調整が許容されるか否かを示すピクチャレベルフラグを符号化するステップ、を含むことを特徴とする請求項14に記載の映像符号化方法。 - 前記アフィン予測サンプルのサンプル値を修正するステップは、
前記対象ブロックの制御点動きベクトルを用い、修正しようとする対象サブブロック内のサンプル位置及び前記対象サブブロックの中心との間の差に起因する動きオフセットを生成するステップと、
前記対象サブブロック内のサンプル位置に対する横方向及び縦方向の勾配(gradient)を生成するステップと、
前記横方向及び縦方向の勾配及び前記動きオフセットを用い、前記対象サブブロック内のサンプル位置に対応するアフィン予測サンプルに対するサンプルオフセットを生成するステップ、及び、
前記サンプル位置に対応するアフィン予測サンプルのサンプル値に前記サンプルオフセットを加算するステップと、を含むことを特徴とする請求項14に記載の映像符号化方法。
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2019-0070633 | 2019-06-14 | ||
KR20190070633 | 2019-06-14 | ||
KR10-2019-0082010 | 2019-07-08 | ||
KR20190082010 | 2019-07-08 | ||
JP2021574744A JP7275326B2 (ja) | 2019-06-14 | 2020-06-15 | インター予測を利用した映像符号化方法、映像復号化方法、及び映像復号化装置 |
KR10-2020-0072332 | 2020-06-15 | ||
KR1020200072332A KR20200143296A (ko) | 2019-06-14 | 2020-06-15 | 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치 |
PCT/KR2020/007721 WO2020251325A1 (ko) | 2019-06-14 | 2020-06-15 | 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021574744A Division JP7275326B2 (ja) | 2019-06-14 | 2020-06-15 | インター予測を利用した映像符号化方法、映像復号化方法、及び映像復号化装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023087041A true JP2023087041A (ja) | 2023-06-22 |
Family
ID=74089084
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021574744A Active JP7275326B2 (ja) | 2019-06-14 | 2020-06-15 | インター予測を利用した映像符号化方法、映像復号化方法、及び映像復号化装置 |
JP2023076008A Pending JP2023093748A (ja) | 2019-06-14 | 2023-05-02 | インター予測を利用した映像符号化方法、映像復号化方法、及び非一時的なコンピュータ可読媒体 |
JP2023076009A Pending JP2023087039A (ja) | 2019-06-14 | 2023-05-02 | インター予測を利用した映像復号化方法、映像復号化装置及び非一時的なコンピュータ可読媒体 |
JP2023076011A Pending JP2023087041A (ja) | 2019-06-14 | 2023-05-02 | インター予測を利用した映像符号化方法、映像復号化方法、及び非一時的なコンピュータ可読媒体 |
JP2023076010A Pending JP2023087040A (ja) | 2019-06-14 | 2023-05-02 | インター予測を利用した映像符号化方法、映像復号化方法、及び非一時的なコンピュータ可読媒体 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021574744A Active JP7275326B2 (ja) | 2019-06-14 | 2020-06-15 | インター予測を利用した映像符号化方法、映像復号化方法、及び映像復号化装置 |
JP2023076008A Pending JP2023093748A (ja) | 2019-06-14 | 2023-05-02 | インター予測を利用した映像符号化方法、映像復号化方法、及び非一時的なコンピュータ可読媒体 |
JP2023076009A Pending JP2023087039A (ja) | 2019-06-14 | 2023-05-02 | インター予測を利用した映像復号化方法、映像復号化装置及び非一時的なコンピュータ可読媒体 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023076010A Pending JP2023087040A (ja) | 2019-06-14 | 2023-05-02 | インター予測を利用した映像符号化方法、映像復号化方法、及び非一時的なコンピュータ可読媒体 |
Country Status (5)
Country | Link |
---|---|
US (5) | US11190761B2 (ja) |
EP (1) | EP3979649A4 (ja) |
JP (5) | JP7275326B2 (ja) |
KR (1) | KR20200143296A (ja) |
CN (1) | CN114128285B (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114128287A (zh) * | 2019-04-25 | 2022-03-01 | Op方案有限责任公司 | 图像标头中全局运动矢量的信号发送 |
JP2022536967A (ja) * | 2019-06-21 | 2022-08-22 | ヴィド スケール インコーポレイテッド | オプティカルフローによる動き補償のための精度精緻化 |
CN114303375A (zh) * | 2019-06-24 | 2022-04-08 | Lg电子株式会社 | 使用双向预测的视频解码方法和用于该方法的装置 |
US20230101542A1 (en) * | 2021-09-29 | 2023-03-30 | Tencent America LLC | Techniques for constraint flag signaling for range extension with coding for last significant coefficient |
WO2023193804A1 (en) * | 2022-04-08 | 2023-10-12 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for video processing |
WO2024016844A1 (en) * | 2022-07-19 | 2024-01-25 | Mediatek Inc. | Method and apparatus using affine motion estimation with control-point motion vector refinement |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110139108B (zh) * | 2011-11-11 | 2023-07-18 | Ge视频压缩有限责任公司 | 用于将多视点信号编码到多视点数据流中的装置及方法 |
BR112014012038A2 (pt) * | 2011-11-18 | 2017-05-30 | Motorola Mobility Llc | armazenamento eficiente de informação de movimento para codificação de vídeo de alta eficiência |
JP6614472B2 (ja) * | 2013-09-30 | 2019-12-04 | サン パテント トラスト | 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置 |
WO2016008157A1 (en) | 2014-07-18 | 2016-01-21 | Mediatek Singapore Pte. Ltd. | Methods for motion compensation using high order motion model |
EP3248377B1 (en) * | 2015-02-16 | 2022-05-04 | HFI Innovation Inc. | Method and apparatus for palette predictor initialization for palette coding in video and image compression |
MY190198A (en) | 2015-03-10 | 2022-04-04 | Huawei Tech Co Ltd | Picture prediction method and related apparatus |
US10728571B2 (en) * | 2015-08-04 | 2020-07-28 | Lg Electronics Inc. | Inter prediction method and device in video coding system |
WO2017065525A2 (ko) | 2015-10-13 | 2017-04-20 | 삼성전자 주식회사 | 영상을 부호화 또는 복호화하는 방법 및 장치 |
WO2017147765A1 (en) * | 2016-03-01 | 2017-09-08 | Mediatek Inc. | Methods for affine motion compensation |
CN113612994B (zh) * | 2016-03-15 | 2023-10-27 | 寰发股份有限公司 | 具有仿射运动补偿的视频编解码的方法 |
US10560712B2 (en) * | 2016-05-16 | 2020-02-11 | Qualcomm Incorporated | Affine motion prediction for video coding |
US10701390B2 (en) | 2017-03-14 | 2020-06-30 | Qualcomm Incorporated | Affine motion information derivation |
US10645417B2 (en) | 2017-10-09 | 2020-05-05 | Google Llc | Video coding using parameterized motion model |
US11877001B2 (en) * | 2017-10-10 | 2024-01-16 | Qualcomm Incorporated | Affine prediction in video coding |
US11889100B2 (en) * | 2017-11-14 | 2024-01-30 | Qualcomm Incorporated | Affine motion vector prediction in video coding |
EP3942823A4 (en) | 2019-03-18 | 2023-04-05 | Tencent America LLC | VIDEO CODING METHOD AND APPARATUS |
EP3954119A4 (en) | 2019-05-21 | 2022-06-22 | Beijing Bytedance Network Technology Co., Ltd. | SYNTAX SIGNALING IN A SUBBLOCK MERGE MODE |
-
2020
- 2020-06-15 CN CN202080043507.9A patent/CN114128285B/zh active Active
- 2020-06-15 KR KR1020200072332A patent/KR20200143296A/ko unknown
- 2020-06-15 JP JP2021574744A patent/JP7275326B2/ja active Active
- 2020-06-15 EP EP20821778.6A patent/EP3979649A4/en active Pending
- 2020-06-15 US US17/267,182 patent/US11190761B2/en active Active
-
2021
- 2021-09-13 US US17/473,195 patent/US11677937B2/en active Active
- 2021-09-13 US US17/473,296 patent/US11683482B2/en active Active
- 2021-09-13 US US17/473,247 patent/US11683481B2/en active Active
- 2021-09-13 US US17/473,365 patent/US11683483B2/en active Active
-
2023
- 2023-05-02 JP JP2023076008A patent/JP2023093748A/ja active Pending
- 2023-05-02 JP JP2023076009A patent/JP2023087039A/ja active Pending
- 2023-05-02 JP JP2023076011A patent/JP2023087041A/ja active Pending
- 2023-05-02 JP JP2023076010A patent/JP2023087040A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2023093748A (ja) | 2023-07-04 |
US11190761B2 (en) | 2021-11-30 |
EP3979649A4 (en) | 2023-06-07 |
JP2023087040A (ja) | 2023-06-22 |
KR20200143296A (ko) | 2020-12-23 |
US11683483B2 (en) | 2023-06-20 |
EP3979649A1 (en) | 2022-04-06 |
JP2022536400A (ja) | 2022-08-15 |
US20210266531A1 (en) | 2021-08-26 |
US20210409694A1 (en) | 2021-12-30 |
US20210409695A1 (en) | 2021-12-30 |
US11683481B2 (en) | 2023-06-20 |
US11677937B2 (en) | 2023-06-13 |
US11683482B2 (en) | 2023-06-20 |
US20210409692A1 (en) | 2021-12-30 |
CN114128285A (zh) | 2022-03-01 |
US20210409693A1 (en) | 2021-12-30 |
JP7275326B2 (ja) | 2023-05-17 |
CN114128285B (zh) | 2024-07-19 |
JP2023087039A (ja) | 2023-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7275326B2 (ja) | インター予測を利用した映像符号化方法、映像復号化方法、及び映像復号化装置 | |
KR20160106024A (ko) | 동영상 부호화 장치 | |
KR20140057675A (ko) | 인터 예측 부호화 방법 | |
KR20210006306A (ko) | 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치 | |
KR20210040787A (ko) | 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치 | |
KR20210006304A (ko) | 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치 | |
KR20210038377A (ko) | 다른 해상도를 가지는 픽처들에 대한 인터 예측 방법 및 장치 | |
RU2801342C2 (ru) | Способ и устройство для кодирования и декодирования видео с использованием интер-предсказания | |
RU2778099C1 (ru) | Способ и устройство для кодирования и декодирования видео с использованием интерпредсказания | |
RU2778099C9 (ru) | Способ и устройство для кодирования и декодирования видео с использованием интер-предсказания | |
KR102342157B1 (ko) | 효율적인 움직임 정보 예측을 이용한 영상 부호화/복호화 방법과 장치 | |
KR20240082214A (ko) | 템플릿 매칭 기반 인터 예측을 이용하는 비디오 코딩방법 및 장치 | |
KR20240080112A (ko) | 아핀 모델 기반의 예측을 이용하는 비디오 코딩방법 및 장치 | |
KR20220118349A (ko) | 인터 예측 기반의 비디오 부호화 및 복호화 | |
KR20240099018A (ko) | 단방향 및 양예측에 적용 가능한 디코더 측 움직임벡터 보정방법 및 장치 | |
KR20230105648A (ko) | 공간적 상관성을 이용하는 디코더측 움직임벡터 유도 방법 | |
KR20240080128A (ko) | 아핀 모델 기반의 예측에서 움직임 보상 필터를 적응적으로 이용하는 비디오 코딩방법 및 장치 | |
KR20230108215A (ko) | 인터 예측에서 디코더측 움직임벡터 리스트 수정 방법 | |
KR20210157385A (ko) | 효율적인 움직임 정보 예측을 이용한 영상 부호화/복호화 방법과 장치 | |
KR20230131768A (ko) | 비디오 프레임 경계에서 예측블록 생성 | |
KR20230127142A (ko) | 블록 경계 불연속성을 감소시키는 비디오 코딩방법 및 장치 | |
KR20220017372A (ko) | 영상 부/복호화 장치에서 이용하는 양자화 파라미터 예측 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230601 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230601 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240619 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240709 |