CN112997480A - 成对平均候选计算中的取整 - Google Patents
成对平均候选计算中的取整 Download PDFInfo
- Publication number
- CN112997480A CN112997480A CN201980073942.3A CN201980073942A CN112997480A CN 112997480 A CN112997480 A CN 112997480A CN 201980073942 A CN201980073942 A CN 201980073942A CN 112997480 A CN112997480 A CN 112997480A
- Authority
- CN
- China
- Prior art keywords
- motion
- pair
- video
- candidate
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012935 Averaging Methods 0.000 title description 5
- 230000033001 locomotion Effects 0.000 claims abstract description 379
- 239000013598 vector Substances 0.000 claims abstract description 174
- 238000000034 method Methods 0.000 claims abstract description 170
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000006243 chemical reaction Methods 0.000 claims abstract description 49
- 238000003672 processing method Methods 0.000 claims abstract description 17
- 238000004590 computer program Methods 0.000 claims description 17
- 238000005192 partition Methods 0.000 abstract description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 43
- 230000002123 temporal effect Effects 0.000 description 17
- 230000002146 bilateral effect Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 12
- 241000023320 Luma <angiosperm> Species 0.000 description 9
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 238000009795 derivation Methods 0.000 description 6
- 101100328886 Caenorhabditis elegans col-2 gene Proteins 0.000 description 5
- 238000013138 pruning Methods 0.000 description 5
- 230000002457 bidirectional effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 241000723655 Cowpea mosaic virus Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
描述了基于子块的预测中用于统一取整的设备、***和方法。在代表性方面,视频处理方法包括:基于运动候选对,为视频的当前块的处理生成成对Merge候选;以及基于成对Merge候选执行当前块与视频的比特流表示之间的转换。在另一个代表性方面,视频处理方法包括:基于缩放运动矢量和列表0运动矢量,为使用几何分割模式编解码的视频的当前块,生成单向预测运动候选;以及基于单向预测运动候选,执行当前块与视频的比特流表示之间的转换。
Description
相关申请的交叉引用
根据适用的《专利法》和/或《巴黎公约》的规定,本申请及时要求于2018年11月10日提交的国际专利申请号PCT/CN2018/114931的优先权和利益。根据美国法律的目的,将上述申请的全部公开以引用方式并入本文,作为本申请公开的一部分。
技术领域
本申请文档一般针对图像和视频编解码技术。
背景技术
运动补偿是视频处理中的技术,其通过考虑相机和/或视频中的对象的运动,在给定先前和/或将来帧的情况下预测视频中的帧。运动补偿可以用于视频数据的编码和解码以实现视频压缩。
发明内容
描述了与用于图像和视频编解码的、基于子块的预测的统一取整方法相关的设备、***和方法。
在一个代表性方面,所公开的技术可用于提供视频处理的方法。
所述方法包括:基于运动候选对,为视频的当前块的处理生成成对Merge候选;以及基于所述成对Merge候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述运动候选对包括第一运动候选中的参考图片列表L的第一运动矢量MV0=(MV0 x,MV0y)、以及第二运动候选中的所述参考图片列表L的第二运动矢量MV1=(MV1x,MV1y),并且其中,MV*=(MV*x,MV*y)是所述成对Merge候选,使得:
MV*x=Shift(MV0x+MV1x,1)且MV*y=Shift(MV0y+MV1y,1),
其中,Shift(x,s)=(x+off)>>s,其中off和s是整数,并且其中,>>表示右移操作。
在另一代表性方面,所公开的技术可用于提供视频处理的方法。
所述方法包括:基于运动候选对,为视频的当前块的处理生成成对Merge候选;以及基于所述成对Merge候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述运动候选对包括第一运动候选中的参考图片列表L的第一运动矢量MV0=(MV0 x,MV0y)、以及第二运动候选中的所述参考图片列表L的第二运动矢量MV1=(MV1x,MV1y),并且其中,MV*=(MV*x,MV*y)是所述成对Merge候选,使得:
MV*x=SignShift(MV0x+MV1x,1)且MV*y=SignShift(MV0y+MV1y,1),其中
其中off和s是整数,并且其中,>>表示移位操作。
在又一代表性方面,所公开的技术可用于提供视频处理的方法。
所述方法包括:基于运动候选对,为视频的当前块的处理生成成对Merge候选;以及基于所述成对Merge候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述运动候选对包括第一运动候选中的参考图片列表L的第一运动矢量MV0=(MV0 x,MV0y)、以及第二运动候选中的所述参考图片列表L的第二运动矢量MV1=(MV1x,MV1y),并且其中,MV*=(MV*x,MV*y)是所述成对Merge候选,使得:
MV*x=SignShift(MV0x+MV1x,1)且MV*y=SignShift(MV0y+MV1y,1),其中
其中off和s是整数,并且其中,>>表示移位操作。
在又一代表性方面,所公开的技术可用于提供视频处理的方法。
所述方法包括:为视频的当前块的处理生成成对Merge候选,其中所述生成基于参考包含所述当前块的当前图片的运动候选对;以及基于所述成对Merge候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述运动候选对包括第一运动候选中的参考图片列表L的第一运动矢量MV0=(MV0x,MV0y)、以及第二运动候选中的所述参考图片列表L的第二运动矢量MV1=(MV1x,MV1y),并且其中,MV*=(MV*x,MV*y)是所述成对Merge候选,使得:
MV*x=Shift(MV0x+MV1x,1)且MV*y=Shift(MV0y+MV1y,1),
其中Shift(x,s)=(x+off)>>s,其中off和s是整数,并且其中,>>表示右移操作。
在又一代表性方面,所公开的技术可用于提供视频处理的方法。
所述方法包括:为视频的当前块的处理生成成对Merge候选,其中所述生成基于参考包含所述当前块的当前图片的运动候选对;以及基于所述成对Merge候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述运动候选对包括第一运动候选中的参考图片列表L的第一运动矢量MV0=(MV0x,MV0y)、以及第二运动候选中的所述参考图片列表L的第二运动矢量MV1=(MV1x,MV1y),并且其中,MV*=(MV*x,MV*y)是所述成对Merge候选,使得:
MV*x=SignShift(MV0x+MV1x,1)且MV*y=SignShift(MV0y+MV1y,1),其中
其中off和s是整数,并且其中,>>表示移位操作。
在又一代表性方面,所公开的技术可用于提供视频处理的方法。
所述方法包括:为视频的当前块的处理生成成对Merge候选,其中所述生成基于参考包含所述当前块的当前图片的运动候选对;以及基于所述成对Merge候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述运动候选对包括第一运动候选中的参考图片列表L的第一运动矢量MV0=(MV0 x,MV0 y)、以及第二运动候选中的所述参考图片列表L的第二运动矢量MV1=(MV1x,MV1y),并且其中,MV*=(MV*x,MV*y)是所述成对Merge候选,使得:
MV*x=SignShift(MV0x+MV1x,1)且MV*y=SignShift(MV0y+MV1y,1),其中
其中off和s是整数,并且其中,>>表示移位操作。
在又一代表性方面,所公开的技术可用于提供视频处理的方法。
所述方法包括:为视频的当前块的处理生成成对Merge候选,其中所述生成基于参考包含所述当前块的当前图片的运动候选对;以及基于所述成对Merge候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述运动候选对包括第一运动候选中的参考图片列表L的第一运动矢量MV0=(MV0 x,MV0 y)、以及第二运动候选中的所述参考图片列表L的第二运动矢量MV1=(MV1x,MV1y),并且其中,MV*=(MV*x,MV*y)是所述成对Merge候选,使得:
MV*x=(Shift(MV0x+MV1x,(W+1)))<<W且
MV*y=(Shift(MV0y+MV1y,(W+1)))<<W,
其中Shift(x,s)=(x+off)>>s,其中W、off和s是整数,并且其中,>>表示右移操作。
在又一代表性方面,所公开的技术可用于提供视频处理的方法。
所述方法包括:为视频的当前块的处理生成成对Merge候选,其中所述生成基于参考包含所述当前块的当前图片的运动候选对;以及基于所述成对Merge候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述运动候选对包括第一运动候选中的参考图片列表L的第一运动矢量MV0=(MV0 x,MV0 y)、以及第二运动候选中的所述参考图片列表L的第二运动矢量MV1=(MV1x,MV1y),并且其中,MV*=(MV*x,MV*y)是所述成对Merge候选,使得:
MV*x=(SignShift(MV0x+MV1x,(W+1)))<<W且
MV*y=(SignShift(MV0y+MV1y,(W+1)))<<W,
其中
其中W、off和s是整数,并且其中,>>表示移位操作。
在又一代表性方面,所公开的技术可用于提供视频处理的方法。
所述方法包括:为视频的当前块的处理生成成对Merge候选,其中所述生成基于参考包含所述当前块的当前图片的运动候选对;以及基于所述成对Merge候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述运动候选对包括第一运动候选中的参考图片列表L的第一运动矢量MV0=(MV0 x,MV0 y)、以及第二运动候选中的所述参考图片列表L的第二运动矢量MV1=(MV1x,MV1y),并且其中,MV*=(MV*x,MV*y)是所述成对Merge候选,使得:
MV*x=(SignShift(MV0x+MV1x,(W+1)))<<W且
MV*y=(SignShift(MV0y+MV1y,(W+1)))<<W,
其中
其中W、off和s是整数,并且其中,>>表示移位操作。
在又一代表性方面,所公开的技术可用于提供视频处理的方法。
所述方法包括:基于缩放运动矢量和列表0运动矢量,为使用几何分割模式编解码的视频的当前块,生成单向预测运动候选;以及基于所述单向预测运动候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述缩放运动矢量为MV1’=(MV1′x,MV1′y),并且所述列表0运动矢量为MV0=(MV0x,MV0y),并且其中,MV*=(MV*x,MV*y)是所述单向预测运动候选,使得:
MV*x=Shift(MV0x+MV1′x,1)且MV*y=Shift(MV0y+MV1′y,1),
其中Shift(x,s)=(x+off)>>s,其中off和s是整数,并且其中,>>表示右移操作。
在又一代表性方面,所公开的技术可用于提供视频处理的方法。
所述方法包括:基于缩放运动矢量和列表0运动矢量,为使用几何分割模式编解码的视频的当前块,生成单向预测运动候选;以及基于所述单向预测运动候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述缩放运动矢量为MV1’=(MV1′x,MV1′y),并且所述列表0运动矢量为MV0=(MV0x,MV0y),并且其中,MV*=(MV*x,MV*y)是所述单向预测运动候选,使得:
MV*x=SignShift(MV0x+MV1′x,1)且MV*y=SignShift(MV0y+MV1′y,1),其中
其中off和s是整数,并且其中,>>表示移位操作。
在又一代表性方面,所公开的技术可用于提供视频处理的方法。
所述方法包括:基于缩放运动矢量和列表0运动矢量,为使用几何分割模式编解码的视频的当前块,生成单向预测运动候选;以及基于所述单向预测运动候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述缩放运动矢量为MV1’=(MV1′x,MV1′y),并且所述列表0运动矢量为MV0=(MV0x,MV0y),并且其中,MV*=(MV*x,MV*y)是所述单向预测运动候选,使得:
MV*x=SignShift(MV0x+MV1′x,1)且MV*y=SignShift(MV0y+MV1′y,1),其中
其中off和s是整数,并且其中,>>表示移位操作。
在又一代表性方面,上述方法可以以处理器可执行代码的形式体现,并且存储在计算机可读程序介质中。
在又一代表性方面,公开了一种设备,其被配置为或可操作以执行上述方法。所述设备可以包括被编程以实现该方法的处理器。
在又一代表性方面,视频解码装置可以实现本文中所述的方法。
在附图、说明书和权利要求书中更详细地描述了所公开的技术的上述和其它方面和特征。
附图说明
图1示出了基于子块的预测的示例。
图2示出了简化的仿射运动模型的示例。
图3示出了每个子块的仿射运动矢量场(MVF)的示例。
图4示出了AF_INTER仿射运动模式的运动矢量预测(MVP)的示例。
图5A和5B示出了AF_MERGE仿射运动模式的示例候选。
图6示出了使用用于编解码单元(CU)的可选时域运动矢量预测(ATMVP)算法的运动预测的示例。
图7示出了空时运动矢量预测(STMVP)算法使用的具有子块和相邻块的编解码单元(CU)的示例。
图8示出了双向光流(BIO)算法使用的光流轨迹的示例。
图9A和9B示出了使用无块扩展的双向光流(BIO)算法的示例快照。
图10示出了帧速率上转换(FRUC)算法中的双边匹配的示例。
图11示出了FRUC算法中的模板匹配的示例。
图12示出了FRUC算法中的单边运动估计的示例。
图13示出了JEM中4:2:0格式的不同分量的子块的示例。
图14示出了根据所公开的技术的4:2:0格式的不同分量的子块的示例。
图15示出了根据所公开的技术的4:2:0格式的不同分量的子块的另一示例。
图16示出了根据所公开的技术的子块运动矢量(MV)复制的示例。
图17示出了根据所公开的技术的子块运动矢量(MV)复制的另一示例。
图18示出了子块运动矢量(MV)推导的示例。
图19A至19C示出了视频处理的示例方法的流程图。
图20是用于实现本文档所述的视觉媒体解码或视觉媒体编码技术的硬件平台的示例的框图。
图21是可以实现所公开的技术的示例视频处理***的框图。
具体实施方式
由于对高分辨率视频的需求日益增加,视频编解码方法和技术在现代技术中无处不在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件,并且不断地被改进以提供更高的编解码效率。视频编解码器将未压缩的视频转换为压缩格式,或反之亦然。视频质量、用于表示视频的数据量(由比特率决定)、编码和解码算法的复杂度、对数据丢失和错误的敏感度、易于编辑、随机访问和端到端延迟(等待时间(latency))之间存在复杂的关系。压缩格式通常符合标准视频压缩规范,例如,高效视频编解码(HEVC)标准(也称为H.265或MPEG-H第2部分)、待定案的多功能视频编解码标准或其它当前和/或未来的视频编解码标准。
基于子块的预测首先被高效视频编解码(HEVC)标准引入视频编解码标准。使用基于子块的预测,将块(诸如编解码单元(CU)或预测单元(PU))划分为几个不重叠的子块。可以为不同的子块分配不同的运动信息,诸如参考索引或运动矢量(MV),并为每个子块分别执行运动补偿(MC)。图1示出了基于子块的预测的示例。
所公开的技术的实施例可应用于现有视频编解码标准(例如,HEVC、H.265)和未来标准,以提高运行时间性能。在本文中,使用章节标题来提高描述的可读性,并且不会以任何方式将讨论或实施例(和/或实现)仅限于各自的章节。
1.联合探索模型(JEM)的示例
在一些实施例中,使用名为联合探索模型(JEM)的参考软件来探索未来的视频编解码技术。在JEM中,基于子块的预测被用于多种编解码工具中,诸如仿射预测、可选时域运动矢量预测(ATMVP)、空时运动矢量预测(STMVP)、双向光流(BIO)、帧速率上转换(FRUC)、局部自适应运动矢量分辨率(LAMVR)、重叠块运动补偿(OBMC)、局部照明补偿(LIC)和解码器侧运动矢量细化(DMVR)。
1.1仿射预测的示例
在HEVC中,仅将平移运动模型应用于运动补偿预测(MCP)。然而,相机和对象可能具有多种运动,例如放大/缩小、旋转、透视运动和/或其它不规则运动。另一方面,JEM应用了简化的仿射变换运动补偿预测。图2示出了由两个控制点运动矢量V0和V1描述的块200的仿射运动场的示例。块200的运动矢量场(MVF)可以由以下等式描述:
如图2所示,(v0x,v0y)是左上角控制点的运动矢量,并且(v1x,v1y)是右上角控制点的运动矢量。为了简化运动补偿预测,可以应用基于子块的仿射变换预测。子块尺寸M×N推导如下:
这里,MvPre是运动矢量分数精度(例如,JEM中的1/16)。(v2x,v2y)是左下控制点的运动矢量,其根据等式(1)计算。如果需要,M和N可以被向下调节使其分别作为w和h的除数。
图3示出了块300的每个子块的仿射MVF的示例。为了推导出每个M×N子块的运动矢量,可以根据等式(1)计算每个子块的中心样本的运动矢量,并且取整到运动矢量分数精度(例如,JEM中的1/16)。然后可以应用运动补偿插值滤波器,利用推导出的运动矢量生成各子块的预测。在MCP之后,对每个子块的高精度运动矢量进行取整,并将其保存为与正常运动矢量相同的精度。
在JEM中,有两个仿射运动模式:AF_INTER模式和AF_MERGE模式。对于宽度和高度都大于8的CU,可以应用AF_INTER模式。在比特流中,发信令通知(signal)CU级别的仿射标志,以指示是否使用AF_INTER模式。在AF_INTER模式中,使用相邻块构造具有运动矢量对{(v0,v1)|v0={vA,vB,vc},v1={vD,vE}}的候选列表。
图4示出了在AF_INTER模式中块400的运动矢量预测(MVP)的示例。如图4所示,从子块A、B或C的运动矢量中选择v0。可以根据参考列表对相邻块的运动矢量进行缩放。也可以根据相邻块参考的图片顺序计数(POC)、当前CU参考的POC和当前CU的POC之间的关系对运动矢量进行缩放。从相邻的子块D和E中选择v1的方法类似。如果候选列表的数目小于2,则该列表由复制每个AMVP候选组成的运动矢量对来填充。当候选列表大于2时,可以首先根据相邻运动矢量对候选进行排序(例如,基于一对候选中两个运动矢量的相似性)。在一些实现中,保留前两个候选。在一些实施例中,使用速率失真(RD)成本检查来确定选择哪个运动矢量对候选作为当前CU的控制点运动矢量预测(CPMVP)。可以在比特流中用信令通知指示CPMVP在候选列表中的位置的索引。在确定了当前仿射CU的CPMVP后,应用仿射运动估计,并且找到控制点运动矢量(CPMV)。然后,在比特流中用信令通知CPMV和CPMVP的差异。
当在AF_MERGE模式下应用CU时,它从有效的相邻重构块中获取用仿射模式编解码的第一个块。图5A示出了当前CU 500的候选块的选择顺序的示例。如图5A所示,选择顺序可以是从当前CU 500的左(501)、上(502)、右上(503)、左下(504)到左上(505)。图5B示出了在AF_MERGE模式中当前CU 500的候选块的另一个示例。如果相邻的左下块501以仿射模式编解码,如图5B所示,则导出包含子块501的CU左上角、右上角和左下角的运动矢量v2、v3和v4。当前CU 500左上角的运动矢量v0是基于v2、v3和v4计算的。可以相应地计算当前CU右上的运动矢量v1。
根据等式(1)中的仿射运动模型计算当前CU的CPMV v0和v1后,可以生成当前CU的MVF。为了识别当前CU是否使用AF_MERGE模式进行编解码,当至少有一个相邻块以仿射模式编解码时,可以在比特流中用信令通知仿射标志。
在JEM中,仅当当前块的宽度和高度都大于8时可以使用非Merge仿射模式;仅当当前块的区域(即宽度x高度)不小于64时可以使用Merge仿射模式。
1.2可选时域运动矢量预测(ATMVP)的示例
在ATMVP方法中,通过从小于当前CU的块中提取多组运动信息(包括运动矢量和参考指数),来修改时域运动矢量预测(TMVP)方法。
图6示出了CU 600的ATMVP运动预测过程的示例。ATMVP方法分两步预测CU 600内子CU 601的运动矢量。第一步是用时域矢量识别参考图片650中的相应块651。参考图片650也称为运动源图片。第二步是将当前的CU 600划分成子CU 601,并从每个子CU对应的块中获取每个子CU的运动矢量和参考指数。
在第一步中,参考图片650和对应的块由当前CU 600的空间相邻块的运动信息确定。为了避免相邻块的重复扫描处理,使用当前CU 600的Merge候选列表中的第一Merge候选。第一可用的运动矢量及其相关联的参考索引被设置为时域矢量和对运动源图片的索引。这样,与TMVP相比,可以更准确地识别对应的块,其中对应的块(有时称为并置块)始终位于相对于当前CU的右下角或中心位置。
在第二步中,通过将时域矢量添加到当前CU的坐标中,通过运动源图片650中的时域矢量识别子CU 651的对应块。对于每个子CU,使用其对应块的运动信息(例如,覆盖中心样本的最小运动网格)来导出子CU的运动信息。在识别出对应的N×N块的运动信息后,用与HEVC的TMVP同样方式,将其转换为当前子CU的运动矢量和参考指数,其中应用运动缩放和其它程序。例如,解码器检查是否满足低延迟条件(例如,当前图片的所有参考图片的POC都小于当前图片的POC),并且可能使用运动矢量MVx(例如,与参考图片列表X对应的运动矢量)来预测每个子CU的运动矢量MVy(例如,X等于0或1并且Y等于1-X)。
1.3空时运动矢量预测(STMVP)的示例
在STMVP方法中,子CU的运动矢量按照光栅扫描顺序递归导出。图7示出具有四个子块的一个CU和相邻块的示例。考虑8×8的CU 700,其包括四个4×4子CU A(701)、B(702)、C(703)和D(704)。当前帧中相邻的4×4块标记为a(711)、b(712)、c(713)和d(714)。
子CU A的运动推导由识别其两个空间邻居开始。第一邻居是子CU A701上方的N×N块(块c 713)。如果该块c(713)不可用或是帧内编解码的,则检查子CU A(701)上方的其它N×N块(从左到右,从块c 713处开始)。第二邻居是子CU A 701左侧的一个块(块b 712)。如果块b(712)不可用或是帧内编解码的,则检查子CU A 701左侧的其它块(从上到下,从块b712处开始)。每个列表从相邻块获得的运动信息被缩放到给定列表的第一参考帧。接下来,按照HEVC中规定的与TMVP相同的程序,推导出子块A 701的时域运动矢量预测(TMVP)。提取块D 704处的并置块的运动信息并进行相应的缩放。最后,在检索和缩放运动信息后,对每个参考列表分别平均所有可用的运动矢量。将平均的运动矢量指定为当前子CU的运动矢量。
1.4双向光流(BIO)的示例
双向光流(BIO)方法是在逐块运动补偿之上对双向预测进行的逐样本运动细化。在一些实现中,样本级的运动细化不使用信令。
图8示出了双向光流(BIO)方法中的示例光流轨迹。这里,τ0和τ1表示到参考帧的距离。基于Ref0和Ref1的POC计算距离τ0和τ1:τ0=POC(当前)-POC(Ref0),τ1=POC(Ref1)-POC(当前)。如果两个预测都来自同一个时间方向(都来自过去或都来自未来),则符号是不同的(例如,τ0·τ1<0)。在这种情况下,如果预测不是来自同一时间点(例如,τ0≠τ1),则应用BIO。两个参考区域都具有非零运动(例如,MVx0,MVy0,MVx1,MVy1≠0),并且块运动矢量与时间距离成比例(例如,MVx0/MVx1=MVy0/MVy1=-τ0/τ1)。
通过最小化A点和B点之间的值的差Δ来确定运动矢量场(vx,vy)。图9A-9B示出了运动轨迹与参考帧平面相交的示例。对Δ,模型仅使用局部泰勒展开的第一个线性项:
上述等式中的所有值取决于样本位置,表示为(i′,j′)。假设在局部周围区域的运动是一致的,那么Δ可以在以当前预测点(i,j)为中心的(2M+1)x(2M+1)方形窗口Ω内最小化,其中M等于2:
对于这个优化问题,JEM使用简化方法,首先在垂直方向上最小化,然后在水平方向最小化。结果如下:
其中,
为了避免被零除或很小的值除,可在式(7)和式(8)中引入正则化参数r和m,其中
r=500·4d-8 等式(10)
m=700·4d-8 等式(11)
这里,d是视频样本的比特深度。
为了使BIO的内存访问与常规双向预测运动补偿相同,计算当前块内位置的所有预测和梯度值图9A示出了块900外部的访问位置示例。如图9A所示,在等式(9)中,以预测块边界上当前预测点为中心的(2M+1)x(2M+1)的方形窗口Ω需要访问块外的位置。在JEM中,块外的值I(k)、设置为等于块内最近的可用值。例如,这可以实现为填充区域901,如图9B所示。
使用BIO,可以对每个样本的运动场进行细化。为了降低计算复杂度,在JEM中采用了基于块设计的BIO。可以基于4x4块计算运动细化。在基于块的BIO中,可以对4x4块中所有样本的等式(9)中的sn值进行聚合,然后将sn的聚合值用于4x4块的推导的BIO运动矢量偏移。更具体地说,下面的等式可以用于基于块的BIO推导:
这里,bk表示属于预测块的第k个4x4块的样本组。等式(7)和等式(8)中的sn替换为((sn,bk)>>4)以推导相关联的运动矢量偏移。
在某些情况下,由于噪声或不规则运动,BIO的MV团(regiment)可能不可靠。因此,在BIO中,MV团的尺寸被固定到一个阈值。该阈值是基于当前图片的参考图片是否全部来自一个方向确定的。例如,如果当前图片的所有参考图片都来自一个方向,则该阈值的值被设置为12×214-d,否则其被设置为12×213-d。
可以使用与HEVC运动补偿处理一致的操作(例如,2D可分离有限脉冲响应(FIR))通过运动补偿插值同时计算BIO的梯度。在一些实施例中,2D可分离FIR的输入是与运动补偿处理相同的参考帧,以及根据块运动矢量的分数部分的分数位置(fracX,fracY)。对于水平梯度首先使用BIOfilterS对信号进行垂直插值,该BIOfilterS对应于具有去缩放位移d-8的分数位置fracY。然后在水平方向上应用梯度滤波器BIOfilterG,该BIOfilterG对应于具有去缩放位移18-d的分数位置fracX。对于垂直梯度使用BIOfilterG垂直地应用梯度滤波器,该BIOfilterG对应于具有去缩放位移d-8的分数位置fracY。然后,然后在水平方向上使用BIOfilterS执行信号替换,该BIOfilterS对应于具有去缩放位移18-d的分数位置fracX。用于梯度计算BIOfilterG和信号替换BIOfilterS的插值滤波器的长度可以更短(例如,6-tap),以保持合理的复杂度。表2示出了可用在BIO中块运动矢量的不同分数位置的梯度计算的示例滤波器。表3示出了可用在BIO中预测信号生成的插值示例滤波器。
表2 BIO中用于梯度计算的示例滤波器
分数像素位置 | 梯度的插值滤波器(BIOfilterG) |
0 | {8,-39,-3,46,-17,5} |
1/16 | {8,-32,-13,50,-18,5} |
1/8 | {7,-27,-20,54,-19,5} |
3/16 | {6,-21,-29,57,-18,5} |
1/4 | {4,-17,-36,60,-15,4} |
5/16 | {3,-9,-44,61,-15,4} |
3/8 | {1,-4,-48,61,-13,3} |
7/16 | {0,1,-54,60,-9,2} |
1/2 | {-1,4,-57,57,-4,1} |
表3 BIO中用于预测信号生成的示例插值滤波器
分数像素位置 | 用于预测信号的插值滤波器(BIOfilterS) |
0 | {0,0,64,0,0,0} |
1/16 | {1,-3,64,4,-2,0} |
1/8 | {1,-6,62,9,-3,1} |
3/16 | {2,-8,60,14,-5,1} |
1/4 | {2,-9,57,19,-7,2} |
5/16 | {3,-10,53,24,-8,2} |
3/8 | {3,-11,50,29,-9,2} |
7/16 | {3,-11,44,35,-10,3} |
1/2 | {3,-10,35,44,-11,3} |
在JEM中,当两个预测来自不同的参考图片时,BIO可应用于所有的双向预测块。当为CU启用局部照明补偿(LIC)时,可以禁用BIO。
在一些实施例中,在正常MC处理之后将OBMC应用于块。为了降低计算复杂度,在OBMC处理期间可能不应用BIO。这意味着在OBMC处理期间,当使用自己的MV时,将BIO应用于块的MC处理,而当使用相邻块的MV时,不将BIO应用于块的MC处理。
在JEM中,仅为亮度分量调用BIO。
1.5帧速率上转换(FRUC)的示例
对于CU,当其Merge标志为真时,可以用信令通知对FRUC标志。当FRUC标志为假时,可以用信令通知Merge索引并且使用常规Merge模式。当FRUC标志为真时,可以用信令通知另一个FRUC模式标志以指示将使用哪种方法(例如,双边匹配或模板匹配)来导出该块的运动信息。
在编码器端,基于对正常Merge候选所做的RD成本选择决定是否对CU使用FRUCMerge模式。例如,通过使用RD成本选择来检查CU的多个匹配模式(例如,双边匹配和模板匹配)。导致最低成本的模式进一步与其它CU模式相比较。如果FRUC匹配模式是最有效的模式,那么对于CU,将FRUC标志设置为真,并且使用相关的匹配模式。
通常,FRUC Merge模式中的运动推导处理有两个步骤:首先执行CU级运动搜索,然后执行子CU级运动细化。在CU级,基于双边匹配或模板匹配,导出整个CU的初始运动矢量。首先,生成MV候选列表,并且选择导致最低匹配成本的候选作为进一步CU级细化的起点。然后在起始点附近执行基于双边匹配或模板匹配的局部搜索。将最小匹配成本的MV结果作为整个CU的MV值。随后,以导出的CU运动矢量为起点,进一步在子CU级细化运动信息。
例如,对于W×H CU运动信息推导执行以下推导过程。在第一阶段,推导出了整个W×H CU的MV。在第二阶段,该CU进一步被分成M×M子CU。M的值按照(16)计算,D是预先定义的划分深度,在JEM中默认设置为3。然后导出每个子CU的MV值。
图10示出在帧速率上转换(FRUC)法中使用的双边匹配的示例。通过在两张不同的参考图片(1010,1011)中沿当前CU(1000)的运动轨迹找到两个块之间最接近的匹配,使用双边匹配来获得当前CU的运动信息。在连续运动轨迹假设下,指向两个参考块的运动矢量MV0(1001)和MV1(1002)与当前图片和两个参考图片之间的时间距离(例如,TD0(1003)和TD1(1004))成正比。在一些实施例中,当当前图片1000暂时位于两个参考图片(1010,1011)之间并且当前图片到两个参考图片的时间距离相同时,双边匹配成为基于镜像的双向MV。
图11示出在帧速率上转换(FRUC)方法中使用的模板匹配的示例。模板匹配可以用于通过找到当前图片中的模板(例如,当前CU的顶部和/或左侧相邻块)与参考图片1110中的块(例如,与模板尺寸相同)之间的最接近匹配来获取当前CU 1100的运动信息。除了上述的FRUC Merge模式外,模板匹配也可以应用于AMVP模式。在JEM和HEVC中,AMVP都具有两个候选。通过模板匹配方法,可以导出新的候选。如果通过模板匹配新导出的候选与第一个现有的AMVP候选不同,则将其***AMVP候选列表的最开始处,并且然后将列表尺寸设置为2(例如,通过删除第二个现有AMVP候选)。当应用于AMVP模式时,仅应用CU级搜索。
CU级设置的MV候选可以包括以下:(1)原始AMVP候选,如果当前CU处于AMVP模式,(2)所有Merge候选,(3)插值MV场(稍后描述)中的数个MV,以及顶部和左侧相邻运动矢量。
当使用双边匹配时,Merge候选的每个有效MV可以用作输入,以生成假设为双边匹配的MV对。例如,Merge候选在参考列表A处的一个有效MV为(MVa,refa)。然后在另一个参考列表B中找到其配对的双向MV的参考图片refb,使得refa和refb在时间上位于当前图片的不同侧。如果参考列表B中的这种refb不可用,则将refb确定为与参考refa不同的参考,并且其到当前图片的时间距离是列表B中的最小距离。确定refb后,通过基于当前图片和refa、refb之间的时间距离缩放MVa来导出MVb。
在一些实现中,还可以将来自插值MV场中的四个MV添加到CU级候选列表中。更具体地,添加当前CU的位置(0,0)、(W/2,0)、(0,H/2)和(W/2,H/2)处插值的MV。当在AMVP模式下应用FRUC时,原始的AMVP候选也被添加到CU级的MV候选集。在一些实现中,在CU级,可以将AMVP CU的15个MV和Merge CU的13个MV添加到候选列表中。
在子CU级设置的MV候选包括从CU级搜索确定的MV,(2)顶部、左侧、左上方和右上方相邻的MV,(3)参考图片中并置的MV的缩放版本,(4)一个或多个ATMVP候选(例如,最多四个)和(5)一个或多个STMVP候选(例如,最多四个)。来自参考图片的缩放MV如下导出。两个列表中的参考图片都被遍历。参考图片中子CU的并置位置处的MV被缩放为起始CU级MV的参考。ATMVP和STMVP候选可以是前四个。在子CU级,一个或多个MV(例如,最多17个)被添加到候选列表中。
插值MV场的生成。在对帧进行编解码之前,基于单向ME生成整个图片的插值运动场。然后,该运动场可以随后用作CU级或子CU级的MV候选。
在一些实施例中,两个参考列表中每个参考图片的运动场在4×4的块级别上被遍历。图12示出了在FRUC方法中的单边运动估计(ME)1200的示例。对于每个4×4块,如果与块相关联的运动通过当前图片中的4×4块,并且该块没有被分配任何插值运动,则根据时间距离TD0和TD1将参考块的运动缩放到当前图片(与HEVC中TMVP的MV缩放相同方式),并且在当前帧中将该缩放运动分配给该块。如果没有分配缩放的MV给4×4块,则在插值运动场中将块的运动标记为不可用。
插值和匹配成本。当运动矢量指向分数样本位置时,需要运动补偿插值。为了降低复杂度,对双边匹配和模板匹配都使用双线性插值而不是常规的8抽头HEVC插值。
匹配成本的计算在不同的步骤处有点不同。当从CU级的候选集中选择候选时,匹配成本可以是双边匹配或模板匹配的绝对和差(absolute sum difference,SAD)。在确定起始MV后,双边匹配在子CU级搜索的匹配成本C如下计算:
这里,w是权重系数。在一些实施例中,w可以被经验地设置为4。MV和MVs分别指示当前MV和起始MV。仍然可以将SAD用作模式匹配在子CU级搜索的匹配成本。
在FRUC模式下,通过仅使用亮度(亮度)样本导出MV。导出的运动将用于MC帧间预测的亮度和色度。确定MV后,对亮度使用8抽头(8-taps)插值滤波器并且对色度使用4抽头(4-taps)插值滤波器,来执行最终MC。
MV细化是基于模式的MV搜索,以双边匹配成本或模板匹配成本为标准。在JEM中,支持两种搜索模式—无限制中心偏置菱形搜索(UCBDS)和自适应交叉搜索,分别在CU级和子CU级进行MV细化。对于CU级和子CU级的MV细化,都在四分之一亮度样本MV精度下直接搜索MV,接着是八分之一亮度样本MV细化。将CU和子CU步骤的MV细化的搜索范围设置为8个亮度样本。
在双边匹配Merge模式下,应用双向预测,因为CU的运动信息是基于在两个不同的参考图片中沿着当前CU运动轨迹的两个块之间的最近匹配得出的。在模板匹配Merge模式下,编码器可以从列表0的单向预测、列表1的单向预测或者双向预测中为CU做出选择。该选择可以基于如下的模板匹配成本:
这里,cost0是列表0模板匹配的SAD,cost1是列表2模板匹配的SAD,并且costBi是双向模板匹配的SAD。例如,当factor的值等于1.25时,意味着选择过程朝双向预测偏移。帧间预测方向选择可应用于CU级模板匹配处理。
1.6为色度分量中的MC导出的MV的示例
在示例中,HEVC标准定义了如何从亮度分量中的MC使用的MV(称为mv)导出色度分量中的MC使用的MV(称为mvC)。一般来说,mvC是以mv乘以一个系数来计算的,这取决于色彩格式,如4:2:0或4:2:2。
1.7VVC中当前图片参考的示例
在HEVC屏幕内容编解码扩展(SCC)中,采用了帧内块复制(IBC,或称为帧内块补偿)技术,也称为当前图片参考(CPR)。这个工具对于屏幕内容视频的编解码非常有效,因为文本和图形丰富的内容频繁出现在相同图片中。将具有相等或相似模式的先前重构块作为预测器可以有效地降低预测误差,从而提高编解码效率。
与HEVC SCC中的CRP的设计类似,在VVC中,在序列和图片级二者上用信令通知IBC模式的使用。当在序列参数集(SPS)上启用IBC模式时,它可以在图片级启用。当在图片级启用IBC模式时,当前重建的图片被视为参考图片。因此,在现有的VVC帧间模式的顶层不需要在块级上进行语法改变来用信令通知IBC模式的使用。
本实施例的特征包括:
○它被视为常规帧间模式。因此,Merge和跳过模式也可用于IBC模式。Merge候选列表构造是统一的,包含来自以IBC模式或HEVC帧间模式编解码的相邻位置的Merge候选。取决于所选择的Merge索引,可以将Merge或跳过模式下的当前块合并到IBC模式编解码的邻居、或者以不同图片作为参考图片的常规帧间模式编解码的邻居。
○IBC模式的块矢量预测和编解码方案重用在HEVC帧间模式(AMVP和MVD编码)中用于运动矢量预测和编解码的方案。
○IBC模式的运动矢量(也称为块矢量)以整数像素精度编解码,但在解码后以1/16像素精度存储在存储器中,因为在插值和去方块阶段需要四分之一像素精度。当用于IBC模式的运动矢量预测时,存储的矢量预测器将右移4。
○搜索范围:限制在当前CTU内。
○当启用仿射模式/三角模式/GBI/加权预测时,不允许CPR。
1.8成对平均候选的示例
通过对当前Merge候选列表中预定义候选对进行平均,生成成对平均候选,并且预定义对定义为{(0,1),(0,2),(1,2),(0,3),(1,3),(2,3)},其中数字表示Merge候选列表的Merge索引。分别计算每个参考列表的平均运动矢量。如果两个运动矢量都在一个列表中可用,则即使当这两个运动矢量指向不同的参考图片时,也会对它们进行平均;如果只有一个运动矢量可用,则直接使用该运动矢量;如果没有运动矢量可用,则保持此列表无效。在HEVC标准中,成对平均候选替换组合候选。假设两个Merge候选的MV是MV0=(MV0x,MV0y)和MV1=(MV1x,MV1y),则表示为MV*=(MV*x,MV*y)的成对Merge候选的MV导出为:
MV*x=(MV0x+MV1x)/2,并且
MV*y=(MV0y+MV1y)/2。
此外,当MV0和MV1参考当前图片(即CPR模式)时,MV*x和MV*y被进一步取整,以移除比全像素精度更高的部分,以确保获取整数MV:
MV*x=(MV*x/16)<<4,并且
MV*y=(MV*y/16)<<4
应当注意的是,对于每一对,如果两个中的一个用CPR编解码,而另一个没有用CPR编码,则不允许该对生成成对平均候选。
1.9三角预测模式的示例
三角预测模式(TPM)的概念是引入用于运动补偿预测的新的三角分割。在对角线方向或逆对角线方向上将CU划分成两个三角预测单元。CU中的每个三角预测单元是使用从单个单向预测候选列表导出的其自身的单向预测运动矢量和参考帧索引进行帧间预测的。在对三角预测单元进行预测后,对对角线边缘进行自适应加权处理。然后,将变换和量化处理应用到整个CU中。应当注意的是,此模式仅适用于Merge模式(注意:跳过模式被视为特殊的Merge模式)。TPM的单向预测候选列表。
名为TPM运动候选列表的单向预测候选列表由五个单向预测运动矢量候选组成。它从七个相邻块导出,包括五个空域相邻块和两个时域并置块。收集7个相邻块的运动矢量,并将其按照单向预测运动矢量、双向预测运动矢量的L0运动矢量、双向预测运动矢量的L1运动矢量、以及双向预测运动矢量的L0和L1运动矢量的平均运动矢量的顺序放入单向预测候选列表中。如果候选数目小于5,则将零运动矢量添加到列表中。添加到该列表中的运动候选被称为TPM候选,从空域/时域块导出的运动信息被称为常规运动候选。
更具体地,涉及以下步骤:
(1)在不进行任何修剪操作的情况下,从A1、B1、B0、A0、B2、Col和Col2(与在常规Merge模式中相似)中获取常规运动候选。
(2)设置变量numCurrMergeCand=0。
(3)对于从A1、B1、B0、A0、B2、Col和Col2导出的每个常规运动候选,并且numCurrMergeCand小于5,如果该常规运动候选是单向预测的(来自列表0或列表1),则直接将其添加到Merge列表中作为TPM候选,且numCurrMergeCand增加1。这种TPM候选被命名为“原始单向预测预测候选”。
应用完全修剪。
(4)对于从A1、B1、B0、A0、B2、Col和Col2导出的每个运动候选,并且numCurrMergeCand小于5,如果该常规运动候选是双向预测的,则将来自列表0的运动信息添加到TPM Merge列表(即,修改为来自列表0的单向预测)作为新的TPM候选,且numCurrMergeCand增加1。这种TPM候选被命名为“截断的列表0预测候选”。
应用完全修剪。
(5)对于从A1、B1、B0、A0、B2、Col和Col2导出的每个运动候选,并且numCurrMergeCand小于5,如果该常规运动候选是双向预测的,则将来自列表1的运动信息添加到TPM Merge列表(即,修改为来自列表1的单向预测),且numCurrMergeCand增加1。这种TPM候选被命名为“截断的列表1预测候选”。
应用完全修剪。
(6)对于从A1、B1、B0、A0、B2、Col和Col2导出的每个运动候选,并且numCurrMergeCand小于5,如果该常规运动候选是双向预测的,则首先将列表1的运动信息缩放到列表0参考图片,并且将两个MV(一个来自原始列表0,并且另一个是来自列表1的缩放MV)的平均添加到TPM Merge列表,这种候选被称为来自列表0运动候选的平均单向预测,且numCurrMergeCand增加1。
应用完全修剪。
(7)如果numCurrMergeCand小于5,则添加零运动矢量候选。
在将候选***列表时,如果需要将其与所有先前添加的候选做比较,以查看该候选是否与它们中的一个等同,则将这种处理称为完全修剪。
假设缩放的MV表示为(MV1’x,MV1’y),并且列表0MV表示为(MV0x,MV0y)。表示为(MV*x,MV*y)的来自列表0运动候选的平均单向预测被定义为:
MV*x=(MV0x+MV1’x+1)>>1,并且
MV*y=(MV0y+MV1’y+1)>>1。
2.现有实现的缺陷
现有的基于子块的预测技术存在以下问题:
(1)在一些现有实现中,子块尺寸(诸如JEM中的4×4)主要针对亮度分量设计的。在JEM中,对于4:2:0格式的色度分量,子块的尺寸是2×2,并且对于4:2:2格式的色度分量,子块的尺寸是2×4。子块的小尺寸对带宽提出了更高的要求。图13示出了JEM中4:2:0格式的不同分量的16×16块(Cb/Cr为8×8)的子块的示例。
(2)在一些现有的基于子块的工具(诸如JEM中的仿射预测)中,用等式(1)中的仿射模型为每个分量独立地计算每个子块的MV,这导致亮度和色度分量之间的运动矢量的错位。
(3)在一些现有的基于子块的工具(诸如仿射预测)中,对于Merge模式和非Merge帧间模式(即AMVP模式、或常规帧间模式),使用约束是不同的,需要对其进行统一。
(4)在一些现有实现中,从列表0运动候选中导出成对Merge候选/平均单向预测的运动矢量平均操作应该与子块预测中使用的取整方法对准。从而硬件可以有统一的设计。
3.视频编解码中统一取整的示例方法
示例1.取决于色彩分量和/或色彩格式和/或块形状/尺寸,以不同的方式将一个块划分为子块。
(a)对于一个亮度及其相应的色度块(例如,对于4:2:0色彩格式,一个M x N的亮度块对应于一个M/2x N/2的Cb块和一个M/2x N/2的Cr块),对于不同的分量,划分的子块的数目可以不同。如果块对于该分量具有较大的尺寸,则针对该分量将块划分为更多子块。
(b)对于每个色彩分量,子块的尺寸是相同的,例如对于Y、Cb和Cr分量为w×h,其中w×h可以是8×8、8×4、4×8、4×4等。例如,w和h都等于4。图14示出了4:2:0格式的不同分量的16×16块(对于Cb/Cr为8×8)的提议子块的示例。在一个示例中,如果w>W或h>H,则针对该分量不将块划分为子块。
(c)可以允许一个块内的不同尺寸的子块。在一个示例中,如果W(或H)不是w(或h)的整数倍,则建议将宽度/高度小于w/h的子块合并到其相邻的左侧或上方子块中。图15示出了将12×16的块(对于Cb/Cr为6×8)划分为子块的示例。子块尺寸为4×4。对于Cb/Cr分量,最后两个子块的尺寸为2×4,因此它们被合并到其左侧相邻块中。
(d)子块尺寸可进一步取决于块形状。
(i)在一个示例中,对于正方形块(W等于H),w可以设置为等于h。
(ii)可选地,对于非正方形块(W不等于H),w可以不等于h。
例如,当W>H时,w可以设置为大于h,反之亦然。
(e)可以在序列参数集(SPS)、图片参数集(PPS)、条带标头中用信令通知不同色彩分量或不同块形状的子块尺寸。
(f)可以以不同的方式确定Y分量和Cb/Cr分量的子块尺寸。例如,可以从诸如4×4、8×8、4×8和8×4的一些候选中自适应地确定Y分量的子块尺寸,但是将Cb/Cr分量的子块尺寸固定为4×4。
(g)Y分量和Cb/Cr分量的子块尺寸可取决于色彩格式,诸如4:2:0、4:2:2和4:4:4。
示例2.可以从另一个色彩分量的一个或多个子块的MV(已经用仿射模型导出)导出一个色彩分量的子块的MV。在这种情况下,不需要基于同一色彩分量的信息导出一个色彩分量的运动信息三次。
(a)在一个示例中,可以从另一个分量的对应子块的MV中导出一个分量的子块的MV。图16示出了4:2:0格式的示例。按照图13中的示例划分每个分量的块。从Y分量中对应的4×4子块的MV复制第一个导出的MV*,然后根据第1.6节中规定的规则,从MV*导出Cb或Cr分量中的2×2子块的MV。
(b)在另一示例中,可以从另一个分量的几个对应子块的MV导出一个分量的子块的MV。图17示出了4:2:0格式的示例,其中Cb或Cr分量中的4×4子块对应于Y分量中的四个4×4子块。按照图14中的示例划分每个分量的块。从另一个分量的几个对应子块的MV计算第一个导出的MV*,然后根据第1.6节中规定的规则,从MV*导出Cb或Cr分量中的4×4子块的MV。
(i)在一个实施例中,MV*被计算为Y分量中所有对应子块MV的平均。在示例中,MV*=(MV0+MV1+MV2+MV3)/4。假设MV*=(MV*x,MV*y),MV0=(MV0x,MV0y),MV1=(MV1x,MV1y),MV2=(MV2x,MV2y)并且MV3=(MV3x,MV3y),
(1)在一个实施例中,MV*x=Shift(MV0x+MV1x+MV2x+MV3x,2),MV*y=Shift(MV0y+MV1y+MV2y+MV3y,2)。
(2)在另一个实施例中,MVx*=SignShift(MV0x+MV1x+MV2x+MV3x,2),MVy*=SignShift(MV0y+MV1y+MV2y+MV3y,2)。
(3)在另一个实施例中,MV*的计算可以按以下步骤依次进行:
MV’x=Shift(MV0x+MV1x,1),
MV’y=Shift(MV0y+MV1y,1),
MV”x=Shift(MV2x+MV3x,1),
MV”y=Shift(MV2y+MV3y,1),
MV*x=Shift(MV’x+MV”x,1),以及
MV*y=Shift(MV’y+MV”y,1)。
(4)在另一个实施例中,MV*的计算可以按以下步骤依次进行:
MV’x=Shift(MV0x+MV2x,1),
MV’y=Shift(MV0y+MV2y,1),
MV”x=Shift(MV1x+MV3x,1),
MV”y=Shift(MV1y+MV3y,1),
MV*x=Shift(MV’x+MV”x,1),以及
MV*y=Shift(MV’y+MV”y,1)。
(5)在另一个实施例中,MV*的计算可以按以下步骤依次进行:
MV’x=SignShift(MV0x+MV1x,1),
MV’y=SignShift(MV0y+MV1y,1),
MV”x=SignShift(MV2x+MV3x,1),
MV”y=SignShift(MV2y+MV3y,1),
MV*x=SignShift(MV’x+MV”x,1),以及
MV*y=SignShift(MV’y+MV”y,1)。
(6)在另一个实施例中,MV*的计算可以按以下步骤依次进行:
MV’x=SignShift(MV0x+MV2x,1),
MV’y=SignShift(MV0y+MV2y,1),
MV”x=SignShift(MV1x+MV3x,1),
MV”y=SignShift(MV1y+MV3y,1),
MV*x=SignShift(MV’x+MV”x,1),以及
MV*y=SignShift(MV’y+MV”y,1)。
(ii)在一个实施例中,MV*被计算为Y分量中左上对应子块的MV。在该示例例中,MV*=MV0。
(iii)在一个实施例中,MV*被计算为Y分量中中心对应子块的MV。
(iv)在一个实施例中,MV*被计算为Y分量中所有对应子块MV的中值(median)。在一个示例中,MV*=median(MV0,MV1,MV2,MV3)。
(v)可以基于色彩格式(诸如4:2:0、4:2:2和4:4:4)来确定如何从另一个分量导出一个分量的子块的MV。
(1)在色彩格式为4:4:4的示例中,所有分量的子块尺寸都相同,并且每个子块的子块的MV都相同。
(2)在色彩格式为4:2:2的示例中,所有分量的子块尺寸都相同。从另一个分量的几个对应子块的MV计算第一个导出的MV*,然后根据第2.6节中规定的规则,从MV*导出Cb或Cr分量中的子块的MV。在图18所示的示例中,一个Cb/Cr子块对应于具有运动矢量MV0和MV1的两个Y子块。
(a)MV*=(MV0+MV1)/2;假设MV*=(MV*x,MV*y),MV0=(MV0x,MV0y),MV1=(MV1x,MV1y),
(i)在一个实施例中,MV*x=Shift(MV0x+MV1x,1),MV*y=Shift(MV0y+MV1y,1)。
(ii)在另一实施例中,MVx*=SignShift(MV0x+MV1x,1),MVy*=SignShift(MV0y+MV1y,1)。
Merge和非Merge仿射模式的统一约束的示例
示例3.以相同块尺寸约束允许或不允许Merge仿射模式和非Merge仿射模式。
(a)块尺寸约束取决于与一个或两个阈值相比的宽度和高度。例如,如果当前块的宽度和高度都大于M(例如,M等于8),或者宽度大于M0并且高度大于M1(例如,M0等于8,并且M1等于4),则允许Merge仿射模式和非Merge仿射模式二者;否则,不允许Merge仿射模式和非Merge仿射模式。
(b)块尺寸约束取决于一个块内的样本点总数(即面积宽度x高度)。在一个示例中,如果当前块的面积(即宽度×高度)不小于N(例如,N等于64),则允许Merge仿射模式和非Merge仿射模式二者;否则,不允许Merge仿射模式和非Merge仿射模式。
(c)对于Merge仿射模式,它可以是如在JEM中用信令通知标志的显式模式,或者也可以是如在其他实现中不用信令通知标志的隐式模式。在后一种情况下,如果不允许Merge仿射模式,则不将仿射Merge候选放入统一Merge候选列表中。
(d)对于非Merge仿射模式,当根据上述规则不允许仿射时,跳过对仿射模式指示的信令通知。
统一取整处理的示例
示例4.假设一个Merge候选具有表示为MV0=(MV0 x,MV0 y)的运动矢量,并且另一个Merge候选具有表示为MV1=(MV1x,MV1y)的运动矢量,则从这两个Merge候选中导出的成对Merge候选中的一个MV(表示为MV*=(MV*x,MV*y))导出为:
MV*x=Shift(MV0x+MV1x,1),并且
MV*y=Shift(MV0y+MV1y,1).
可替代地,
MV*x=SignShift(MV0x+MV1x,1),并且
MV*y=SignShift(MV0y+MV1y,1)。
示例5.假设一个Merge候选具有表示为MV0=(MV0 x,MV0 y)的运动矢量,并且另一个Merge候选具有表示为MV1=(MV1x,MV1y)的运动矢量,并且MV0和/或MV1参考当前图片,则从这两个Merge候选导出的成对Merge候选的一个MV(表示为MV*=(MV*x,MV*y))导出为:
(a)MV*x=Shift(MV0x+MV1x,1);MV*y=Shift(MV0y+MV1y,1);则MV*x=(Shift(MV*x,4))<<4;MV*y=(Shift(MV*y,4))<<4(b)MV*x=SignShift(MV0x+MV1x,1);MV*y=SignShift(MV0y+MV1y,1);则MV*x=(SignShift(MV*x,4))<<4;MV*y=(SignShift(MV*y,4))<<4
(c)MV*x=(Shift(MV0x+MV1x,(W+1)))<<W;MV*y=(Shift(MV0y+MV1y,(W+1)))<<W,其中W是诸如2或4的整数。W是整数,使得1<<W等于MV表示精度。
(d)MV*x=(SignShift(MV0x+MV1x,(W+1)))<<W;MV*y=(SignShift(MV0y+MV1y,(W+1)))<<W,其中W是诸如2或4的整数。W是整数,使得1<<W等于MV表示精度。
示例6.假设缩放MV由(MV1’x,MV1’y)表示,并且列表0MV由(MV0x,MV0y)表示。则由(MV*x,MV*y)表示的来自列表0运动候选的平均单向预测被定义为:
MV*x=Shift(MV0x+MV1’x,1),并且
MV*y=Shift(MV0y+MV1’y,1).
可替代地,
MV*x=SignShift(MV0x+MV1’x,1),并且
MV*y=SignShift(MV0y+MV1’y,1)。
在一些实施例中,SignShift(x,s)可以向0右移一个整数,定义为:
这里,off=(1<<(s-1))-1。
在其他实施例中,SignShift(x,s)可替代地定义为:
这里,off=(1<<(s-1))-1。
上面描述的示例可以并入下面描述的方法的上下文,例如,可以在视频解码器和/或视频编码器处实现的方法1930、1960和1990。
图19A示出了视频处理的示例方法1930的流程图。方法1930包括:在步骤1932,基于运动候选对,为视频的当前块的处理生成成对Merge候选。
方法1930包括:在步骤1934,基于所述成对Merge候选执行所述视频的比特流表示与所述当前块之间的转换。
图19B示出了视频处理的示例方法1960的流程图。方法1960包括:在步骤1962,为视频的当前块的处理生成成对Merge候选,所述生成基于参考包含所述当前块的当前图片的运动候选对。
方法1960包括:在步骤1964,基于所述成对Merge候选执行所述视频的比特流表示与所述当前块之间的转换。
图19C示出了视频处理的示例方法1990的流程图。方法1990包括:在步骤1992,基于缩放运动矢量和列表0运动矢量,为使用几何分割模式编解码的视频的当前块,生成单向预测运动候选。
方法1990包括:在步骤1994,基于所述单向预测运动候选,执行所述视频的比特流表示与所述当前块之间的转换。
在一些实施例中,实现了以下技术解决方案:
A1.一种视频处理方法,包括:基于运动候选对,为视频的当前块的处理生成成对Merge候选;以及基于所述成对Merge候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述运动候选对包括第一运动候选中的参考图片列表L的第一运动矢量MV0=(MV0 x,MV0 y)、以及第二运动候选中的所述参考图片列表L的第二运动矢量MV1=(MV1x,MV1y),并且其中,MV*=(MV*x,MV*y)是所述成对Merge候选,使得:
MV*x=Shift(MV0x+MV1x,1)且MV*y=Shift(MV0y+MV1y,1),
其中,Shift(x,s)=(x+off)>>s,其中off和s是整数,并且其中,>>表示右移操作。
A2.一种视频处理方法,包括:基于运动候选对,为视频的当前块的处理生成成对Merge候选;以及基于所述成对Merge候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述运动候选对包括第一运动候选中的参考图片列表L的第一运动矢量MV0=(MV0 x,MV0 y)、以及第二运动候选中的所述参考图片列表L的第二运动矢量MV1=(MV1x,MV1y),并且其中,MV*=(MV*x,MV*y)是所述成对Merge候选,使得:
MV*x=SignShift(MV0x+MV1x,1)且MV*y=SignShift(MV0y+MV1y,1),其中
其中off和s是整数,并且其中,>>表示移位操作。
A3.一种视频处理方法,包括:基于运动候选对,为视频的当前块的处理生成成对Merge候选;以及基于所述成对Merge候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述运动候选对包括第一运动候选中的参考图片列表L的第一运动矢量MV0=(MV0 x,MV0 y)、以及第二运动候选中的所述参考图片列表L的第二运动矢量MV1=(MV1x,MV1y),并且其中,MV*=(MV*x,MV*y)是所述成对Merge候选,使得:
MV*x=SignShift(MV0x+MV1x,1)且MV*y=SignShift(MV0y+MV1y,1),其中
其中off和s是整数,并且其中,>>表示移位操作。
A4.根据解决方案A1至A3中任一项所述的方法,其中,Merge候选对来自Merge候选列表。
A5.根据解决方案A1至A3中任一项所述的方法,其中,所述参考图片列表L包括参考图片列表0(L0)或参考图片列表1(L1)。
A6.根据解决方案A1至A3中任一项所述的方法,还包括:将所述成对Merge候选***所述Merge候选列表中。
A7.根据解决方案A1至A3中任一项所述的方法,还包括:在执行所述转换之后更新所述Merge候选列表。
A8.根据解决方案A1至A7中任一项所述的方法,其中,off=0。
A9.根据解决方案A1至A7中任一项所述的方法,其中,当确定s=0时,off=0。
A10.根据解决方案A1至A7中任一项所述的方法,其中,off=1<<(s-1)。
A11.根据解决方案A1至A7中任一项所述的方法,其中,当确定s≠0时,off=1<<(s-1)。
A12.根据解决方案A1至A7中任一项所述的方法,其中,off=(1<<(s-1))-1。
A13.根据解决方案A1至A12中任一项所述的方法,其中,所述当前视频块是编解码单元。
A14.根据解决方案A1至A13中任一项所述的方法,其中,执行所述转换包括:从所述当前视频块生成所述比特流表示。
A15.根据解决方案A1至A13中任一项所述的方法,其中,执行所述转换包括:从所述比特流表示生成所述当前视频块。
A16.一种视频解码装置,包括处理器,所述处理器被配置为实现解决方案A1至A15中任一项所述的方法。
A17.一种存储在非暂时性计算机可读介质上的计算机程序产品,所述计算机程序产品包括用于实现解决方案A1至A15中任一项所述的方法的程序代码。
在一些实施例中,实现了以下技术解决方案:
B1.一种视频处理方法,包括:为视频的当前块的处理生成成对Merge候选,其中所述生成基于参考包含所述当前块的当前图片的运动候选对;以及基于所述成对Merge候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述运动候选对包括第一运动候选中的参考图片列表L的第一运动矢量MV0=(MV0 x,MV0 y)、以及第二运动候选中的所述参考图片列表L的第二运动矢量MV1=(MV1x,MV1y),并且其中,MV*=(MV*x,MV*y)是所述成对Merge候选,使得:
MV*x=Shift(MV0x+MV1x,1)且MV*y=Shift(MV0y+MV1y,1),
其中Shift(x,s)=(x+off)>>s,其中off和s是整数,并且其中,>>表示右移操作。
B2.根据解决方案B1所述的方法,其中,生成所述成对Merge候选还包括执行以下操作:
MV*x=(Shift(MV*x,4))<<4并且MV*y=(Shift(MV*y,4))<<4。
B3.一种视频处理方法,包括:为视频的当前块的处理生成成对Merge候选,其中所述生成基于参考包含所述当前块的当前图片的运动候选对;以及基于所述成对Merge候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述运动候选对包括第一运动候选中的参考图片列表L的第一运动矢量MV0=(MV0 x,MV0 y)、以及第二运动候选中的所述参考图片列表L的第二运动矢量MV1=(MV1x,MV1y),并且其中,MV*=(MV*x,MV*y)是所述成对Merge候选,使得:
MV*x=SignShift(MV0x+MV1x,1)且MV*y=SignShift(MV0y+MV1y,1),其中
其中off和s是整数,并且其中,>>表示移位操作。
B4.根据解决方案B3所述的方法,其中,生成所述成对Merge候选还包括执行以下操作:
MV*x=(SignShift(MV*x,4))<<4且MV*y=(SignShift(MV*y,4))<<4。
B5.一种视频处理方法,包括:为视频的当前块的处理生成成对Merge候选,其中所述生成基于参考包含所述当前块的当前图片的运动候选对;以及基于所述成对Merge候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述运动候选对包括第一运动候选中的参考图片列表L的第一运动矢量MV0=(MV0 x,MV0 y)、以及第二运动候选中的所述参考图片列表L的第二运动矢量MV1=(MV1x,MV1y),并且其中,MV*=(MV*x,MV*y)是所述成对Merge候选,使得:
MV*x=SignShift(MV0x+MV1x,1)且MV*y=SignShift(MV0y+MV1y,1),其中
其中off和s是整数,并且其中,>>表示移位操作。
B6.根据解决方案B5所述的方法,其中,生成所述成对Merge候选还包括执行以下操作:
MV*x=(SignShift(MV*x,4))<<4且MV*y=(SignShift(MV*y,4))<<4。
B7.一种视频处理方法,包括:为视频的当前块的处理生成成对Merge候选,其中所述生成基于参考包含所述当前块的当前图片的运动候选对;以及基于所述成对Merge候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述运动候选对包括第一运动候选中的参考图片列表L的第一运动矢量MV0=(MV0 x,MV0 y)、以及第二运动候选中的所述参考图片列表L的第二运动矢量MV1=(MV1x,MV1y),并且其中,MV*=(MV*x,MV*y)是所述成对Merge候选,使得:
MV*x=(Shift(MV0x+MV1x,(W+1)))<<W且
MV*y=(Shift(MV0y+MV1y,(W+1)))<<W,
其中Shift(x,s)=(x+off)>>s,其中W、off和s是整数,并且其中,>>表示右移操作。
B8.一种视频处理方法,包括:为视频的当前块的处理生成成对Merge候选,其中所述生成基于参考包含所述当前块的当前图片的运动候选对;以及基于所述成对Merge候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述运动候选对包括第一运动候选中的参考图片列表L的第一运动矢量MV0=(MV0 x,MV0 y)、以及第二运动候选中的所述参考图片列表L的第二运动矢量MV1=(MV1x,MV1y),并且其中,MV*=(MV*x,MV*y)是所述成对Merge候选,使得:
MV*x=(SignShift(MV0x+MV1x,(W+1)))<<W且
MV*y=(SignShift(MV0y+MV1y,(W+1)))<<W,
其中
其中W、off和s是整数,并且其中,>>表示移位操作。
B9.一种视频处理方法,包括:为视频的当前块的处理生成成对Merge候选,其中所述生成基于参考包含所述当前块的当前图片的运动候选对;以及基于所述成对Merge候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述运动候选对包括第一运动候选中的参考图片列表L的第一运动矢量MV0=(MV0 x,MV0 y)、以及第二运动候选中的所述参考图片列表L的第二运动矢量MV1=(MV1x,MV1y),并且其中,MV*=(MV*x,MV*y)是所述成对Merge候选,使得:
MV*x=(SignShift(MV0x+MV1x,(W+1)))<<W且
MV*y=(SignShift(MV0y+MV1y,(W+1)))<<W,
其中
其中W、off和s是整数,并且其中,>>表示移位操作。
B10.根据解决方案B7至B9中任一项所述的方法,其中,W=2或W=4。
B11.根据解决方案B10所述的方法,其中,(1<<W)是运动矢量表示精度。
B12.根据解决方案B1至B11中任一项所述的方法,其中,所述Merge候选对来自Merge候选列表。
B13.根据解决方案B1至B11中任一项所述的方法,其中,所述参考图片列表L包括参考图片列表0(L0)或参考图片列表1(L1)。
B14.根据解决方案B1至B11中任一项所述的方法,还包括:将所述成对Merge候选***所述Merge候选列表中。
B15.根据解决方案B1至B11中任一项所述的方法,还包括:在执行所述转换之后更新所述Merge候选列表。
B16.根据解决方案B1至B15中任一项所述的方法,其中,off=0。
B17.根据解决方案B1至B15中任一项所述的方法,其中,当确定s=0时,off=0。
B18.根据解决方案B1至B15中任一项所述的方法,其中,off=1<<(s-1)。
B19.根据解决方案B1至B15中任一项所述的方法,其中,当确定s≠0时,off=1<<(s-1)。
B20.根据解决方案B1至B15中任一项所述的方法,其中,off=(1<<(s-1))-1。
B21.根据解决方案B1至B20中任一项所述的方法,其中,所述当前视频块是编解码单元。
B22.根据解决方案B1至B21中任一项所述的方法,其中,执行所述转换包括:从所述当前块生成所述比特流表示。
B23.根据解决方案B1至B21中任一项所述的方法,其中,执行所述转换包括:从所述比特流表示生成所述当前块。
B24.一种视频解码装置,包括处理器,所述处理器被配置为实现解决方案B1至B23中任一项所述的方法。
B25.一种存储在非暂时性计算机可读介质上的计算机程序产品,所述计算机程序产品包括用于实现解决方案B1至B23中任一项所述的方法的程序代码。
在一些实施例中,实现了以下技术解决方案:
C1.一种视频处理方法,包括:基于缩放运动矢量和列表0运动矢量,为使用几何分割模式编解码的视频的当前块,生成单向预测运动候选;以及基于所述单向预测运动候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述缩放运动矢量为MV1’=(MV1′x,MV1′y),并且所述列表0运动矢量为MV0=(MV0x,MV0y),并且其中,MV*=(MV*x,MV*y)是所述单向预测运动候选,使得:
MV*x=Shift(MV0x+MV1′x,1)且MV*y=Shift(MV0y+MV1′y,1),
其中Shift(x,s)=(x+off)>>s,其中off和s是整数,并且其中,>>表示右移操作。
C2.一种视频处理方法,包括:基于缩放运动矢量和列表0运动矢量,为使用几何分割模式编解码的视频的当前块,生成单向预测运动候选;以及基于所述单向预测运动候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述缩放运动矢量为MV1’=(MV1′x,MV1′y),并且所述列表0运动矢量为MV0=(MV0x,MV0y),并且其中,MV*=(MV*x,MV*y)是所述单向预测运动候选,使得:
MV*x=SignShift(MV0x+MV1′x,1)且MV*y=SignShift(MV0y+MV1′y,1),其中
其中off和s是整数,并且其中,>>表示移位操作。
C3.一种视频处理方法,包括:基于缩放运动矢量和列表0运动矢量,为使用几何分割模式编解码的视频的当前块,生成单向预测运动候选;以及基于所述单向预测运动候选,执行所述视频的比特流表示与所述当前块之间的转换,其中,所述缩放运动矢量为MV1’=(MV1′x,MV1′y),并且所述列表0运动矢量为MV0=(MV0x,MV0y),并且其中,MV*=(MV*x,MV*y)是所述单向预测运动候选,使得:
MV*x=SignShift(MV0x+MV1′x,1)且MV*y=SignShift(MV0y+MV1′y,1),其中
其中off和s是整数,并且其中,>>表示移位操作。
C4.根据解决方案C1至C3中任一项所述的方法,其中,MV*使用来自列表0的参考图片。
C5.根据解决方案C1至C3中任一项所述的方法,其中,所述缩放运动矢量和所述列表0运动矢量来自从使用所述几何分割模式编解码的块导出的运动候选列表。
C6.根据解决方案C1至C3中任一项所述的方法,还包括:将所述单向预测运动候选***所述运动候选列表中。
C7.根据解决方案C1至C3中任一项所述的方法,还包括:在执行所述转换之后更新所述运动候选列表。
C8.根据解决方案C1至C7中任一项所述的方法,其中,off=0。
C9.根据解决方案C1至C7中任一项所述的方法,其中,当确定s=0时,off=0。
C10.根据解决方案C1至C7中任一项所述的方法,其中,off=1<<(s-1)。
C11.根据解决方案C1至C7中任一项所述的方法,其中,当确定s≠0时,off=1<<(s-1)。
C12.根据解决方案C1至C7中任一项所述的方法,其中,off=(1<<(s-1))-1。
C13.根据解决方案C1至C12中任一项所述的方法,其中,所述几何分割模式包括三角预测模式(TPM)。
C14.根据解决方案C1至C12中任一项所述的方法,其中,将所述当前块分割成多个分割,其中至少一个分割是非正方形和非矩形的。
C15.根据解决方案C1至C14中任一项所述的方法,其中,所述当前视频块是编解码单元。
C16.根据解决方案C1至C15中任一项所述的方法,其中,执行所述转换包括:从所述当前视频块生成所述比特流表示。
C17.根据解决方案C1至C15中任一项所述的方法,其中,执行所述转换包括:从所述比特流表示生成所述当前视频块。
C18.一种视频解码装置,包括处理器,所述处理器被配置为实现解决方案C1至C17中任一项所述的方法。
C19.一种存储在非暂时性计算机可读介质上的计算机程序产品,所述计算机程序产品包括用于实现解决方案C1至C17中任一项所述的方法的程序代码。
4.公开技术的示例实现
图20是所述视频处理装置2000的框图。装置2000可用于实现本文所述的一个或多个方法。装置2000可以被实现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置2000可以包括一个或多个处理器2002、一个或多个存储器2004和所述视频处理硬件2006。处理器2002可以被配置为实现本文所述的一个或多个方法(包括但不限于方法1930、1960和1990)。(一个或多个)存储器2004可用于存储用于实现本文所述的方法和技术的数据和代码。所述视频处理硬件2006可用于在硬件电路中实现本文所述的一些技术。
在一些实施例中,可以使用实现在如图20所述的硬件平台上的解码装置来实现所述视频解码方法。
图21是示出示例所述视频处理***2100的框图,其中可以实施本文公开的各种技术。各种实现可能包括***2100的部分或全部分量。***2100可包括用于接收所述视频内容的输入2102。所述视频内容可以原始或未压缩格式接收,例如8位或10位多分量像素值,或者可以压缩或编码格式接收。输入2102可以表示网络接口、***总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等的有线接口,以及诸如Wi-Fi或蜂窝接口的无线接口。
***2100可包括编解码分量2104,其可实现本文中所描述的各种编解码或编码方法。编解码分量2104可以降低从输入2102到编解码分量2104的输出的所述视频的平均比特率,以产生所述视频的编解码表示。因此,编解码技术有时被称为所述视频压缩或所述视频转码技术。编解码分量2104的输出可以被存储,也可以通过连接的通信进行传输,如分量2106所示。输入2102处接收的所述视频的存储或通信比特流(或编解码)表示可由分量2108用于生成像素值或发送到显示接口2110的可显示所述视频。从比特流表示生成用户可观看所述视频的处理有时称为所述视频解压缩。此外,尽管某些所述视频处理操作被称为“编解码”操作或工具,但应当理解的是,编解码工具或操作被用于编码器处,并且逆向编码结果的对应的解码工具或操作将由解码器执行。
***总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文中所述的技术可实施在各种电子设备中,例如移动电话、笔记本电脑、智能手机或其他能够执行数字数据处理和/或所述视频显示的设备。
从上述来看,应当理解的是,为了便于说明,本发明公开的技术的具体实施例已经在本文中进行了描述,但是可以在不偏离本发明范围的情况下进行各种修改。因此,除了的之外,本发明公开的技术不限于权利要求的限定。
本发明文件中描述的主题的实现和功能操作可以在各种***、数字电子电路、或计算机软件、固件或硬件中实现,包括本说明书中所公开的结构及其结构等效体,或其中一个或多个的组合。本说明书中描述的主题的实现可以实现为一个或多个计算机程序产品,即一个或多个编码在有形的和非易失的计算机可读介质上的计算机程序指令的模块,以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器,包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外,该装置还可以包括为计算机程序创建执行环境的代码,例如,构成处理器固件的代码、协议栈、数据库管理***、操作***或其中一个或多个的组合。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写,并且可以以任何形式部署,包括作为独立程序或作为模块、分量、子程序或其它适合在计算环境中使用的单元。计算机程序不一定与文件***中的文件对应。程序可以存储在保存其它程序或数据的文件的部分中(例如,存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如,存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行,这些计算机位于一个站点上或分布在多个站点上,并通过通信网络互连。
本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行,该处理器执行一个或多个计算机程序,通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行,并且装置也可以实现为特殊用途的逻辑电路,例如,FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如,适于执行计算机程序的处理器包括通用和专用微处理器,以及任何类型数字计算机的任何一个或多个。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常,计算机还将包括一个或多个用于存储数据的大容量存储设备,例如,磁盘、磁光盘或光盘,或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备,或两者兼有。然而,计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括例如半导体存储器设备,例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路来补充,或Merge到专用逻辑电路中。
本说明书和附图仅意在被视为示例性的,其中示例性是指示例。如本文所用,除非上下文另有明确说明,否则单数形式“一”、“一个”和“这个”也应包括复数形式。此外,“或”的使用旨在包括“和/或”,除非上下文另有明确说明。
虽然本专利文件包含许多细节,但不应将其解释为对任何发明或权利要求范围的限制,而应解释为对特定发明的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反,在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施,或在任何合适的子组合中实施。此外,尽管上述特征可以描述为在某些组合中起作用,甚至最初要求是这样,但在某些情况下,可以从组合中删除权利要求组合中的一个或多个特征,并且权利要求的组合可以指向子组合或子组合的变体。
同样,尽管图纸中以特定顺序描述了操作,但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作,或执行所有说明的操作。此外,本专利文件所述实施例中各种***分量的分离不应理解为在所有实施例中都需要这样的分离。
仅描述了一些实现和示例,其它实现、增强和变体可以基于本专利文件中描述和说明的内容做出。
Claims (17)
1.一种视频处理方法,包括:
基于运动候选对,为视频的当前块的处理生成成对Merge候选;以及
基于所述成对Merge候选,执行所述视频的比特流表示与所述当前块之间的转换,
其中,所述运动候选对包括第一运动候选中的参考图片列表L的第一运动矢量MV0=(MV0x,MV0y)、以及第二运动候选中的所述参考图片列表L的第二运动矢量MV1=(MV1x,MV1y),并且其中,MV*=(MV*x,MV*y)是所述成对Merge候选,使得:
MV*x=Shift(MV0x+MV1x,1)且MV*y=Shift(MV0y+MV1y,1),
其中,Shift(x,s)=(x+off)>>s,其中off和s是整数,并且其中,>>表示右移操作。
2.一种视频处理方法,包括:
基于运动候选对,为视频的当前块的处理生成成对Merge候选;以及
基于所述成对Merge候选,执行所述视频的比特流表示与所述当前块之间的转换,
其中,所述运动候选对包括第一运动候选中的参考图片列表L的第一运动矢量MV0=(MV0x,MV0y)、以及第二运动候选中的所述参考图片列表L的第二运动矢量MV1=(MV1x,MV1y),并且其中,MV*=(MV*x,MV*y)是所述成对Merge候选,使得:
MV*x=SignShift(MV0x+MV1x,1)且MV*y=SignShift(MV0y+MV1y,1),其中
其中off和s是整数,并且其中,>>表示移位操作。
3.一种视频处理方法,包括:
基于运动候选对,为视频的当前块的处理生成成对Merge候选;以及
基于所述成对Merge候选,执行所述视频的比特流表示与所述当前块之间的转换,
其中,所述运动候选对包括第一运动候选中的参考图片列表L的第一运动矢量MV0=(MV0x,MV0y)、以及第二运动候选中的所述参考图片列表L的第二运动矢量MV1=(MV1x,MV1y),并且其中,MV*=(MV*x,MV*y)是所述成对Merge候选,使得:
MV*x=SignShift(MV0x+MV1x,1)且MV*y=SignShift(MV0y+MV1y,1),其中
其中off和s是整数,并且其中,>>表示移位操作。
4.根据权利要求1至3中任一项所述的方法,其中,Merge候选对来自Merge候选列表。
5.根据权利要求1至3中任一项所述的方法,其中,所述参考图片列表L包括参考图片列表0(L0)或参考图片列表1(L1)。
6.根据权利要求1至3中任一项所述的方法,还包括:
将所述成对Merge候选***所述Merge候选列表中。
7.根据权利要求1至3中任一项所述的方法,还包括:
在执行所述转换之后更新所述Merge候选列表。
8.根据权利要求1至7中任一项所述的方法,其中,off=0。
9.根据权利要求1至7中任一项所述的方法,其中,当确定s=0时,off=0。
10.根据权利要求1至7中任一项所述的方法,其中,off=1<<(s-1)。
11.根据权利要求1至7中任一项所述的方法,其中,当确定s≠0时,off=1<<(s-1)。
12.根据权利要求1至7中任一项所述的方法,其中,off=(1<<(s-1))-1。
13.根据权利要求1至12中任一项所述的方法,其中,所述当前视频块是编解码单元。
14.根据权利要求1至13中任一项所述的方法,其中,执行所述转换包括从所述当前视频块生成所述比特流表示。
15.根据权利要求1至13中任一项所述的方法,其中,执行所述转换包括从所述比特流表示生成所述当前视频块。
16.一种视频解码装置,包括处理器,所述处理器被配置为实现权利要求1至15中的一项或多项所述的方法。
17.一种存储在非暂时性计算机可读介质上的计算机程序产品,所述计算机程序产品包括用于实现权利要求1至15中的一项或多项所述的方法的程序代码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310974960.7A CN116886926A (zh) | 2018-11-10 | 2019-11-11 | 成对平均候选计算中的取整 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2018114931 | 2018-11-10 | ||
CNPCT/CN2018/114931 | 2018-11-10 | ||
PCT/CN2019/117119 WO2020094151A1 (en) | 2018-11-10 | 2019-11-11 | Rounding in pairwise average candidate calculations |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310974960.7A Division CN116886926A (zh) | 2018-11-10 | 2019-11-11 | 成对平均候选计算中的取整 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112997480A true CN112997480A (zh) | 2021-06-18 |
CN112997480B CN112997480B (zh) | 2023-08-22 |
Family
ID=70610974
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980073942.3A Active CN112997480B (zh) | 2018-11-10 | 2019-11-11 | 成对平均候选计算中的取整 |
CN201980073935.3A Active CN112997495B (zh) | 2018-11-10 | 2019-11-11 | 当前图片参考中的取整 |
CN202310974960.7A Pending CN116886926A (zh) | 2018-11-10 | 2019-11-11 | 成对平均候选计算中的取整 |
CN201980073946.1A Active CN112970262B (zh) | 2018-11-10 | 2019-11-11 | 三角预测模式中的取整 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980073935.3A Active CN112997495B (zh) | 2018-11-10 | 2019-11-11 | 当前图片参考中的取整 |
CN202310974960.7A Pending CN116886926A (zh) | 2018-11-10 | 2019-11-11 | 成对平均候选计算中的取整 |
CN201980073946.1A Active CN112970262B (zh) | 2018-11-10 | 2019-11-11 | 三角预测模式中的取整 |
Country Status (6)
Country | Link |
---|---|
US (3) | US20210152846A1 (zh) |
EP (1) | EP3861723A4 (zh) |
JP (1) | JP7324841B2 (zh) |
KR (1) | KR20210089155A (zh) |
CN (4) | CN112997480B (zh) |
WO (3) | WO2020094149A1 (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019234609A1 (en) | 2018-06-05 | 2019-12-12 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between ibc and bio |
TWI739120B (zh) | 2018-06-21 | 2021-09-11 | 大陸商北京字節跳動網絡技術有限公司 | 合併仿射模式與非合併仿射模式的統一拘束 |
CN110636300B (zh) | 2018-06-21 | 2022-07-29 | 北京字节跳动网络技术有限公司 | 颜色分量之间的子块运动矢量继承 |
CN110944193B (zh) | 2018-09-24 | 2023-08-11 | 北京字节跳动网络技术有限公司 | 视频编码和解码中的加权双向预测 |
JP7324841B2 (ja) | 2018-11-10 | 2023-08-10 | 北京字節跳動網絡技術有限公司 | ビデオ・データ処理方法、装置、記憶媒体及び記憶方法 |
KR20210088686A (ko) * | 2018-11-16 | 2021-07-14 | 샤프 가부시키가이샤 | 비디오 코딩에서 모션 벡터 예측을 도출하기 위한 시스템들 및 방법들 |
CN116886927B (zh) * | 2018-12-21 | 2024-05-14 | 北京达佳互联信息技术有限公司 | 视频编码的方法和装置、存储介质和计算机程序产品 |
US11290722B2 (en) | 2019-03-12 | 2022-03-29 | Tencent America LLC | Method and apparatus for video encoding or decoding |
KR20220016839A (ko) | 2019-06-04 | 2022-02-10 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 기하학적 분할 모드 코딩을 갖는 모션 후보 리스트 |
EP3963890A4 (en) | 2019-06-04 | 2022-11-02 | Beijing Bytedance Network Technology Co., Ltd. | BUILDING A LIST OF MOVEMENT CANDIDATES USING NEIGHBOR BLOCK INFORMATION |
EP3967040A4 (en) | 2019-06-06 | 2022-11-30 | Beijing Bytedance Network Technology Co., Ltd. | CONSTRUCTION OF MOTION CANDIDATE LISTS FOR VIDEO ENCODING |
EP3984215A4 (en) | 2019-07-14 | 2022-08-24 | Beijing Bytedance Network Technology Co., Ltd. | TRANSFORM BLOCK SIZE RESTRICTION IN VIDEO CODING |
CN114175632B (zh) | 2019-07-26 | 2024-07-05 | 北京字节跳动网络技术有限公司 | 对视频编解码模式的块尺寸相关使用 |
JP6960969B2 (ja) * | 2019-09-20 | 2021-11-05 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
WO2021057996A1 (en) | 2019-09-28 | 2021-04-01 | Beijing Bytedance Network Technology Co., Ltd. | Geometric partitioning mode in video coding |
WO2021068922A1 (en) | 2019-10-10 | 2021-04-15 | Beijing Bytedance Network Technology Co., Ltd. | Deblocking of blocks coded in geometry partition mode |
CN112788345B (zh) * | 2019-11-11 | 2023-10-24 | 腾讯美国有限责任公司 | 视频数据解码方法、装置、计算机设备和存储介质 |
US20220201315A1 (en) * | 2020-12-22 | 2022-06-23 | Qualcomm Incorporated | Multi-pass decoder-side motion vector refinement |
MX2023015556A (es) * | 2021-06-28 | 2024-01-24 | Beijing Dajia Internet Information Tech Co Ltd | Metodos y dispositivos para el modo de particion geometrica con refinamiento del vector de movimiento. |
WO2023273987A1 (en) * | 2021-06-29 | 2023-01-05 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for video processing |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102685479A (zh) * | 2011-03-11 | 2012-09-19 | 华为技术有限公司 | 视频编解码处理方法和装置 |
US20130101041A1 (en) * | 2011-08-04 | 2013-04-25 | Imagination Technologies, Ltd. | External vectors in a motion estimation system |
CN104053005A (zh) * | 2013-03-11 | 2014-09-17 | 英特尔公司 | 使用分级相平面相关性和块匹配的运动估计 |
CN106105191A (zh) * | 2014-03-19 | 2016-11-09 | 株式会社Kt | 用于处理多视图视频信号的方法和装置 |
US20180324454A1 (en) * | 2015-11-05 | 2018-11-08 | Mediatek Inc. | Method and apparatus of inter prediction using average motion vector for video coding |
Family Cites Families (222)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08186825A (ja) | 1994-12-28 | 1996-07-16 | Nippon Hoso Kyokai <Nhk> | 動きベクトル検出方法 |
KR100624355B1 (ko) * | 1999-04-26 | 2006-09-18 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 서브-픽셀 정밀 움직임 벡터 추정 및 움직임-보상 보간 |
WO2004013810A1 (en) | 2002-07-31 | 2004-02-12 | Koninklijke Philips Electronics N.V. | System and method for segmenting |
KR100985236B1 (ko) | 2002-11-25 | 2010-10-04 | 파나소닉 주식회사 | 움직임 보상 방법, 화상 부호화 방법 및 화상 복호화 방법 |
US8064520B2 (en) | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
CN100344163C (zh) | 2004-06-16 | 2007-10-17 | 华为技术有限公司 | 视频编解码处理方法 |
CN1777283A (zh) | 2004-12-31 | 2006-05-24 | 上海广电(集团)有限公司 | 一种基于微块的视频信号编/解码方法 |
US8954943B2 (en) | 2006-01-26 | 2015-02-10 | International Business Machines Corporation | Analyze and reduce number of data reordering operations in SIMD code |
JP4826315B2 (ja) | 2006-03-31 | 2011-11-30 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
US8184715B1 (en) | 2007-08-09 | 2012-05-22 | Elemental Technologies, Inc. | Method for efficiently executing video encoding operations on stream processor architectures |
US8670488B2 (en) | 2007-12-21 | 2014-03-11 | Telefonaktiebolaget Lm Ericsson (Publ) | Adaptive intra mode selection |
CN101605255B (zh) | 2008-06-12 | 2011-05-04 | 华为技术有限公司 | 一种视频编解码的方法及装置 |
US20110002386A1 (en) | 2009-07-06 | 2011-01-06 | Mediatek Singapore Pte. Ltd. | Video encoder and method for performing intra-prediction and video data compression |
JP5234368B2 (ja) | 2009-09-30 | 2013-07-10 | ソニー株式会社 | 画像処理装置および方法 |
JP2011147049A (ja) | 2010-01-18 | 2011-07-28 | Sony Corp | 画像処理装置および方法、並びにプログラム |
BR112012019560B1 (pt) | 2010-02-05 | 2021-08-24 | Telefonaktiebolaget Lm Ericsson | Método para gerenciar candidatos a vetor de movimento predito, e, aparelhos de codificação e de decodificação de vídeo |
KR101630688B1 (ko) | 2010-02-17 | 2016-06-16 | 삼성전자주식회사 | 움직임 예측 장치 및 방법과 영상 처리 장치 |
CN101895751B (zh) | 2010-07-06 | 2012-02-08 | 北京大学 | 帧内预测的方法及装置、基于帧内预测的编/解码方法及*** |
JP5579937B2 (ja) * | 2010-10-06 | 2014-08-27 | インテル コーポレイション | 低複雑度の動きベクトルを導出するシステム及び方法 |
EP3937497B1 (en) * | 2011-03-21 | 2023-02-22 | LG Electronics, Inc. | Motion vector predictor selection |
US20120287999A1 (en) | 2011-05-11 | 2012-11-15 | Microsoft Corporation | Syntax element prediction in error correction |
US9866859B2 (en) | 2011-06-14 | 2018-01-09 | Texas Instruments Incorporated | Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding |
CN107197272B (zh) * | 2011-08-29 | 2019-12-06 | 苗太平洋控股有限公司 | 以合并模式对图像编码的方法 |
WO2013030456A1 (en) | 2011-08-30 | 2013-03-07 | Nokia Corporation | An apparatus, a method and a computer program for video coding and decoding |
DK2763414T3 (da) | 2011-09-29 | 2020-11-30 | Sharp Kk | Billedafkodningsindretning og fremgangsmåde til billedafkodning til udførelse af konvertering af bi-forudsigelse til uni-forudsigelse |
JP5768662B2 (ja) * | 2011-10-31 | 2015-08-26 | 富士通株式会社 | 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム |
JP2013098933A (ja) | 2011-11-04 | 2013-05-20 | Sony Corp | 画像処理装置および方法 |
CN107071435A (zh) | 2011-11-08 | 2017-08-18 | 株式会社Kt | 对视频信号进行解码的方法 |
WO2013070028A1 (ko) | 2011-11-11 | 2013-05-16 | 엘지전자 주식회사 | 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치 |
JP5895469B2 (ja) * | 2011-11-18 | 2016-03-30 | 富士通株式会社 | 動画像符号化装置、および動画像復号装置 |
KR20130058524A (ko) | 2011-11-25 | 2013-06-04 | 오수미 | 색차 인트라 예측 블록 생성 방법 |
US9451252B2 (en) | 2012-01-14 | 2016-09-20 | Qualcomm Incorporated | Coding parameter sets and NAL unit headers for video coding |
CN110830799B (zh) * | 2012-01-18 | 2023-09-15 | 韩国电子通信研究院 | 视频解码装置、视频编码装置和传输比特流的方法 |
US9503720B2 (en) | 2012-03-16 | 2016-11-22 | Qualcomm Incorporated | Motion vector coding and bi-prediction in HEVC and its extensions |
US9325991B2 (en) * | 2012-04-11 | 2016-04-26 | Qualcomm Incorporated | Motion vector rounding |
KR101749297B1 (ko) | 2012-04-12 | 2017-06-21 | 미디어텍 싱가폴 피티이. 엘티디. | 크로마 서브샘플링 포맷들의 블록 파티션을 위한 방법 및 장치 |
CN104272743B (zh) | 2012-05-09 | 2019-01-01 | 太阳专利托管公司 | 执行运动矢量预测的方法、编码和解码方法及其装置 |
US20130329007A1 (en) | 2012-06-06 | 2013-12-12 | Qualcomm Incorporated | Redundancy removal for advanced motion vector prediction (amvp) in three-dimensional (3d) video coding |
EP2863631A4 (en) | 2012-07-02 | 2016-03-16 | Samsung Electronics Co Ltd | METHOD AND DEVICE FOR PREDICTING MOTION VECTORS FOR CODING OR DECODING VIDEO CONTENT |
EP3588958B1 (en) | 2012-08-29 | 2024-07-03 | Vid Scale, Inc. | Method and apparatus of motion vector prediction for scalable video coding |
US9491461B2 (en) | 2012-09-27 | 2016-11-08 | Qualcomm Incorporated | Scalable extensions to HEVC and temporal motion vector prediction |
CN104541506A (zh) | 2012-09-28 | 2015-04-22 | 英特尔公司 | 层间像素样本预测 |
AU2012232992A1 (en) | 2012-09-28 | 2014-04-17 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding the transform units of a coding unit |
KR102445274B1 (ko) | 2012-10-01 | 2022-09-20 | 지이 비디오 컴프레션, 엘엘씨 | 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩 |
US9106922B2 (en) * | 2012-12-19 | 2015-08-11 | Vanguard Software Solutions, Inc. | Motion estimation engine for video encoding |
US9615089B2 (en) | 2012-12-26 | 2017-04-04 | Samsung Electronics Co., Ltd. | Method of encoding and decoding multiview video sequence based on adaptive compensation of local illumination mismatch in inter-frame prediction |
US9294777B2 (en) | 2012-12-30 | 2016-03-22 | Qualcomm Incorporated | Progressive refinement with temporal scalability support in video coding |
US9674542B2 (en) | 2013-01-02 | 2017-06-06 | Qualcomm Incorporated | Motion vector prediction for video coding |
US9521425B2 (en) | 2013-03-19 | 2016-12-13 | Qualcomm Incorporated | Disparity vector derivation in 3D video coding for skip and direct modes |
US9491460B2 (en) * | 2013-03-29 | 2016-11-08 | Qualcomm Incorporated | Bandwidth reduction for video coding prediction |
WO2014166116A1 (en) | 2013-04-12 | 2014-10-16 | Mediatek Inc. | Direct simplified depth coding |
WO2015007159A1 (en) | 2013-07-15 | 2015-01-22 | Mediatek Singapore Pte. Ltd. | Method of disparity derived depth coding in 3d video coding |
US9628795B2 (en) | 2013-07-17 | 2017-04-18 | Qualcomm Incorporated | Block identification using disparity vector in video coding |
WO2015006967A1 (en) | 2013-07-19 | 2015-01-22 | Mediatek Singapore Pte. Ltd. | Simplified view synthesis prediction for 3d video coding |
WO2015010319A1 (zh) | 2013-07-26 | 2015-01-29 | 北京大学深圳研究生院 | 一种基于p帧的多假设运动补偿编码方法 |
CN104488271B (zh) | 2013-07-26 | 2019-05-07 | 北京大学深圳研究生院 | 一种基于p帧的多假设运动补偿方法 |
AU2013228045A1 (en) | 2013-09-13 | 2015-04-02 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding video data |
US9762927B2 (en) | 2013-09-26 | 2017-09-12 | Qualcomm Incorporated | Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC |
US9667996B2 (en) | 2013-09-26 | 2017-05-30 | Qualcomm Incorporated | Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC |
CN103561263B (zh) | 2013-11-06 | 2016-08-24 | 北京牡丹电子集团有限责任公司数字电视技术中心 | 基于运动矢量约束和加权运动矢量的运动补偿预测方法 |
JP6441236B2 (ja) * | 2013-12-19 | 2018-12-19 | シャープ株式会社 | 画像復号装置及び画像符号化装置 |
TWI536811B (zh) | 2013-12-27 | 2016-06-01 | 財團法人工業技術研究院 | 影像處理方法與系統、解碼方法、編碼器與解碼器 |
RU2669005C2 (ru) | 2014-01-03 | 2018-10-05 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Предсказание вектора блока в кодировании/декодировании видео и изображений |
WO2015109598A1 (en) | 2014-01-27 | 2015-07-30 | Mediatek Singapore Pte. Ltd. | Methods for motion parameter hole filling |
JP6345805B2 (ja) | 2014-05-06 | 2018-06-20 | 寰發股▲ふん▼有限公司HFI Innovation Inc. | Intraブロックコピーモード符号化のブロックベクトル予測の方法 |
KR102413529B1 (ko) | 2014-06-19 | 2022-06-24 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 통합된 인트라 블록 카피 및 인터 예측 모드 |
US20150373362A1 (en) | 2014-06-19 | 2015-12-24 | Qualcomm Incorporated | Deblocking filter design for intra block copy |
US10327001B2 (en) | 2014-06-19 | 2019-06-18 | Qualcomm Incorporated | Systems and methods for intra-block copy |
US20150373343A1 (en) | 2014-06-20 | 2015-12-24 | Qualcomm Incorporated | Representation format update in multi-layer codecs |
CN105282558B (zh) | 2014-07-18 | 2018-06-15 | 清华大学 | 帧内像素预测方法、编码方法、解码方法及其装置 |
WO2016008157A1 (en) * | 2014-07-18 | 2016-01-21 | Mediatek Singapore Pte. Ltd. | Methods for motion compensation using high order motion model |
US10412387B2 (en) | 2014-08-22 | 2019-09-10 | Qualcomm Incorporated | Unified intra-block copy and inter-prediction |
US10027981B2 (en) | 2014-09-01 | 2018-07-17 | Hfi Innovation Inc. | Method of intra picture block copy for screen content and video coding |
WO2016040116A1 (en) | 2014-09-11 | 2016-03-17 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
WO2016048834A1 (en) | 2014-09-26 | 2016-03-31 | Vid Scale, Inc. | Intra block copy coding with temporal block vector prediction |
US9918105B2 (en) | 2014-10-07 | 2018-03-13 | Qualcomm Incorporated | Intra BC and inter unification |
CN107113442B (zh) | 2014-10-31 | 2020-08-07 | 三星电子株式会社 | 用于对运动矢量进行编码/解码的方法和装置 |
EP3202143B8 (en) | 2014-11-18 | 2019-09-25 | MediaTek Inc. | Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate |
WO2016090568A1 (en) | 2014-12-10 | 2016-06-16 | Mediatek Singapore Pte. Ltd. | Binary tree block partitioning structure |
US11477477B2 (en) | 2015-01-26 | 2022-10-18 | Qualcomm Incorporated | Sub-prediction unit based advanced temporal motion vector prediction |
WO2016123388A1 (en) | 2015-01-29 | 2016-08-04 | Vid Scale, Inc. | Palette coding modes and palette flipping |
JP2018050091A (ja) | 2015-02-02 | 2018-03-29 | シャープ株式会社 | 画像復号装置、画像符号化装置および予測ベクトル導出装置 |
WO2016138513A1 (en) | 2015-02-27 | 2016-09-01 | Arris Enterprises, Inc. | Modification of unification of intra block copy and inter signaling related syntax and semantics |
US10200711B2 (en) | 2015-03-27 | 2019-02-05 | Qualcomm Incorporated | Motion vector derivation in video coding |
WO2016165069A1 (en) | 2015-04-14 | 2016-10-20 | Mediatek Singapore Pte. Ltd. | Advanced temporal motion vector prediction in video coding |
US10511834B2 (en) | 2015-04-29 | 2019-12-17 | Hfi Innovation Inc. | Method and apparatus for Intra Block Copy reference list construction |
US20160337662A1 (en) | 2015-05-11 | 2016-11-17 | Qualcomm Incorporated | Storage and signaling resolutions of motion vectors |
CN109005407B (zh) | 2015-05-15 | 2023-09-01 | 华为技术有限公司 | 视频图像编码和解码的方法、编码设备和解码设备 |
WO2016192678A1 (en) | 2015-06-03 | 2016-12-08 | Mediatek Inc. | Methods for palette coding of image and video data |
WO2016200984A1 (en) | 2015-06-08 | 2016-12-15 | Vid Scale, Inc. | Intra block copy mode for screen content coding |
GB2539213A (en) | 2015-06-08 | 2016-12-14 | Canon Kk | Schemes for handling an AMVP flag when implementing intra block copy coding mode |
US10148977B2 (en) | 2015-06-16 | 2018-12-04 | Futurewei Technologies, Inc. | Advanced coding techniques for high efficiency video coding (HEVC) screen content coding (SCC) extensions |
US11146794B2 (en) | 2015-07-27 | 2021-10-12 | Mediatek Inc. | Method of system for video coding using intra block copy mode |
US10728571B2 (en) | 2015-08-04 | 2020-07-28 | Lg Electronics Inc. | Inter prediction method and device in video coding system |
CN107949864B (zh) | 2015-08-25 | 2023-05-16 | 交互数字麦迪逊专利控股公司 | 基于亮度区域的逆色调映射 |
US20180249172A1 (en) | 2015-09-02 | 2018-08-30 | Mediatek Inc. | Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques |
WO2017041271A1 (en) | 2015-09-10 | 2017-03-16 | Mediatek Singapore Pte. Ltd. | Efficient context modeling for coding a block of data |
US10375413B2 (en) | 2015-09-28 | 2019-08-06 | Qualcomm Incorporated | Bi-directional optical flow for video coding |
CN109274974B (zh) | 2015-09-29 | 2022-02-11 | 华为技术有限公司 | 图像预测的方法及装置 |
CN105306944B (zh) | 2015-11-30 | 2018-07-06 | 哈尔滨工业大学 | 混合视频编码标准中色度分量预测方法 |
GB2561507B (en) | 2016-01-07 | 2021-12-22 | Mediatek Inc | Method and apparatus for affine merge mode prediction for video coding system |
CN105678808A (zh) | 2016-01-08 | 2016-06-15 | 浙江宇视科技有限公司 | 运动目标跟踪方法及装置 |
US9955186B2 (en) | 2016-01-11 | 2018-04-24 | Qualcomm Incorporated | Block size decision for video coding |
WO2017130696A1 (ja) | 2016-01-29 | 2017-08-03 | シャープ株式会社 | 予測画像生成装置、動画像復号装置、および動画像符号化装置 |
CN108781294B (zh) | 2016-02-05 | 2021-08-31 | 联发科技股份有限公司 | 视频数据的运动补偿方法及装置 |
US10368083B2 (en) * | 2016-02-15 | 2019-07-30 | Qualcomm Incorporated | Picture order count based motion vector pruning |
WO2017142448A1 (en) | 2016-02-17 | 2017-08-24 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and devices for encoding and decoding video pictures |
US10390038B2 (en) | 2016-02-17 | 2019-08-20 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and devices for encoding and decoding video pictures using a denoised reference picture |
WO2017143467A1 (en) | 2016-02-22 | 2017-08-31 | Mediatek Singapore Pte. Ltd. | Localized luma mode prediction inheritance for chroma coding |
WO2017156669A1 (en) * | 2016-03-14 | 2017-09-21 | Mediatek Singapore Pte. Ltd. | Methods for motion vector storage in video coding |
CN114449287A (zh) * | 2016-03-16 | 2022-05-06 | 联发科技股份有限公司 | 视频编码的样式基础的运动向量推导之方法及装置 |
US11223852B2 (en) | 2016-03-21 | 2022-01-11 | Qualcomm Incorporated | Coding video data using a two-level multi-type-tree framework |
US10455228B2 (en) | 2016-03-21 | 2019-10-22 | Qualcomm Incorporated | Determining prediction parameters for non-square blocks in video coding |
WO2017164297A1 (ja) | 2016-03-25 | 2017-09-28 | パナソニックIpマネジメント株式会社 | 信号依存型適応量子化を用いて動画像を符号化及び復号するための方法及び装置 |
KR102584349B1 (ko) | 2016-03-28 | 2023-10-04 | 로즈데일 다이나믹스 엘엘씨 | 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
CN116546209A (zh) | 2016-04-08 | 2023-08-04 | 韩国电子通信研究院 | 用于导出运动预测信息的方法和装置 |
US10462459B2 (en) | 2016-04-14 | 2019-10-29 | Mediatek Inc. | Non-local adaptive loop filter |
US20200351505A1 (en) | 2016-04-28 | 2020-11-05 | Lg Electronics Inc. | Inter prediction mode-based image processing method and apparatus therefor |
US10939096B2 (en) | 2016-05-05 | 2021-03-02 | Interdigital Madison Patent Holdings, Sas | Control-point based intra direction representation for intra coding |
WO2017194756A1 (en) * | 2016-05-12 | 2017-11-16 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and arrangements for coding and decoding motion vectors |
US10560718B2 (en) | 2016-05-13 | 2020-02-11 | Qualcomm Incorporated | Merge candidates for motion vector prediction for video coding |
EP3456049B1 (en) | 2016-05-13 | 2022-05-04 | VID SCALE, Inc. | Systems and methods for generalized multi-hypothesis prediction for video coding |
US20190191171A1 (en) | 2016-05-13 | 2019-06-20 | Sharp Kabushiki Kaisha | Prediction image generation device, video decoding device, and video coding device |
US10560712B2 (en) | 2016-05-16 | 2020-02-11 | Qualcomm Incorporated | Affine motion prediction for video coding |
WO2017201141A1 (en) | 2016-05-17 | 2017-11-23 | Arris Enterprises Llc | Template matching for jvet intra prediction |
US20170339405A1 (en) | 2016-05-20 | 2017-11-23 | Arris Enterprises Llc | System and method for intra coding |
EP3449630B1 (en) | 2016-05-28 | 2024-07-10 | Mediatek Inc. | Method and apparatus of current picture referencing for video coding |
EP4336850A3 (en) | 2016-07-08 | 2024-04-17 | InterDigital Madison Patent Holdings, SAS | Systems and methods for region-of-interest tone remapping |
US10368107B2 (en) | 2016-08-15 | 2019-07-30 | Qualcomm Incorporated | Intra video coding using a decoupled tree structure |
US10326986B2 (en) | 2016-08-15 | 2019-06-18 | Qualcomm Incorporated | Intra video coding using a decoupled tree structure |
EP3497932A4 (en) | 2016-08-15 | 2020-03-25 | Nokia Technologies Oy | VIDEO CODING AND DECODING |
WO2018047668A1 (ja) | 2016-09-12 | 2018-03-15 | ソニー株式会社 | 画像処理装置および画像処理方法 |
WO2018049594A1 (en) | 2016-09-14 | 2018-03-22 | Mediatek Inc. | Methods of encoder decision for quad-tree plus binary tree structure |
WO2018056703A1 (ko) | 2016-09-20 | 2018-03-29 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
US10631002B2 (en) | 2016-09-30 | 2020-04-21 | Qualcomm Incorporated | Frame rate up-conversion coding mode |
CN109845255A (zh) | 2016-10-03 | 2019-06-04 | 夏普株式会社 | 用于将解块滤波器应用于重构视频数据的***和方法 |
EP3301919A1 (en) * | 2016-10-03 | 2018-04-04 | Thomson Licensing | Method and apparatus for encoding and decoding motion information |
US10448010B2 (en) * | 2016-10-05 | 2019-10-15 | Qualcomm Incorporated | Motion vector prediction for affine motion models in video coding |
EP3525460A4 (en) * | 2016-10-06 | 2020-06-17 | LG Electronics Inc. -1- | METHOD FOR PROCESSING A VIDEO BASED ON AN INTRAPREDICATION MODE AND DEVICE THEREFOR |
EP3523980A4 (en) | 2016-10-10 | 2019-08-14 | Sharp Kabushiki Kaisha | SYSTEMS AND METHOD FOR IMPLEMENTING A MOTION COMPENSATION FOR CODING VIDEO DATA |
US10750190B2 (en) | 2016-10-11 | 2020-08-18 | Lg Electronics Inc. | Video decoding method and device in video coding system |
US10880546B2 (en) | 2016-10-11 | 2020-12-29 | Lg Electronics Inc. | Method and apparatus for deriving intra prediction mode for chroma component |
US20180109810A1 (en) | 2016-10-17 | 2018-04-19 | Mediatek Inc. | Method and Apparatus for Reference Picture Generation and Management in 3D Video Compression |
WO2018097693A2 (ko) * | 2016-11-28 | 2018-05-31 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
CN110024394B (zh) | 2016-11-28 | 2023-09-01 | 韩国电子通信研究院 | 对图像编码/解码的方法和设备及存储比特流的记录介质 |
WO2018110203A1 (ja) | 2016-12-16 | 2018-06-21 | シャープ株式会社 | 動画像復号装置、および動画像符号化装置 |
US10750203B2 (en) | 2016-12-22 | 2020-08-18 | Mediatek Inc. | Method and apparatus of adaptive bi-prediction for video coding |
CN110140355B (zh) | 2016-12-27 | 2022-03-08 | 联发科技股份有限公司 | 用于视频编解码的双向模板运动向量微调的方法及装置 |
US10681370B2 (en) | 2016-12-29 | 2020-06-09 | Qualcomm Incorporated | Motion vector generation for affine motion model for video coding |
US10873744B2 (en) | 2017-01-03 | 2020-12-22 | Lg Electronics Inc. | Method and device for processing video signal by means of affine prediction |
US20190335170A1 (en) | 2017-01-03 | 2019-10-31 | Lg Electronics Inc. | Method and apparatus for processing video signal by means of affine prediction |
US10931969B2 (en) | 2017-01-04 | 2021-02-23 | Qualcomm Incorporated | Motion vector reconstructions for bi-directional optical flow (BIO) |
US20180199057A1 (en) * | 2017-01-12 | 2018-07-12 | Mediatek Inc. | Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding |
US10701366B2 (en) | 2017-02-21 | 2020-06-30 | Qualcomm Incorporated | Deriving motion vector information at a video decoder |
US10523964B2 (en) | 2017-03-13 | 2019-12-31 | Qualcomm Incorporated | Inter prediction refinement based on bi-directional optical flow (BIO) |
US10701390B2 (en) | 2017-03-14 | 2020-06-30 | Qualcomm Incorporated | Affine motion information derivation |
CN117425006A (zh) | 2017-03-22 | 2024-01-19 | 韩国电子通信研究院 | 使用参考块的预测方法和装置 |
US10701391B2 (en) * | 2017-03-23 | 2020-06-30 | Qualcomm Incorporated | Motion vector difference (MVD) prediction |
US10440396B2 (en) | 2017-03-28 | 2019-10-08 | Qualcomm Incorporated | Filter information sharing among color components |
US10542264B2 (en) | 2017-04-04 | 2020-01-21 | Arris Enterprises Llc | Memory reduction implementation for weighted angular prediction |
US10873760B2 (en) * | 2017-04-07 | 2020-12-22 | Futurewei Technologies, Inc. | Motion vector (MV) constraints and transformation constraints in video coding |
US20180310017A1 (en) * | 2017-04-21 | 2018-10-25 | Mediatek Inc. | Sub-prediction unit temporal motion vector prediction (sub-pu tmvp) for video coding |
US10805630B2 (en) | 2017-04-28 | 2020-10-13 | Qualcomm Incorporated | Gradient based matching for motion search and derivation |
US20180332298A1 (en) | 2017-05-10 | 2018-11-15 | Futurewei Technologies, Inc. | Bidirectional Prediction In Video Compression |
CN116866586A (zh) | 2017-05-17 | 2023-10-10 | 株式会社Kt | 对图像解码的方法以及存储压缩视频数据的装置 |
US10904565B2 (en) | 2017-06-23 | 2021-01-26 | Qualcomm Incorporated | Memory-bandwidth-efficient design for bi-directional optical flow (BIO) |
CN118233624A (zh) | 2017-06-26 | 2024-06-21 | 交互数字Vc控股公司 | 用于视频编码和解码的方法及设备 |
WO2019004283A1 (ja) * | 2017-06-28 | 2019-01-03 | シャープ株式会社 | 動画像符号化装置及び動画像復号装置 |
US10477237B2 (en) | 2017-06-28 | 2019-11-12 | Futurewei Technologies, Inc. | Decoder side motion vector refinement in video coding |
US11172203B2 (en) | 2017-08-08 | 2021-11-09 | Mediatek Inc. | Intra merge prediction |
US10880573B2 (en) | 2017-08-15 | 2020-12-29 | Google Llc | Dynamic motion vector referencing for video coding |
WO2019050115A1 (ko) * | 2017-09-05 | 2019-03-14 | 엘지전자(주) | 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
JP2021005741A (ja) | 2017-09-14 | 2021-01-14 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
US10785494B2 (en) | 2017-10-11 | 2020-09-22 | Qualcomm Incorporated | Low-complexity design for FRUC |
CN109963155B (zh) | 2017-12-23 | 2023-06-06 | 华为技术有限公司 | 图像块的运动信息的预测方法、装置及编解码器 |
MX2020007355A (es) | 2018-01-16 | 2020-10-12 | Vid Scale Inc | Bipredicción compensada en movimiento basada en compensación de iluminación local. |
US10757417B2 (en) | 2018-01-20 | 2020-08-25 | Qualcomm Incorporated | Affine motion compensation in video coding |
US10687071B2 (en) | 2018-02-05 | 2020-06-16 | Tencent America LLC | Method and apparatus for video coding |
US11012715B2 (en) | 2018-02-08 | 2021-05-18 | Qualcomm Incorporated | Intra block copy for video coding |
KR102424189B1 (ko) | 2018-02-14 | 2022-07-21 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 적응형 보간 필터 |
US10708592B2 (en) | 2018-04-02 | 2020-07-07 | Qualcomm Incorporated | Deblocking filter for video coding and processing |
US20190306502A1 (en) | 2018-04-02 | 2019-10-03 | Qualcomm Incorporated | System and method for improved adaptive loop filtering |
US10779002B2 (en) | 2018-04-17 | 2020-09-15 | Qualcomm Incorporated | Limitation of the MVP derivation based on decoder-side motion vector derivation |
US20190320181A1 (en) | 2018-04-17 | 2019-10-17 | Qualcomm Incorporated | Generation of motion vector predictors from multiple neighboring blocks in video coding |
US20190364295A1 (en) | 2018-05-25 | 2019-11-28 | Tencent America LLC | Method and apparatus for video coding |
US10986340B2 (en) | 2018-06-01 | 2021-04-20 | Qualcomm Incorporated | Coding adaptive multiple transform information for video coding |
US11109025B2 (en) | 2018-06-04 | 2021-08-31 | Tencent America LLC | Method and apparatus for sub-block based temporal motion vector prediction |
WO2019234609A1 (en) | 2018-06-05 | 2019-12-12 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between ibc and bio |
WO2019234674A1 (en) | 2018-06-07 | 2019-12-12 | Beijing Bytedance Network Technology Co., Ltd. | Integer motion compensation |
US11303923B2 (en) | 2018-06-15 | 2022-04-12 | Intel Corporation | Affine motion compensation for current picture referencing |
GB2589221B (en) | 2018-06-19 | 2023-03-22 | Beijing Bytedance Network Tech Co Ltd | Mode dependent MVD precision set |
CN110636300B (zh) | 2018-06-21 | 2022-07-29 | 北京字节跳动网络技术有限公司 | 颜色分量之间的子块运动矢量继承 |
TWI739120B (zh) | 2018-06-21 | 2021-09-11 | 大陸商北京字節跳動網絡技術有限公司 | 合併仿射模式與非合併仿射模式的統一拘束 |
CN110662036B (zh) | 2018-06-29 | 2022-09-02 | 北京字节跳动网络技术有限公司 | 运动信息共享的限制 |
TWI719519B (zh) | 2018-07-02 | 2021-02-21 | 大陸商北京字節跳動網絡技術有限公司 | 對於dmvr的塊尺寸限制 |
US11606575B2 (en) | 2018-07-10 | 2023-03-14 | Qualcomm Incorporated | Multiple history based non-adjacent MVPs for wavefront processing of video coding |
US10491902B1 (en) | 2018-07-16 | 2019-11-26 | Tencent America LLC | Method and apparatus for history-based motion vector prediction |
US10440378B1 (en) | 2018-07-17 | 2019-10-08 | Tencent America LLC | Method and apparatus for history-based motion vector prediction with parallel processing |
US10362330B1 (en) | 2018-07-30 | 2019-07-23 | Tencent America LLC | Combining history-based motion vector prediction and non-adjacent merge prediction |
TWI750494B (zh) | 2018-08-04 | 2021-12-21 | 大陸商北京字節跳動網絡技術有限公司 | 使用更新的運動信息的限制 |
US11336914B2 (en) | 2018-08-16 | 2022-05-17 | Qualcomm Incorporated | History-based candidate list with classification |
WO2020055169A1 (ko) * | 2018-09-11 | 2020-03-19 | 김기백 | 인터 예측을 이용한 영상 부호화/복호화 방법 및 장치 |
WO2020058886A1 (en) | 2018-09-19 | 2020-03-26 | Beijing Bytedance Network Technology Co., Ltd. | Fast algorithms for adaptive motion vector resolution in affine mode |
US11212550B2 (en) | 2018-09-21 | 2021-12-28 | Qualcomm Incorporated | History-based motion vector prediction for affine mode |
MX2021003247A (es) | 2018-09-22 | 2021-05-12 | Lg Electronics Inc | Metodo y aparato para procesar se?ales de video usando inter prediccion. |
KR20230161543A (ko) | 2018-09-23 | 2023-11-27 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 적응적 움직임 벡터 해상도를 갖는 움직임 벡터 수정 |
CN110944193B (zh) | 2018-09-24 | 2023-08-11 | 北京字节跳动网络技术有限公司 | 视频编码和解码中的加权双向预测 |
US11051034B2 (en) | 2018-10-08 | 2021-06-29 | Qualcomm Incorporated | History-based motion vector predictor |
US11284066B2 (en) | 2018-10-10 | 2022-03-22 | Tencent America LLC | Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode |
US11032541B2 (en) | 2018-10-22 | 2021-06-08 | Tencent America LLC | Method and apparatus for video coding |
WO2020084462A1 (en) | 2018-10-22 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Restrictions on decoder side motion vector derivation based on block size |
WO2020084461A1 (en) | 2018-10-22 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Restrictions on decoder side motion vector derivation based on coding information |
WO2020084510A1 (en) | 2018-10-23 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Adaptive control point selection for affine coding |
JP7277579B2 (ja) | 2018-11-02 | 2023-05-19 | 北京字節跳動網絡技術有限公司 | Hmvp候補記憶装置のための表の保守 |
WO2020094000A1 (en) | 2018-11-05 | 2020-05-14 | Beijing Bytedance Network Technology Co., Ltd. | Interpolation for inter prediction with refinement |
WO2020094038A1 (en) * | 2018-11-07 | 2020-05-14 | Mediatek Inc. | Method and apparatus of encoding or decoding video blocks by current picture referencing coding |
JP7324841B2 (ja) | 2018-11-10 | 2023-08-10 | 北京字節跳動網絡技術有限公司 | ビデオ・データ処理方法、装置、記憶媒体及び記憶方法 |
CN113170184A (zh) | 2018-11-22 | 2021-07-23 | 北京字节跳动网络技术有限公司 | 默认运动候选的配置方法 |
US11032574B2 (en) | 2018-12-31 | 2021-06-08 | Tencent America LLC | Method and apparatus for video coding |
US11115653B2 (en) | 2019-02-22 | 2021-09-07 | Mediatek Inc. | Intra block copy merge list simplification |
EP3939262A4 (en) | 2019-03-11 | 2022-11-09 | Alibaba Group Holding Limited | METHOD, DEVICE AND SYSTEM FOR DETERMINING PREDICTION WEIGHT FOR MERGE MODE |
US11290722B2 (en) | 2019-03-12 | 2022-03-29 | Tencent America LLC | Method and apparatus for video encoding or decoding |
-
2019
- 2019-11-11 JP JP2021524354A patent/JP7324841B2/ja active Active
- 2019-11-11 CN CN201980073942.3A patent/CN112997480B/zh active Active
- 2019-11-11 WO PCT/CN2019/117116 patent/WO2020094149A1/en active Application Filing
- 2019-11-11 WO PCT/CN2019/117119 patent/WO2020094151A1/en unknown
- 2019-11-11 CN CN201980073935.3A patent/CN112997495B/zh active Active
- 2019-11-11 KR KR1020217013353A patent/KR20210089155A/ko not_active Application Discontinuation
- 2019-11-11 CN CN202310974960.7A patent/CN116886926A/zh active Pending
- 2019-11-11 EP EP19882864.2A patent/EP3861723A4/en active Pending
- 2019-11-11 CN CN201980073946.1A patent/CN112970262B/zh active Active
- 2019-11-11 WO PCT/CN2019/117118 patent/WO2020094150A1/en active Application Filing
-
2021
- 2021-01-28 US US17/161,391 patent/US20210152846A1/en not_active Abandoned
- 2021-11-12 US US17/525,745 patent/US11792421B2/en active Active
-
2023
- 2023-10-11 US US18/484,912 patent/US20240040144A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102685479A (zh) * | 2011-03-11 | 2012-09-19 | 华为技术有限公司 | 视频编解码处理方法和装置 |
US20130101041A1 (en) * | 2011-08-04 | 2013-04-25 | Imagination Technologies, Ltd. | External vectors in a motion estimation system |
CN104053005A (zh) * | 2013-03-11 | 2014-09-17 | 英特尔公司 | 使用分级相平面相关性和块匹配的运动估计 |
CN106105191A (zh) * | 2014-03-19 | 2016-11-09 | 株式会社Kt | 用于处理多视图视频信号的方法和装置 |
US20180324454A1 (en) * | 2015-11-05 | 2018-11-08 | Mediatek Inc. | Method and apparatus of inter prediction using average motion vector for video coding |
Non-Patent Citations (1)
Title |
---|
BENJAMIN BROSS等: "Versatile Video Coding (Draft 3)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACAO, CN, 3–12 OCT. 2018 * |
Also Published As
Publication number | Publication date |
---|---|
US11792421B2 (en) | 2023-10-17 |
US20210152846A1 (en) | 2021-05-20 |
CN112970262A (zh) | 2021-06-15 |
US20220070489A1 (en) | 2022-03-03 |
CN112997495B (zh) | 2024-02-20 |
KR20210089155A (ko) | 2021-07-15 |
CN116886926A (zh) | 2023-10-13 |
WO2020094149A1 (en) | 2020-05-14 |
JP2022506767A (ja) | 2022-01-17 |
WO2020094151A1 (en) | 2020-05-14 |
CN112997480B (zh) | 2023-08-22 |
JP7324841B2 (ja) | 2023-08-10 |
EP3861723A1 (en) | 2021-08-11 |
EP3861723A4 (en) | 2022-04-20 |
WO2020094150A1 (en) | 2020-05-14 |
CN112997495A (zh) | 2021-06-18 |
CN112970262B (zh) | 2024-02-20 |
US20240040144A1 (en) | 2024-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112997495B (zh) | 当前图片参考中的取整 | |
CN112868240B (zh) | 并置的局部照明补偿和修改的帧间预测编解码 | |
CN112913249B (zh) | 广义双向预测索引的简化编解码 | |
CN112868239B (zh) | 并置的局部照明补偿和帧内块复制编解码 | |
CN110677675B (zh) | 高效的仿射Merge运动矢量推导的方法、装置及存储介质 | |
TWI729402B (zh) | 加權交織預測 | |
CN113039802B (zh) | 基于历史的仿射参数的使用 | |
JP2022137099A (ja) | ビデオデータを処理する方法、装置、非一時的コンピュータ可読記憶媒体 | |
CN113302918A (zh) | 视频编解码中的加权预测 | |
CN113316935A (zh) | 使用局部照明补偿的运动候选列表 | |
CN110740321B (zh) | 基于更新的运动矢量的运动预测 | |
CN110662076B (zh) | 子块的边界增强 | |
CN110876063A (zh) | 交织预测的快速编码方法 | |
CN110876064A (zh) | 部分交织的预测 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |