CN110115032B - 用于视频编解码的运动细化的方法以及装置 - Google Patents

用于视频编解码的运动细化的方法以及装置 Download PDF

Info

Publication number
CN110115032B
CN110115032B CN201780079226.7A CN201780079226A CN110115032B CN 110115032 B CN110115032 B CN 110115032B CN 201780079226 A CN201780079226 A CN 201780079226A CN 110115032 B CN110115032 B CN 110115032B
Authority
CN
China
Prior art keywords
block
motion compensated
motion
compensated reference
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780079226.7A
Other languages
English (en)
Other versions
CN110115032A (zh
Inventor
陈庆晔
庄子德
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
联发科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 联发科技股份有限公司 filed Critical 联发科技股份有限公司
Publication of CN110115032A publication Critical patent/CN110115032A/zh
Application granted granted Critical
Publication of CN110115032B publication Critical patent/CN110115032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了使用基于模式的MV推导(PMVD)、双向光流(BIO)或解码器侧MV细化(DMVR)以细化双向预测块的运动的方法以及装置。根据本发明的一个方法，分别决定来自参考图像列表0以及列表1中的第一以及第二参考图像中与所述当前块有关的第一以及第二运动补偿参考块。使用对应于所述第一运动补偿参考块以及所述第二运动补偿参考块的参考数据而不使用在所述第一运动补偿参考块以及所述第二运动补偿参考块外的其他参考数据，应该所述PMVD进程、BIO进程或DMVR进程以生成所述当前块的运动细化，以便减少所需要的***存储器频宽。本发明也公开了基于块的BIO的适应性块尺寸。

Description

用于视频编解码的运动细化的方法以及装置
相关引用
本发明要求递交于2016年12月22日，号码为62/437,759的美国临时专利申请以及递交于2016年12月27日，号码为62/439,200的美国临时专利申请的优先权。该美国临时专利申请整体通过引用纳入其中。
技术领域
本发明涉及使用基于模式的MV推导(Pattern-based MV Derivation，PMVD)、双向光流(Bi-directional Optical flow，BIO)或者解码器侧MV细化(Decoder-side MVRefinement，DMVR)来细化双向预测块运动的运动补偿，特别地，本发明涉及与所述PMVD、BIO或者DMVR进程有关的频宽减小(bandwidth reduction)。
背景技术
双向光流(BIO)
双向光流(BIO)是在JCTVC-C204(2010年10月7-15日，在中国广州举行的， ITU-TSG 16 WP 3以及ISO/IEC JTC 1/SC 29/WG 11的联合视频编解码小组 (JCT-VC)第三次会议，E.Alshina等人：Bi-directional optical flow，文献： JCTVC-C204)以及VCEG-AZ056(2015年6月19-26日，在波兰华沙举行的ITU-T SG 16问题6，视频编解码专家组(VCEG)第52次会议，E.Alshina等人:Known tools performance investigation for nextgeneration video coding，文献：VCEG-AZ05) 中公开的运动估计/补偿技术。基于如图1所示的光流以及稳定运动的假设，BIO 推导样本级运动细化(sample-level motionrefinement)，其中B切片(slice)(双向切片)120中的当前像素122由参考图像0中的一个像素以及参考图像1中的一个像素进行预测。如图1所示，当前像素122由参考图像1(110)中的像素B(112) 以及参考图像0(130)中的像素A(132)进行预测。在图1中，Vx以及Vy是在x方向以及y方向上的像素位移向量(pixel displacement vector)，其使用双向光流(BIO) 模式推导。其仅应用于真正的双向预测的块，双向预测的块从对应于先前帧以及后续帧的两个参考帧预测得到。在VCEG-AZ05中，BIO利用5×5窗口(window) 去推导每一样本的运动细化。因此，对于N×N块，需要(N+4)×(N+4)块的运动补偿结果以及对应的梯度信息去推导N×N块的基于样本的运动细化 (sample-based motion refinement)。根据VCEG-AZ05，使用6抽头梯度滤波器以及6抽头插值滤波器去生成用于BIO的梯度信息。因此，BIO的计算复杂度比传统的双向预测的计算复杂度要高出许多。为了进一步提高BIO的性能，提出了后续方法。
在HEVC中常规的双向预测中，使用方程式(1)生成预测子(predictor)，其中 P(0)以及P(1)分别是列表0以及列表1的预测子。
PConventional[i,j]＝(P(0)[i,j]+P(1)[i,j]+1)＞＞1 (1)
在JCTVC-C204以及VECG-AZ05中，使用方程式(2)生成BIO预测子。
POpticalFlow＝(P(0)[i,j]+P(1)[i,j]+vx[i,j](Ix (0)-Ix (1)[i,j])+ vy[i,j](Iy (0)-Iy (1)[i,j])+1)＞＞1 (2)
在方程式(2)中，Ix (0)以及Ix (1)分别表示列表0以及列表1预测子中x方向的梯度；Iy (0)以及Iy (1)分别表示列表0以及列表1预测子中y方向的梯度；Vx以及 Vy分别表示x以及y方向上的偏移。Vx以及Vy的推导进程如下所示。首先，价值函数被定义为diffCost(x,y)以找到最佳值Vx以及Vy。为了找到最佳值Vx以及 Vy以使价值函数diffCost(x,y)最小化，使用了5×5窗口。Vx以及Vy的解可以通过使用S1、S2、S3、S5以及S6来表示。
Figure GDA0002101436310000031
最小价值函数，mindiffCsot(x,y)可以根据以下推导：
Figure GDA0002101436310000032
通过对方程式(3)以及方程式(4)进行求解，Vx以及Vy可以根据方程式(5)解出：
Figure GDA0002101436310000033
其中：
Figure GDA0002101436310000034
Figure GDA0002101436310000035
Figure GDA0002101436310000036
在上述方程式中，
Figure GDA0002101436310000037
对应于列表0图像中位于(x,y)处像素的x方向的梯度，
Figure GDA0002101436310000038
对应于列表1图像中位于(x,y)处像素的x方向的梯度，
Figure GDA0002101436310000039
对应于列表0图像中位于(x,y)处像素的y方向的梯度，以及
Figure GDA00021014363100000310
对应于列表1 图像中位于(x,y)处像素的y方向的梯度。
在VCEG-AZ05中，BIO在HEVC的参考软件上实施以及BIO经常应用于由真正双向进行预测的那些块。在HEVC中，使用一个用于亮度分量的8抽头的插值滤波器以及一个用于色度分量的4抽头插值滤波器，以执行分数运动补偿(fractional motion compensation)。考虑到用于BIO中一个8×8CU中一个待处理像素的一个5X5窗口，最坏情况下所需要的频宽从(8+7)×(8+7)×2/(8x8)＝ 7.03增加到(8+7+4)×(8+7+4)×2/(8x8)＝11.28参考像素/每一当前像素。在 JVET D0042(2016年10月15-21日，在中国成都举行的ITU-T SG 16 WP 3以及 ISO/IEC JTC 1/SC 29/WG 11的联合视频开发团队(Joint Video Exploration Team，JVET)，第4次会议，A.Alshin等人：“AHG6:关On BIO memory bandwidth”，文献:JVET-D0042)中，如果这些像素在当前块外，为了减少所需要的频宽，所需要的数据包括运动补偿像素以及x与y方向上的梯度将被设置为0。如图2所示，中心的正方形是用于当前块的原始MC区域(210)，以及为了通过使用所推导的位移以及梯度进一步细化预测子，BIO进程需要预测子以及区域A(220)以及区域B(230)中对应的梯度以分别推导位移。在JVET D0042中，来自于区域A(220) 以及区域B(230)的数据将被设置为0以节约所需要的频宽。因为梯度从额外的6 抽头滤波器生成，可以通过使用与原始HEVC中相同的区域生成梯度以及运动补偿像素。因此，通过使用JVET D0042中的方法，在BIO进程中没有额外的频宽需求。
然而，相比于原始的运动补偿设计，使用额外的6抽头滤波器以生成x和y 方向上的梯度比较复杂。将需要两个额外的6抽头滤波器：一个用于生成梯度以及另一个用于当运动向量是分数的时候执行插值。而且，VCEG-AZ05中还提出了基于块的进程来减少所需要的计算复杂度。因此，后续示出了一个低复杂度的BIO。在低复杂度的BIO中，使用了基于块的推导进程而不是基于像素的推导进程，其中每一块被拆分成多个4X4块(本发明中称为BIO块)用于基于块的BIO进程。在原始的BIO中，5X5窗口被用于推导用于每一像素的运动，在基于块的BIO中，6X6窗口用于每一4X4块以推导用于块的运动。根据低复杂度的BIO，通过将系数等于{-1,0,1}的3抽头滤波器应用于多个运动补偿像素，梯度的计算也被简化。在图2中，较小块250对应于用于基于块的BIO的4X4 块。虚线块260对应于用于推导与4X4块有关的运动信息的6X6窗口。对于窗口中的每一像素，必须计算预测子以及梯度。对于{-1,0,1}梯度滤波器，用于在窗口260的左上角的像素240的x方向与y方向的梯度需要示为图2中黑点的周围像素。因此，所需要的频宽与原始BIO中所需要的频宽一样，但是通过使用基于块的推导进程，不需要额外的6抽头滤波器以及减少了计算复杂度。因此，需要开发减少所需要存储器频宽的方法以及进一步提高低复杂度BIO的编解码性能。
在利用运动补偿的帧间预测的典型视频编解码***中，运动信息通常从编码器侧传输至解码器，以致解码器可以正确地执行运动补偿的帧间预测。在这种***中，运动信息将消耗一些编码位。为了提高编解码的效率，在 VCEG-AZ07(2015年6月19-26日，波兰华沙举行的ITU-通讯标准化部门，研究小组16问题6，视频编码专家组(VCEG),第52次会议中，Jianle Chen等人：Further improvements to HMKTA-1.0)中公开了一种解码器侧运动向量推导方法。根据VCEG-AZ07，解码器侧运动向量推导方法使用两个帧率上转换(FrameRate Up-Conversion，FRUC)模式。其中一个FRUC模式称为用于B切片的双向匹配(bilateral matching)，以及另一个FRUC模式被称为用于P切片或B切片的样板匹配(template matching)。
基于模式的MV推导(PMVD)
图3示出了FRUC双向匹配模式的示例，其中基于两个参考图像推导当前块310的运动信息。通过找到两个不同参考图像(也就是Ref0以及Ref1)中沿着当前块310的运动轨迹(motion trajectory)340的两个块(320以及330)之间的最佳匹配，推导当前块的运动信息。在连续的运动轨迹假设下，指向两个参考块320 以及330的与Ref0有关的运动向量MV0以及与Ref1有关的MV1应该与当前图像(也就是Cur pic)与两个参考图像Ref0以及Ref1之间的时间距离成比例，也就是TD0以及TD1。
图4示出了FRUC样板匹配模式的示例。当前图像(也就是Cur pic)中的当前块410的相邻区域(420a以及420b)被用作为一样板，以与参考图像(也就是图 4中的Ref0)对应的样板(430a以及430b)匹配。样板420a/420b与样板430a/430b 之间的最佳匹配将决定编码器推导的运动向量440。虽然Ref0示出于图4中， Ref1也可以用作为参考图像。
根据VCEG-AZ07，当merge_flag或者skip_flag为真的时候，发信一 FRUC_mrg_flag。如果FRUC_mrg_flag是1，那么FRUC_merge_mode被发信以指示双向匹配合并模式(bilateral matching merge mode)或样板匹配合并模式 (template matching mergemode)是否被选择。如果FRUC_mrg_flag是0，其意味着在这种情况中，使用了常规合并模式并且合并索引被发信。在视频编解码中，为了提高编解码的效率，可以使用运动向量预测(motion vector prediction，MVP) 来预测块的运动向量，其中生成候选列表。合并候选列表可以被用于在合并模式中对块进行编解码。当使用合并模式对块进行编码时，块的运动信息(也就是运动向量)可以由合并MV列表中的其中一个候选MV所表示。因此，合并索引被传输到解码器侧，而不是直接地传输块的运动信息。解码器保持相同的合并列表并使用合并索引去检索由合并索引所发信的合并候选。典型地，合并候选列表由少量的候选组成，以及传输合并索引比传输运动信息更有效率。当在合并模式中对块进行编码时，通过发信合并索引而不是明确地传输运动信息，运动信息与相邻块的运动信息“合并”在一起。然而，预测残差将仍会被传输。在预测残差是0或者非常小的情况下，预测残差被“跳过”(也就是跳过模式)以及块由具有合并索引的跳过模式(skip mode)进行编码，以确定合并列表中的合并MV。
术语FRUC指的是用帧率上转换的运动向量的推导，基础技术用于解码器以推导一个或多个合并MV候选而不需要明确地传输运动信息。因此，本发明中FRUC也叫解码器推导的运动信息。因为样板匹配方法是基于模式的MV推导技术，本发明中的FRUC的样板匹配方法也叫作基于模式的MV推导(PMVD)。
在解码器侧MV推导方法中，通过扫描索所有参考图像中的所有MV，推导了所谓时间推导的MVP的新的时间MVP。为了推导LIST_0时间推导的MVP，对于LIST_0参考图像中的每一LIST_0MV，MV被缩放以指向当前图像。由这一缩放的MV指向的当前图像中的4X4块是目标当前块。MV被进一步缩放以指向目标当前块的LIST_0中refidx等于0的参考图像，进一步缩放的MV存储于目标当前块的LIST_0字段中。图5A以及第图5B分别示出了推导用于LIST_0以及LIST_1的时间推导的MVP的示例。在图5A以及图5B中，每一小正方形块对应于4X4块。时间推导的MVP进程扫描所有参考图像中的所有4X4块中的MV以生成当前图像的时间推导的LIST_0以及LIST_1MVP。例如，在图5A 中，块510、块512以及块514分别对应于当前图像(Curpic)、索引等于0(也就是refidx＝0)的LIST_0参考图像以及索引等于1(也就是refidx＝1)的LIST_0参考图像的4X4块。用于索引等于1的LIST_0参考图像中的两个块的运动向量520以及530是已知的。那么，时间推导的MVP522以及532可以通过分别扫描运动向量520以及530来推导。然后分配缩放的MVP给对应的块。类似地，在图 5B中，块540、块542以及块544分别对应于当前图像(Cur.pic)、索引等于0的 LIST_1参考图像以及所有等于1的LIST_1参考图像的4X4块。用于索引等于1的LIST_1参考图像中的两个块的运动向量550以及560是已知的。那么，可以分别通过扫描运动向量550以及560推导时间推导的MVP552以及562。
对于双向匹配合并模式以及样板匹配合并模式，应用了两阶段匹配。第一阶段是PU级匹配，以及第二阶段是子PU级匹配。在PU级的匹配中，分别选择LIST_0以及LIST_1中的多个初始MV。这些MV包括来自于合并候选(也就是常规的合并候选，例如在HEVC标准中所定义的这些合并候选)的多个MV以及来自于时间推导的MVP的多个MV。为两个列表生成两个不同的起始MV集合。对于一个列表中的每一MV，通过组合这一MV与镜像MV生成MV对(MVpair)，镜像MV通过缩放MV至另一个列表所推导。对于每一MV对，通过使用这一MV对补偿两个参考块。计算这两个块的绝对差的总和(SAD)，具有最小 SAD的MV对被选为最佳MV对。
在推导用于PU的最佳MV后，执行菱形搜索(diamond search)来细化MV 对。细化精度是1/8像素，细化搜索范围被限制于±1个像素内。最终的MV对是PU级推导的MV对，菱形搜索在视频编解码领域中是公知的快速块匹配运动估计算法。因此，菱形搜索算法的细节在此不再赘述。
对于第二阶段子PU级的搜索，当前PU被拆分成多个子PU。在序列参数集(sequenceparameter set，SPS)中发信子PU的深度(例如3)。最小块尺寸是4X4 块。对于每一子PU，选择LIST_0以及LIST_1中的多个起始MV，其包括PU 级推导MV的MV、0MV、当前子块以及右下方块的HEVC同位的TMVP、当前子PU的时间推导的MVP以及左、上PU/子PU的MV。通过使用类似于PU 级搜索的机制，决定用于子PU的最佳MV对。执行菱形搜索以细化MV对。执行子PU的运动补偿以生成子PU的预测子。
对于样板匹配合并模式，上四行以及左4列的重构像素用于形成样板。执行样板匹配去找到与其对应的MV最佳匹配的样板。两阶段匹配也应用于样板匹配。在PU级匹配中，分别选择LIST_0以及LIST_1中的多个起始MV。这些 MV包括来自于合并候选(也就是常规的合并候选，例如在HEVC标准中所定义的这些合并候选)中的多个MV以及来自于多个时间推导MVP的多个MV。生成用于两个列表的两个不同的起始MV集。对于一个列表中的每一MV，计算具有MV的样板的SAD成本。具有最小成本的MV是最佳MV。然后执行菱形搜索以细化MV，细化精度是1/8像素。细化搜索范围被限制在±1个像素内。最终MV是PU级推导的MV，独立地生成LIST_0以及LIST_1中的多个MV。
对于第二阶段子PU级搜索，当前PU被拆分成多个子PU。在SPS中发信子PU的深度(例如，3)，最小子PU尺寸是4×4块。对于在左或上PU边界的每一子PU，选择LIST_0以及LIST_1中的多个起始MV，其包括PU级推导MV 的MV、0MV、当前子块以及右下方块的HEVC同位的TMVP、当前子PU的时间推导的MVP以及左、上PU/子PU的MV。通过使用类似于PU级搜索的机制，决定用于子PU的最佳MV对，执行菱形搜索以细化MV对。执行用于这一子PU的运动补偿以生成用于这一子PU的预测子。对于不在左或上PU边界的多个PU，不应用第二阶段子PU级搜索，以及设置对应的多个MV等于第一阶段中的多个MV。
在这一解码器MV推导方法中，也使用样板匹配去生成用于帧间模式编码的MVP。当选择参考图像的时候，执行样板匹配以在所选择的参考图像上找到最佳样板，它对应的MV是推导的MVP。MVP被***AMVP中的第一位置， AMVP表示高阶段的MV预测，其中使用候选列表预测性地对当前MV进行编码。当前MV与候选列表中所选择的MV候选之间的MV差异被编码。
解码器侧MV细化(DMVR)
在JVET-D0029(2016年10月15-21日，在中国成都举行的ITU-T SG 16 WP 3以及ISO/IEC JTC 1/SC 29/WG 11的联合视频勘探团队(Joint Video Exploration Team，JVET)，第4次会议，Xu Chen等人：Decoder-Side Motion Vector Refinement Based onBilateral Template Matching”，文献：JVET-D0029)中，公开了基于双边样板匹配的解码器侧运动向量细化(DMVR)。如图6所示，通过使用来自于MV0 以及MV1的参考块(610以及620)的双向预测生成样板。如图7所示，使用样板作为新的当前块以及执行运动估计以分别在参考图像0以及参考图像1中找到更好的匹配块(分别地710以及720)。细化的MV是MV0’以及MV1’，然后使用细化的MV(MV0’以及MV1’)以生成用于当前块的最终的双向预测的预测块。
在DMVR中，其使用两阶段搜索以细化当前块的MV。如图8所示，对于当前块，首先计算当前MV候选(在由正方形符号810所指示的当前像素位置处) 的成本。在第一阶段搜索中，围绕着当前像素位置执行整数像素搜索，估计了8 个候选(由图8中8个大圆圈820所指示)。在两个相邻圆圈之间或者在正方形符号与相邻圆圈之间的水平距离、垂直距离或者两者是一个像素。在第一阶段中，具有最低成本的最佳候选被选为最佳MV候选(例如，在由圆圈830所指示位置处的候选)。在第二阶段中，如图8中8个小圆圈所示，围绕着第一阶段中的最佳MV候选执行1/2像素正方形搜索。具有最低成本的MV候选被选为用于最终运动补偿的最终MV。
因此，还期望减少使用PMVD或DMVR的***的频宽需求。
发明内容
本发明公开了一种使用基于模式的MV推导(PMVD)、双向光流(BIO)或解码器侧MV细化(DMVR)以细化以双向预测块的运动的方法以及装置。根据本发明的一方法，决定来自于参考图像列表0的第一参考图像中与当前块有关的第一运动补偿参考块，其中其中所述第一运动补偿参考块包括在所述第一参考图像中所述当前块对应的块附近的额外周围第一像素，用于执行所述当前块的任何分数向量所需要的插值滤波；也决定来自于参考图像列表1的第二参考图像中与所述当前关有关的第二运动补偿参考块，其中所述第二运动补偿参考块包括在所述第二参考图像中所述当前块对应的块附近的额外周围第二像素，用于执行所述当前块的任何分数向量所需要的插值滤波；使用对应于所述第一运动补偿参考块以及所述第二运动补偿参考块的参考数据而不使用在所述第一运动补偿参考块以及所述第二运动补偿参考块外的其他参考数据，应用PMVD进程、 BIO进程或者DMVR进程去生成所述当前块的运动细化，以便减少***所需要的***存储器频宽；根据所述运动细化，基于运动补偿预测对所述当前块进行编码或解码。
对于BIO，所述BIO进程可以包括计算所述第一运动补偿参考块中多个第一像素的多个第一梯度以及所述第二运动补偿参考块中多个第二像素的多个第二梯度，使用所述多个第一梯度以及所述多个第二梯度推导x方向以及y方向上的位移，以及基于所述x方向以及所述y方向上的所述位移生成所述运动细化。进一步地，计算所述多个第一梯度以及所述多个第二梯度使用对应于{-1,0,1} 的3抽头滤波器用于所述第一运动补偿参考块以及所述第二运动补偿参考块的非边界像素，以及所述计算所述多个第一梯度以及所述多个第二梯度通过使用对应于{-1,1}的2抽头滤波器用于所述第一运动补偿参考块以及所述第二运动补偿参考块的边界像素，以便避免需要在所述第一运动补偿参考块以及所述第二运动补偿参考块外的参考像素；以及其中所述边界像素在所述第一运动补偿参考块或所述第二运动补偿参考块的1像素边界中。
在一个实施例中，如果用于所述当前块的边界像素的所述PMVD进程、BIO 进程或DMVR进程需要任何在所述第一运动补偿参考块以及所述第二运动补偿参考块外的参考像素，所述PMVD进程、所述BIO进程或所述DMVR进程用于所述当前块的边界像素以生成所述当前块的所述运动细化被跳过。在另一个实施例中，其中如果用于所述当前块的所述PMVD进程、所述BIO进程或所述 DMVR进程需要在所述第一运动补偿参考块以及所述第二运动补偿参考块外的一个或多个运动补偿参考像素，通过填充生成所述一个或多个运动补偿参考像素。
本发明也公开了一种存储程序指令的非暂态计算机可读媒介，使得装置的处理电路执行上述视频编解码方法。
本发明公开了使用基于块的双向光流以细化双向预测块的运动的另一种视频编解码方法以及装置。根据这一方法，基于视频序列的视频分辨率、与所述当前块有关的特性以及所述当前块的尺寸中的一个或其组合，将所述当前块拆分成一个或多个BIO块。例如，如果所述当前块的内容平滑，可以将所述当前块拆分成较小数量的BIO块。在另一个示例中，如果所述当前块包括更复杂的纹理或更复杂的运动区域，将所述当前块拆分成较大数量的BIO块。在又一示例中，所述当前块对应于编码单元(CU)以及根据所述当前块的所述尺寸，将实施当前块拆分成一个或多个BIO块。在又一示例中，如果所述当前块使用子块运动分割，将所述当前块拆分成较大数量的BIO块。在又一示例中，如果与所述当前块有关的所述第一运动补偿参考块的方差值或者与所述当前块有关的所述第二运动补偿参考块的方差值大，将所述当前块拆分成较大数量的BIO块。在又一示例中，如果与所述当前块块有关的所述第一运动补偿参考块或者与所述当前块有关的所述第二运动补偿参考块中的一个或多个强边缘大，将所述当前块拆分成较大数量的BIO块。在比特流的序列级、图像级、切片级、CTU(编码树单元)级或CU(编码单元)级隐含地决定或明确地发信所述当前块的所述多个BIO块的总数量。
本发明还公开了一种存储程序指令的非暂态计算可读媒介，使得装置的处理电路执行上述视频编解码方法，通过基于所述视频序列的视频分辨率、与所述当前块有关的特性或所述当前块的尺寸的一个及其组合，将所述当前块拆分成一个或多个BIO块。
本发明方案通过使用运动补偿参考块以及其附近的额外区域的参考数据，并应用PMVD、BIO或DMVR进程去生成当前块的运动细化，在降低运动补偿所需要的***频宽的同时不增加计算的复杂度。
附图说明
图1示出了双向光流(BIO)去推导用于运动细化的偏移运动向量的示例。
图2示出了推导与双向光流(BIO)有关的梯度以及位移所需要的运动补偿区域以及它相邻的像素。
图3示出了使用双向匹配技术的运动补偿的示例，其中当前块由沿着运动轨迹的两个参考块进行预测。
图4示出了使用样板匹配技术的运动补偿的示例，其中当前块的样板与参考图像中的参考样板匹配。
图5A示出了用于LIST_0参考图像的时间运动向量预测(MVP)推导进程的示例。
图5B示出了用于LIST_1参考图像的时间运动向量预测(MVP)推导进程的示例。
图6示出了解码器侧运动向量细化(DMVR)的示例，其中通过使用来自于 MV0以及MV1的多个参考块的双向预测首先生成样板。
图7示出了解码器侧运动向量细化的示例，其通过使用图6中生成的样板作为新的当前块以及执行运动估计去分别找到参考图像0以及参考图像1中更好的匹配块。
图8示出了对用于解码器侧运动向量细化(DMVR)的当前块的多个MV进行细化的两阶段搜索的示例。
图9示出了由用于具有分数MV的M×N的解码器侧运动向量细化(DMVR) 所需要的参考数据的示例，其中运动补偿需要(M+L-1)*(N+L-1)参考块。
图10示出了根据本发明实施例的使用基于模式的MV推导(PMVD)、双向光流(BIO)或解码器侧MV细化(DMVR)以细化用于双向预测块的运动的示例性流程图。
图11示出了根据本发明实施例的使用双向光流(BIO)以细化用于以双向预测的块的运动的视频编解码***的示例性流程图，其中基于视频序列的视频分辨率、与当前块有关的特性或所述当前块的尺寸，所述当前块被拆分成一个或多个BIO块。
具体实施方式
下文的描述是实施本发明的最佳实施方式。所做之描述旨在说明本发的基本原理，因此不应该对此做限制性理解。本发明的范围由参考所附权利要求最佳确定。
如先前所提到的，各种运动细化技术，例如基于模式的MV推导(PMVD)、双向光流(BIO)或解码器侧运动向量细化(DMVR)，需要存储额外的参考数据，其导致***频宽的增加。在本发明中，公开了减少与PMVD、BIO以及DMVR 有关的***频宽的技术。
方法1.BIO频宽减少
在低复杂度BIO中，如图1所示的区域A(220)以及区域B(230)用于计算梯度，以及这些梯度用于推导位移以及细化最终的预测子。为了进一步减少频宽，根据本发明所提出的方法，不使用来自于区域A(220)以及区域B(230)的数据。为了补偿区域B(230)参考数据的缺失，在CU边界的像素的梯度计算也相应地改变。在一个实施例中，当3抽头滤波器{-1,0,1}用于梯度计算时，一个系数等于{-1,1}的2抽头滤波器去生成用于这些在CU边界处的像素的梯度。换句话说，对于边界像素，{-1,1}滤波器在当前运动补偿块以及块内的相邻像素的边界上的当前像素上运行。相比于3抽头滤波器{-1,0,1}，现在不需要当前运动补偿参考块外的额外的像素。因为梯度计算是不同的，需要基于滤波器抽头距离的对梯度进行标准化处理。例如，由使用3抽头滤波器{-1,0,1}计算的梯度对应于像素距离等于2中的像素值的变化，以及由使用2抽头滤波器{-1,1}计算的梯度对应于像素距离等于1中的像素值的变化。因此，由使用2抽头滤波器{-1,1}计算的梯度应该乘以2以成为像素距离等于2中的像素值的变化。在另一个实施例中，跳过了用于在CU边界处的像素的BIO细化进程。在另一个实施例中，使用了填充方法以生成区域A(220)或区域B(230)中的像素值而不是执行运动补偿。例如，直接在没有镜像的情况下扩展边界像素可以用于生成区域A(220)或区域 B(230)中的所有像素。或者，用镜像的填充可以用于生成区域A(220)或区域 B(230)中的所有像素。在应用填充技术后，可以在没有其他变化的情况下应用 BIO进程。
方法2.BIO进程中的块尺寸
在低复杂度BIO中，使用基于块的推导进程而不是基于像素的推导进程，其可以明显地减少计算复杂度。然而，使用一个预定义的BIO块尺寸不能实现不同分辨率的或具有不同视频内容的视频的最佳编解码增益(coding gain)。根据本发明的一个方法，BIO块尺寸是适应性的以及可以取决于视频分辨率和/或视频内容的特性。例如，对于平滑区域，块尺寸应当更大以致包括更多的纹理 (texture)以推导精确的位移。另一方面，对于复杂的纹理或运动区域，块尺寸应该更小以致适应于局部化。因此，在一个实施例中，块尺寸取决于视频分辨率。在另一个实施例中，块尺寸取决于CU尺寸。当CU尺寸小的时候，那么块尺寸应当小。在另一个实施例中，块尺寸取决于子块运动分割(motion partition)的使用。如果通过使用子块运动分割对当前CU进行编码，那么在BIO中使用更小的块尺寸。在另一个实施例中，块尺寸可以取决于运动补偿的像素。例如，如果运动补偿的像素的方差大或者在运动补偿(MC)的区域中有一些强边缘，那么较小块尺寸将用于BIO。可以组合上述方法以隐含地决定用于BIO进程的块尺寸。或者，用于BIO进程的所选择的块尺寸可以在比特流的序列级、图像级、切片级、CTU(编码树单元)级或者CU(编码单元)级明确地发信。
减少PMVD以及DMVR的***频宽
在解码器侧预测子细化工具中，例如PMVD、BIO以及DMVR，细化预测子的进程通过需要参考块外的额外的参考样本。例如，对于具有分数MV的M ×N块910，需要如图9所示的(M+L-1)*(N+L-1)参考块925用于运动补偿，其中L是插值滤波器抽头的长度。在HEVC中，L等于8。对于DMVR搜索，需要参考块925外的1像素宽度的环形区域(ring aera)920用于在(M+L-1)*(N+L-1) 参考块925加环形区域920内的第一阶段搜索。如果最佳候选位于左上侧而不是中心候选，可能会需要在环形区域920外的额外的数据。例如，需要额外的L 形区域(也就是，额外的(M+L-1)像素行以及(N+L-1)像素列)。因此，为了支持解码器侧预测子细化工具，需要额外的频宽。
为了减少存储器频宽需求，提出了滤波器系数填充方法。首先，定义有效的参考块。有效的参考块可以与原始参考块相同(也就是(M+L-1)*(N+L-1)块925) 或者包括原始参考块的预定义的块(也就是原始参考块925加一个像素环形区域 920)。然后，当执行解码器侧MV细化和/或最终运动补偿的时候，将不会使用有效参考块外的任何参考像素。如果插值滤波器需要有效参考块外的像素，滤波器的系数将会转变成为边界系数。例如，如果8抽头滤波器的系数集是 {-1,4,-11,40,40,-11,4,-1}以及左边两个样本不在有效参考块中，滤波器系数集将会变成{0,0,-8,40,40,-11,4,-1}。左边两个样本的系数与第三样本(也就是，边界样本)合为一体。在这一示例中，左边两个样本的系数是{-1,4}以及边界像素的系数是{-11}。边界像素的修正系数变成{-1}+{4}+{-11}＝{-8}。如果滤波器进程中的所有样本都在有效参考块中，滤波器的系数集是不变化的。在另一个实施例中，如果插值滤波器需要有效参考块外的像素，对应于外部像素的滤波器系数将与对应于第一有效像素的系数合为一体。例如，左边两个样本的系数被加入到中心系数上，那么中心系数变成{-1}+{4}+{40}＝{43}。那么滤波器系数集将变成 {0,0,-11,43,40,-11,4,-1}。
为了说明基于DMVR这一方法的示例，图9中的有效参考块可以是与原始参考块((M+L-1)*(N+L-1)块925)相同的块。1像素环形区域920外的所有像素都被认为是无效参考样本。当在搜索阶段及或者最终运动补偿中执行滤波进程的时候，用于无效样本的滤波器系数将会与最近的有效样本合为一体。在一个实施例中，系数改变仅应用于搜索阶段，而不应用于最终运动补偿。
不同的编解码工具可以具有不同的有效参考块设定，例如，对于DMVR，有效块可以是(M+L-1)*(N+L-1)块。对于PMVD，有效块可以是(M+L-1+O)*(N+L-1+P)块，其中O以及P可以是4。
在PMVD中，执行一两阶段的搜索。第一阶段是PU级搜索，第二阶段是子PU级搜索。在提出的方法中，有效参考块约束被应用于第一阶段搜索以及第二阶段搜索两者，这两个阶段的有效参考块可以是相同的。
在另一个实施方法中，可以通过使用有效参考块中的一些像素生成有效参考块外的所需要的像素。例如，有效参考块外的所有像素都由有效参考块内最近的像素填充。那么，当执行解码器侧MV细化和/或最终运动补偿的时候，如果目标像素在有效参考块外，使用所填充的像素而不是原始像素。
所提出的滤波器系数转换或者参考像素生成可以被限制为应用于某一些 CU或PU，例如，所提出的方法可以应用于CU面积大于64或256的CU，或者可以应用于双向预测块。
图10示出了根据本发明实施例的使用基于模式的MV推导(PMVD)、双向光流(BIO)或解码器侧MV细化(DMVR)以细化用于双向预测块的运动的示例性流程图。流程图中示出的步骤以及本发明其他流程图示出的步骤，可以实施为在编码器侧和/或解码器侧的一个或多个处理器(例如，一个或多个CPU)上可执行的程序代码。流程图所示出的步骤也可以基于硬件实施，例如用于执行如流程图中步骤的一个或多个电子装置或处理器。根据这一方法，在步骤1010中，接收与当前图像中当前块有关的输入数据，其中使用双向预测对当前块进行编码。在步骤1020中，决定来自于参考图像列表0的第一参考图像中与当前块有关的第一运动补偿参考块，其中第一运动补偿参考块包括在第一参考图像中当前块的对应块附近的额外周围第一像素，用于执行当前块的任何分数运动向量所需要的插值滤波。在步骤1030中，决定来自于参考图像列表1中的第二参考图像中与当前块有关的第二运动补偿参考块，其中第二运动补偿参考块包括在第二参考图像中当前块的对应块附近的额外周围第二像素，用于执行当前块的任何分数运动向量所需要的插值滤波。在步骤1040中，使用对应于第一运动补偿参考块以及第二运动补偿参考块的参考数据而不使用在第一运动补偿参考块以及第二运动补偿参考块外的其他参考数据，应用PMVD进程、BIO进程或者 DMVR进程以生成用于当前块的运动细化，以致可以减少所需要的***存储器频宽。在步骤1050中，根据运动细化，基于运动补偿预测对当前块进行编码或解码。
图11示出了根据本发明实施例的使用双向光流(BIO)以细化用于以双向预测的块的运动的示例性流程图，其中基于视频序列的视频分辨率、与当前块有关的特性以及当前块的尺寸的一个或其组合，将当前块拆分成一个或多个BIO 块。根据这一方法，在步骤1110中，接收与当前图像中当前块有关的输入数据，其中使用双向预测对当前块进行编码。在步骤1120中，基于视频序列的视频分辨率、当前块相关的特性以及当前块的尺寸的一个或其组合，将当前块拆分成一个或多个BIO块。在步骤1130中，决定来自于参考图像列表0的第一参考图像中与当前块有关的第一运动补偿参考块，其中第一运动补偿参考块包括在第一参考图像中当前块的对应块的附近的额外周围第一像素，用于执行当前块任何分数相邻所需要的插值滤波。在步骤1140中，决定来自于参考图像list1的第二参考图像中与当前块有关的第二运动补偿参考块，其中第二运动补偿参考块包括在第二参考图像中当前块的对应块附近的额外周围第二像素，用于执行当前块任何分数运动向量所需要的插值滤波。在步骤1150中，推导在与当前块中每一BIO块有关的一个第一运动补偿参考BIO块周围的一个第一窗口中每一像素的第一梯度以及在与每一BIO块有关的一个第二运动补偿参考BIO块周围的一个第二窗口中每一像素的第二梯度。在步骤1160中，基于在与每一BIO块有关的第一运动补偿参考块周围的第一窗口中多个像素的多个第一梯度以及在于每一BIO块有关的第二运动补偿参考块周围的第二窗口中多个像素的多个第二梯度，生成用于每一当前BIO块的一个位移向量。在步骤1170中，基于位移向量以及每一BIO块中每一像素的第一梯度以及第二梯度，生成每一BIO块每一像素的运动细化。在步骤1180中，根据运动细化，基于运动补偿预测对当前块进行编码或解码。
上述示出的流程图是为了示出根据本发的视频编解码的示例。在不背离本发明精神的情况下，本领域技术人员可以修改每一步骤、重新排列这些步骤或者组合这些步骤以实施本发明。在本发明中，已经使用了特定的语法以及语义以说明实施本发明实施例的示例。在不背离本发明精神的情况下，本领域技术人员可以通过用相等的语法以及语义来替换该语法以及语义来实施本发明。
上述的描述是为了能够让本领域普通技术人员以上下文所提供的特定应用以及需求来实施本发明。所描述的许多实施例的各种修正对本领域技术人员将是显而易见的，以及此处所定义的基本原理应可以应用于其他实施例。因此，本发明不旨在限制于所示出及所描述的特定实施例，而应当符合与此处所公开的原理以及新颖特征一致的最宽的范围。在上述细节描述中，所示出的许多特定细节是为了提供本发明的透彻的理解，然而，本领域技术人员应当理解，可以实施本发明。
上述所描述的本发明的实施例可以以硬件、软件或者其组合的方式实施。例如，本发明的实施例可以是集成到视频压缩芯片的一个或多个电子电路，或者集成到视频压缩软件的程序代码以执行此处所描述的进程。本发的实施例也可以是在数字信号处理器(Digital Signal Processor，DSP)上述执行的程序代码以执行此处所描述的进程。本发也涉及由计算机处理器、数字信号处理器、微处理器或现场可编码门阵列(programmablegate array，FPGA)执行的许多功能。通过执行定义由本发实施例的特定方法的机器可读软件代码或固件代码，这些处理器可以用于执行根据本发明的特定的任务。软件代码或固件代码可以以不同的程序语言以及不同的格式或风格开发。软件代码也可以由不同的目标平台所编译。然而，不同的代码格式、风格以及软件代码语言以及配置代码以执行本发明一致的任务的其他方式将不背离本发明的精神以及范围。
本发明可以在不背离其精神或基础特征的情况下以其他特定的形式实施本发明，所描述的示例在所有方面仅认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求而非前述的描述所指示。专利申请范围等同物的含义以及范围内的所有变化都包括在在本发明的范围内。

Claims (6)

1.一种视频编解码方法，其使用PMVD或DMVR以细化双向预测块的运动，其特征在于，所述方法包括：
接收与当前图像中当前块有关的输入数据，其中使用双向预测对所述当前块进行编码；
决定来自于参考图像列表0的第一参考图像中与所述当前块有关的第一运动补偿参考块，其中所述第一运动补偿参考块包括在所述第一参考图像中所述当前块对应的块附近的额外周围第一像素，用于执行所述当前块的任何分数向量所需要的插值滤波；
决定来自于参考图像列表1的第二参考图像中与所述当前块有关的第二运动补偿参考块，其中所述第二运动补偿参考块包括在所述第二参考图像中所述当前块对应的块附近的额外周围第二像素，用于执行所述当前块的任何分数向量所需要的插值滤波；
使用对应于所述第一运动补偿参考块以及所述第二运动补偿参考块的参考数据而不使用在所述第一运动补偿参考块以及所述第二运动补偿参考块外的其他参考数据，应用PMVD进程或者DMVR进程去生成所述当前块的运动细化；以及
根据所述运动细化，基于运动补偿预测对所述当前块进行编码或解码；其中如果用于所述当前块的所述PMVD进程、所述DMVR进程或根据所述运动细化进行运动补偿进程需要在所述第一运动补偿参考块以及所述第二运动补偿参考块外的一个或多个第一运动补偿参考像素，通过使用所述第一运动补偿参考块以及所述第二运动补偿参考块之内的第二像素填充生成所述一个或多个第一运动补偿参考像素。
2.如权利要求1所述的视频编解码方法，其特征在于，所述PMVD进程、所述DMVR进程或根据所述运动细化进行运动补偿进程使用填充生成所述一个或多个第一运动补偿参考像素，不使用所述第一运动补偿参考块以及所述第二运动补偿参考块之外的原始像素。
3.如权利要求1所述的视频编解码方法，其特征在于，其中所述第一运动补偿参考块以及所述第二运动补偿参考块之内的第二像素是距离所述一个或多个第一运动补偿参考像素最近的像素。
4.如权利要求1所述的视频编解码方法，其特征在于，通过镜像所述第一运动补偿参考块以及所述第二运动补偿参考块之内的第二像素填充生成所述一个或多个第一运动补偿参考像素。
5.一种视频编解码的装置，其使用PMVD或DMVR以细化双向预测块的运动，所述视频编解码装置包括一个或多个电子电路或处理器，其特征在于，用于：
接收与当前图像中当前块有关的输入数据，其中使用双向预测对所述当前块进行编码；
决定来自于参考图像列表0的第一参考图像中与所述当前块有关的第一运动补偿参考块，其中所述第一运动补偿参考块包括在所述第一参考图像中所述当前块对应的块附近的额外周围第一像素，用于执行所述当前块的任何分数向量所需要的插值滤波；
决定来自于参考图像列表1的第二参考图像中与所述当前块有关的第二运动补偿参考块，其中所述第二运动补偿参考块包括在所述第二参考图像中所述当前块对应的块附近的额外周围第二像素，用于执行所述当前块的任何分数向量所需要的插值滤波；
使用对应于所述第一运动补偿参考块以及所述第二运动补偿参考块的参考数据而不使用在所述第一运动补偿参考块以及所述第二运动补偿参考块外的其他参考数据，应用PMVD进程或者DMVR进程去生成用于所述当前块的运动细化；
根据所述运动细化，基于运动补偿预测对所述当前块进行编码或解码；
其中如果用于所述当前块的所述PMVD进程、所述DMVR进程或根据所述运动细化进行运动补偿进程需要在所述第一运动补偿参考块以及所述第二运动补偿参考块外的一个或多个第一运动补偿参考像素，通过使用所述第一运动补偿参考块以及所述第二运动补偿参考块之内的第二像素填充生成所述一个或多个第一运动补偿参考像素。
6.一种存储程序指令的非暂态计算机可读媒介，使得装置的处理电路执行视频编解码方法，其特征在于，所述方法包括：
接收与当前图像中当前块有关的输入数据，其中使用双向预测对所述当前块进行编码；
决定来自于参考图像列表0的第一参考图像中与所述当前块有关的第一运动补偿参考块，其中所述第一运动补偿参考块包括在所述第一参考图像中所述当前块对应的块附近的额外周围第一像素，用于执行所述当前块的任何分数向量所需要的插值滤波；
决定来自于参考图像列表1的第二参考图像中与所述当前块有关的第二运动补偿参考块，其中所述第二运动补偿参考块包括在所述第二参考图像中所述当前块对应的块附近的额外周围第二像素，用于执行所述当前块的任何分数向量所需要的插值滤波；
使用对应于所述第一运动补偿参考块以及所述第二运动补偿参考块的参考数据而不使用在所述第一运动补偿参考块以及所述第二运动补偿参考块外的其他参考数据，应用PMVD进程或者DMVR进程去生成用于所述当前块的运动细化；
根据所述运动细化，基于运动补偿预测对所述当前块进行编码或解码；
其中如果用于所述当前块的所述PMVD进程、所述DMVR进程或根据所述运动细化进行运动补偿进程需要在所述第一运动补偿参考块以及所述第二运动补偿参考块外的一个或多个第一运动补偿参考像素，通过使用所述第一运动补偿参考块以及所述第二运动补偿参考块之内的第二像素填充生成所述一个或多个第一运动补偿参考像素。
CN201780079226.7A 2016-12-22 2017-12-19 用于视频编解码的运动细化的方法以及装置 Active CN110115032B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662437759P 2016-12-22 2016-12-22
US62/437,759 2016-12-22
US201662439200P 2016-12-27 2016-12-27
US62/439,200 2016-12-27
PCT/CN2017/117152 WO2018113658A1 (en) 2016-12-22 2017-12-19 Method and apparatus of motion refinement for video coding

Publications (2)

Publication Number Publication Date
CN110115032A CN110115032A (zh) 2019-08-09
CN110115032B true CN110115032B (zh) 2021-07-20

Family

ID=62624615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780079226.7A Active CN110115032B (zh) 2016-12-22 2017-12-19 用于视频编解码的运动细化的方法以及装置

Country Status (6)

Country Link
US (1) US10965955B2 (zh)
EP (1) EP3556096B1 (zh)
CN (1) CN110115032B (zh)
BR (1) BR112019012582A8 (zh)
TW (1) TWI674794B (zh)
WO (1) WO2018113658A1 (zh)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615493A (zh) * 2016-03-24 2022-06-10 英迪股份有限公司 视频解码方法、视频编码方法和可读记录介质
EP3565245A4 (en) * 2017-01-04 2019-11-27 Samsung Electronics Co., Ltd. VIDEO CODING METHOD AND DEVICE AND VIDEO CODING METHOD AND DEVICE
CN116708829A (zh) * 2017-04-24 2023-09-05 Sk电信有限公司 编解码视频数据的装置、发送编码视频数据比特流的方法
JP7046186B2 (ja) * 2017-12-08 2022-04-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
CN111602393B (zh) * 2018-01-15 2022-10-21 三星电子株式会社 编码方法及其设备以及解码方法及其设备
EP4221201A1 (en) * 2018-01-29 2023-08-02 InterDigital VC Holdings, Inc. Encoding and decoding with refinement of the reconstructed picture
EP3777167A1 (en) * 2018-03-30 2021-02-17 Vid Scale, Inc. Template-based inter prediction techniques based on encoding and decoding latency reduction
CN112272952B (zh) 2018-06-11 2022-07-01 寰发股份有限公司 用于视频编解码的双向光流的方法以及装置
WO2020013673A1 (ko) * 2018-07-13 2020-01-16 엘지전자 주식회사 Dmvr에 기반하여 인터 예측을 수행하는 방법 및 장치
CN116095312A (zh) 2018-08-04 2023-05-09 北京字节跳动网络技术有限公司 视频处理方法、装置和计算机可读介质
US11470348B2 (en) 2018-08-17 2022-10-11 Hfi Innovation Inc. Methods and apparatuses of video processing with bi-direction prediction in video coding systems
CN116405666A (zh) 2018-09-13 2023-07-07 华为技术有限公司 用于视频译码中的条件性解码器侧运动矢量修正的装置和方法
KR102627844B1 (ko) 2018-09-19 2024-01-23 후아웨이 테크놀러지 컴퍼니 리미티드 이중선형 보간 기반 디코더-측 움직임 벡터 정밀화에서 패치 유사성에 기반하여 정밀화를 건너뛰기 위한 방법
CN114727114B (zh) * 2018-09-21 2024-04-09 华为技术有限公司 运动矢量的确定方法和装置
KR20210071958A (ko) * 2018-09-21 2021-06-16 브이아이디 스케일, 인크. 양방향 옵티컬 플로우를 위한 복잡도 감소 및 비트 폭 제어
WO2020070612A1 (en) 2018-10-06 2020-04-09 Beijing Bytedance Network Technology Co., Ltd. Improvement for temporal gradient calculating in bio
WO2020084474A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Gradient computation in bi-directional optical flow
CN112913240A (zh) * 2018-10-22 2021-06-04 北京字节跳动网络技术有限公司 解码器侧运动矢量推导和其他编解码工具之间的并置
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
JP7231727B2 (ja) 2018-11-05 2023-03-01 北京字節跳動網絡技術有限公司 精緻化を伴うインター予測のための補間
WO2020098647A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for affine prediction
KR20210089149A (ko) * 2018-11-16 2021-07-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인터 및 인트라 통합 예측 모드 가중치
CN113170097B (zh) 2018-11-20 2024-04-09 北京字节跳动网络技术有限公司 视频编解码模式的编解码和解码
CN113056914B (zh) 2018-11-20 2024-03-01 北京字节跳动网络技术有限公司 基于部分位置的差计算
CN113196777B (zh) * 2018-12-17 2024-04-19 北京字节跳动网络技术有限公司 用于运动补偿的参考像素填充
WO2020140874A1 (en) 2019-01-02 2020-07-09 Huawei Technologies Co., Ltd. A hardware and software friendly system and method for decoder-side motion vector refinement with decoder-side bi-predictive optical flow based per-pixel correction to bi-predictive motion compensation
CN113613019B (zh) 2019-01-06 2022-06-07 北京达佳互联信息技术有限公司 视频解码方法、计算设备和介质
WO2020143830A1 (en) * 2019-01-11 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Integer mv motion compensation
US11153590B2 (en) 2019-01-11 2021-10-19 Tencent America LLC Method and apparatus for video coding
EP4333435A3 (en) * 2019-02-08 2024-05-08 Beijing Dajia Internet Information Technology Co., Ltd. Method and device for selectively applying decoder-side motion vector refinement for video coding
CN113424525B (zh) 2019-02-14 2023-11-10 北京字节跳动网络技术有限公司 解码器侧细化工具的尺寸选择性应用
WO2020177684A1 (en) * 2019-03-03 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Enabling dmvr based on the information in the picture header
WO2020177696A1 (en) * 2019-03-05 2020-09-10 Huawei Technologies Co., Ltd. Use of extended samples during search in decoder-side motion refinement
WO2020177665A1 (en) * 2019-03-05 2020-09-10 Mediatek Inc. Methods and apparatuses of video processing for bi-directional prediction with motion refinement in video coding systems
JP2022521554A (ja) 2019-03-06 2022-04-08 北京字節跳動網絡技術有限公司 変換された片予測候補の利用
CN113508595B (zh) * 2019-03-08 2023-11-28 华为技术有限公司 运动矢量细化的搜索区域
CN113475076B (zh) * 2019-03-11 2024-03-12 阿里巴巴集团控股有限公司 用于对视频数据进行编码的帧间预测方法
CN116600139A (zh) * 2019-03-11 2023-08-15 华为技术有限公司 视频图像解码方法、编码方法及装置
CN112954329B (zh) * 2019-03-11 2022-08-26 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
KR20210114060A (ko) * 2019-03-13 2021-09-17 엘지전자 주식회사 Dmvr 기반의 인터 예측 방법 및 장치
EP3941061A4 (en) 2019-03-15 2022-05-04 Lg Electronics Inc. BDOF-BASED INTERPREDITION METHOD AND DEVICE
JP2022525876A (ja) * 2019-03-17 2022-05-20 北京字節跳動網絡技術有限公司 オプティカルフローベースの予測精緻化の計算
EP4344205A3 (en) * 2019-03-20 2024-05-22 Huawei Technologies Co., Ltd. Method and apparatus for prediction refinement with optical flow for an affine coded block
WO2020197085A1 (ko) * 2019-03-22 2020-10-01 엘지전자 주식회사 Bdof 기반의 인터 예측 방법 및 장치
JP7307192B2 (ja) 2019-04-02 2023-07-11 北京字節跳動網絡技術有限公司 デコーダ側の動きベクトルの導出
CN116389765B (zh) * 2019-04-25 2024-01-30 北京达佳互联信息技术有限公司 对视频数据编码的利用光流的预测细化方法、设备和介质
BR112021022174A2 (pt) * 2019-05-11 2021-12-21 Beijing Bytedance Network Tech Co Ltd Método para processar dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamento e meio de gravação
CN113596478B (zh) * 2019-06-21 2022-04-26 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
EP3963881A4 (en) * 2019-06-21 2022-11-02 Huawei Technologies Co., Ltd. EARLY TERMINATION OF REFINEMENT OF AN OPTICAL CURRENT
WO2021062684A1 (en) * 2019-09-30 2021-04-08 Huawei Technologies Co., Ltd. Encoder, decoder and corresponding methods for inter prediction
WO2020256601A2 (en) * 2019-10-03 2020-12-24 Huawei Technologies Co., Ltd. Method and apparatus of picture-level signaling for bidirectional optical flow and decoder side motion vector refinement
EP4029245A4 (en) 2019-10-12 2022-11-23 Beijing Bytedance Network Technology Co., Ltd. HIGH LEVEL SYNTAX FOR VIDEO CODING TOOLS
EP4032290A4 (en) 2019-10-18 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SYNTAX CONSTRAINTS IN REPORTING SUBPICTURE PARAMETER SETS
EP4107941A4 (en) * 2020-03-23 2023-04-19 Beijing Bytedance Network Technology Co., Ltd. PREDICTION REFINEMENT FOR AFFINE BLENDING MODE AND AFFINE MOTION VECTOR PREDICTION MODE
WO2021204135A1 (en) 2020-04-07 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Signaling and inference of subpicture related syntax element
EP4118825A4 (en) 2020-04-09 2023-08-09 Beijing Bytedance Network Technology Co., Ltd. UNLOCKING SIGNALING IN VIDEO CODING
WO2021204251A1 (en) 2020-04-10 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Use of header syntax elements and adaptation parameter set
CN115868159A (zh) 2020-04-17 2023-03-28 抖音视界有限公司 自适应参数集单元的存在
WO2021222036A1 (en) 2020-04-26 2021-11-04 Bytedance Inc. Conditional signaling of video coding syntax elements
CN111818333B (zh) * 2020-06-16 2022-04-29 中国科学院深圳先进技术研究院 一种帧内预测方法、装置、终端及存储介质
WO2023020590A1 (en) * 2021-08-19 2023-02-23 Mediatek Inc. Method and apparatus for hardware-friendly template matching in video coding system
CN118140475A (zh) * 2021-10-11 2024-06-04 抖音视界有限公司 视频处理方法、设备和介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104604237A (zh) * 2012-07-02 2015-05-06 三星电子株式会社 依据块尺寸来确定帧间预测参考画面列表的用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030099294A1 (en) * 2001-11-27 2003-05-29 Limin Wang Picture level adaptive frame/field coding for digital video content
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
US9860528B2 (en) * 2011-06-10 2018-01-02 Hfi Innovation Inc. Method and apparatus of scalable video coding
JP5768662B2 (ja) * 2011-10-31 2015-08-26 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
CN115278230A (zh) * 2015-11-11 2022-11-01 三星电子株式会社 对视频进行解码的设备和对视频进行编码的设备
WO2017188566A1 (ko) * 2016-04-25 2017-11-02 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
EP3456049B1 (en) * 2016-05-13 2022-05-04 VID SCALE, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
CA3024900C (en) * 2016-05-17 2021-02-16 Arris Enterprises Llc Template matching for jvet intra prediction
CN114866774A (zh) * 2016-05-27 2022-08-05 松下电器（美国）知识产权公司 编码装置及解码装置
US10986367B2 (en) * 2016-11-04 2021-04-20 Lg Electronics Inc. Inter prediction mode-based image processing method and apparatus therefor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104604237A (zh) * 2012-07-02 2015-05-06 三星电子株式会社 依据块尺寸来确定帧间预测参考画面列表的用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《AHG6: On BIO memory bandwidth》;A. Alshin ET AL;《Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 4th Meeting: Chengdu》;20161021;摘要，1-2节 *
《Bi-directional Optical Flow for Improving Motion Compensation》;A.Alshin ET AL;《28th Picture Coding Symposium，PCS2010》;20101210;摘要，1-2节 *
《Decoder-Side Motion Vector Refinement Based on Bilateral Template Matching》;Xu Chen ET AL;《Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 4th Meeting: Chengdu》;20161021;全文 *
《TE1: Huawei report on DMVD improvements》;Sixin Lin ET AL;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva》;20100728;全文 *

Also Published As

Publication number Publication date
TW201830968A (zh) 2018-08-16
BR112019012582A2 (pt) 2019-11-19
CN110115032A (zh) 2019-08-09
US10965955B2 (en) 2021-03-30
EP3556096A1 (en) 2019-10-23
BR112019012582A8 (pt) 2023-02-07
EP3556096A4 (en) 2020-05-27
EP3556096B1 (en) 2024-05-22
WO2018113658A1 (en) 2018-06-28
US20190320199A1 (en) 2019-10-17
TWI674794B (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN110115032B (zh) 用于视频编解码的运动细化的方法以及装置
CN111937391B (zh) 用于视频编解码***中的子块运动补偿的视频处理方法和装置
US11109062B2 (en) Method and apparatus of motion refinement based on bi-directional optical flow for video coding
CN110169070B (zh) 在视频编解码中预测子细化的候选跳过的方法和装置
US20240098295A1 (en) Efficient affine merge motion vector derivation
CN113612993B (zh) 视频数据的运动补偿方法及装置
CN111989927B (zh) 视频编解码***中具有重叠块运动补偿的视频处理的方法及装置
US11985324B2 (en) Methods and apparatuses of video processing with motion refinement and sub-partition base padding
US20190082191A1 (en) Method and apparatus of video coding with affine motion compensation
US20190387251A1 (en) Methods and Apparatuses of Video Processing with Overlapped Block Motion Compensation in Video Coding Systems
CN110581994A (zh) 部分成本计算
CN113302918A (zh) 视频编解码中的加权预测
WO2018171796A1 (en) Method and apparatus of bi-directional optical flow for overlapped block motion compensation in video coding
CN112868239A (zh) 并置的局部照明补偿和帧内块复制编解码
WO2020177665A1 (en) Methods and apparatuses of video processing for bi-directional prediction with motion refinement in video coding systems
CN110662046B (zh) 视频处理方法、装置和可读存储介质
US11985330B2 (en) Method and apparatus of simplified affine subblock process for video coding system
CN115086676A (zh) 运动候选推导

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220426

Address after: Hsinchu County, Taiwan, China

Patentee after: MEDIATEK Inc.

Address before: Hsinchu Science Park Road, Taiwan city of Hsinchu China Dusing 1

Patentee before: MEDIATEK Inc.