CN117546466A - 重叠解码器侧运动细化 - Google Patents

重叠解码器侧运动细化 Download PDF

Info

Publication number
CN117546466A
CN117546466A CN202280044275.8A CN202280044275A CN117546466A CN 117546466 A CN117546466 A CN 117546466A CN 202280044275 A CN202280044275 A CN 202280044275A CN 117546466 A CN117546466 A CN 117546466A
Authority
CN
China
Prior art keywords
block
samples
aspects
reference block
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280044275.8A
Other languages
English (en)
Inventor
余若洋
J·施特姆
K·安德森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN117546466A publication Critical patent/CN117546466A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了用于对视频序列中的图片内的第一结构进行编码或解码的方法和装置。该方法包括对于第一结构内的第二结构确定初始运动矢量(MV)和MV候选。该方法包括，对于MV候选中的每个MV候选，使用该MV候选来导出第一参考块和第二参考块，并且第一参考块和第二参考块的大小可以不等于第二结构的大小。该方法包括基于来自第一参考块和第二参考块的样本导出成本值。该方法包括使用来自MV候选的成本值来导出最佳MV候选以及使用最佳MV候选来导出第二结构的预测样本。

Description

重叠解码器侧运动细化
技术领域
本公开涉及图片或视频序列的视频编码和/或解码。
背景技术
视频和图片
视频序列包括一系列图片(本文中也称为“图像”)。在通用视频编码(VVC)标准中，每个图片都用图片顺序计数(POC)值来标识。
分量(component)
每个分量可以被描述为样本值的二维矩形阵列。通常，每个图片包括三个分量：一个亮度(luma)分量Y(其中样本值是亮度值)和两个色度(chroma)分量Cb和Cr(其中样本值是色度值)。
同样常见的是，色度分量的维度在每个维度上都比亮度分量小两倍。例如，HD图像的亮度分量的尺寸为1920x1080，色度分量每个的尺寸为960x540。分量有时称为颜色分量。
编码单元(coding unit)和编码块(coding block)
块是样本的一个二维阵列。在视频编码中，每个分量被分割(split)成块，编码视频比特流包括一系列编码块。在视频编码中，将图片分割成覆盖图片的特定区域的单元是很常见的。
每个单元包括来自构成该特定区域的所有分量的所有块，并且每个块完全属于一个单元。VVC中的编码单元(CU)是单元的示例。在VVC中，CU可以被递归地分割为更小的CU。顶层的CU称为编码树单元(CTU)。
CU通常包含三个编码块，例如，一个用于亮度的编码块和两个用于色度的编码块。亮度编码块的大小与CU相同。
在当前的VVC(即，版本1)中，CU可以具有4x4直到128x128的大小。
帧内预测(Intra Prediction)
在帧内预测(也称为空间预测)中，使用同一图片内的先前解码的块来预测块。来自同一图片内先前解码的块的样本用于预测当前块内的样本。
仅包括帧内预测块的图片被称为帧内图片。
帧间预测(Inter Prediction)
在帧间预测(也称为时间预测)中，使用来自先前解码的图片的块来预测当前图片的块。来自先前解码的图片中的块的样本用于预测当前块的样本。
允许帧间预测块的图片被称为帧间图片。用于帧间预测的先前解码的图片被称为参考图片。
使用运动矢量(MV)来指示参考图片内的参考块的位置。每个MV包括x和y分量，表示当前块与参考块之间在x或y维度上的位移。分量的值可以具有比整数位置更精细的分辨率。在这种情况下，将进行滤波(通常是插值(interpolation))来计算用于预测的值。图1示出了当前块C的MV的示例。在该示例中，MV＝(2,1)指示与当前块的位置相比，向右两步和向下一步可以找到参考块。
帧间图片可以使用多个参考图片。参考图片通常被放入两个参考图片列表L0和L1中。在当前图片之前输出的参考图片通常是L0中的第一图片。在当前图片之后输出的参考图片通常是L1中的第一图片。
帧间预测块可以使用两种预测类型之一，即单预测(uni-prediction)和双预测(bi-prediction)。单预测块使用L0或L1从一张参考图片进行预测。双预测根据两张参考图片进行预测，一张来自L0，另一张来自L1。图2示出了预测类型的示例。
分数MV、插值滤波器和MV取整(rounding)
MV的x或y分量的值可以对应于具有比整数(样本)位置更精细的粒度的样本位置。这些位置也称为分数(样本)位置。
在VVC中，MV可以处于1/16样本位置。图3描绘了水平(x-)维度上的几个分数位置。实心方块表示整数位置。圆圈表示1/16位置。例如，MV＝(4,10)意味着x分量位于4/16位置，y分量位于10/16位置。
在视频编码中，有时使用MV取整过程来将一个位置处的MV转换为另一目标位置。取整的一个示例是将分数MV位置取整到最接近的整数位置。
当MV处于分数位置时，进行滤波(通常是插值)以计算那些位置处的样本值。在VVC中，亮度分量的插值滤波器的长度(滤波器抽头(tap)数)为8，如下表1所示。
表1
残差(residual)、变换(transform)和量化(quantization)
源块(其包含原始样本)的样本与预测块的样本之间的差异(difference)通常被称为‘残差块’。然后，该残差块通常通过空间变换来压缩以去除进一步的冗余。然后，通过量化参数(QP)对变换系数进行量化，以控制残差块的保真度(fidelity)，从而控制压缩块所需的比特率。编码块标志(CBF)用于指示是否存在任何非零量化变换系数。然后，所有编码参数在编码器处进行熵编码并在解码器处进行解码。如果编码块标志为1，则可以通过对量化的变换系数进行逆量化和逆变换来导出重构块，然后将其添加到预测块。
分层图像编码结构
在通常被称为‘随机访问配置’的情况下，帧内编码图片以固定间隔(例如，每秒)定位。帧内图片之间的图片通常利用如图4所示的双向图片组(B-GOP)结构进行编码。在图4所示的示例中，首先对图片0进行编码，然后对图片8使用图片0作为其参考图片进行编码。然后，使用图片8和图片0作为参考图片对图片4进行编码。然后，类似地对图片2和图片6进行编码。最后对图1、3、5、7进行编码。
图片1、3、5和7被称为在最高层级上，图片2、4和6被称为在次最高(next highest)层级上，图片4被称为在次最低(next lowest)级别上，图8被称为处于最低级别。通常，图片1、3、5和7不用作任何其他图片的参考图片。它们被称为非参考图片。
为每个图片指派的QP通常是不同的并且根据层级来设置。较高的QP被指派给处于较高层级的图片。
帧间预测/运动信息
对于VVC中的帧间图片中的帧间块，帧间块的帧间预测信息包括以下三个元素：(1)参考图片列表标志(RefPicListFlag)，(2)每使用的参考图片列表的参考图片索引(RefPicIdx)，以及(3)每使用的参考图片的运动矢量(MV)。参考图片列表标志(RefPicListFlag)用信号通知使用哪个参考图片列表。当RefPicListFlag的值等于0时，使用L0。当RefPicListFlag的值等于1时，使用L1。当RefPicListFlag的值等于2时，使用L0和L1。参考图片索引(RefPicIdx)用信号通知要使用参考列表内的哪个参考图片。运动矢量(MV)用信号通知用于预测当前块的参考图片内的位置。
帧间预测信息也称为运动信息。解码器存储每个帧间块的运动信息。换句话说，帧间块维护其自己的运动信息。
编码器决定和率失真(RD)Ccost
实际中，为了让编码器决定当前块的最佳预测模式，编码器将评估当前块的许多或所有可能的预测模式，并选择产生最小率失真(RD)成本的预测模式。
RD成本的计算方式为D+λ*R。D(失真)测量重构块与对应源块之间的差异。计算D的一种常用度量(metric)是差异的平方和SSE＝∑x,y(PA(x,y)-PB(x,y))2，其中PA和PB分别是两个块A和B中的样本值。R(比率)通常是对模式进行编码所花费的比特数的估计。λ是R和D之间的权衡(trade-off)参数。
运动信息信令
VVC包括用于每个块的隐式信令运动信息的多种方法，包括合并方法和子块合并方法。隐式方法背后的共同动机是从邻居编码块继承运动信息。
合并(块合并)方法
合并方法与高效视频编码(HEVC)标准中的方法类似。该方法有时被称为块合并方法，因为导出的运动信息用于生成整个块的样本。
该方法首先生成运动信息候选列表。该列表也称为合并列表。候选是从先前编码的块中导出的。这些块可以是空间上相邻的邻居块或相对于当前块的时间上共址(collocated)的块。图5示出了空间邻居块：左(L)、上(T)、右上(TR)、左下(LB)和左上(TL)。
在生成合并列表后，列表内的候选之一用于导出当前块的运动信息。候选选择过程在编码器侧完成。编码器将从列表中选择最佳候选，并对比特流中的索引(merge_index(合并_索引))进行编码以用信号通知解码器。解码器接收索引，遵循与编码器相同的合并列表导出过程，并使用索引来检索正确的候选。
显式运动信息信令
VVC还包括称为替代运动矢量预测(AMVP)的显式运动信息信令方法。对于使用AMVP编码的当前帧间块，当前帧间块的参考图片数、参考图片索引和运动矢量被显式地用信号通知并编码到比特流中。
一般而言，就用信号通知运动信息所花费的比特数而言，与显式方法相比，块合并方法是一种更便宜的替代方案，因为仅需要用信号通知一个索引值(例如，merge_idx)。当对帧间块进行编码时，编码器可以选择以合并模式对块进行编码，因为合并方法给出比显式方法更小的率失真(RD)成本，即使从邻居帧间块导出的(例如，继承的)运动信息不太适合当前块。在这些情况下，相对较差的拟合(fit)可以通过信令成本便宜得多的事实来补偿。尽管如此，在不花费更多比特的情况下改善拟合还是有益的。
解码器侧运动矢量细化(DMVR)
VVC包括称为解码器侧运动矢量细化(DMVR)的工具，用于使用双预测MV进一步细化以合并模式编码的块的MV。DMVR试图在不花费更多比特的情况下提高拟合。
DMVR在子块的基础上细化MV。第一步是将当前块分割成一组子块。当前帧间块具有宽度＝W和高度＝H。子块的宽度sbW被确定为min(W,16)。子块的高度sbH被确定为min(H,16)。这里的min(,)函数取两个输入值中的最小值。然后DMVR对每个大小为sbWxsbH的子块进行MV细化。图6中示出了具有四个16x16子块的32x32块的示例。
使用合并方法导出初始MV(例如，要细化的MV)。如图7所示，当前块的初始MV被假设为MV0和MV1。在图7中，对应参考图片中的位置被标记为方块。在图7中，搜索窗口被示出为圆圈。每个圆可以用相对于初始MV位置的偏移MVoffset来表示。例如，空心圆对应于MV0的初始位置的MVoffset＝(-1,1)。这个空心圆对应于新运动矢量MV0’＝MV0+MVoffset。遵循镜像规则来导出新运动矢量MV1’(即MV1’＝MV1–Mvoffset)。
换句话说，搜索窗口内的任何点都会产生新MV对(MV0',MV1')：
MV0′＝MV0+MVoffset
MV1′＝MV1-MVoffset
其中MVoffset表示参考图片之一中初始MV和细化后的MV之间的偏移。在VVC中，MVoffset的最大x或y分量设置为2个整数样本。
DMVR搜索搜索窗口内的所有MVoffset，并找到给出L0参考块和L1参考块之间的最小差异(成本)的MVoffset。差异(成本)计算为两个参考块之间的绝对差异(SAD)之和，例如，SAD＝∑x,y|P0(x,y)-P1(x,y)|，其中P0和P1是两个参考块。
图8示出了初始MV、MVoffset和细化后的MV的示例。细化后的MV(从最佳MVoffset导出)用于生成当前块的预测样本。
在VVC中，没有显式用信号通知的用于打开/关闭DMVR的块级标志。换句话说，当初始MV是双预测的并且满足一些其他条件时，隐式应用DMVR。
发明内容
现有的解码器侧运动矢量细化(DMVR)方案的问题在于其独立地细化每个子块的运动矢量(MV)。这可能会导致子块之间的细化后的MV不一致。这里的不一致可能会导致较大的MV差异或较大的MV变化。作为示例，两个相邻子块的细化后的MV在x或y分量中可能具有4个整数样本的差异。如此大的差异很可能导致重构图片中出现明显的子块边界，并导致主观质量变差。
图9A和9B示出来自用VVC测试模型11(VTM-11)(VVC参考软件)编码器编码的重构图片的有问题区域的示例。这些区域对应于应用了DMVR的块。如图9A和9B所示，可以清楚地看到子块边界。
本发明的各方面可以通过以下方式克服现有DMVR方案的一个或多个问题：当基于子块的DMVR应用于当前块时，对于当前块内的每个子块，在计算成本(例如，两个参考块之间的差异)时扩展参考块的大小。增加参考块大小可能会在用于生成邻居子块的细化后的MV的参考块之间引入重叠。本发明的各方面可以应用于编码器和解码器两者。
本发明的各方面可以在解码器侧运动搜索期间使用大小大于当前子块的大小的参考块。在一些方面，当设置参考块的扩展大小时，可以考虑MV搜索候选和初始MV的最大MV差异。在一些方面，扩展大小可以被设置为即使当参考块彼此相距最远时也提供重叠区域。引入的重叠区域可以有助于增加两个邻居子块之间的最终选择的/细化后的MV之间的相关性(correlation)或一致性(consistency)。
本发明的各方面可以增加邻居子块之间的细化后的MV的相关性或一致性。MV的相关性增加可以降低引入明显的子块边界的风险。
本发明的各方面可以附加地或替代地降低细化后的MV被优化朝向局部最小值的风险，因为考虑了更多参考样本。细化后的MV可能更适合各自的区域。换句话说，本发明的各方面可以更经常地产生接近场景中真实运动的细化后的MV(与现有DMVR方法所做的相比)。
本发明的各方面可以在编码器和解码器(例如，VTM-11软件的)中实现。图10A和10B示出了分别根据本发明的方面重构的图9A和9B的图片。如图10A和10B所示，根据本发明的各方面重构的图片不包括图9A和9B做到的人工子块边界。
表2示出了根据本发明各方面的使用重叠解码器侧运动细化的客观性能。表2中的数字示出了使用根据本发明的各方面的重叠解码器侧运动细化来实现与VTM-11等同的客观视频质量(以峰值信噪比(PSNR)测量(PSNR))的相对比特成本。-0.10％的总体增量比率(BD比率或BDR)意味着根据本发明的各方面的重叠解码器侧运动细化需要比VTM-11少0.10％的比特来实现Y分量的相同目标视频质量。主观质量可以另外或替代地得到改善。
表2
本发明的一个方面可以提供一种用于处理(例如，编码或解码)视频序列中的图片内的第一结构的方法。所述方法可以包括，对于所述第一结构内的第二结构，确定初始运动矢量(MV)和MV候选。所述方法可以包括，对于每个所述MV候选，使用所述MV候选来导出第一参考块和第二参考块。所述第一参考块和所述第二参考块的大小可以不等于所述第二结构的大小。所述方法可以包括基于来自所述第一参考块和第二参考块的样本导出成本值。所述方法可以包括使用来自所述MV候选的所述成本值来导出最佳MV候选。所述方法可以包括使用所述最佳MV候选来导出用于所述第二结构的预测样本。
在一些方面，所述第一结构可以是块，并且所述第二结构可以是所述块的子块。在一些方面，所述方法还可以包括将所述块分割成n个子块，并且n可以大于或等于1。在一些方面，所述n个子块的累积样本数可以等于所述块的样本数。在一些方面，n可以大于或等于2。
在一些方面，所述第一结构可以是包含两个或多个块的超级块，并且所述第二结构可以是所述超级块的块。在一些方面，所述超级块可以是编码树单元(CTU)或CTU的一部分。
在一些方面，所述第一参考块和第二参考块的高度可以不等于所述第二结构的高度，和/或所述第一参考块和第二参考块的宽度可以不等于所述第二结构的宽度。在一些方面，所述第一参考块和第二参考块的高度可以大于所述第二结构的高度，和/或所述第一参考块和第二参考块的宽度可以大于所述第二结构的宽度。
在一些方面，使用所述MV候选来导出所述第一参考块和第二参考块可以包括，对于所述第一参考块和第二参考块中的每一个参考块，基于所述MV候选来导出第一组参考样本和第二组参考样本。在一些方面，所述第一组参考样本可以是宽度和高度分别等于所述第二结构的宽度和高度的参考样本块。在一些方面，所述第二组参考样本可以包括不在所述第一组参考样本中所述的参考块的所述参考样本。
在一些方面，所述参考块可以包括所述第一组参考样本的顶部边界和所述参考块的顶部边界之间的P个样本、所述第一组参考样本的底部边界和所述参考块的底部边界之间的Q个样本、所述第一组参考样本的左边界和所述参考块的左边界之间的X个样本、以及所述第一组参考样本的右边界和所述参考块的右边界之间的Y个样本。P、Q、X和Y可以是数字，并且P、Q、X和Y中的至少一个可以是非零数字。
在一些方面，P、Q、X和Y可以大于或等于阈值T，阈值T取决于所述初始MV和所述MV候选之间的x或y分量的最大MV差异。在一些方面，所述阈值T可以大于所述最大MV差异。在一些方面，所述阈值T可以等于所述最大MV差异的两倍。在一些方面，所述阈值T可以等于所述最大MV差异。在一些方面，所述最大MV差异可以在整数样本中为2，所述阈值T可以是4，并且P、Q、X和Y可以等于4。
在一些方面，P、Q、X和Y可以相等。在一些方面，P、Q、X和Y中的一个或多个可以与P、Q、X和Y中的另一不同。在一些方面，P、Q、X和Y中的一个或多个可以对应于所述第二结构的位于所述第一结构的边界处的边(side)并且大于P、Q、X和Y中的与所述第二结构的位于所述第一结构的边界处的边不对应的另一边。
在一些方面，基于所述MV候选导出所述第一组参考样本和第二组参考样本可包括使用第一插值滤波器来导出所述第一组参考样本，以及使用第二插值滤波器来导出所述第二组参考样本，并且所述第一插值滤波器和第二插值滤波器是不同的。在一些方面，所述第一插值滤波器可以比所述第二插值滤波器长。
在一些方面，基于所述MV候选导出所述第二组参考样本可以包括使用所述MV候选的取整版本。在一些方面，所述MV候选的所述取整版本可以是取整到整数样本位置的所述MV候选。
在一些方面，所述第二结构的所述第一参考块可以与所述第一结构的另一第二结构的第一参考块重叠。在一些方面，所述第二结构的所述第二参考块可以与其它第二结构的第二参考块重叠。
在一些方面，所述第二结构的所述第一参考块可以接触所述第一结构的另一第二结构的第一参考块但不重叠。在一些方面，所述第二结构的所述第二参考块可以与所述其它第二结构的第二参考块接触但不重叠。
在一些方面，所述成本值可以被导出为所述第一参考块和第二参考块的样本之间的差异值之和。在一些方面，所述差异值可以是绝对样本差异值。在一些方面，所述差异值可以是样本差异值的平方。
在一些方面，所述成本值可以被导出为所述第一参考块和第二参考块的参考样本之间的差异值之和，并且所述差异值可以包括(a)所述第一参考块的所述第一组参考样本的子集和所述第二参考块的所述第一组参考样本的子集之间的差异值和/或(b)所述第一参考块的所述第二组参考样本的子集和所述第二参考块的所述第二组参考样本的子集之间的差异值。在一些方面，所述成本值可以被导出为所述第一参考块和第二参考块的参考样本之间的差异值之和，并且所述差异值可以包括(i)所述第一参考块的所述第一组参考样本的所有参考样本和所述第二参考块的所述第一组参考样本的所有参考样本之间的差异值，以及(ii)所述第一参考块的所述第二组参考样本的每个其他参考样本与所述第二参考块所述第二组参考样本的每个其他参考样本之间的差异值。在一些方面，所述成本值可以被导出为所述第一参考块和第二参考块的参考样本之间的差异值之和，并且所述差异值可以包括(i)所述第一参考块的所述第一组参考样本的所有参考样本和所述第二参考块的所述第一组参考样本的所有参考样本之间的差异值，以及(ii)所述第一参考块的所述第二组参考样本的空间最外侧参考样本与所述第二参考块的所述第二组参考样本的空间最外侧参考样本之间的差异值。
在一些方面，所述成本值可以被导出为所述第一参考块和第二参考块的参考样本之间的差异值的和，所述第一参考块的所述第一组参考样本的参考样本与所述第二参考块的所述第一组参考样本的参考样本之间的差异值可以利用第一加权因子进行加权，以及所述第一参考块的所述第二组参考样本的参考样本与所述第二参考块的所述第二组参考样本的参考样本之间的差异值可以利用与所述第一加权因子不同的第二加权因子进行加权。在一些方面，所述第二加权因子可以大于所述第一加权因子。在一些方面，所述第一加权因子可以低于所述第二加权因子。
本发明的另一方面可以提供一种用于处理(例如，编码或解码)视频序列中的图片内的第一结构的装置。所述装置可以适合于，对于所述第一结构内的第二结构，确定初始运动矢量(MV)和MV候选。所述装置可以适合于，对于每个所述MV候选，使用所述MV候选来导出第一参考块和第二参考块。所述第一参考块和所述第二参考块的大小可以不等于所述第二结构的大小。所述装置可以适合于基于来自所述第一参考块和第二参考块的样本导出成本值。所述装置可以适合于使用来自所述MV候选的所述成本值来导出最佳MV候选。所述装置可以适合于使用所述最佳MV候选来导出所述第二结构的预测样本。
本发明的又一个方面可以提供一种计算机程序，其包括用于使装置适合于执行任何上述方法的指令。本发明的又一方面可以提供一种包含所述计算机程序的载体，并且所述载体可以是电信号、光信号、无线电信号或计算机可读存储介质中的一种。
本发明的又一个方面可以提供一种装置。所述装置可以包括处理电路和存储器。所述存储器可以包含可由所述处理电路执行的指令，并且所述装置可以操作来执行任何上述方法。
本发明的又一个方面可以提供一种适合于执行任何上述方法的装置。
本发明的又一个方面可以提供上述方面的任意组合。
附图说明
附图被并入本文并形成说明书的一部分，示出了各种实施例。
图1示出了当前块C的运动矢量(MV)的示例。
图2示出了单帧间预测和双帧间预测的示例。
图3示出了水平(x)维度中的运动矢量样本位置。
图4示出了每图片使用两个参考图片的四层双向图片组(B-GOP)结构的示例。
图5示出了用于获取邻居运动信息的可能空间块。
图6显示了具有四个16x16子块的32x32块。
图7示出了初始运动矢量和搜索窗口的示例。
图8示出了初始MV、MVoffset和细化后的MV的示例。
图9A和图9B示出了使用现有解码器侧运动矢量细化(DMVR)方案的重构图片的有问题区域的示例。
图10A和图10B示出了根据一些方面的使用解码器侧运动矢量细化(DMVR)方案的重构图片的示例。
图11示出了根据一些方面的包括编码器和解码器的***。
图12示出了根据一些方面的示例编码器。
图13示出了根据一些方面的示例解码器。
图14A-14C示出了根据一些方面的参考块导出过程的示例。
图15A示出了根据一些方面的子块。
图15B示出了根据一些方面的参考块。
图15C示出了根据一些方面的参考块之间的最远空间距离的示例。
图15D示出了根据一些方面的参考块之间的重叠区域。
图16是示出根据一些实施例的过程的流程图。
图17是根据一个实施例的装置的框图。
具体实施方式
图11示出了根据示例实施例的***1100。***1100包括编码器202和解码器204。在所示的示例中，解码器204经由网络210(例如，互联网或其他网络)接收由编码器202产生的编码图像。
图12是根据一些方面的编码器202的示意框图。在一些方面，根据一些实施例，编码器202可以用于对视频序列的视频帧(例如，图片)中的像素值块进行编码。在一些方面，如图12所示，编码器202可以包括运动估计器50，运动估计器50通过根据同一帧中或先前帧中已提供的块执行运动估计来预测当前块。在帧间预测的情况下，运动估计的结果可以是与参考块相关联的运动或位移(displacement)矢量。在一些方面，运动补偿器50可以利用运动矢量来输出块的帧间预测。在一些方面，编码器202可以包括计算当前块的帧内预测(intra prediction)的帧内预测器49。在一些方面，编码器202可以包括选择器51，其接收来自运动估计器/补偿器50和帧内预测器49的输出作为输入，并且为当前块选择帧内预测或帧间预测。在一些方面，来自选择器51的输出可以被输入到加法器41形式的误差计算器，加法器41还接收当前块的像素值。在一些方面，加法器41可以计算并输出残差误差作为块与其预测之间的像素值的差异。在一些方面，编码器202可以包括诸如通过离散余弦变换来变换误差的变换器42。在一些方面，编码器202可以包括对变换后的误差进行量化的量化器43。在一些方面，编码器202可以包括对量化误差进行编码的编码器44，例如熵编码器。在帧间编码中，估计的运动矢量也可以被带到编码器44以生成当前块的编码表示。在一些方面，编码器202可以包括逆量化器45和逆变换器46，其接收当前块的变换和量化后的残差误差并找回原始残差误差。在一些方面，编码器可包括加法器47，加法器47将原始残差误差与从运动补偿器50或帧内预测器49输出的块预测相加，以创建可在下一个块的预测和编码中使用的参考块。在一些方面，编码器202可以包括解块(deblock)滤波器单元30，其处理新参考块以便执行解块滤波以对抗任何块伪影(blocking artifact)。在一些方面，编码器202可包括临时存储经处理的新参考块的帧缓冲器48，并且其可用于帧内预测器49和/或运动估计器/补偿器50。
图13是根据一些方面的解码器204的示意框图。在一些方面，如图13所示，解码器204可以包括解码器61，例如熵解码器，用于对块的编码表示进行解码以获得一组量化和变换的残差误差。在一些方面，解码器204可以包括对残差误差进行去量化的逆量化器62以及对残差误差进行逆变换以获得一组残差误差的逆变换器63。在一些方面，解码器204可以包括加法器64，其将残差误差与参考块的像素值相加。在一些方面，解码器204可以包括运动估计器/补偿器67和帧内预测器66，运动估计器/补偿器67和帧内预测器66每个确定参考块，并且选择器48根据是执行帧间预测还是执行帧内预测来选择参考块之一。在一些方面，选择器68可以互连到加法器64、运动估计器/补偿器67和帧内预测器66。在一些方面，从加法器QQ464输出的所得解码块可以被输入到解块滤波器单元70，以便解块滤波任何块伪影。在一些方面，经滤波的块可以从解码器204输出，并且可以被提供给帧缓冲器65用于临时存储，使得经滤波的块可以用作要解码的后续块的参考块。在一些方面，帧缓冲器65可以连接到运动估计器/补偿器67以使所存储的像素块对于运动估计器/补偿器67可用。在一些方面，来自加法器64的输出还可以优选地被输入到帧内预测器66以用作未滤波的参考块。
本发明的各方面适用于编码器202和/或解码器204。本发明的各方面适用于通用视频编码(VVC)中的解码器侧运动矢量细化(DMVR)方法，但不限于此。本发明的各方面可以应用于其他基于子块的运动细化方法。术语“基于子块”意味着在子块基础上(例如，具有不大于块大小的大小的基底(basis)或网格(grid))执行运动细化。
在一些方面，为了对视频序列内的当前图片内的当前块进行编码或解码，编码器202或解码器204可以实现以下步骤中的一个或多个。首先，编码器202或解码器204可以将当前块分割为一组子块，使得来自所有子块的累积样本数与当前块的样本数相同。在一些方面，子块集合中的子块的数量可以大于或等于1。在一些方面，子块集合中的子块的数量可以大于1。在一些替代方面，子块集合中的子块的数量可以等于1。在这种情况下，子块的大小可以与当前块相同。
其次，对于具有宽度＝sbW且高度＝sbH的子块集合内的当前子块，编码器202或解码器204(a)确定初始运动矢量(MV)和MV候选集，(b)对于MV候选集中的每个MV候选mvCand：(i)使用MV候选mvCand导出一对宽度＝refW且高度＝refH的参考块(例如，refBlk0、refBlk1)，并且(ii)基于来自该对参考块(refBlk0，refBlk1)的样本导出成本值costV，(c)基于来自所有MV候选的成本值导出最佳MV候选mvBest，以及(d)基于最佳MV候选mvBest导出当前子块的预测样本。在一些方面，参考块的大小可以满足以下准则中的至少一个：(i)参考块的宽度refW不等于当前子块的宽度sbW，以及(ii)参考块的高度refH不等于当前子块的高度sbH。在一些方面，参考块宽度refW大于子块的宽度sbW，和/或参考块高度refH大于子块的高度sbH。
在一些方面，导出该对参考块(refBlk0、refBlkl)中的每个参考块可以包括：(i)导出第一组参考样本(rsGroup1)以及(ii)导出第二组参考样本(rsGroup2)。在一些方面，第一组参考样本(rsGroup1)可以是大小等于基于MV候选mvCand的当前子块大小(例如，宽度＝sbW并且高度＝sbH)的参考样本块。在一些方面，第二组参考样本(rsGroup2)可以包括基于MV候选mvCand在空间上与第一组rsGroup1相邻的剩余参考样本。
图14A-14C示出了根据一些方面的参考块导出过程的示例。图14A示出了具有等于refW的宽度和等于refH的高度的参考块。图14B示出了具有等于当前子块大小的大小的第一组参考样本(rsGroup1)。也就是说，rsGroup1的宽度和高度可以分别等于当前子块的宽度sbW和高度sbH。在图14B中，P表示参考样本的第一块(rsGroup1)的顶部边界与参考块之间的样本数量，Q表示第一块的底部边界与参考块之间的样本数量，X表示第一块的左边界与参考块之间的样本数量，Y表示第一块的右边界与参考块之间的样本的数量。图14C示出了第二组参考样本(rsGroup2)。在一些方面，第二组参考样本(rsGroup2)可以包括不在第一组参考样本(rsGroup1)中的参考块的参考样本。在图14C中，第一组参考样本和第二组参考样本(rsGroup1和rsGroup2)分别以浅灰色和深灰色示出。
在一些方面，P、Q、X和Y(如图14B所示)可以等于或大于阈值T。在一些方面，阈值T可以取决于初始MV和MV候选集之间的最大MV差异maxMVD(x或y分量中)。在一些方面，阈值T可以大于maxMvD。例如，在一些方面，阈值T可以具有等于maxMVD的2倍的值。
在一些方面，出于以下原因，T可以具有大于maxMVD的值。图15A示出了两个邻居子块subA、subB的示例。图15B示出与初始MV相对应的参考块refBlk0A和refBlk0B的示例。为了简单起见，图15B中仅示出了来自L0参考列表的参考块(即，参考块refBlk0A对应于子块subA的L0参考块，并且参考块refBlk0B对应于子块subB的L0参考块)。在一些方面，如图15A和图15B所示，参考块refBlk0A和refBlk0B可以具有与子块subA和subB相同的大小。
考虑到最大MvD，图15C示出了refBlk0A和refBlk0B之间的最远空间距离的示例。在自然视频中，样本之间的相关性通常随着空间距离的增加而降低。因此，如果参考块refBlk0A和refBlk0B彼此远离，则子块subA和subB的细化后的MV通常相关性较低。
在一些方面，为了解决这个问题，可以增加参考块大小以使得引入重叠区域。例如，如图15D所示，如果(i)参考块具有等于或大于子块宽度sbW加上两倍阈值T的宽度，(ii)参考块具有等于或大于子块高度sbH加上两倍阈值T的高度，并且(iii)阈值T大于maxMvD，则即使参考块彼此相距最远，也能保证重叠区域。在一些方面，引入的重叠区域可以有助于增加子块subA和subB的最终选择的MV之间的相关性或一致性。
在一些方面，当初始MV与MV候选集之间的x或y分量中的最大MV差异在整数样本中为2时，阈值T可以例如被设置为4，并且P＝Q＝X＝Y＝4。
在一些替代方面，阈值T可以被设置为等于maxMvD，而不是阈值T大于maxMvD。在这些方面中，可以不存在重叠区域，但是区域可以接触。在一些情况下，这可能足以获得一致的运动矢量。
在一些方面，P、Q、X和Y(如图14B所示)可以全部具有相同的值K。在一些替代方面，P、Q、X和/或Y的值可以是每个子块都不同。例如，在P、Q、X和/或Y可以不同的一些方面，对于块内的最左上子块，P和X(例如，顶部和左侧的扩展参考样本数)可以具有比Q和/或Y更大的值。P和X可以具有更大的值，因为对于最左上子块，子块的左边界和上边界是块边界，并且具有更大的重叠区域可能是期望的进一步减少块边界可见的机会。又例如，在P、Q、X和/或Y可以不同的一些方面，对于具有作为块边界的任一侧(例如，左、右、下或上)的子块，P、Q、X或Y的对应值(例如，该侧的扩展参考样本数)可以具有比不是块边界的一侧的对应值更大的值。
在一些方面，可以使用第一插值滤波器来导出第一组参考样本rsGroup1，并且可以使用第二插值滤波器来导出第二组参考样本rsGroup2。在一些方面，第一插值滤波器可以比第二插值滤波器更长(例如，就抽头而言)。
在一些方面，第二组参考样本rsGroup2可以使用MV候选mvCand的取整版本来导出。在一些方面，MV候选mvCand的取整版本可以是例如mvCand被取整到整数样本位置。
一些替代方面可以应用于细化较大结构内的块(例如，代替细化块内的子块)。在一些方面，较大结构可以是编码树单元(CTU)或CTU的一部分。在一些方面，CTU(或CTU的一部分)可以包含多个块。在一些方面，较大结构在本文中可以被称为超级块。在一些方面，当前超级块可以位于视频序列内的当前图片内。在一些方面，超级块可以被划分为两个或多个块。在一些方面，为了对当前超级块进行编码或解码，编码器202或解码器204可以针对具有宽度＝sbW且高度＝sbH的超级块内的当前块，编码器202或解码器204(a)确定初始运动矢量(MV)和MV候选集，(b)对于MV候选集中的每个MV候选mvCand：(i)使用MV候选mvCand导出具有宽度＝refW和高度＝refH的一对参考块(例如，refBlk0、refBlk1)，以及(ii)基于来自该对参考块(refBlk0、refBlk1)的样本导出成本值costV，(c)基于来自所有MV候选的成本值导出最佳MV候选mvBest，以及(d)基于最佳MV候选mvBest导出当前子块的预测样本。在一些方面，参考块的大小可以满足以下准则中的至少一个：(i)参考块的宽度refW不等于当前块的宽度sbW，以及(ii)参考块的高度refH不等于当前块的高度sbH。
在一些方面(例如，细化块内的子块的方面或细化超级块内的块的方面)，可以将成本值costV导出为参考块refBlk0、refBlk1的样本之间的差异值之和。即，costV＝∑i， jdiffV(i，j)其中diffV(i，j)是样本位置(i，j)处的差异值。在一些方面，diffV(i，j)可以被计算为例如绝对样本差异(例如，diffV(i，j)＝|refBlk0(i，j)-refBlk1(i，j)|)。在一些替代方面，diffV(i，j)可以被计算为例如样本差异的平方(例如，diffV(i，j)＝(refBlk0(i，j)-refBlk1(i，j))2)。
在一些方面，成本值costV可以基于来自第一组rsGroup1的子集或第二组rsGroup2的子集的差异值来计算。在一些方面，成本值costV可以例如基于来自第一组中的样本的所有差异值和来自第二组中的每个其他样本的差异值来计算。在一些替代方面，成本值costV可以例如基于来自第一组中的样本的所有差异值和来自第二组中的空间上最外样本的差异值。
在一些方面，在计算成本值costV时，可以为第一组rsGroup1或第二组rsGroup2的差异值指派不同的加权因子(例如，costV＝∑i，j∈rsGroup1W1*diffV(i，j)+∑i，j∈rsGroup2W2*diffV(i，j))。在一些方面，可以为第二组rsGroup2指派比为第一组rsGroup1指派的加权因子更大的加权因子(例如，W1＝1并且W2＝1.25)。在一些方面，可以为第一组rsGroup1指派比为第二组rsGroup2指派的加权因子更低的加权因子(例如，W1＝0.75并且W2＝1)。
图16示出了根据一些方面的用于处理(例如，编码或解码)视频序列中的图片内的第一结构的过程1600。在一些方面，第一结构可以是块。在一些替代方面，第一结构可以是包括多个块的超级块(例如，编码树单元(CTU)或CTU的一部分)。在一些方面，编码器202可以执行过程1600的一些或所有步骤。在一些替代方面，解码器204可以执行过程1600的一些或所有步骤。
在一些方面，过程1600可以包括步骤1604：对于第一结构内的第二结构，确定初始运动矢量(MV)和MV候选。在第一结构是块的一些方面中，第二结构可以是该块的子块。在第一结构是包含两个或多个块的超级块(例如，超级块可以被划分为两个或多个块)的一些方面中，第二结构可以是超级块的块。
在一些方面，过程1600可以包括步骤1606:对于MV候选中的每个MV候选(例如，mvCand)，使用MV候选来导出第一参考块(例如，refBlk0)和第二参考块(例如refBlk1)。在一些方面，如图14B和图14C所示，第一参考块和第二参考块的大小可以不等于第二结构的大小。在一些方面，如图14B和图14C中所示，第一参考块和第二参考块的高度(例如，refH)可以不等于第二结构的高度(例如，sbH)，和/或第一参考块和第二参考块的宽度(例如，refW)可以不等于第二结构的宽度(例如，sbW)。在一些方面，如图14B和图14C所示，第一参考块和第二参考块的高度(例如，refH)可以大于第二结构的高度(例如，sbH)，和/或第一参考块和第二参考块的宽度(例如，refW)可以大于第二结构的宽度(例如，sbW)。
在一些方面，在步骤1606中使用MV候选来导出第一参考块和第二参考块可以包括，对于第一参考块和第二参考块中的每一个参考块，基于MV候选导出第一组参考样本和第二组参考样本(例如，rsGroupl和rsGroup2)。在一些方面，第一组参考样本可以是具有分别等于第二结构的宽度(例如，sbW)和高度(例如，sbH)的宽度和高度的参考样本块。在一些方面，第二组参考样本可以包括不在第一组参考样本中的参考块的参考样本。
在一些方面，如图14B所示，参考块可以包括第一组参考样本的顶部边界和参考块的顶部边界之间的P个样本、第一组参考样本的底部边界和参考块的底部边界之间的Q个样本、第一组参考样本的左边界和参考块的左边界之间的X个样本，以及第一组参考样本的右边界和参考块的右边界之间的Y个样本。P、Q、X和Y可以是数字，并且P、Q、X和Y中的至少一个可以是非零数字。
在一些方面，如图15D所示，P、Q、X和Y可以大于或等于阈值T，阈值T取决于初始MV和MV候选之间的x或y分量的最大MV差异。在一些方面，如图15D所示，阈值T可以大于最大MV差异。在一些方面，阈值T可以等于最大MV差异的两倍。在一些替代方面，阈值T可以等于最大MV差异。在一些方面，最大MV差异可以是整数样本中的2，阈值T可以是4，并且P、Q、X和Y可以等于4。
在一些方面，P、Q、X和Y可以是相等的。在一些方面，P、Q、X和Y中的一个或多个可以与P、Q、X和Y中的另一个不同。在一些方面，P、Q、X和Y中的一个或多个可以对应于第二结构的位于第一结构的边界处的边并且大于P、Q、X和Y中与第二结构的位于第一结构的边界处的边不对应的另一边。
在一些方面，基于MV候选导出第一组参考样本和第二组参考样本可包括使用第一插值滤波器来导出第一组参考样本以及使用第二插值滤波器来导出第二组参考样本，并且第一插值滤波器和第二插值滤波器是不同的。在一些方面，第一插值滤波器可以比第二插值滤波器长。
在一些方面，基于MV候选导出第二组参考样本可以包括使用MV候选的取整版本。在一些方面，MV候选的取整版本可以是取整到整数样本位置的MV候选。
在一些方面，如图15D所示，第二结构的第一参考块可以与第一结构的另一第二结构的第一参考块重叠。在一些方面，第二结构的第二参考块可以与其它第二结构的第二参考块重叠。在一些替代方面，第二结构的第一参考块可以接触第一结构中的另一第二结构的第一参考块但不重叠。在一些方面，第二结构的第二参考块可以接触其它第二结构的第二参考块但不重叠。
在一些方面，过程1600可以包括基于来自第一参考块和第二参考块的样本导出成本值(例如，costV)的步骤1608。在一些方面，成本值可以被导出为第一参考块和第二参考块的样本之间的差异值之和。即costV＝∑i，jdiffV(i，j)where diffV(i，j)其中diffV(i，j)是样本位置(i，j)处的差异值。在一些方面，差异值可以是绝对样本差异值(例如，diffV(i，j)＝|refBlk0(i，j)-refBlk1(i，j)|)。在一些方面，差异值可以是样本差异值的平方(例如，diffV(i，j)＝(refBlk0(i，j)-refBlk1(i，j))2)。
在一些方面，差异值可以包括(a)第一参考块的第一组参考样本的子集与第二参考块的第一组参考样本的子集之间的差异值和/或(b)第一参考块的第二组参考样本的子集与第二参考块的第二组参考样本的子集之间的差异值。在一些方面，差异值可以包括(i)第一参考块的第一组参考样本的所有参考样本与第二参考块的第一组参考样本的所有参考样本之间的差异值，以及(ii)第一参考块的第二组参考样本中的每隔一个参考样本与第二参考块的第二组参考样本中的每隔一个参考样本之间的差异值。在一些方面，差异值可以包括(i)第一参考块的第一组参考样本的所有参考样本与第二参考块的第一组参考样本的所有参考样本之间的差异值，以及(ii)第一参考块的第二组参考样本的空间最外侧参考样本与第二参考块的第二组参考样本的空间最外侧参考样本之间的差异值。
在一些方面，第一参考块的第一组参考样本的参考样本与第二参考块的第一组参考样本的参考样本之间的差异值可以用第一加权因子(例如，W1)来加权，并且，第一参考块的第二组参考样本的参考样本与第二参考块的第二组参考样本的参考样本之间的差异值可以利用第二加权因子(例如，W2)来加权，该第二加权因子不同于第一加权因子(例如costV＝∑i，j∈rsGroup1W1*diffV(i，j)+∑i，j∈rsGroup2W2*diffV(i，j))。在一些方面，第二加权因子可以大于第一加权因子(例如，W1可以等于1，并且W2可以等于1.25)。在一些方面，第一加权因子可以低于第二加权因子(例如，W1可以等于0.75，并且W2可以等于1)。
在一些方面，过程1600可以包括使用来自MV候选的成本值来导出最佳MV候选(例如，mvBest)的步骤1610。
在一些方面，过程1600可以包括使用最佳MV候选来导出第二结构的预测样本的步骤1612。
在一些方面(例如，第一结构是块而第二结构是子块的方面)，过程1600可以包括将第一结构(例如块)分割成n个第二结构(例如，n个子块)的步骤1602，并且n可以大于或等于1。在一些方面，n可以大于或等于2。在一些方面，n个第二结构(例如，子块)的样本的累积数量可以等于第一结构(例如块)的样本数量。
图17是根据一些方面的用于实现编码器202或解码器204的装置1701的框图。也就是说，装置1701可以适于执行本文公开的方法。在装置1701实现编码器202的方面中，装置1701可以被称为“编码装置1701”，并且在装置1701实现解码器204的方面中，装置1701可以被称为“解码装置”1701。如图17所示，装置1701可包括：处理电路(PC)1702，其可包括一个或多个处理器(P)1755(例如，通用微处理器和/或一个或多个其他处理器，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)等)，这些处理器可以共址于单个外壳中或单个数据中心中，或者可以在地理上分布(即，装置1701可以是分布式计算装置)；至少一个网络接口1748，包括发射机(Tx)1745和接收机(Rx)1747，用于使装置1701能够向连接到网络接口1748(直接或间接)连接到的网络110(例如，网际协议(IP)网络)的其他节点发送数据并从其接收数据(例如，网络接口1748可以无线地连接到网络210，在这种情况下网络接口1748连接到天线布置)；和/或存储单元(也称为“数据存储***”)1708，其可以包括一个或多个非易失性存储设备和/或一个或多个易失性存储设备。在PC 1702包括可编程处理器的方面，可以提供计算机程序产品(CPP)1741。在一些方面，CPP 1741可以包括存储计算机程序(CP)1743的计算机可读介质(CRM)1742，计算机程序(CP)1743包括计算机可读指令(CRI)1744。CRM 1742可以是非暂时性计算机可读介质，例如，磁介质(例如，硬盘)、光介质、存储器设备(例如，随机存取存储器、闪存)等。在一些方面，计算机程序1743的CRI 1744被配置为使得当由PC 1702执行时，CRI使得装置1701执行本文描述的步骤(例如，本文参考流程图描述的步骤)。在一些其他方面，装置1701可以被配置为执行本文描述的步骤而不需要代码。也就是说，例如，PC 1702可以仅包括一个或多个ASIC。因此，本文描述的实施例的特征可以以硬件和/或软件来实现。
虽然本文描述了各种实施例，但是应当理解，它们仅通过示例而非限制的方式呈现。因此，本公开的广度和范围不应受到任何上述示例性实施例的限制。此外，除非本文另外指出或另外与上下文明显矛盾，否则本公开涵盖上述元素在其所有可能变型中的任何组合。
另外，虽然上面描述的和附图中示出的过程被示出为步骤序列，但这仅仅是为了说明的目的而完成的。因此，预期可以添加一些步骤，可以省略一些步骤，可以重新布置步骤的顺序，并且可以并行执行一些步骤。

Claims (38)

1.一种用于对视频序列中的图片内的第一结构进行编码或解码的方法(1600)，所述方法包括：
对于所述第一结构内的第二结构，确定初始运动矢量MV和MV候选；
对于所述MV候选中的每个MV候选：
使用所述MV候选来导出第一参考块和第二参考块，其中所述第一参考块和第二参考块的大小不等于所述第二结构的大小；以及
基于来自所述第一参考块和所述第二参考块的样本导出成本值；使用来自所述MV候选的所述成本值导出最佳MV候选；以及
使用所述最佳MV候选来导出用于所述第二结构的预测样本。
2.根据权利要求1所述的方法，其中，所述第一结构是块，并且所述第二结构是所述块的子块。
3.根据权利要求2所述的方法，还包括：将所述块分割成n个子块，其中n大于或等于1。
4.根据权利要求3所述的方法，其中，所述n个子块的累积样本数量等于所述块的样本数量。
5.根据权利要求3或4所述的方法，其中，n大于或等于2。
6.根据权利要求1所述的方法，其中，所述第一结构是包含两个或多个块的超级块，并且所述第二结构是所述超级块中的块。
7.根据权利要求6所述的方法，其中，所述超级块是编码树单元CTU或CTU的一部分。
8.根据权利要求1-7中任一项所述的方法，其中，所述第一参考块和所述第二参考块的高度不等于所述第二结构的高度，和/或所述第一参考块和所述第二参考块的宽度不等于所述第二结构的宽度。
9.根据权利要求1-8中任一项所述的方法，其中，所述第一参考块和所述第二参考块的高度大于所述第二结构的高度，和/或所述第一参考块和所述第二参考块的宽度大于所述第二结构的宽度。
10.根据权利要求1-9中任一项所述的方法，其中，使用所述MV候选来导出所述第一参考块和第二参考块包括：对于所述第一参考块和所述第二参考块中的每一个参考块，基于所述MV候选来导出第一组参考样本和第二组参考样本。
11.根据权利要求10所述的方法，其中，所述第一组参考样本是宽度和高度分别等于所述第二结构的宽度和高度的参考样本块。
12.根据权利要求10或11所述的方法，其中，所述第二组参考样本包括不在所述第一组参考样本中的所述参考块的参考样本。
13.根据权利要求10-12中任一项所述的方法，其中，所述参考块包括所述第一组参考样本的顶部边界与所述参考块的顶部边界之间的P个样本、所述第一组参考样本的底部边界和所述参考块的底部边界之间的Q个样本、所述第一组参考样本的左边界和所述参考块的左边界之间的X个样本、以及所述第一组参考样本的右边界和所述参考块的右边界之间的Y个样本；P、Q、X和Y是数字；并且P、Q、X、Y中的至少一个是非零数字。
14.根据权利要求13所述的方法，其中，P、Q、X和Y大于或等于阈值T，所述阈值T取决于所述初始MV和所述MV候选之间的x或y分量的最大MV差异。
15.根据权利要求14所述的方法，其中，所述阈值T大于所述最大MV差异。
16.根据权利要求14或15所述的方法，其中，所述阈值T等于所述最大MV差异的两倍。
17.根据权利要求14所述的方法，其中，所述阈值T等于所述最大MV差异。
18.根据权利要求14-17中任一项所述的方法，其中，所述最大MV差异值在整数样本中是2，所述阈值T是4，并且P、Q、X和Y等于4。
19.根据权利要求13-18中任一项所述的方法，其中，P、Q、X和Y相等。
20.根据权利要求13-17中任一项所述的方法，其中，P、Q、X和Y中的一个或多个不同于P、Q、X和Y中的另一个。
21.根据权利要求13-17和20中任一项所述的方法，其中，P、Q、X和Y中的一个或多个对应于所述第二结构的位于所述第一结构的边界处的边并且大于P、Q、X和Y中的不对应于位于所述第一结构的边界处的所述第二结构的边的另一个。
22.根据权利要求10-21中任一项所述的方法，其中，基于所述MV候选来导出所述第一组参考样本和第二组参考样本包括：使用第一插值滤波器来导出所述第一组参考样本，以及使用第二插值滤波器来所述第二组参考样本，并且所述第一插值滤波器和第二插值滤波器是不同的。
23.根据权利要求22所述的方法，其中，所述第一插值滤波器比所述第二插值滤波器长。
24.根据权利要求10-23中任一项所述的方法，其中，基于所述MV候选来导出所述第二组参考样本包括：使用所述MV候选的取整版本。
25.根据权利要求24所述的方法，其中，所述MV候选的所述取整版本是取整到整数样本位置的所述MV候选。
26.根据权利要求1-25中任一项所述的方法，其中，所述第二结构的所述第一参考块与所述第一结构的另一第二结构的第一参考块重叠。
27.根据权利要求26所述的方法，其中，所述第二结构的所述第二参考块与其它第二结构的第二参考块重叠。
28.根据权利要求1-25中任一项所述的方法，其中，所述第二结构的所述第一参考块接触所述第一结构中的另一第二结构的第一参考块，但不重叠。
29.根据权利要求28所述的方法，其中，所述第二结构的所述第二参考块接触所述其它第二结构的第二参考块，但不重叠。
30.根据权利要求1-29中任一项所述的方法，其中，所述成本值被导出为所述第一参考块和第二参考块的样本之间的差异值之和。
31.根据权利要求30所述的方法，其中，所述差异值是绝对样本差异值。
32.根据权利要求10-31中任一项所述的方法，其中，所述成本值被导出为所述第一参考块和所述第二参考块的参考样本之间的差异值之和，并且所述差异值包括(a)所述第一参考块的所述第一组参考样本的子集和所述第二参考块的所述第一组参考样本的子集之间的差异值和/或(b)所述第一参考块的所述第二组参考样本的子集和所述第二参考块的所述第二组参考样本的子集之间的差异值。
33.根据权利要求10-32中任一项所述的方法，其中，所述成本值被导出为所述第一参考块和所述第二参考块的参考样本之间的差异值之和，所述第一参考块的所述第一组参考样本的参考样本和所述第二参考块的所述第一组参考样本的参考样本之间的差异值使用第一加权因子进行加权，并且所述第一参考块的所述第二组参考样本的参考样本与所述第二参考块的所述第二组参考样本的参考样本之间的差异值使用与所述第一加权因子不同的第二加权因子进行加权。
34.根据权利要求33所述的方法，其中，所述第二加权因子大于所述第一加权因子。
35.一种装置(202，204，1701)，所述装置包括：
处理电路(1702)；以及
存储器(1742)，所述存储器包含可由所述处理电路执行的指令(1744)，由此所述装置可操作以执行根据权利要求1-34中任一项所述的方法。
36.一种装置(202，204，1701)，其适合于执行根据实施例1-34中任一项所述的方法。
37.一种计算机程序，包括用于使装置适于执行根据权利要求1-34中任一项所述的方法的指令。
38.一种包含根据权利要求37所述的计算机程序的载体，其中所述载体是电信号、光信号、无线电信号或计算机可读存储介质中的一个。
CN202280044275.8A 2021-06-30 2022-06-02 重叠解码器侧运动细化 Pending CN117546466A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163216577P 2021-06-30 2021-06-30
US63/216,577 2021-06-30
PCT/SE2022/050532 WO2023277756A1 (en) 2021-06-30 2022-06-02 Overlapped decoder side motion refinement

Publications (1)

Publication Number Publication Date
CN117546466A true CN117546466A (zh) 2024-02-09

Family

ID=84690517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280044275.8A Pending CN117546466A (zh) 2021-06-30 2022-06-02 重叠解码器侧运动细化

Country Status (4)

Country Link
US (1) US20240236332A1 (zh)
EP (1) EP4364420A1 (zh)
CN (1) CN117546466A (zh)
WO (1) WO2023277756A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10742971B2 (en) * 2016-10-05 2020-08-11 Lg Electronics Inc. Inter prediction method and device that performs prediction by applying weights to motion information of a current block
KR102625609B1 (ko) * 2017-12-08 2024-01-16 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 이미지 인코딩 장치, 이미지 디코딩 장치, 이미지 인코딩 방법 및 이미지 디코딩 방법
US10638153B2 (en) * 2018-07-02 2020-04-28 Tencent America LLC For decoder side MV derivation and refinement
DK3912352T3 (da) * 2019-02-22 2023-11-20 Huawei Tech Co Ltd Tidlig afslutning til forfinelse af optisk strøm
CN113545073B (zh) * 2019-03-05 2023-07-11 华为技术有限公司 在解码侧运动修正搜索期间使用扩展样本
WO2020177727A1 (en) * 2019-03-05 2020-09-10 Huawei Technologies Co., Ltd. Dmvr using decimated prediction block
US11985324B2 (en) * 2019-03-14 2024-05-14 Hfi Innovation Inc. Methods and apparatuses of video processing with motion refinement and sub-partition base padding
CN113796084B (zh) * 2019-04-14 2023-09-15 北京字节跳动网络技术有限公司 运动矢量和预测样点细化

Also Published As

Publication number Publication date
US20240236332A1 (en) 2024-07-11
WO2023277756A1 (en) 2023-01-05
EP4364420A1 (en) 2024-05-08

Similar Documents

Publication Publication Date Title
US11838502B2 (en) Image processing method, and image encoding/decoding method and device which use same
US20230138960A1 (en) Image encoding/decoding method and device, and recording medium in which bitstream is stored
US20230344992A1 (en) Method and apparatus for encoding and decoding image, and recording medium for storing bitstream
CN112740685B (zh) 图像编码/解码方法和装置以及存储有比特流的记录介质
US11107253B2 (en) Image processing method, and image decoding and encoding method using same
US20240056602A1 (en) Image encoding/decoding method and apparatus for throughput enhancement, and recording medium storing bitstream
US20130128982A1 (en) Method for generating prediction block in amvp mode
US20190364298A1 (en) Image encoding/decoding method and device, and recording medium having bitstream stored thereon
KR20180040088A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20190058632A (ko) 거리 가중 양지향성 인트라 예측
JP2023105114A (ja) イントラ予測ベースのビデオ信号処理方法及び装置
CN111373749A (zh) 视频编码和解码中的低复杂度双向帧内预测的方法和装置
WO2020069651A1 (en) A candidate mv construction method for affine merge mode
US11856197B2 (en) Image encoding/decoding method and apparatus, and recording medium storing bitstream
KR101569912B1 (ko) 영상의 복호화/부호화 방법 및 장치
CN113875237A (zh) 用于在帧内预测中用信号传送预测模式相关信号的方法和装置
KR101659343B1 (ko) 동영상 처리 방법 및 장치
CN117546466A (zh) 重叠解码器侧运动细化
KR101914667B1 (ko) 동영상 처리 방법 및 장치
WO2023277755A1 (en) Selective subblock-based motion refinement
WO2023158765A1 (en) Methods and devices for geometric partitioning mode split modes reordering with pre-defined modes order
WO2023131546A1 (en) Motion vector difference derivation
WO2023141338A1 (en) Methods and devices for geometric partitioning mode with split modes reordering
WO2024039910A1 (en) Method and apparatus for adaptive motion compensated filtering
CN118474346A (zh) 图像编码/解码方法和装置以及存储有比特流的记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination