CN114556918A

CN114556918A - 细化视频编解码工具的使用和信令

Info

Publication number: CN114556918A
Application number: CN202080071694.1A
Authority: CN
Inventors: 张凯; 张莉; 刘鸿彬; 邓智玭; 许继征; 王悦
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2019-10-12
Filing date: 2020-10-12
Publication date: 2022-05-27
Also published as: US20220256197A1; JP7482218B2; KR102637881B1; JP2022552513A; EP4042678A4; KR20220075324A; JP2022552512A; CN117499640A; WO2021068955A1; WO2021068956A1; KR20220074870A; EP4042678A1; CN114556934A; JP7391203B2; US20220264137A1; US11743504B2; US11711547B2; EP4029262A4; JP2024015158A; EP4029262A1

Abstract

视频处理的示例方法包括：执行视频的视频图片和所述视频的比特流表示之间的转换。所述比特流表示符合格式规则。所述格式规则规定在所述比特流表示中分别指示解码器侧运动矢量细化编解码工具和双向光流编解码工具针对所述视频图片的的适用性。

Description

细化视频编解码工具的使用和信令

相关申请的交叉引用

根据适用的专利法和/或根据《巴黎公约》的规则，本申请是为了及时要求于2019年10月12日提交的国际专利申请No.PCT/CN2019/110902的优先权和利益而做出的。出于法律规定的所有目的，将上述申请的全部公开通过引用的方式并入，作为本申请公开的一部分。

技术领域

本专利文件涉及视频编解码技术、设备和***。

背景技术

目前，正在努力提高当前视频编解码器技术的性能，以提供更好的压缩比，或者提供允许较低复杂度或并行实现的视频编解码方案。业内专家最近提出了几种新的视频编解码工具，目前正在进行测试以确定其有效性。

发明内容

描述了与数字视频编解码，特别是与运动矢量的管理有关的设备、***和方法。所述方法可应用于现有视频编解码标准(例如，高效视频编解码(HEVC)或多功能视频编解码)和未来的视频编解码标准或视频编解码器。

在一个代表性方面，所公开的技术可用于提供用于视频处理的方法。该方法包括：在视频和视频的比特流表示之间执行转换。比特流表示符合格式规则，该格式规则规定在比特流表示中分别指示解码器侧运动矢量细化编解码工具和双向光流编解码工具针对视频图片的的适用性。

在另一代表性方面，所公开的技术可用于提供用于视频处理的方法。该方法包括：在视频的视频图片和视频的比特流表示之间执行转换。比特流表示符合格式规则，该格式规则规定在与视频图片相对应的图片标头中指示编解码工具的使用。

在另一代表性方面，所公开的技术可用于提供用于视频处理的方法。该方法包括：在包含一个或多个视频单元的视频图片的视频和该视频的比特流表示之间执行转换。比特流表示符合格式规则，该格式规则规定图片标头中包括第一语法元素，以指示视频图片中的一个或多个视频单元中的至少一些的允许预测类型。

在另一个代表性方面，所公开的技术可用于提供用于视频处理的方法。该方法包括：执行当前视频块和当前视频块的编解码表示之间的转换，其中，在转换期间，如果参考图片的分辨率和/或尺寸不同于当前视频块的分辨率和/或尺寸，则将相同的插值滤波器应用于使用当前视频块预测的一组相邻的或非相邻样点。

在另一个代表性方面，所公开的技术可用于提供用于视频处理的另一种方法。该方法包括：在当前视频块和当前视频块的编解码表示之间执行转换，其中，在转换期间，如果参考图片的分辨率和/或尺寸与当前视频块的分辨率和/或尺寸不同，则其中使用当前视频块预测的块仅允许使用与当前块相关的整数值运动信息。

在另一个代表性方面，所公开的技术可用于提供用于视频处理的另一种方法。该方法包括：在当前视频块和当前视频块的编解码表示之间执行转换，其中，在转换期间，如果参考图片的分辨率和/或尺寸不同于当前视频块的分辨率和/或尺寸，则应用插值滤波器来导出使用当前视频块预测的块，并且其中基于规则选择插值滤波器。

在另一个代表性方面，所公开的技术可用于提供用于视频处理的另一种方法。该方法包括：在当前视频块和当前视频块的编解码表示之间执行转换，其中，在转换期间，如果参考图片的分辨率和/或尺寸不同于当前视频块的分辨率和/或尺寸，则选择性地应用去块滤波器，其中根据与参考图片的分辨率和/或尺寸相对于当前视频块的分辨率和/或尺寸有关的规则设置去方块滤波器。

在另一个代表性方面，所公开的技术可用于提供用于视频处理的另一种方法。该方法包括：在当前视频块和当前视频块的编解码表示之间执行转换，其中，在转换期间，根据基于当前视频块的维度的规则对当前视频块的参考图片进行重采样。

在另一个代表性方面，所公开的技术可用于提供用于视频处理的另一种方法。该方法包括：在当前视频块和当前视频块的编解码表示之间执行转换，其中，在转换期间，取决于相对于当前视频块的分辨率/尺寸的当前视频块的参考图片的分辨率/尺寸，选择性地启动或禁止对当前视频块的编解码工具的使用。

在另一个代表性方面，所公开的技术可用于提供用于视频处理的另一种方法。该方法包括：在多个视频块和多个视频块的编解码表示之间执行转换，其中，在转换期间，为第一视频块定义第一一致性窗口，为第二视频块定义第二一致性窗口，并且其中，所述第一一致性窗口与所述第二一致性窗口的宽度和/或高度的比率符合至少基于一致性比特流的规则。

在另一个代表性方面，所公开的技术可用于提供用于视频处理的另一种方法。该方法包括：在多个视频块和多个视频块的编解码表示之间执行转换，其中，在转换期间，为第一视频块定义第一一致性窗口，为第二视频块定义第二一致性窗口，其中，所述第一一致性窗口与所述第二一致性窗口的宽度和/或高度的比率符合至少基于一致性比特流的规则。

此外，在一个代表性方面，公开了一种视频***中的装置，该装置包括处理器和带有指令的非暂时性存储器。处理器执行时的指令使处理器实现所公开的方法中的任何一个或多个。

在一个代表性方面中，公开了一种视频解码装置，其包括配置成实现本文所述的方法的处理器。

在一个代表性方面中，公开了一种视频编码装置，其包括配置成实现本文所述的方法的处理器。

此外，还公开了存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行所公开的方法中的任何一个或多个的程序代码。

在附图、说明书和权利要求中更详细地描述了所公开技术的上述和其他方面和特征。

附图说明

图1示出了子块运动矢量(VSB)和运动矢量差的示例。

图2示出了划分为16个4x4区域的16x16视频块的示例。

图3A示出了样点中的特定位置的示例。

图3B示出了样点中特定位置的另一示例。

图3C示出了样点中特定位置的又一示例。

图4A示出了当前样点及其参考样点的位置的示例。

图4B示出了当前样点及其参考样点的位置的另一示例。

图5是用于实现本文档中描述的视觉媒体解码或视觉媒体编解码技术的硬件平台的示例的框图。

图6示出用于视频编解码的示例方法的流程图。

图7是其中可以实现所公开的技术的示例性视频处理***的框图。

图8是示出示例性视频编解码***的框图。

图9是示出根据本公开的一些实施例的编码器的框图。

图10是示出根据本公开的一些实施例的解码器的框图。

图11是根据本技术的用于视频处理的方法的流程图表示。

图12是根据本技术的用于视频处理的另一方法的流程图表示。

图13是根据本技术的另一种视频处理方法的流程图表示。

具体实施方式

1.HEVC/H.265中的视频编解码

视频编解码标准主要是通过众所周知的ITU-T和ISO/IEC标准的发展而发展起来的。ITU-T制作了H.261和H.263，ISO/IEC制作了MPEG-1和MPEG-4视频，两个组织联合制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262以来，视频编解码标准基于混合视频编解码结构，其中使用时域预测加变换编解码。为了探索HEVC之外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索团队(JVET)。此后，JVET采用了许多新的方法，并将其应用到名为联合探索模型(JEM)的参考软件中。2018年4月，VCEG(Q6/16)和ISO/IECJTC1 SC29/WG11(MPEG)之间的联合视频专家组(JVET)成立，致力于VVC标准，目标是与HEVC相比比特率降低50％。

2.概述

2.1自适应分辨率更改(ARC)

AVC和HEVC不具有在不必引入IDR或帧内随机访问点(IRAP)图片的情况下更改分辨率的能力；这种能力可以称为自适应分辨率更改(adaptive resolution change，ARC)。在某些使用案例或应用场景中，可以受益于ARC功能，其中包括：

-视频电话和会议中的速率适配：为了使编解码视频适应不断更改的网络状况，当网络状况变得更糟从而可用带宽变得更低时，编码器可以通过编码较小分辨率的图片来适应它。目前，只有在IRAP图片之后才能更改图片分辨率；这有几个问题。具有合理质量的IRAP图片将比帧间编解码图片大得多，并且解码起来也将相应地更加复杂：这会浪费时间和资源。如果解码器出于加载原因请求更改分辨率，则会出现问题。它还可能破坏低延迟缓冲区条件，从而迫使音频重新同步，并且流的端到端延迟将增加，至少是暂时增加。这会给用户带来糟糕的体验。

-在多方视频会议中活动发言人的更改：对于多方视频会议，通常以比其他会议参与者的视频更大的视频尺寸显示活动发言人。当活动发言人更改时，可能还需要调整每个参与者的图片分辨率。当有源扬声器中频繁发生此类更改时，具有ARC特征的需求变得尤为重要。

-流传输中的快速启动：对于流传输应用，通常在开始显示之前，该应用将缓冲多达一定长度的解码图片。以较小的分辨率启动比特流将允许应用在缓冲区中具有足够的图片以更快地开始显示。

流传输中的自适应流切换：基于HTTP的动态自适应流传输(Dynamic AdaptiveStreaming over HTTP，DASH)规范包括名为@mediaStreamStructureId的特征。这使得能够在具有不可解码的前导图片(例如，HEVC中的具有相关联的RASL图片的CRA图片)的开放式GOP随机访问点处在不同表示之间进行切换。当同一视频的两个不同表示具有不同的比特率但具有相同的空域分辨率，同时它们具有相同的@mediaStreamStructureId值时，可以在具有相关联的RASL图片的CRA图片上执行两种表示之间的切换，并且与可以以可接受的质量解码与切换处的CRA图片相关联的RASL图片，从而实现无缝切换。使用ARC，@mediaStreamStructureId特征也可用于在具有不同空域分辨率的DASH表示之间进行切换。

ARC也称为动态分辨率转换。

ARC也可以被视为参考图片重采样(RPR)的特殊情况，诸如H.263附件P。

2.2H.263附件P中的参考图片重采样

该模式描述了在参考图片用于预测之前扭曲(warp)参考图片的算法。对于重采样具有与正在预测的图片不同的源格式的参考图片可能很有用。通过扭曲参考图片的形状、尺寸和位置，还可以将其用于全局运动估算或旋转运动估算。语法包括要使用的扭曲参数以及重采样算法。参考图片重采样模式的最简单操作级别是4重采样的隐式因子，因为仅FIR滤波器需要用于上采样和下采样处理。在这种情况下，当新图片的尺寸(在图片标头中指示)与先前图片的尺寸不同时，由于理解了它的用法，因此不需要额外的信令开销。

2.3.VVC中的一致性窗口

VVC中的一致性窗口定义了一个矩形。一致性窗口内的样点属于感兴趣的图像。一致性窗口外的样点在输出时可能会被丢弃。

当应用一致性窗口时，基于一致性窗口导出RPR中的缩放比。

图片参数集RBSP语法

pic_width_in_luma_samples以亮度样点为单位指定参考PPS的每个解码图片的宽度。pic_width_in_luma_samples不应等于0，应为Max(8，MinCbSizeY)的整数倍，且应小于或等于pic_width_max_in_luma_samples。

当subpics_present_flag等于1时，pic_width_in_luma_samples的值应等于pic_width_max_in_luma_samples。

pic_height_in_luma_samples以亮度样点为单位指定参考PPS的每个解码图片的高度。pic_height_in_luma_samples不应等于0，应为Max(8，MinCbSizeY)的整数倍，且应小于或等于pic_height_max_in_luma_samples。

当subpics_present_flag等于1时，pic_height_in_luma_samples的值应等于pic_height_max_in_luma_samples。

让refPicWidthInLumaSamples和refPicHeightInLumaSamples分别是参考该PPS的当前图片的参考图片的pic_width_in_luma_samples和pic_height_in_luma_samples。满足以下所有条件是比特流一致性的要求，：

–pic_width_in_luma_samples*2应当大于或等于refPicWidthInLumaSamples。

–pic_height_in_luma_samples*2应当大于或等于refPicHeightInLumaSamples。

–pic_width_in_luma_samples应当小于或等于refPicWidthInLumaSamples*8。

–pic_height_in_luma_samples应当小于或等于refPicHeightInLumaSamples*8。

conformance_window_flag等于1表示一致性裁剪窗口偏移参数在SPS中紧随其后。conformance_window_flag等于0表示一致性裁剪窗口偏移参数不存在。

conf_win_left_offset,conf_win_right_offset,conf_win_top_offset,andconf_win_bottom_offset以用于输出的图片坐标中指定的矩形区域的方式指定了从解码过程中输出的CVS中的图片样点。当conformance_window_flag等于0时，conf_win_left_offset,conf_win_right_offset,conf_win_top_offset和conf_win_bottom_offset的值推断为0。

一致性裁剪窗口包含水平图片坐标从SubWidthC*conf_win_left_offset到pic_width_in_luma_samples-(SubWidthC*conf_win_right_offset+1)并且垂直图片坐标从SubHeightC*conf_win_top_offset到pic_height_in_luma_samples-(SubHeightC*conf_win_bottom_offset+1)(包含端点在内)的亮度样点。

SubWidthC*(conf_win_left_offset+conf_win_right_offset)的值应当小于pic_width_in_luma_samples,并且SubHeightC*(conf_win_top_offset+conf_win_bottom_offset)的值应当小于pic_height_in_luma_samples。

变量PicOutputWidthL和PicOutputHeightL推导如下：

PicOutputWidthL＝pic_width_in_luma_samples- (7-43)

SubWidthC*(conf_win_right_offset+conf_win_left_offset)

PicOutputHeightL＝pic_height_in_pic_size_units

-SubHeightC*(conf_win_bottom_offset+conf_win_top_offset) (7-44)

当ChromaArrayType不等于0时，两个色度阵列的相应指定样点是具有图片坐标(x/SubWidthC,y/SubHeightC)的样点，其中(x，y)是指定亮度样点的图片坐标。

注意–一致性裁剪窗口偏移参数仅应用于输出。所有内部解码过程都应用于未裁剪的图片尺寸。

设ppsA和ppsB是任意两个参考相同SPS的PPS。当ppsA和ppsB的pic_width_in_luma_samples和pic_height_in_luma_samples分别具有相同的值时，ppsA和ppsB应当分别具有相同的conf_win_left_offset,conf_win_right_offset,conf_win_top_offset,和conf_win_bottom_offset的值，这是比特流一致性的要求。

2.4.参考图片重采样(RPR)

在一些实施例中，ARC也称为参考图片重采样(RPR)。对于RPR，如果并置图片的分辨率与当前图片不同，则TMVP被禁用。此外，当参考图片与当前图片的分辨率不同时，双向光流(BDOF)和解码器侧运动矢量细化(DMVR)被禁用。

当参考图片具有不同于当前图片的分辨率时，为了处理正常MC，插值部分定义如下：

8.5.6.3分数样点插值处理

8.5.6.3.1概述

该处理的输入包括：

–亮度位置(xSb，ySb)，指定当前编解码子块相对于当前图片的左上亮度样点的左上样点，

–变量sbWidth，指定当前编解码子块的宽度，

–变量sbHeight，指定当前编解码子块的高度，

–运动矢量偏移mvOffset，

–细化的运动矢量refMvLX，

–所选参考图片样点阵列refPicLX，

–半样点插值滤波器索引hpelIfIdx，

–双向光流标志bdofFlag，

–变量cIdx，指定当前块的颜色分量索引。

该处理的输出包括：

–预测样点值的(sbWidth+brdExtSize)x(sbHeight+brdExtSize)的阵列predSamplesLX。

预测块边界扩展尺寸brdExtSize推导如下：

brdExtSize＝(bdofFlag||(inter_affine_flag[xSb][ySb]&&sps_affine_prof_enabled_flag))？2:0 (8-752)

变量fRefWidth被设为等于以亮度样点为单位的参考图片的PicOutputWidthL。

变量fRefHeight被设为等于以亮度样点为单位的参考图片的PicOutputHeightL。

运动矢量mvLX被设为等于(refMvLX-mvOffset)。

–如果cIdx等于0，则以下适用：

–缩放因子及其固定点表示定义为

hori_scale_fp＝((fRefWidth<<14)+(PicOutputWidthL>>1))/PicOutputWidthL (8-753)

vert_scale_fp＝((fRefHeight<<14)+(PicOutputHeightL>>1))/PicOutputHeightL (8-754)

–设(xIntL,yIntL)为以全样点单位给出的亮度位置并且(xFracL,yFracL)为以1/16样点单位给出的偏移。则这些变量在本节中仅用于指定参考样点阵列refPicLX内的分数点样点位置。

–用于参考样点填充的边界块的左上角坐标(xSbInt_L,ySbInt_L)被设为等于(xSb+(mvLX[0]>>4),ySb+(mvLX[1]>>4))。

–针对预测亮度样点阵列predSamplesLX内的每个亮度样点位置(x_L＝0..sbWidth-1+brdExtSize,y_L＝0..sbHeight-1+brdExtSize)，

对应的预测亮度样点值predSamplesLX[x_L][y_L]推导如下：

–设(refxSb_L,refySb_L)和(refx_L,refy_L)为由以1/16样点单位给出的运动矢量(refMvLX[0],refMvLX[1])指向的亮度位置。变量refxSb_L,refx_L,refySb_L,和refy_L推导如下：

refxSb_L＝((xSb<<4)+refMvLX[0])*hori_scale_fp (8-755)

refx_L＝((Sign(refxSb)*((Abs(refxSb)+128)>>8)+x_L*((hori_scale_fp+8)>>4))+32)>>6 (8-756)

refySb_L＝((ySb<<4)+refMvLX[1])*vert_scale_fp (8-757)

refyL＝((Sign(refySb)*((Abs(refySb)+128)>>8)+yL*((vert_scale_fp+8)>>4))+32)>>6 (8-758)

–变量xInt_L,yInt_L,xFrac_L和yFrac_L推导如下：

xInt_L＝refx_L>>4 (8-759)

yInt_L＝refy_L>>4 (8-760)

xFrac_L＝refx_L&15 (8-761)

yFrac_L＝refy_L&15 (8-762)

–如果bdofFlag等于真或(sps_affine_prof_enabled_flag等于真且inter_affine_flag[xSb][ySb]等于真),并且一个或多个下列条件为真,则预测亮度样点值predSamplesLX[x_L][y_L]通过调用第8.5.6.3.3条中指定的亮度整数样点获取处理得出，以(xInt_L+(xFrac_L>>3)-1),yInt_L+(yFrac_L>>3)-1)

和refPicLX作为输入。

–x_L等于0。

–x_L等于sbWidth+1。

–y_L等于0。

–y_L等于sbHeight+1。

–否则，预测亮度样点值predSamplesLX[xL][yL]

通过调用第8.5.6.3.2条中规定的亮度样点8抽头插值滤波过程导出，以(xIntL-(brdExtSize>0？1:0),yIntL-(brdExtSize>0？1:0)),(xFracL,yFracL),(xSbInt_L,ySbInt_L),refPicLX,hpelIfIdx,sbWidth,sbHeight和(xSb,ySb)作为输入。

–否则(cIdx不等于0)，则以下适用：

–设(xIntC,yIntC)是以全样点单位给出的色度位置并且(xFracC,yFracC)是以1/32样点单位给出的偏移。

这些变量在本节中仅用于指定参考样点阵列refPicLX中的一般分数样点位置。

–用于参考样点填充的边界块的左上角坐标(xSbIntC,ySbIntC)被设为等于((xSb/SubWidthC)+(mvLX[0]>>5),(ySb/SubHeightC)+(mvLX[1]>>5))。

–对于预测色度样点阵列predSamplesLX内的每个色度样点位置(xC＝0..sbWidth-1,yC＝0..sbHeight-1)，对应的预测色度样点值predSamplesLX[xC][yC]推导如下：

–设(refxSb_C,refySb_C)和(refx_C,refy_C)为由以1/32样点单位给出的运动矢量(mvLX[0],mvLX[1])指向的色度位置。变量refxSb_C,refySb_C,refx_C和refy_C推导如下：

refxSb_C＝((xSb/SubWidthC<<5)+mvLX[0])*hori_scale_fp (8-763)

refx_C＝((Sign(refxSb_C)*((Abs(refxSb_C)+256)>>9)+xC*((hori_scale_fp+8)>>4))+16)>>5 (8-764)

refySb_C＝((ySb/SubHeightC<<5)+mvLX[1])*vert_scale_fp (8-765)

refy_C＝((Sign(refySb_C)*((Abs(refySb_C)+256)>>9)+yC*((vert_scale_fp+8)>>4))+16)>>5 (8-766)

–变量xInt_C,yInt_C,xFrac_C和yFrac_C推导如下：

xInt_C＝refx_C>>5 (8-767)

yInt_C＝refy_C>>5 (8-768)

xFrac_C＝refy_C&31 (8-769)

yFrac_C＝refy_C&31 (8-770)

–预测样点值predSamplesLX[xC][yC]通过调用第8.5.6.3.4节中规定的处理导出，以(xIntC,yIntC),(xFracC,yFracC),(xSbIntC,ySbIntC),sbWidth,sbHeight和refPicLX作为输入。

8.5.6.3.2亮度样点插值滤波处理

该处理的输入为：

–以全样点为单位的亮度位置(xInt_L,yInt_L),

–以分数样点为单位的亮度位置(xFrac_L,yFrac_L),

–以全样点为单位的亮度位置(xSbInt_L,ySbInt_L)，其指定用于参考样点填充的边界块相对于参考图片的左上亮度样点的左上样点，

–亮度参考样点阵列refPicLX_L,

–半样点插值滤波器索引hpelIfIdx,

–变量sbWidth，指定当前子块的宽度，

–变量sbHeight，指定当前子块的高度，

–亮度位置(xSb,ySb)，指定当前子块相对于当前图片的左上亮度样点的左上样点，

该处理的输出为预测亮度样点值predSampleLX_L

变量shift1,shift2和shift3推导如下：

–变量shift1被设为等于Min(4,BitDepth_Y-8),变量shift2被设为等于6并且变量shift3被设为等于Max(2,14-BitDepth_Y)。

–变量picW被设为等于pic_width_in_luma_samples并且变量picH被设为等于pic_height_in_luma_samples。

每个1/16分数样点位置p的亮度插值滤波器系数f_L[p]等于xFrac_L或yFrac_L推导如下：

–如果MotionModelIdc[xSb][ySb]大于0,并且sbWidth和sbHeight都等于4,则亮度插值滤波器系数f_L[p]被规定在表2。

–否则，亮度插值滤波器系数f_L[p]取决于hpelIfIdx被规定在表1。

全样点单位的亮度位置(xInt_i,yInt_i)推导如下，对于i＝0..7:

–如果subpic_treated_as_pic_flag[SubPicIdx]等于1，则以下适用：

xInt_i＝Clip3(SubPicLeftBoundaryPos,SubPicRightBoundaryPos,xInt_L+i-3)(8-771)

yInt_i＝Clip3(SubPicTopBoundaryPos,SubPicBotBoundaryPos,yInt_L+i-3) (8-772)

–否则(subpic_treated_as_pic_flag[SubPicIdx]等于0)，则以下适用：

xInt_i＝Clip3(0,picW-1,sps_ref_wraparound_enabled_flag？

ClipH((sps_ref_wraparound_offset_minus1+1)*MinCbSizeY,picW,xInt_L+i-3):xInt_L+i-3) (8-773)

yInt_i＝Clip3(0,picH-1,yInt_L+i-3) (8-774)

全样点单位的亮度位置进一步修改如下，对于i＝0..7:

xInt_i＝Clip3(xSbInt_L-3,xSbInt_L+sbWidth+4,xInt_i) (8-775)

yInt_i＝Clip3(ySbInt_L-3,ySbInt_L+sbHeight+4,yInt_i) (8-776)

预测的亮度样点值predSampleLX_L推导如下：

–如果xFrac_L和yFrac_L都等于0,则predSampleLX_L的值推导如下：

predSampleLX_L＝refPicLX_L[xInt₃][yInt₃]<<shift3 (8-777)

–否则，如果xFrac_L不等于0并且yFrac_L等于0,则predSampleLX_L的值推导如下：

–否则，如果xFrac_L等于0并且yFrac_L不等于0,则predSampleLX_L的值推导如下：

–否则，如果xFrac_L不等于0并且yFrac_L不等于0,则predSampleLX_L的值推导如下：

–样点阵列temp[n]其中n＝0..7,推导如下：

–预测的亮度样点值predSampleLX_L推导如下：

表8-11–每个1/16分数样点位置p的亮度插值滤波器系数f_L[p]的规范

表8-12仿射运动模式的每个1/16分数样点位置p的亮度插值滤波器系数f_L[p]的规范

8.5.6.3.3亮度整数样点获取处理

该处理的输入为：

–以全样点为单位的亮度位置(xInt_L,yInt_L),

–亮度参考样点阵列refPicLX_L,

该处理的输出为预测亮度样点值predSampleLX_L

变量shift被设为等于Max(2,14-BitDepth_Y)。

变量picW被设为等于pic_width_in_luma_samples并且变量picH被设为等于pic_height_in_luma_samples。

全样点单位的亮度位置(xInt,yInt)推导如下：

xInt＝Clip3(0,picW-1,sps_ref_wraparound_enabled_flag？ (8-782)

ClipH((sps_ref_wraparound_offset_minus1+1)*MinCbSizeY,picW,xInt_L):xInt_L)

yInt＝Clip3(0,picH-1,yInt_L) (8-783)

预测的亮度样点值predSampleLX_L推导如下：

predSampleLX_L＝refPicLX_L[xInt][yInt]<<shift3(8-784)

8.5.6.3.4色度样点插值处理

该处理的输入为：

–全样点单位的色度位置(xInt_C,yInt_C),

–1/32分数样点单位的色度位置(xFrac_C,yFrac_C),

–全样点单位的色度位置(xSbIntC,ySbIntC)，指定用于参考样点填充的边界块相对于参考图片的左上色度样点的左上样点,

–变量sbWidth，指定当前子块的宽度，

–变量sbHeight，指定当前子块的高度，

–色度参考样点阵列refPicLX_C。

该处理的输出是预测的色度样点值predSampleLX_C

变量shift1,shift2和shift3推导如下：

–变量shift1被设为等于Min(4,BitDepth_C-8),变量shift2被设为等于6并且变量shift3被设为等于Max(2,14-BitDepth_C)。

–变量picW_C被设为等于pic_width_in_luma_samples/SubWidthC并且变量picH_C

被设为等于pic_height_in_luma_samples/SubHeightC。

每个1/32分数样点位置p的色度插值滤波器系数f_C[p]等于xFrac_C或yFrac_C被规定在表3。

变量xOffset被设为等于(sps_ref_wraparound_offset_minus1+1)*MinCbSizeY)/SubWidthC。

全样点单位的色度位置(xInt_i,yInt_i)推导如下，对于i＝0..3:

–如果subpic_treated_as_pic_flag[SubPicIdx]等于1，则以下适用：

xInt_i＝Clip3(SubPicLeftBoundaryPos/SubWidthC,SubPicRightBoundaryPos/SubWidthC,xInt_L+i) (8-785)

yInt_i＝Clip3(SubPicTopBoundaryPos/SubHeightC,SubPicBotBoundaryPos/SubHeightC,yInt_L+i) (8-786)

–否则(subpic_treated_as_pic_flag[SubPicIdx]等于0)，则以下适用：

yInt_i＝Clip3(0,picH_C-1,yInt_C+i-1) (8-788)

全样点单位的色度位置(xInt_i,yInt_i)进一步修改如下，对于i＝0..3:

xInt_i＝Clip3(xSbIntC-1,xSbIntC+sbWidth+2,xInt_i) (8-789)

yInt_i＝Clip3(ySbIntC-1,ySbIntC+sbHeight+2,yInt_i) (8-790)

预测的色度样点值predSampleLX_C推导如下：

–如果xFrac_C和yFrac_C都等于0，则predSampleLX_C的值推导如下：

predSampleLX_C＝refPicLX_C[xInt₁][yInt₁]<<shift3 (8-791)

–否则，如果xFrac_C不等于0并且yFrac_C等于0,则predSampleLX_C的值推导如下：

–否则，如果xFrac_C等于0并且yFrac_C不等于0,则predSampleLX_C的值推导如下：

–否则，如果xFrac_C不等于0并且yFrac_C不等于0,则predSampleLX_C的值推导如下：

–样点阵列temp[n]其中n＝0..3,推导如下：

–预测的色度样点值predSampleLX_C推导如下：

表8-13–每个1/32分数样点位置p的色度插值滤波器系数f_C[p]的规范

2.5.基于细化的子块的仿射运动补偿预测

本文公开的技术包括利用光流细化基于子块的仿射运动补偿预测的方法。在进行基于子块的仿射运动补偿后，通过加入由光流方程导出的差来细化预测样点，称为光流预测细化(PROF)。该方法可以在不增加内存访问带宽的前提下实现像素级粒度的帧间预测。

为了实现更精细的运动补偿，本文提出了一种利用光流细化的基于子块的仿射运动补偿预测的方法。在进行基于子块的仿射运动补偿后，通过加入由光流方程导出的差来细化亮度预测样点。提出的PROF(利用光流的预测细化)描述如下四个步骤。

步骤1)执行基于子块的仿射运动补偿以生成子块预测I(i，j).

步骤2)在每个样点位置使用3抽头滤波器[-1，0，1]计算子块预测的空间梯度g_x(i，j)和g_y(i，j)。

g_x(i，j)＝I(i+1，j)-I(i-1，j)

g_y(i，j)＝I(i，j+1)-I(i，j-1)

子块预测在每侧扩展一个像素用于梯度计算。为了减少存储带宽和复杂度，扩展边界上的像素从参考图片中最近的整数像素位置复制。因此，避免了填充区域的附加插值。

步骤3)亮度预测精细化(表示为ΔI)，由光流方程计算。

ΔI(i，j)＝g_x(i，j)*Δv_x(i，j)+g_y(i，j)*Δv_y(i，j)

其中delta MV(表示为Δv(i，j)))是为样点位置(i，j)计算的像素MV(表示为v(i，j))与像素(i，j)所属的子块的子块MV之间的差，如图1所示。

由于仿射模型参数和像素相对于子块中心的位置在子块到子块之间没有改变，Δv(i，j)可针对第一个子块计算，并可重复用于同一CU中的其他子块。让x和y是从像素位置到子块中心的水平和垂直偏移，Δv(x，y)可由下式导出，

对于4参数仿射模型，

对于6参数仿射模型，

其中(v_0x，v_0y)，(v_1x，v_1y)，(v_2x，v_2y)是左上角、右上角和左下角的控制点运动矢量，w和h是CU的宽度和高度。

步骤4)最后，将亮度预测细化加到子块预测I(i,j).最终预测值I'如下等式生成。

I'(i，j)＝I(i，j)+ΔI(i，j)

一些细节如下：

a)如何为推导PROF的梯度

在一些实施例中，为每个参考列表计算每个子块(VTM-4.0中的4×4子块)的梯度。对于每个子块，取参考块的最接近的整数样点来填充样点的四条外侧线。

假设当前子块的MV为(MVx，MVy)。分数部分计算为(FracX，FracY)＝(MVx&15，MVy&15)。整数部分计算为(IntX，IntY)＝(MVx>>4，MVy>>4)。

偏移(OffsetX，OffsetY)推导为：

OffsetX＝FracX>7？1:0；

OffsetY＝FracY>7？1:0；

假设当前子块的左上角坐标为(xCur，yCur)，并且当前子块的维度为W×H，则(xCor0，yCor0)，(xCor1，yCor1)，(xCor2，yCor2)和(xCor3，yCor3)计算如下：

(xCor0,yCor0)＝(xCur+IntX+OffsetX-1,yCur+IntY+OffsetY-1)；

(xCor1,yCor1)＝(xCur+IntX+OffsetX-1,yCur+IntY+OffsetY+H)；

(xCor2,yCor2)＝(xCur+IntX+OffsetX-1,yCur+IntY+OffsetY)；

(xCor3,yCor3)＝(xCur+IntX+OffsetX+W,yCur+IntY+OffsetY)；

假设预样点[x][y]，x＝0..W-1，y＝0..H-1存储子块的预测样点。则将填充样点导出为：

PredSample[x][-1]＝(Ref(xCor0+x,yCor0)<<Shift0)-Rounding,for x＝-1..W；

PredSample[x][H]＝(Ref(xCor1+x,yCor1)<<Shift0)-Rounding,for x＝-1..W；

PredSample[-1][y]＝(Ref(xCor2,yCor2+y)<<Shift0)-Rounding,for y＝0..H-1；

PredSample[W][y]＝(Ref(xCor3,yCor3+y)<<Shift0)-Rounding,for y＝0..H-1；

其中Rec代表参考图片。Rounding是一个整数，在示例性PROF实现中等于2¹³。Shift0＝Max(2,(14-BitDepth))；PROF试图提高梯度的精度，而不像VTM-4.0中的BIO，后者以与输入亮度样点相同的精度输出梯度。

PROF中的梯度计算如下：

Shift1＝Shift0-4.

gradientH[x][y]＝(predSamples[x+1][y]-predSample[x-1][y])>>Shift1

gradientV[x][y]＝(predSample[x][y+1]-predSample[x][y-1])>>Shift1

需要注意的是，predSamples[x][y]保持了插值后的精度。

b)如何推导PROF的Δv

Δv(表示为dMvH[posX][posY]和dMvV[posX][posY]，posX＝0..W-1，posY＝0..H-1)的推导如下。

假设当前块的维度为cbWidth×cbHeight，控制点运动矢量的个数为numCpMv，控制点运动矢量为cpMvLX[cpIdx]，cpIdx＝0..numCpMv-1并且X为0或1代表两个参考列表。

变量log2CbW和log2CbH推导如下：

log2CbW＝Log2(cbWidth)

log2CbH＝Log2(cbHeight)

变量mvScaleHor，mvScaleVer，dHorX和dVerX的推导如下：

mvScaleHor＝cpMvLX[0][0]<<7

mvScaleVer＝cpMvLX[0][1]<<7

dHorX＝(cpMvLX[1][0]-cpMvLX[0][0])<<(7-log2CbW)

dVerX＝(cpMvLX[1][1]-cpMvLX[0][1])<<(7-log2CbW)

变量dHorY和dVerY推导如下：

-如果numCpMv等于3，则以下适用：

dHorY＝(cpMvLX[2][0]-cpMvLX[0][0])<<(7-log2CbH)

dVerY＝(cpMvLX[2][1]-cpMvLX[0][1])<<(7-log2CbH)

-否则(numCpMv等于2)，则以下适用：

dHorY＝-dVerX

dVerY＝dHorX

变量qHorX,qVerX,qHorY和qVerY计算如下：

qHorX＝dHorX<<2；

qVerX＝dVerX<<2；

qHorY＝dHorY<<2；

qVerY＝dVerY<<2；

dMvH[0][0]和dMvV[0][0]计算如下：

dMvH[0][0]＝((dHorX+dHorY)<<1)-((qHorX+qHorY)<<1)；

dMvV[0][0]＝((dVerX+dVerY)<<1)-((qVerX+qVerY)<<1)；

dMvH[xPos][0]和dMvV[xPos][0](xPos从1到W-1)推导如下：

dMvH[xPos][0]＝dMvH[xPos-1][0]+qHorX；

dMvV[xPos][0]＝dMvV[xPos-1][0]+qVerX；

对于yPos从1到H-1，以下适用：

dMvH[xPos][yPos]＝dMvH[xPos][yPos-1]+qHorY with xPos＝0..W-1

dMvV[xPos][yPos]＝dMvV[xPos][yPos-1]+qVerY with xPos＝0..W-1

最终,dMvH[xPos][yPos]和dMvV[xPos][yPos]其中posX＝0..W-1,posY＝0..H-1如下右移位：

dMvH[xPos][yPos]＝SatShift(dMvH[xPos][yPos],7+2-1)；

dMvV[xPos][yPos]＝SatShift(dMvV[xPos][yPos],7+2-1)；

其中SatShift(x,n)和Shift(x,n)定义如下：

Shift(x,n)＝(x+offset0)>>n

在一个示例中，offset0和/或offset1设置为(1<<n)>>1。

c)如何为PROF推导ΔI

对于子块内的位置(posX，posY)，其对应的Δv(i,j)表示为(dMvH[posX][posY],dMvV[posX][posY])。其对应的梯度表示为(gradientH[posX][posY]，gradientV[posX][posY])。

则ΔI(posX，posY)推导如下。

(dMvH[posX][posY]，dMvV[posX][posY])剪裁为：

dMvH[posX][posY]＝Clip3(-32768,32767,dMvH[posX][posY])；

dMvV[posX][posY]＝Clip3(-32768,32767,dMvV[posX][posY])；

ΔI(posX,posY)＝dMvH[posX][posY]×gradientH[posX][posY]+dMvV[posX][posY]×

gradientV[posX][posY]；

ΔI(posX,posY)＝Shift(ΔI(posX,posY),1+1+4)；

ΔI(posX,posY)＝Clip3(-(2¹³-1),2¹³-1,ΔI(posX,posY))；

d)如何为PROF推导I'

如果当前块未用双向预测或加权预测编解码，则

I’(posX,posY)＝Shift((I(posX,posY)+ΔI(posX,posY)),Shift0),

I’(posX,posY)＝ClipSample(I’(posX,posY)),

其中ClipSample将样点值剪裁为有效的输出样点值。然后I'(posX，posY)输出为帧间预测值。

否则(当前块用双向预测或加权预测编解码)。I'(posX，posY)将被存储并用于根据其他预测值和/或加权值生成帧间预测值。

2.6示例条带标头

2.7示例序列参数集

2.8示例图片参数集

2.9示例自适应参数集

2.10示例图片标头

在一些实施例中，图片标头被设计成具有以下特性：

1.图片标头NAL单元的时域Id和层Id与包含图片标头的层访问单元的时域Id和层Id相同。

2.图片标头NAL单元应位于包含其关联图片的第一个条带的NAL单元之前。这建立了图片标头和与图片标头相关联的图片条带之间的关联，而不需要在图片标头中信令通知图片标头Id并从片段标头参考。

3.图片标头NAL单元应遵循图片级参数集或更高级别，如DPS、VPS、SPS、PPS等。因此，要求这些参数集在图片或访问单元内不重复/出现。

4.图片标头包含有关其关联图片的图片类型的信息。图片类型可用于定义以下内容(并非详尽列表)

a、图片是IDR图片

b、图片是CRA图片

c、图片是GDR图片

d、图片是非IRAP、非GDR图片，并且仅包含I条带

e、图片是非IRAP、非GDR图片，并且可能只包含P条带和I条带

f、图片是非IRAP、非GDR图片，并且包含任何B、P和/或I条带

5.将条带标头中图片级语法元素的信令移动到图片标头。

6.在条带标头中标记非图片级语法元素，这些元素对于图片标头中同一图片的所有条带通常是相同的。当这些语法元素在图片标头中不存在时，它们可以在条带标头中信令通知。

在一些实现中，作为图片的第一VCL NAL单元，强制图片标头概念被用于每个图片被发送一次。还建议将当前在条带标头中的语法元素移动到该图片标头。对于给定的图片，功能上只需要针对每个图片发送一次的语法元素可以被移动到图片标头，而不是被多次发送，例如，条带标头中的语法元素针对每个条带中被发送一次。在图片中将移动条带标头语法元素约束为相同。

语法元素已经被约束为在图片的所有条带中都是相同的。可以断言，在不对这些语法元素的功能进行任何更改的情况下，将这些字段移动到图片标头以便它们在每个图片中只被信令通知一致而不是每个条带一次，避免了不必要的比特冗余传输。

1.在某些实现中，存在以下语义约束：

当存在时，在编解码图片的所有条带标头中，条带标头语法元素slice_pic_parameter_set_id,non_reference_picture_flag,colour_plane_id,slice_pic_order_cnt_lsb,recovery_poc_cnt,no_output_of_prior_pics_flag,pic_output_flag,和slice_temporal_mvp_enabled_flag的值应相同。因此，这些语法元素中的每一个都可以移动到图片标头，以避免不必要的冗余位。

在此贡献中，不将recovery_poc_cnt和no_output_of_prior_pics_flag移动到图片标头。它们在条带标头中的存在取决于对条带标头nal_unit_type的条件检查，因此如果希望将这些语法元素移动到图片标头，建议对它们进行研究。

2.在某些实现中，存在以下语义约束：

当存在时，对于图片的所有条带，slice_lmcs_aps_id的值应相同。

当存在时，对于图片的所有条带，slice_scaling_list_aps_id的值应相同。因此，这些语法元素中的每一个都可以移动到图片标头，以避免不必要的冗余位。

在一些实施例中，语法元素当前不被约束为在图片的所有条带中是相同的。建议评估这些语法元素的预期使用，以确定哪些可以移动到图片标头中，以简化整体VVC设计，因为据称在每个条带标头中处理大量语法元素会产生复杂性影响。

1.建议将以下语法元素移动到图片标头。目前对它们在不同的条带上具有不同的值没有限制，但据称在每个条带标头中传输它们没有/最小的好处并且有编解码损失，因为它们的预期使用将在图片级别发生变化：

a.six_minus_max_num_merge_cand

b.five_minus_max_num_subblock_merge_cand

c.slice_fpel_mmvd_enabled_flag

d.slice_disable_bdof_dmvr_flag

e.max_num_merge_c和_minus_max_num_triangle_cand

f.slice_six_minus_max_num_ibc_merge_cand

2.建议将以下语法元素移动到图片标头。目前对它们在不同的条带上具有不同的值没有限制，但据称在每个条带标头中传输它们没有/最小的好处并且有编解码损失，因为它们的预期使用将在图片级别发生变化：

a.partition_constraints_override_flag

b.slice_log2_diff_min_qt_min_cb_luma

c.slice_max_mtt_hierarchy_depth_luma

d.slice_log2_diff_max_bt_min_qt_luma

e.slice_log2_diff_max_tt_min_qt_luma

f.slice_log2_diff_min_qt_min_cb_chroma

g.slice_max_mtt_hierarchy_depth_chroma

h.slice_log2_diff_max_bt_min_qt_chroma

i.slice_log2_diff_max_tt_min_qt_chroma

与这些语法元素中的一些相关联的条件检查“slice_type＝＝I”在移到图片标头时已被删除。

3.建议将以下语法元素移动到图片标头。目前对它们在不同的条带上具有不同的值没有限制，但据称在每个条带标头中传输它们没有/最小的好处并且有编解码损失，因为它们的预期使用将在图片级别发生变化：

a.mvd_l1_zero_flag

与这些语法元素中的一些相关联的条件检查“slice_type＝＝B”在移到图片标头时已被删除。

4.建议将以下语法元素移动到图片标头。目前对它们在不同的条带上具有不同的值没有限制，但据称在每个条带标头中传输它们没有/最小的好处并且有编解码损失，因为它们的预期使用将在图片级别发生变化：

a.dep_quant_enabled_flag

b.sign_data_hiding_enabled_flag

2.10.1示例语法表

7.3.2.8图片标头RBSP语法

3.现有实现的缺点

DMVR和BIO在细化运动矢量的过程中不涉及原始信号，这可能导致编解码块的运动信息不准确。另外，DMVR和BIO有时在运动细化后使用分数运动矢量，而屏幕视频通常是整数运动矢量，这使得当前的运动信息更加不准确并且使编解码性能更差。

当RPR应用于VVC时，RPR(ARC)可能存在以下问题：

1.对于RPR，对于块中的相邻样点，插值滤波器可能不同，这在SIMD(单指令多数据)实现中是不可取的。

2.边界区域不考虑RPR。

3.值得注意的是，“一致性裁剪窗口偏移参数仅应用于输出。所有内部解码过程都应用于未裁剪的图片尺寸。”然而，当应用RPR时，这些参数可能在解码过程中使用。

4.在推导参考样点位置时，RPR只考虑两个一致性窗口之间的比率。但是，两个一致性窗口之间的左上偏移量差异也应该考虑在内。

5.在VVC中约束了参考图片的宽度/高度与当前图片的宽度/高度之比。然而，参考图片的一致性窗口的宽度/高度与当前图片的一致性窗口的宽度/高度之比未约束。

6.图片标头中并不是所有的语法元素都得到了正确的处理。

7.在当前的VVC中，对于TPM、GEO预测模式，无论视频序列的色度样点位置类型如何，都会导出色度混合权重。例如，在TPM/GEO中，如果色度权重自亮度权重导出，则可能需要对亮度权重进行下采样以匹配色度信号的样点。色度下采样通常假定色度样点位置类型为0而应用，这在ITU-RBT.601或ITU-RBT.709容器中被广泛使用。然而，如果使用不同的色度样点位置类型，则这可能导致色度样点与下采样亮度样点之间的不对准，这可能降低编解码性能。

4.示例技术和实施例

下面描述的详细实施例应被视为解释一般概念的示例。不应狭义地解释这些实施例。此外，这些实施例可以以任何方式组合。

下面描述的方法也可以适用于除下面提到的DMVR和BIO之外的其他解码器运动信息导出技术。

运动矢量用(mv_x，mv_y)表示，其中mv_x是水平分量，mv_y是垂直分量。

在本公开中，图片的分辨率(或维度、宽度/高度或尺寸)可以指编码/解码图片的分辨率(或维度、宽度/高度或尺寸)，或者可以指编码/解码图片中一致性窗口的分辨率(或维度、宽度/高度或尺寸)。

RPR中的运动补偿

1.当参考图片的分辨率不同于当前图片时，或者当参考图片的宽度和/或高度大于当前图片的宽度和/或高度时，可以使用相同的水平和/或垂直插值滤波器来生成当前块的一组样点(至少两个样点)的预测值。

a.在一个示例中，该组可以包括块的区域中的所有样点。

i.例如，可以将块划分为彼此不重叠的S个MxN的矩形。每个MxN矩形是一个组。在如图2所示的示例中，16x16的块可以被分成16个4x4的矩形，每个矩形都是一个组。

ii.例如，具有N个样点的行是一个组。N是不大于块宽度的整数。在一个示例中，N是4或8或块宽度。

iii.例如，有N个样点的列是一个组。N是不大于块高度的整数。在一个示例中，N是4或8或块的高度。

iv.M和/或N可以预先定义或动态导出，例如基于块维度/编解码信息或被信令通知。

b.在一个示例中，组中的样点可以具有相同的MV(表示为共享MV)。

c.在一个示例中，组中的样点可以具有水平分量相同的MV(表示为共享水平分量)。

d.在一个示例中，组中的样点可以具有垂直分量相同的MV(表示为共享垂直分量)。

e.在一个示例中，组中的样点可以具有水平分量的分数部分相同的MV(表示为共享的分数水平分量)。

i.例如，假设第一个样点的MV是(MV1x，MV1y)，第二个样点的MV是(MV2x，MV2y)，那么应该满足MV1x&(2^M-1)等于MV2x&(2^M-1)，其中M表示MV精度。例如，M＝4。

f.在一个示例中，组中的样点可以具有垂直分量的分数部分相同的MV(表示为共享的分数垂直分量)。

i.例如，假设第一个样点的MV是(MV1x，MV1y)，第二个样点的MV是(MV2x，MV2y)，那么应该满足MV1y&(2^M-1)等于MV2y&(2^M-1)，其中M表示MV精度。例如，M＝4。

g.在一个示例中，对于要被预测的组中的样点，可以首先根据当前图片和参考图片(例如在JVET-O2001-v14中的8.5.6.3.1中推导的(refx_L,refy_L))的分辨率来导出用MV_b表示的运动矢量。然后，MV_b可进一步被修改(例如，取整/截断/剪裁)为MV’，以满足诸如上述各项的要求，并且MV’将用于导出样点的预测样点。

i.在一个示例中，MV’具有与MV_b相同的整数部分，并且MV’的分数部分被设置为共享的水平和/或垂直分数部分。

ii.在一个示例中，MV’被设置为具有共享的分数水平和/或垂直分量，并且最接近MV_b。

h.共享运动矢量(和/或共享水平分量和/或共享垂直分量和/或共享分数垂直分量和/或共享分数垂直分量)可以被设置为组特定样点的运动矢量(和/或水平分量和/或垂直分量和/或分数垂直分量和/或分数垂直分量)。

i.例如，特定样点可以位于矩形组的一角，例如图3A所示的“A”、“B”、“C”和“D”。

ii.例如，特定样点可以位于矩形组的中心，例如图3A所示的“E”、“F”、“G”和“H”。

iii.例如，特定样点可位于行形或列形组的末端，例如图3B和3C中所示的“A”和“D”。

iv.例如，特定样点可位于行形或列形组的中间，例如图3B和3C中所示的“B”和“C”。

v.在一个示例中，特定样点的运动矢量可以是项目g中提到的MV_b。

i.共享运动矢量(和/或共享水平分量和/或共享垂直分量和/或共享分数垂直分量和/或共享分数垂直分量)可以设置为位于与此组中所有样点相比都不同位置处的虚拟样点的运动矢量(和/或水平分量和/或垂直分量和/或分数垂直分量和/或分数垂直分量)。

i.在一个示例中，虚拟样点不在该组中，但它位于覆盖该组中所有样点的区域中。

1)或者，虚拟样点位于覆盖该组中所有样点的区域之外，例如，靠近区域的右下角位置。

ii.在一个示例中，虚拟样点的MV是以与真实样点相同的方式但不同的位置导出的。

iii.图3A-3C中的“V”示出了三个虚拟样点的示例。

j.共享MV(和/或共享的水平分量和/或共享的垂直分量和/或共享的分数垂直分量和/或共享的分数垂直分量)可以设置为多个样点和/或虚拟样点的MV(和/或水平分量和/或垂直分量和/或分数垂直分量和/或分数垂直分量)的函数。

i.例如，共享MV(和/或共享水平分量和/或共享垂直分量和/或共享分数垂直分量和/或共享分数垂直分量)可以设置为组中全部或部分样点、或图3A中的样点“E”、“F”、“G”、“H”，或图3A中的样点“E”、“H”，或图3A中的样点“A”、“B”、“C”、“D”，或图3A中的样点“A”、“D”，或图3B中的样点“B”、“C”，或图3B中的样点“A”、“D”，或图3C中的样点

“B”、“C”，或图3C中的样点“A”、“D”的MV(和/或水平分量和/或垂直分量分量分量和/或垂直分量分量和/或垂直分量分量分量)的平均值。

2.提出当参考图片的分辨率与当前图片不同，或者当参考图片的宽度和/或高度大于当前图片的宽度和/或高度时，仅允许整数MV执行运动补偿处理以导出当前块的预测块。

a.在一个示例中，用于要预测的样点的解码运动矢量在被使用之前被取整为整数MV。

b.在一个示例中，用于要预测的样点的解码运动矢量被取整到最接近解码运动矢量的整数MV。

c.在一个示例中，用于要预测的样点的解码运动矢量被取整到在水平方向上最接近解码运动矢量的整数MV。

d.在一个示例中，用于要预测的样点的解码运动矢量被取整到在垂直方向上最接近解码运动矢量的整数MV。

3.在对当前块中的样点进行运动补偿处理中使用的运动矢量(例如，上述项目中提到的共享MV/共享水平或垂直或分数分量/MV′)可以存储在解码图片缓冲器中，并用于当前/不同图片中的后续块的运动矢量预测。

a.或者，在当前块中的样点的运动补偿处理中使用的运动矢量(例如，上述项目中提到的共享MV/共享水平或垂直或分数分量/MV′)可以不允许用于当前/不同图片中的后续块的运动矢量预测。

i.在一个示例中，解码的运动矢量(例如，上述项目符号中的MV_b)可用于当前/不同图片中的后续块的运动矢量预测。

b.在一个示例中，在针对当前块中的样点的运动补偿处理中使用的运动矢量可用于滤波处理(例如，去方块滤波器/SAO/ALF)。

i.或者，可以在滤波处理中使用解码的运动矢量(例如，上述项目中的MV_b)。

c.在一个示例中，这样的MV可以在子块级别导出，并且可以为每个子块存储。

4.提出根据参考图片的分辨率是否与当前图片不同，或者参考图片的宽度和/或高度是否大于当前图片的宽度和/或高度，可以选择在运动补偿处理中用于导出当前块的预测块的插值滤波器。

a.在一个示例中，当满足条件A时，可以应用具有较少抽头的插值滤波器，其中条件A取决于当前图片和/或参考图片的维度。

i.在一个示例中，条件A是参考图片的分辨率不同于当前图片。

ii.在一个示例中，条件A是参考图片的宽度和/或高度大于当前图片的宽度和/或高度。

iii.在一个示例中，条件A是W1>a*W2和/或H1>b*H2，其中(W1，H1)代表参考图片的宽度和高度，(W2，H2)代表当前图片的宽度和高度，a和b是两个因子，例如a＝b＝1.5。

iv.在一个示例中，条件A还可以取决于是否使用双向预测。

v.在一个示例中，应用单抽头滤波器。换言之，输出未经滤波的整数像素作为插值结果。

vi.在一个示例中，当参考图片的分辨率与当前图片不同时，应用双线性滤波器。

vii.在一个示例中，当参考图片的分辨率与当前图片不同，或者参考图片的宽度和/或高度大于当前图片的宽度和/或高度时，应用4抽头滤波器或6抽头滤波器。

1)6抽头滤波器也可用于仿射运动补偿。

2)4抽头滤波器也可用于色度样点的插值。

b.在一个示例中，当参考图片的分辨率与当前图片不同，或者参考图片的宽度和/或高度大于当前图片的宽度和/或高度时，使用填充样点来执行插值。

c.是否应用和/或如何应用第4项中公开的方法可能取决于颜色分量。

i.例如，这些方法只应用于亮度分量。

d.是否应用和/或如何应用在第4项中公开的方法可以取决于插值滤波方向。

i.例如，这些方法仅适用于水平滤波。

ii.例如，这些方法仅适用于垂直滤波。

5.提出当参考图片的分辨率与当前图片不同，或者当参考图片的宽度和/或高度大于当前图片的宽度和/或高度时，应用用于预测块生成的两阶段处理。

a.在第一阶段中，取决于当前图片和参考图片的宽度和/或高度，通过对参考图片中的区域进行上采样或下采样来生成虚拟参考块。

b.在第二阶段中，不取决于当前图片和参考图片的宽度和/或高度，通过应用插值滤波从虚拟参考块生成预测样点。

6.提出可以根据当前图片和参考图片的宽度和/或高度来导出在一些实施例中用于参考样点填充的边界块的左上角坐标(xSbInt_L,ySbInt_L)的计算。

a.在一个示例中，以全样点为单位的亮度位置被修改为：

xInt_i＝Clip3(xSbInt_L-Dx,xSbInt_L+sbWidth+Ux,xInt_i),

yInt_i＝Clip3(ySbInt_L-Dy,ySbInt_L+sbHeight+Uy,yInt_i),

其中Dx和/或Dy和/或Ux和/或Uy可取决于当前图片和参考图片的宽度和/或高度。

b.在一个示例中，以全样点为单位的色度位置被修改为：

xInti＝Clip3(xSbInt_C-Dx,xSbInt_C+sbWidth+Ux,xInti)

yInti＝Clip3(ySbInt_C-Dy,ySbInt_C+sbHeight+Uy,yInti)

7.代替基于与当前图片相同的参考图片分辨率存储/使用块的运动矢量，提出使用考虑分辨率差异的真实运动矢量。

a.或者，此外，当使用运动矢量来生成预测块时，不需要根据当前图片和参考图片(例如(refxL，refyL))的分辨率进一步修改运动矢量。

RPR与其它编解码工具之间的相互作用

8.是否/如何应用滤波处理(例如，去方块滤波器)可取决于参考图片的分辨率和/或当前图片的分辨率。

a.在一个示例中，除运动矢量差之外，去方块滤波器中的边界强度(BS)设置可以考虑分辨率差异。

i.在一个示例中，根据当前图片和参考图片的分辨率的缩放运动矢量差可用于确定边界强度。

b.在一个示例中，如果块A的至少一个参考图片的分辨率不同于(或小于或大于)块B的至少一个参考图片的分辨率，则与对两个块使用相同的分辨率的情况相比，可以不同地设置块A和块B之间的边界的去方块滤波器的强度(例如，增加或减少)。

c.在一个示例中，如果块A的至少一个参考图片的分辨率不同于(或小于或大于)块B的至少一个参考图片的分辨率，则块A和块B之间的边界被标记为要被滤波(例如，BS被设置为2)。

d.在一个示例中，如果块A和/或块B的至少一个参考图片的分辨率不同于(或小于或大于)当前图片的分辨率，则与参考图片和当前图片使用相同的分辨率相比，可以不同地设置块A和块B之间的边界的去块滤波器的强度(例如，增加/减小)。

e.在一个示例中，如果两个块中至少一个块的至少一个参考图片具有与当前图片的分辨率不同的分辨率，则将两个块之间的边界被标记为要被滤波(例如，BS被设置为2)。

9.当子图片存在时，一致性比特流可以满足参考图片必须具有与当前图片相同的分辨率。

a.或者，当参考图片具有与当前图片不同的分辨率时，当前图片中必须没有子图片。

b.或者，对于当前图片中的子图片，不允许使用与当前图片具有不同分辨率的参考图片。

i.或者，另外，还可以调用参考图片管理来排除那些具有不同分辨率的参考图片。

10.在一个示例中，可以为具有不同分辨率的图片分别定义子图片(例如，如何将一个图片划分成多个子图片)。

在一个示例中，如果参考图片具有与当前图片不同的分辨率，则可以通过缩放和/或偏移当前图片的子图片来导出参考图片中的相应子图片。

11.当参考图片的分辨率与当前图片的分辨率不同时，可以启用PROF(使用光流的预测细化)。

a.在一个示例中，可以为一组样点生成一组MV(表示为MV_g)，并且可以用于如第1项所述的运动补偿。另一方面，可以针对每个样点导出MV(表示为MV_p)，并且MV_p和MV_g之间的差(例如，对应于PROF中使用的Δv)以及梯度(例如，运动补偿块的空间梯度)可用于导出预测细化。

b.在一个示例中，MV_p可能与MV_g具有不同的精度。例如，MV_p可以是1/N像素(N>0)精度，N＝32、64等。

c.在一个示例中，MV_g可以具有与内部MV精度不同的精度(例如，1/16pel)。

d.在一个示例中，将预测细化加到预测块以生成精细化预测块。

e.在一个示例中，可以在每个预测方向上应用这种方法。

f.在一个示例中，这种方法可仅应用于单向预测情况。

g.在一个示例中，该方法可应用于单向预测或/和双向预测。

h.在一个示例中，仅当参考图片具有与当前图片不同的分辨率时，才可以应用这种方法。

12.提出当参考图片的分辨率与当前图片的分辨率不同时，块/子块只能使用一个MV来执行运动补偿处理以导出当前块的预测块。

a.在一个示例中，块/子块的唯一MV可定义为与块/子块内的每个样点相关联的所有MV的函数(例如，平均值)。

b.在一个示例中，块/子块的唯一MV可定义为与块/子块内的选定样点(例如，中心样点)相关联的选定MV。

c.在一个示例中，4x4块或子块(例如，4x1)可仅使用一个MV。

d.在一个示例中，BIO可进一步用于补偿由于基于块的运动矢量而造成的精度损失。

13.当参考图片的宽度和/或高度与当前图片的宽度和/或高度不同时，可以应用没有信令通知任何基于块的运动矢量的延迟(lazy)模式。

a.在一个示例中，可以不信令通知运动矢量，并且运动补偿处理是近似于静止图片的纯分辨率变化的情况。

b.在一个示例中，当分辨率改变时，只有图片/片/砖块/CTU级别的运动矢量可以被信令通知，并且关块可以使用该运动矢量。

14.对于用仿射预测模式和/或非仿射预测模式编解码的块，当参考图片的宽度和/或高度不同于当前图片的宽度和/或高度时，PROF可用于近似运动补偿。

a.在一个示例中，当参考图片的宽度和/或高度与当前图片的宽度和/或高度不同时，可以启用PROF。

b.在一个示例中，一组仿射运动可以通过组合指示的运动和分辨率缩放来生成，并由PROF使用。

15.当参考图片的宽度和/或高度与当前图片的宽度和/或高度不同时，交织预测(例如，如JVET-K0102中所提出的)可用于近似运动补偿。

a.在一个示例中，分辨率变化(缩放)被表示为仿射运动，并且可以应用交织运动预测。

16.当当前图片的宽度和/或高度与同一IRAP周期中的IRAP图片的宽度和/或高度不同时，LMCS和/或色度残差缩放可被禁用。

a.在一个示例中，当LMCS被禁用时，诸如slice_lmcs_enabled_flag,slice_lmcs_aps_id,和slice_chroma_residual_scale_flag的条带级别标志可不被信令通知并被推断为0。

b.在一个示例中，当禁用色度残差缩放时，诸如slice_chroma_residual_scale_flag的条带级别标志可以不被信令通知并且被推断为0。

关于RPR的约束

17.RPR可应用于具有块维度约束的编解码块。

a.在一个示例中，对于M×N编解码块，M为块宽度，N为块高度，当M×N<T或M×N<＝T(例如T＝256)时，可以不使用RPR。

b.在一个示例中，当M<K(或M<＝K)(例如K＝16)和/或N<L(或N<＝L)(例如L＝16)时，可以不使用RPR。

18.可以添加比特流一致性来限制活动参考图片(或其一致性窗口)的宽度和/或高度与当前图片(或其一致性窗口)的宽度和/或高度之间的比率。假设refPicW和refPicH表示参考图片的宽度和高度，curPicW和curPicH表示当前图片的宽度和高度，

a.在一个示例中，当(refPicW÷curPicW)等于整数时，可以将参考图片标记为活动参考图片。

i.或者，当(refPicW÷curPicW)等于分数时，参考图片可被标记为不可用。

b.在一个示例中，当(refPicW÷curPicW)等于(X*n)，其中X表示分数，例如X＝1/2，n表示整数，例如n＝1、2、3、4…，则可以将参考图片标记为活动参考图片。

i.在一个示例中，当(refPicW÷curPicW)不等于(X*n)时，参考图片可以被标记为不可用。

19.是否和/或如何为M×N块启用编解码工具(例如，双向预测/整个三角预测模式(TPM)/TPM中的混合处理)可取决于参考图片(或其一致性窗口)和/或当前图片(或其一致性窗口)的分辨率。

a.在一个示例中，M*N<T或M*N<＝T(例如T＝64)。

b.在一个示例中，M<K(或M<＝K)(例如K＝16)和/或N<L(或N<＝L)(例如L＝16)。

c.在一个示例中，当至少一个参考图片的宽度/高度与当前图片不同时，不允许使用编解码工具，

i.在一个示例中，当块的至少一个参考图片的宽度/高度大于当前图片的宽度/高度时，不允许使用编解码工具。

d.在一个示例中，当块的每个参考图片的宽度/高度与当前图片的宽度/高度不同时，不允许使用编解码工具，

i.在一个示例中，当每个参考图片的宽度/高度大于当前图片的宽度/

高度时，不允许使用编解码工具。

e.或者，此外，当不允许编解码工具时，可以使用一个MV进行单向预测来进行运动补偿。

一致性窗口相关

20.一致性裁剪窗口偏移参数(例如conf_win_left_offset)以N像素精度而不是1像素信令通知，其中N是大于1的正整数。

a.在一个示例中，实际偏移可导出为信令通知的偏移乘以N。

b.在一个示例中，N被设置为4或8。

21.提出一致性裁剪窗口偏移参数不仅应用于输出。特定的内部解码过程可能取决于裁剪的图片尺寸(即，图片中一致性窗口的分辨率)。

22.提出当第一视频单元和第二视频单元中表示为(pic_width_in_luma_samples,pic_height_in_luma_samples)的图片的宽度和/或高度相同时，第一视频单元(例如PPS)和第二视频单元中的一致性裁剪窗口偏移参数可能不同。

23.提出当第一视频单元和第二视频单元中表示为(pic_width_in_luma_samples,pic_height_in_luma_samples)的图片的宽度和/或高度不同时，第一视频单元(例如PPS)和第二视频单元中的一致性裁剪窗口偏移参数在一致性比特流中应该相同。

a.提出无论第一视频单元和第二视频单元中表示为(pic_width_in_luma_samples,pic_height_in_luma_samples)的图片的宽度和/或高度是否相同，第一视频单元(例如PPS)和第二视频单元中的一致性裁剪窗口偏移参数在一致性比特流中都应该相同。

24.假设在第一视频单元(例如PPS)中定义的一致性窗口的宽度和高度分别表示为W1和H1。在第二视频单元(例如PPS)中定义的一致性窗口的宽度和高度分别表示为W2和H2。在第一视频单元(例如PPS)中定义的一致性窗口的左上位置被表示为X1和Y1。在第二视频单元(例如PPS)中定义的一致性窗口的左上位置被表示为X2和Y2。在第一视频单元(例如PPS)中定义的编码/解码图片的宽度和高度(例如pic_width_in_luma_samples和pic_height_in_luma_samples)分别表示为PW1和PH1。在第二视频单元(例如PPS)中定义的编码/解码图片的宽度和高度表示为PW2和PH2。

a.在一个示例中，在一致性比特流中，W1/W2应等于X1/X2。

i.或者，在一致性比特流中，W1/X1应等于W2/X2。

ii.或者，在一致性比特流中，W1*X2应等于W2*X1。

b.在一个示例中，在一致性比特流中，H1/H2应该等于Y1/Y2。

i.或者，在一致性比特流中，H1/Y1应等于H2/Y2。

ii.或者，在一致性比特流中，H1×Y2应等于H2×Y1。

c.在一个示例中，在一致性比特流中，PW1/PW2应等于X1/X2。

i.或者，在一致性比特流中，PW1/X1应等于PW2/X2。

ii.或者，在一致性比特流中，PW1×X2应等于PW2×X1。

d.在一个示例中，在一致性比特流中，PH1/PH2应等于Y1/Y2。

i.或者，在一致性比特流中，PH1/Y1应等于PH2/Y2。

ii.或者，在一致性比特流中，PH1*Y2应等于PH2*Y1。

e.在一个示例中，在一致性比特流中，PW1/PW2应等于W1/W2。

i.或者，在一致性比特流中，PW1/W1应等于PW2/W2。

ii.或者，在一致性比特流中，PW1*W2应等于PW2*W1。

f.在一个示例中，在一致性比特流中，PH1/PH2应等于H1/H2。

i.或者，在一致性比特流中，PH1/H1应等于PH2/H2。

ii.或者，在一致性比特流中，PH1*H2应等于PH2*H1。

g.在一致性比特流中，如果PW1大于PW2，则W1必须大于W2。

h.在一致性比特流中，如果PW1小于PW2，则W1必须小于W2。

i.在一致性比特流中，(PW1-PW2)*(W1-W2)不得小于0。

j.在一致性比特流中，如果PH1大于PH2，则H1必须大于H2。

k.在一致性比特流中，如果PH1小于PH2，则H1必须小于H2。

l.在一致性比特流中，(PH1-PH2)*(H1-H2)不得小于0。

m.在一致性比特流中，如果PW1>＝PW2，则W1/W2不得大于(或小于)PW1/PW2。

n.在一致性比特流中，如果PH1>＝PH2，H1/H2不得大于(或小于)PH1/PH2。

25.假设当前图片的一致性窗口的宽度和高度分别表示为W和H。参考图片的一致性窗口的宽度和高度分别表示为W'和H'。那么一致性比特流应当符合至少下面的一个约束。

a.W*pw>＝W'；pw是整数，例如2。

b.W*pw>W'；pw是整数，例如2。

c.W'*pw'>＝W；pw'是整数，例如8。

d.W'*pw'>W；pw'是整数，例如8。

e.H*ph>＝H'；ph是整数，例如2。

f.H*ph>H'；ph是整数，例如2。

g.H'*ph'>＝H；ph'是整数，例如8。

h.h'*ph'>h；ph'是整数，例如8。

i.在一个示例中，pw等于pw’。

j.在一个示例中，ph等于ph’。

k.在一个示例中，pw等于ph。

l.在一个示例中，pw'等于ph'。

m.在一个示例中，当W和H分别表示当前图片的宽度和高度时，可要求一致性比特流满足上述子项。W'和H'代表参考图片的宽度和高度。

26.提出了一致性窗口参数被部分信令通知。

a.在一个示例中，图片的一致性窗口中的左上样点与图片中的左上样点相同。

b.例如，VVC中定义的conf_win_left_offset不被信令通知并推断为零。

c.例如，VVC中定义的conf_win_top_offset不被信令通知并推断为零。

27.提出参考样点的位置(例如，VVC中定义的(refx_L,refyL))的推导可以取决于当前图片和/或参考图片的一致性窗口的左上位置(例如，VVC中定义的conf_win_left_offset，conf_win_top_offset)。图4示出了在VVC(a)和所提议的方法(b)中导出的样点位置的示例。虚线矩形表示一致性窗口。

a.在一个示例中，仅当当前图片的宽度和/或高度与参考图片的宽度和/或高度不同时，才存在相关性。

b.在一个示例中，参考样点的水平位置(例如，在VVC中定义的refx_L)的推导可以取决于当前图片和/或参考图片的一致性窗口的左侧位置(例如，VVC中定义的conf_win_left_offset)。

i.在一个示例中，计算当前样点相对于当前图片中一致性窗口左上位置的水平位置(表示为xSb')，并用于导出参考样点的位置。

1)例如，计算xSb'＝xSb–(conf_win_left_offset<<Prec)并用于导出参考样点的位置，其中xSb代表当前图片中当前样点的水平位置。conf_win_left_offset表示当前图片的一致性窗口中左上方样点的水平位置。Prec表示xSb和xSb'的精度，其中(xSb>>Prec)可以表示当前样点相对于当前图片的实际水平坐标。例如，Prec＝0或Prec＝4。

ii.在一个示例中，计算参考样点相对于参考图片中一致性窗口的左上位置的水平位置(表示为Rx’)。

1)Rx'的计算可取决于xSb'和/或运动矢量和/或重采样率。

iii.在一个示例中，根据Rx'计算参考样点相对于参考图片的水平位置(表示为Rx)。

1)例如，计算Rx＝Rx'+(conf_win_left_offset_ref<<Prec)，其中conf_win_left_offset_ref表示参考图片的一致性窗口中左上样点的水平位置。Prec表示Rx和Rx'的精度。例如，Prec＝0或Prec＝4。

iv.在一个示例中，Rx可直接根据xSb′和/或运动矢量和/或重采样率来计算。换句话说，Rx'和Rx的两个推导步骤合并为一步计算。

v.是否和/或如何使用当前图片和/或参考图片的一致性窗口的左侧位置(如VVC中定义的conf_win_left_offset)可能取决于颜色分量和/或颜色格式。

1)例如，conf_win_left_offset可以修改为conf_win_left_offset＝conf_win_left_offset*SubWidthC，其中SubWidthC定义颜色分量的水平采样步长。例如，对于亮度分量，SubWidthC等于1。当颜色格式为4:2:0或4:2:2时，色度分量的SubWidthC等于2。

2)例如，conf_win_left_offset可以修改为conf_win_left_offset＝conf_win_left_offset/SubWidthC，其中SubWidthC定义颜色分量的水平采样步长。例如.，对于亮度分量，SubWidthC等于1。当颜色格式为4:2:0或4:2:2时，色度分量的SubWidthC等于2。

c.在一个示例中，参考样点的垂直位置(例如，在VVC中定义的refy_L)的推导可以取决于当前图片和/或参考图片的一致性窗口的顶部位置(例如，VVC中定义的conf_win_top_offset)。

i.在一个示例中，计算当前样点相对于当前图片中一致性窗口左上位置的垂直位置(表示为ySb')，并用于导出参考样点的位置。

1)例如，计算ySb'＝ySb–(conf_win_top_offset<<Prec)并用于导出参考样点的位置，其中ySb表示当前样点在当前图片中的垂直位置。conf_win_top_offset表示当前图片的一致性窗口中左上角样点的垂直位置。Prec表示ySb和ySb'的精度。例如，Prec＝0或Prec＝4。

ii.在一个示例中，计算参考样点相对于参考图片中一致性窗口的左上位置的垂直位置(表示为Ry’)。

1)Ry'的计算可取决于ySb'和/或运动矢量和/或重采样率。

iii.在一个示例中，根据Ry'计算参考图片中参考样点相对的垂直位置(表示为Ry)。

1)例如，计算Ry＝Ry'+(conf_win_top_offset_ref<<Prec)，其中conf_win_top_offset_ref表示参考图片的一致性窗口中左上样点的垂直位置。Prec表示Ry和Ry'的精度。例如，Prec＝0或Prec＝4。

iv.在一个示例中，可以直接根据ySb′和/或运动矢量和/或重采样率来计算Ry。换言之，Ry'和Ry的两个推导步骤合并为一步计算。

v.是否和/或如何使用当前图片和/或参考图片的一致性窗口的顶部位置(如VVC中定义的conf_win_top_offset)可取决于颜色分量和/或颜色格式。

1)例如，conf_win_top_offset可以修改为conf_win_top_offset＝conf_win_top_offset*SubHeightC，其中SubHeightC定义颜色分量的垂直采样步长。例如，对于亮度分量，SubHeightC等于1。当颜色格式为4:2:0时，色度分量的SubHeightC等于2。

2)例如，conf_win_top_offset可以修改为conf_win_top_offset＝conf_win_top_offset/SubHeightC，其中SubHeightC定义颜色分量的垂直样点步长。例如，对于亮度分量，SubHeightC等于1。当颜色格式为4:2:0时，色度分量的SubHeightC等于2。

28.提出将参考样点水平坐标的整数部分裁剪为[minW，maxW]。假设参考图片的一致性窗口的宽度和高度分别表示为W和H。参考图片的一致性窗口的宽度和高度用W'和H'表示。参考图片中一致性窗口的左上角位置表示为(X0，Y0)。

a.在一个示例中，minW等于0。

b.在一个示例中，minW等于X0。

c.在一个示例中，maxW等于W-1。

d.在一个示例中，maxW等于W'-1。

e.在一个示例中，maxW等于X0+W'-1。

f.在一个示例中，可以基于颜色格式和/或颜色分量修改minW和/或maxW。

i.例如，minW被修改为minW*SubC。

ii.例如，将minW修改为minW/SubC。

iii.例如，maxW修改为maxW*SubC。

iv.例如，maxW修改为maxW/SubC。

v.在一个示例中，对于亮度分量，SubC等于1。

vi.在一个示例中，当颜色格式为4:2:0时，对于色度分量，SubC等于2。

vii.在一个示例中，当颜色格式为4:2:2时，对于色度分量，SubC等于2。

viii.在一个示例中，当颜色格式为4:4:4时，对于色度分量，SubC等于1。

g.在一个示例中，是否和/或如何进行裁剪可以取决于当前图片(或其中的一致性窗口)的维度和参考图片(或其中的一致性窗口)的维度。

i.在一个示例中，只有当当前图片(或其中的一致性窗口)的维度与参考图片(或其中的一致性窗口)的维度不同时，才进行剪裁。

29.提出将参考样点垂直坐标的整数部分裁剪为[minH，maxH]。假设参考图片的一致性窗口的宽度和高度分别表示为W和H。参考图片的一致性窗口的宽度和高度用W'和H'表示。参考图片中一致性窗口的左上角位置表示为(X0，Y0)。

a.在一个示例中，minH等于0。

b.在一个示例中，minH等于Y0。

c.在一个示例中，maxH等于H-1。

d.在一个示例中，maxH等于H'-1。

e.在一个示例中，maxH等于Y0+H'-1。

f.在一个示例中，可以基于颜色格式和/或颜色分量来修改minH和/或maxH。

i.例如，minH被修改为minH*SubC。

ii.例如，minH被修改为minH/SubC。

iii.例如，maxH被修改为maxH*SubC。

iv.例如，maxH被修改为maxH/SubC。

v.在一个示例中，对于亮度分量，SubC等于1。

vii.在一个示例中，当颜色格式为4:2:2时，对于色度分量，SubC等于1。

viii.在一个示例中，当颜色格式为4:4:4时，对于色度分量，SubC

等于1。

g.在一个示例中，是否和/或如何进行剪裁可以取决于当前图片(或其中的一致性窗口)的维度和参考图片(或其中的一致性窗口)的维度。

在下面的讨论中，如果两个语法元素具有等效的功能，但是可以在不同的视频单元(例如VPS/SPS/PPS/条带标头/图片标头等)处信令通知，则第一语法元素被断言为与第二语法元素“对应”。

30.提出语法元素可以在第一视频单元(例如，图片标头或PPS)中信令通知，而在较高级别(例如SPS)或较低级别(例如条带标头)的第二视频单元中不信令通知对应的语法元素。

a.可选地，第一语法元素可以在第一视频单元(例如，图片标头或PPS)中信令通知，并且相应的第二语法元素可以在较低级别的第二视频单元(例如条带标头)中被信令通知。

i.可选地，可以在第二视频单元中信令通知指示符，以通知此后是否信令通知第二语法元素。

ii.在一个示例中，如果第二语法元素被信令通知，则与第二视频单元相关联的条带(例如条带标头)可以遵循第二语法元素的指示，而不是第一语法元素。

iii.与第一语法元素相关联的指示符可以在第一视频单元中信令通知，以通知第二语法元素是否在与第一视频单元相关联的任何条带(或其他视频单元)中被信令通知。

b.可选地，第一语法元素可以在更高级别的第一视频单元(例如VPS/SPS/PPS)中信令通知，并且相应的第二语法元素可以在第二视频单元(例如图片标头)中被信令通知。

i.替代地，可以信令通知指示符，以通知此后是否信令通知第二语法元素。

ii.在一个示例中，如果第二语法元素被信令通知，则与第二视频单元相关联的图片(可以被划分成条带)可以遵循第二语法元素的指示，而不是第一语法元素。

c.图片标头中的第一语法元素可能具有与条带标头中的第二语法元素等效的功能，如在第2.6节中所定义的(例如但不限于slice_temporal_mvp_enabled_flag,cabac_init_flag,six_minus_max_num_merge_cand,five_minus_max_num_subblock_merge_cand,slice_fpel_mmvd_enabled_flag,slice_disable_bdof_dmvr_flag,max_num_merge_cand_minus_max_num_triangle_cand,slice_fpel_mmvd_enabled_flag,slice_six_minus_max_num_ibc_merge_cand,slice_joint_cbcr_sign_flag,slice_qp_delta,…)但是控制图片的所有条带。

d.如在第2.6节中所定义的SPS中的第一语法元素可能具有与图片标头中的第二语法元素等效的功能(例如但不限于sps_bdof_dmvr_slice_present_flag,sps_mmvd_enabled_flag,sps_isp_enabled_flag,sps_mrl_enabled_flag,sps_mip_enabled_flag,sps_cclm_enabled_flag,sps_mts_enabled_flag…)但是仅控制相关联的图片(该图片可能被分割成条带)。

e.如在第2.7节中所定义的PPS中的第一语法元素可能具有与图片标头中的第二语法元素等效的功能(例如但不限于entropy_coding_sync_enabled_flag,entry_point_offsets_present_flag,cabac_init_present_flag,rpl1_idx_present_flag…)但是仅控制相关联的图片(该图片可能被分割成条带)。

31.图片标头中信令通知的语法元素与SPS/VPS/DPS中被信令通知或导出的其他语法元素分离。

32.DMVR和BDOF的启用/禁用的指示可以在图片标头中单独被信令通知，而不是由同一个标志(例如，pic_disable_bdof_dmvr_flag)控制。

33.在ALF中，可以在图片标头中信令通知PROF/跨分量ALF/使用几何分割(GEO)的帧间预测的启用/禁用。

a.或者，可根据SPS中的PROF启用标志有条件地在图片标头中信令通知启用/禁用PROF的指示。

b.或者，可以根据SPS中的CCALF启用标志有条件在图片标头中信令通知启用/禁用跨分量ALF(CCALF)的指示。

c.或者，可以根据SPS中的GEO启用标志有条件地在图片标头中信令通知启用/禁用GEO的指示。

d.或者，此外，可以根据在图片标头而不是SPS中信令通知的那些语法元素，有条件地在条带标头中信令通知启用/禁用PROF/跨分量ALF/使用几何分割(GEO)的帧间预测的指示。

34.同一图片中的条带/砖块/片(或比图片小的其它视频单元)的预测类型的指示可以在图片标头中信令通知。

a.在一个示例中，可以在图片标头中信令通知所有条带/砖块/片(或比图片小的其他视频单元)是否都是帧内编解码的(例如，所有I条带)指示。

i.或者，此外，如果指示告诉图片中的所有条带都是I条带，则在条带标头中可能不信令通知条带类型。

b.可选地，可以在图片标头中信令通知条带/砖块/片(或比图片小的其它视频单元)中的至少一个是否未经帧内编解码(例如，至少一个非I条带)的指示。

c.可选地，可以在图片标头中信令通知所有条带/砖块/片(或比图片小的其它视频单元)是否都具有相同的预测类型(例如，I/P/B条带)的指示。

i.或者，进一步地，条带类型可以不在条带标头中信令通知。

ii.或者，另外，还可以根据预测类型的指示，有条件地信令通知允许用于特定预测类型的工具(例如，DMVR/BDOF/TPM/GEO仅允许用于B条带；双树仅允许用于I条带)的指示。

d.或者，此外，启用/禁用工具的指示的信令可以取决于上述子项目中提到的预测类型的指示。

i.或者，此外，可以根据上述子项目中提到的预测类型的指示来导出启用/禁用工具的指示。

35.在本公开中(第1项至第29项)，术语“一致性窗口”可替换为其他术语，例如“缩放窗口”。缩放窗口可以不同于一致性窗口被信令通知，并用于导出用于导出RPR的参考样点位置的缩放比率和/或左上偏移。

a.在一个示例中，缩放窗口可以由一致性窗口约束。例如，在一致性比特流中，缩放窗口必须包含在一致性窗口中。

36.是否和/或如何信令通知变换跳过编解码块的允许的最大块尺寸可取决于变换编解码块的最大块尺寸。

a.或者，变换跳过编解码块的最大块尺寸不能大于一致性比特流中的变换编解码块的最大块尺寸。

37.是否以及如何信令通知启用联合Cb Cr残差(JCCR)编解码的指示(例如sps_joint_cbcr_enabled_flag)可取决于颜色格式(如4:0:0、4:2:0等)。

a.例如，如果颜色格式为4:0:0，则可不信令通知启用联合Cb Cr残差(JCCR)的指示。示例的语法设计如下：

<u>if(ChromaArrayType！＝0)</u>
		sps_joint_cbcr_enabled_flag	u(1)

TPM/GEO中用于色度混合遮罩生成的下采样滤波器类型

38.可在视频单元级(例如SPS/VPS/PPS/图片标头/子图片/条带/条带标头/片/砖块/CTU/VPDU级别)信令通知用于色度样点的混合权重推导的下采样滤波器类型。

a.在一个示例中，可以信令通知高级别标志以在内容的不同的色度格式类型之间进行切换。

i.在一个示例中，可以信令通知高级别标志以在色度格式类型0和色度格式类型2之间进行切换。

ii.在一个示例中，可以信令通知标志以指定TPM/GEO预测模式中的左上下采样亮度权重是否与左上亮度权重共位(即，色度样点位置类型0)。

iii.在一个示例中，可以信令通知标志，用于指定在TPM/GEO预测模式中的左上下采样的亮度样点是否水平地与左上亮度样点共位、但是相对于左上亮度样点垂直偏移了0.5个单位(即，色度样点位置类型2)。

b.在一个示例中，可以针对4:2:0色度格式和/或4:2:2色度格式来信令通知下采样滤波器的类型。

c.在一个示例中，可以信令通知标志，以指定用于TPM/GEO预测的色度下采样滤波器的类型。

i.在一个示例中，可以信令通知标志，以指示在TPM/GEO预测模式中是使用下采样滤波器A还是下采样滤波器B来导出色度权重。

39.可在视频单元级(例如SPS/VPS/PPS/图片标头/子图片/条带/条带标头/片/砖块/CTU/VPDU级别)导出用于色度样点的混合权重推导的下采样滤波器类型。

a.在一个示例中，可以定义查找表以指定色度二次采样滤波器类型和内容的色度格式类型之间的对应关系。

40.在不同色度样点位置类型的情况下，指定的下采样滤波器可用于TPM/GEO预测模式。

a.在一个示例中，在特定色度样点位置类型(例如，色度样点位置类型0)的情况下，TPM/GEO的色度权重可以从共位的左上亮度权重进行二次样点。

b.在一个示例中，在特定色度样点位置类型(例如，色度样点位置类型0或2)的情况下，指定的X抽头滤波器(X是常数，例如X＝6或5)可用于TPM/GEO预测模式中的色度权重二次采样。

41.在视频单元(例如SPS、PPS、图片标头、条带标头等)中，可以信令通知第一语法元素(例如标志)，以指示是否对所有块(条带/图片)禁用多重变换选择(MTS)。

a.指示如何对帧内编解码块(条带/图片)应用MTS(例如启用MTS/禁用MTS/隐式MTS/显式MTS)的第二语法元素在第一语法元素的基础上有条件地被信令通知。例如，仅当第一语法元素指示对所有块(条带/图片)不禁用MTS时，才信令通知第二语法元素。

b.指示如何对帧间编解码块(条带/图片)应用MTS(例如启用MTS/禁用MTS/隐式MTS/显式MTS)的第三语法元素在第一语法元素的基础上有条件地被信令通知。例如，仅当第一语法元素指示对所有块(条带/图片)不禁用MTS时，才信令通知第三语法元素。

c.示例的语法设计如下

d.可以基于是否应用子块变换(SBT)有条件地信令通知第三语法元素。示例语法设计如下

e.示例语法设计如下

5.附加实施例

在下面，文本更改以带下划线的粗体斜体字体显示。

5.1关于一致性窗口的约束的实施例

and

以用于输出的图片坐标中指定的矩形区域的方式指定了从解码过程中输出的CVS中的图片样点。当conformance_window_flag等于0时，conf_win_left_offset,conf_win_right_offset,conf_win_top_offset和conf_win_bottom_offset的值推断为0。

变量PicOutputWidthL和PicOutputHeightL推导如下：

PicOutputWidthL＝pic_width_in_luma_samples- (7-43)

SubWidthC*(conf_win_right_offset+conf_win_left_offset)PicOutputHeightL＝pic_height_in_pic_size_units

-SubHeightC*(conf_win_bottom_offset+conf_win_top_offset) (7-44)

5.2参考样点位置推导的实施例1

8.5.6.3.1概述

…

运动矢量mvLX被设为等于(refMvLX-mvOffset)。

–如果cIdx等于0，则以下适用：

–缩放因子及其固定点表示定义为

hori_scale_fp＝((fRefWidth<<14)+(PicOutputWidthL>>1))/PicOutputWidthL (8-753)

–针对预测亮度样点阵列predSamplesLX内的每个亮度样点位置(x_L＝0..sbWidth-1+brdExtSize,y_L＝0..sbHeight-1+brdExtSize)，对应的预测亮度样点值predSamplesLX[x_L][y_L]推导如下：

refx_L＝((Sign(refxSb)*((Abs(refxSb)+128)>>8)

+x_L*((hori_scale_fp+8)>>4))+32)>>6 (8-756)

refy_L＝((Sign(refySb)*((Abs(refySb)+128)>>8)+yL*((vert_scale_fp+8)>>4))+32)>>6 (8-758)

–变量xInt_L,yInt_L,xFrac_L和yFrac_L推导如下：

xInt_L＝refx_L>>4 (8-759)

yInt_L＝refy_L>>4 (8-760)

xFrac_L＝refx_L&15 (8-761)

yFrac_L＝refy_L&15 (8-762)

和refPicLX作为输入。

–x_L等于0。

–x_L等于sbWidth+1。

–y_L等于0。

–y_L等于sbHeight+1。

–否则，预测亮度样点值predSamplesLX[xL][yL]通过调用第8.5.6.3.2条中规定的亮度样点8抽头插值滤波过程导出，以(xIntL-(brdExtSize>0？1:0),yIntL-(brdExtSize>0？1:0)),(xFracL,yFracL),(xSbInt_L,ySbInt_L),refPicLX,hpelIfIdx,sbWidth,sbHeight和(xSb,ySb)作为输入。

–否则(cIdx不等于0)，则以下适用：

–变量xInt_C,yInt_C,xFrac_C和yFrac_C推导如下：

xInt_C＝refx_C>>5 (8-767)

yInt_C＝refy_C>>5 (8-768)

xFrac_C＝refy_C&31 (8-769)

yFrac_C＝refy_C&31 (8-770)

5.3参考样点位置推导的实施例2

8.5.6.3.1概述

…

运动矢量mvLX被设为等于(refMvLX-mvOffset)。

–如果cIdx等于0，则以下适用：

–缩放因子及其固定点表示定义为

hori_scale_fp＝((fRefWidth<<14)+(PicOutputWidthL>>1))/PicOutputWidthL (8-753)

–变量xInt_L,yInt_L,xFrac_L和yFrac_L推导如下：

xInt_L＝refx_L>>4 (8-759)

yInt_L＝refy_L>>4 (8-760)

xFrac_L＝refx_L&15 (8-761)

yFrac_L＝refy_L&15 (8-762)

–如果bdofFlag等于真或(sps_affine_prof_enabled_flag等于真且inter_affine_flag[xSb][ySb]等于真),并且一个或多个下列条件为真,则预测亮度样点值predSamplesLX[x_L][y_L]通过调用第8.5.6.3.3条中指定的亮度整数样点获取处理得出，以(xInt_L+(xFrac_L>>3)-1),yInt_L+(yFrac_L>>3)-1)和refPicLX作为输入。

–x_L等于0。

–x_L等于sbWidth+1。

–y_L等于0。

–y_L等于sbHeight+1。

–否则(cIdx不等于0)，则以下适用：

refy_C＝((Sign(refySb_C)*((Abs(refySb_C)+256)>>9)

+yC*((vert_scale_fp+8)>>4))+16)>>5 (8-766)

–变量xInt_C,yInt_C,xFrac_C和yFrac_C推导如下：

xInt_C＝refx_C>>5 (8-767)

yInt_C＝refy_C>>5 (8-768)

xFrac_C＝refy_C&31 (8-769)

yFrac_C＝refy_C&31 (8-770)

5.4参考样点位置推导的实施例3

8.5.6.3.1概述

…

运动矢量mvLX被设为等于(refMvLX-mvOffset)。

–如果cIdx等于0，则以下适用：

–缩放因子及其固定点表示定义为

hori_scale_fp＝((fRefWidth<<14)+(PicOutputWidthL>>1))/PicOutputWidthL (8-753)

–变量xInt_L,yInt_L,xFrac_L和yFrac_L推导如下：

xInt_L＝refx_L>>4 (8-759)

yInt_L＝refy_L>>4 (8-760)

xFrac_L＝refx_L&15 (8-761)

yFrac_L＝refy_L&15 (8-762)

和refPicLX作为输入。

–x_L等于0。

–x_L等于sbWidth+1。

–y_L等于0。

–y_L等于sbHeight+1。

–否则(cIdx不等于0)，则以下适用：

–设(xIntC,yIntC)是以全样点单位给出的色度位置并且(xFracC,yFracC)是以1/32样点单位给出的偏移。这些变量在本节中仅用于指定参考样点阵列refPicLX中的一般分数样点位置。

–变量xInt_C,yInt_C,xFrac_C和yFrac_C推导如下：

xInt_C＝refx_C>>5 (8-767)

yInt_C＝refy_C>>5 (8-768)

xFrac_C＝refy_C&31 (8-769)

yFrac_C＝refy_C&31 (8-770)

5.5参考样点位置裁剪的实施例1

8.5.6.3.1概述

该处理的输入包括：

–变量sbWidth，指定当前编解码子块的宽度，

–变量sbHeight，指定当前编解码子块的高度，

–运动矢量偏移mvOffset，

–细化的运动矢量refMvLX，

–所选参考图片样点阵列refPicLX，

–半样点插值滤波器索引hpelIfIdx，

–双向光流标志bdofFlag，

–变量cIdx，指定当前块的颜色分量索引。

该处理的输出包括：

预测块边界扩展尺寸brdExtSize推导如下：

运动矢量mvLX被设为等于(refMvLX-mvOffset)。

–如果cIdx等于0，则以下适用：

–缩放因子及其固定点表示定义为

hori_scale_fp＝((fRefWidth<<14)+(PicOutputWidthL>>1))/PicOutputWidthL (8-753)

refxSb_L＝((xSb<<4)+refMvLX[0])*hori_scale_fp (8-755)

refySb_L＝((ySb<<4)+refMvLX[1])*vert_scale_fp (8-757)

–变量xInt_L,yInt_L,xFrac_L和yFrac_L推导如下：

xFrac_L＝refx_L&15 (8-761)

yFrac_L＝refy_L&15 (8-762)

和refPicLX作为输入。

–x_L等于0。

–x_L等于sbWidth+1。

–y_L等于0。

–y_L等于sbHeight+1。

–否则(cIdx不等于0)，则以下适用：

–对于预测色度样点阵列predSamplesLX内的每个色度样点位置(xC＝0..sbWidth-1,yC＝0..sbHeight-1)，对应的预测色度样点值predSamplesLX[xC][yC]

推导如下：

refxSb_C＝((xSb/SubWidthC<<5)+mvLX[0])*hori_scale_fp (8-763)

refySb_C＝((ySb/SubHeightC<<5)+mvLX[1])*vert_scale_fp (8-765)

–变量xInt_C,yInt_C,xFrac_C和yFrac_C推导如下：

xFrac_C＝refy_C&31 (8-769)

yFrac_C＝refy_C&31 (8-770)

5.6参考样点位置裁剪的实施例2

8.5.6.3.1概述

该处理的输入包括：

–变量sbWidth，指定当前编解码子块的宽度，

–变量sbHeight，指定当前编解码子块的高度，

–运动矢量偏移mvOffset，

–细化的运动矢量refMvLX，

–所选参考图片样点阵列refPicLX，

–半样点插值滤波器索引hpelIfIdx，

–双向光流标志bdofFlag，

–变量cIdx，指定当前块的颜色分量索引。

该处理的输出包括：

预测块边界扩展尺寸brdExtSize推导如下：

变量fRefLeftOff被设为等于以亮度样点为单位的参考图片的conf_win_left_ offset。

变量fRefTopOff被设为等于以亮度样点为单位的参考图片的conf_win_top_ offset。

运动矢量mvLX被设为等于(refMvLX-mvOffset)。

–如果cIdx等于0，则以下适用：

–缩放因子及其固定点表示定义为

hori_scale_fp＝((fRefWidth<<14)+(PicOutputWidthL>>1))/PicOutputWidthL (8-753)

refxSb_L＝((xSb<<4)+refMvLX[0])*hori_scale_fp (8-755)

refySb_L＝((ySb<<4)+refMvLX[1])*vert_scale_fp (8-757)

–变量xInt_L,yInt_L,xFrac_L和yFrac_L推导如下：

xFrac_L＝refx_L&15 (8-761)

yFrac_L＝refy_L&15 (8-762)

–x_L等于0。

–x_L等于sbWidth+1。

–y_L等于0。

–y_L等于sbHeight+1。

–否则(cIdx不等于0)，则以下适用：

refxSb_C＝((xSb/SubWidthC<<5)+mvLX[0])*hori_scale_fp (8-763)

refySb_C＝((ySb/SubHeightC<<5)+mvLX[1])*vert_scale_fp (8-765)

–变量xInt_C,yInt_C,xFrac_C和yFrac_C推导如下：

xFrac_C＝refy_C&31 (8-769)

yFrac_C＝refy_C&31 (8-770)

6.公开技术的示例实现

图5是视频处理装置500的框图。装置500可用于实现本文所述的一种或多种方法。装置500可以实施在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置500可包括一个或多个处理器502、一个或多个存储器504和视频处理硬件506。处理器502可以被配置成实现本文档中描述的一个或多个方法。存储器(多个存储器)504可用于存储用于实现本文所述的方法和技术的数据和代码。视频处理硬件506可用于在硬件电路中实现本文档中描述的一些技术，并且可以部分或完全是处理器502(例如，图形处理器核心GPU或其他信号处理电路)的一部分。

在本文档中，术语“视频处理”或编解码可以指视频编码、视频解码、视频压缩或视频解压缩。例如，视频压缩算法可以在从视频的像素表示转换为相应的比特流表示或反之亦然期间应用。例如，当前视频块的比特流表示可以对应于在比特流内共位的或不同位置处传播的比特，如由语法定义的那样。例如，宏块可以根据经过变换和编解码的误差残值来编码，并且还可以使用比特流中的标头和其他字段中的比特。

应当理解，所公开的方法和技术通过允许使用在本文档中公开的技术，将有益于并入诸如智能手机、笔记本电脑、台式机和类似设备的视频处理设备中的视频编码器和/或解码器实施例。

图6是视频处理的示例方法600的流程图。方法600包括：在610处执行当前视频块和当前视频块的编解码表示之间的转换，其中，在转换期间，如果参考图片的分辨率和/或尺寸不同于当前视频块的分辨率和/或尺寸，则对使用当前视频块预测的一组相邻或非相邻样点应用相同的插值滤波器。

可以使用以下基于条款的格式来描述一些实施例。

1.一种视频处理方法，包括：

在当前视频块和当前视频块的编解码表示之间执行转换，其中，在转换期间，如果参考图片的分辨率和/或尺寸与当前视频块的分辨率和/或尺寸不同，则对使用当前视频块预测的一组相邻或非相邻样点应用相同的插值滤波器。

2.如第1条所述的方法，其中相同的插值滤波器是垂直插值滤波器。

3.如第1条所述的方法，其中相同的插值滤波器是水平插值滤波器。

4.如第1条所述的方法，其中一组相邻或非相邻样点包括位于当前视频块的区域中的所有样点。

5.如第4条所述的方法，其中将当前视频块分成多个矩形，每个矩形的尺寸为MxN。

6.如第5条所述的方法，其中M和/或N是预先确定的。

7.如第5条所述的方法，其中M和/或N推到自当前视频块的维度。

8.如第5条所述的方法，其中M和/或N在当前视频块的编解码表示中被信令通知。

9.如第1条所述的方法，其中一组样点共享相同的运动矢量。

10.如第9条所述的方法，其中一组样点共享相同水平分量和/或水平分量的相同分数部分。

11.如第9条所述的方法，其中一组样点共享相同的垂直分量和/或垂直分量的相同分数部分。

12.如第9-11条中一项或多项所述的方法，其中相同的运动矢量或其分量满足至少基于以下之一的一个或多个规则：参考图片的分辨率、参考图片的尺寸、当前视频块的分辨率、当前视频块的尺寸、或精度值。

13.如第9-11条中一项或多项所述的方法，其中相同的运动矢量或其分量对应于位于当前视频块中的样点的运动信息。

14.如第9-11条中一项或多项所述的方法，其中将相同的运动矢量或其分量设置为位于所述组内部或外部的虚拟样点的运动信息。

15.一种视频处理方法，包括：

在当前视频块和当前视频块的编解码表示之间执行转换，其中，在转换期间，如果参考图片的分辨率和/或尺寸与当前视频块的分辨率和/或尺寸不同，则其中使用当前视频块预测的块仅允许使用与当前块相关的整数值的运动信息。

16.如第15条所述的方法，其中整数值的运动信息是通过取整当前视频块的原始运动信息来导出的。

17.如第15条所述的方法，其中当前视频块的原始运动信息在水平方向和/或垂直方向上。

18.一种视频处理方法，包括：

在当前视频块和当前视频块的编解码表示之间执行转换，其中，在转换期间，如果参考图片的分辨率和/或尺寸与当前视频块的分辨率和/或尺寸不同，则应用插值滤波器导出使用当前视频块预测的块，并且其中基于规则选择插值滤波器。

19.如第18条所述的方法，并且该规则与相对于当前视频块的分辨率和/或尺寸的参考图片的分辨率和/或尺寸有关。

20.如第18条所述的方法，其中插值滤波器是垂直插值滤波器。

21.如第18条所述的方法，其中插值滤波器是水平插值滤波器。

22.如第18条所述的方法，其中插值滤波器是以下之一：1抽头滤波器、双线性滤波器、4抽头滤波器或6抽头滤波器。

23.如第22条所述的方法，其中插值滤波器用作转换的其他步骤的一部分。

24.如第18条所述的方法，其中插值滤波器包括填充样点的使用。

25.如第18条所述的方法，其中插值滤波器的使用取决于当前视频块的样点的颜色分量。

26.一种视频处理方法，包括：

在当前视频块和当前视频块的编解码表示之间执行转换，其中，在转换期间，如果参考图片的分辨率和/或尺寸不同于当前视频块的分辨率和/或尺寸，则选择性地应用去方块滤波器，其中，根据与参考图片的分辨率和/或尺寸相对于当前视频块的分辨率和/或尺寸相关的规则设置去方块滤波器的强度。

27.如第27条所述的方法，其中去方块滤波器的强度随视频块的不同而变化。

28.一种视频处理方法，包括：

在当前视频块和当前视频块的编解码表示之间执行转换，其中，在转换期间，如果存在当前视频块的子图片，则一致性比特流满足与参考图片的分辨率和/或尺寸相对于当前视频块的分辨率和/或尺寸相关的规则。

29.如第28条所述的方法，还包括：

将当前视频块划分成一个或多个子图片，其中所述划分至少取决于当前视频块的分辨率。

30.一种视频处理方法，包括：

在当前视频块和当前视频块的编解码表示之间执行转换，其中，在转换期间，根据基于当前视频块的维度的规则对当前视频块的参考图片进行重采样。

31.一种视频处理方法，包括：

在当前视频块和当前视频块的编解码表示之间执行转换，其中，在转换期间，取决于当前视频块的参考图片的分辨率和/或尺寸相对于当前视频块的分辨率和/或尺寸，选择性地启用或禁用对当前视频块的编解码工具的使用。

32.如上述一项或多项所述的方法，其中所述一组样点位于一致性窗口中。

33.如第32条所述的方法，其中一致性窗口为矩形。

34.如上述一项或多项所述的方法，其中所述分辨率与编码/解码视频块的分辨率或编码/解码视频块中一致性窗口的分辨率有关。

35.如上述一项或多项所述的方法，其中所述尺寸与编码/解码视频块的尺寸或编码/解码视频块中的一致性窗口的尺寸有关。

36.如上述一项或多项所述的方法，其中所述维度与编码/解码视频块的维度或编码/解码视频块中的一致性窗口的维度有关。

37.如第32条所述的方法，其中一致性窗口由一组一致性裁剪窗口参数定义。

38.如第37条所述的方法，其中至少一部分一致性裁剪窗口参数在编解码表示中被隐式或显式地信令通知。

39.如上述一项或多项所述的方法，其中不允许在编解码表示中信令通知所述一组一致性裁剪窗口参数。

40.如上述一项或多项所述的方法，其中参考样点的位置是相对于一致性窗口中当前视频块的左上样点导出的。

41.一种视频处理方法，包括：

在多个视频块和多个视频块的编解码表示之间执行转换，其中，在转换期间，为第一视频块定义第一一致性窗口，为第二视频块定义第二一致性窗口，其中，所述第一一致性窗口与所述第二一致性窗口的宽度和/或高度之比符合至少基于一致性比特流的规则。

42.一种视频解码装置，包括处理器，所述处理器被配置成实现第1至41条中的一项或多项所述的方法。

43.一种视频编码装置，包括处理器，所述处理器被配置成实现第1至41条中的一项或多项所述的方法。

44.一种存储有计算机代码的计算机程序产品，当由处理器执行时，该代码使处理器实现第1条至第41条中任一项所述的方法。

45.本文中描述的方法、装置或***。

图7是示出其中可以实现本文公开的各种技术的示例性视频处理***700的框图。各种实现可以包括***700的部分或全部组件。700可以包括用于接收视频内容的输入702。视频内容可以原始或未压缩格式(例如，8位或10位多分量像素值)接收，或者可以压缩或编码格式接收。输入702可以表示网络接口、***总线接口或存储接口。网络接口的示例包括有线接口(例如以太网、无源光网络(PON))和无线接口(例如Wi-Fi或蜂窝接口)。

***700可以包括编解码组件704，其可以实现在本文档中描述的各种编解码或编解码方法。编解码组件704可以将从输入702到编解码组件704的输出的视频的平均比特率降低以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件704的输出可以被存储，或者通过由组件706表示的连接的通信发送。组件708可以使用在输入702处接收到的视频的存储或通信比特流(或编解码)表示来生成发送到显示接口710的像素值或可显示视频。从比特流表示生成用户可见视频的过程有时称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应当理解的是，在编码器处使用编解码工具或操作，并且将由解码器执行与编码结果相反的相应解码工具或操作。

***总线接口或显示接口的示例可以包括通用串行总线(USB)或高清多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以实施在各种电子设备中，例如移动电话、笔记本电脑、智能手机或能够执行数字数据处理和/或视频显示的其他设备。

图8是示出可以利用本公开的技术的示例性视频编解码***100的框图。

如图8所示，视频编解码***100可以包括源设备110和目的地设备120。源设备110生成编码视频数据，源设备110可以被称为视频编码设备。目的地设备120可以对源设备110生成的编码视频数据进行解码，目的地设备120可以被称为视频解码设备。

源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。

视频源112可以包括诸如视频捕获设备的源、用于从视频内容提供商接收视频数据的接口和/或用于生成视频数据的计算机图形***，或这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关数据。编解码图片是图片的编解码表示。相关联的数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发送器。编码的视频数据可以通过网络130a经由I/O接口116直接发送到目的地设备120。编码视频数据还可以存储在存储介质/服务器130b上，以供目的地设备120访问。

目的地设备120可以包括I/O接口126、视频解码器124和显示设备122。

I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取编码视频数据。视频解码器124可解码编码的视频数据。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目的地设备120集成，或者可以在目的地设备120外部，该目的地设备120被配置为与外部显示设备接口。

视频编码器114和视频解码器124可以根据视频压缩标准操作，例如高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准和其他当前和/或进一步的标准。

图9是示出了可以是图8所示的***100中的视频编码器114的视频编码器200的示例的框图。

视频编码器200可被配置为执行本公开的任何或所有技术。在图9的示例中，视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各个组件之间共享。在一些示例中，处理器可被配置为执行本公开中描述的任何或所有技术。

视频编码器200的功能组件可以包括分割单元201、预测单元202，预测单元202可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206，残差生成单元207、变换单元208、量化单元209，逆量化单元210、逆变换单元211、重建单元212、缓冲器213和熵编码单元214。

在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在一个示例中，预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以在IBC模式下执行预测，其中至少一个参考图片是当前视频块所在的图片。

此外，一些组件，例如运动估计单元204和运动补偿单元205可以是高度集成的，但是为了解释的目的在图5的示例中分别表示。

分割单元201可以将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块大小。

模式选择单元203可以例如基于错误结果选择一种编解码模式(帧内或帧间)，并将得到的帧内或帧间编码块提供给残差生成单元207以生成残差块数据，并提供给重建单元212以重建编码块以用作参考图片。在一些示例中，模式选择单元203可以选择帧内和帧间预测的组合(CIIP)模式，其中预测基于帧间预测信号和帧内预测信号。模式选择单元203还可以在帧间预测的情况下为块选择运动矢量的分辨率(例如，子像素或整数像素精度)。

为了对当前视频块执行帧间预测，运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可以基于运动信息和来自缓冲器213的图片的解码样本(与当前视频块相关联的图片除外)来确定当前视频块的预测视频块。

例如，运动估计单元204和运动补偿单元205可以根据当前视频块是在I条带、P条带还是B条带中，对当前视频块执行不同的操作。

在一些示例中，运动估计单元204可以对当前视频块执行单向预测，并且运动估计单元204可以在列表0或列表1的参考图片中搜索当前视频块的参考视频块。然后，运动估计单元204可以生成参考索引，该参考索引指示包含参考视频块的列表0或列表1中的参考图片以及指示当前视频块和参考视频块之间的空间位移的运动矢量。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块生成当前块的预测视频块。

在其他示例中，运动估计单元204可以对当前视频块执行双向预测，运动估计单元204可以在列表0中的参考图片中搜索当前视频块的参考视频块，并且还可以在列表1中的参考图片中搜索当前视频块的另一参考视频块。然后，运动估计单元204可以生成指示包含参考视频块的列表0和列表1中的参考图片的参考索引和指示参考视频块和当前视频块之间的空间位移的运动矢量。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块生成当前视频块的预测视频块。

在一些示例中，运动估计单元204可以输出用于解码器的解码处理的运动信息的完整集合。

在一些示例中，运动估计单元204可以不输出当前视频的运动信息的完整集合。相反，运动估计单元204可以参考另一视频块的运动信息来信令通知当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与相邻视频块的运动信息足够相似。

在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中指示向视频解码器300指示当前视频块与另一视频块具有相同的运动信息的值。

在另一示例中，运动估计单元204可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量与所指示视频块的运动矢量之间的差。视频解码器300可以使用所指示视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。

如上所述，视频编码器200可以预测地信令通知运动矢量。可由视频编码器200实施的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和合并模式信令。

帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可以基于同一图片中其他视频块的解码样本生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。

残差生成单元207可以通过从当前视频块减去(例如，由减号指示)当前视频块的预测视频块(多个)来生成当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中的样本的不同样本分量的残差视频块。

在其他示例中，例如在跳过模式下，对于当前视频块，可以没有当前视频块的残差数据，并且残差生成单元207可以不执行减法操作。

变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块来为当前视频块生成一个或多个变换系数视频块。

在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值对与当前视频块相关联的变换系数视频块进行量化。

逆量化单元210和逆变换单元211可分别对变换系数视频块应用逆量化和逆变换，以从变换系数视频块重建残差视频块。重建单元212可以将重建的残差视频块添加到来自预测单元202生成的一个或多个预测视频块的对应样本中，以产生与当前块相关联的重建视频块，以存储在缓冲器213中。

在重建单元212重建视频块之后，可以执行环路滤波操作以减少视频块中的视频块伪影。

熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收到数据时，熵编码单元214可以执行一个或多个熵编码操作以生成熵编码数据并输出包括熵编码数据的比特流。

图10是示出了可以是图8所示的***100中的视频解码器114的视频解码器300的示例的框图。

视频解码器300可被配置为执行本公开的任何或所有技术。在图10的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各个组件之间共享。在一些示例中，处理器可被配置为执行本公开中描述的任何或所有技术。

在图10的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、重建单元306和缓冲器307。在一些示例中，视频解码器300可以执行与关于视频编码器200(例如，图9)描述的编码过程大体相反的解码过程。

熵解码单元301可以检索编码比特流。编码比特流可包括熵编解码视频数据(例如，视频数据的编码块)。熵解码单元301可以解码熵编解码视频数据，并且运动补偿单元302可以从熵解码视频数据确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。例如，运动补偿单元302可以通过执行AMVP和合并模式来确定这样的信息。

运动补偿单元302可以产生运动补偿块，可能基于插值滤波器执行插值。可以在语法元素中包括以子像素精度使用的插值滤波器的标识符。

运动补偿单元302可以使用视频编码器20在视频块编码期间使用的插值滤波器来计算参考块的子整数像素的内插值。运动补偿单元302可以根据接收到的语法信息确定视频编码器200使用的插值滤波器，并使用插值滤波器来产生预测块。

运动补偿单元302可以使用一些语法信息来确定用于编码编码视频序列的帧(多个)和/或条带(多个)的块的大小、描述如何对编码视频序列的图片的每个宏块进行分割的分区信息、指示如何对每个分区进行编码的模式、用于每个帧间编码块的一个或多个参考帧(和参考帧列表)，以及用于解码编码视频序列的其他信息。

帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空域相邻块形成预测块。逆量化单元303对在比特流中提供并由熵解码单元301解码的量化视频块系数进行逆量化(即，去量化)。逆变换单元303应用逆变换。

重建单元306可以将残差块与由运动补偿单元202或帧内预测单元303生成的相应预测块相加，以形成解码块。如果需要，还可以应用去块滤波器对解码块进行滤波，以去除块性伪影。解码视频块随后存储在缓冲器307中，缓冲器307为后续运动补偿/帧内预测提供参考块，并且还产生解码视频以在显示设备上呈现。

图11是根据本技术的视频处理方法的流程图表示。方法1100包括：在操作1110处，执行视频和视频的比特流表示之间的转换。比特流表示符合格式规则，该格式规则规定在比特流表示中分别指示解码器侧运动矢量细化编解码工具和双向光流编解码工具针对视频图片的的适用性。

在一些实施例中，所述解码器侧运动矢量细化工具包括在不传输额外的运动数据的情况下执行运动矢量的自动细化，以在解码器侧执行运动补偿。在一些实施例中，所述双向光流编解码工具包括通过从两个参考块导出的更高精度的运动矢量来增强块的双向预测预测样点。在一些实施例中，所述适用性在所述比特流表示的图片标头字段中指示。

图12是根据本技术的视频处理方法的流程图表示。方法1200包括：在操作1210，执行视频的视频图片和所述视频的比特流表示之间的转换。所述比特流表示符合格式规则，所述格式规则规定在对应于所述视频图片的图片标头中指示编解码工具的使用。

在一些实施例中，所述格式规则规定所述图片标头中的所述编解码工具的指示基于所述比特流表示的序列参数集、视频参数集或解码器参数集中的与编解码工具相关联的语法元素。在一些实施例中，所述编解码工具包括以下至少一个：使用光流的预测细化(PROF)编解码工具、跨分量自适应环路滤波(CCALF)编解码工具、或使用几何分割(GEO)的帧间预测编解码工具。在一些实施例中，所述编解码工具的使用由一个或多个语法元素指示。

在一些实施例中，所述格式规则规定所述编解码工具的使用是基于语法元素有条件地指示的，所述语法元素在所述序列参数集中指示所述编解码工具的启用或禁用。在一些实施例中，所述编解码工具包括使用光流的预测细化(PROF)编解码工具。在一些实施例中，所述编解码工具包括跨分量自适应环路滤波(CCALF)编解码工具。在一些实施例中，所述编解码工具包括使用几何分割(GEO)的帧间预测编解码工具。在一些实施例中，还基于图片标头在条带标头中有条件地指示所述使用。

图13是根据本技术的视频处理方法的流程图。方法1300包括，在操作1310，在包括一个或多个视频单元的视频图片的视频和所述视频的比特流表示之间执行转换。上述比特流表示符合格式规则，所述格式规则规定在图片标头中包括第一语法元素，以指示所述视频图片中的上述一个或多个视频单元中的至少一些的允许预测类型。

在一些实施例中，所述一个或多个视频单元的视频单元包括条带、砖块或片。在一些实施例中，所述图片标头包括第一语法元素，以指示所述一个或多个视频单元中的所有视频单元是否具有相同的预测类型。在一些实施例中，所述相同的预测类型是帧内编解码类型。在一些实施例中，在第一语法元素指示对应视频图片的所有条带具有相同的预测类型的情况下，在与条带相对应的条带标头中省略指示条带类型的第二语法元素。在一些实施例中，图片标头包括指示所述多个视频单元中的至少一个是否未进行帧内编解码的第三语法元素。

在一些实施例中，基于所指示的相同的预测类型是否为特定的预测类型，在所述比特流表示中有条件地信令通知允许用于所述特定的预测类型的编解码工具的指示。在一些实施例中，在所述相同的预测类型是双向预测类型的情况下，允许用于所述特定的预测类型的编解码工具包括：解码器侧运动矢量细化编解码工具、双向光流编解码工具、三角分割模式编解码工具、或几何分割(GEO)编解码工具。在一些实施例中，在所述特定的预测类型是帧内编解码类型的情况下，允许用于所述相同的预测类型的编解码工具包括双树编解码工具。在一些实施例中，所述格式规则规定基于所述相同的预测类型的指示来指示所述编解码工具的使用。在一些实施例中，基于所述相同的预测类型的指示来确定所述编解码工具的使用。

在一些实施例中，所述转换包括将所述视频编解码为所述比特流表示。在一些实施例中，所述转换包括将比特流表示解码为视频。

所公开技术的一些实施例包括作出决定或确定以启用视频处理工具或模式。在一个示例中，当视频处理工具或模式被启用时，编码器将在视频块的处理中使用或实现该工具或模式，但不一定基于工具或模式的使用来修改所得比特流。也就是说，当基于该决定或确定被启用时，从视频块到视频的比特流表示的转换将使用视频处理工具或模式。在另一示例中，当视频处理工具或模式被启用时，解码器将在知道比特流已基于视频处理工具或模式被修改的情况下处理比特流。也就是说，将使用基于该决定或确定而启用的视频处理工具或模式来执行从视频的比特流表示到视频块的转换。

所公开技术的一些实施例包括作出禁用视频处理工具或模式的决定或确定。在示例中，当视频处理工具或模式被禁用时，编码器将不在将视频块转换为视频的比特流表示时使用该工具或模式。在另一示例中，当视频处理工具或模式被禁用时，解码器将在知道比特流没有使用基于该决定或确定而被启用的视频处理工具或模式修改的情况下处理比特流。

本文档中描述公开和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路、或计算机软件、固件或硬件中实现，包括本文档中所公开的结构及其结构等效体，或其中一个或多个的组合。所公开的和其它实施例可以实现为一个或多个计算机程序产品，即一个或多个编码在计算机可读介质上的计算机程序指令的模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或其中多个的组合。术语“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外，该装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理***、操作***或其中一个或多个的组合。传播的信号是人为生成的信号，例如，机器生成的电、光或电磁信号，其被生成以编码信息以传输到合适的接收器设备。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件***中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。

本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如，内部硬盘或可移动硬盘；磁光盘；以及CD ROM和DVD ROM盘。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。

虽然本专利文件包含许多细节，但不应将其解释为对任何主题或权利要求范围的限制，而应解释为对特定技术的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。

同样，尽管附图中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种***组件的分离不应理解为在所有实施例中都需要这样的分离。

仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims

1.一种用于视频处理的方法，包括：

执行视频的视频图片和所述视频的比特流表示之间的转换，

其中，所述比特流表示符合格式规则，

其中，所述格式规则规定在所述比特流表示中分别指示解码器侧运动矢量细化编解码工具和双向光流编解码工具针对所述视频图片的的适用性。

2.根据权利要求1所述的方法，其中所述解码器侧运动矢量细化工具包括在不传输额外的运动数据的情况下执行运动矢量的自动细化，以在解码器侧执行运动补偿。

3.根据权利要求1所述的方法，其中所述双向光流编解码工具包括通过从两个参考块导出的更高精度的运动矢量来增强块的双向预测预测样点。

4.根据上述任一权利要求所述的方法，其中所述适用性在所述比特流表示的图片标头字段中指示。

5.一种用于视频处理的方法，包括：

执行视频的视频图片和所述视频的比特流表示之间的转换，

其中，所述比特流表示符合格式规则，所述格式规则规定在对应于所述视频图片的图片标头中指示编解码工具的使用。

6.根据权利要求5所述的方法，其中，所述格式规则规定所述图片标头中的所述编解码工具的指示基于所述比特流表示的序列参数集、视频参数集或解码器参数集中的与编解码工具相关联的语法元素。

7.根据权利要求5或6所述的方法，其中所述编解码工具包括以下至少一个：使用光流的预测细化(PROF)编解码工具、跨分量自适应环路滤波(CCALF)编解码工具、或使用几何分割(GEO)的帧间预测编解码工具。

8.根据权利要求5至7中任一权利要求所述的方法，其中所述编解码工具的使用由一个或多个语法元素指示。

9.根据权利要求5或6所述的方法，其中所述格式规则规定所述编解码工具的使用是基于语法元素有条件地指示的，所述语法元素在所述序列参数集中指示所述编解码工具的启用或禁用。

10.根据权利要求9所述的方法，其中所述编解码工具包括使用光流的预测细化(PROF)编解码工具。

11.根据权利要求9所述的方法，其中所述编解码工具包括跨分量自适应环路滤波(CCALF)编解码工具。

12.根据权利要求9所述的方法，其中所述编解码工具包括使用几何分割(GEO)的帧间预测编解码工具。

13.根据权利要求9至12中任一权利要求所述的方法，其中还基于图片标头在条带标头中有条件地指示所述使用。

14.根据权利要求1至13中任一权利要求所述的方法，其中所述转换包括将所述视频编码成所述比特流表示。

15.根据权利要求1至13中任一权利要求所述的方法，其中所述转换包括将所述比特流表示解码为所述视频。

16.一种视频处理装置，包括配置成实现权利要求1至15中任一权利要求所述的方法的处理器。

17.一种计算机可读介质，其上存储有代码，所述代码在由处理器执行时使所述处理器实现权利要求1至15中任一权利要求所述的方法。

18.一种计算机可读介质，其存储根据权利要求1至15中任一权利要求生成的比特流表示。