CN113812152B - 帧内视频编解码的滤波器选择 - Google Patents
帧内视频编解码的滤波器选择 Download PDFInfo
- Publication number
- CN113812152B CN113812152B CN202080035214.6A CN202080035214A CN113812152B CN 113812152 B CN113812152 B CN 113812152B CN 202080035214 A CN202080035214 A CN 202080035214A CN 113812152 B CN113812152 B CN 113812152B
- Authority
- CN
- China
- Prior art keywords
- intra
- block
- current video
- equal
- interpolation filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
描述了视频编码和解码的装置和方法。一种示例方法包括为视频的当前视频块,使用根据规则选择的插值滤波器生成帧内预测块;以及使用预测块执行当前视频块和视频的编解码表示之间的转换,其中规则指定基于帧内角度预测模式、块大小或宽角度模式的使用中的至少一个来选择插值滤波器,而不使用当前视频块的帧内预测模式的类型。
Description
相关申请的交叉引用
根据巴黎公约适用的专利法和/或规则,本申请及时要求2019年5月14日提交的国际专利申请号PCT/CN2019/086810的优先权和利益。出于法律指定的所有目的,上述申请的全部公开作为本申请的公开的一部分通过引用并入。
技术领域
本专利文档涉及视频处理技术、设备和***。
背景技术
尽管视频压缩取得了进步,但是在互联网和其他数字通信网络中,数字视频仍占用的最大带宽。随着能够接收和显示视频的连接用户设备数量的增加,预计数字视频使用的带宽需求将继续增长。
发明内容
描述了与在帧内编解码期间使用插值滤波器的数字视频编码和解码相关的设备、***和方法。
在一个示例方面,公开了一种视频处理的方法。该方法包括为视频的当前视频块,使用根据规则选择的插值滤波器生成帧内预测块;以及使用预测块执行当前视频块和视频的编解码表示之间的转换,其中,规则指定基于帧内角度预测模式、块大小或宽角度模式的使用中的至少一个来选择插值滤波器,而不使用当前视频块的帧内预测模式的类型。
在另一个示例方面,公开了另一种视频处理的方法。该方法包括基于规则,确定在为视频的当前视频块和视频的编解码表示之间的转换推导预测样点期间,是否在移位过程中应用取整操作,其中当前视频块使用编解码表示中的帧内模式进行编解码;以及基于该确定,使用预测样点执行转换。
在又一个示例方面,公开了另一种视频处理的方法。该方法包括为视频的当前视频块和视频的编解码表示之间的转换,应用唯一定义的取整过程,以执行用于生成中间视频块的比特移位,其中当前视频块使用编解码表示中的帧内模式进行编解码;以及使用中间视频块执行转换。
在又一个示例方面,公开了另一种视频处理的方法。该方法包括基于规则,确定在为视频的当前视频块的帧内角度模式预测的亮度参考样点的推导中使用线性插值滤波器;以及基于该决定,执行当前视频块和当前视频块的编解码表示之间的转换。
在又一个示例方面,公开了另一种视频处理的方法。该方法包括基于规则,确定使用视频的当前视频块的最近邻居样点来为当前视频块推导帧内角度模式预测中的亮度参考样点;以及使用亮度参考样点执行当前视频块和视频的编解码表示之间的转换。
在又一个方面,公开了一种视频编码器装置,包括被配置为实施上述方法的处理器。
在又一个方面,公开了一种视频解码器装置,包括被配置为实施上述方法的处理器。
在又一个方面,公开了一种计算机可读介质。计算机可读介质上存储有用于执行上述方法之一的代码。
在附图、说明书和权利要求书中更详细地描述了所公开技术的上述以及其他方面和特征。
附图说明
图1示出了33个帧内预测方向的示例。
图2示出了新的和旧的帧内预测模式的示例。
图3示出了67种帧内预测模式的帧内模式索引的示例。
图4A示出了4x8和8x4 CU的子分割(partition)的示例。
图4B示出了除4x8、8x4和4x4之外的CU的子分割的示例。
图5示出了帧内模式的示例。
图6是视频处理装置的示例的框图。
图7是视频处理***的示例的框图。
图8A至图8E是基于所公开技术的一些实施方式的视频处理的示例方法的流程图。
具体实施方式
在本文档中使用章节标题是为了便于理解,并且不将章节中公开的实施例限制为仅该章节。此外,尽管参考多功能视频编解码或其他特定视频编解码器描述了特定实施例,但是所公开的技术也适用于其他视频编解码技术。此外,虽然一些实施例详细描述了视频编解码步骤,但是应当理解,撤销编码的相应解码步骤将由解码器实施。此外,术语视频处理包含视频编解码或压缩、视频解码或解压缩以及视频转码,其中视频像素从一种压缩格式表示为另一种压缩格式或以不同的压缩比特率表示。
1.概述
本文档与视频编解码技术相关。具体而言,它与视频编解码中的帧内编解码过程相关。它可以应用于现有的视频编解码标准(如HEVC),或待定的标准(多功能视频编解码)。它也可能适用于未来的视频编解码标准或视频编解码器。
2.初步讨论
视频编解码标准主要是通过熟知的ITU-T和ISO/IEC标准的发展演变而来的。ITU-T制作了H.261和H.263,ISO/IEC制作了MPEG-1和MPEG-4视觉,这两个组织联合制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262以来,视频编解码标准基于其中利用时间预测加变换编解码的混合视频编解码结构。为了探索超过HEVC的未来视频编解码技术,VCEG和MPEG于2015年联合成立了联合视频探索团队(JVET)。此后,JVET采用了许多新方法,并将其输入到名为联合探索模型(JEM)的参考软件中。JVET会议每季度同时举行一次,并且与HEVC相比,新的编解码标准的目标是比特率降低50%。新的视频编解码标准在2018年4月的JVET会议上被正式命名为多功能视频编解码(VVC),VVC测试模型(VTM)的第一个版本在那时发布。随着对VVC标准化的不断努力,新的编解码技术在每次JVET会议上都被采用到VVC标准中。VVC工作草案和测试模型VTM在每次会议后都会更新。VVC项目现在的目标是在2020年7月的会议上的技术完成(FDIS)。
2.1 HEVC/H.265中的帧内预测
帧内预测包括使用先前在所考虑的色彩通道中重构的样点为给定的TB(变换块)生成样点。亮度和色度通道的帧内预测模式是单独用信号通知的,经由“DM_CROMIC”模式,色度通道帧内预测模式可选地依赖于亮度通道帧内预测模式。尽管帧内预测模式是在PB(预测块)级别信令通知的,但是根据CU的残差四叉树层次结构,帧内预测过程是在TB级别应用的,从而允许在CU内一个TB的编解码对下一个TB的编解码有影响,并且因此减少了到用作参考值的样点的距离。
HEVC包括35种帧内预测模式——DC模式、平面(Planar)模式和33种方向或“角度”帧内预测模式。图1中示出了33种角度帧内预测模式。
图1示出了33个帧内预测方向的示例。
对于与色度色彩通道相关联的PB,帧内预测模式被指定为平面、DC、水平、垂直、“DM_CROMIC”模式或有时对角模式“34”。
注意:对于色度格式4:2:2和4:2:0,色度PB可能(分别)与两个或四个亮度PB重叠;在这种情况下,DM_CROMIC的亮度方向取自这些亮度PB的左上方。
DM_CROMIC模式指示亮度色彩通道PB的帧内预测模式应用于色度色彩通道PB。因为这是相对常见的,所以intra_chroma_pred_mode的最可能模式编解码方案偏向于选择该模式。
2.2 VCC中的67种帧内预测模式
为了捕获自然视频中呈现的任意边缘方向,VTM 4中的方向帧内模式的数量从在HEVC使用的33种扩展到65种。HEVC中没有的新方向模式在图2中用虚线箭头表示,平面和DC模式保持不变。
这些更密集的方向帧内预测模式适用于所有块尺寸以及应用于亮度和色度帧内预测两者。
帧内预测模式和相关联的帧内预测模式索引是:平面(0)或DC(1)、垂直(50)、HOR(18)、左上模式(34)、右上模式(66)。
图2示出了新的和旧的帧内预测模式的示例。
图3示出了67种帧内预测模式的帧内模式索引的示例。
2.3非正方形块的宽角度帧内预测(Wide-angle intra prediction for non-square blocks,WAIP)
传统的角度帧内预测方向被定义为以顺时针方向从45度到-135度。在VTM4中,对于非正方形块,几种传统的角度帧内预测模式被适应性地替换为宽角度帧内预测模式。被替换的模式使用原始模式索引来发信号,在解析之后,原始模式索引被重新映射到宽角度模式的索引。帧内预测模式的总数不变,即67,并且帧内模式编解码方法不变。
2.4帧内子分割(Intra sub-partitions,ISP)
帧内子分割工具根据块尺寸将亮度帧内预测块垂直或水平划分为2或4个子分割。例如,ISP的最小块尺寸是4x8(或8x4)。如果块尺寸大于4x8(或8x4),则相对应的块被划分为4个子分割。图4A-4B示出了两种可能性的示例。所有子分割都满足至少有16个样点的条件。
图4A示出了4x8和8x4 CU的子分割的示例。
图4B示出了除4x8、8x4和4x4 CU之外的CU的子分割的示例。
对于每个子分割,通过将残差信号添加到预测信号来获得重构样点。这里,通过诸如熵解码、逆量化和逆变换之类的过程来生成残差信号。因此,每个子分割的重构样点值可用于生成下一个子分割的预测,并且每个子分割被重复处理。此外,要处理的第一个子分割包含CU的左上角样点,然后继续向下(水平分割)或向右(垂直分割)。结果,用于生成子分割预测信号的参考样点仅位于线的左侧和上方。所有子分割共享相同的帧内模式。
2.5模式相关帧内平滑(Mode Dependent Intra Smoothing,MDIS)和4抽头参考样点插值滤波器
四抽头帧内插值值滤波器用于提高方向帧内预测准确度。在HEVC中,两抽头双线性插值滤波器已经被用于在方向预测模式中生成帧内预测块(即,排除平面和DC预测器)。在VTM4中,简化的6比特4抽头高斯插值滤波器和6比特4抽头DCT-IF色度滤波器仅用于方向帧内模式。非方向帧内预测过程未被修改。4抽头滤波器的选择是根据提供非分数位移的方向帧内预测模式的MDIS条件来执行的,即除了以下模式之外的所有方向模式:2、HOR_IDX、DIA_IDX、VER_IDX、66……
根据帧内预测模式,执行以下参考样点处理:
1.方向帧内预测模式被分类为以下组之一:
A.垂直或水平模式(HOR-IDX、VER-IDX),
B.表示45度倍数的角度的对角模式(2、DIA_IDX、VDIA_IDX…),
C.剩余的方向模式;
2.如果方向帧内预测模式被分类为属于组A,则不对参考样点应用滤波器以生成预测样点;
3.否则,如果模式落入组B,则可以对参考样点应用[1,2,1]参考样点滤波器(取决于MDIS条件),以根据选择的方向将这些滤波值进一步复制到帧内预测器中,但是不应用插值滤波器;
4.否则,如果模式被分类为属于组C,则仅将帧内参考样点插值滤波器应用于参考样点,以根据选择的方向生成落入参考样点之间的分数或整数位置的预测样点(不执行参考样点滤波)。
2.5.1 VVC规范/工作草案中的帧内参考样点插值滤波器
以下文本摘自VVC工作草案JVET-M1001-v7。
8.4.4.2.7 INTRA_ANGULAR2..INTRA_ANGULAR66帧内预测模式的规范.
该过程的输入是:
-帧内预测模式predModeIntra,
-指定帧内预测参考线索引的变量refIdx,
-指定变换块宽度的变量nTbW,
-指定变换块高度的变量nTbH,
-指定参考样点宽度的变量refW,
-指定参考样点高度的变量refH,
-指定编解码块宽度的变量nCbW,
-指定编解码块高度的变量nCbH,
-指定当前块的色彩分量的变量cIdx,
-邻近样点p[x][y],其中x=-1-refIdx,y=-1-refIdx..refH-1和x=-refIdx..refW-1,y=-1-refIdx。
该过程的输出是修改的帧内预测模式predModeIntra和预测样点predSamples[x][y],其中x=0..nTbW-1,y=0..nTbH-1。
变量nTbS设置为等于(Log2(nTbW)+Log2(nTbH))>>1。
变量nW和nH推导如下:
-如果IntraSubPartitionsSplitType等于ISP_NO_SPLIT或cIdx不等于0,则以下适用:
nW=nTbW (8-125)
nH=nTbH (8-126)
-否则(IntraSubPartitionsSplitType不等于ISP_NO_SPLIT,而cIdx等于0),则以下适用:
nW=nCbW (8-127)
nH=nCbH (8-128)
变量whRatio设置为等于Abs(Log2(nW/nH))。
变量wideAngle被设置为等于0。
对于非正方形块(nW不等于nH),帧内预测模式predModeIntra修改如下:
-如果以下所有条件均为真,则wideAngle设置为等于1,predModeIntra设置为等于(predModeIntra+65)。
-nW大于nH
-predModeIntra大于或等于2
-predModeIntra小于(whRatio>1)?(8+2*whRatio):8
-否则,如果以下所有条件均为真,则wideAngle设置为等于1,并且predModeIntra设置为等于(predModeIntra-67)。
-nH大于nW
-predModeIntra小于或等于66
-predModeIntra大于(whRatio>1)?(60-2*whRatio):60
变量filterFlag推导如下:
-如果以下一个或多个条件为真,则filterFlag设置为等于0。
-predModeIntra等于INTRA_ANGULAR2、INTRA_ANGULAR34或INTRA_ANGULAR66
-refIdx不等于0
-IntraSubPartitionsSplitType不等于ISP_NO_SPLIT,并且cIdx等于0,并且predModeIntra大于或等于INTRA_ANGULAR34,并且nW大于8
-IntraSubPartitionsSplitType不等于ISP_NO_SPLIT,并且cIdx等于0,并且predModeIntra小于INTRA_ANGULAR34,并且nH大于8。
-否则,则以下适用:
-变量minDistVerHor设置为等于Min(Abs(predModeIntra-50),Abs(predModeIntra-18))。
-变量intraHorVerDistThres[nTbS]在表8-4中指定。
-变量filterFlag推导如下:
-如果minDistVerHor大于intraHorVerDistThres[nTbS]或者wideAngle等于1,则filterFlag设置为等于1。
-否则,filterFlag设置为等于0。
表8-4-各种变换块尺寸nTbS的intraHorVerDistThres[nTbS]的规范
nTbS=2 | nTbS=3 | nTbS=4 | nTbS=5 | nTbS=6 | nTbS=7 | |
intraHorVerDistThres[nTbS] | 16 | 14 | 2 | 0 | 0 | 0 |
作为本申请的图5的(VVC的)图8-1——帧内预测方向(信息量大(informative))
作为本申请的图5的图8-1示出了93个预测方向,其中虚线方向与仅应用于非正方形块的宽角度模式相关联。
表8-5指定了predModeIntra和角度参数intraPredAngle之间的映射表。
表8-5-intraPredAngle的规范
predModeIntra | -14 | -13 | -12 | -11 | -10 | -9 | -8 | -7 | -6 | -5 | -4 | -3 | -2 | -1 | 2 | 3 | 4 |
intraPredAngle | 512 | 341 | 256 | 171 | 128 | 102 | 86 | 73 | 64 | 57 | 51 | 45 | 39 | 35 | 32 | 29 | 26 |
predModeIntra | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 |
intraPredAngle | 23 | 20 | 18 | 16 | 14 | 12 | 10 | 8 | 6 | 4 | 3 | 2 | 1 | 0 | -1 | -2 | -3 |
predModeIntra | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 |
intraPredAngle | -4 | -6 | -8 | -10 | -12 | -14 | -16 | -18 | -20 | -23 | -26 | -29 | -32 | -29 | -26 | -23 | -20 |
predModeIntra | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 |
intraPredAngle | -18 | -16 | -14 | -12 | -10 | -8 | -6 | -4 | -3 | -2 | -1 | 0 | 1 | 2 | 3 | 4 | 6 |
predModeIntra | 56 | 57 | 58 | 59 | 60 | 61 | 62 | 63 | 64 | 65 | 66 | 67 | 68 | 69 | 70 | 71 | 72 |
intraPredAngle | 8 | 10 | 12 | 14 | 16 | 18 | 20 | 23 | 26 | 29 | 32 | 35 | 39 | 45 | 51 | 57 | 64 |
predModeIntra | 73 | 74 | 75 | 76 | 77 | 78 | 79 | 80 | |||||||||
intraPredAngle | 73 | 86 | 102 | 128 | 171 | 256 | 341 | 512 |
反角参数invAngle基于intraPredAngle推导,如下所示:
其中phase=0.31并且j=0.3的插值滤波器系数fC[phase][j]和fG[phase][j]在表8-6中指定。
表8-6-插值滤波器系数fC和fG的规范
其中x=0..nTbW-1,y=0..nTbH-1的预测样点predSamples[x][y]的值推导如下:
-如果predModeIntra大于或等于34,则以下有序步骤适用:
1.参考样点阵列ref[x]被指定为如下:
-以下适用:
ref[x]=p[-1-refIdx+x][-1-refIdx],其中x=0..nTbW+refIdx (8-130)
-如果intraPredAngle小于0,则主参考样点阵列扩展如下:
-当(nTbH*intraPredAngle)>>5小于-1时,
ref[x]=p[-1-refIdx][-1-refIdx+((x*invAngle+128)>>8)],其中x=-1..(nTbH*intraPredAngle)>>5 (8-131)
ref[((nTbH*intraPredAngle)>>5)-1]=ref[(nTbH*intraPredAngle)>>5](8-132)
ref[nTbW+1+refIdx]=ref[nTbW+refIdx] (8-133)
-否则,
ref[x]=p[-1-refIdx+x][-1-refIdx],其中x=nTbW+1+refIdx..refW+refIdx(8-134)
ref[-1]=ref[0] (8-135)
-附加样点ref[refW+refIdx+x](其中x=1..(Max(1,nTbW/nTbH)*refIdx+1))推导如下:ref[refW+refIdx+x]=p[-1+refW][-1-refIdx] (8-136)
2.其中x=0..nTbW-1,y=0..nTbH-1的预测样点predSamples[x][y]的值推导如下:
-索引变量iIdx和乘法因子iFact推导如下:
iIdx=((y+1+refIdx)*intraPredAngle)>>5+refIdx (8-137)
iFact=((y+1+refIdx)*intraPredAngle)&31 (8-138)
-如果cIdx等于0,则以下适用:
-其中j=0..3的插值滤波器系数fT[j]推导如下:
fT[j]=filterFlag?fG[iFact][j]:fC[iFact][j] (8-139)
-预测样点predSamples[x][y]的值推导如下:
-否则(cIdx不等于0),根据iFact的值,以下适用:
-如果iFact不等于0,则预测样点predSamples[x][y]的值推导如下:
predSamples[x][y]=((32-iFact)*ref[x+iIdx+1]+iFact*ref[x+iIdx+2]+16)>>5 (8-141)
-否则,预测样点predSamples[x][y]的值推导如下:
predSamples[x][y]=ref[x+iIdx+1] (8-142)
-否则(predModeIntra小于34),则以下有序步骤适用:
1.参考样点阵列ref[x]被指定为如下:
-以下适用:
ref[x]=p[-1-refIdx][-1-refIdx+x],其中x=0..nTbH+refIdx(8-143)
-如果intraPredAngle小于0,则主参考样点阵列扩展如下:
-当(nTbW*intraPredAngle)>>5小于-1,
ref[x]=p[-1-refIdx+((x*invAngle+128)>>8)][-1-refIdx],其中x=-1..(nTbW*intraPredAngle)>>5 (8-144)
ref[((nTbW*intraPredAngle)>>5)-1]=ref[(nTbW*intraPredAngle)>>5](8-145)
ref[nTbG+1+refIdx]=ref[nTbH+refIdx] (8-146)
-否则,
ref[x]=p[-1-refIdx][-1-refIdx+x],其中x=nTbH+1+refIdx..refH+refIdx(8-147)
ref[-1]=ref[0] (8-148)
-附加样点ref[refH+refIdx+x](其中x=1..(Max(1,nTbW/nTbH)*refIdx+1))推导如下:
ref[refH+refIdx+x]=p[-1+refH][-1-refIdx] (8-149)
2.其中x=0..nTbW-1,y=0..nTbH-1的预测样点predSamples[x][y]的值推导如下:
-索引变量iIdx和乘法因子iFact推导如下:
iIdx=((x+1+refIdx)*intraPredAngle)>>5 (8-150)
iFact=((x+1+refIdx)*intraPredAngle)&31 (8-151)
-如果cIdx等于0,则以下适用:
-其中j=0..3的插值滤波器系数fT[j]推导如下:
fT[j]=filterFlag?fG[iFact][j]:fC[iFact][j] (8-152)
-预测样点predSamples[x][y]的值推导如下:
-否则(cIdx不等于0),根据iFact的值,以下适用:
-如果iFact不等于0,则预测样点predSamples[x][y]的值推导如下:
predSamples[x][y]=((32-iFact)*ref[y+iIdx+1]+iFact*ref[y+iIdx+2]+16)>>5 (8-154)
-否则,预测样点predSamples[x][y]的值推导如下:
predSamples[x][y]=ref[y+iIdx+1] (8-155)
2.5.2采用JVET-N0435
在过去的JVET-N会议上,JVET-N0435被用于使WAIP与MDIS和参考样点插值滤波器的使用相协调。如果宽角度模式表示非分数偏移。宽角度模式中有8种模式满足这个条件,它们是[-14,-12,-10,-6,72,76,78,80]。当通过这些模式预测块时。提出直接从参考缓冲区中的特定样点进行复制,而不应用任何插值。相反,参考滤波器有条件地应用于这些模式,以平滑预测器。通过这种修改,减少了需要平滑的样点数量。此外,它将传统预测模式和宽角度模式中的非分数模式的设计对齐。
2.5.3 JVET-N 0435中相对应的修改工作草案
以下文本摘自由JVET-N0435提供的修改后的VVC工作草案。修改用加粗斜体突出显示。
8.4.4.2.1.常规帧内样点预测
该过程的输入是:
-指定当前变换块的左上样点相对于当前图片的左上样点的样点位置(xTbCmp,yTbCmp),
-指定帧内预测模式的变量predModeIntra,
-指定变换块宽度的变量nTbW,
-指定变换块高度的变量nTbH,
-指定编解码块宽度的变量nCbW,
-指定编解码块高度的变量nCbH,
-指定当前块的色彩分量的变量cIdx。
该过程的输出是预测样点predSamples[x][y],其中x=0..nTbW-1,y=0..nTbH-1。
变量refW和refH推导如下:
-如果IntraSubPartitionsSplitType等于ISP_NO_SPLIT或者cIdx不等于0,则以下适用:
refW=nTbW*2 (8-103)
refH=nTbH*2 (8-104)
-否则(IntraSubPartitionsSplitType不等于ISP_NO_SPLIT并且cIdx等于0),则以下适用:
refW=nCbW*2 (8-105)
refH=nCbH*2 (8-106)指定帧内预测参考线索引的变量refIdx推导如下:
refIdx=(cIdx==0)?IntraLumaRefLineIdx[xTbCmp][yTbCmp]:0 (8-107)
变量nW和nH推导如下:
-如果IntraSubPartitionsSplitType等于ISP_NO_SPLIT或者cIdx不等于0,则以下适用:
nW=nTbW (8-125)
nH=nTbH (8-126)
-否则(IntraSubPartitionsSplitType不等于ISP_NO_SPLIT并且cIdx等于0),则以下适用:
nW=nCbW (8-127)
nH=nCbH (8-128)
变量whRatio设置为等于Abs(Log2(nW/nH))。
变量wideAngle设置为等于0。
对于非正方形块(nW不等于nH),帧内预测模式predModeIntra修改如下:
--如果以下所有条件均为真,predModeIntra设置为等于(predModeIntra+65)。
-nW大于nH
-predModeIntra大于或等于2
-predModeIntra小于(whRatio>1)?(8+2*whRatio):8
-否则,如果以下所有条件均为真,predModeIntra设置为等于(predModeIntra-67)。
-nH大于nW
-predModeIntra小于或等于66
-predModeIntra大于(whRatio>1)?(60-2*whRatio):60
-变量RefFilterFlag推导如下:
-如果predModeIntra等于INTRA_PLANAR、-14、-12、-10、-6、2、34、66、72、76、78或80,RefFilterFlag设置为1
-否则,RefFilterFlag设置为0
对于参考样点p[x][y]的生成,x=-1-refIdx,y=-1-refIdx..refH-1和x=-refIdx..refW-1,y=-1-refIdx,以下有序步骤适用:
1.调用在条款8.4.4.2.2中指定的参考样点可用性标记过程,其中以样点位置(xTbCmp,yTbCmp)、帧内预测参考线索引refIdx、参考样点宽度refW、参考样点高度refH、色彩分量索引cIdx作为输入,并且以参考样点RefFILT[x][y](其中x=-1-refIdx,y=-1-refIdx..refH-1和x=-refIdx..refW-1,y=-1-refIdx)作为输出。
2.当其中x=-1-refIdx,y=-1-refIdx..refH-1和x=-refIdx..refW-1,y=-1-refIdx的至少一个样点refUnfilt[x][y]被标记为“不可用于帧内预测”时,调用条款8.4.4.2.3中指定的参考样点替换过程,其中以帧内预测参考线索引refIdx、参考样点宽度refW、参考样点高度refH、参考样点refnfilet[x][y](其中x=-1-refIdx,y=-1-refIdx..refH-1以及x=-refIdx..refW-1,y=-1-refIdx)和色彩分量索引cIdx作为输入,并且以修改后的参考样点refenfilt[x][y](其中x=-1-refIdx,y=-1-refIdx..refH-1以及x=-refIdx..refW-1,y=-1-refIdx)作为输出。
3.调用条款8.4.4.2.4中指定的参考样点滤波过程,其中以帧内预测参考线索引refIdx、变换块宽度nTbW和高度nTbH、参考样点宽度refW、参考样点高度refH、参考滤波器标志RefFilterFlag、未滤波样点refUnfilt[x][y](其中x=-1-refIdx,y=-1-refIdx..refH-1以及x=-refIdx..refW-1,y=-1-refIdx)以及色彩分量索引cIdx作为输入,并且参考样点p[x][y](其中x=-1-refIdx,y=-1-refIdx..refH-1以及x=-refIdx..refW-1,y=-1-refIdx)作为输出。
根据predModeIntra的帧内样点预测过程应用如下:
-如果predModeIntra等于INTRA_PLANAR,则调用在条款8.4.4.2.5中指定的相应帧内预测模式处理,其中以变换块宽度nTbW、变换块高度nTbH和参考样点阵列p作为输入,并且输出是预测样点阵列predSamples。
-否则,如果predModeIntra等于INTRA_DC,则调用在条款8.4.4.2.6中指定的相应帧内预测模式处理,其中以变换块宽度nTbW、变换块高度nTbH和参考样点阵列p作为输入,并且输出是预测样点阵列predSamples。
-否则,如果predModeIntra等于INTRA_LT_CCLM、INTRA_L_CCLM或INTRA_T_CCLM,则调用在条款8.4.4.2.8中指定的相应帧内预测模式处理,其中,以帧内预测模式predModeIntra、设置为等于(xTbCmp,yTbCmp)的样点位置(xTbC,yTbC)、变换块宽度nTbW和高度nTbH,以及参考样点阵列p作为输入,并且输出是预测样点阵列predSamples。
-否则,调用在条款8.4.4.2.7中指定的相应帧内预测模式处理,其中,以帧内预测模式predModeIntra、帧内预测参考线索引refIdx、变换块宽度nTbW、变换块高度nTbH、参考样点宽度refW、参考样点高度refH、编解码块宽度nCbW和高度nCbH、参考滤波器标志RefFilterFlag、色彩分量索引cIdx和参考样点阵列p作为输入,以及以预测样点阵列predSamples作为输出。
当下列所有条件都为真时,调用在条款8.4.4.2.9中指定的位置相关的预测样点滤波过程,其中以帧内预测模式predModeIntra、变换块宽度nTbW和变换块高度nTbH,预测样点predSamples[x][y](其中x=0..nTbW-1,y=0..nTbH-1)、参考样点宽度refW、参考样点高度refH、参考样点p[x][y](其中x=-1,y=-1..refH-1以及x=0..refW-1,y=-1)、色彩分量索引cIdx作为输入,并且输出为修改后的预测样点阵列predSamples:
-IntraSubPartitionsSplitType等于ISP_NO_SPLIT或者cIdx不等于0
-refIdx等于0或者cIdx不等于0
-下列条件之一为真:
-predModeIntra等于INTRA_PLANAR
-predModeIntra等于INTRA_DC
-predModeIntra等于INTRA_ANGULAR18
-predModeIntra等于INTRA_ANGULAR50
-predModeIntra小于或等于INTRA_ANGULAR10
-predModeIntra大于或等于INTRA_ANGULAR58
8.4.4.2.4.参考样点滤波过程
该过程的输入是:
-指定帧内预测参考线索引的变量refIdx,
-指定变换块宽度的变量nTbW,
-指定变换块高度的变量nTbH,
-指定参考样点宽度的变量refW,
-指定参考样点高度的变量refH,
-指定参考滤波器标志的变量RefFilterFlag,
-(未滤波的)邻近样点refUnfilt[x][y],其中x=-1-refIdx,y=-1-refIdx..refH-1和x=-refIdx..refW-1,y=-1-refIdx,
-指定当前块的色彩分量的变量cIdx。
该过程的输出是参考样点p[x][y],其中x=-1-refIdx,y=-1-refIdx..refH-1和x=-refIdx..refW-1,y=-1-refIdx。
变量filterFlag推导如下:
-如果以下所有条件均为真,则filterFlag设置为等于1:
-refIdx等于0
-nTbW*nTbH大于32
-cIdx等于0
-IntraSubPartitionsSplitType等于ISP_NO_SPLIT
-RefFilterFlag等于1
-否则,filterFlag设置为等于0。
对于参考样点p[x][y]的推导,以下适用:
-如果filterFlag等于1,则滤波的样点值p[x][y](其中x=-1,y=-1..refH-1以及x=0..refW-1,y=-1)推导如下:
p[-1][-1]=(refUnfilt[-1][0]+2*refUnfilt[-1][-1]+refUnfilt[0][-1]+2)>>2 (8-111)
p[-1][y]=(refUnfilt[-1][y+1]+2*refUnfilt[-1][y]+refUnfilt[-1][y-1]+2)>>2,对于y=0..refH-2 (8-112)
p[-1][refH-1]=refUnfilt[-1][refH-1] (8-113)
p[x][-1]=(refUnfilt[x-1][-1]+2*refUnfilt[x][-1]+refUnfilt[x+1][-1]+2)>>2,对于x=0..refW-2 (8-114)
p[refW-1][-1]=refUnfilt[refW-1][-1] (8-115)
-否则,参考样点值p[x][y]被设置为等于未滤波样点值refFilt[x][y],其中x=-1-refIdx,y=-1-refIdx..refH-1以及x=-refIdx..refW-1,y=-1-refIdx。
8.4.4.2.7.INTRA_ANGULAR2..INTRA_ANGULAR66帧内预测模式的规范
该过程的输入是:
-帧内预测模式predModeIntra,
-指定帧内预测参考线索引的变量refIdx,
-指定变换块宽度的变量nTbW,
-指定变换块高度的变量nTbH,
-指定参考样点宽度的变量refW,
-指定参考样点高度的变量refH,
-指定编解码块宽度的变量nCbW,
-指定编解码块高度的变量nCbH,
-指定参考滤波器标志的变量RefFilterFlag,
-指定当前块的色彩分量的变量cIdx,
-邻近样点p[x][y],其中x=-1-refIdx,y=-1-refIdx..refH-1和x=-refIdx..refW-1,y=-1-refIdx。
该过程的输出是预测样点predSamples[x][y],其中x=0..nTbW-1,y=0..nTbH-1。
变量nTbS设置为等于(Log2(nTbW)+Log2(nTbH))>>1。
变量nW和nH推导如下:
-如果以下一个或多个条件为真,则filterFlag设置为等于0。
-predModeIntra等于INTRA_ANGULAR2、INTRA_ANGULAR34或INTRA_ANGULAR66
-refIdx不等于0
-IntraSubPartitionsSplitType不等于ISP_NO_SPLIT,并且cIdx等于0,并且predModeIntra大于或等于INTRA_ANGULAR34,并且nW大于8
-IntraSubPartitionsSplitType不等于ISP_NO_SPLIT,并且cIdx等于0,并且predModeIntra小于INTRA_ANGULAR34,并且nH大于8。
-否则,则以下适用:
-变量minDistVerHor设置为等于Min(Abs(predModeIntra-50),Abs(predModeIntra-18))。
-变量intraHorVerDistThres[nTbS]在表8-4中指定。
-变量filterFlag推导如下:
-如果minDistVerHor大于intraHorVerDistThres[nTbS]并且RefFilterFlag等于1,则filterFlag设置为等于1。
-否则,filterFlag设置为等于0。
表8-4-各种变换块尺寸nTbS的intraHorVerDistThres[nTbS]的规范
nTbS=2 | nTbS=3 | nTbS=4 | nTbS=5 | nTbS=6 | nTbS=7 | |
intraHorVerDistThres[nTbS] | 16 | 14 | 2 | 0 | 0 | 0 |
1.由实施例解决的问题的示例
在帧内预测设计的当前设计中存在几个问题,如下所述。
·4抽头插值滤波器用于各种种类的块尺寸。对于如4x4的小的块尺寸,使用4抽头插值滤波器可能会带来太多的计算复杂性。
·6比特4抽头DCT-IF色度滤波器FC用于具有特定块尺寸和识别的预测模式的ISP编解码块。更具体地说,在JVET-M1001-v7的第8.4.4.2.7节中,如果以下一个或多个条件为真,则filterFlag被设置为等于0(这意味着将使用表8-6中的插值滤波器系数fC)。
-IntraSubPartitionsSplitType不等于ISP_NO_SPLIT,并且cIdx等于0,并且predModeIntra大于或等于INTRA_ANGULAR34,并且nW大于8
-IntraSubPartitionsSplitType不等于ISP_NO_SPLIT,并且cIdx等于0,并且predModeIntra小于INTRA_ANGULAR34,并且nH大于8。
·用于插值的参考样点通过参考线索引错误地计算,例如,索引变量iIdx和乘法因子iFact推导如下:iIdx=((y+1+refIdx)*intraPredAngle)>>5+refIdx
4.实施例和技术的示例列表
下面的详细发明应该被认为是解释一般概念的示例。这些发明不应该被狭隘地解释。此外,这些发明可以以任何方式组合。
在以下描述中,“Fc”表示4抽头DCT-IF色度滤波器,“FG”表示4抽头高斯滤波器,并且这两者在VVC工作草案JVET-M1001-v7的表8-6中被指定。“双线性/线性滤波器”表示VVC工作草案JVET-M1001-v7的等式(8-141)和等式(8-154)中指定的2抽头滤波器。其他种类的DCT-IF/高斯/双线性/线性滤波器的变体也是适用的。
在以下描述中,“块”可以指示VVC中定义的CU/PU/TU。块可以包含不同的色彩分量,诸如Y/U/V分量或R/G/B分量,或者仅对应于一个色彩分量。该方法可以适用于块的色彩分量、或者块的所有色彩分量。块的宽度和高度分别表示为W和H。
支持对一个视频单元(例如,一个砖块(brick)/片(tile)/片组/条带(slice))进
行编解码的多个插值滤波器
1.可以预定义用于帧内预测过程的多个插值滤波器。
a)可替代地,一个或多个插值滤波器集合的指示可以在序列/图片/条带/其他视频单元级别被信令通知。
i.在一个示例中,它们可以在SPS/VPS/PPS/图片头/条带头/APS/片组头/片头等中被信令通知等。
b)要使用的插值滤波器可以从一个视频单元改变到另一个视频单元。
i.在一个示例中,视频单元可以是序列/图片/视图/条带/片组/片/砖块/CTU行/CTU/CU/PU/TU/VPDU。
ii.在一个示例中,选择的指示
c)多个插值滤波器的选择可以取决于块尺寸。
d)多个插值滤波器的选择可以取决于色彩分量。
e)多个插值滤波器的选择可以取决于编解码方法。
i.在一个示例中,编解码方法可以包括正常帧内预测方法、ISP、仿射帧内预测方法、MRL等等。
2.提出是否使用4抽头插值滤波器(例如,4抽头三次滤波器、或DCT-
IF色度滤波器、或高斯滤波器等)可以取决于块大小。
a)在一个示例中,是否使用4抽头插值滤波器可以取决于TU的宽度或高度。
i.在一个示例中,当W或H大于阈值T1(例如,T1=8)时,可以使用4抽头插值滤波器。
ii.可替代地,当W或H等于或小于阈值T2(例如,T2=32)时,可以使用4抽头插值滤波器。
iii.此外,可替代地,可以对其他块禁用4抽头插值滤波器。
b)在一个示例中,是否使用4抽头插值滤波器可以取决于TU的尺寸。
i.在一个示例中,当W*H大于阈值T1时,可以使用4抽头插值滤波器,其中T1是阈值。
1.在一个示例中,T1=32,这意味着4x4/8x4/4x8/2x8/8x2/16x2/2x16/1x16/16x1/32x1/1x32块可以不使用4抽头插值滤波器。
ii.可替代地,当W*H等于或小于阈值T2(例如,T2=64)时,可以使用4抽头插值滤波器。
iii.此外,可替代地,可以对其他块禁用4抽头插值滤波器。
c)在一个示例中,当W大于T1并且H大于T2时(例如,T1=8,T2=8),可以使用4抽头插值滤波器。
i.在一个示例中,4x4/4x8/8x8块可以不应用4抽头插值滤波器。
ii.可替代地,当W不大于T1并且H不大于阈值T2(例如,T1=64,T2=64)时,可以使用4抽头插值滤波器。
iii.此外,可替代地,可以对其他块禁用4抽头插值滤波器。
d)当不允许4抽头插值滤波器时,可以使用2抽头滤波器(例如,
2抽头双线性滤波器)。
i.在一个示例中,双线性/线性滤波器可以用于小尺寸的TU。
1.在一个示例中,对于小于或等于N个(诸如,N=32)像素的TU尺寸(例如,宽度*高度),双线性滤波器可以用于在方向预测模式下生成帧内预测块。在一个示例中,4x4/8x4/4x8/2x8/8x2/16x2/2x16/1x16/16x1/32x1/1x32TU可以使用双线性滤波器。
e)在一个示例中,上述阈值对于所有色彩分量可以是相同的。
i.可替代地,阈值可以取决于色彩分量。
3.提出是否使用4抽头滤波器FG(又名,高斯滤波器)可以取决于预测信息和/或块尺寸。
a)在一个示例中,FG是否用于帧内编解码(或ISP编解码)块可以取决于块尺寸。
i.在一个示例中,FG可以用于块宽度或高度大于阈值T(诸如T=8)的帧内编解码(或ISP编解码)块。
ii.在一个示例中,FG可以用于块尺寸(例如,宽度*高度)大于阈值T(诸如T=32)的帧内编解码(或ISP编解码)块。
iii.在一个示例中,FG可以用于块宽度乘以高度(例如,W*H)大于预定义尺寸T1*T2的帧内编解码(或ISP编解码)块,其中W>T1,H>T2,诸如T1=8,T2=8。
iv.在一个示例中,对于ISP编解码的亮度块,如果一个子分割的帧内预测模式索引满足特定条件(诸如大于或等于INTRA_ANGULAR34),并且子分割宽度大于8,则启用FG滤波器。
1.此外,可替代地,对于ISP编解码的亮度块,如果一个子分割的帧内预测模式索引满足特定条件(诸如小于INTRA_ANGULAR34)并且子分割高度大于8,则启用FG滤波器。
2.此外,可替代地,对于ISP编解码的亮度块的其他情况,可以禁用FG滤波器。
v.在一个示例中,对于ISP编解码的亮度块,如果一个子分割的帧内预测模式索引满足特定条件(诸如大于或等于INTRA_ANGULAR34)并且块宽度(即,CU)大于8,则可以启用FG滤波器。
1.此外,可替代地,对于ISP编解码的亮度块,如果一个子分割的帧内预测模式索引满足特定条件(诸如小于INTRA_ANGULAR34)并且块宽度(即,CU)高度大于8,则可以启用FG滤波器。
2.此外,可替代地,对于ISP编解码的亮度块的其他情况,可以禁用FG滤波器。
b)在一个示例中,FG是否用于帧内编解码(或ISP编解码)块可以取决于块宽度/高度和预测模式。
i.在一个示例中,FG可以用于预测模式大于或等于垂直预测模式(诸如VVC中的帧内模式34)并且块宽度大于阈值T(诸如T=8)的帧内编解码(或ISP编解码)块。
ii.在一个示例中,FG可以用于预测模式小于垂直预测模式(诸如VVC的帧内模式34)并且块高度大于N个像素(诸如N=8)的帧内编解码(或ISP编解码)块。
c)当不允许FG时,可以使用FC(又名,DCI-IF色度滤波器)、或三次滤波器、或双线性滤波器。
i.在一个示例中,FC或三次滤波器或双线性滤波器可以用于尺寸为W*H<=T(诸如T=32)的帧内编解码(或ISP编解码)块。
ii.在一个示例中,FC或三次滤波器或双线性滤波器可以用于预测模式大于或等于垂直预测模式(诸如VVC中的帧内模式34)并且块宽度W<T(诸如T=8)的帧内编解码(或ISP编解码)块。
iii.在一个示例中,FC或三次滤波器或双线性滤波器可以用于预测模式小于垂直预测模式(诸如VVC中的帧内模式34)并且块高度H<T(诸如T=8)的帧内编解码(或ISP编解码)块。
4.对于ISP编解码块(例如,CU),如何选择插值滤波器或应用于参考样点的其他滤波器可以取决于CU的大小。
a)可替代地,如何选择插值滤波器或应用于参考样点的其他滤波器可以取决于子分割的大小。
5.用于插值的参考样点可以取决于参考线索引。
a)在一个示例中,索引变量iIdx和乘法因子iFact可以通过iIdx=((y+1+refIdx)*intraPredAngle)>>5推导,其中refIdx表示参考样点所在的参考线索引,intraPredAngle从帧内预测模式和如VVC工作草案JVET-M1001-v7中所定义的查找表表8-5推导。
6.所提出的方法可以应用于所有或特定色彩分量。
a)在一个示例中,所提出的方法可以仅应用于亮度分量。
b)在一个示例中,所提出的方法可以应用于亮度、Cb和Cr分量。
c)在一个示例中,所提出的方法可以应用于YCbCr 4:4:4格式的亮度、Cb和Cr分量。
d)在一个示例中,所提出的方法可以应用于RGB格式的R、G和B分量。
7.提出在移位过程中可以不应用取整操作来推导预测样点。假设值A(例如,滤波器系数之和乘以参考样点)需要向右移位正整数值rs,以得到移位后的值A’。
a)在一个示例中,A’=A>>rs。
b)可替代地,利用取整操作的向右移位定义为A=((A+offset+b)>>rs),其中(offset+b)不等于0。并且取整操作可以应用于亮度/色度预测样点推导过程中。
i.在一个示例中,offset等于1<<(rs-1)
ii.在一个示例中,b可以取决于值A(例如,b等于A>=0?1:0,或者b等于A<0?1:0)。
c)在一个示例中,在DCT-IF(例如,如JVET-M1001的表8-6中表示的“Fc”,其与在VVC的运动补偿中使用的DCT-IF色度插值滤波器相同)插值滤波器和/或双线性插值滤波器和/或高斯插值滤波器过程期间,可以不应用取整操作来推导帧内亮度预测样点。
d)在一个示例中,是否使用利用或不利用取整操作的向右移位过程可以在利用DCI-IF色度滤波器的帧内亮度预测样点推导过程和帧间色度运动补偿过程中对齐。
i.在一个示例中,两者都不使用取整操作。
ii.在一个示例中,两者都使用取整操作。
e)在一个示例中,取整操作可以不应用于推导基于矩阵的帧内预测中的下采样或/和上采样样点。
i.可替代地,可以应用取整过程A=((A+offset-(A>=0))>>rs)来推导基于矩阵的帧内预测中的下采样和上采样样点。
ii.可替代地,可以应用取整过程A=((A+offset-(A<0))>>rs)来推导基于矩阵的帧内预测中的下采样和上采样样点。
8.提出取整过程的唯一行为可以用于对于编解码器中的残差/预测和/或重构样点推导(例如,基于矩阵的帧内预测、帧内预测、插值滤波器、RST等)需要向右移位操作的差分模块。
9.提出可以应用线性插值滤波器来推导帧内角度模式预测中的亮度参考样点。
a)在一个示例中,可以根据块大小有条件地应用线性插值滤波器。i.在一个示例中,假设当前块大小为WB×HB,根据WB、HB和两个整数T1和T2之间的关系,可以使用线性插值滤波器。
1.在一个示例中,如果WB>=T1并且HB>=T2,则可以使用线性插值滤波器。例如T1=T2=8。
2.在一个示例中,如果WB<=T1并且HB<=T2,则可以使用线性插值滤波器。例如T1=T2=8。
3.在一个示例中,如果WB*HB<=T1,则可以使用线性插值滤波器。例如T1=16。
4.在一个示例中,如果Min(WB,HB)<=T1,则可以使用线性插值滤波器。例如T1=8。
5.在一个示例中,如果Max(WB,HB)<=T1,则可以使用线性插值滤波器。例如T1=8。
6.在一个示例中,如果WB*HB>=T1,则可以使用线性插值滤波器。例如T1=16。
7.在一个示例中,如果Min(WB,HB)>=T1,则可以使用线性插值滤波器。例如T1=8。
8.在一个示例中,如果Max(WB,HB)>=T1,则可以使用线性插值滤波器。例如T1=8。
b)在一个示例中,根据帧内预测方向/色彩分量/图片或条带类型,可以有条件地应用线性插值滤波器。
10.提出使用最近邻居来推导帧内角度模式预测中的亮度参考样点。
a)在一个示例中,最近邻居可以被定义为距参考样点的最近整数像素位置。
i.在一个示例中,可以使用使用最近(nearest)取整的参考样点中的最近整数像素位置。例如,nearest(12.1)等于12,并且nearest(12.6)等于13。
ii.在一个示例中,可以使用使用向下(floor)取整(例如,取整到负无穷)的参考样点中的最近整数像素位置。例如,floor(12.1)等于12,并且floor(12.6)等于12。
iii.在一个示例中,可以使用使用向上(ceiling)取整(例如,取整到正无穷)的参考样点中的最近整数像素位置。例如,ceiling(12.1)等于13,并且ceiling(12.6)等于13。
b)在一个示例中,根据块大小,可以有条件地使用最近邻居。
i.在一个示例中,假设当前块大小为WB×HB,可以根据WB、HB和两个整数T1和T2之间的关系来使用最近邻居。
1.在一个示例中,如果WB>=T1并且HB>=T2,则可以使用最近邻居。例如,T1=T2=8。
2.在一个示例中,如果WB<=T1并且HB<=T2,则可以使用最近邻居。例如,T1=T2=8。
3.在一个示例中,如果WB*HB<=T1,则可以使用最近邻居。例如,T1=16。
4.在一个示例中,如果Min(WB,HB)<=T1,则可以使用最近邻居。例如,T1=8。
5.在一个示例中,如果Max(WB,HB)<=T1,则可以使用最近邻居。例如,T1=8。
6.在一个示例中,如果WB*HB>=T1,则可以使用最近邻居。例如,T1=16。
7.在一个示例中,如果Min(WB,HB)>=T1,则可以使用最近邻居。例如,T1=8。
8.在一个示例中,如果Max(WB,HB)>=T1,则可以使用最近邻居。例如,T1=8。
c)在一个示例中,根据帧内预测方向/色彩分量/图片或条带类型,可以有条件地使用最近邻居。
11.提出帧内块插值滤波器选择可以取决于帧内角度预测模式和/或块大小(例如,CU尺寸和/或TU尺寸)和/或宽角度,而不管所使用的帧内预测类型(例如,不管它是否是ISP编解码块)。
a)在一个示例中,对ISP块的帧内插值滤波器选择与对正常帧内块的帧内插值滤波器选择相同,并没有对ISP块的任何附加条件检查,例如,对ISP模式及其相关联的帧内预测模式的使用的检查都被移除。
b)在一个示例中,无论当前块是否是ISP预测的,帧内插值滤波器选择由它是否是宽角度块(例如,在JVET-M1001-v7中定义的宽角度)决定。
c)在一个示例中,无论当前块是否是ISP预测的,帧内插值滤波器选择由minDistVerHor是否大于intraHorVerDistThres[nTbS]决定,其中nTbS等于(Log2(nTbW)+Log2(nTbH))>>1,其中nTbW和nTbH表示当前帧内块的变换宽度和高度,minDistVerHor被设置为等于Min(Abs(predModeIntra-50),Abs(predModeIntra-18)),并且在JVET-M1001-v7中的表8-4中定义阵列intraHorVerDistThres[]。
5.实施例
以下实施例基于VVC工作草案JVET-M1001-v7。
5.1实施例#1
下面的实施例用于实施例章节的第2项中的方法。
新添加的部分以加粗斜体突出显示,删除的文本前后都有双括号。
8.4.4.2.7.INTRA_ANGULAR2..INTRA_ANGULAR66帧内预测模式的规范
……
其中x=0..nTbW-1,y=0..nTbH-1的预测样点predSamples[x][y]的值推导如下:
-如果predModeIntra大于或等于34,则以下有序步骤适用:
1.参考样点阵列ref[x]被指定为如下:
-以下适用:
ref[x]=p[-1-refIdx+x][-1-refIdx],其中x=0..nTbW+refIdx (8-130)
-如果intraPredAngle小于0,则主参考样点阵列扩展如下:
-当(nTbH*intraPredAngle)>>5小于-1时,
ref[x]=p[-1-refIdx][-1-refIdx+((x*invAngle+128)>>8)],其中x=-1..(nTbH*intraPredAngle)>>5 (8-131)
ref[((nTbH*intraPredAngle)>>5)-1]=ref[(nTbH*intraPredAngle)>>5](8-132)
ref[nTbW+1+refIdx]=ref[nTbW+refIdx] (8-133)
-否则,
ref[x]=p[-1-refIdx+x][-1-refIdx],其中x=nTbW+1+refIdx..refW+refIdx(8-134)
ref[-1]=ref[0] (8-135)
-附加样点ref[refW+refIdx+x](其中x=1..(Max(1,nTbW/nTbH)*refIdx+1))推导如下:
ref[refW+refIdx+x]=p[-1+refW][-1-refIdx] (8-136)
2.其中x=0..nTbW-1,y=0..nTbH-1的预测样点predSamples[x][y]的值推导如下:
-索引变量iIdx和乘法因子iFact推导如下:
iIdx=((y+1+refIdx)*intraPredAngle)>>5+refIdx (8-137)
iFact=((y+1+refIdx)*intraPredAngle)&31 (8-138)
-如果cIdx等于0并且nTbW*nTbH大于M,则以下适用:
-其中j=0..3的插值滤波器系数fT[j]推导如下:
fT[j]=filterFlag?fG[iFact][j]:fC[iFact][j] (8-139)
-预测样点predSamples[x][y]的值推导如下:
-否则[[(cIdx不等于0)]],根据iFact的值,以下适用:
-如果iFact不等于0,则预测样点predSamples[x][y]的值推导如下:
predSamples[x][y]=((32-iFact)*ref[x+iIdx+1]+iFact*ref[x+iIdx+2]+16)>>5 (8-141)
-否则,预测样点predSamples[x][y]的值推导如下:
predSamples[x][y]=ref[x+iIdx+1] (8-142)
-否则(predModeIntra小于34),则以下有序步骤适用:
3.参考样点阵列ref[x]被指定为如下:
-以下适用:
ref[x]=p[-1-refIdx][-1-refIdx+x],其中x=0..nTbH+refIdx (8-143)
-如果intraPredAngle小于0,则主参考样点阵列扩展如下:
-当(nTbW*intraPredAngle)>>5小于-1,
ref[x]=p[-1-refIdx+((x*invAngle+128)>>8)][-1-refIdx],其中x=-1..(nTbW*intraPredAngle)>>5 (8-144)
ref[((nTbW*intraPredAngle)>>5)-1]=ref[(nTbW*intraPredAngle)>>5](8-145)
ref[nTbG+1+refIdx]=ref[nTbH+refIdx] (8-146)
-否则,
ref[x]=p[-1-refIdx][-1-refIdx+x],其中x=nTbH+1+refIdx..refH+refIdx(8-147)
ref[-1]=ref[0] (8-148)
-附加样点ref[refH+refIdx+x](其中x=1..(Max(1,nTbW/nTbH)*refIdx+1))推导如下:
ref[refH+refIdx+x]=p[-1+refH][-1-refIdx] (8-149)
4.其中x=0..nTbW-1,y=0..nTbH-1的预测样点predSamples[x][y]的值推导如下:
-索引变量iIdx和乘法因子iFact推导如下:
iIdx=((x+1+refIdx)*intraPredAngle)>>5 (8-150)
iFact=((x+1+refIdx)*intraPredAngle)&31 (8-151)
-如果cIdx等于0并且nTbW*nTbH大于M,则以下适用:
-其中j=0..3的的插值滤波器系数fT[j]推导如下:
fT[j]=filterFlag?fG[iFact][j]:fC[iFact][j] (8-152)
-预测样点predSamples[x][y]的值推导如下:
-否则根据iFact的值,以下适用:
-如果iFact不等于0,则预测样点predSamples[x][y]的值推导如下:
predSamples[x][y]=((32-iFact)*ref[y+iIdx+1]+iFact*ref[y+iIdx+2]+16)>>5 (8-154)
-否则,预测样点predSamples[x][y]的值推导如下:
predSamples[x][y]=ref[y+iIdx+1] (8-155)
在一个示例中,M被设置为32或16。
5.2实施例#2
下面的实施例用于本发明描述的第3项中的方法。
新添加的部分以加粗斜体突出显示,删除的文本前后都有双括号。
8.4.4.2.7.INTRA_ANGULAR2..INTRA_ANGULAR66帧内预测模式的规范
……
变量filterFlag推导如下:
-如果以下一个或多个条件为真,则filterFlag设置为等于0。
-predModeIntra等于INTRA_ANGULAR2、INTRA_ANGULAR34或INTRA_ANGULAR66
-refIdx不等于0
-否则,如果IntraSubPartitionsSplitType不等于SP_NO_SPLIT,以下适用:
-如果cIdx等于0,并且predModeIntra大于或等于INTRA_ANGULAR34,并且[[nW]]nTbW大于8,则filterFlag设置为等于1。
-否则,如果cIdx等于0,并且predModeIntra小于INTRA_ANGULAR34,并且[[nH]]nTbH大于8,则filterFlag设置为等于1。
-否则,filterFlag设置为等于0。
-否则,则以下适用:
-变量minDistVerHor设置为等于Min(Abs(predModeIntra-50),Abs(predModeIntra-18))。
-变量intraHorVerDistThres[nTbS]在表8-4中指定。
-变量filterFlag推导如下:
-如果minDistVerHor大于intraHorVerDistThres[nTbS][[并且RefFilterFlag等于1]]或者wideAngle等于1,则filterFlag设置为等于1。
-否则,filterFlag设置为等于0。
可替代地,以下可以适用:
8.4.4.2.7.INTRA_ANGULAR2..INTRA_ANGULAR66帧内预测模式的规范
……
变量filterFlag推导如下:
-如果以下一个或多个条件为真,则filterFlag设置为等于0。
-cIdx不等于0
-predModeIntra等于[[INTRA_ANGULAR2、INTRA_ANGULAR34或INTRA_ANGULAR66]]-14、-12、-10、-6、2、34、66、72、76、78或80
-refIdx不等于0
-否则,如果以下一个或多个条件为真,则filterFlag设置为等于1
-IntraSubPartitionsSplitType不等于ISP_NO_SPLIT[[并且cIdx等于0]],并且predModeIntra大于或等于INTRA_ANGULAR34,并且[[nW]]nTbW大于8
-IntraSubPartitionsSplitType不等于ISP_NO_SPLIT[[并且cIdx等于0]],并且predModeIntra小于INTRA_ANGULAR34,并且[[nH]]nTbH大于8。
-否则,如果IntraSubPartitionsSplitType不等于ISP_NO_SPLIT,则filterFlag设置为等于0
-否则,则以下适用:
-变量minDistVerHor设置为等于Min(Abs(predModeIntra-50),Abs(predModeIntra-18))。
-变量intraHorVerDistThres[nTbS]在表8-4中指定。
-变量filterFlag推导如下:
-如果minDistVerHor大于intraHorVerDistThres[nTbS][[并且RefFilterFlag等于1]]或者wideAngle等于1,则filterFlag设置为等于1。
-否则,filterFlag设置为等于0。
5.3实施例#3
下面的实施例用于实施例章节的第3项中的方法。
新添加的部分以加粗斜体突出显示,删除的文本前后都有双括号。
8.4.4.2.7.INTRA_ANGULAR2..INTRA_ANGULAR66帧内预测模式的规范
……
变量filterFlag推导如下:
-如果以下一个或多个条件为真,则filterFlag设置为等于0。
-cIdx不等于0
-predModeIntra等于[[INTRA_ANGULAR2、INTRA_ANGULAR34或INTRA_ANGULAR66]]-14、-12、-10、-6、2、34、66、72、76、78或80
-refIdx不等于0
-否则,如果IntraSubPartitionsSplitType不等于ISP_NO_SPLIT[[并且cIdx等于0]],并且predModeIntra大于或等于INTRA_ANGULAR34,并且[[nW]]nTbW*nTbH大于8 32,则filterFlag设置为等于1
-[[IntraSubPartitionsSplitType不等于ISP_NO_SPLIT并且cIdx等于0,并且predModeIntra小于INTRA_ANGULAR34,并且nH大于8]]。
-否则,如果IntraSubPartitionsSplitType不等于ISP_NO_SPLIT,则filterFlag设置为等于0
-否则,则以下适用:
-变量minDistVerHor设置为等于Min(Abs(predModeIntra-50),Abs(predModeIntra-18))。
-变量intraHorVerDistThres[nTbS]在表8-4中指定。
-变量filterFlag推导如下:
-如果minDistVerHor大于intraHorVerDistThres[nTbS][[并且RefFilterFlag等于1]]或者wideAngle等于1,则filterFlag设置为等于1。
-否则,filterFlag设置为等于0。
5.4实施例#4
下面的实施例用于实施例章节的第4项中的方法。
新添加的部分以加粗斜体突出显示,删除的文本前后都有双括号。
8.4.4.2.7.INTRA_ANGULAR2..INTRA_ANGULAR66帧内预测模式的规范
……
其中x=0..nTbW-1,y=0..nTbH-1的预测样点predSamples[x][y]的值推导如下:
-如果predModeIntra大于或等于34,则以下有序步骤适用:
1.参考样点阵列ref[x]被指定为如下:
-以下适用:
ref[x]=p[-1-refIdx+x][-1-refIdx],其中x=0..nTbW+refIdx (8-130)
-如果intraPredAngle小于0,则主参考样点阵列扩展如下:
-当(nTbH*intraPredAngle)>>5小于-1时,
ref[x]=p[-1-refIdx][-1-refIdx+((x*invAngle+128)>>8)],其中x=-1..(nTbH*intraPredAngle)>>5 (8-131)
ref[((nTbH*intraPredAngle)>>5)-1]=ref[(nTbH*intraPredAngle)>>5](8-132)
ref[nTbW+1+refIdx]=ref[nTbW+refIdx] (8-133)
-否则,
ref[x]=p[-1-refIdx+x][-1-refIdx],其中x=nTbW+1+refIdx..refW+refIdx(8-134)
ref[-1]=ref[0] (8-135)
-附加样点ref[refW+refIdx+x](其中x=1..(Max(1,nTbW/nTbH)*refIdx+1))推导如下:
ref[refW+refIdx+x]=p[-1+refW][-1-refIdx] (8-136)
2.其中x=0..nTbW-1,y=0..nTbH-1的预测样点predSamples[x][y]的值推导如下:
-索引变量iIdx和乘法因子iFact推导如下:
iIdx=((y+1+refIdx)*intraPredAngle)>>5+refIdx (8-137)
iFact=((y+1+refIdx)*intraPredAngle)&31 (8-138)
-如果cIdx等于0,则以下适用:
-其中j=0..3的插值滤波器系数fT[j]推导如下:
fT[j]=filterFlag?fG[iFact][j]:fC[iFact][j] (8-139)
-预测样点predSamples[x][y]的值推导如下:
-否则(cIdx不等于0),根据iFact的值,以下适用:
-如果iFact不等于0,则预测样点predSamples[x][y]的值推导如下:
predSamples[x][y]=((32-iFact)*ref[x+iIdx+1]+iFact*ref[x+iIdx+2]+16)>>5 (8-141)
-否则,预测样点predSamples[x][y]的值推导如下:
predSamples[x][y]=ref[x+iIdx+1] (8-142)
5.5实施例#5
下面的实施例用于实施例章节的第6项中的方法。
新添加的部分以加粗斜体突出显示,删除的文本前后都有双括号。
8.4.4.2.7.INTRA_ANGULAR2..INTRA_ANGULAR66帧内预测模式的规范
……
其中x=0..nTbW-1,y=0..nTbH-1的预测样点predSamples[x][y]的值推导如下:
-如果predModeIntra大于或等于34,则以下有序步骤适用:
1.参考样点阵列ref[x]被指定为如下:
……
2.其中x=0..nTbW-1,y=0..nTbH-1的预测样点predSamples[x][y]的值推导如下:
-索引变量iIdx和乘法因子iFact推导如下:
iIdx=((y+1+refIdx)*intraPredAngle)>>5+refIdx (8-137)
iFact=((y+1+refIdx)*intraPredAngle)&31 (8-138)
-如果cIdx等于0,则以下适用:
-[[其中j=0..3的插值滤波器系数fT[j]推导如下:
fT[j]=filterFlag?fG[iFact][j]:fC[iFact][j] (8-139)]]
-如果filterFlag等于1,则预测样点predSamples[x][y]的值推导如下:
-否则(filterFlag等于0)
-否则(cIdx不等于0),根据iFact的值,以下适用:
-如果iFact不等于0,则预测样点predSamples[x][y]的值推导如下:
predSamples[x][y]=((32-iFact)*ref[x+iIdx+1]+iFact*ref[x+iIdx+2]+16)>>5 (8-141)
-否则,预测样点predSamples[x][y]的值推导如下:
predSamples[x][y]=ref[x+iIdx+1] (8-142)
-否则(predModeIntra小于34),则以下有序步骤适用:
1.参考样点阵列ref[x]被指定为如下:
……
2.其中x=0..nTbW-1,y=0..nTbH-1的预测样点predSamples[x][y]的值推导如下:
-索引变量iIdx和乘法因子iFact推导如下:
iIdx=((x+1+refIdx)*intraPredAngle)>>5 (8-150)
iFact=((x+1+refIdx)*intraPredAngle)&31 (8-151)
-如果cIdx等于0,则以下适用:
-[[其中j=0..3的的插值滤波器系数fT[j]推导如下:
fT[j]=filterFlag?fG[iFact][j]:fC[iFact][j] (8-152)]]
-如果filterFlag等于1,预测样点predSamples[x][y]的值推导如下:
-否则(filterFlag等于0)
-否则(cIdx不等于0),根据iFact的值,以下适用:
-如果iFact不等于0,则预测样点predSamples[x][y]的值推导如下:
predSamples[x][y]=((32-iFact)*ref[y+iIdx+1]+iFact*ref[y+iIdx+2]+16)>>5 (8-154)
-否则,预测样点predSamples[x][y]的值推导如下:
predSamples[x][y]=ref[y+iIdx+1] (8-155)
5.6实施例#6
在选择插值滤波器期间,可以用与正常帧内预测方法相同的方式来处理ISP。可替代的,对于ISP编解码块,插值滤波器的选择可以独立于帧内预测模式。可替代的,对于ISP编解码块,插值滤波器的选择可以取决于块大小和/或色彩分量。删除的文本前后都有双括号。
8.4.4.2.7 INTRA_ANGULAR2..INTRA_ANGULAR66帧内预测模式的规范
对于非正方形块(nW不等于nH),帧内预测模式predModeIntra修改如下:
-如果以下所有条件都为真,则wideAngle设置为1,并且predModeIntra设置为等于(predModeIntra+65)。
-nW大于nH
-predModeIntra大于或等于2
-predModeIntra小于(whRatio>1)?(8+2*whRatio):8
-否则,如果以下所有条件都为真,则wideAngle设置为1,并且predModeIntra设置为等于(predModeIntra-67)。
-nH大于nW
-predModeIntra小于或等于66
-predModeIntra大于(whRatio>1)?(60-2*whRatio):60
变量filterFlag推导如下:
-如果下列一个或多个条件为真,则filterFlag设置为等于0。
-predModeIntra等于INTRA_ANGULAR2、INTRA_ANGULAR34或者INTRA_ANGULAR66
-refidx不等于0
-[[IntraSubPartitionsSplitType不等于ISP_NO_SPLIT,并且cIdx等于0,并且predModeIntra大于或等于INTRA_ANGULAR34,并且nW大于8
-IntraSubPartitionsSplitType不等于ISP_NO_SPLIT,并且cIdx等于0,并且predModeIntra小于INTRA_ANGULAR34,并且nH大于8。]]
-否则,以下适用:
-变量minDistVerHor设置为等于Min(Abs(predModeIntra-50),Abs(predModeIntra-18))。
-变量intraHorVerDistThres[nTbS]在表8-4中指定。
-变量filterFlag推导如下:
-如果minDistVerHor大于intraHorVerDistThres[nTbS]或者wideAngle等于1,则filterFlag设置为等于1。
否则,filterFlag设置为等于0。
图6是视频处理装置600的框图。装置600可以用于实施本文描述的一种或多种方法。装置600可以具体体现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置600可以包括一个或多个处理器602、一个或多个存储器604和视频处理硬件606。一个或多个处理器602可以被配置成实施本文档中描述的一种或多种方法。一个或多个存储器604可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件606可以用于在硬件电路中实施本文档中描述的一些技术。
图7是其中可以实施所公开的技术的视频处理***的框图的另一个示例。图7是示出示例视频处理***700的框图,其中可以实施本文公开的各种技术。各种实施可以包括***700的一些或全部组件。***700可以包括用于接收视频内容的输入702。视频内容可以以原始或未压缩格式接收,例如8或10比特多分量像素值,或者可以以压缩或编码格式接收。输入702可以表示网络接口、***总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等的有线接口,和诸如Wi-Fi或蜂窝接口的无线接口。
***700可以包括编解码组件704,其可以实施本文档中描述的各种解码或编码方法。编解码组件704可以降低从输入702到编解码组件704的输出的视频的平均比特率,以生成视频的编解码表示。因此,编解码技术有时被称为视频压缩或视频转码技术。编解码组件704的输出可以被存储,或者通过连接的通信(如组件706所示)被传输。组件708可以使用在输入端702接收的视频的存储的或传达的比特流(或编解码的)表示,以用于生成发送到显示接口710的像素值或可显示的视频。从比特流表示生成用户可观看的视频的过程有时被称为视频解压缩。此外,虽然特定视频处理操作被称为“编解码”操作或工具,但是应当理解,编解码工具或操作在编码器处使用,并且将由解码器来执行与编解码的的结果相反的相对应的解码工具或操作。
***总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以具体体现在各种电子设备中,诸如移动电话、膝上型电脑、智能手机或能够执行数字数据处理和/或视频显示的其他设备。
在一些实施例中,视频处理方法可以使用如参考图6或图7所述的在硬件平台上实现的装置来实现。
图8A是视频处理的示例方法810的流程图。方法810包括,在步骤812处,为视频的当前视频块,使用根据规则选择的插值滤波器生成帧内预测块。方法810还包括,在步骤814处,使用预测块执行当前视频块和视频的编解码表示之间的转换。在一些实施方式中,该规则指定基于帧内角度预测模式、块大小或宽角度模式的使用中的至少一个来选择插值滤波器,而不使用当前视频块的帧内预测模式的类型。
图8B是视频处理的示例方法820的流程图。方法820包括,在步骤822处,基于规则,确定在为视频的当前视频块和视频的编解码表示之间的转换推导预测样点期间,是否在移位过程中应用取整操作,其中当前视频块使用编解码表示中的帧内模式进行编解码。方法820还包括,在步骤824处,基于该确定,使用预测样点执行转换。
图8C是视频处理的示例方法830的流程图。方法830包括,在步骤832处,为视频的当前视频块和视频的编解码表示之间的转换,应用唯一定义的取整过程,以执行用于生成中间视频块的比特移位,其中当前视频块使用编解码表示中的帧内模式进行编解码。方法830还包括,在步骤834处,使用中间视频块执行转换。例如,如前面章节第8项所述,各种视频解码或编码操作可以具有它们自己唯一定义的取整过程,这些取整过程可以仅在视频编码或解码期间专门用于该操作。这种策略的一个好处是允许量化噪声的整形在视频编码或解码期间在视觉上是不明显的。这种策略的另一个好处是使编码后的视频更易于使用上下文编解码进行压缩。例如,下一个操作的唯一取整可以被设计为通过充当前一个操作的取整操作的效果的逆滤波器(在频域中)来平坦化前一个操作的唯一取整操作,使得结果数据更容易使用紧凑代码来编码。
图8D是视频处理的示例方法840的流程图。方法840包括,在步骤842处,基于规则,确定在为视频的当前视频块的帧内角度模式预测的亮度参考样点的推导中使用线性插值滤波器。方法840还包括,在步骤844处,基于该决定,执行当前视频块和当前视频块的编解码表示之间的转换。
图8E是视频处理的示例方法850的流程图。方法850包括,在步骤852处,基于规则,确定使用视频的当前视频块的最近邻居样点来为当前视频块推导帧内角度模式预测中的亮度参考样点。方法850还包括,在步骤854处,使用亮度参考样点执行当前视频块和视频的编解码表示之间的转换。
所公开的技术的一些实施例包括做出启用视频处理工具或模式的决定或确定。在一个示例中,当启用视频处理工具或模式时,编码器将在视频块的处理中使用或实施该工具或模式,但是不一定基于该工具或模式的使用来修改得到的比特流。也就是说,当视频处理工具或模式基于决定或确定而启用时,从视频块到视频的比特流表示的转换将使用该视频处理工具或模式。在另一示例中,当启用视频处理工具或模式时,解码器将在知道比特流已经基于视频处理工具或模式被修改的情况下处理比特流。也就是说,将使用基于决定或确定而启用的视频处理工具或模式来执行从视频的比特流表示到视频块的转换。
所公开的技术的一些实施例包括做出禁用视频处理工具或模式的决定或确定。在一个示例中,当禁用视频处理工具或模式时,编码器将不会在视频块到视频的比特流表示的转换中使用该工具或模式。在另一个示例中,当禁用视频处理工具或模式时,解码器将在知道比特流没有被使用基于决定或确定而禁用的视频处理工具或模式修改的情况下处理比特流。
在本文档中,术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如,视频压缩算法可以在从视频的像素表示到相对应的比特流表示的转换期间应用,反之亦然。当前视频块的比特流表示可以例如对应于比特流中的共同定位或分布在不同位置的比特,如被语法所定义的。例如,宏块可以根据变换和编解码的误差残差值并且还使用比特流中的头和其他字段中的比特进行编码。
使用条款列表来进一步描述本文档中描述的各种实施例。
第一组条款描述了先前章节中的所公开技术的特定特征和方面。
1.一种视频处理方法,包括:为视频的当前视频块和当前视频块的比特流表示之间的转换,确定在转换期间要使用的一个或多个插值滤波器,其中该一个或多个插值滤波器来自用于视频的多个插值滤波器;以及使用一个或多个插值滤波器执行转换。
2.根据条款1所述的方法,其中,比特流表示被配置为携带多个插值滤波器的指示。
3.根据条款2的方法,其中,比特流表示在序列参数集级别或视频参数集级别或图片参数集级别或图片头或条带头或条带头或自适应参数集级别或片组头或片头携带指示。
4.根据条款所述1所述的方法,其中,多个插值滤波器是预定义的,并且比特流表示排除多个插值滤波器的显式指示。
5.根据条款1至4中任一项所述的方法,其中,在不同视频单元的转换期间使用多个插值滤波器的不同集合。
6.根据条款5所述的方法,其中,视频单元对应于视频序列或视频图片或视频视图或视频片组或视频片或视频砖块或视频编解码树单元行或视频编解码单元或视频预测单元或视频变换单元或VPDU。
7.根据条款1至6中任一项所述的方法,其中,多个插值滤波器基于当前视频块的大小或当前视频块的色彩分量标识或用于当前视频块的转换的编解码方法。
在第4节的第1项中公开了条款1-7的附加示例。
8.一种视频处理方法,包括:基于规则,确定在视频的当前视频块和当前视频块的比特流表示之间的基于帧内预测的转换中是否使用4抽头插值滤波器;基于确定是否使用4抽头插值滤波器来执行转换。
9.根据条款8所述的方法,其中,4抽头插值滤波器是4抽头三次滤波器。
10.根据条款8所述的方法,其中,4抽头插值滤波器是离散余弦变换插值滤波器。
11.根据条款8所述的方法,其中,4抽头插值滤波器是高斯滤波器。
12.根据条款8至11中任一项所述的方法,其中,规则根据当前视频块的大小来指定是否使用4抽头插值。
13.根据条款12所述的方法,其中,大小是当前视频块的以像素为单位的宽度。
14.根据条款12所述的方法,其中,大小是当前视频块的以像素为单位的高度。
15.根据条款8至11中任一项所述的方法,其中,规则根据当前视频块的变换单元的大小来指定是否使用4抽头插值。
16.根据条款12至15中任一项所述的方法,其中,规则指定在大小高于第一阈值T1或低于第二阈值T2的情况下使用4抽头插值滤波器。
17.根据条款8至16中任一项所述的方法,其中,规则指定在4抽头插值滤波器不用于转换的情况下使用2抽头滤波器。
18.根据条款16-17中任一项所述的方法,其中,第一阈值或第二阈值具有取决于当前视频块所属的色彩分量的值。
19.根据条款11所述的方法,其中,规则基于当前视频块的大小和/或预测模式来指定是否使用4抽头插值滤波器。
20.根据条款19所述的方法,其中,规则进一步使用当前视频块的色彩分量信息来指定是否使用4抽头插值滤波器。
在第4节的第2-3项中公开了条款8-20的附加示例。
21.一种视频处理方法,包括:为视频的当前视频块和当前视频块的比特流表示之间的转换,确定在转换期间要使用的插值滤波器;将插值滤波器应用于使用规则确定的参考样点;以及使用应用的结果来执行转换。
22.根据条款21所述的方法,其中,规则指定将参考样点确定为参考线索引refIdx的函数。
23.根据条款22所述的方法,其中,规则指定基于用于当前视频块的帧内预测角度来确定参考样点。
24.根据条款1至23中任一项所述的方法,其中,由于当前视频块是亮度视频块,该方法被应用于当前视频块。
25.根据条款1至23中任一项所述的方法,其中,由于当前视频块是色彩视频块,该方法被应用于当前视频块。
26.根据条款25所述的方法,其中,由于当前视频块是Cb视频块,该方法被应用于当前视频块。
27.根据条款25所述的方法,其中,由于当前视频块是R(红色)视频块,该方法被应用于当前视频块。
在第4节的第4-5项中公开了条款21-27的附加示例。
28.一种视频处理方法,包括为当前视频块和当前视频块的比特流表示之间的转换,做出关于在为当前视频块推导预测样点的移位过程中的取整操作的选择性应用的决定,以及基于该决定执行转换。
29.根据条款28所述的方法,其中,不应用取整操作,并且其中,该推导包括插值滤波、双线性插值滤波和/或高斯插值滤波。
30.根据条款28所述的方法,其中,为推导预测样点的选择性应用与对于帧间色度运动补偿过程的决定对齐。
在第4节的第7项中公开了条款28-30的附加示例。
31.一种视频处理方法,包括基于当前视频块的至少一个大小,做出关于在帧内角度模式预测的亮度参考样点的推导中的线性插值滤波器的选择性应用的决定,以及基于该决定来执行当前视频块和当前视频块的比特流表示之间的转换。
32.根据条款31所述的方法,其中,当前视频块的尺寸为WB×HB,其中WB和HB是正整数。
33.根据条款32所述的方法,其中,当WB≥T1和HB≥T2时,应用线性插值滤波器,并且其中T1和T2是正整数。
34.根据条款32所述的方法,其中,当WB≤T1和HB≤T2时,应用线性插值滤波器,并且其中T1和T2是正整数。
35.根据条款33或34所述的方法,其中,T1=T2=8。
36.根据条款32所述的方法,其中,当min(WB,HB)≤T1或max(WB,HB)≤T1时,应用线性插值滤波器,其中T1是正整数。
37.根据条款32所述的方法,其中,当min(WB,HB)≥T1或max(WB,HB)≥T1时,应用线性插值滤波器,其中T1是正整数。
38.根据条款36或37所述的方法,其中,T1=8。
在第4节的第9项中公开了条款31-38的附加示例。
39.一种视频处理装置,包括被配置为实施条款1至38中的一项或多项的处理器。
40.一种其上存储有代码的计算机可读介质,当由处理器执行时,该代码使处理器实施条款1至38中任一项或多项所述的方法。
第二组条款描述了先前章节中的所公开技术的特定特征和方面,例如示例实施方式6-10。
1.一种视频处理方法,包括:为视频的当前视频块,使用根据规则选择的插值滤波器生成帧内预测块;以及使用预测块执行当前视频块和视频的编解码表示之间的转换,其中规则指定基于帧内角度预测模式、块大小或宽角度模式的使用中的至少一个来选择插值滤波器,而不使用当前视频块的帧内预测模式的类型。
2.根据条款1所述的方法,其中,当前视频块是视频的预测块、变换块、编解码块、或编解码块的子分割。
3.根据条款1或2所述的方法,其中,帧内预测模式的类型对应于常规帧内编解码或帧内子分割(ISP)编解码。
4.根据条款1或2所述的方法,其中,根据规则选择相同的插值滤波器,而不管当前视频块是使用常规帧内编解码还是帧内子分割(ISP)编解码来编解码。
5.根据条款4所述的方法,其中,跳过对ISP编解码的使用的检查。
6.根据条款1或2所述的方法,其中,规则基于当前视频块是否使用代表非分数偏移的宽角度模式进行编解码来选择插值滤波器。
7.根据条款1或2所述的方法,其中,规则指定基于minDistVerHor是否大于intraHorVerDistThres[nTbS]来选择插值滤波器,其中nTbS等于(Log2(nTbW)+Log2(nTbH))>>1,nTbW和nTbH表示当前视频块的变换宽度和高度,minDistVerHor被设置为等于Min(Abs(predModeIntra-50),Abs(predModeIntra-18)),并且阵列intraHorVerDistThres[]被定义为0、2、14或16之一。
8.根据条款1至7中任一项所述的方法,其中,执行转换包括从当前视频块生成编解码表示。
9.根据条款1至7中任一项所述的方法,其中,执行转换包括从编解码表示生成当前视频块。
10.一种视频处理方法,包括:基于规则,确定在为视频的当前视频块和视频的编解码表示之间的转换推导预测样点期间,是否在移位过程中应用取整操作,其中当前视频块使用编解码表示中的帧内模式进行编解码;以及根据该确定,使用预测样点执行转换。
11.根据条款10所述的方法,其中,当前视频块是视频的预测块、变换块、编解码块、或编解码块的子分割。
12.根据条款10或11所述的方法,其中,执行移位操作以得到移位值(A’),其中该移位值(A’)对应于值(A)向右移位正整数值(rs)的值,值(A)是在帧内预测过程期间作为滤波器系数之和与参考样点、预测样点、重构样点或中间样点的乘积而获得的。
13.根据条款12所述的方法,其中,A’=A>>rs。
14.根据条款12所述的方法,其中,在使用等式A=((A+offset+b)>>rs)推导预测样点期间应用取整操作,其中(offset+b)不等于0。
15.根据条款14所述的方法,其中,offset等于1<<(rs-1)。
16.根据条款14所述的方法,其中,b取决于A的值。
17.根据条款10或11所述的方法,其中,规则指定在使用离散余弦变换插值滤波器、双线性插值滤波器或高斯插值滤波器中的至少一个的插值过程期间不应用取整操作。
18.根据条款10或11所述的方法,其中,规则指定关于为使用离散余弦变换插值色度滤波器的帧内亮度预测样点推导过程和帧间色度运动补偿过程的取整操作的选择性应用的相同确定。
19.根据条款10或11所述的方法,其中,规则指定不应用取整操作来推导基于矩阵的帧内预测中的下采样和/或上采样样点。
20.根据条款12所述的方法,其中,规则指定应用取整操作来推导基于矩阵的帧内预测中的下采样和/或上采样样点。
21.根据条款20所述的方法,其中,应用取整操作来使用等式A=((A+offset-(A>=0))>>rs)推导下采样样点。
22.根据条款20所述的方法,其中,应用取整操作来使用等式A=((A+offset-(A<0))>>rs)推导上采样样点。
23.根据条款10至22中任一项所述的方法,其中,执行转换包括从当前视频块生成编解码表示。
24.根据条款10至22中任一项所述的方法,其中,执行转换包括从编解码表示生成当前视频块。
25.一种视频处理方法,包括:为视频的当前视频块和视频的编解码表示之间的转换,应用唯一定义的取整过程,以执行用于生成中间视频块的比特移位,其中当前视频块使用编解码表示中的帧内模式进行编解码;以及使用中间视频块执行转换。
26.根据条款25所述的方法,其中,比特移位用于与残差块、预测块和/或重构样点推导相关联的一个或多个操作。
27.根据条款25或26所述的方法,其中,执行转换包括从当前视频块生成编解码表示。
28.根据条款25或26所述的方法,其中,执行转换包括从编解码表示生成当前视频块。
29.一种视频处理方法,包括:基于规则,确定在为视频的当前视频块的帧内角度模式预测的亮度参考样点的推导中使用线性插值滤波器;以及基于该决定,执行当前视频块和当前视频块的编解码表示之间的转换。
30.根据条款29所述的方法,其中,当前视频块是视频的预测块、变换块、编解码块、或编解码块的子分割。
31.根据条款29或30所述的方法,其中,规则指定基于当前视频块的至少一个大小来使用线性插值滤波器。
32.根据条款31所述的方法,其中,规则指定基于WB或HB中的至少一个来使用线性插值滤波器,并且其中,当前视频块具有WB×HB的尺寸,并且WB和HB是正整数。
33.根据条款32所述的方法,其中,当WB≥T1并且HB≥T2时,应用线性插值滤波器,并且其中T1和T2是正整数。
34.根据条款32所述的方法,其中,当WB≤T1并且HB≤T2时,应用线性插值滤波器,并且其中T1和T2是正整数。
35.根据条款32所述的方法,其中,当WB*HB≤T1或WB*HB≤T1时,应用线性插值滤波器,并且其中T1是正整数。
36.根据条款32所述的方法,其中,当min(WB,HB)≤T1或max(WB,HB)≤T1时,应用线性插值滤波器,其中T1是正整数。
37.根据条款32所述的方法,其中,当min(WB,HB)≥T1或max(WB,HB)≥T1时,应用线性插值滤波器,其中T1是正整数。
38.根据条款33至37中任一项所述的方法,其中T1或T2中的至少一个等于8或16。
39.根据条款29或30所述的方法,其中,规则指定基于帧内预测方向、色彩分量、包括当前视频块的图片或条带的类型中的至少一个来使用线性插值滤波器。
40.根据条款29至39中任一项所述的方法,其中,执行转换包括从当前视频块生成编解码表示。
41.根据条款29至39中任一项所述的方法,其中,执行转换包括从编解码表示生成当前视频块。
42.一种视频处理方法,包括:基于规则,确定使用视频的当前视频块的最近邻居样点来为当前视频块推导帧内角度模式预测中的亮度参考样点;以及使用亮度参考样点执行当前视频块和视频的编解码表示之间的转换。
43.根据条款42所述的方法,其中,当前视频块是视频的预测块、变换块、编解码块、或编解码块的子分割。
44.根据条款42或43所述的方法,其中,最近邻居样点被定义为参考样点的最近整数像素位置。
45.根据条款44所述的方法,其中,通过使用取整操作来获得最近邻居样点。
46.根据条款44所述的方法,其中,通过使用向下取整操作来获得最近邻居样点。
47.根据条款44所述的方法,其中,通过使用向上取整操作来获得最近邻居样点。
48.根据条款42或43所述的方法,其中,规则指定基于当前视频块的至少一个大小来使用最近邻居样点。
49.根据条款48所述的方法,其中,规则指定基于WB或HB中的至少一个来使用最近邻居样点,并且其中,当前视频块具有WB×HB的尺寸,并且WB和HB是正整数。
50.根据条款49所述的方法,其中,当WB≥T1并且HB≥T2时,应用最近邻居样点,并且其中T1和T2是正整数。
51.根据条款49所述的方法,其中,当WB≤T1并且HB≤T2时,应用最近邻居样点,并且其中T1和T2是正整数。
52.根据条款49所述的方法,其中,当WB*HB≤T1或WB*HB≤T1时,应用最近邻居样点,并且其中T1是正整数。
53.根据条款49所述的方法,其中,当min(WB,HB)≤T1或max(WB,HB)≤T1时,应用最近邻居样点,其中T1是正整数。
54.根据条款49所述的方法,其中,当min(WB,HB)≥T1或max(WB,HB)≥T1时,应用最近邻居样点,其中T1是正整数。
55.根据条款50至54中任一项所述的方法,其中T1或T2中的至少一个等于8或16。
56.根据条款42或43所述的方法,其中,规则指定基于帧内预测方向、色彩分量、包括当前视频块的图片或条带的类型中的至少一个来使用最近邻居样点。
57.根据条款42至56中任一项所述的方法,其中,执行转换包括从当前视频块生成编解码表示。
58.根据条款42至56中任一项所述的方法,其中,执行转换包括从编解码表示生成当前视频块。
59.一种视频***中的装置,包括处理器和其上具有指令的非暂时性存储器,其中指令在由处理器执行时使处理器实施条款1至58中任一项中的方法。
60.一种存储在非暂时性计算机可读介质上的计算机程序产品,该计算机程序产品包括用于执行条款1至58中任一项中的方法的程序代码。
从前述内容,将会理解,为了说明的目的,这里已经描述了当前公开的技术的具体实施例,但是在不脱离本发明的范围的情况下,可以进行各种修改。因此,除了所附权利要求之外,当前公开的技术不受限制。
本专利文档中描述的主题和功能操作的实施可以在各种***、数字电子电路或计算机软件、固件或硬件中实施,包括本说明书中公开的结构及其结构等同物,或者它们中的一个或多个的组合。本说明书中描述的主题的实施可以被实施为一个或多个计算机程序产品,即,编码在有形和非暂时性计算机可读介质上的计算机程序指令的一个或多个模块,用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储器设备、实施机器可读传播信号的物质组合、或者它们中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器,包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外,该装置可以包括为所讨论的计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理***、操作***或它们中的一个或多个的组合的代码。
计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以用任何形式的编程语言编写,包括编译或解释语言,并且它可以以任何形式部署,包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其他单元。计算机程序不一定对应于文件***中的文件。程序可以存储在保存其他程序或数据的文件的一部分(例如,存储在标记语言文档中的一个或多个脚本)中、专用于所讨论的程序的单个文件中、或在多个协调文件(例如,存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以被部署为在一台计算机上、或者位于一个站点或跨多个站点分布并通过通信网络互连的多台计算机上执行。
本说明书中描述的过程和逻辑流程可以由一个或多个可编程处理器来执行,该可编程处理器执行一个或多个计算机程序,以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路来执行,例如,现场可编程门阵列或专用集成电路,并且装置也可以被实施为该专用逻辑电路。
举例来说,适合于执行计算机程序的处理器包括通用和专用微处理器,以及任何种类的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本要素是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括或可操作地耦合到用于存储数据的一个或多个大容量存储设备(例如,磁盘、磁光盘或光盘),以从其接收数据或向其传送数据、或两者兼有。然而,计算机不需要这样的设备。适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,例如包括半导体存储器设备,例如,EPROM、EEPROM和闪速存储器设备。处理器和存储器可以由专用逻辑电路来补充或并入专用逻辑电路。
意图说明书以及附图仅被认为是示例性的,其中示例性意味着示例。如这里所使用的,“或”的使用意图包括“和/或”,除非上下文清楚地另外指明。
尽管本专利文档包含许多细节,但这些不应被解释为对任何发明或所要求保护的范围的限制,而是对特定发明的特定实施例的特定特征的描述。本专利文档中在单独实施例的上下文中描述的一些特征也可以在单个实施例中组合实施。相反,在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独实施或者在任何合适的子组合中实施。此外,尽管特征可以在上文中被描述为在一些组合中起作用,并且甚至最初被如此要求保护,但是在一些情况下,来自所要求保护的组合的一个或多个特征可以从该组合中删除,并且所要求保护的组合可以针对子组合或子组合的变型。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应该理解为要求以所示的特定顺序或序列顺序执行这些操作,或者要求执行所有示出的操作,以获得期望的结果。此外,本专利文档中描述的实施例中的各种***组件的分离不应理解为在所有实施例中都需要这种分离。
仅描述了几个实施和示例,并且可以基于本专利文档中描述和示出的内容做出其他实施、增强和变化。
Claims (48)
1.一种视频处理方法,包括:
为视频的当前视频块,使用根据第一规则选择的插值滤波器生成帧内预测块;以及
使用预测块执行当前视频块和视频的编解码表示之间的转换,
其中,所述第一规则指定对于帧内子分割(ISP)编解码块,基于帧内角度预测模式、块大小或宽角度模式的使用中的至少一个来选择插值滤波器,而不管所述当前视频块的帧内预测模式的类型。
2.根据权利要求1所述的方法,其中,所述当前视频块是视频的预测块、变换块、编解码块、或编解码块的子分割。
3.根据权利要求1所述的方法,其中,根据第一规则选择相同的插值滤波器,而不管当前视频块是使用常规帧内编解码还是帧内子分割(ISP)编解码来编解码。
4.根据权利要求3所述的方法,其中,跳过对ISP编解码的使用的检查。
5.根据权利要求1所述的方法,其中,所述第一规则基于当前视频块是否使用代表非分数偏移的宽角度模式进行编解码来选择插值滤波器。
6.根据权利要求1所述的方法,其中,所述第一规则指定基于minDistVerHor是否大于intraHorVerDistThres[nTbS]来选择插值滤波器,其中nTbS等于(Log2(nTbW)+Log2(nTbH))>>1,nTbW和nTbH表示当前视频块的变换宽度和高度,minDistVerHor被设置为等于Min(Abs(predModeIntra-50),Abs(predModeIntra-18)),并且阵列intraHorVerDistThres[]被定义为0、2、14或16之一。
7.根据权利要求1所述的方法,还包括:
基于第二规则,确定在为视频的当前视频块和视频的编解码表示之间的转换推导预测样点期间,是否在移位过程中应用取整操作,其中当前视频块使用编解码表示中的帧内模式进行编解码。
8.根据权利要求7所述的方法,其中,执行移位操作以得到移位值(A’),其中所述移位值(A’)对应于值(A)向右移位正整数值(rs)的值,值(A)是在帧内预测过程期间作为滤波器系数之和与参考样点、预测样点、重构样点或中间样点的乘积而获得的。
9.根据权利要求8所述的方法,其中,A’=A>>rs。
10.根据权利要求8所述的方法,其中,在使用等式A=((A+offset+b)>>rs)推导预测样点期间应用取整操作,其中(offset+b)不等于0。
11.根据权利要求10所述的方法,其中,offset等于1<<(rs-1)。
12.根据权利要求10所述的方法,其中,b取决于A的值。
13.根据权利要求7所述的方法,其中,所述第二规则指定在使用离散余弦变换插值滤波器、双线性插值滤波器或高斯插值滤波器中的至少一个的插值过程期间不应用取整操作。
14.根据权利要求7所述的方法,其中,所述第二规则指定关于为使用离散余弦变换插值色度滤波器的帧内亮度预测样点推导过程和帧间色度运动补偿过程的取整操作的选择性应用的相同确定。
15.根据权利要求7所述的方法,其中,所述第二规则指定不应用取整操作来推导基于矩阵的帧内预测中的下采样和/或上采样样点。
16.根据权利要求8所述的方法,其中,所述第二规则指定应用取整操作来推导基于矩阵的帧内预测中的下采样和/或上采样样点。
17.根据权利要求16所述的方法,其中,应用取整操作来使用等式A=((A+offset-(A>=0))>>rs)推导下采样样点。
18.根据权利要求16所述的方法,其中,应用取整操作来使用等式A=((A+offset-(A<0))>>rs)推导上采样样点。
19.根据权利要求1所述的方法,还包括:
为视频的当前视频块和视频的编解码表示之间的转换,应用唯一定义的取整过程,以执行用于生成中间视频块的比特移位,其中当前视频块使用编解码表示中的帧内模式进行编解码。
20.根据权利要求19所述的方法,其中,所述比特移位用于与残差块、预测块和/或重构样点推导相关联的一个或多个操作。
21.根据权利要求1所述的方法,还包括:
基于第三规则,确定在为视频的当前视频块的帧内角度模式预测的亮度参考样点的推导中使用线性插值滤波器。
22.根据权利要求21所述的方法,其中,所述第三规则指定基于当前视频块的至少一个大小来使用线性插值滤波器。
23.根据权利要求22所述的方法,其中,所述第三规则指定基于WB或HB中的至少一个来使用线性插值滤波器,并且其中,当前视频块具有WB×HB的尺寸,并且WB和HB是正整数。
24.根据权利要求23所述的方法,其中,当WB≥T1并且HB≥T2时,应用线性插值滤波器,并且其中T1和T2是正整数。
25.根据权利要求23所述的方法,其中,当WB≤T1并且HB≤T2时,应用线性插值滤波器,并且其中T1和T2是正整数。
26.根据权利要求23所述的方法,其中,当WB*HB≤T1或WB*HB≤T1时,应用线性插值滤波器,并且其中T1是正整数。
27.根据权利要求23所述的方法,其中,当min(WB,HB)≤T1或max(WB,HB)≤T1时,应用线性插值滤波器,其中T1是正整数。
28.根据权利要求23所述的方法,其中,当min(WB,HB)≥T1或max(WB,HB)≥T1时,应用线性插值滤波器,其中T1是正整数。
29.根据权利要求24至28中任一项所述的方法,其中,T1或T2中的至少一个等于8或16。
30.根据权利要求21所述的方法,其中,所述第三规则指定基于帧内预测方向、色彩分量、包括当前视频块的图片或条带的类型中的至少一个来使用线性插值滤波器。
31.根据权利要求1所述的方法,还包括:
基于第四规则,确定使用视频的当前视频块的最近邻居样点来为当前视频块推导帧内角度模式预测中的亮度参考样点。
32.根据权利要求31所述的方法,其中,所述最近邻居样点被定义为参考样点的最近整数像素位置。
33.根据权利要求32所述的方法,其中,通过使用取整操作来获得最近邻居样点。
34.根据权利要求32所述的方法,其中,通过使用向下取整操作来获得最近邻居样点。
35.根据权利要求32所述的方法,其中,通过使用向上取整操作来获得最近邻居样点。
36.根据权利要求31所述的方法,其中,所述第四规则指定基于当前视频块的至少一个大小来使用最近邻居样点。
37.根据权利要求36所述的方法,其中,所述第四规则指定基于WB或HB中的至少一个来使用最近邻居样点,并且其中,当前视频块具有WB×HB的尺寸,并且WB和HB是正整数。
38.根据权利要求37所述的方法,其中,当WB≥T1并且HB≥T2时,应用最近邻居样点,并且其中T1和T2是正整数。
39.根据权利要求37所述的方法,其中,当WB≤T1并且HB≤T2时,应用最近邻居样点,并且其中T1和T2是正整数。
40.根据权利要求37所述的方法,其中,当WB*HB≤T1或WB*HB≤T1时,应用最近邻居样点,并且其中T1是正整数。
41.根据权利要求37所述的方法,其中,当min(WB,HB)≤T1或max(WB,HB)≤T1时,应用最近邻居样点,其中T1是正整数。
42.根据权利要求37所述的方法,其中,当min(WB,HB)≥T1或max(WB,HB)≥T1时,应用最近邻居样点,其中T1是正整数。
43.根据权利要求38至42中任一项所述的方法,其中,T1或T2中的至少一个等于8或16。
44.根据权利要求31所述的方法,其中,所述第四规则指定基于帧内预测方向、色彩分量、包括当前视频块的图片或条带的类型中的至少一个来使用最近邻居样点。
45.根据权利要求1至28、30至42和44中任一项所述的方法,其中,执行所述转换包括从当前视频块生成编解码表示。
46.根据权利要求1至28、30至42和44中任一项所述的方法,其中,执行所述转换包括从编解码表示生成当前视频块。
47.一种视频***中的装置,包括处理器和其上具有指令的非暂时性存储器,其中所述指令在由所述处理器执行时使所述处理器实施根据权利要求1至46中任一项所述的方法。
48.一种存储指令的非暂时性计算机可读存储介质,所述指令使处理器执行根据权利要求1至46中任一项所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2019086810 | 2019-05-14 | ||
CNPCT/CN2019/086810 | 2019-05-14 | ||
PCT/CN2020/090193 WO2020228761A1 (en) | 2019-05-14 | 2020-05-14 | Filter selection for intra video coding |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113812152A CN113812152A (zh) | 2021-12-17 |
CN113812152B true CN113812152B (zh) | 2023-10-03 |
Family
ID=73289785
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080035214.6A Active CN113812152B (zh) | 2019-05-14 | 2020-05-14 | 帧内视频编解码的滤波器选择 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113812152B (zh) |
WO (1) | WO2020228761A1 (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101505425A (zh) * | 2009-03-11 | 2009-08-12 | 北京中星微电子有限公司 | 一种宏块滤波方法及装置 |
WO2015127581A1 (en) * | 2014-02-25 | 2015-09-03 | Mediatek Singapore Pte. Ltd. | Methods for switching off the intra prediction filters |
CN105981385A (zh) * | 2014-01-02 | 2016-09-28 | 寰发股份有限公司 | 具有边界滤波控制的帧内预测编码方法及其装置 |
KR20160112810A (ko) * | 2015-03-20 | 2016-09-28 | 삼성전자주식회사 | 이미지 처리 방법 및 그 전자 장치 |
CN107736023A (zh) * | 2015-06-18 | 2018-02-23 | 高通股份有限公司 | 帧内预测及帧内模式译码 |
CN107743705A (zh) * | 2015-06-18 | 2018-02-27 | 高通股份有限公司 | 帧内预测及帧内模式译码 |
CN107750455A (zh) * | 2015-06-18 | 2018-03-02 | 高通股份有限公司 | 帧内预测及帧内模式译码 |
CN108712650A (zh) * | 2012-06-29 | 2018-10-26 | 韩国电子通信研究院 | 视频解码方法、视频编码方法和计算机可读介质 |
CN109417625A (zh) * | 2016-05-05 | 2019-03-01 | Vid拓展公司 | 用于帧内编码的基于控制点的帧内方向表示 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7929610B2 (en) * | 2001-03-26 | 2011-04-19 | Sharp Kabushiki Kaisha | Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding |
US9008175B2 (en) * | 2010-10-01 | 2015-04-14 | Qualcomm Incorporated | Intra smoothing filter for video coding |
US9451254B2 (en) * | 2013-07-19 | 2016-09-20 | Qualcomm Incorporated | Disabling intra prediction filtering |
EP4087247A1 (en) * | 2014-02-26 | 2022-11-09 | Dolby Laboratories Licensing Corp. | Luminance based coding tools for video compression |
US10194170B2 (en) * | 2015-11-20 | 2019-01-29 | Mediatek Inc. | Method and apparatus for video coding using filter coefficients determined based on pixel projection phase |
US10419755B2 (en) * | 2016-05-16 | 2019-09-17 | Qualcomm Incorporated | Confusion of multiple filters in adaptive loop filtering in video coding |
US10382781B2 (en) * | 2016-09-28 | 2019-08-13 | Qualcomm Incorporated | Interpolation filters for intra prediction in video coding |
-
2020
- 2020-05-14 WO PCT/CN2020/090193 patent/WO2020228761A1/en active Application Filing
- 2020-05-14 CN CN202080035214.6A patent/CN113812152B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101505425A (zh) * | 2009-03-11 | 2009-08-12 | 北京中星微电子有限公司 | 一种宏块滤波方法及装置 |
CN108712650A (zh) * | 2012-06-29 | 2018-10-26 | 韩国电子通信研究院 | 视频解码方法、视频编码方法和计算机可读介质 |
CN105981385A (zh) * | 2014-01-02 | 2016-09-28 | 寰发股份有限公司 | 具有边界滤波控制的帧内预测编码方法及其装置 |
WO2015127581A1 (en) * | 2014-02-25 | 2015-09-03 | Mediatek Singapore Pte. Ltd. | Methods for switching off the intra prediction filters |
KR20160112810A (ko) * | 2015-03-20 | 2016-09-28 | 삼성전자주식회사 | 이미지 처리 방법 및 그 전자 장치 |
CN107736023A (zh) * | 2015-06-18 | 2018-02-23 | 高通股份有限公司 | 帧内预测及帧内模式译码 |
CN107743705A (zh) * | 2015-06-18 | 2018-02-27 | 高通股份有限公司 | 帧内预测及帧内模式译码 |
CN107750455A (zh) * | 2015-06-18 | 2018-03-02 | 高通股份有限公司 | 帧内预测及帧内模式译码 |
CN109417625A (zh) * | 2016-05-05 | 2019-03-01 | Vid拓展公司 | 用于帧内编码的基于控制点的帧内方向表示 |
Non-Patent Citations (1)
Title |
---|
Alexey Filippov.Non-CE3: LUT-free interpolation filters for intra prediction.《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 9–18 Jan. 2019》.2019,全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN113812152A (zh) | 2021-12-17 |
WO2020228761A1 (en) | 2020-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113785572B (zh) | 使用多个参考滤波器的帧内视频编解码 | |
CN113545036B (zh) | 对环路内滤波的限制 | |
KR102201051B1 (ko) | 비디오 코딩 방법 및 장치 | |
CN110855987B (zh) | 用于在双边滤波器中的加权参数推导的量化差 | |
CN114223208B (zh) | 为视频中的缩减二次变换的边信息的上下文建模 | |
US11445183B2 (en) | Chroma intra mode derivation in screen content coding | |
US20240114133A1 (en) | Size restriction based on color format | |
JP7322285B2 (ja) | クロマデブロックフィルタリングのための量子化パラメータオフセット | |
CN114143539B (zh) | 用于预测的方法和装置 | |
KR20220016844A (ko) | 비디오 비트스트림들에서 감축된 2차 변환의 조건부 시그널링 | |
CN114009024B (zh) | 视频编解码中自适应环内颜色空间变换的选择性启用 | |
US20170006283A1 (en) | Computationally efficient sample adaptive offset filtering during video encoding | |
CN114223200B (zh) | 位置相关帧内预测样点滤波 | |
KR20220038690A (ko) | 인트라 모드에서 예측 샘플 필터링을 위한 가중 인자들 | |
WO2020125803A1 (en) | Intra prediction using polynomial model | |
CN114270848A (zh) | 在去方块滤波中使用边界强度 | |
CN115349261A (zh) | 使用语法元素的视频处理 | |
CN113812152B (zh) | 帧内视频编解码的滤波器选择 | |
KR20240091033A (ko) | 다중 레퍼런스 필터를 사용한 인트라 비디오 코딩 | |
CN114868391B (zh) | 编解码块或子块边界处的去方块滤波 | |
US20240040130A1 (en) | Compresssed picture-in-picture signaling | |
CN117176969A (zh) | 用于视频编解码的去方块滤波器 | |
CN115211118A (zh) | 用于视频编解码的基于聚类的调色板模式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |