CN112889279A - 视频编解码方法及装置 - Google Patents

视频编解码方法及装置 Download PDF

Info

Publication number
CN112889279A
CN112889279A CN201980064848.1A CN201980064848A CN112889279A CN 112889279 A CN112889279 A CN 112889279A CN 201980064848 A CN201980064848 A CN 201980064848A CN 112889279 A CN112889279 A CN 112889279A
Authority
CN
China
Prior art keywords
video sequence
cclm
samples
sample
interpolation filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980064848.1A
Other languages
English (en)
Other versions
CN112889279B (zh
Inventor
赵亮
赵欣
李翔
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN112889279A publication Critical patent/CN112889279A/zh
Application granted granted Critical
Publication of CN112889279B publication Critical patent/CN112889279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频序列编解码方法及装置,包括:对视频序列应用交叉分量线性模型(CCLM),并在所述CCLM中应用内插滤波器,其中,所述内插滤波器取决于所述视频序列的YUV格式。

Description

视频编解码方法及装置
引用并入
本申请要求于2018年12月18日提交的、申请号为62/781,316的美国临时申请的优先权,于2018年12月27日提交的、申请号为62/785,678的美国临时申请的优先权,于2019年1月4日提交的、申请号为62/788,729的美国临时申请的优先权,于2019年1月8日提交的、申请号为62/789,992的美国临时申请的优先权,以及于2019年7月26日提交的、申请号为16/523,258的美国申请的优先权,其全部内容通过引用并入本申请中。
技术领域
本申请实施例中的方法和装置涉及视频处理,尤其涉及对视频序列进行编码或解码,从而简化交叉分量线性模型预测模式。
背景技术
目前,国际电信联盟(ITU)的一个组,ITU电信标准组(ITU-T)的视频编码专家组(VCEG)ITU-T,以及国际标准组织(ISO)和国际电工委员会(IEC)的联合技术委员会ISO/IECJTC 1的标准子委员会ISO/IEC MPEG(/SC 29/WG11),在2013年发布了H.265/HEVC(高效视频编码)标准(版本1)。这个标准后续在2014年更新至版本2,在2015年更新至版本3,在2016年更新至版本4。
在2017年10月,他们发出了联合呼吁,征集针对具有超出HEVC(CfP)能力的视频压缩的提案。截至2018年2月15日,分别提交了针对标准动态范围(SDR)的共22个CfP响应、针对高动态范围(HDR)的12个CfP响应和针对360种视频类别的12个CfP响应。2018年4月,在122运动图象专家组(MPEG)/第十次JVET会议上,对所有收到的CfP响应都进行了评估。作为此次会议的结果,JVET正式启动了超过HEVC的下一代视频编码的标准化。新的标准被命名为通用视频编码(VVC),并且JVET被重新命名为联合视频专家组。
下面将描述在HEVC中针对亮度分量的帧内预测模式。图1中示出了在HEVC中使用的帧内预测模式。在HEVC中,总共35个帧内预测模式,其中,模式10是水平模式,模式26是竖直模式,模式2、18和34是对角线模式。帧内预测模式可以由三个最可能模式(MPM)和其余32个模式来表示。
下面将描述在VVC中针对亮度分量的帧内预测模式。在目前VVC的进展中,总共有95个帧内预测模式,如图2所示。其中,模式18是水平模式,模式50是竖直模式,模式2、34和66是对角模式。模式-1至-14和模式67至80可以称为广角帧内预测(WAIP)模式。
下面将描述在VVC中针对色度分量的帧内预测模式。在VTM中,对于帧内PU的色度分量,编码器可以从8个模式中选择最佳的色度预测模式,这8个模式包括平面模式、DC模式、水平模式、垂直模式、从亮度分量直接复制的帧内预测模式(DM)、左上交叉分量线性模型(Left and Top Cross-component Linear Mode,LT_CCLM)、左交叉分量线性模型(LeftCross-component Linear Mode,L_CCLM)、上交叉分量线性模型(Top Cross-componentLinear Mode,T_CCLM)。这3种模式的区别是在于,可以使用不同区域的相邻样本导出参数α和β。对于LT_CCLM,左相邻样本和上相邻样本都可以用于导出参数α和β。对于L_CCLM,一般只有左相邻样本用于导出参数α和β。对于T_CCLM,一般只有上相邻样本用于导出参数α和β。
CCLM预测模式可以用于减少交叉分量冗余,其中,可使用如下所示的线性模型,基于相同CU的已重建亮度样本,来预测色度样本:
predC(i,j)=α·recL'(i,j)+β
其中,pred_C(i,j)表示CU中的预测色度样本,rec_L(i,j)表示相同CU的下采样已重建亮度样本。可以通过直线方程导出参数α和β,也被成为最大-最小方法。这个计算过程可以作为解码过程的一部分来执行,而不只是作为编码器的搜索操作,所以,不必需要任何语法来传达α和β的值。
图3A-3D示出了不同的YUV格式。对于4:2:0格式,LM预测可以使用六抽头插值滤波器来获得对应于色度样本的下采样亮度样本,如图3A-3D所示。下采样亮度样本Rec’L[x,y]可以从已重建亮度样本中计算得到,表示成公式如下所示:
Rec'L[x,y]=(2×RecL[2x,2y]+2×RecL[2x,2y+1]+
RecL[2x-1,2y]+RecL[2x+1,2y]+
RecL[2x-1,2y+1]+RecL[2x+1,2y+1]+4)>>3
下采样亮度样本可以用于发现最大样本点和最小样本点。如图4所示,两个点(亮度色度对)(A,B)是相邻亮度样本集内的最小值(A)和最大值(B)。线性模型参数α和β可以根据如下等式获得:
Figure BDA0003001751460000031
β=yA-αxA
这里,可以避免使用除法,并且用乘法和移位来代替除法。可以使用一个查找表(LUT)来存储预先计算的值,并且可以使用最大亮度样本和最小亮度样本之间的绝对差值来指定LUT的条目索引,并且LUT的大小可以是512。
此外,在指定的相邻样本区域内最大亮度样本值和最小亮度样本值之间的绝对差,由diff_Y表示,可以是非均匀量化的,并且绝对差的量化值可以用于指定CCLM查找表(LUT)的条目索引,使得LUT的大小减小。diff_Y的范围被划分为多个区间,并且在不同的区间中可以使用不同的量化步长。在一个示例中,diff_Y的范围可以被划分为两个区间,如果diff_Y低于或等于阈值Thres_1,则使用步长Step_A。否则,使用另一步长Step_B。因此,CCLM中的参数a可以如下获得:
Figure BDA0003001751460000032
这里,Thres_1、Step_A和Step_B可以是任何正整数,例如1、2、3、4等。此外,Step_A和Step_B不相等。
为了导出色度预测值,对于当前的VTM实现,乘法由如下的整数运算代替,其中maxY、minY、maxC和minC分别表示最大亮度样本值、最小亮度样本值、最大色度样本值和最小色度样本值。numSampL和numSampT分别表示可用的左相邻样本和上相邻样本的数量。下文来自VVC草案3条款8.2.4.2.8。
变量a、b和k如下导出:
如果numSampL等于0,并且numSampT等于0,则以下适用:
k=0
a=0
b=1<<(BitDepthC-1)
否则,以下适用:
shift=(BitDepthC>8)?BitDepthC-9:0
add=shift?1<<(shift-1):0
diff=(maxY-minY+add)>>shift
k=16
如果diff大于0,则以下适用:
div=((maxC-minC)*(Floor(232/diff)-Floor(216/diff)*216)+215)>>16
a=((maxC-minC)*Floor(216/diff)+div+add)>>shift
否则,以下适用:
a=0
b=minC-((a*minY)>>k)
用于如果diff大于0的等式也可以简化为:
a=((maxC-minC)*Floor(216/diff)+add)>>shift
在导出参数a和b之后,如下计算色度预测值:
predC(i,j)=(a·recL'(i,j))>>S+b
由于变量“diff”的范围是从1到512,所以可以预先计算Floor(216/diff)的值,并且将其存储在大小等于512的查找表(LUT)中。另外,diff的值用于指定查找表的条目索引。
该计算过程作为解码过程的一部分被执行,而不仅仅作为编码器搜索操作,因此不使用语法来传达α和β值。
在T_CCLM模式中,仅使用上相邻样本(包括2*W个样本)来计算线性模型系数。在L_CCLM模式中,仅使用左相邻样本(包括2*H个样本)来计算线性模型系数。如图6A至图7B中所示。
CCLM预测模式还包括两个色度分量之间的预测,即,可以从Cb分量预测Cr分量。代替使用已重建样本信号,可以在残差域中应用CCLM Cb到Cr预测。可以通过将已加权和重建的Cb残差添加到原始Cr帧内预测中,形成最终Cr预测:
Figure BDA0003001751460000051
可以增加一种CCLM亮度到色度预测模式,作为一个附加的色度帧内预测模式。在编码器侧处,可以添加对色度分量的至少一个RD成本检查,用于选择色度帧内预测模式。当将不同于CCLM亮度到色度预测模式的一个帧内预测模式用于CU的色度分量时,CCLM Cb到Cr预测可以用于Cr分量预测。
多模型CCLM(MMLM)是CCLM的另一扩展。如名称所示,在MMLM中可以存在至少两个的模型,例如两个模型。在MMLM中,当前块的相邻亮度样本和相邻色度样本可以被分类为两组,每组可以用作训练集,以导出线性模型(即,针对特定组导出特定α和β)。此外,也可以基于与相邻亮度样本的分类相同的规则,对当前亮度块的样本进行分类。
图8示出了将相邻样本分类为两组的示例。这里,可以将阈值计算为相邻已重建亮度样本的平均值。Rec'L[x,y]≤阈值的相邻样本可以被分类到组1;而Rec'L[x,y]>阈值的相邻样本可以被分类到组2:
Figure BDA0003001751460000061
局部照明补偿(LIC)是基于一种针对照明变化的线性模型,该线性模型使用缩放因子a和偏移b。对于每个帧间模式编码的编码单元(CU),可以自适应地启用或禁用它。
当将LIC应用于CU时,可采用最小平方误差方法,通过使用当前CU的相邻样本以及它们对应的参考样本,导出参数a和b。更具体地,如图14所示,使用当前CU1410(如图14的部分(a)中所示)的经子采样(2:1子采样)的相邻样本,以及参考图片或块1420中(如图14的部分(b)中所示)中相应的样本(由当前CU或子CU的运动信息识别)。可以导出IC参数,并且分别应用于每个预测方向。
当CU是用合并模式编码时,类似于合并模式下的运动信息复制,从相邻块复制LIC标志;否则,为CU发信号通知LIC标志,以指示是否应用LIC。
尽管有上述进展,但是现有技术仍存在问题。当前在VTM3.0中,对于4:2:0YUV格式,可以将6抽头内插滤波器应用于指定的相邻区域中的所有亮度样本,但最终仅使用具有最大值和最小值的两个亮度样本来导出CCLM参数,这增加了解码器复杂性,而在编解码效率方面没有明显的益处。此外,在VTM3.0中,用于CCLM中的亮度样本的内插滤波器仅支持4:2:0YUV格式,然而,4:4:4和4:2:2YUV格式仍然流行并且需要支持。
当前在VTM3.0中,用于CCLM的查找表(LUT)的大小是512,即,查找表具有512个元素,并且每个元素由16比特整数表示,这大大增加了解码器的存储器成本,而在编解码效率方面没有明显的益处。此外,尽管CCLM和LIC的概念是类似的,但是它们使用不同的方法来导出线性模型的参数a和b,这是不期望的。
当前在VTM3.0中,对于诸如32x32色度块的大块,使用指定的相邻区域中的64个样本来计算最大值和最小值,这增加了解码器的复杂性,而在编解码效率方面没有明显的益处。
当前在VTM3.0中,对于诸如64x64块的大块,使用指定的相邻区域中的64个样本来计算线性模型参数a和b,这增加了解码器的复杂性,而在编解码效率方面没有明显的益处。
发明内容
根据本申请的一个方面,一种视频序列编解码方法包括:对视频序列应用交叉分量线性模型CCLM;在所述CCLM中应用内插滤波器,其中,所述内插滤波器取决于所述视频序列的YUV格式。
根据本申请的一个方面,在上述方法中,在所述CCLM中应用所述内插滤波器时,所述方法还包括:使用所述内插滤波器的抽头,所述抽头取决于所述视频序列的YUV格式。
根据本申请的这个方面,所述方法还包括:使用在所述CCLM中使用的所述内插滤波器的抽头,所述抽头的格式与所述视频序列的YUV格式相同。
根据本申请的一个方面,在上述方法中,在所述CCLM中应用所述内插滤波器时,所述方法还包括:当所述视频序列的YUV格式为4:4:4或4:2:2时,将所述内插滤波器的格式设置为与所述视频序列的格式相同;当所述视频序列的YUV格式为4:2:0时,将所述内插滤波器的格式设置为与所述视频序列的格式不同。
根据本申请的一个方面,在上述方法中,在所述CCLM中应用所述内插滤波器时,所述方法还包括:使用所述内插滤波器的抽头,所述抽头对于所述视频序列的不同YUV模式是不同的。
根据本申请的一个方面,在上述方法中,在所述CCLM中应用所述内插滤波器时,所述方法还包括:对于上相邻亮度已重建样本和左相邻亮度已重建样本,设置的所述内插滤波器不同。
根据本申请的这个方面,所述方法还包括:将所述内插滤波器应用于所述上相邻亮度已重建样本和所述左相邻亮度已重建样本时,对所述内插滤波器进行设置,使得所述内插滤波器取决于所述视频序列的YUV格式。
根据本申请的一个方面,所述方法还包括:设置所述CCLM中使用的上相邻亮度样本中行的数量以及左相邻亮度样本中列的数量,使得所述行的数量和所述列的数量取决于所述视频序列的YUV格式。
根据本申请的这个方面,所述方法还包括:针对具有4:4:4YUV格式或4:2:2YUV格式的视频序列,使用所述CCLM中上相邻区域中的一行,和/或,左相邻区域中的一列。
根据本申请的这个方面,所述方法还包括:针对具有4:2:2YUV格式的视频序列,使用所述CCLM中上相邻区域中的一行,和/或,左相邻区域中的至少两列。
根据本申请的一个方面,一种视频序列编解码设备包括:至少一个存储器,用于存储程序代码;至少一个处理器,用于读取所述程序代码,根据所述程序代码的指令进行操作,所述程序代码包括:第一编解代码,用于使得所述至少一个处理器,对视频序列应用交叉分量线性模型CCLM,在所述CCLM中应用内插滤波器,其中,所述内插滤波器取决于所述视频序列的YUV格式。
根据本申请的一个方面,所述第一编解代码还包括代码,用于使得所述至少一个处理器,使用应用于所述CCLM中的所述内插滤波器的抽头,所述抽头取决于所述视频序列的YUV格式。
根据本申请的这个方面,所述第一编解代码还包括代码,用于使得所述至少一个处理器,使用在所述CCLM中使用的所述内插滤波器的抽头,所述抽头的格式与所述视频序列的YUV格式相同。
根据本申请的一个方面,所述第一编解代码还包括代码,用于使得所述至少一个处理器,当所述视频序列的YUV格式为4:4:4或4:2:2时,将所述内插滤波器的格式设置为与所述视频序列的格式相同;当所述视频序列的YUV格式为4:2:0时,将所述内插滤波器的格式设置为与所述视频序列的格式不同。
根据本申请的一个方面,所述第一编解代码还包括代码,用于使得所述至少一个处理器,使用所述内插滤波器的抽头,所述抽头对于所述视频序列的不同YUV模式是不同的。
根据本申请的一个方面,所述第一编解代码还包括代码,用于使得所述至少一个处理器,对于上相邻亮度已重建样本和左相邻亮度已重建样本,设置的所述内插滤波器不同。
根据本申请的这个方面,所述第一编解代码还包括代码,用于使得所述至少一个处理器,将所述内插滤波器应用于所述上相邻亮度已重建样本和所述左相邻亮度已重建样本时,对所述内插滤波器进行设置,使得所述内插滤波器取决于所述视频序列的YUV格式。
根据本申请的一个方面,所述第一编解代码还包括代码,用于使得所述至少一个处理器,设置所述CCLM中使用的上相邻亮度样本中行的数量以及左相邻亮度样本中列的数量,使得所述行的数量和所述列的数量取决于所述视频序列的YUV格式。
根据本申请的这个方面,所述第一编解代码还包括代码,用于使得所述至少一个处理器,针对具有4:4:4YUV格式或4:2:2YUV格式的视频序列,使用所述CCLM中上相邻区域中的一行,和/或,左相邻区域中的一列。
根据本申请的一个方面,一种非暂时性计算机可读介质,其上存储有程序代码,所述程序代码包括至少一个指令,当所述至少一个指令由设备的至少一个处理器执行时,使得所述至少一个处理器:对视频序列应用交叉分量线性模型CCLM,并在所述CCLM中应用内插滤波器,其中,所述内插滤波器取决于所述视频序列的YUV格式。
虽然上述方法、设备、非暂时性计算机可读介质是分别描述的,这些描述并不旨在于对所使用的范围及其功能给出任何限制。实际上,这些方法、设备、非暂时性计算机可读介质可以在本申请的其他方面进行组合。
附图说明
根据以下详细描述和附图,所公开的主题的其他特征、性质和各种优点将进一步明确,其中:
图1示出了根据本申请一实施例的预测模型的示意图;
图2示出了根据本申请另一实施例的预测模型的示意图;
图3A示出了根据本申请一实施例的YUV格式的示意图;
图3B示出了根据本申请另一实施例的YUV格式的示意图;
图3C示出了根据本申请又一实施例的YUV格式的示意图;
图3D示出了根据本申请另一实施例的YUV格式的示意图;
图4示出了根据本申请实施例的不同亮度值的示意图;
图5A示出了根据本申请一实施例的在CCLM模型中使用的样本的示意图;
图5B示出了根据本申请另一实施例的在CCLM模型中使用的样本的示意图;
图6A示出了根据本申请一实施例的在CCLM模型中使用的样本的示意图;
图6B示出了根据本申请另一实施例的在CCLM模型中使用的样本的示意图;
图7A示出了根据本申请一实施例的在CCLM模型中使用的样本的示意图;
图7B示出了根据本申请另一实施例的在CCLM模型中使用的样本的示意图;
图8示出了根据本申请实施例的使用多模型CCLM进行分类的示例;
图9示出了根据本申请实施例的通信***的简化框图的示意图;
图10示出了根据本申请实施例的流环境的示意图;
图11示出了根据本申请实施例的视频解码器的简化框图的示意图;
图12示出了根据本申请实施例的视频编码器的简化框图的示意图;
图13示出了根据本申请实施例的视频序列编解码方法的流程图;
图14示出了根据本申请实施例的用于导出IC参数的相邻样本的示意图;
图15、16、17、18、19、20、21、22、23和24示出了根据本申请实施例的用于计算最大样本值和最小样本值的当前CU和该当前CU的相邻已重建样本的子集的示意图;
图25和26示出了根据本申请实施例的用于计算最大样本值和最小样本值的色度块和该色度块的已选相邻样本的示意图;
图27和28示出了根据本申请实施例的用于亮度样本的滤波器的位置的示意图;
图29和30示出了根据本申请实施例的用于计算线性模型预测模式的参数的当前CU和该当前CU的相邻样本对的子集的示意图;
图31、32、33、34、35和36示出了根据本申请实施例的用于计算线性模型参数的块和该块的已选相邻样本的示意图;及,
图37是根据本申请实施例的计算机***的示意图。
具体实施方式
图9是根据本申请公开的实施例的通信***(400)的简化框图。通信***(400)包括至少两个终端(410-420),这两个终端通过网络(450)互连。对于单向数据传输,第一终端(410)可对本地视频数据进行编码以通过网络(450)传输到第二终端(420)。第二终端(420)可从网络(450)接收已编码视频数据,对已编码视频数据进行解码并显示已恢复的视频数据。单向数据传输在媒体服务等应用中是较常见的。
通信***(400)包括支持已编码视频数据的双向传输的另一对终端(430,440),所述双向传输例如发生在视频会议期间。对于双向数据传输,每个终端(430,440)可对本地采集的视频数据进行编码,以通过网络(450)传输到另一终端。每个终端(430,440)还可接收另一终端传输的已编码视频数据,且可对所述已编码视频数据进行解码,并在本地显示设备上显示已恢复的视频数据。
在图9中,终端(410-440)可被示例为服务器、个人计算机和智能电话,但本申请并不限于此。本申请公开的实施例适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络(450)表示在终端(410-440)之间传送已编码视频数据的任何数量的目的网络,包括例如有线和/或无线通信网络。通信网络(450)可在电路交换和/或分组交换信道中交换数据。典型的网络可包括电信网络、局域网、广域网和/或互联网。出于本申请讨论的目的,除非在下文中有所解释,否则网络(450)的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。
作为实施例,图10示出视频编码器和视频解码器在流式传输环境中的放置方式。本申请所公开主题可同等地适用于其它支持视频的应用,包括例如视频会议、数字TV、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等等。
流式传输***可包括采集子***(513),所述采集子***可包括数码相机等视频源(501),所述视频源创建例如未压缩的视频图片流(502)。相较于已编码的视频码流,样本流(502)被描绘为粗线以突出数据量更高,视频图片流(502)可由耦接到照相机(501)的电子装置(520)处理。编码器(503)可包括硬件、软件或软硬件组合以实现或实施如下文更详细地描述的所公开主题的各方面。相较于样本流,已编码的视频码流(504)被描绘为细线以突出数据量较低,其可存储在流式服务器(505)上以供将来使用。至少一个流式客户端(506,508)可以访问流式服务器(505),来检索已编码的视频码流(504)的副本(507,509)。客户端(506)可包括视频解码器(510)。视频解码器(510)对已编码的视频码流的传入副本(507)进行解码,且产生输出视频样本流(511),可在显示屏(512)或其他呈现装置(未描绘)上呈现。在一些流式传输***中,可根据某些视频编码/压缩标准,对已编码的视频码流(504,507,509)进行编码。该些标准的实施例包括ITU-T H.265。在本申请实施例中,正在开发的视频编码标准非正式地称为下一代视频编码(Versatile Video Coding,VVC),本申请实施例可用于VVC标准的上下文中。
图11是根据本申请公开的实施例的视频解码器(510)的框图。
接收器(610)可接收由视频解码器(610)解码的至少一个已编码视频序列;在同一实施例或另一实施例中,一次接收一个已编码视频序列,其中每个已编码视频序列的解码独立于其它已编码视频序列。可从信道(612)接收已编码视频序列,所述信道可以是硬件/软件链路,通向存储已编码的视频数据的存储装置。接收器(610)可接收已编码的视频数据以及其它数据,例如,已编码音频数据和/或辅助数据流,可转发到它们各自的使用实体(未标示)。接收器(610)可将已编码视频序列与其它数据分开。为了防止网络抖动,缓冲存储器(615)可耦接在接收器(610)与熵解码器/解析器(620)(此后称为“解析器”)之间。当接收器(610)从具有足够带宽和可控性的存储/转发装置,或从等时同步网络,接收数据时,缓冲存储器(615)可以不需要,或可以较小。为了在互联网等最大努力分组网络上使用,也可能需要缓冲存储器(615),所述缓冲存储器可相对较大且可具有自适应性大小。
视频解码器(510)可包括解析器(620)以根据已编码视频序列重建符号(621)。这些符号的类别包括用于管理解码器(510)的操作的信息,以及用以控制显示屏(512)等显示装置的潜在信息,所述显示装置不是解码器的组成部分,但可耦接到解码器,如图11中所示。用于显示装置的控制信息可以是辅助增强信息(Supplemental EnhancementInformation,SEI消息)或视频可用性信息(Video Usability Information,VUI)的参数集片段(未标示)。解析器(620)可对接收到的已编码视频序列进行解析/熵解码。已编码视频序列的编码可根据视频编码技术或标准进行,且可遵循各种原理,包括可变长度编码、霍夫曼编码(Huffman coding)、具有或不具有上下文灵敏度的算术编码等等。解析器(620)可基于对应于群组的至少一个参数,从已编码视频序列提取用于视频解码器中的像素的子群中的至少一个子群的子群参数集。子群可包括图片群组(Group of Pictures,GOP)、图片、图块、切片、宏块、编码单元(Coding Unit,CU)、块、变换单元(Transform Unit,TU)、预测单元(Prediction Unit,PU)等等。熵解码器/解析器还可从已编码视频序列提取信息,例如变换系数、量化器参数值、运动矢量等等。
解析器(620)可对从缓冲存储器(615)接收的视频序列执行熵解码/解析操作,从而创建符号(621)。解析器(620)可以接收已编码数据,选择性地对特定符号(621)进行解码。另外,解析器(620)可以确定特定符号(621)是否被提供给运动补偿预测单元(653)、缩放器/逆变换单元(651)、帧内预测单元(652),或者环路滤波器(656)。
取决于已编码视频图片或一部分已编码视频图片(例如:帧间图片和帧内图片、帧间块和帧内块)的类型以及其它因素,符号(621)的重建可涉及多个不同单元。涉及哪些单元以及涉及方式可由解析器(620)根据从已编码视频序列解析出的子群控制信息进行控制。为了简洁起见,未描述解析器(620)与下文的多个单元之间的此类子群控制信息流。
除已经提及的功能块以外,解码器(510)可在概念上细分成如下文所描述的数个功能单元。在商业约束下运行的实际实施例中,这些单元中的许多单元彼此紧密交互并且可以彼此集成。然而,出于描述所公开主题的目的,概念上细分成下文的功能单元是适当的。
第一单元是缩放器/逆变换单元(651)。缩放器/逆变换单元(651)从解析器(620)接收作为符号(621)的量化变换系数以及控制信息,包括使用哪种变换方式、块大小、量化因子、量化缩放矩阵等。缩放器/逆变换单元(651)可输出包括样本值的块,所述样本值可输入到聚合器(655)中。
在一些情况下,缩放器/逆变换单元(651)的输出样本可属于帧内编码块;即:不使用来自先前重建的图片的预测性信息,但可使用来自当前图片的先前重建部分的预测性信息的块。此类预测性信息可由帧内图片预测单元(652)提供。在一些情况下,帧内图片预测单元(652)采用从当前(部分已重建)图片缓冲器(658)提取的已重建信息,生成大小和形状与正在重建的块相同的周围块。在一些情况下,聚合器(655)基于每个样本,将帧内预测单元(652)生成的预测信息添加到由缩放器/逆变换单元(651)提供的输出样本信息中。
在其它情况下,缩放器/逆变换单元(651)的输出样本从属于帧间编码,以及潜在地从属于运动补偿块。在此情况下,运动补偿预测单元(653)可访问参考图片存储器(657)以提取用于预测的样本。在根据从属于块的符号(621)对提取的样本进行运动补偿之后,这些样本可由聚合器(655)添加到缩放器/逆变换单元(651)的输出(在这种情况下被称作残差样本或残差信号),从而生成输出样本信息。运动补偿预测单元(653)从参考图片存储器(657)内的地址获取预测样本可受到运动矢量控制,且所述运动矢量以所述符号(621)的形式而供运动补偿预测单元(653)使用,所述符号(621)例如是包括X、Y和参考图片分量。运动补偿还可包括在使用子样本精确运动矢量时,从参考图片存储器(657)提取的样本值的内插、运动矢量预测机制等等。
聚合器(655)的输出样本,可在环路滤波器单元(654)中由各种环路滤波技术进行处理。视频压缩技术可包括环路内滤波器技术,所述环路内滤波器技术受控于包括在已编码视频序列(也称作已编码视频码流)中的参数,且所述参数作为来自解析器(620)的符号(621)可用于环路滤波器单元(654)。然而,在其他实施例中,视频压缩技术还可响应于在解码已编码图片或已编码视频序列的先前(按解码次序)部分期间获得的元信息,以及响应于先前重建且经过环路滤波的样本值。
环路滤波器单元(654)的输出可以是样本流,所述样本流可输出到显示屏(512)以及存储在参考图片存储器(657),以用于后续的帧间图片预测。
一旦完全重建,某些已编码图片就可用作参考图片以用于将来预测。举例来说,一旦对应于当前图片的已编码图片被完全重建,且已编码图片(通过例如解析器(620))被识别为参考图片,则当前图片缓冲器(658)可变为参考图片存储器(657)的一部分,且可在开始重建后续已编码图片之前重新分配新的当前图片缓冲器。
视频解码器(510)可根据例如ITU-T H.265标准中的预定视频压缩技术执行解码操作。在已编码视频序列遵循视频压缩技术或标准的语法以及视频压缩技术或标准中记录的配置文件的意义上,已编码视频序列可符合所使用的视频压缩技术或标准指定的语法。具体地说,配置文件可从视频压缩技术或标准中可用的所有工具中选择某些工具作为在所述配置文件下可供使用的仅有工具。对于合规性,还要求已编码视频序列的复杂度处于视频压缩技术或标准的层级所限定的范围内。在一些情况下,层级限制最大图片大小、最大帧率、最大重建取样率(以例如每秒兆(mega)个样本为单位进行测量)、最大参考图片大小等。在一些情况下,由层级设定的限制可通过假想参考解码器(Hypothetical ReferenceDecoder,HRD)规范和在已编码视频序列中用信号表示的HRD缓冲器管理的元数据来进一步限定。
在本申请实施例中,接收器(610)可连同已编码视频一起接收附加(冗余)数据。所述附加数据可以是已编码视频序列的一部分。所述附加数据可由视频解码器(510)用以对数据进行适当解码和/或较准确地重建原始视频数据。附加数据可呈例如时间、空间或信噪比(signal noise ratio,SNR)增强层、冗余切片、冗余图片、前向纠错码等形式。
图12是根据本申请公开的实施例的视频编码器(503)的框图。
编码器(503)可从视频源(501)(并非视频编码器的一部分)接收视频样本,所述视频源可采集视频图像,由编码器(503)进行编码。
视频源(501)可提供将由视频编码器(503)编码的呈数字视频样本流形式的源视频序列,所述数字视频样本流可具有任何合适位深度(例如:8位、10位、12位……)、任何色彩空间(例如BT.601Y CrCB、RGB……)和任何合适取样结构(例如Y CrCb 4:2:0、Y CrCb 4:4:4)。在媒体服务***中,视频源(501)可以是存储先前已准备的视频的存储装置。在视频会议***中,视频源(501)可以是采集本地图像信息作为视频序列的相机。可将视频数据提供为多个单独的图片,当按顺序观看时,这些图片被赋予运动。图片自身可构建为空间像素阵列,其中取决于所用的取样结构、色彩空间等,每个像素可包括至少一个样本。所属领域的技术人员可以很容易理解像素与样本之间的关系。下文侧重于描述样本。
根据本申请实施例,视频编码器(503)可实时或在由应用所要求的任何其它时间约束下,将源视频序列的图片编码且压缩成已编码视频序列(743)。施行适当的编码速度是控制器(750)的一个功能。在一些实施例中,控制器(750)控制如下文所描述的其它功能单元且在功能上耦接到这些单元。为了简洁起见,图中未标示耦接。由控制器(750)设置的参数可包括速率控制相关参数(图片跳过、量化器、率失真优化技术的λ值等)、图片大小、图片群组(group of pictures,GOP)布局,最大运动矢量搜索范围等。控制器(750)可用于具有其它合适的功能,这些功能涉及针对某一***设计优化的视频编码器(503)。
一些视频编码器在本领域技术人员所称的“编码环路”中进行操作。作为简单的描述,在本申请实施例中,编码环路可包括编码器(730)(后面称为源编码器)的编码部分(负责基于待编码的输入图片和参考图片创建符号)和嵌入于视频编码器(503)中的(本地)解码器(733)。解码器(733)以类似于(远程)解码器创建样本数据的方式重建符号以创建样本数据(因为在本申请所考虑的视频压缩技术中,符号与已编码视频码流之间的任何压缩是无损的)。将重建的样本流(样本数据)输入到参考图片存储器(734)。由于符号流的解码产生与解码器位置(本地或远程)无关的位精确结果,因此参考图片存储器(734)中的内容在本地编码器与远程编码器之间也是按比特位精确对应的。换句话说,编码器的预测部分“看到”的参考图片样本与解码器将在解码期间使用预测时所“看到”的样本值完全相同。这种参考图片同步性基本原理(以及在例如因信道误差而无法维持同步性的情况下产生的漂移)也用于一些相关技术。
“本地”解码器(733)的操作可与例如已在上文结合图10详细描述解码器(510)的“远程”解码器相同。然而,另外简要参考图10,当符号可用且熵编码器(745)和解析器(620)能够无损地将符号编码/解码为已编码视频序列时,解码器(510)的熵解码部分,包括信道(612)、接收器(610)、缓冲存储器(67)和解析器(620)在内,可能无法完全在本地解码器(733)中实施。
此时可以观察到,除存在于解码器中的解析/熵解码之外的任何解码器技术,也必定以基本上相同的功能形式存在于对应的编码器中。出于此原因,本申请侧重于解码器操作。可简化编码器技术的描述,因为编码器技术与全面地描述的解码器技术互逆。仅在某些区域中需要更详细的描述,并且在下文提供。
在操作期间,在一些实施例中,源编码器(730)可执行运动补偿预测编码。参考来自视频序列中被指定为“参考图片”的至少一个先前已编码图片,所述运动补偿预测编码对输入图片进行预测性编码。以此方式,编码引擎(732)对输入图片的像素块与参考图片的像素块之间的差异进行编码,所述参考图片可被选作所述输入图片的预测参考。
本地视频解码器(733)可基于源编码器(730)创建的符号,对可指定为参考图片的图片的已编码视频数据进行解码。编码引擎(732)的操作可为有损过程。当已编码视频数据可在视频解码器(图11中未示)处被解码时,重建的视频序列通常可以是带有一些误差的源视频序列的副本。本地视频解码器(733)复制解码过程,所述解码过程可由视频解码器对参考图片执行,且可使重建的参考图片存储在参考图片高速缓存(734)中。以此方式,视频编码器(503)可在本地存储重建的参考图片的副本,所述副本与将由远端视频解码器获得的重建参考图片具有共同内容(不存在传输误差)。
预测器(735)可针对编码引擎(732)执行预测搜索。即,对于将要编码的新图片,预测器(735)可在参考图片存储器(734)中搜索可作为所述新图片的适当预测参考的样本数据(作为候选参考像素块)或某些元数据,例如参考图片运动矢量、块形状等。预测器(735)可基于样本块-逐像素块的方式执行操作,以找到合适的预测参考。在一些情况下,根据预测器(735)获得的搜索结果可确定,输入图片可具有从参考图片存储器(734)中存储的多个参考图片取得的预测参考。
控制器(750)可管理源编码器(730)的编码操作,包括例如设置用于对视频数据进行编码的参数和子群参数。
可在熵编码器(745)中对所有上述功能单元的输出进行熵编码。熵编码器(745)根据例如霍夫曼编码、可变长度编码、算术编码等技术对各种功能单元生成的符号进行无损压缩,从而将所述符号转换成已编码视频序列。
传输器(740)可缓冲由熵编码器(745)创建的已编码视频序列,从而为通过通信信道(760)进行传输做准备,所述通信信道可以是通向将存储已编码的视频数据的存储装置的硬件/软件链路。传输器(740)可将来自视频编码器(730)的已编码视频数据与要传输的其它数据合并,所述其它数据例如是已编码音频数据和/或辅助数据流(未示出来源)。
控制器(750)可管理编码器(503)的操作。在编码期间,控制器(750)可以为每个已编码图片分配某一已编码图片类型,但这可能影响可应用于相应的图片的编码技术。例如,通常可将图片分配为以下任一种图片类型:
帧内图片(I图片),其可以是不将序列中的任何其它图片用作预测源就可被编码和解码的图片。一些视频编解码器容许不同类型的帧内图片,包括例如独立解码器刷新(Independent Decoder Refresh,“IDR”)图片。所属领域的技术人员了解I图片的变体及其相应的应用和特征。
预测性图片(P图片),其可以是可使用帧内预测或帧间预测进行编码和解码的图片,所述帧内预测或帧间预测使用至多一个运动矢量和参考索引来预测每个块的样本值。
双向预测性图片(B图片),其可以是可使用帧内预测或帧间预测进行编码和解码的图片,所述帧内预测或帧间预测使用至多两个运动矢量和参考索引来预测每个块的样本值。类似地,多个预测性图片可使用多于两个参考图片和相关联元数据以用于重建单个块。
源图片通常可在空间上细分成多个样本块(例如,4×4、8×8、4×8或16×16个样本的块),且逐块进行编码。这些块可参考其它(已编码)块进行预测编码,根据应用于块的相应图片的编码分配来确定所述其它块。举例来说,I图片的块可进行非预测编码,或所述块可参考同一图片的已已编码块来进行预测编码(空间预测或帧内预测)。P图片的像素块可参考一个先前编码的参考图片通过空间预测或通过时域预测进行预测编码。B图片的块可参考一个或两个先前编码的参考图片通过空间预测或通过时域预测进行预测编码。
视频编码器(503)可根据例如HEVC H.265建议书的预定视频编码技术或标准执行编码操作。在操作中,视频编码器(503)可执行各种压缩操作,包括利用输入视频序列中的时间和空间冗余的预测编码操作。因此,已编码视频数据可符合所用视频编码技术或标准指定的语法。
在本申请实施例中,传输器(740)可在传输已编码的视频时传输附加数据。视频编码器(730)可将此类数据作为已编码视频序列的一部分。附加数据可包括时间/空间/SNR增强层、冗余图片和切片等其它形式的冗余数据、补充增强信息(SEI)消息、视觉可用信息(VUI)参数集片段等。
本申请所公开的各种方法是针对CCLM预测模式。
如上所述,在本申请中,CCLM可以指交叉分量线性模型的任何变体,例如LT_CCLM、T_CCLM、L_CCLM、MMLM、LT_MMLM、L_MMLM和T_MMLM。此外,在本申请中,平滑滤波器可以被定义为具有奇数个抽头的线性滤波器,并且其滤波器系数是对称的。例如,3抽头滤波器[1,2,1]和5抽头滤波器[1,3,8,3,1]都是平滑滤波器。内插滤波器可以被定义为线性滤波器,以使用整数位置样本产生分数位置样本。
建议可以将用于CCLM的内插滤波器,应用于指定区域中的相邻亮度已重建样本的子集。
在一个方面,指定的相邻样本区域可以是用于L_CCLM和L_MMLM的左相邻样本区域,或者,用于T_CCLM和T_MMLM的上相邻样本区域,或者,用于LT_CCLM和LT_MMLM的上相邻样本区域和左相邻样本区域。
在另一方面,指定区域中的已重建亮度样本可以直接用于找到最大值和最小值。在获得最大亮度样本值和最小亮度样本值之后,内插(或平滑)滤波器可以(例如仅)应用于这两个样本。
在另一方面,在获得最大亮度样本值和最小亮度样本值之后,色度相邻样本区域中最小亮度样本和最大亮度样本的同位位置,可以分别被记录为(x_min,y_min)和(x_max,y_max),并且下采样滤波器可以应用于位置为(x_min,y_min)和(x_max,y_max)的色度样本的同位亮度样本。
在另一方面,对于4:2:0YUV格式,可以应用如下采样滤波器:以下等式中的(x,y)可以由(x_min,y_min)或(x_max,y_max)代替,
Figure BDA0003001751460000211
表示经下采样的亮度样本值,
Figure BDA0003001751460000212
表示指定的相邻位置(k·x,k·y)处的已建亮度样本,k可以是正整数,例如1、2、3或4。
Figure BDA0003001751460000213
在另一方面,对于4:2:0YUV格式,位置为(x,y)的色度样本的亮度样本区域中的同位位置可以是以下6个位置中的任何一个:(k*x,k*y)、(k*x–1,k*y)、(k*x+1,k*y)、(k*x–1,k*y+1)、(k*x,k*y+1)和(k*x+1,k*y+1)。其中k是正整数,例如1、2、3或4。
在另一方面,对于4:4:4和4:2:2YUV格式,这里可以使用上述内插滤波器。
在另一方面,指定区域中的已重建亮度样本可以直接用于找到最大值和最小值。
在另一方面,对于LT_CCLM模式,第一上参考行(如图6A至图6B所示)和第二左参考列(如图7A至图7B所示)中的相邻亮度样本,可以直接用于找到最大值和最小值。
在另一方面,对于LT_CCLM模式,第一上参考行和第二上参考行中相邻亮度样本的一半(如图6A至图6B所示)和第二左参考列中样本的一半(如图7A至图7B所示),可以直接用于找到最大值和最小值。
在另一方面,对于T_CCLM模式,第一上参考行中相邻亮度样本可以直接用于找到最大值和最小值。
在另一方面,对于T_CCLM模式,第一上参考行和第二上参考行中相邻亮度样本的一半,可以直接用于找到最大值和最小值。
在另一方面,对于L_CCLM模式,第二左参考列中相邻亮度样本可以直接用于找到最大值和最小值。
在另一方面,当内插滤波器用于(例如仅用于)部分相邻亮度样本时,可以应用与当前CCLM中使用的下采样滤波器(即6抽头[1,2,1;1,2,1]/8滤波器)不同的下采样滤波器,例如,10抽头滤波器,可以是[1,4,6,4,1;1,4,6,4,1]/16。
在另一方面,下采样滤波器可以是8抽头滤波器,其中,第一(最靠近当前块)参考行(如图6A至图6B所示)中滤波器抽头的数量可以不同于另一(远离当前块)参考列(如图7A至图7B所示)中滤波器抽头的数量。例如,8抽头滤波器可以是[1,2,1;1,2,6,2,1]/16,第一参考行(或列)的滤波器抽头的数量可以是5,而第二参考行(或列)的抽头的数量可以是3。
在另一方面,指定区域中的已重建色度样本可以用于找到最大值和最小值。
在一个方面,在获得最大色度样本值和最小色度样本值之后,可以将内插(或平滑)滤波器应用(例如仅应用)于这两个色度样本的同位亮度样本。例如,对于4:2:0YUV格式,可以使用上述内插(或平滑)滤波器。作为另一示例,对于4:2:0YUV格式,这里可以使用具有上述位置(x,y)的一个色度样本的同位位置。在又一示例中,对于4:4:4和4:2:2YUV格式,这里可以使用以下描述中的内插滤波器。
根据一个方面,在CCLM中使用的内插滤波器(或平滑滤波器)取决于YUV格式,例如4:4:4、4:2:2或4:2:0YUV格式。
图13是用于对视频序列进行编码或解码的示例方法(800)的流程图。在一些实施方案中,图13的至少一个方法块可以由解码器(510)执行。在一些实施方案中,图13的至少一个方法块可以由与解码器(510)分离或包括解码器(510)的另一设备或一组设备来执行,例如编码器(503)。
如图13所示,方法(800)可以包括对视频序列进行编码或解码(810)。
如图13进一步所示,方法(800)可以进一步包括对视频序列应用交叉分量线性模型(CCLM)(820)。
如图13进一步所示,方法(800)可以进一步包括在交叉分量线性模型(CCLM)中应用内插滤波器,其中,内插滤波器取决于视频序列的YUV格式(830)。
尽管图13示出了方法(800)的示例块,但是在一些实施方案中,方法(800)可以包括比图13中描绘的这些块附加的块、更少的块、不同的块或不同排列的块。附加地或可选地,方法(800)的块中的至少两个可以并行地执行。
根据另一方面,在CCLM中使用的内插(或平滑)滤波器的抽头可以取决于YUV格式。
在另一方面,在CCLM中使用的内插(或平滑)滤波器的抽头,对于相同的YUV格式,可以是相同的。例如,对于4:2:0YUV格式,在CCLM中使用的内插滤波器的抽头是相同的。
在另一方面,用于4:4:4和4:2:2YUV格式的内插或平滑滤波器是相同的,但是与用于4:2:0YUV格式的滤波器不同。例如,3抽头(1,2,1)滤波器可以用于4:4:4和4:2:2YUV格式,而6抽头(1,2,1;1,2,1)滤波器可以用于4:2:0YUV格式。作为另一示例,没有经过下采样(或平滑)的滤波器可以用于4:4:4和4:2:2YUV格式,而6抽头(1,2,1,1,2,1)或3抽头(1,2,1)滤波器可以用于4:2:0YUV格式。
根据另一方面,在CCLM中使用的内插(或平滑)滤波器的抽头,对于不同的YUV格式,可以是不同的。例如,5抽头(1,1,4,1,1)滤波器可以用于4:4:4YUV格式,(1,2,1)滤波器可以用于4:2:2YUV格式,并且6抽头(1,2,1,1,2,1)滤波器可以用于4:2:0YUV格式。
在另一方面,对于上相邻亮度已重建样本和左相邻亮度已重建样本,内插(或平滑)滤波器可以是不同的。
根据另一方面,用于上相邻亮度已重建样本和左相邻亮度已重建样本的内插(或平滑)滤波器,可以取决于YUV格式。
根据另一方面,对于4:2:2YUV格式,内插(或平滑)滤波器对于上相邻样本和左相邻样本可以是不同的。例如,对于4:2:2YUV格式,(1,2,1)滤波器可以应用于上相邻亮度样本,并且没有经过内插(或平滑)的滤波器应用于左相邻亮度样本。
根据另一方面,CCLM中使用的上相邻亮度样本中行的数量和左相邻亮度样本中列的数量,可以取决于YUV格式。例如,对于4:4:4YUV或4:2:2YUV格式,仅可以使用上相邻区域中的一行和/或左相邻区域中的一列。作为另一示例,对于4:2:2YUV格式,可以使用上相邻区域中的一行和/或左相邻区域中的3(或2)列。
在另一方面,指定的相邻样本区域内最大亮度样本值和最小亮度样本值之间的绝对差,由diff_Y表示,是非均匀量化的,并且绝对差的量化值可以用于指定CCLM查找表(LUT)的条目索引,使得LUT的大小减小。diff_Y的范围可以被划分为两个区间,如果diff_Y低于或等于阈值Thres_1,则可以使用步长Step_A。否则,使用另一步长Step_B。因此,CCLM中的参数a可以如下获得:
Figure BDA0003001751460000241
这里,Thres_1可以被设定为64,Step_A可以被设定为等1,并且Step_B可以被设定为8。
现在,下面将在VVC草案3条款8.2.4.2.8之上描述修改的CCLM参数导出过程。
根据另一方面,在上述等式中,变量a、b和k可以如下导出:
-如果numSampL等于0,并且numSampT等于0,则以下适用:
k=0
a=0
b=1<<(BitDepthC-1)
-否则,以下适用:
shift=(BitDepthC>8)?BitDepthC-9:0
add=shift?1<<(shift-1):0
diff=(maxY-minY+add)>>shift
k=16
-如果diff大于0,则以下适用:
diff=(diff>64)?(56+(diff>>3)):diff
a=((maxC-minC)*g_aiLMDivTableHigh[diff-1]+add)>>shift
-否则,以下适用:
a=0
b=minC-((a*minY)>>k)
这里,具有x=0..nTbW-1,y=0..nTbH-1的预测样本predSamples[x][y]可以如下导出:
predSamples[x][y]=Clip1C(((pDsY[x][y]*a)>>k)+b)
此外,简化的CCLM查找表如下所示:
intg_aiLMDivTableHigh[]={
65536,32768,21845,16384,13107,10922,9362,8192,7281,6553,5957,5461,5041,4681,4369,4096,
3855,3640,3449,3276,3120,2978,2849,2730,2621,2520,2427,2340,2259,2184,2114,2048,
1985,1927,1872,1820,1771,1724,1680,1638,1598,1560,1524,1489,1456,1424,1394,1365,
1337,1310,1285,1260,1236,1213,1191,1170,1149,1129,1110,1092,1074,1057,1040,1024,
910,819,744,682,630,585,546,512,481,455,431,409,390,372,356,341,
327,315,303,292,282,273,264,256,248,240,234,227,221,215,210,204,
199,195,190,186,182,178,174,170,167,163,160,157,154,151,148,146,
143,141,138,136,134,132,130,128};
在实施例中,指定的相邻样本区域内最大亮度样本值和最小亮度样本值之间的绝对差,由diff_Y表示,是非均匀量化的,并且绝对差的量化值用于指定CCLM查找表(LUT)的条目索引,使得LUT的大小减小。
例如,指定的相邻样本区域可以是用于L_CCLM和L_MMLM的左相邻样本区域,或者,用于T_CCLM和T_MMLM的上相邻样本区域,或者,用于TL_CCLM和TL_MMLM的上相邻样本区域和左相邻样本区域。
在另一示例,diff_Y的范围被划分为多个区间,并且在不同的区间中使用不同的量化步长。在第一实施例中,diff_Y的范围被划分为两个区间;如果diff_Y低于或等于阈值Thres_1,则使用步长Step_A。否则,使用另一步长Step_B。因此,CCLM中的参数a可以如下获得:
Figure BDA0003001751460000261
Thres_1、Step_A和Step_B中的每一个可以为任何正整数,例如1、2、3、4等。Step_A和Step_B不相等。在示例中,Thres_1被设定为32或48或64。在另一示例中,Thres_1被设定为64,Step_A被设定为1,Step_B被设定为8。在另一示例中,Thres_1被设定为64,Step_A被设定为2(或1),并且Step_B被设定为8(或4)。在另一示例中,Step_A的值小于Step_B的值。
在第二实施例中,diff_Y的范围通过两个阈值(即,Thres_1和Thres_2)划分为三个区间。如果diff_Y低于或等于Thres_1,则使用步长Step_A;否则,如果diff_Y低于或等于Thres_2,则使用另一步长Step_B;否则,使用第三步长Step_C。Thres_1、Thres_2、Step_A、Step_B和Step_C中的每一好可以为任何正整数,例如1、2、3、4等。Thres_1小于Thres_2。Step_A、Step_B和Step_C不相等。在示例中,Thres_1和Thres_2被分别设定为64和256。在另一示例中,Step_A、Step_B和Step_C分别被设定为2(或1)、8(或4)和32(或16)。
在第三实施例中,用于指定区间的阈值(例如Thres_1和Thres_2)是2的幂,例如2、4、8、16、32、64、128、256、512、1024。
在其它实施例中,LIC在CCLM中重新使用max-min方法来导出参数a和b。
例如,LIC重新使用CCLM中的查找表来避免除法操作。
在另一示例中,LIC使用与用于TL_CCLM中亮度分量的相邻已重建样本区域相同的相邻已重建样本区域来导出参数a和b。
在另一示例中,LIC在CCLM中重新使用相同的下采样方法来对相邻已重建样本进行滤波。
在其它实施例中,对于CCLM预测模式中的max-min方法,仅使用指定区域中相邻已重建样本的子集来计算最大样本值和最小样本值。
例如,不管当前块的块大小如何,仅使用相邻已重建样本区域中的4个样本来计算最大样本值和最小样本值。在该示例中,所选择的4个样本的位置是固定的,如图15所示。具体来说,相对于当前CU 1510,仅使用位置A、B、C和D处相邻已重建样本的样本值来计算最大样本值和最小样本值。
在另一示例中,对于TL_CCLM模式,仅使用左(或上)相邻样本来计算最小样本值,以及仅使用上(或左)相邻样本来计算最大样本值。
在另一示例中,在CCLM预测模式中的max-min方法中,为了代替找到最大样本值和最小样本值,可以使用上亮度参考样本和色度参考样本的平均值(即,top_mean_luma、top_mean_chroma),以及左亮度参考样本和色度参考样本的平均值(即,left_mean_luma、left_mean_chroma),导出CCLM参数。
在以下实施例中,参考图16,当使用当前CU 1610的左上样本和左下样本时,可以用位于当前CU 1610的上样本和左样本范围之外的直接相邻样本来代替这些块。例如,在图16中,可以使用样本A和B。
在另一示例中,在图17中,样本A、B和C可以用于当前CU 1710中。
在以下实施例中,色度样本(在U或V分量中)与其同位的亮度样本一起被称为样本对。可选地,对于LIC,当前块的相邻样本与参考块的同位相邻样本一起被称为样本对,因此,在样本对中包括的样本来自相同的颜色分量(亮度,U或V)。
在以下实施例中,对于CCLM或CCLM模式的任何变体/扩展,块大小可以是色度块的大小。对于LIC模式或LIC的任何变体,块大小可以是当前颜色分量(亮度,U或V)的当前块的大小。
在实施例中,对于CCLM预测模式中的max-min方法,使用指定区域中的N个相邻已重建样本对,来计算最大样本值和最小样本值,N是正整数,例如4、8或16。
例如,对于Nx2或2xN色度块,仅使用来自左侧的一个相邻样本对和来自上侧的一个相邻样本对,计算最大样本值和最小样本值。所使用的相邻样本对的位置是固定的。在示例中,图18和图19中针对当前CU 1810和1910分别示出了样本对中的色度样本的位置。在另一示例中,针对当前CU 2010,图20中示出了样本对中色度样本的位置。
在另一示例中,针对当前CU 2110,图21中示出了样本对中色度样本的位置,其中,样本B可以在当前CU 2110的较长侧上的任何位置处。如图21所示,样本B在当前CU 2110的较长侧的中间处。样本B的x坐标可以是(宽度>>1)-1或(宽度>>1)或(宽度>>1)+1。
在另一示例中,针对当前CU 2210,图22中示出了样本对中色度样本的位置,其中,样本B可以在当前CU 2210的较长侧上的任何位置处。如图22所示,样本B在当前CU 2210的较长侧的中间处。样本B的x坐标可以是(宽度>>1)-1或(宽度>>1)或(宽度>>1)+1。
在另一示例中,对于2xN或Nx2色度块,N可以是任何正整数,例如2、4、8、16、32或64。当N等于2时,仅使用来自左侧的一个相邻样本对和来自上侧的一个相邻样本对,计算最大样本值和最小样本值。否则,当N大于2时,仅使用来自当前CU的较短侧的一个相邻样本对和来自当前CU的较长侧的至少两个相邻样本对,计算最大样本值和最小样本值。所使用的相邻样本对的位置是固定的。在示例中,针对当前CU 2310,图23中示出了样本对中色度样本的位置,其中,样本B在当前CU 2310的较长侧的中间处,样本C在较长侧的末端处。
在另一示例中,对于色度块,当当前块的宽度和高度都大于2时,使用来自当前块左侧的至少两个样本对和来自当前块上侧的至少两个样本对,计算最大样本值和最小样本值。所使用的相邻样本对的位置是固定的。在示例中,参考图24,对于当前CU 2410的每一侧,一个样本在一侧的中间(例如样本B和C),而另一个样本在该侧的末端处(例如样本A和D)。
在另一示例中,对于CCLM模式,仅使用指定的相邻样本中相邻样本的子集,计算最大样本值和最小样本值。所选择的样本的数量取决于块大小。在示例中,所选择的相邻样本的数量对于左侧和上侧是相同的。对于色度块,通过指定的扫描顺序来选择所使用的样本。参考图25,对于色度块2510的左侧,扫描顺序是从上到下,而对于色度块2510的上侧,扫描顺序是从左到右。所选择的相邻样本用黑圈突出显示。参考图26,对于色度块2610,通过反向扫描顺序来选择所使用的样本。换言之,对于色度块2610的左侧,扫描顺序是从下到上,而对于色度块2610的上侧,扫描顺序是从右到左。所选择的相邻样本的数量对于左侧和上侧是相同的,并且所选择的相邻样本用黑圈突出显示。
在其它实施例中,对于CCLM模式,不同的下采样(或内插)滤波器类型被用于左相邻亮度样本和上相邻亮度样本。
例如,滤波器类型的数量对于左相邻样本和上相邻样本是相同的,但是用于左相邻样本和上相邻样本的滤波器的位置是不同的。参考图27,示出了左侧中的亮度样本的滤波器的位置,其中W和X指示滤波器的系数,并且块指示亮度样本的位置。参考图28,示出了上侧中的亮度样本的滤波器的位置,其中W和X指示滤波器的系数,并且块指示亮度样本的位置。
在其它实施例中,在线性模型预测模式中,使用指定区域中N个相邻已重建样本对,计算参数a和b,并且N是正整数,例如4、8或16。N的值可以取决于当前块的块大小。
例如,LIC和CCLM(或CCLM的任何变体,例如L_CCLM、T_CCLM或LT_CCLM)共享相同的相邻样本位置,以计算线性模型参数a和b。
在另一示例中,用于计算LIC的参数a和b的样本对,可以位于不同颜色分量的不同位置处。可以独立地决定不同颜色分量的样本对,但是算法可以是相同的,例如使用最小样本值和最大样本值来导出模型参数。
在另一示例中,首先定位第一样本对,用于计算一个颜色分量(例如,亮度)的LIC的参数a和b,然后将用于计算另一分量(例如,U或V)的LIC的参数a和b的样本对,确定为与第一样本对同位的样本。
在另一示例中,LIC和CCLM(或CCLM的任何变体,例如L_CCLM、T_CCLM或LT_CCLM)共享相同的方法,例如最小平方误差方法或max-min方法,以计算线性模型参数a和b。LIC和CCLM都可以使用max-min方法来计算线性模型参数a和b。对于LIC,每个样本对中两个样本的绝对值之和,可以用于计算线性模型的最大值和最小值。
在另一示例中,存在三种LIC模式,LT_LIC、L_LIC和T_LIC。对于LT_LIC,使用左相邻样本和上相邻样本这两个样本,导出线性模型参数a和b。对于L_LIC,仅使用左相邻样本来导出线性模型参数a和b。对于T_LIC,仅使用上相邻样本来导出线性模型参数a和b。如果当前模式是LIC模式,则可以发信号通知另一标志以指示是否选择LT_LIC模式。如果否,则可以发信号通知一个附加的标志,以指示是发信号通知L_LIC模式还是T_LIC模式。
在另一示例中,对于Nx2或2xN块,在线性模型预测模式中,仅使用两个相邻样本对来计算参数a和b(或计算最大样本值和最小样本值)。所使用的相邻样本对的位置是预定确定和固定的。
在该示例的实施例中,对于使用两侧来计算参数a和b的线性模型预测模式,如果左相邻样本和上相邻样本都可用,则在线性模型预测模式中仅使用来自左侧的一个相邻样本对和来自上侧的一个相邻样本对,计算参数a和b。
在该示例的实施例中,对于使用两侧来计算参数a和b的线性模型预测模式,如果左相邻样本或上相邻样本不可用,则在线性模型预测模式中使用来自可用侧的两个相邻样本对,计算参数a和b。图29和图30分别示出了当前CU 2910和3010的预先确定的位置的两个示例。
在该示例的实施例中,对于使用两侧来计算参数a和b的线性模型预测模式,如果左相邻样本或上相邻样本不可用,则将参数a和b设定为默认值,例如将a设定为1,将b设定为512。
在该示例的实施例中,图18和图19中示出了样本对的位置。
在该示例的实施例中,图20中示出了样本对的位置。
在该示例的实施例中,图21中示出了样本对的位置,其中,样本B可以在当前CU2110的较长侧上的任何位置处。例如,样本B可以在较长侧的中间处。在另一示例中,样本B的x坐标可以是(宽度>>1)-1或(宽度>>1)或(宽度>>1)+1。
在该示例的实施例中,图22中示出了样本对的位置,其中,样本B可以在当前CU2210的较长侧上的任何位置处。例如,样本B可以在较长侧的中间上。在另一示例中,样本B的x坐标可以是(宽度>>1)-1或(宽度>>1)或(宽度>>1)+1。
在另一示例中,对于2xN或Nx2块,N可以是任何正整数,例如2、4、8、16、32或64。当N等于2时,仅使用来自左侧的一个相邻样本对和来自上侧的一个相邻样本对,计算线性模型参数a和b。否则,当N大于2时,仅使用来自较短侧的一个相邻样本对和来自较长侧的至少两个相邻样本对,计算线性模型参数a和b。所使用的相邻样本对的位置是预先确定和固定的。参考图23,示出了样本对的位置,其中,样本B可以在当前CU 2310的较长侧上的任何位置处。样本B在较长侧的中间,样本C在较长侧的末端处。
在另一示例中,使用来自左侧的K1个或更多个样本对以及来自上侧的K2个或更多个样本对,计算线性模型参数a和b。所使用的相邻样本对的位置是预先确定和固定的。另外,所选择的样本的数量(例如K)取决于块大小。K1和K2中的每一个是正整数,例如1、2、4、8。K1和K2可以相等。
在该示例的实施例中,在每一侧上所选择的样本对是均匀分布的。
在该示例的实施例中,K1和K2的值应当等于或小于当前块的宽度和/或高度。
在该示例的实施例中,通过指定的扫描顺序来选择相邻样本。如果所选择的样本的数量满足指定数量,则选择过程结束。左侧和上侧上所选择的样本的数量可以相同。对于左侧,扫描顺序可以是从上到下,对于上侧,扫描顺序可以是从左到右。参考图25和图31,所选择的相邻样本用黑圈突出显示。在图25中,相邻样本没有被下采样,并且在图31中,相邻样本被下采样。可选地,可以通过反向扫描顺序来选择相邻样本。换言之,对于左侧,扫描顺序可以是从下到上,对于上侧,扫描顺序可以是从右到左。参考图26、图32和图33,示出了所选择的样本的位置。在图26中,相邻样本没有被下采样,并且在图32和图33中,相邻样本被下采样。
在该示例的实施例中,当当前块的宽度和高度都大于Th时,使用来自左侧的K个或更多个样本对和来自上侧的至少两个样本对,计算线性模型参数a和b。所使用的相邻样本对的位置是预先确定和固定的。Th是正整数,例如2、4或8。K是正整数,例如2、4、8。
在该示例的实施例中,当左相邻样本或上相邻样本不可用时,使用来自可用侧的K个样本来导出参数a和b。
在另一示例中,对于仅使用左侧或上侧相邻样本(例如T_CCLM或L_CCLM)的线性模型,当使用侧(例如T_CCLM的上侧或L_CCLM的左侧)的大小等于2时,仅使用M个样本。M是正整数,例如2或4,并且位置是预先确定的。否则,使用N个样本。N是正整数,例如4或8。M可以不等于N。
在该示例的实施例中,参考图34,当使用侧的大小大于2时,示出了预先确定的位置,其中使用了上侧。
在该示例的实施例中,参考图35和图36,当使用侧的大小等于2时,示出了预先确定的位置,其中在图35中使用了上侧,并且在图36中使用了左侧。
此外,所述的方法可以由处理电路(例如,至少一个处理器或至少一个集成电路)实现。在一个示例中,至少一个处理器执行存储在非暂时性计算机可读介质中的程序,来实现所述的至少一个方法。
上述技术可以通过计算机可读指令实现为计算机软件,并且物理地存储在至少一个计算机可读介质中。例如,图37示出了计算机***(3700),其适于实现所公开主题的某些实施例。
所述计算机软件可通过任何合适的机器代码或计算机语言进行编码,通过汇编、编译、链接等机制创建包括指令的代码,所述指令可由至少一个计算机中央处理单元(CPU),图形处理单元(GPU)等直接执行或通过译码、微代码等方式执行。
所述指令可以在各种类型的计算机或其组件上执行,包括例如个人计算机、平板电脑、服务器、智能手机、游戏设备、物联网设备等。
图37所示的用于计算机***(3700)的组件本质上是示例性的,并不用于对实现本申请实施例的计算机软件的使用范围或功能进行任何限制。也不应将组件的配置解释为与计算机***(3700)的示例性实施例中所示的任一组件或其组合具有任何依赖性或要求。
计算机***(3700)可以包括某些人机界面输入设备。这种人机界面输入设备可以通过触觉输入(如:键盘输入、滑动、数据手套移动)、音频输入(如:声音、掌声)、视觉输入(如:手势)、嗅觉输入(未示出),对至少一个人类用户的输入做出响应。所述人机界面设备还可用于捕获某些媒体,气与人类有意识的输入不必直接相关,如音频(例如:语音、音乐、环境声音)、图像(例如:扫描图像、从静止影像相机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。
人机界面输入设备可包括以下中的至少一个(仅绘出其中一个):键盘(3701)、鼠标(3702)、触控板(3703)、触摸屏(3710)、数据手套(3704)、操纵杆(3705)、麦克风(3706)、扫描仪(3707)、照相机(3708)。
计算机***(3700)还可以包括某些人机界面输出设备。这种人机界面输出设备可以通过例如触觉输出、声音、光和嗅觉/味觉来刺激至少一个人类用户的感觉。这样的人机界面输出设备可包括触觉输出设备(例如通过触摸屏(3710)、数据手套(3704)或操纵杆(3705)的触觉反馈,但也可以有不用作输入设备的触觉反馈设备)、音频输出设备(例如,扬声器(3709)、耳机(未示出))、视觉输出设备(例如,包括阴极射线管(CRT)屏幕、液晶显示(LCD)屏幕、等离子屏幕、有机发光二极管(OLED)的屏幕3710,其中每一个都具有或没有触摸屏输入功能、每一个都具有或没有触觉反馈功能——其中一些可通过诸如立体画面输出的手段输出二维视觉输出或三维以上的输出;虚拟现实眼镜(未示出)、全息显示器和放烟箱(未示出))以及打印机(未示出)。
计算机***(3700)还可以包括人可访问的存储设备及其相关介质,如包括具有CD/DVD的CD/DVD ROM/RW 3720或类似介质(3721)的光学介质、拇指驱动器(3722)、可移动硬盘驱动器或固体状态驱动器(3723),诸如磁带和软盘(未示出)的传统磁介质,诸如安全软件保护器(未示出)等的基于ROM/ASIC/PLD的专用设备,等等。
本领域技术人员还应当理解,结合所公开的主题使用的术语“计算机可读介质”不包括传输介质、载波或其它瞬时信号。
计算机***(3700)还可以包括通往至少一个通信网络的接口。例如,网络可以是无线的、有线的、光学的。网络还可为局域网、广域网、城域网、车载网络和工业网络、实时网络、延迟容忍网络等等。网络还包括以太网、无线局域网、蜂窝网络(GSM、3G、4G、5G、LTE等)等局域网、电视有线或无线广域数字网络(包括有线电视、***、和地面广播电视)、车载和工业网络(包括CANBus)等等。某些网络通常需要外部网络接口适配器(3754),用于连接到某些通用数据端口或***总线(3749)(例如,计算机***(3700)的USB端口);其它***通常通过连接到如下所述的***总线集成到计算机***(3700)的核心(例如,以太网接口集成到PC计算机***或蜂窝网络接口集成到智能电话计算机***)。通过使用这些网络(3755)中的任何一个,计算机***(3700)可以与其它实体进行通信。所述通信可以是单向的,仅用于接收(例如,无线电视),单向的仅用于发送(例如CAN总线到某些CAN总线设备),或双向的,例如通过局域或广域数字网络到其它计算机***。上述的每个网络和网络接口可使用某些协议和协议栈。
上述的人机界面设备、人可访问的存储设备以及网络接口可以连接到计算机***(3700)的核心(3740)。
核心(3740)可包括至少一个中央处理单元(CPU)(3741)、图形处理单元(GPU)(3742)、以现场可编程门阵列(FPGA)(3743)形式的专用可编程处理单元、用于特定任务的硬件加速器(3744)等。这些设备以及只读存储器(ROM)(3745)、随机存取存储器(RAM)(3746)、内部大容量存储器(3747),例如内部非用户可存取硬盘驱动器、固态硬盘(SSD)等,可通过***总线(3748)进行连接。在某些计算机***中,可以以至少一个物理插头的形式访问***总线(3748),以便可通过额外的CPU、GPU等进行扩展。***装置可直接附接到核心的***总线(3748),或通过***总线(3749)进行连接。***总线的体系结构包括外部控制器接口(PCI)、USB等。
CPU(3741)、GPU(3742)、FPGA(3743)和加速器(3744)可以执行某些指令,这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在ROM(3745)或RAM(3746)中。过渡数据也可以存储在RAM(3746)中,而永久数据可以存储在例如内部大容量存储器(3747)中。通过使用高速缓冲存储器可实现对任何存储器设备的快速存储和检索,高速缓冲存储器可与至少一个CPU(3741)、GPU(3742)、大容量存储器(3747)、ROM(3745)、RAM(3746)等紧密关联。
所述计算机可读介质上可具有计算机代码,用于执行各种计算机实现的操作。介质和计算机代码可以是为本申请的目的而特别设计和构造的,也可以是计算机软件领域的技术人员所熟知和可用的介质和代码。
作为实施例而非限制,具有体系结构的计算机***(3700),特别是核心(3740),可以作为处理器(包括CPU、GPU、FPGA、加速器等)提供执行包含在至少一个有形的计算机可读介质中的软件的功能。这种计算机可读介质可以是与上述的用户可访问的大容量存储器相关联的介质,以及具有非易失性的核心(3740)的特定存储器,例如核心内部大容量存储器(3747或ROM(3745)。实现本申请的各种实施例的软件可以存储在这种设备中并且由核心(3740)执行。根据特定需要,计算机可读介质可包括一个或一个以上存储设备或芯片。该软件可以使得核心(3740)特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文所述的特定过程或特定过程的特定部分,包括定义存储在RAM(3746)中的数据结构以及根据软件定义的过程来修改这种数据结构。另外或作为替代,计算机***可以提供逻辑硬连线或以其它方式包含在电路(例如,加速器3744)中的功能,该电路可以代替软件或与软件一起运行以执行本文所述的特定过程或特定过程的特定部分。在适当的情况下,对软件的引用可以包括逻辑,反之亦然。在适当的情况下,对计算机可读介质的引用可包括存储执行软件的电路(如集成电路(IC)),包含执行逻辑的电路,或两者兼备。本申请包括任何合适的硬件和软件组合。
虽然本申请已对多个示例性实施例进行了描述,但实施例的各种变更、排列和各种等同替换均属于本申请的范围内。因此应理解,本领域技术人员能够设计多种***和方法,所述***和方法虽然未在本文中明确示出或描述,但其体现了本申请的原则,因此属于本申请的精神和范围之内。

Claims (20)

1.一种视频序列编解码方法,所述方法包括:
对视频序列应用交叉分量线性模型CCLM;
在所述CCLM中应用内插滤波器,其中,所述内插滤波器取决于所述视频序列的YUV格式。
2.根据权利要求1所述的方法,其中,在所述CCLM中应用所述内插滤波器时,所述方法还包括:
使用所述内插滤波器的抽头,所述抽头取决于所述视频序列的YUV格式。
3.根据权利要求2所述的方法,其中,所述方法还包括:
使用在所述CCLM中使用的所述内插滤波器的抽头,所述抽头的格式与所述视频序列的YUV格式相同。
4.根据权利要求1所述的方法,其中,在所述CCLM中应用所述内插滤波器时,所述方法还包括:
当所述视频序列的YUV格式为4:4:4或4:2:2时,将所述内插滤波器的格式设置为与所述视频序列的格式相同;
当所述视频序列的YUV格式为4:2:0时,将所述内插滤波器的格式设置为与所述视频序列的格式不同。
5.根据权利要求1所述的方法,其中,在所述CCLM中应用所述内插滤波器时,所述方法还包括:
使用所述内插滤波器的抽头,所述抽头对于所述视频序列的不同YUV模式是不同的。
6.根据权利要求1所述的方法,其中,在所述CCLM中应用所述内插滤波器时,所述方法还包括:
对于上相邻亮度已重建样本和左相邻亮度已重建样本,设置的所述内插滤波器不同。
7.根据权利要求6所述的方法,其中,所述方法还包括:
将所述内插滤波器应用于所述上相邻亮度已重建样本和所述左相邻亮度已重建样本时,对所述内插滤波器进行设置,使得所述内插滤波器取决于所述视频序列的YUV格式。
8.根据权利要求1所述的方法,其中,所述方法还包括:
设置所述CCLM中使用的上相邻亮度样本中行的数量以及左相邻亮度样本中列的数量,使得所述行的数量和所述列的数量取决于所述视频序列的YUV格式。
9.根据权利要求8所述的方法,其中,所述方法还包括:
针对具有4:4:4YUV格式或4:2:2YUV格式的视频序列,使用所述CCLM中上相邻区域中的一行,和/或,左相邻区域中的一列。
10.根据权利要求8所述的方法,其中,所述方法还包括:
针对具有4:2:2YUV格式的视频序列,使用所述CCLM中上相邻区域中的一行,和/或,左相邻区域中的至少两列。
11.根据权利要求1所述的方法,还包括:
在与所述视频序列相关的第一亮度块的多个相邻样本中,获取所述多个相邻样本的最大值和最小值之间的绝对差;
对所述绝对差执行非均匀量化;
通过在查找表中使用已执行非均匀量化的绝对值,获取最低值;
基于所述最低值,预测与所述视频序列相关的另一色度块的样本。
12.根据权利要求11所述的方法,还包括:
将所述绝对差划分为区间;
分别使用不同的步长,划分所述区间;
其中,所述获取最低值包括:
通过在查找表中使用分别使用不同的步长进行划分的所述区间,获取所述最低值。
13.根据权利要求11所述的方法,还包括:
使用所述亮度块和所述色度块的N个相邻样本对,获取所述最大值和所述最小值,N为4、8、16中的任一正整数;
其中,N个相邻样本对中的每个相邻样本对包括:第一相邻样本,所述第一相邻样本处于与所述亮度块和所述色度块中的第一个相邻的第一位置,以及第二相邻样本,所述第二相邻样本处于与所述亮度块和所述色度块中的第二个相邻的第二位置,所述第二位置和与所述亮度块和所述色度块中的第一个相邻的所述第一位置相对应。
14.根据权利要求13所述的方法,还包括:
通过从下到上,和/或,从右向左扫描所述多个相邻样本,选择出所述第一相邻样本。
15.根据权利要求1所述的方法,还包括:
针对用于当前块的局部照明补偿LIC的线性模型,使用所述当前块和相邻块的N个相邻样本对,获取所述线性模型的缩放因子和偏移,N为4、8、16中的任一正整数;
其中,N个相邻样本对中的每个相邻样本对包括:第一相邻样本,所述第一相邻样本处于与所述当前块相邻的第一位置,以及第二相邻样本,所述第二相邻样本处于与所述参考块相邻的第二位置,所述第二位置和与所述当前块相邻的所述第一位置相对应;
使用所述缩放因子和所述偏移,对所述当前块执行所述LIC。
16.根据权利要求15所述的方法,其中,N取决于所述当前块的块大小。
17.一种视频序列编解码设备,所述设备包括:
至少一个存储器,用于存储程序代码;
至少一个处理器,用于读取所述程序代码,根据所述程序代码的指令进行操作,所述程序代码包括:第一编解代码,用于使得所述至少一个处理器,对视频序列应用交叉分量线性模型CCLM,在所述CCLM中应用内插滤波器,其中,所述内插滤波器取决于所述视频序列的YUV格式。
18.根据权利要求17所述的设备,其中,所述第一编解代码还包括代码,用于使得所述至少一个处理器,使用应用于所述CCLM中的所述内插滤波器的抽头,所述抽头取决于所述视频序列的YUV格式。
19.根据权利要求17所述的设备,其中,所述第一编解代码还包括代码,用于使得所述至少一个处理器,当所述视频序列的YUV格式为4:4:4或4:2:2时,将所述内插滤波器的格式设置为与所述视频序列的格式相同;当所述视频序列的YUV格式为4:2:0时,将所述内插滤波器的格式设置为与所述视频序列的格式不同。
20.一种非暂时性计算机可读介质,其上存储有程序代码,所述程序代码包括至少一个指令,当所述至少一个指令由设备的至少一个处理器执行时,使得所述至少一个处理器:
对视频序列应用交叉分量线性模型CCLM,并在所述CCLM中应用内插滤波器,其中,所述内插滤波器取决于所述视频序列的YUV格式。
CN201980064848.1A 2018-12-18 2019-12-11 视频序列编解码方法、装置、计算机设备及存储介质 Active CN112889279B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201862781316P 2018-12-18 2018-12-18
US62/781,316 2018-12-18
US201862785678P 2018-12-27 2018-12-27
US62/785,678 2018-12-27
US201962788729P 2019-01-04 2019-01-04
US62/788,729 2019-01-04
US201962789992P 2019-01-08 2019-01-08
US62/789,992 2019-01-08
US16/523,258 US11095921B2 (en) 2018-12-18 2019-07-26 Method and apparatus for video encoding or decoding
US16/523,258 2019-07-26
PCT/US2019/065627 WO2020131512A1 (en) 2018-12-18 2019-12-11 Method and apparatus for video encoding or decoding

Publications (2)

Publication Number Publication Date
CN112889279A true CN112889279A (zh) 2021-06-01
CN112889279B CN112889279B (zh) 2024-05-17

Family

ID=71072041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980064848.1A Active CN112889279B (zh) 2018-12-18 2019-12-11 视频序列编解码方法、装置、计算机设备及存储介质

Country Status (6)

Country Link
US (4) US11095921B2 (zh)
EP (1) EP3777146A4 (zh)
JP (1) JP2022508161A (zh)
KR (2) KR102608275B1 (zh)
CN (1) CN112889279B (zh)
WO (1) WO2020131512A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2571313B (en) * 2018-02-23 2022-09-21 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
US11758159B2 (en) * 2018-05-14 2023-09-12 Intellectual Discovery Co., Ltd. Image decoding method/device, image encoding method/device, and recording medium in which bitstream is stored
CN116347109A (zh) * 2018-08-17 2023-06-27 北京字节跳动网络技术有限公司 一种处理视频数据的方法和装置
CN117478883A (zh) 2018-09-12 2024-01-30 北京字节跳动网络技术有限公司 交叉分量线性模型中的尺寸相关的下采样
KR20210089131A (ko) 2018-11-06 2021-07-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 위치 기반 인트라 예측
WO2020108591A1 (en) 2018-12-01 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
AU2019391197B2 (en) 2018-12-07 2023-05-25 Beijing Bytedance Network Technology Co., Ltd. Context-based intra prediction
EP3900347A2 (en) * 2018-12-21 2021-10-27 Vid Scale, Inc. Methods, architectures, apparatuses and systems directed to improved linear model estimation for template based video coding
CN113273203B (zh) * 2018-12-22 2024-03-12 北京字节跳动网络技术有限公司 两步交叉分量预测模式
CN113287301A (zh) * 2018-12-31 2021-08-20 华为技术有限公司 用于帧内预测的分量间线性建模方法和装置
CN113170152B (zh) * 2019-01-18 2023-07-07 华为技术有限公司 用于预测译码的局部亮度补偿的方法和装置
KR102628086B1 (ko) 2019-02-22 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 예측을 위한 이웃 샘플 선택
BR112021015017B1 (pt) * 2019-02-24 2022-07-26 Bytedance Inc. Método e aparelho para codificar dados de vídeo, e, mídia de armazenamento
WO2020192642A1 (en) 2019-03-24 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Conditions in parameter derivation for intra prediction
GB2586484B (en) * 2019-08-20 2023-03-08 Canon Kk A filter
KR20220157765A (ko) * 2021-05-21 2022-11-29 삼성전자주식회사 영상 부호화 장치 및 이의 동작 방법
CN113473144A (zh) * 2021-07-15 2021-10-01 无锡思朗电子科技有限公司 一种yuv4:4:4图像传输的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170359595A1 (en) * 2016-06-08 2017-12-14 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
US20180063527A1 (en) * 2016-08-31 2018-03-01 Qualcomm Incorporated Cross-component filter
US20180077426A1 (en) * 2016-09-15 2018-03-15 Qualcomm Incorporated Linear model chroma intra prediction for video coding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9848197B2 (en) 2011-03-10 2017-12-19 Qualcomm Incorporated Transforms in video coding
US9288500B2 (en) * 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
GB2492130A (en) * 2011-06-22 2012-12-26 Canon Kk Processing Colour Information in an Image Comprising Colour Component Sample Prediction Being Based on Colour Sampling Format
JP2015008341A (ja) * 2011-10-31 2015-01-15 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US9894359B2 (en) * 2013-06-18 2018-02-13 Sharp Kabushiki Kaisha Illumination compensation device, LM prediction device, image decoding device, image coding device
US10462480B2 (en) * 2014-12-31 2019-10-29 Microsoft Technology Licensing, Llc Computationally efficient motion estimation
US10382781B2 (en) * 2016-09-28 2019-08-13 Qualcomm Incorporated Interpolation filters for intra prediction in video coding
US11025903B2 (en) * 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
JP7343487B2 (ja) * 2017-09-20 2023-09-12 ヴィド スケール インコーポレイテッド 360度ビデオ符号化におけるフェイス不連続の処理

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170359595A1 (en) * 2016-06-08 2017-12-14 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
US20180063527A1 (en) * 2016-08-31 2018-03-01 Qualcomm Incorporated Cross-component filter
US20180077426A1 (en) * 2016-09-15 2018-03-15 Qualcomm Incorporated Linear model chroma intra prediction for video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS等: "Versatile Video Coding (Draft 3)", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》, pages 95 - 97 *

Also Published As

Publication number Publication date
WO2020131512A1 (en) 2020-06-25
JP2022508161A (ja) 2022-01-19
US20240121444A1 (en) 2024-04-11
US11638039B2 (en) 2023-04-25
KR102668128B1 (ko) 2024-05-23
EP3777146A1 (en) 2021-02-17
KR102608275B1 (ko) 2023-11-30
US20200195976A1 (en) 2020-06-18
US20230217044A1 (en) 2023-07-06
US11882313B2 (en) 2024-01-23
KR20230165379A (ko) 2023-12-05
KR20210088685A (ko) 2021-07-14
CN112889279B (zh) 2024-05-17
EP3777146A4 (en) 2021-02-17
US20210344966A1 (en) 2021-11-04
US11095921B2 (en) 2021-08-17

Similar Documents

Publication Publication Date Title
CN112889279B (zh) 视频序列编解码方法、装置、计算机设备及存储介质
CN111869212B (zh) 视频解码方法、装置和可读介质
CN112235572B (zh) 视频解码方法和装置以及计算机设备和存储介质
JP7405926B2 (ja) 動画の符号化及び復号方法、装置、並びにコンピュータプログラム
CN114745540A (zh) 一种视频编解码方法、装置、设备和介质
CN113168718A (zh) 调色板解码的方法和装置
CN112106371B (zh) 视频解码的方法、装置、可读介质和设备
CN113614736A (zh) 视频编解码的方法和装置
CN111989918A (zh) 用于视频压缩中多线帧内预测的方法及装置
KR20210114055A (ko) 교차-컴포넌트 필터링을 위한 방법 및 장치
CN113826384A (zh) 对视频进行编码或解码的方法和装置
EP3804323A1 (en) Method and apparatus for merge mode with additional middle candidates in video coding
CN111937326A (zh) 视频编解码方法和装置
CN113711586A (zh) 简化的最可能模式列表生成方案
CN114270836A (zh) 视频编解码的颜色转换
CN112154663A (zh) 用于基于子块的时间运动矢量预测的方法和设备
CN110730348B (zh) 视频解码方法和装置、计算机设备以及存储介质
CN112118456B (zh) 莱斯参数选择方法、装置、计算机设备及存储介质
US20230008488A1 (en) Entropy coding for intra prediction modes
US11838498B2 (en) Harmonized design for intra bi-prediction and multiple reference line selection
JP7391994B2 (ja) 参照ピクチャー再サンプリングのための出力ピクチャー・サイズの信号伝達に関する方法、装置およびコンピュータ・プログラム
CN112543325B (zh) 视频解码方法、装置、计算机设备和存储介质
KR20240090457A (ko) 비디오 인코딩 또는 디코딩을 위한 방법 및 장치
KR20230106688A (ko) 적응적 다중 변환 세트 선택
CN114503358A (zh) 具有单色值的字符串匹配

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40046221

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant