CN116711309B - 用于改进的帧内预测的视频编解码方法和装置及电子设备 - Google Patents
用于改进的帧内预测的视频编解码方法和装置及电子设备 Download PDFInfo
- Publication number
- CN116711309B CN116711309B CN202280008639.7A CN202280008639A CN116711309B CN 116711309 B CN116711309 B CN 116711309B CN 202280008639 A CN202280008639 A CN 202280008639A CN 116711309 B CN116711309 B CN 116711309B
- Authority
- CN
- China
- Prior art keywords
- intra
- current block
- mode
- candidate
- modes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 111
- 238000009795 derivation Methods 0.000 claims abstract description 54
- 230000004044 response Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 35
- 239000000523 sample Substances 0.000 description 47
- 230000033001 locomotion Effects 0.000 description 32
- 230000006835 compression Effects 0.000 description 25
- 238000007906 compression Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 24
- 239000013598 vector Substances 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 239000000872 buffer Substances 0.000 description 16
- 238000003860 storage Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000013139 quantization Methods 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 7
- 239000013074 reference sample Substances 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 230000011664 signaling Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 101150114515 CTBS gene Proteins 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请实施例提供了一种用于改进的帧内预测的视频解码方法和装置、视频编码方法和装置以及电子设备。其中,在视频解码方法中,在已编码信息中获得与当前块相关联的标志信息,该标志信息指示当前块是否至少部分地基于帧内模式推导进行帧内预测。响应于标志信息为真,基于当前块的相邻样本,确定多个候选帧内模式。基于包括在已编码信息中的第一语法元素,确定当前块的第一帧内模式。第一语法元素指示来自最可能模式(MPM)列表和MPM剩余部分的当前块的第一帧内模式。基于第一帧内模式和多个候选帧内模式,确定当前块的第二帧内模式。基于第一帧内模式和第二帧内模式,重建当前块。
Description
引用并入
本申请要求于2022年7月29日提交的申请号为17/877,802的美国专利申请“用于改进的帧内预测的方法和装置(METHOD AND APPARATUS FOR IMPROVED INTRAPREDICTION)”的优先权,该美国专利申请要求于2021年8月11日提交的申请号为63/231,998的美国临时专利申请“对帧内预测的改进(Improvement on intra prediction)”和2021年8月2日提交的申请号为63/228,369的美国临时专利申请“对帧内预测的改进(Improvement on intra prediction)”的优先权。在先申请的全部公开内容通过引用整体并入本申请中。
技术领域
本申请涉及视频编解码,特别是涉及一种用于改进的帧内预测的视频编码、视频解码方法和装置以及电子设备。
背景技术
本文中提供的背景技术描述是为了大体上呈现本申请的上下文。在此背景技术部分描述的程度上,当前署名的发明人的工作,以及在本申请提交时可能不具有作为现有技术的资格的描述的各方面,既不明确认为也不隐含认为是本申请的现有技术。
视频的编码和解码可以使用具有运动补偿的帧间图片预测进行。未压缩的数字视频可包括一系列的图片,每个图片具有一定的空间维度,例如,具有1920×1080的亮度样本和相关的色度样本。所述一系列的图片可以具有固定的或可变的图片速率(也通俗地称为帧率),例如,每秒60个图片或60赫兹(Hz)。未压缩的视频对比特率有着特定的要求。例如,每个样本8比特的1080p60 4:2:0视频(60Hz帧率下的1920×1080亮度样本分辨率)需要接近1.5Gbit/s的带宽。这样的视频一小时需要超过600GB的存储空间。
视频编码和解码的一个目的可以是通过压缩来减少输入视频信号中的冗余。压缩可有助于降低上述带宽和/或存储空间的要求,在一些情况下,可降低两个或更多的数量级。无损压缩和有损压缩以及其组合均可以用于视频编码和解码。无损压缩是指可以由压缩的原始信号重建原始信号的精确副本的技术。当使用有损压缩时,重建的信号可能与原始信号不完全一致,但是原始信号与重建的信号之间的失真小得足以使重建的信号可以用于预期应用。有损压缩广泛应用于视频中。有损压缩容许的失真量取决于应用;例如,与电视分发应用的用户相比,某些流式传输应用的消费者用户可以容忍较高的失真。可实现的压缩比可以反映的是:可允许的/可容许的失真越高,可产生的压缩比越高。
视频编码器和解码器可以使用几大类技术,包括例如运动补偿、变换、量化和熵编码。
视频编解码技术可以包括帧内编码技术。在帧内编码技术中,样本值的表示不参考先前已重建的参考图片中的样本或其它数据。在一些视频编解码技术中,将图片从空间上划分为样本块。当所有的样本块都是通过帧内模式进行编码时,该图片可以是一个帧内图片。帧内图片以及他们的衍生图片,例如,独立解码器刷新的图片,可以用于对解码器的状态进行重置,因此可以用作已编码视频码流和视频会话中的第一幅图片,或者作为一副静止图片。可以对帧内块的样本进行变换,并且可以在进行熵编码之前,对变换系数进行量化。帧内预测可以是一种将样本值在预变换域最小化的技术。在一些情况下,变换后的DC值越小以及AC系数越小,给定量化步长大小的情况下,表示熵编码后的块所需的比特数目越少。
传统的帧内编码技术,例如,已知的MPEG-2编码技术并不使用帧内预测。然而,一些较新的视频压缩技术包括尝试使用例如邻近的样本数据和/或元数据的技术,所述邻近的样本数据和/或元数据是在对空间上相邻且解码顺序上在先的数据块进行编码和/或解码的过程中获得的。因此,这种技术称为“帧内预测”技术。请注意,至少在一些情况下,帧内预测仅使用正在重建的当前图片中的参考数据,而不使用参考图片中的参考数据。
帧内预测可以有很多种形式。当给定的视频编码技术中可以使用一个以上的这种技术时,可以使用帧内预测模式对所使用的技术进行编码。在某些情况下,一些模式具有子模式和/或参数,这些可以单独进行编码,或者可以包含在模式码字中。某个给定模式/子模式和/或参数的组合使用何种码字,会通过帧内预测影响到编码效率增益,将码字转译为码流所用的熵编码技术同样对其也会产生影响。
H.264标准引入了某个模式的帧内预测,H.265标准对其进行了改进,在较新的编码技术中,例如,联合探索模型(JEM)、通用视频编码(VVC)、基准集合(BMS)等等,对其进一步进行了改进。预测子(predictor)块可以使用属于已经可用的样本的相邻样本值来形成。将相邻样本的样本值按照一个方向复制到预测子块中。所使用的方向的参考可以编码到码流中,或者其本身可以预测。
参考图1,在其右下方描绘的是H.265标准的33个可能的预测子方向(predictordirection)(对应于35个帧内模式的33个角度模式)中已知的一个具有9个预测子方向的子集。其中,各箭头的汇聚点(101)表示正在预测中的样本。箭头表示对样本进行预测的方向。例如,箭头(102)表示根据与水平轴成45度角度的右上角的一个或多个样本,对样本(101)进行预测。类似地,箭头(103)表示根据与水平轴成22.5度角度的左下角的一个或多个样本,对样本(101)进行预测。
仍参考图1所示,图1的左上方描绘的是一个具有4×4个样本的正方形块(104)(用加粗的虚线表示)。正方形块(104)包括16个样本,每个样本标记有“S”、其在Y维度上的位置(例如,行索引)以及其在X维度上的位置(例如,列索引)。例如,样本S21是在Y维度上的第二个(从上往下数)、X维度上的第一个(从左往右数)样本。类似地,样本S44是在块(104)中X维度和Y维度上都是第四的样本。因为该块的大小是4×4个样本,所以S44是在其右下角。图1A进一步示出了参考样本,参考样本遵循类似的编号方法。参考样本标记有R、其相对于所述块(104)的Y位置(例如,行索引)和X位置(例如,列索引)。在H.264标准和H.265标准中,预测样本与重建中的块相邻;因此,不需要使用负值。
帧内图片预测可以根据信号表示的预测方向,通过适当地复制相邻样本的参考样本值来进行。例如,假设已编码视频码流中包含有信令,对于所述块,该信令表示了与箭头(102)一致的预测方向,即,根据与水平方向成45度角度的右上角的一个或多个参考样本对所述块中的样本进行预测。在这种情况下,样本S41、S32、S23、S14是根据同一个参考样本R05进行预测的。样本S44是根据参考样本R08进行预测的。
在某些情况下,可以例如通过插值,组合多个参考样本的值,以便计算一个参考样本;特别是当方向不能被45度整除时。
随着视频编码技术的发展,可能的方向的数目也在增加。在H.264标准(2003年)中,可以表示9个不同的方向。在H.265标准(2013年)中,增加到33个方向。到本申请发明时,JEM/VVC/BMS可以支持多达65个方向。目前已经进行了一些实验来识别最有可能的方向,一些熵编码技术用很少的比特数来表示这些最有可能的方向,对于比较不可能的方向,接受一定的代价。此外,有时候这些方向本身是可以根据相邻的已解码的块所使用的相邻方向进行预测的。
图2示出了一个描绘根据JEM的65个帧内预测方向的示意图(201),用于说明预测方向的数目随着时间的变化而增加。
随着视频编码技术的不同,已编码视频码流中用于表示方向的帧内预测方向位的映射可能也不同;例如,变化范围可以是从简单直接地将帧内预测模式的预测方向映射到码字,到涉及最有可能的模式和类似技术的复杂的自适应方案。然而,在所有这些情况下,依据统计,相对于其它方向而言,某些方向比较不可能出现在视频内容中。由于视频压缩的目的是减少冗余,因此,在性能较好的视频编码技术中,与比较可能的方向相比,这些比较不可能出现的方向会用较多的比特来表示。
发明内容
本公开的各方面提供了用于视频编码/解码的方法和装置。在一些示例中,用于视频解码的装置包括接收电路和处理电路。
根据本公开的一方面,提供了一种在视频解码器中执行的视频解码方法。在该方法中,可以从已编码视频码流接收当前块的已编码信息和当前块的相邻样本。可以在已编码信息中获得与当前块相关联的标志信息。标志信息可以指示当前块是否至少部分地基于帧内模式推导进行帧内预测,其中,在帧内模式推导中,基于相邻样本,推导多个候选帧内模式。响应于标志信息指示当前块至少部分地基于帧内模式推导进行帧内预测,可以基于相邻样本,确定多个候选帧内模式。可以基于包括在已编码信息中的第一语法元素,确定当前块的第一帧内模式。第一语法元素可以指示来自最可能模式(MPM)列表和MPM剩余部分的当前块的第一帧内模式。可以基于第一帧内模式和多个候选帧内模式,确定当前块的第二帧内模式。可以基于第一帧内模式和第二帧内模式,重建当前块。
在一些实施例中,响应于标志信息指示当前块至少部分地基于帧内模式推导进行帧内预测,可以基于第一语法元素,确定第一帧内模式。
在该方法中,响应于标志信息指示当前块不是基于帧内模式推导进行帧内预测,可以基于包括在已编码信息中的第二语法元素,确定第三帧内模式。
在一实施例中,帧内模式推导可以包括解码器侧帧内模式推导(DIMD),其中,在DIMD中,基于与相邻样本相关联的梯度直方图(HoG),确定多个候选帧内模式。
在另一实施例中,帧内模式推导可以包括基于模板的帧内模式推导(TIMD),其中,在TIMD中,基于相邻样本的成本值,确定多个候选帧内模式。
为了确定当前块的第二帧内模式,可以基于第一帧内模式,确定当前块中的样本的第一预测值。可以基于第一预测值,确定当前块中的样本的重建值。可以基于多个候选帧内模式中的每一个候选帧内模式,确定当前块中的样本的相应的候选预测值。可以进一步确定多个模板匹配值。多个模板匹配值中的每一个模板匹配值可以等于重建值的两倍减(i)第一预测值和(ii)基于多个候选帧内模式中对应一个候选帧内模式的相应候选预测值。随后可以确定当前块的第二帧内模式,其中第二帧内模式可以是多个候选帧内模式中与多个模板匹配值中的最小模板匹配值相关联的候选帧内模式。
为了重建当前块,可以基于第二帧内模式,确定当前块中的样本的第二预测值。可以基于最终预测值进一步重建当前块。最终预测值可以是第一预测值和第二预测值的加权组合。
在一些实施例中,可以对加权组合进行同等加权。
根据本公开的另一方面,提供了一种装置。该装置包括处理电路。该处理电路可以被配置为执行用于视频编解码的任何一种方法。
本公开的各方面还提供了一种存储指令的非易失性计算机可读介质,这些指令在由计算机执行以用于视频解码时,使计算机执行用于视频编解码的任何一种方法。
附图说明
根据以下详细描述和附图,所公开的主题的其它特征、性质和各种优点将更加明显,其中:
图1是帧内预测模式的示例性子集的示意图。
图2是示例性帧内预测方向的图示。
图3是根据实施例的通信***(300)的简化框图的示意图。
图4是根据实施例的通信***(400)的简化框图的示意图。
图5是根据实施例的解码器的简化框图的示意图。
图6是根据实施例的编码器的简化框图的示意图。
图7示出了根据另一实施例的编码器的框图。
图8示出了根据另一实施例的解码器的框图。
图9是根据实施例的基于模板的帧内模式推导(TIMD)的示意图。
图10示出了概述根据本公开的一些实施例的示例性解码过程的流程图。
图11示出了概述根据本公开的一些实施例的示例性编码过程的流程图。
图12是根据实施例的计算机***的示意图。
具体实施方式
图3图示了根据本申请公开的实施例的通信***(300)的简化框图。通信***(300)包括多个终端装置,所述终端装置可通过例如网络(350)彼此通信。举例来说,通信***(300)包括通过网络(350)互连的第一对终端装置(310)和(320)。在图3的示例中,第一对终端装置(310)和(320)执行单向数据传输。例如,终端装置(310)可对视频数据(例如,由终端装置(310)采集的视频图片流)进行编码,以通过网络(350)传输到另一终端装置(320)。已编码视频数据可以以一个或多个已编码视频码流的形式传输。终端装置(320)可从网络(350)接收已编码视频数据,对已编码视频数据进行解码以恢复视频图片,并根据恢复的视频数据显示视频图片。单向数据传输可能在媒体服务等应用中比较常见。
在另一示例中,通信***(300)包括执行已编码视频数据的双向传输的第二对终端装置(330)和(340),所述双向传输可例如在视频会议期间发生。对于双向数据传输,在一示例中,终端装置(330)和终端装置(340)中的每个终端装置可对视频数据(例如,由终端装置采集的视频图片流)进行编码,以通过网络(350)传输到终端装置(330)和终端装置(340)中的另一终端装置。终端装置(330)和终端装置(340)中的每个终端装置还可接收由终端装置(330)和终端装置(340)中的另一终端装置传输的已编码视频数据,且可对所述已编码视频数据进行解码以恢复视频图片,且可根据恢复的视频数据在可访问的显示装置上显示视频图片。
在图3的示例中,终端装置(310)、终端装置(320)、终端装置(330)和终端装置(340)可能图示为服务器、个人计算机和智能电话,但本申请公开的原理可不限于此。本申请公开的实施例适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络(350)表示在终端装置(310)、终端装置(320)、终端装置(330)和终端装置(340)之间传送已编码视频数据的任何数目的网络,包括例如有线(连线的)和/或无线通信网络。通信网络(350)可在电路交换和/或分组交换信道中交换数据。代表性的网络包括电信网络、局域网、广域网和/或互联网。出于本论述的目的,除非在下文中有所解释,否则网络(350)的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。
作为本申请所公开主题应用的示例,图4示出了视频编码器和视频解码器在流式传输环境中的放置方式。本申请所公开主题可同等地适用于其它支持视频的应用,包括例如视频会议、数字TV、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等等。
流式传输***可包括采集子***(413),所述采集子***可包括数码相机等视频源(401),所述视频源创建例如未压缩的视频图片流(402)。在一个示例中,视频图片流(402)包括由数码相机拍摄的样本。视频图片流(402)描绘为粗线,以强调与已编码视频数据(404)(或已编码视频码流)相比,其具有较高的数据量,视频图片流(402)可由电子装置(420)处理,所述电子装置(420)包括耦接到视频源(401)的视频编码器(403)。视频编码器(403)可包括硬件、软件或软硬件组合,以实现或实施如下文更详细地描述的所公开主题的各方面。已编码视频数据(404)(或已编码的视频码流(404))描绘为细线,以强调与视频图片流(402)相比,其具有较低的数据量,其可存储在流式传输服务器(405)上以供将来使用。一个或多个流式传输客户端子***,例如,图4中的客户端子***(406)和客户端子***(408),可访问流式传输服务器(405),以检索已编码的视频数据(404)的副本(407)和副本(409)。客户端子***(406)可包括例如电子装置(430)中的视频解码器(410)。视频解码器(410)对已编码的视频数据的传入副本(407)进行解码,且产生可在显示器(412)(例如,显示屏)或另一呈现装置(未描绘)上呈现的输出视频图片流(411)。在一些流式传输***中,可根据某些视频编码/压缩标准,对已编码的视频数据(404)、视频数据(407)和视频数据(409)(例如,视频码流)进行编码。该些标准的示例包括ITU-T H.265建议书。在一个示例中,正在开发的视频编码标准非正式地称为多功能视频编码(Versatile Video Coding,VVC),本申请所公开主题可用于VVC标准的上下文中。
应注意,电子装置(420)和电子装置(430)可包括其它组件(未示出)。举例来说,电子装置(420)可包括视频解码器(未示出),且电子装置(430)还可包括视频编码器(未示出)。
图5是根据本申请公开的实施例的视频解码器(510)的框图。视频解码器(510)可设置在电子装置(530)中。电子装置(530)可包括接收器(531)(例如,接收电路)。视频解码器(510)可用于代替图4示例中的视频解码器(410)。
接收器(531)可接收将由视频解码器(510)解码的一个或多个已编码视频序列;在同一实施例或另一实施例中,一次接收一个已编码视频序列,其中每个已编码视频序列的解码独立于其它已编码视频序列。已编码视频序列可从信道(501)接收,所述信道可以是通向存储已编码的视频数据的存储装置的硬件/软件链路。接收器(531)可接收已编码的视频数据以及其它数据,例如,可转发到它们各自的使用实体(未描绘)的已编码音频数据和/或辅助数据流。接收器(531)可将已编码视频序列与其它数据分开。为了防止网络抖动,缓冲存储器(515)可耦接在接收器(531)与熵解码器/解析器(520)(此后称为“解析器(520)”)之间。在某些应用中,缓冲存储器(515)是视频解码器(510)的一部分。在其它情况下,所述缓冲存储器(515)可设置在视频解码器(510)外部(未描绘)。而在其它情况下,视频解码器(510)的外部设置缓冲存储器(未描绘),以例如防止网络抖动,且在视频解码器(510)的内部可配置另一缓冲存储器(515),以例如处理播出定时。而当接收器(531)从具有足够带宽和可控性的存储/转发装置,或从等时同步网络接收数据时,也可能不需要配置缓冲存储器(515),或可以将所述缓冲存储器做得较小。为了在互联网等尽力而为业务分组网络上使用,也可能需要缓冲存储器(515),所述缓冲存储器可相对较大且可具有自适应性大小,且可至少部分地实施于操作***或视频解码器(510)外部的类似元件(未描绘)中。
视频解码器(510)可包括解析器(520),以根据已编码视频序列重建符号(521)。这些符号的类别包括用于管理视频解码器(510)的操作的信息,以及用以控制呈现装置(512)(例如,显示屏)等显示装置的潜在信息,所述呈现装置不是电子装置(530)的组成部分,但可耦接到电子装置(530),如图5所示。用于显示装置的控制信息可以是辅助增强信息(Supplemental Enhancement Information,SEI)消息或视频可用性信息(VideoUsability Information,VUI)的参数集片段(未描绘)。解析器(520)可对接收到的已编码视频序列进行解析/熵解码。已编码视频序列的编码可根据视频编码技术或标准进行,且可遵循各种原理,包括可变长度编码、霍夫曼编码(Huffman coding)、具有或不具有上下文灵敏度的算术编码等等。解析器(520)可基于对应于群组的至少一个参数,从已编码视频序列中提取用于视频解码器中的像素的子群中的至少一个子群的子群参数集。子群可包括图片群组(Group of Pictures,GOP)、图片、图块(tile)、条带(slice)、宏块、编码单元(CodingUnit,CU)、块、变换单元(Transform Unit,TU)、预测单元(Prediction Unit,PU)等等。解析器(520)还可从已编码视频序列提取信息,例如,变换系数、量化器参数值、运动矢量等等。
解析器(520)可对从缓冲存储器(515)接收的视频序列执行熵解码/解析操作,从而创建符号(521)。
取决于已编码视频图片或已编码视频图片部分的类型(例如:帧间图片和帧内图片、帧间块和帧内块)以及其它因素,符号(521)的重建可涉及多个不同单元。涉及哪些单元以及涉及方式可由解析器(520)从已编码视频序列解析的子群控制信息控制。为了简洁起见,未描述解析器(520)与下文的多个单元之间的此类子群控制信息流。
除已经提及的功能块以外,视频解码器(510)可在概念上细分成如下文所描述的数个功能单元。在商业约束下运行的实际实施例中,这些单元中的许多单元彼此紧密交互并且至少可以部分彼此集成。然而,出于描述所公开主题的目的,概念上细分成下文的功能单元是适当的。
第一单元是缩放器/逆变换单元(551)。缩放器/逆变换单元(551)从解析器(520)接收作为符号(521)的量化变换系数以及控制信息,包括使用哪种变换方式、块大小、量化因子、量化缩放矩阵等。缩放器/逆变换单元(551)可输出包括样本值的块,所述样本值可输入到聚合器(555)中。
在一些情况下,缩放器/逆变换单元(551)的输出样本可属于帧内编码块;即:不使用来自先前已重建图片的预测性信息、但可使用来自当前图片的先前重建部分的预测性信息的块。此类预测性信息可由帧内图片预测单元(552)提供。在一些情况下,帧内图片预测单元(552)采用从当前图片缓冲器(558)提取的周围已重建信息,生成大小和形状与正在重建的块相同的块。举例来说,当前图片缓冲器(558)缓冲部分重建的当前图片和/或完全重建的当前图片。在一些情况下,聚合器(555)基于每个样本,将帧内预测单元(552)生成的预测信息添加到由缩放器/逆变换单元(551)提供的输出样本信息中。
在其它情况下,缩放器/逆变换单元(551)的输出样本可属于帧间编码和潜在运动补偿块。在此情况下,运动补偿预测单元(553)可访问参考图片存储器(557)以提取用于预测的样本。在根据属于所述块的符号(521)对提取的样本进行运动补偿之后,这些样本可由聚合器(555)添加到缩放器/逆变换单元(551)的输出(在这种情况下被称作残差样本或残差信号),从而生成输出样本信息。运动补偿预测单元(553)从参考图片存储器(557)内的地址获取预测样本可受到运动矢量控制,且所述运动矢量以所述符号(521)的形式而供运动补偿预测单元(553)使用,所述符号(521)例如是包括X、Y和参考图片分量。运动补偿还可包括在使用子样本精确运动矢量时,从参考图片存储器(557)提取的样本值的插值、运动矢量预测机制等等。
聚合器(555)的输出样本可在环路滤波器单元(556)中被各种环路滤波技术采用。视频压缩技术可包括环路内滤波器技术,所述环路内滤波器技术受控于包括在已编码视频序列(也称作已编码视频码流)中的参数,且所述参数作为来自解析器(520)的符号(521)可用于环路滤波器单元(556),但是还可响应于在解码已编码图片或已编码视频序列的先前(按解码次序)部分期间获得的元信息,以及响应于先前重建且经过环路滤波的样本值。
环路滤波器单元(556)的输出可以是样本流,所述样本流可输出到显示装置(512)以及存储在参考图片存储器(557)中,以用于后续的帧间图片预测。
一旦完全重建,某些已编码图片就可用作参考图片以用于将来预测。举例来说,一旦对应于当前图片的已编码图片被完全重建,且已编码图片(通过例如解析器(520))被识别为参考图片,则当前图片缓冲器(558)可变为参考图片存储器(557)的一部分,且可在开始重建后续已编码图片之前重新分配新的当前图片缓冲器。
视频解码器(510)可根据例如ITU-T H.265建议书等标准中的预定视频压缩技术执行解码操作。在已编码视频序列遵循视频压缩技术或标准的语法以及视频压缩技术或标准中记录的配置文件的意义上,已编码视频序列可符合所使用的视频压缩技术或标准指定的语法。具体地说,配置文件可从视频压缩技术或标准中可用的所有工具中选择某些工具作为在所述配置文件下可供使用的仅有工具。对于合规性,还要求已编码视频序列的复杂度处于视频压缩技术或标准的层级所限定的范围内。在一些情况下,层级限制最大图片大小、最大帧率、最大重建取样率(以例如每秒兆(mega)个样本为单位进行测量)、最大参考图片大小等。在一些情况下,由层级设定的限制可通过假想参考解码器(HypotheticalReference Decoder,HRD)规范和在已编码视频序列中用信号表示的HRD缓冲器管理的元数据来进一步限定。
在实施例中,接收器(531)可连同已编码视频一起接收附加(冗余)数据。所述附加数据可以是已编码视频序列的一部分。所述附加数据可由视频解码器(510)用以对数据进行适当解码和/或较准确地重建原始视频数据。附加数据可呈例如时间、空间或信噪比(signal noise ratio,SNR)增强层、冗余条带、冗余图片、前向纠错码等形式。
图6是根据本申请公开的实施例的视频编码器(603)的框图。视频编码器(603)设置于电子装置(620)中。电子装置(620)包括传输器(640)(例如,传输电路)。视频编码器(603)可用于代替图4示例中的视频编码器(403)。
视频编码器(603)可从视频源(601)(并非图6示例中的电子装置(620)的一部分)接收视频样本,所述视频源可采集将由视频编码器(603)编码的视频图像。在另一实施例中,视频源(601)是电子装置(620)的一部分。
视频源(601)可提供将由视频编码器(603)编码的呈数字视频样本流形式的源视频序列,所述数字视频样本流可具有任何合适位深度(例如:8位、10位、12位……)、任何色彩空间(例如,BT.601Y CrCB、RGB……)和任何合适取样结构(例如,Y CrCb 4:2:0、Y CrCb4:4:4)。在媒体服务***中,视频源(601)可以是存储先前已准备的视频的存储装置。在视频会议***中,视频源(601)可以是采集本地图像信息作为视频序列的相机。可将视频数据提供为多个单独的图片,当按顺序观看时,这些图片被赋予运动。图片自身可构建为空间像素阵列,其中取决于所用的取样结构、色彩空间等,每个像素可包括一个或多个样本。所属领域的技术人员可以很容易理解像素与样本之间的关系。下文侧重于描述样本。
根据实施例,视频编码器(603)可实时或在由应用所要求的任何其它时间约束下,将源视频序列的图片编码且压缩成已编码视频序列(643)。施行适当的编码速度是控制器(650)的一个功能。在一些实施例中,控制器(650)控制如下文所描述的其它功能单元且在功能上耦接到这些单元。为了简洁起见,图中未标示耦接。由控制器(650)设置的参数可包括速率控制相关参数(图片跳过、量化器、率失真优化技术的λ值等)、图片大小、图片群组(group of pictures,GOP)布局,最大运动矢量搜索范围等。控制器(650)可用于具有其它合适的功能,这些功能涉及针对某一***设计优化的视频编码器(603)。
在一些实施例中,视频编码器(603)在编码环路中运作。作为简单的描述,在一个示例中,编码环路可包括源编码器(630)(例如,负责基于待编码的输入图片和参考图片创建符号,例如,符号流)和嵌入于视频编码器(603)中的(本地)解码器(633)。解码器(633)以类似于(远程)解码器创建样本数据的方式重建符号,以创建样本数据(因为在本申请所公开的主题所考虑的视频压缩技术中,符号与已编码视频码流之间的任何压缩是无损的)。将重建的样本流(样本数据)输入到参考图片存储器(634)。由于符号流的解码产生与解码器位置(本地或远程)无关的位精确结果,因此参考图片存储器(634)中的内容在本地编码器与远程编码器之间也是按比特位精确对应的。换句话说,编码器的预测部分“看到”的参考图片样本与解码器将在解码期间使用预测时所“看到”的样本值完全相同。这种参考图片同步性基本原理(以及在例如因信道误差而无法维持同步性的情况下产生的漂移)也用于一些相关技术。
“本地”解码器(633)的操作可与例如已在上文结合图5详细描述视频解码器(610)的“远程”解码器相同。然而,另外简要参考图5,当符号可用且熵编码器(645)和解析器(520)能够无损地将符号编码/解码到已编解码视频序列时,包括缓冲存储器(515)和解析器(520)在内的视频解码器(510)的熵解码部分,可能不完全在本地解码器(633)中实施。
此时可以观察到,除存在于解码器中的解析/熵解码之外的任何解码器技术,也必定以基本上相同的功能形式存在于对应的编码器中。出于此原因,本申请侧重于解码器操作。可简化编码器技术的描述,因为编码器技术与全面地描述的解码器技术互逆。仅在某些区域中需要更详细的描述,并且在下文提供。
在操作期间,在一些示例中,源编码器(630)可执行运动补偿预测编码,参考来自视频序列中被指定为“参考图片”的一个或多个先前已编码图片,对输入图片进行预测性编码。以此方式,编码引擎(632)对输入图片的像素块与参考图片的像素块之间的差值进行编码,所述参考图片可被选作所述输入图片的预测参考。
本地视频解码器(633)可基于源编码器(630)创建的符号,对可指定为参考图片的图片的已编码视频数据进行解码。编码引擎(632)的操作可为有损过程。当已编码视频数据可在视频解码器(图6中未示)处解码时,重建的视频序列通常可以是带有一些误差的源视频序列的副本。本地视频解码器(633)复制解码过程,所述解码过程可由视频解码器对参考图片执行,且可使重建的参考图片存储在参考图片高速缓存(634)中。以此方式,视频编码器(603)可在本地存储重建的参考图片的副本,所述副本与将由远端视频解码器获得的重建参考图片具有共同内容(不存在传输误差)。
预测器(635)可针对编码引擎(632)执行预测搜索。即,对于将要编码的新图片,预测器(635)可在参考图片存储器(634)中搜索可作为所述新图片的适当预测参考的样本数据(作为候选参考像素块)或某些元数据,例如,参考图片运动矢量、块形状等。预测器(635)可基于样本块逐像素块操作,以找到合适的预测参考。在一些情况下,根据预测器(635)获得的搜索结果,可确定输入图片可具有从参考图片存储器(634)中存储的多个参考图片取得的预测参考。
控制器(650)可管理源编码器(630)的编码操作,包括例如设置用于对视频数据进行编码的参数和子群参数。
可在熵编码器(645)中对所有上述功能单元的输出进行熵编码。熵编码器(645)根据例如霍夫曼编码、可变长度编码、算术编码等技术对各种功能单元生成的符号进行无损压缩,从而将所述符号转换成已编码视频序列。
传输器(640)可缓冲由熵编码器(645)创建的已编码视频序列,从而为通过通信信道(660)进行传输做准备,所述通信信道可以是通向将存储已编码的视频数据的存储装置的硬件/软件链路。传输器(640)可将来自视频编码器(603)的已编码视频数据与要传输的其它数据合并,所述其它数据例如是已编码音频数据和/或辅助数据流(未示出来源)。
控制器(650)可管理视频编码器(603)的操作。在编码期间,控制器(650)可以为每个已编码图片分配某一已编码图片类型,这可能影响可应用于相应的图片的编码技术。例如,通常可将图片分配为以下任一种图片类型:
帧内图片(I图片),其可以是不将序列中的任何其它图片用作预测源就可被编码和解码的图片。一些视频编解码器容许不同类型的帧内图片,包括例如独立解码器刷新(Independent Decoder Refresh,“IDR”)图片。所属领域的技术人员了解I图片的变体及其相应的应用和特征。
预测性图片(P图片),其可以是可使用帧内预测或帧间预测进行编码和解码的图片,所述帧内预测或帧间预测使用至多一个运动矢量和参考索引来预测每个块的样本值。
双向预测性图片(B图片),其可以是可使用帧内预测或帧间预测进行编码和解码的图片,所述帧内预测或帧间预测使用至多两个运动矢量和参考索引来预测每个块的样本值。类似地,多个预测性图片可使用多于两个参考图片和相关联元数据以用于重建单个块。
源图片通常可在空间上细分成多个样本块(例如,每个具有4×4、8×8、4×8或16×16个样本的块),且逐块进行编码。这些块可参考其它(已编码)块进行预测编码,根据应用于块的相应图片的编码分配来确定所述其它块。举例来说,I图片的块可进行非预测编码,或所述块可参考同一图片的已经编码的块来进行预测编码(空间预测或帧内预测)。P图片的像素块可参考一个先前编码的参考图片通过空间预测或通过时域预测进行预测编码。B图片的块可参考一个或两个先前编码的参考图片通过空间预测或通过时域预测进行预测编码。
视频编码器(603)可根据例如ITU-T H.265建议书的预定视频编码技术或标准执行编码操作。在操作中,视频编码器(603)可执行各种压缩操作,包括利用输入视频序列中的时间和空间冗余的预测编码操作。因此,已编码视频数据可符合所用视频编码技术或标准指定的语法。
在实施例中,传输器(640)可传输附加数据和已编码的视频。源编码器(630)可以包括此类数据为已编码视频序列的一部分。附加数据可包括时间/空间/SNR增强层、冗余图片和条带等其它形式的冗余数据、SEI消息、VUI参数集片段等。
采集到的视频可作为呈时间序列的多个源图片(视频图片)。帧内图片预测(常常简化为帧内预测)利用给定图片中的空间相关性,而帧间图片预测则利用图片之间的(时间或其它)相关性。在实施例中,将正在编码/解码的特定图片分割成块,正在编码/解码的特定图片被称作当前图片。在当前图片中的块类似于视频中先前已编码且仍被缓冲的参考图片中的参考块时,可通过称作运动矢量的矢量对当前图片中的块进行编码。所述运动矢量指向参考图片中的参考块,且在使用多个参考图片的情况下,所述运动矢量可具有识别参考图片的第三维度。
在一些实施例中,双向预测技术可用于帧间图片预测中。根据双向预测技术,使用两个参考图片,例如,按解码次序都在视频中的当前图片之前(但按显示次序可能分别是过去和将来)第一参考图片和第二参考图片。可通过指向第一参考图片中的第一参考块的第一运动矢量和指向第二参考图片中的第二参考块的第二运动矢量对当前图片中的块进行编码。可通过第一参考块和第二参考块的组合来预测所述块。
此外,合并模式技术可用于帧间图片预测中以改善编码效率。
根据本申请公开的一些实施例,帧间图片预测和帧内图片预测等预测的执行以块为单位。举例来说,根据HEVC标准,将视频图片序列中的图片分割成编码树单元(codingtree unit,CTU)以用于压缩,图片中的CTU具有相同大小,例如,64×64像素、32×32像素或16×16像素。一般来说,CTU包括三个编码树块(coding tree block,CTB),所述三个编码树块是一个亮度CTB和两个色度CTB。更进一步的,还可将每个CTU以四叉树拆分为一个或多个编码单元(coding unit,CU)。举例来说,可将64×64像素的CTU拆分为一个64×64像素的CU,或4个32×32像素的CU,或16个16×16像素的CU。在实施例中,分析每个CU以确定用于CU的预测类型,例如,帧间预测类型或帧内预测类型。此外,取决于时间和/或空间可预测性,将CU拆分为一个或多个预测单元(prediction unit,PU)。通常,每个PU包括亮度预测块(prediction block,PB)和两个色度PB。在实施例中,编码(编码/解码)中的预测操作以预测块为单位来执行。以亮度预测块作为预测块为例,预测块包括像素值(例如,亮度值)的矩阵,例如,8×8像素、16×16像素、8×16像素、16×8像素等等。
图7示出了根据本申请公开的另一实施例的视频编码器(703)的图。视频编码器(703)用于接收视频图片序列中的当前视频图片内的样本值的处理块(例如,预测块),且将所述处理块编码到作为已编码视频序列的一部分的已编码图片中。在本实施例中,视频编码器(703)用于代替图4示例中的视频编码器(403)。
在HEVC示例中,视频编码器(703)接收用于处理块的样本值的矩阵,所述处理块为例如8×8样本的预测块等。视频编码器(703)使用例如率失真(rate-distortion,RD)优化来确定是否使用帧内模式、帧间模式或双向预测模式来编码所述处理块。当在帧内模式中编码处理块时,视频编码器(703)可使用帧内预测技术以将处理块编码到已编码图片中;且当在帧间模式或双向预测模式中编码处理块时,视频编码器(703)可分别使用帧间预测或双向预测技术将处理块编码到已编码图片中。在某些视频编码技术中,合并模式可以是帧间图片预测子模式,其中,在不借助预测值外部的已编码运动矢量分量的情况下,从一个或多个运动矢量预测值导出运动矢量。在某些其它视频编码技术中,可存在适用于主题块的运动矢量分量。在实施例中,视频编码器(703)包括其它组件,例如,用于确定处理块模式的模式决策模块(未示出)。
在图7的示例中,视频编码器(703)包括如图7所示的耦接到一起的帧间编码器(730)、帧内编码器(722)、残差计算器(723)、开关(726)、残差编码器(724)、通用控制器(721)和熵编码器(725)。
帧间编码器(730)用于接收当前块(例如,处理块)的样本、比较所述块与参考图片中的一个或多个参考块(例如,先前图片和后来图片中的块)、生成帧间预测信息(例如,根据帧间编码技术的冗余信息描述、运动矢量、合并模式信息)、以及基于帧间预测信息使用任何合适的技术计算帧间预测结果(例如,已预测块)。在一些示例中,参考图片是基于已编码的视频信息解码的已解码参考图片。
帧内编码器(722)用于接收当前块(例如,处理块)的样本、在一些情况下比较所述块与同一图片中已编码的块、在变换之后生成量化系数、以及在一些情况下还(例如,根据一个或多个帧内编码技术的帧内预测方向信息)生成帧内预测信息。在一个示例中,帧内编码器(722)还基于帧内预测信息和同一图片中的参考块计算帧内预测结果(例如,已预测块)。
通用控制器(721)用于确定通用控制数据,且基于所述通用控制数据控制视频编码器(703)的其它组件。在实施例中,通用控制器(721)确定块的模式,且基于所述模式将控制信号提供到开关(726)。举例来说,当所述模式是帧内模式时,通用控制器(721)控制开关(726)以选择供残差计算器(723)使用的帧内模式结果,且控制熵编码器(725)以选择帧内预测信息且将所述帧内预测信息添加在码流中;以及当所述模式是帧间模式时,通用控制器(721)控制开关(726)以选择供残差计算器(723)使用的帧间预测结果,且控制熵编码器(725)以选择帧间预测信息且将所述帧间预测信息添加在码流中。
残差计算器(723)用于计算所接收的块与选自帧内编码器(722)或帧间编码器(730)的预测结果之间的差(残差数据)。残差编码器(724)用于基于残差数据操作,以对残差数据进行编码以生成变换系数。在实施例中,残差编码器(724)用于将残差数据从时域转换到频域,且生成变换系数。变换系数接着经由量化处理以获得量化的变换系数。在各种实施例中,视频编码器(703)还包括残差解码器(728)。残差解码器(728)用于执行逆变换,且生成已解码残差数据。已解码残差数据可适当地由帧内编码器(722)和帧间编码器(730)使用。举例来说,帧间编码器(730)可基于已解码残差数据和帧间预测信息生成已解码块,且帧内编码器(722)可基于已解码残差数据和帧内预测信息生成已解码块。适当处理已解码块以生成已解码图片,且在一些实施例中,所述已解码图片可在存储器电路(未示出)中缓冲并用作参考图片。
熵编码器(725)用于将码流格式化以产生已编码的块。熵编码器(725)根据HEVC标准等合适标准产生各种信息。在实施例中,熵编码器(725)用于获得通用控制数据、所选预测信息(例如,帧内预测信息或帧间预测信息)、残差信息和码流中的其它合适的信息。应注意,根据所公开的主题,当在帧间模式或双向预测模式的合并子模式中对块进行编码时,不存在残差信息。
图8示出了根据本申请公开的另一实施例的视频解码器(810)的图。视频解码器(810)用于接收作为已编码视频序列的一部分的已编码图像,且对所述已编码图像进行解码以生成重建的图片。在一个示例中,视频解码器(810)用于代替图4示例中的视频解码器(410)。
在图8的示例中,视频解码器(810)包括如图8中所示耦接到一起的熵解码器(871)、帧间解码器(880)、残差解码器(873)、重建模块(874)和帧内解码器(872)。
熵解码器(871)可用于根据已编码图片来重建某些符号,这些符号表示构成所述已编码图片的语法元素。此类符号可包括例如所述块编码的模式(例如,帧内模式、帧间模式、双向预测模式、后两者的合并子模式或另一子模式)、可分别识别供帧内解码器(872)或帧间解码器(880)用以进行预测的某些样本或元数据的预测信息(例如,帧内预测信息或帧间预测信息)、呈例如量化的变换系数形式的残差信息等等。在一个示例中,当预测模式是帧间预测模式或双向预测模式时,将帧间预测信息提供到帧间解码器(880);以及当预测类型是帧内预测类型时,将帧内预测信息提供到帧内解码器(872)。残差信息可经由逆量化并提供到残差解码器(873)。
帧间解码器(880)用于接收帧间预测信息,且基于所述帧间预测信息生成帧间预测结果。
帧内解码器(872)用于接收帧内预测信息,且基于所述帧内预测信息生成预测结果。
残差解码器(873)用于执行逆量化以提取解量化的变换系数,且处理所述解量化的变换系数,以将残差从频域转换到空间域。残差解码器(873)还可能需要某些控制信息(用以获得量化器参数QP),且所述信息可由熵解码器(871)提供(未标示数据路径,因为这可能仅仅是低量控制信息)。
重建模块(874)用于在空间域中组合由残差解码器(873)输出的残差与预测结果(可由帧间预测模块或帧内预测模块输出)以形成重建的块,所述重建的块可以是重建的图片的一部分,所述重建的图片继而可以是重建的视频的一部分。应注意,可执行解块操作等其它合适的操作来改善视觉质量。
应注意,可使用任何合适的技术来实施视频编码器(403)、视频编码器(603)和视频编码器(703)以及视频解码器(410)、视频解码器(510)和视频解码器(810)。在实施例中,可使用一个或多个集成电路来实施视频编码器(403)、视频编码器(603)和视频编码器(703)以及视频解码器(410)、视频解码器(510)和视频解码器(810)。在另一实施例中,可使用执行软件指令的一个或多个处理器来实施视频编码器(403)、视频编码器(603)和视频编码器(703)以及视频解码器(410)、视频解码器(510)和视频解码器(810)。
本公开包括对帧内模式编解码的改进。
ITU-T VCEG(Q6/16)和ISO/IEC MPEG(JTC 1/SC 29/WG 11)在2013年(版本1)、2014年(版本2)、2015年(版本3)和2016年(版本4)中公布了H.265/HEVC(高效率视频编解码)标准。2015年,这两个标准组织联合成立了JVET(联合视频探索组),以探索开发超越HEVC的下一视频编解码标准的潜力。2018年4月,JVET正式启动了超越HEVC的下一代视频编解码的标准化进程。新标准命名为通用视频编解码(VVC),并且JVET重命名为联合视频专家组。2020年7月,H.266/VVC版本1完稿。2021年1月,建立了特设小组来研究超越VVC能力的增强压缩。
在解码器侧帧内模式推导(DIMD)中,帧内模式可以使用在码流中发信号通知的相关语法元素推导,或者帧内模式可以在解码器侧推导而不使用在码流中发信号通知的相关语法元素。许多方法可以用于在解码器侧推导帧内模式,解码器侧帧内模式推导不限于本公开中所描述的方法。
在DIMD中,可以从当前CU/PU的已重建相邻样本推导用于当前CU/PU的多个候选帧内模式中的两个帧内模式。在DIMD中,可以在编码器侧和解码器侧两者执行纹理梯度分析,以基于已重建相邻样本生成多个候选帧内模式。多个候选帧内模式中的每一个候选帧内模式可以与各自的梯度历史(或各自的梯度)相关联。可以选择具有最高梯度历史(或在直方图中具有最高梯度)的两个帧内模式(例如,intraMode1和intraMode2)。选定的两个帧内模式(例如,intraMode1和intraMode2)的帧内模式预测子可以使用加权和与平面模式预测子组合。可以基于intraMode1、intraMode2和平面模式的组合,形成用于当前CU/PU的最终帧内模式预测子。
表1示出了示例性DIMD信令。如表1所示,在ISP标志(例如,ISP_flag)之前可以发信号通知DIMD标志(例如,DIMD_flag)。当DIMD标志为1(或为真)时,其可以指示当前CU/PU使用DIMD,可以进一步解析ISP标志,以验证ISP是否应用于当前CU/PU。当DIMD标志不为1(或为假)时,其可以指示当前CU/PU不使用DIMD。相应地,在解码器中可以解析与其它帧内编解码工具(例如,MIP、MRL、MPM等)相关的语法元素。
DIMD标志的上下文建模可以取决于相邻CU/PU。例如,DIMD标志的上下文建模可以取决于(i)左侧相邻CU/PU或上方相邻CU/PU的可用性以及(ii)左侧相邻CU/PU或上方相邻CU/PU是否也使用DIMD。如果左侧相邻CU/PU或上方相邻CU/PU存在并使用DIMD,则上下文索引(例如,ctxIdx)可以为1。当左侧相邻CU/PU和上方相邻CU/PU都存在并使用DIMD时,上下文索引可以为2。否则,上下文索引可以为0。
表1.DIMD信令的伪代码
基于模板的帧内模式推导(TIMD)可以使用当前CU的参考样本作为模板,从与TIMD相关联的一组候选帧内预测模式中选择一个帧内模式。例如,基于成本函数,可以确定所选的帧内模式为最佳帧内模式。如图9中所示,当前CU(902)的相邻已重建样本可以用作模板(904)。可以将模板(904)中的已重建样本与模板(904)的预测样本进行比较。预测样本可以使用模板(904)的参考样本(906)生成。参考样本(906)可以是模板(904)周围的相邻已重建样本。成本函数可以用于基于一组候选帧内预测模式中的相应一个候选帧内预测模式,计算模板(904)中的预测样本与已重建样本之间的成本(或失真)。可以选择具有最小成本(或失真)的帧内预测模式作为帧内预测模式(例如,最佳帧内预测模式),以对当前CU(902)进行帧内预测。
表2示出了示例性TIMD信令。如表2所示,当DIMD标志(例如,DIMD_flag)不为1(或不为真)时,可以发信号通知TIMD标志(例如,TIMD_flag)。当DIMD标志为1时,当前CU/PU使用DIMD,并且可以解析ISP标志(例如,ISP_flag),以确定ISP是否用于当前CU/PU。当DIMD标志不为1时,解析TIMD标志。当TIMD标志为1时,在不应用其它帧内编解码工具(例如,当使用TIMD时不允许ISP)的情况下,可以将TIMD应用于当前CU/PU。当TIMD标志不为1(或假)时,在解码器中可以解析与其它帧内编解码工具(例如,MIP、MRL、MPM等)相关的语法元素。
表2.TIMD信令的伪代码
解码器侧帧内预测还可以使用显式发信号通知的帧内模式和解码器侧推导的帧内模式,以在解码器侧执行帧内预测。例如,解码器可以使用DIMD来推导帧内模式,并将推导的帧内模式用于帧内预测。
在本公开中,可以提供混合帧内预测,以对视频的当前图片中的当前块进行帧内预测。混合帧内预测可以应用在码流中发信号通知的帧内模式和解码器侧推导的帧内模式两者,以生成用于当前块的帧内预测。例如,混合帧内预测可以应用第一帧内模式(例如,intraMode 1)和第二帧内模式(例如,intraMode 2),第一帧内模式是使用码流中的最可能模式(MPM)相关语法元素发信号通知的,第二帧内模式是基于解码器侧帧内模式推导生成的。解码器侧帧内模式推导可以是DIMD、TIMD等。因此,第一帧内模式(例如,intraMode 1)是在码流中发信号通知,第二帧内模式(例如,intraMode 2)是在解码器侧推导,而不在码流中发信号通知。应当注意,解码器侧帧内模式推导不限于DIMD或TIMD。解码器侧帧内模式推导可以是适用于推导用于对当前块进行帧内预测的帧内模式的任何解码器侧帧内模式推导。此外,应当注意,第一帧内模式(例如,intraMode 1)和第二帧内模式(例如,intraMode 2)可以不相同。
在实施例中,可以首先生成解码器侧推导的帧内模式(例如,intraMode 2),随后可以生成在码流中发信号通知的帧内模式(例如,intraMode 1)。表3示出了用于首先生成解码器推导的帧内模式(例如,intraMode 2),随后生成在码流中发信号通知的帧内模式(例如,intraMode 1)的过程的示例性伪代码。
表3.用于生成混合帧内预测的帧内模式的示例性伪代码
如表3所示,可以从已编码码流获得解码器侧帧内模式推导标志(例如,decoder_side_intra_mode_derivation_method_flag),并对其进行解析(或编码)。响应于解码器侧帧内模式推导标志为1(或真),针对当前块可以推导解码器侧推导的帧内模式(例如,intraMode 2)。例如,可以基于DIMD推导解码器侧推导的帧内模式(例如,intraMode 2),其中可以基于与当前块的相邻样本(或模板)相关联的梯度直方图(HoG),确定两个或更多个候选帧内模式。解码器侧推导的帧内模式(例如,intraMode 2)可以是由DIMD推导的两个或更多个候选帧内模式中的一个。在另一示例中,可以基于TIMD推导解码器侧推导的帧内模式,其中可以基于当前块的相邻样本(或模板)的成本值(例如,绝对差之和(SAD)或绝对变换差之和(SATD)),确定两个或更多个帧内模式。解码器侧推导的帧内模式(例如,intraMode 2)可以是由TIMD推导的两个或更多个候选帧内模式中的一个。进一步地,可以编码(或解析)MPM和MPM剩余部分相关语法元素以生成在码流中发信号通知的帧内模式(例如,intraMode 1)。可以在MPM列表或MPM剩余部分中识别在码流中发信号通知的帧内模式。在示例中,MPM列表可以包括22个帧内模式,MPM剩余部分(或非MPM列表)可以包括45个帧内模式。
仍参考表3,响应于解码器侧帧内模式推导标志为0(或假),可以不推导解码器侧推导的帧内模式(例如,intraMode 2)且可以不确定在码流中发信号通知的帧内模式(例如,intraMode 1)。相反,可以编码(或解析)与另一帧内模式相关联的语法元素,以生成其它帧内模式。因此,可以不基于混合帧内预测模式预测当前块。可以基于其它帧内模式预测当前块。
在另一实施例中,可以首先获得在码流中发信号通知的帧内模式(例如,intraMode 1),然后可以推导解码器侧推导的帧内模式(例如,intraMode 2)。表4示出了用于首先生成在码流中发信号通知的帧内模式,随后生成解码器侧推导的帧内模式的过程的示例性伪代码。
表4.用于生成混合帧内预测的帧内模式的示例性伪代码
如表4所示,可以编码(或解析)MPM和MPM剩余部分相关语法元素,以首先生成在码流中发信号通知的帧内模式(例如,intraMode 1)。根据MPM和MPM剩余部分相关语法元素,可以在MPM列表或MPM剩余部分(或非MPM列表)中识别在码流中发信号通知的帧内模式(例如,intramode 1)。进一步地,可以从已编码码流获得解码器侧帧内模式推导标志(例如,decoder_side_intra_mode_derivation_method_flag),并对其进行解析(或编码)。响应于解码器侧帧内模式推导标志为1(或真),针对当前块可以推导解码器侧推导的帧内模式(例如,intraMode 2)。例如,可以基于DIMD或TIMD推导解码器侧推导的帧内模式(例如,intraMode 2)。
仍参考表4,响应于解码器侧帧内模式推导标志为0(或假),可以不生成解码器侧推导的帧内模式(例如,intraMode 2)。相反,可以编码(或解析)与另一帧内模式相关联的语法元素,以生成其它帧内模式。可以基于在码流中发信号通知的帧内模式(例如,intraMode 1)和其它帧内模式之一或它们的组合,预测当前块。
当解码器执行帧内预测时,可以使用第一帧内模式(例如,intraMode1)生成第一帧内预测子(例如,intraPredictor1)。可以进一步从原始样本值的两倍中减去第一帧内预测子。解码器侧帧内模式推导可以使用减去的值(例如,2*原始样本值减第一预测子)作为模板,并应用基于模板匹配的方法,从两个或更多个候选帧内模式中找到最佳(或选定的)匹配帧内模式(例如,intraMode2)。例如,解码器可以通过计算(2*原始样本值-intraPredictor 1-intraPredictor 2)找到最佳intraMode2,其中每个intraPredictor2可以由两个或更多个候选帧内模式中的相应一个生成。可以选择具有最小值的候选帧内模式为最佳(或选定的)匹配帧内模式(例如,intraMode2)。
例如,可以从基于解码器侧帧内模式推导来推导的两个或更多个候选帧内模式(诸如,DIMD或TIMD),确定解码器侧推导的帧内模式(例如,intraMode 2)。为了从两个或更多个候选帧内模式确定解码器侧推导的帧内模式(例如,intraMode2),可以基于在码流中发信号通知的帧内模式(例如,intraMode 1)获得当前块的第一帧内预测子(例如,intraPredictor 1)。第一帧内预测子可以是基于第一帧内模式的当前块中的样本的第一预测值。进一步地,可以确定编码器侧的当前块的原始样本值或解码器侧的当前块的重建值。可以通过当前块的预测值获得解码器侧的当前块的重建值。在一示例中,可以从第一预测子获得当前块的重建值。在另一示例中,可以从由解码器侧帧内模式推导生成的两个或更多个候选帧内模式,诸如DIMD或TIMD,获得当前块的重建值。
可以从当前块的原始样本值的两倍(或重建值的两倍)中减去第一帧内预测子(例如,intraPredictor 1)。减法可以生成模板。模板可以是当前块的原始样本值的两倍(或重建值的两倍)与当前块的第一帧内预测子之间的差。可以进一步应用基于模板匹配的方法,从两个或更多个候选帧内模式中确定解码器侧推导的帧内模式(例如,intraMode 2)。例如,可以基于两个或更多个候选帧内模式中的每一个确定当前块中的样本的相应的候选预测值(或相应的第二帧内预测子intraPredictor 2)。可以确定多个模板匹配值(或成本值),其中多个模板匹配值中的每一个可以等于模板减基于两个或更多个候选帧内模式中的对应一个的当前块中的样本的相应的候选预测值(或相应的第二帧内预测子intraPredictor 2)。模板匹配值的示例性表示可以是(2*原始样本值(或重建样本值)-intraPredictor 1-intraPredictor 2),其中intraPredictor 1由在码流中发信号通知的帧内模式(例如,intraMode 1)生成,并且intraPredictor 2是由两个或更多个候选帧内模式中的一个生成的第二帧内预测子。
可以确定解码器侧推导的帧内模式(例如,intraMode 2)为多个候选帧内模式中的选定的(或最佳)候选帧内模式,该解码器侧推导的候选帧内模式与多个模板匹配值中的最小模板匹配值相关联。
一旦确定了在码流中发信号通知的帧内模式(例如,intraMode 1)和解码器侧推导的帧内模式(例如,intraMode 2),就可以基于最终帧内预测子(或最终预测值)来预测当前块。最终帧内预测子(或最终预测值)可以是第一预测子(或第一预测值)和第二预测子(或第二预测值)的加权组合。可以基于第一帧内模式(或在码流中发信号通知的帧内模式intraMode 1)获得第一预测子,并且可以基于第二帧内模式(或解码器侧推导的帧内模式intraMode 2)获得第二预测子。在示例中,对加权组合进行同等加权。因此,最终帧内预测子可以在等式1中描述如下:finalIntraPredictor=((使用intraMode1的帧内预测子)+(使用intraMode2的帧内预测子))>>1等式(1)
其中,最终帧内预测子(例如,finalIntraPredictor)等于第一帧内预测子(或使用intraMode1的帧内预测子)的一半与第二帧内预测子(或使用intraMode2的帧内预测子)的一半之和。
图10示出了概述根据本公开的一些实施例的示例性解码过程(1000)的流程图。图11示出了概述根据本公开的一些实施例的示例性编码过程(1100)的流程图。所提出的过程可以单独使用或以任何顺序组合使用。进一步地,过程(或实施例)、编码器和解码器中的每一个可以由处理电路(例如,一个或多个处理器或一个或多个集成电路)实现。在一个示例中,一个或多个处理器执行存储在非易失性计算机可读介质中的程序。
在实施例中,过程(例如,(1000)和(1100))的任何操作可以根据需要以任何数量或顺序组合或布置。在实施例中,可以并行地执行过程(例如,(1000)和(1100))的操作中的两个或更多个。
过程(例如,(1000)和(1100))可以用于块的重建和/或编码,以便为重建中的块生成预测块。在各种实施例中,过程(例如,(1000)和(1100))由处理电路执行,诸如终端设备(310)、(320)、(330)和(340)中的处理电路、执行视频编码器(303)的功能的处理电路、执行视频解码器(410)的功能的处理电路、执行视频解码器(510)的功能的处理电路以及执行视频编码器(603)的功能的处理电路等。在一些实施例中,在软件指令中实现过程(例如(1000)和(1100)),因此当处理电路执行软件指令时,处理电路执行过程(例如(1000)和(1100))。
如图10所示,过程(1000)可以从(S1001)开始并进行到(S1010)。在(S1010)处,可以从已编码视频码流接收当前块的已编码信息和当前块的相邻样本。
在(S1020)处,可以在已编码信息中获得与当前块相关联的标志信息。该标志信息可以指示当前块是否至少部分地基于帧内模式推导进行帧内预测,其中,在帧内模式推导中,基于相邻样本推导多个候选帧内模式。
在(S1030)处,响应于标志信息指示当前块至少部分地基于帧内模式推导进行帧内预测,可以基于相邻样本,确定多个候选帧内模式。
在(S1040)处,可以基于包括在已编码信息中的第一语法元素,确定当前块的第一帧内模式。第一语法元素可以指示来自最可能模式(MPM)列表和MPM剩余部分的当前块的第一帧内模式。
在(S1050)处,可以基于第一帧内模式和多个候选帧内模式,确定当前块的第二帧内模式。
在(S1060)处,可以基于第一帧内模式和第二帧内模式,重建当前块。
在一些实施例中,响应于标志信息指示当前块至少部分地基于帧内模式推导进行帧内预测,可以基于第一语法元素,确定第一帧内模式。
在过程(1000)中,响应于标志信息指示当前块不是基于帧内模式推导进行帧内预测,可以基于包括在已编码信息中的第二语法元素,确定第三帧内模式。
在一实施例中,帧内模式推导可以包括解码器侧帧内模式推导(DIMD),其中,在DIMD中,基于与相邻样本相关联的梯度直方图(HoG),确定多个候选帧内模式。
在另一实施例中,帧内模式推导可以包括基于模板的帧内模式推导(TIMD),其中,在TIMD中,基于相邻样本的成本值,确定多个候选帧内模式。
为了确定当前块的第二帧内模式,可以基于第一帧内模式,确定当前块中的样本的第一预测值。可以基于第一预测值,确定当前块中的样本的重建值。可以基于多个候选帧内模式中的每一个候选帧内模式,确定当前块中的样本的相应的候选预测值。可以进一步确定多个模板匹配值。多个模板匹配值中的每一个模板匹配值可以等于重建值的两倍减(i)第一预测值和(ii)基于多个候选帧内模式中对应一个候选帧内模式的相应的候选预测值。随后可以确定当前块的第二帧内模式,其中第二帧内模式可以是多个候选帧内模式中与多个模板匹配值中的最小模板匹配值相关联的候选帧内模式。
为了重建当前块,可以基于第二帧内模式,确定当前块中的样本的第二预测值。可以基于最终预测值,进一步重建当前块。最终预测值可以是第一预测值和第二预测值的加权组合。
在一些实施例中,可以对加权组合进行同等加权。
如图11所示,过程(1100)可以从(S1101)开始并进行到(S1110)。在(S1110)处,可以基于当前块的相邻样本,确定当前块的多个候选帧内模式。
在(S1120)处,从最可能模式(MPM)列表和MPM剩余部分,可以确定当前块的第一帧内模式。
在(S1130)处,可以基于第一帧内模式和多个候选帧内模式,确定当前块的第二帧内模式。
在(S1140)处,可以生成与当前块相关联的标志信息。该标志信息可以指示当前块是否至少部分地基于帧内模式推导进行帧内预测,其中,在帧内模式推导中,基于当前块的相邻样本推导多个候选帧内模式。
在(S1150)处,可以生成第一语法元素。第一语法元素可以指示来自MPM列表和MPM剩余部分的当前块的第一帧内模式。
上文所描述的技术可使用计算机可读指令实施为计算机软件且以物理方式存储在一个或多个计算机可读介质中。举例来说,图12示出适于实施所公开主题的某些实施例的计算机***(1300)。
所述计算机软件可使用任何合适的机器代码或计算机语言来编码,所述机器代码或计算机语言可经受汇编、编译、链接或类似机制以创建包括指令的代码,所述指令可直接或通过解译、微码执行等而由一个或多个计算机中央处理单元(CPU)、图形处理单元(GPU)等执行。
所述指令可在各种类型的计算机或计算机组件上执行,所述计算机或计算机组件包括例如个人计算机、平板电脑、服务器、智能电话、游戏装置、物联网装置等。
图12中所示的用于计算机***(1300)的组件在本质上是示范性的,并非旨在暗示关于实施本申请实施例的计算机软件的使用或功能的范围的任何限制。也不应将组件的配置解释为对计算机***(1300)的示范性实施例中所示的组件中的任一个组件或组件组合有任何依赖或需求。
计算机***(1300)可包括某些人机接口输入装置。此类人机接口输入装置可响应于一个或多个人类用户通过例如触觉输入(例如:按键、滑动、数据手套移动)、音频输入(例如:语音、拍击)、视觉输入(例如:手势)、嗅觉输入(未描绘)进行的输入。人机接口装置还可用于捕获未必与人的有意识输入直接相关的某些媒体,例如音频(例如:话语、音乐、环境声)、图像(例如:扫描图像、从静态图像相机获得的摄影图像)、视频(例如,二维视频、包括立体视频的三维视频)。
输入人机接口装置可包括以下一个或多个(每种仅描绘一个):键盘(1301)、鼠标(1302)、轨迹垫(1303)、触摸屏(1310)、数据手套(未示出)、操纵杆(1305)、麦克风(1306)、扫描仪(1307)、相机(1308)。
计算机***(1300)还可包括某些人机接口输出装置。此类人机接口输出装置可通过例如触觉输出、声音、光和气味/味道刺激一个或多个人类用户的感觉。此类人机接口输出装置可包括触觉输出装置(例如,触摸屏(1310)、数据手套(未示出)或操纵杆(1305)的触觉反馈,但还可存在不充当输入装置的触觉反馈装置)、音频输出装置(例如:扬声器(1309)、头戴式耳机(未描绘))、视觉输出装置(例如,屏幕(1310),包括阴极射线管(CRT)屏幕、液晶显示(LCD)屏幕、等离子体屏幕、有机发光二极管(OLED)屏幕,各自具有或不具有触摸屏输入能力,各自具有或不具有触觉反馈能力--其中的一些能够通过例如立体平画输出的方式输出二维视觉输出或大于三维的输出;虚拟现实眼镜(未描绘)、全息显示器和烟雾箱(未描绘),以及打印机(未描绘)。
计算机***(1300)还可包括人类可访问的存储装置和存储装置的相关联介质,例如,光学介质,包括具有CD/DVD等介质(1321)的CD/DVD ROM/RW(1320)、拇指驱动器(1322)、可移动硬盘驱动器或固态驱动器(1323)、磁带和软盘(未描绘)等旧版磁性媒体、基于ROM/专用集成电路(ASIC)/可编程逻辑设备(PLD)的专用装置,例如,安全保护装置(未描绘),等等。
所属领域的技术人员还应理解,结合当前公开的主题使用的术语“计算机可读介质”并未涵盖传输介质、载波或其它瞬时信号。
计算机***(1300)还可包括到一个或多个通信网络(1355)的接口(1354)。网络可例如是无线的、有线的、光学的。网络还可以是本地的、广域的、城域的、车载和工业的、实时的、容忍延迟的等等。网络的实例包括例如以太网、无线LAN的局域网、包括全球移动通信***(GSM)、第三代(3G)、***(4G)、第五代(5G)、长期演进(LTE)等的蜂窝网络、包括有线TV、卫星TV和地面广播TV的TV有线或无线广域数字网络、包括控制器局域网总线(CANBus)的车载网络和工业网络等。某些网络通常需要附接到某些通用数据端口或***总线(1349)(例如,计算机***(1300)的通用串行总线(USB)端口)的外部网络接口适配器;其它网络通常通过附接到如下文所描述的***总线而集成到计算机***(1300)的核心中(例如,通过以太网接口集成到PC计算机***中,或通过蜂窝网络接口集成到智能电话计算机***中)。通过使用这些网络中的任一网络,计算机***(1300)可与其它实体通信。此类通信可以是仅单向接收(例如,广播TV)、仅单向发送(例如,连到某些CANBus装置的CANBus)或是双向的,例如,使用局域数字网络或广域数字网络连接到其它计算机***。可在如上文所描述的那些网络和网络接口中的每一个上使用某些协议和协议栈。
上述人机接口装置、人类可访问存储装置和网络接口可附接到计算机***(1300)的核心(1340)。
核心(1340)可包括一个或多个中央处理单元(CPU)(1341)、图形处理单元(GPU)(1342)、现场可编程门区域(Field Programmable Gate Areas,FPGA)形式的专用可编程处理单元(1343)、用于某些任务的硬件加速器(1344)、图形适配器(1350)等等。这些装置连同只读存储器(read-only memory,ROM)(1345)、随机存取存储器(1346)、例如内部非用户可访问的硬盘驱动器、固态驱动器(SSD)等内部大容量存储装置(1347)可通过***总线(1348)连接。在一些计算机***中,***总线(1348)可通过一个或多个物理插头形式访问以实现通过额外CPU、GPU等来扩展。***装置可直接或通过***总线(1349)附接到核心的***总线(1348)。在一个示例中,屏幕(1310)可以连接到图形适配器(1350)上。用于***总线的架构包括***设备互连(PCI)、USB等等。
CPU(1341)、GPU(1342)、FPGA(1343)和加速器(1344)可执行某些指令,所述指令组合起来可构成上述计算机代码。计算机代码可存储在ROM(1345)或RAM(1346)中。过渡数据也可存储在RAM(1346)中,而永久性数据可例如存储在内部大容量存储装置(1347)中。可通过使用高速缓冲存储器来实现对任一存储器装置的快速存储和检索,所述高速缓冲存储器可与一个或多个CPU(1341)、GPU(1342)、大容量存储装置(1347)、ROM(1345)、RAM(1346)等紧密关联。
计算机可读介质上可具有用于执行各种计算机实施的操作的计算机代码。所述介质和计算机代码可以是专为本申请的目的设计和构建的介质和计算机代码,或可属于计算机软件领域中的技术人员众所周知且可用的种类。
举例来说但不作为限制,具有架构(1300)且尤其是核心(1340)的计算机***可提供因处理器(包括CPU、GPU、FPGA、加速器等)执行以一个或多个有形计算机可读介质体现的软件而产生的功能。此类计算机可读介质可以是与上文所介绍的用户可访问大容量存储装置以及核心(1340)的非暂时性质的某些存储装置(例如,核心内部大容量存储装置(1347)或ROM(1345))相关联的介质。实施本申请的各种实施例的软件可存储在此类装置中且由核心(1340)执行。根据特定需求,计算机可读介质可包括一个或多个存储器装置或芯片。软件可使核心(1340)且具体地说使其中的处理器(包括CPU、GPU、FPGA等等)执行本文中所描述的特定过程或特定过程的特定部分,包括限定存储在RAM(1346)中的数据结构以及根据由软件限定的过程修改此类数据结构。另外或作为替代方案,计算机***可提供由硬连线的或以其它方式体现于电路(例如:加速器(1344))中的逻辑所产生的功能,所述逻辑可代替或连同软件一起操作以执行本文描述的特定过程或特定过程的特定部分。适当时,对软件的引用可涵盖逻辑,且反之亦然。适当时,对计算机可读介质的引用可涵盖存储用于执行的软件的电路(例如,集成电路(IC))、体现用于执行的逻辑的电路或这两种电路。本申请涵盖硬件与软件的任何合适的组合。
附录A:缩略词
JEM:Joint Exploration Model,联合开发模型
VVC:Versatile Video Coding,多功能视频编码
BMS:Benchmark Set,基准集合
MV:Motion Vector,运动矢量
HEVC:High Efficiency Video Coding,高效视频编码
SEI:Supplementary Enhancement Information,辅助增强信息
VUI:Video Usability Information,视频可用性信息
GOP:Groups of Pictures,图片群组
TU:Transform Unit,变换单元
PU:Prediction Unit,预测单元
CTU:Coding Tree Unit,编码树单元
CTB:Coding Tree Block,编码树块
PB:Prediction Block,预测块
HRD:Hypothetical Reference Decoder,假想参考解码器
SNR:Signal Noise Ratio,信噪比
CPU:Central Processing Unit,中央处理单元
GPU:Graphics Processing Unit,图形处理单元
CRT:Cathode Ray Tube,阴极射线管
LCD:Liquid-Crystal Display,液晶显示
OLED:Organic Light-Emitting Diode,有机发光二极管
CD:Compact Disc,光盘
DVD:Digital Video Disc,数字视频光盘
ROM:Read-Only Memory,只读存储器
RAM:Random Access Memory,随机存取存储器
ASIC:Application-Specific Integrated Circuit,专用集成电路
PLD:Programmable Logic Device,可编程逻辑设备
LAN:Local Area Network,局域网
GSM:Global System for Mobile communications,全球移动通信***
LTE:Long-Term Evolution,长期演进
CANBus:Controller Area Network Bus,控制器局域网络总线
USB:Universal Serial Bus,通用串行总线
PCI:Peripheral Component Interconnect,***设备互连
FPGA:Field Programmable Gate Array现场可编程门阵列
SSD:Solid-state drive,固态驱动器
IC:Integrated Circuit,集成电路
CU:Coding Unit,编码单元
尽管本申请描述了若干示范性实施例,但在本申请的范围内,可以有各种改动、排列组合方式以及各种替代等同物。因此,应该理解,在申请的精神和范围内,本领域技术人员能够设计出各种虽未在本文明确示出或描述、但可以体现本申请的原理的***和方法。
Claims (19)
1.一种用于改进的帧内预测的视频解码方法,其特征在于,所述方法包括:
从已编码视频码流接收当前块的已编码信息和所述当前块的相邻样本;
在所述已编码信息中获得与所述当前块相关联的标志信息,所述标志信息指示所述当前块是否至少部分地基于帧内模式推导进行帧内预测,其中,在所述帧内模式推导中,基于所述相邻样本,推导多个候选帧内模式;
响应于所述标志信息指示所述当前块至少部分地基于所述帧内模式推导进行帧内预测,基于所述相邻样本,确定所述多个候选帧内模式;
基于包括在所述已编码信息中的第一语法元素,确定所述当前块的第一帧内模式,所述第一语法元素指示来自最可能模式(MPM)列表和MPM剩余部分的所述当前块的所述第一帧内模式;
基于所述第一帧内模式和所述多个候选帧内模式,确定所述当前块的第二帧内模式;以及
基于所述第一帧内模式和所述第二帧内模式,重建所述当前块;
所述确定所述当前块的第二帧内模式进一步包括:
基于所述第一帧内模式,确定所述当前块中的样本的第一预测值;
基于所述第一预测值,确定所述当前块中的所述样本的重建值;
基于所述多个候选帧内模式中的每一个候选帧内模式,确定所述当前块中的所述样本的相应候选预测值;
根据所述当前块中的所述样本的重建值、所述第一预测值生成模板,与所述相应候选预测值进行匹配,确定多个模板匹配值;以及
确定所述当前块的所述第二帧内模式,所述第二帧内模式是所述多个候选帧内模式中与所述多个模板匹配值中的最小模板匹配值相关联的候选帧内模式。
2.根据权利要求1所述的方法,其特征在于,响应于所述标志信息指示所述当前块至少部分地基于所述帧内模式推导进行帧内预测,基于所述第一语法元素,确定所述第一帧内模式。
3.根据权利要求1所述的方法,其特征在于,进一步包括:
响应于所述标志信息指示所述当前块不是基于所述帧内模式推导进行帧内预测,
基于包括在所述已编码信息中的第二语法元素,确定第三帧内模式。
4.根据权利要求1所述的方法,其特征在于,所述帧内模式推导包括解码器侧帧内模式推导(DIMD),其中,在所述DIMD中,基于与所述相邻样本相关联的梯度直方图(HoG),确定所述多个候选帧内模式。
5.根据权利要求1所述的方法,其特征在于,所述帧内模式推导包括基于模板的帧内模式推导(TIMD),其中,在所述TIMD中,基于所述相邻样本的成本值,确定所述多个候选帧内模式。
6.根据权利要求1所述的方法,其特征在于,所述多个模板匹配值中的每一个模板匹配值等于所述重建值的两倍减(i)所述第一预测值和(ii)基于所述多个候选帧内模式中的对应一个候选帧内模式的所述相应候选预测值。
7.根据权利要求6所述的方法,其特征在于,所述重建所述当前块进一步包括:
基于所述第二帧内模式,确定所述当前块中的所述样本的第二预测值;以及
基于最终预测值,重建所述当前块,所述最终预测值是所述第一预测值和所述第二预测值的加权组合。
8.根据权利要求7所述的方法,其特征在于,对所述加权组合进行同等加权。
9.一种用于改进的帧内预测的视频解码装置,其特征在于,包括:
处理电路,被配置为:
从已编码视频码流接收当前块的已编码信息和所述当前块的相邻样本;
在所述已编码信息中获得与所述当前块相关联的标志信息,所述标志信息指示所述当前块是否至少部分地基于帧内模式推导进行帧内预测,其中,在所述帧内模式推导中,基于所述相邻样本推导多个候选帧内模式;
响应于所述标志信息指示所述当前块至少部分地基于所述帧内模式推导进行帧内预测,基于所述相邻样本,确定所述多个候选帧内模式;
基于包括在所述已编码信息中的第一语法元素,确定所述当前块的第一帧内模式,所述第一语法元素指示来自最可能模式(MPM)列表和MPM剩余部分的所述当前块的所述第一帧内模式;
基于所述第一帧内模式和所述多个候选帧内模式,确定所述当前块的第二帧内模式;以及
基于所述第一帧内模式和所述第二帧内模式,重建所述当前块;
所述处理电路被配置为:
基于所述第一帧内模式,确定所述当前块中的样本的第一预测值;
基于所述第一预测值,确定所述当前块中的所述样本的重建值;
基于所述多个候选帧内模式中的每一个候选帧内模式,确定所述当前块中的所述样本的相应候选预测值;
根据所述当前块中的所述样本的重建值、所述第一预测值生成模板,与所述相应候选预测值进行匹配,确定多个模板匹配值;
确定所述当前块的所述第二帧内模式,所述第二帧内模式是所述多个候选帧内模式中与所述多个模板匹配值中的最小模板匹配值相关联的候选帧内模式。
10.根据权利要求9所述的装置,其特征在于,响应于所述标志信息指示所述当前块至少部分地基于所述帧内模式推导进行帧内预测,基于所述第一语法元素,确定所述第一帧内模式。
11.根据权利要求9所述的装置,其特征在于,所述处理电路进一步被配置为:
响应于所述标志信息指示所述当前块不是基于所述帧内模式推导进行帧内预测,
基于包括在所述已编码信息中的第二语法元素,确定第三帧内模式。
12.根据权利要求9所述的装置,其特征在于,所述帧内模式推导包括解码器侧帧内模式推导(DIMD),其中,在所述DIMD中,基于与所述相邻样本相关联的梯度直方图(HoG),确定所述多个候选帧内模式。
13.根据权利要求9所述的装置,其特征在于,所述帧内模式推导包括基于模板的帧内模式推导(TIMD),其中,在所述TIMD中,基于所述相邻样本的成本值,确定所述多个候选帧内模式。
14.根据权利要求9所述的装置,其特征在于,所述多个模板匹配值中的每一个模板匹配值等于所述重建值的两倍减(i)所述第一预测值和(ii)基于所述多个候选帧内模式中的对应一个候选帧内模式的所述相应候选预测值。
15.根据权利要求14所述的装置,其特征在于,所述处理电路被配置为:
基于所述第二帧内模式,确定所述当前块中的所述样本的第二预测值;以及
基于最终预测值,重建所述当前块,所述最终预测值是所述第一预测值和所述第二预测值的加权组合。
16.根据权利要求15所述的装置,其特征在于,对所述加权组合进行同等加权。
17.一种用于改进的帧内预测的视频编码方法,其特征在于,所述方法包括:
基于当前块的相邻样本,确定所述当前块的多个候选帧内模式;
从最可能模式(MPM)列表和MPM剩余部分,确定所述当前块的第一帧内模式;
基于所述第一帧内模式和所述多个候选帧内模式,确定所述当前块的第二帧内模式;
生成与当前块相关联的标志信息,该标志信息指示所述当前块是否至少部分地基于帧内模式推导进行帧内预测,其中,在帧内模式推导中,基于所述当前块的相邻样本推导所述多个候选帧内模式;
生成第一语法元素,该第一语法元素指示来自MPM列表和MPM剩余部分的所述当前块的所述第一帧内模式;
所述确定所述当前块的第二帧内模式进一步包括:
基于所述第一帧内模式,确定所述当前块中的样本的第一预测值;
基于所述多个候选帧内模式中的每一个候选帧内模式,确定所述当前块中的所述样本的相应候选预测值;
根据所述当前块中的所述样本的原始样本值、所述第一预测值生成模板,与所述相应候选预测值进行匹配,确定多个模板匹配值;以及
确定所述当前块的所述第二帧内模式,所述第二帧内模式是所述多个候选帧内模式中与所述多个模板匹配值中的最小模板匹配值相关联的候选帧内模式。
18.一种用于改进的帧内预测的视频编码装置,其特征在于,所述装置包括:
处理电路,被配置为:
基于当前块的相邻样本,确定所述当前块的多个候选帧内模式;
从最可能模式(MPM)列表和MPM剩余部分,确定所述当前块的第一帧内模式;
基于所述第一帧内模式和所述多个候选帧内模式,确定所述当前块的第二帧内模式;
生成与当前块相关联的标志信息,该标志信息指示所述当前块是否至少部分地基于帧内模式推导进行帧内预测,其中,在帧内模式推导中,基于所述当前块的相邻样本推导所述多个候选帧内模式;
生成第一语法元素,该第一语法元素指示来自MPM列表和MPM剩余部分的所述当前块的所述第一帧内模式;
所述确定所述当前块的第二帧内模式进一步包括:
基于所述第一帧内模式,确定所述当前块中的样本的第一预测值;
基于所述多个候选帧内模式中的每一个候选帧内模式,确定所述当前块中的所述样本的相应候选预测值;
根据所述当前块中的所述样本的原始样本值、所述第一预测值生成模板,与所述相应候选预测值进行匹配,确定多个模板匹配值;以及
确定所述当前块的所述第二帧内模式,所述第二帧内模式是所述多个候选帧内模式中与所述多个模板匹配值中的最小模板匹配值相关联的候选帧内模式。
19.一种电子设备,其特征在于,包括存储器,用于存储计算机可读指令;处理器,用于读取所述计算机可读指令,并且按所述计算机可读指令的指示执行权利要求1至8、17任一项所述的方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US63/228,369 | 2021-08-02 | ||
US63/231,998 | 2021-08-11 | ||
US17/877,802 | 2022-07-29 | ||
US17/877,802 US20230049154A1 (en) | 2021-08-02 | 2022-07-29 | Method and apparatus for improved intra prediction |
PCT/US2022/074385 WO2023015163A1 (en) | 2021-08-02 | 2022-08-01 | Method and apparatus for improved intra prediction |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116711309A CN116711309A (zh) | 2023-09-05 |
CN116711309B true CN116711309B (zh) | 2024-06-21 |
Family
ID=87827997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280008639.7A Active CN116711309B (zh) | 2021-08-02 | 2022-08-01 | 用于改进的帧内预测的视频编解码方法和装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116711309B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109845254A (zh) * | 2016-10-14 | 2019-06-04 | 世宗大学校产学协力团 | 影像编码/解码方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3453174A1 (en) * | 2016-05-06 | 2019-03-13 | VID SCALE, Inc. | Method and system for decoder-side intra mode derivation for block-based video coding |
US20190215521A1 (en) * | 2016-09-22 | 2019-07-11 | Mediatek Inc. | Method and apparatus for video coding using decoder side intra prediction derivation |
CN116668715A (zh) * | 2019-03-23 | 2023-08-29 | Lg电子株式会社 | 解码设备、编码设备和发送设备 |
-
2022
- 2022-08-01 CN CN202280008639.7A patent/CN116711309B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109845254A (zh) * | 2016-10-14 | 2019-06-04 | 世宗大学校产学协力团 | 影像编码/解码方法及装置 |
Non-Patent Citations (1)
Title |
---|
EE2 Related – DIMD with implicitly derived multiple blending modes;Jie Zhao;Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29,JVET-W0126;20210716;第1-3页 * |
Also Published As
Publication number | Publication date |
---|---|
CN116711309A (zh) | 2023-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114745540B (zh) | 一种视频编解码方法、装置、设备和介质 | |
CN111989918B (zh) | 视频解码的方法、装置及存储介质 | |
CN113574885B (zh) | 视频解码方法、装置以及电子设备 | |
CN118233642A (zh) | 视频解码、编码方法、装置、存储介质及存储码流的方法 | |
CN112055968B (zh) | 视频解码方法、装置、存储介质以及电子设备 | |
CN113545079B (zh) | 视频编解码的方法和装置 | |
CN111010579B (zh) | 基于成对平均运动矢量预测的视频解码方法和装置 | |
CN111050178B (zh) | 视频解码的方法、装置、电子设备、存储介质 | |
CN111937326B (zh) | 视频解码方法、装置和可读存储介质 | |
CN113785564B (zh) | 视频编解码的方法和装置 | |
CN113574894B (zh) | 视频解码方法、视频解码器、计算机设备及介质 | |
CN116016914A (zh) | 视频编解码方法、视频编解码器及计算机可读介质 | |
CN111971965A (zh) | 视频编解码的方法和装置 | |
CN113632455B (zh) | 视频编解码方法、装置和电子设备 | |
CN113497940B (zh) | 视频解码方法、装置、计算机设备及存储介质 | |
CN115412728A (zh) | 视频编码方法和相关装置 | |
CN112235573B (zh) | 视频编解码的方法、装置、电子设备、存储介质 | |
CN111726622B (zh) | 视频编解码的方法、装置及介质 | |
CN115529852A (zh) | 基于模板匹配的帧内预测 | |
CN113348668B (zh) | 一种视频解码方法、装置及存储介质 | |
CN115462077A (zh) | 解码端帧内模式推导 | |
CN110719462B (zh) | 视频解码方法、解码器、计算机可读存储介质以及计算机设备 | |
CN113170208A (zh) | 帧内图片块补偿的色度去块滤波器 | |
CN110708554B (zh) | 视频编解码的方法及装置 | |
CN116803076B (zh) | 视频解码方法和装置、视频编码方法和装置以及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |