CN117956164A - 视频编解码方法、装置、计算机可读介质及电子设备 - Google Patents
视频编解码方法、装置、计算机可读介质及电子设备 Download PDFInfo
- Publication number
- CN117956164A CN117956164A CN202211296332.XA CN202211296332A CN117956164A CN 117956164 A CN117956164 A CN 117956164A CN 202211296332 A CN202211296332 A CN 202211296332A CN 117956164 A CN117956164 A CN 117956164A
- Authority
- CN
- China
- Prior art keywords
- prediction mode
- timd
- correction value
- value
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000012937 correction Methods 0.000 claims abstract description 297
- 238000009795 derivation Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 8
- 230000004048 modification Effects 0.000 description 22
- 238000012986 modification Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000001914 filtration Methods 0.000 description 11
- 238000013139 quantization Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000004927 fusion Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请的实施例提供了一种视频编解码方法、装置、计算机可读介质及电子设备。该视频解码方法包括:从视频码流中解码得到在采用基于模板的帧内模式推导TIMD时的修正值指示信息;获取基于TIMD推导得到的当前块的候选预测模式;通过所述修正值指示信息所指示的修正值对所述候选预测模式进行修正,得到修正后的TIMD预测模式;基于所述修正后的TIMD预测模式对所述当前块进行解码处理。本申请实施例的技术方案可以通过引入修正值来提高TIMD的准确度及自适应能力,进而可以提高视频的编解码性能。
Description
技术领域
本申请涉及计算机及通信技术领域,具体而言,涉及一种视频编解码方法、装置、计算机可读介质及电子设备。
背景技术
在ECM(Enhanced Compression Model,增强压缩模型)标准中引入了TIMD(Template Based Intra Mode Derivation,基于模板的帧内模式推导)技术,与DIMD(Decoder-side Intra Mode Derivation,解码端帧内模式推导)技术类似,TIMD可以在编码端和解码端通过对模板区域进行相同的操作,从而推导出预测模式,并通过推导出的预测模式重建出当前CU(Coding Unit,编码单元)。因为TIMD不需要编码预测模式,所以此技术可以减少码流的大小。
TIMD技术假定模板区域和当前待预测区域的纹理特性一致。但是,在实际编码中,模板区域的纹理特性并不能完全代表当前区域的纹理特性,所以通过对模板区域推导出来的预测模式并不一定适合当前CU,进而会影响视频的编解码性能。
发明内容
本申请的实施例提供了一种视频编解码方法、装置、计算机可读介质及电子设备,进而可以通过引入修正值来提高TIMD的准确度及自适应能力,进而可以提高视频的编解码性能。
本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面,提供了一种视频解码方法,包括:从视频码流中解码得到在采用基于模板的帧内模式推导TIMD时的修正值指示信息;获取基于TIMD推导得到的当前块的候选预测模式;通过所述修正值指示信息所指示的修正值对所述候选预测模式进行修正,得到修正后的TIMD预测模式;基于所述修正后的TIMD预测模式对所述当前块进行解码处理。
根据本申请实施例的一个方面,提供了一种视频编码方法,包括:获取基于TIMD推导得到的当前块的候选预测模式;若需要对所述当前块的候选预测模式进行修正处理,则根据率失真代价确定对所述候选预测模式的修正值;根据所述修正值生成修正值指示信息;将所述修正值指示信息添加至视频码流中。
根据本申请实施例的一个方面,提供了一种视频解码装置,包括:解码单元,配置为从视频码流中解码得到在采用基于模板的帧内模式推导TIMD时的修正值指示信息;获取单元,配置为获取基于TIMD推导得到的当前块的候选预测模式;修正单元,配置为通过所述修正值指示信息所指示的修正值对所述候选预测模式进行修正,得到修正后的TIMD预测模式;处理单元,配置为基于所述修正后的TIMD预测模式对所述当前块进行解码处理。
在本申请的一些实施例中,基于前述方案,所述修正值指示信息包括用于指示所述当前块是否使用修正值对所述候选预测模式进行修正的第一标志位,以及修正值指示标志位;所述解码单元配置为:若从所述视频码流中解码得到所述第一标志位的值用于指示所述当前块使用修正值对所述候选预测模式进行修正,则解码所述修正值指示标志位,以得到所述修正值。
在本申请的一些实施例中,基于前述方案,所述修正值指示标志位包括第二标志位和至少一个第三标志位;所述第二标志位的值用于指示所述修正值的符号,所述至少一个第三标志位用于指示所述修正值的绝对值。
在本申请的一些实施例中,基于前述方案,每个第三标志位的值用于指示所述修正值的绝对值是否为设定数值集合中对应层级的值。
在本申请的一些实施例中,基于前述方案,所述至少一个第三标志位的组合值用于指示从设定数值集合中选择相应层级的数值作为所述修正值的绝对值。
在本申请的一些实施例中,基于前述方案,所述修正值指示标志位包括修正值索引信息,所述修正值索引信息用于指示从设定数值集合中选择对应的数值作为所述修正值。
在本申请的一些实施例中,基于前述方案,所述视频解码装置还包括:调整单元,配置为若所述修正后的TIMD预测模式未处于TIMD预测角度模式集合内,则根据所述候选预测模式和所述修正值将所述修正后的TIMD预测模式调整为处于所述TIMD预测角度模式集合内。
在本申请的一些实施例中,基于前述方案,所述调整单元配置为:若所述修正值为正数,则计算所述候选预测模式和所述修正值的和值与第一设定值之间的差值,计算所述差值与第二设定值之间的余数,根据所述余数确定调整后的TIMD预测模式;其中,所述第一设定值为正整数,所述第二设定值是根据TIMD预测角度模式的最大值确定的。
在本申请的一些实施例中,基于前述方案,所述调整单元配置为:若所述修正值为负数,则计算所述候选预测模式和所述修正值的差值与第三设定值之间的和值,计算所述和值与第二设定值之间的余数,根据所述余数确定调整后的TIMD预测模式;其中,所述第三设定值和所述第二设定值是根据TIMD预测角度模式的最大值确定的。
在本申请的一些实施例中,基于前述方案,所述修正单元配置为:若所述候选预测模式为目标预测模式,则根据所述修正值,将与所述修正值相对应的预定义预测模式作为修正后的TIMD预测模式。
在本申请的一些实施例中,基于前述方案,若基于TIMD推导得到的当前块的候选预测模式包括多个候选预测模式,则所述多个候选预测模式分别对应的修正值集合不相同,所述修正值集合用于根据所述修正值指示信息从中确定所述修正值。
在本申请的一些实施例中,基于前述方案,根据以下因素中的至少一个确定所述候选预测模式对应的修正值集合,所述修正值集合用于根据所述修正值指示信息从中确定所述修正值:基于TIMD推导得到的当前块的候选预测模式、当前块的大小、最可能模式MPM集合、基于解码端帧内模式推导DIMD推导得到的候选预测模式、TIMD的代价大小。
在本申请的一些实施例中,基于前述方案,所述修正后的TIMD预测模式与以下预测模式中的至少一个不相同:基于TIMD推导得到的候选预测模式、MPM集合中的预测模式、非MPM集合中的预测模式、基于DIMD推导得到的候选预测模式、基于DIMD推导得到的候选预测模式经过修正后的预测模式。
在本申请的一些实施例中,基于前述方案,所述修正单元配置为:通过所述修正值指示信息所指示的修正值对基于TIMD推导得到的第一候选预测模式进行修正,得到修正后的第一预测模式;
所述处理单元配置为:将所述修正后的第一预测模式针对所述当前块的预测值作为所述当前块的预测值;或者将所述修正后的第一预测模式针对所述当前块的预测值与设定预测模式针对所述当前块的预测值进行融合,得到所述当前块的预测值。
在本申请的一些实施例中,基于前述方案,所述设定预测模式包括以下至少一个:非角度预测模式、基于TIMD推导得到的第二候选预测模式、基于TIMD推导得到的第二候选预测模式经过修正后的预测模式;
其中,所述第二候选预测模式采用与所述第一候选预测模式相同的修正值或者不同的修正值进行修正。
在本申请的一些实施例中,基于前述方案,所述处理单元配置为:按照设定的权重值对所述修正后的第一预测模式针对所述当前块的预测值和所述设定预测模式针对所述当前块的预测值进行加权求和,得到所述当前块的预测值。
在本申请的一些实施例中,基于前述方案,根据以下因素中的至少一个确定所述设定的权重值:基于TIMD推导得到的当前块的候选预测模式;当前块的大小;修正前的第一预测模式和修正前的设定预测模式之间的变换残差绝对值和SATD代价;修正后的第一预测模式和修正后的设定预测模式之间的变换残差绝对值和SATD代价。
在本申请的一些实施例中,基于前述方案,若采用TIMD与其它模式联合进行解码处理,则不同的其它模式所对应的修正值集合相同或者不相同,所述修正值集合用于根据所述修正值指示信息从中确定所述修正值。
在本申请的一些实施例中,基于前述方案,所述其它模式包括多参考行MRL模式,所述修正单元还配置为:针对所述MRL模式的部分或者全部参考行进行TIMD候选预测模式的修正处理;其中,所述MRL模式的每个参考行对应于不同的修正值集合;或者所述MRL模式的多个参考行对应于相同的修正值集合。
在本申请的一些实施例中,基于前述方案,所述解码单元还配置为:从所述视频码流的语法元素中解码得到指定标志位,根据所述指定标志位确定所述当前块是否需要对所述候选预测模式进行修正;其中,所述语法元素包括以下至少一个:序列参数集SPS、图像参数集PPS、图像头部中的标志位、条带头部中的标志位。
根据本申请实施例的一个方面,提供了一种视频编码装置,包括:获取单元,配置为获取基于TIMD推导得到的当前块的候选预测模式;确定单元,配置为若确定需要对所述当前块的候选预测模式进行修正处理,则根据率失真代价确定对所述候选预测模式的修正值;生成单元,配置为根据所述修正值生成修正值指示信息;添加单元,配置为将所述修正值指示信息添加至视频码流中。
根据本申请实施例的一个方面,提供了一种计算机可读介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述实施例中所述的视频编码方法或视频解码方法。
根据本申请实施例的一个方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个计算机程序,当所述一个或多个计算机程序被所述一个或多个处理器执行时,使得所述电子设备实现如上述实施例中所述的视频编码方法或视频解码方法。
根据本申请实施例的一个方面,提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取并执行该计算机程序,使得该电子设备执行上述各种可选实施例中提供的视频编码方法或视频解码方法。
在本申请的一些实施例所提供的技术方案中,通过从视频码流中解码得到在采用TIMD时的修正值指示信息,并通过修正值指示信息所指示的修正值对基于TIMD到得到的候选预测模式进行修正,然后基于修正后的TIMD预测模式对当前块进行解码处理,使得可以通过引入修正值来提高TIMD的准确度及自适应能力,进而可以提高视频的编解码性能。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
图1示出了可以应用本申请实施例的技术方案的示例性***架构的示意图;
图2示出视频编码装置和视频解码装置在流式传输***中的放置方式示意图;
图3示出了一个视频编码器的基本流程图;
图4示出了TIMD技术中采用的模板与当前CU之间的位置示意图;
图5示出了根据本申请的一个实施例的视频解码方法的流程图;
图6示出了根据本申请的一个实施例的视频编码方法的流程图;
图7示出了TIMD预测角度模式的示意图;
图8示出了根据本申请的一个实施例的视频解码装置的框图;
图9示出了根据本申请的一个实施例的视频编码装置的框图;
图10示出了适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
具体实施方式
现在参考附图以更全面的方式描述示例实施方式。然而,示例的实施方式能够以各种形式实施,且不应被理解为仅限于这些范例;相反,提供这些实施方式的目的是使得本申请更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,本申请所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,有许多具体细节从而可以充分理解本申请的实施例。然而,本领域技术人员应意识到,在实施本申请的技术方案时可以不需用到实施例中的所有细节特征,可以省略一个或更多特定细节,或者可以采用其它的方法、元件、装置、步骤等。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
需要说明的是:在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
图1示出了可以应用本申请实施例的技术方案的示例性***架构的示意图。
如图1所示,***架构100包括多个终端装置,所述终端装置可通过例如网络150彼此通信。举例来说,***架构100可以包括通过网络150互连的第一终端装置110和第二终端装置120。在图1的实施例中,第一终端装置110和第二终端装置120执行单向数据传输。
举例来说,第一终端装置110可对视频数据(例如由终端装置110采集的视频图片流)进行编码以通过网络150传输到第二终端装置120,已编码的视频数据以一个或多个已编码视频码流形式传输,第二终端装置120可从网络150接收已编码视频数据,对已编码视频数据进行解码以恢复视频数据,并根据恢复的视频数据显示视频图片。
在本申请的一个实施例中,***架构100可以包括执行已编码视频数据的双向传输的第三终端装置130和第四终端装置140,所述双向传输比如可以发生在视频会议期间。对于双向数据传输,第三终端装置130和第四终端装置140中的每个终端装置可对视频数据(例如由终端装置采集的视频图片流)进行编码,以通过网络150传输到第三终端装置130和第四终端装置140中的另一终端装置。第三终端装置130和第四终端装置140中的每个终端装置还可接收由第三终端装置130和第四终端装置140中的另一终端装置传输的已编码视频数据,且可对已编码视频数据进行解码以恢复视频数据,并可根据恢复的视频数据在可访问的显示装置上显示视频图片。
在图1的实施例中,第一终端装置110、第二终端装置120、第三终端装置130和第四终端装置140可为服务器或者终端,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能语音交互设备、智能家电、车载终端、飞行器等,但并不局限于此。
网络150表示在第一终端装置110、第二终端装置120、第三终端装置130和第四终端装置140之间传送已编码视频数据的任何数目的网络,包括例如有线和/或无线通信网络。通信网络150可在电路交换和/或分组交换信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。出于本申请的目的,除非在下文中有所解释,否则网络150的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。
在本申请的一个实施例中,图2示出视频编码装置和视频解码装置在流式传输环境中的放置方式。本申请所公开主题可同等地适用于其它支持视频的应用,包括例如视频会议、数字TV(television,电视机)、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等等。
流式传输***可包括采集子***213,采集子***213可包括数码相机等视频源201,视频源创建未压缩的视频图片流202。在实施例中,视频图片流202包括由数码相机拍摄的样本。相较于已编码的视频数据204(或已编码的视频码流204),视频图片流202被描绘为粗线以强调高数据量的视频图片流,视频图片流202可由电子装置220处理,电子装置220包括耦接到视频源201的视频编码装置203。视频编码装置203可包括硬件、软件或软硬件组合以实现或实施如下文更详细地描述的所公开主题的各方面。相较于视频图片流202,已编码的视频数据204(或已编码的视频码流204)被描绘为细线以强调较低数据量的已编码的视频数据204(或已编码的视频码流204),其可存储在流式传输服务器205上以供将来使用。一个或多个流式传输客户端子***,例如图2中的客户端子***206和客户端子***208,可访问流式传输服务器205以检索已编码的视频数据204的副本207和副本209。客户端子***206可包括例如电子装置230中的视频解码装置210。视频解码装置210对已编码的视频数据的传入副本207进行解码,且产生可在显示器212(例如显示屏)或另一呈现装置上呈现的输出视频图片流211。在一些流式传输***中,可根据某些视频编码/压缩标准对已编码的视频数据204、视频数据207和视频数据209(例如视频码流)进行编码。
应注意,电子装置220和电子装置230可包括图中未示出的其它组件。举例来说,电子装置220可包括视频解码装置,且电子装置230还可包括视频编码装置。
在本申请的一个实施例中,以国际视频编码标准HEVC(High Efficiency VideoCoding,高效率视频编码)、VVC(Versatile Video Coding,多功能视频编码),以及中国国家视频编码标准AVS(Audio Video coding Standard,信源编码标准)为例,当输入一个视频帧图像之后,会根据一个块大小,将视频帧图像划分成若干个不重叠的处理单元,每个处理单元将进行类似的压缩操作。这个处理单元被称作CTU,或者称之为LCU(Largest CodingUnit,最大编码单元)。CTU再往下可以继续进行更加精细的划分,得到一个或多个基本的编码单元CU(Coding Unit,编码单元),CU是一个编码环节中最基本的元素。
以下介绍对CU进行编码时的一些概念:
预测编码(Predictive Coding):预测编码包括了帧内预测和帧间预测等方式,原始视频信号经过选定的已重建视频信号的预测后,得到残差视频信号。编码端需要为当前CU决定选择哪一种预测编码模式,并告知解码端。其中,帧内预测是指预测的信号来自于同一图像内已经编码重建过的区域;帧间预测是指预测的信号来自已经编码过的、不同于当前图像的其它图像(称之为参考图像)。
变换及量化(Transform&Quantization):残差视频信号经过DFT(DiscreteFourier Transform,离散傅里叶变换)、DCT(Discrete Cosine Transform,离散余弦变换)等变换操作后,将信号转换到变换域中,称之为变换系数。变换系数进一步进行有损的量化操作,丢失掉一定的信息,使得量化后的信号有利于压缩表达。在一些视频编码标准中,可能有多于一种变换方式可以选择,因此编码端也需要为当前CU选择其中的一种变换方式,并告知解码端。量化的精细程度通常由量化参数(Quantization Parameter,简称QP)来决定,QP取值较大,表示更大取值范围的系数将被量化为同一个输出,因此通常会带来更大的失真及较低的码率;相反,QP取值较小,表示较小取值范围的系数将被量化为同一个输出,因此通常会带来较小的失真,同时对应较高的码率。
熵编码(Entropy Coding)或统计编码:量化后的变换域信号将根据各个值出现的频率进行统计压缩编码,最后输出二值化(0或者1)的压缩码流。同时,编码产生其他信息,例如选择的编码模式、运动矢量数据等,也需要进行熵编码以降低码率。统计编码是一种无损的编码方式,可以有效的降低表达同样信号所需要的码率,常见的统计编码方式有变长编码(Variable Length Coding,简称VLC)或者基于上下文的二值化算术编码(ContentAdaptive Binary Arithmetic Coding,简称CABAC)。
基于上下文的二值化算术编码(CABAC)过程主要包含3个步骤:二值化、上下文建模和二进制算术编码。在对输入的语法元素进行二值化处理后,可以通过常规编码模式和旁路编码模式(Bypass Coding Mode)对二元数据进行编码。旁路编码模式无须为每个二元位分配特定的概率模型,输入的二元位bin值直接用一个简单的旁路编码器进行编码,以加快整个编码以及解码的速度。一般情况下,不同的语法元素之间并不是完全独立的,且相同语法元素自身也具有一定的记忆性。因此,根据条件熵理论,利用其他已编码的语法元素进行条件编码,相对于独立编码或者无记忆编码能够进一步提高编码性能。这些用来作为条件的已编码符号信息称为上下文。在常规编码模式中,语法元素的二元位顺序地进入上下文模型器,编码器根据先前编码过的语法元素或二元位的值,为每一个输入的二元位分配合适的概率模型,该过程即为上下文建模。通过ctxIdxInc(context index increment,上下文索引增量)和ctxIdxStart(context index Start,上下文起始索引)即可定位到语法元素所对应的上下文模型。将bin值和分配的概率模型一起送入二元算术编码器进行编码后,需要根据bin值更新上下文模型,也就是编码中的自适应过程。
环路滤波(Loop Filtering):经过变化及量化的信号会通过反量化、反变换及预测补偿的操作获得重建图像。重建图像与原始图像相比由于存在量化的影响,部分信息与原始图像有所不同,即重建图像会产生失真(Distortion)。因此,可以对重建图像进行滤波操作,以有效降低量化所产生的失真程度。由于这些经过滤波后的重建图像将作为后续编码图像的参考来对将来的图像信号进行预测,因此上述的滤波操作也被称为环路滤波,即在编码环路内的滤波操作。
在本申请的一个实施例中,图3示出了一个视频编码器的基本流程图,在该流程中以帧内预测为例进行说明。其中,原始图像信号sk[x,y]与预测图像信号做差值运算,得到残差信号uk[x,y],残差信号uk[x,y]经过变换及量化处理之后得到量化系数,量化系数一方面通过熵编码得到编码后的比特流,另一方面通过反量化及反变换处理得到重构残差信号u'k[x,y],预测图像信号/>与重构残差信号u'k[x,y]叠加生成重建图像信号重建图像信号/>一方面输入至帧内模式决策模块和帧内预测模块进行帧内预测处理,另一方面通过环路滤波进行滤波处理,并输出滤波后的图像信号s'k[x,y],滤波后的图像信号s'k[x,y]可以作为下一帧的参考图像进行运动估计及运动补偿预测。然后基于运动补偿预测的结果s'r[x+mx,y+my]和帧内预测结果/>得到下一帧的预测图像信号/>并继续重复上述过程,直至编码完成。
在上述的编码流程中,环路滤波是视频编码的核心模块之一,可以有效去除多种编码失真。最新一代国际视频编码标准VVC支持四种不同类型的环路滤波器:去块效应滤波器(Deblocking filter,简称DF)、样点自适应补偿(Sample Adaptive Offset,简称SAO)、自适应环路滤波(Adaptive Loop Filter,简称ALF)以及跨分量自适应环路滤波(CC-ALF)。
为了探索下一代压缩标准,JVET(Joint Video Experts Team,联合视频专家组)设立了最新的ECM参考平台,并加入了TIMD技术。与DIMD技术类似,TIMD可以在编码端和解码端通过对模板区域进行相同的操作,从而推导出预测模式,并通过推导出的预测模式重建出当前CU。因为TIMD不需要编码预测模式,所以此技术可以减少码流的大小。
TIMD技术使用当前CU相邻模板区域的重建像素来推导帧内角度模式。如图4所示,待预测的当前CU的上方和左方为模板区域,模板区域的宽度由当前CU的大小决定。若当前CU宽度大于8,则左模板区域的宽度为4像素;否则,左模板区域的宽度为2像素。若当前CU高度大于8,则上模板区域的高度为4像素;否则,上模板区域的高度为2像素。
TIMD假定模板区域和当前待预测区域的纹理特性一致,由于模板区域的像素已重建,通过遍历MPM(Most Probable Mode,最可能模式)列表,计算模板区域的预测像素,求预测像素和重建像素的SATD(Sum of Absolute Transformed Difference,变换残差绝对值和),可以选出最优的模式,将该模式作为待预测区域的帧内预测模式。在解码端,可以通过相同的推导方式推导帧内预测模式,从而可以大幅降低模式的编码比特。
具体而言,对于当前CU,TIMD在MPM列表中推导帧内预测模式,将帧内预测模式映射为更加精细的TIMD预测模式,并在模板区域计算预测像素和重建像素的SATD,然后选出SATD代价(SATD_cost)最小的预测模式M1和SATD_cost第二小的预测模式M2,根据M1和M2的SATD_cost决定是否应用加权融合。即如果SATD_cost(M1)<2×SATD_cost(M2),则使用M1和M2预测当前CU,并将M1和M2分别预测得到的预测值加权融合作为当前CU的最终预测值,其中M1的权重weight1=SATD_cost(M1)/(SATD_cost(M2)+SATD_cost(M2)),M2的权重weight2=SATD_cost(M2)/(SATD_cost(M1)+SATD_cost(M2));否则,仅使用M1对当前CU进行预测,得到当前CU的预测值。TIMD技术也可与多个其他模式联合使用,例如ISP(IntraSub-Partitions,帧内子块划分)模式、MRL(Multiple Reference Line,多参考行)模式、CIIP(Combined Inter and Intra Prediction,帧间帧内联合预测)模式、CIIP-TM(Combined Inter and Intra Prediction-Template Matching,基于模板的帧间帧内联合预测)模式、GPM(Geometric Partitioning Mode,几何划分模式)模式。
但是,在实际编码中,模板区域的纹理特性并不能完全代表当前区域的纹理特性,所以通过对模板区域推导出来的预测模式并不一定适合当前CU,进而会影响视频的编解码性能。因此,本申请实施例的技术方案是通过在TIMD推导出的预测模式的基础上额外应用一个修正值,从而对当前CU进行更准确的预测,进而提高TIMD的准确度及自适应能力,提高视频的压缩和编解码性能。
以下对本申请实施例的技术方案的实现细节进行详细阐述:
图5示出了根据本申请的一个实施例的视频解码方法的流程图,该视频解码方法可以由具有计算处理功能的设备来执行,比如可以由终端设备或服务器来执行。参照图5所示,该视频解码方法至少包括步骤S510至步骤S540,详细介绍如下:
在步骤S510中,从视频码流中解码得到在采用TIMD时的修正值指示信息。
在一些可选的实施例中,修正值指示信息包括用于指示当前块是否使用修正值对候选预测模式进行修正的第一标志位,以及修正值指示标志位。比如第一标志位可以是timd_delta_flag,如果timd_delta_flag的值为1(仅为示例),则表示当前块需要使用修正值对候选预测模式进行修正;如果timd_delta_flag的值为0,则表示当前块不需要使用修正值对候选预测模式进行修正。
可选地,当从视频码流中解码得到第一标志位的值用于指示当前块使用修正值对候选预测模式进行修正时,比如解码得到timd_delta_flag的值为1时,则解码修正值指示标志位,以得到修正值。
可选地,解码端如果从视频码流中解码得到第一标志位的值用于指示当前块不使用修正值对候选预测模式进行修正,比如解码得到timd_delta_flag的值为0时,那么不需要解码修正值指示标志位。在这种情况下,编码端也不需要在码流中编码修正值指示标志位。
在一些可选的实施例中,修正值指示标志位可以包括第二标志位和至少一个第三标志位;第二标志位的值用于指示修正值的符号,至少一个第三标志位用于指示修正值的绝对值。比如,第二标志位可以是timd_delta_sign。当timd_delta_sign值为1时,表示修正值为正值(也可以是指示是负值);当timd_delta_sign值为0时,表示修正值为负值(也可以是指示是正值)。
在一些可选的实施例中,每个第三标志位的值用于指示修正值的绝对值是否为设定数值集合中对应层级的值。比如,若设定数值集合为{3,6,9},那么一个第三标志位可以是timd_delta_first_level,若timd_delta_first_level为1,则表示修正值的绝对值为3;如果timd_delta_first_level为0,则另一个第三标志位timd_delta_second_level被引入。若timd_delta_second_level为1,则修正值的绝对值为6;若timd_delta_second_level为0,则修正值的绝对值为9。可选地,若timd_delta_first_level为1,那么由于已经知晓了修正值的绝对值,那么不需要解码其它的第三标志位。在这种情况下,编码端也不需要在码流中编码其它的第三标志位。
在一些可选的实施例中,至少一个第三标志位的组合值可以用于指示从设定数值集合中选择相应层级的数值作为修正值的绝对值。比如,若设定数值集合为{3,6,9},至少一个第三标志位可以是timd_delta_level,若timd_delta_level为00,则表示修正值的绝对值为3;若timd_delta_level为01,则表示修正值的绝对值为6;若timd_delta_level为10,则表示修正值的绝对值为9。
在一些可选的实施例中,修正值指示标志位也可以包括修正值索引信息,该修正值索引信息用于指示从设定数值集合中选择对应的数值作为修正值。比如,若设定数值集合为{-9,-6,-3,3,6,9},修正值索引信息为timd_delta_index,那么当timd_delta_index为000、001、010、011、100、101时,则分别表示修正值的索引为0、1、2、3、4、5,即分别对应数值-9、-6、-3、3、6、9。
在一些可选的实施例中,前述实施例中的修正值指示信息可以是针对当前块的,在本申请的其它实施例中,也可以引入高层语法元素来指示多个块是否需要对候选预测模式进行修正。在这种情况下,可以从视频码流的语法元素中解码得到指定标志位,根据该指定标志位确定当前块是否需要对候选预测模式进行修正;可选地,语法元素包括以下至少一个:序列参数集SPS(Sequence Parameter Set)、图像参数集PPS(Picture ParameterSet)、图像头部中的标志位、条带头部中的标志位。
比如,如果序列参数集SPS中的指定标志位指示图像序列需要对候选预测模式进行修正,那么解码端无需再解码PPS、图像头部中的标志位和条带头部中的标志位,编码端也无需进行编码。
如果序列参数集SPS中的指定标志位指示图像序列不需要对候选预测模式进行修正,那么解码端可以解码PPS,如果PPS中的指定标志位指示当前图像需要对候选预测模式进行修正,那么解码端无需再解码图像头部中的标志位和条带头部中的标志位,编码端也无需进行编码。
如果序列参数集SPS和PPS中的指定标志位指示图像序列不需要对候选预测模式进行修正,那么解码端可以解码图像头部中的标志位,如果图像头部中的指定标志位指示当前图像需要对候选预测模式进行修正,那么解码端无需再解码条带头部中的标志位,编码端也无需进行编码。
继续参照图5所示,在步骤S520中,获取基于TIMD推导得到的当前块的候选预测模式。
在本申请的一个实施例中,视频码流是对视频图像帧序列进行编码后得到的码流。其中,视频图像帧序列包括了一系列图像,每张图像可以被进一步划分为条带(Slice),条带又可以划分为一系列的LCU(或CTU),LCU包含有若干CU。视频图像帧在编码时是以块为单位进行编码处理,在一些新的视频编码标准中,比如在H.264标准中有宏块(macroblock,MB),宏块可进一步划分成多个可用于预测编码的预测块(prediction)。在HEVC标准中,采用编码单元CU、预测单元(prediction unit,PU)和变换单元(transform unit,TU)等基本概念,从功能上划分了多种块单元,并采用全新的基于树的结构进行描述。比如CU可以按照四叉树划分为更小的CU,而更小的CU还可以继续划分,从而形成一种四叉树结构。本申请实施例中的当前块可以是CU,或者是比CU更小的块,如对CU进行划分得到的更小的块。
可选地,基于TIMD推导得到的当前块的候选预测模式可以是采用前述实施例的技术方案来进行的,候选预测模式可以是SATD代价(SATD_cost)最小的预测模式和SATD_cost第二小的预测模式。
在步骤S530中,通过修正值指示信息所指示的修正值对候选预测模式进行修正,得到修正后的TIMD预测模式。
在一些可选的实施例中,通过修正值指示信息所指示的修正值对候选预测模式进行修正的过程可以是将修正值与候选预测模式进行相加,得到修正后的TIMD预测模式。
可选地,可以仅对TIMD推导出的其中一个候选预测模式进行修正,或者也可以对TIMD推导出的多个候选预测模式都进行修正。如果对TIMD推导得到的当前块的多个候选预测模式都进行修正,则这多个候选预测模式分别对应的修正值集合可以不相同,该修正值集合用于根据修正值指示信息从中确定修正值。当然,这多个候选预测模式分别对应的修正值集合也可以相同。
在一些可选的实施例中,如果需要修正的候选预测模式为目标预测模式,那么可以根据修正值,将与修正值相对应的预定义预测模式作为修正后的TIMD预测模式。可选地,目标预测模式可以是planar模式、DC模式、或者其它非角度预测模式。
例如,修正值集合可以是{-9,-6,-3,3,6,9},那么这些修正值分别对应的预定义预测模式可以是以下集合中的某个一预测模式{DC模式(模式索引0)/planar模式(模式索引1),TIMD水平模式(模式索引34),TIMD对角模式(模式索引66),TIMD竖直模式(模式索引98),TIMD反对角模式1(模式索引130),TIMD反对角模式2(模式索引2)}。
在一些可选的实施例中,可以根据以下因素中的至少一个确定候选预测模式对应的修正值集合,修正值集合用于根据修正值指示信息从中确定修正值:基于TIMD推导得到的当前块的候选预测模式、当前块的大小、最可能模式MPM集合、基于解码端帧内模式推导DIMD推导得到的候选预测模式、TIMD的代价大小。可选地,TIMD的代价可以是SATD cost等。
在一些可选的实施例中,修正后的TIMD预测模式可以与以下预测模式中的至少一个不相同:基于TIMD推导得到的候选预测模式、MPM集合中的预测模式、非MPM集合中的预测模式、基于DIMD推导得到的候选预测模式、基于DIMD推导得到的候选预测模式经过修正后的预测模式。
可选地,基于DIMD推导得到的候选预测模式经过修正后的预测模式可以采用与TIMD类似的修正方式进行修正,即通过码流中指示的修正值对基于DIMD推导得到的候选预测模式进行修正。
在本申请的一个实施例中,若采用TIMD与其它模式联合进行解码处理,则不同的其它模式所对应的修正值集合相同或者不相同。
比如,若其它模式包括多参考行MRL模式,那么针对MRL模式的部分或者全部参考行进行TIMD候选预测模式的修正处理。其中,MRL模式的每个参考行对应于不同的修正值集合;或者MRL模式的多个参考行对应于相同的修正值集合。
在一些可选的实施例中,如果修正后的TIMD预测模式未处于TIMD预测角度模式集合内,则可以根据候选预测模式和修正值将修正后的TIMD预测模式调整为处于TIMD预测角度模式集合内。
具体地,若修正值为正数,则可以计算候选预测模式和修正值的和值与第一设定值之间的差值,然后计算差值与第二设定值之间的余数,根据余数确定调整后的TIMD预测模式;其中,第一设定值为正整数,比如可以是2,第二设定值是根据TIMD预测角度模式的最大值确定的。比如第二设定值为offset+3,而offset为TIMD预测角度模式的最大值-5(数值仅为示例)。
若修正值为负数,则计算候选预测模式和修正值的差值与第三设定值之间的和值,计算和值与第二设定值之间的余数,根据余数确定调整后的TIMD预测模式;其中,第三设定值和第二设定值是根据TIMD预测角度模式的最大值确定的。比如第三设定值为offset+1,第二设定值为offset+3,而offset为TIMD预测角度模式的最大值-5(数值仅为示例)。
继续参照图5所示,在步骤S540中,基于修正后的TIMD预测模式对当前块进行解码处理。
在本申请的一个实施例中,如果在对候选预测模式进行修正时,是通过修正值指示信息所指示的修正值对基于TIMD推导得到的第一候选预测模式进行修正,得到修正后的第一预测模式。那么步骤S540中基于修正后的TIMD预测模式对当前块进行解码处理可以是将修正后的第一预测模式针对当前块的预测值作为当前块的预测值。
或者,步骤S540中基于修正后的TIMD预测模式对当前块进行解码处理也可以是将修正后的第一预测模式针对当前块的预测值与设定预测模式针对当前块的预测值进行融合,得到当前块的预测值。
可选地,设定预测模式包括以下至少一个:非角度预测模式(如Planner模式)、基于TIMD推导得到的第二候选预测模式、基于TIMD推导得到的第二候选预测模式经过修正后的预测模式。
可选地,第二候选预测模式在修正时可以采用与第一候选预测模式相同的修正方法,其中,第二候选预测模式采用与第一候选预测模式相同的修正值或者不同的修正值进行修正。
在本申请的一个实施例中,将修正后的第一预测模式针对当前块的预测值与设定预测模式针对当前块的预测值进行融合的过程可以是:按照设定的权重值对修正后的第一预测模式针对当前块的预测值和设定预测模式针对当前块的预测值进行加权求和,得到当前块的预测值。
可选地,可以根据以下因素中的至少一个确定设定的权重值:基于TIMD推导得到的当前块的候选预测模式;当前块的大小;修正前的第一预测模式和修正前的设定预测模式之间的变换残差绝对值和SATD代价;修正后的第一预测模式和修正后的设定预测模式之间的变换残差绝对值和SATD代价。
比如,如果根据修正前的第一预测模式和修正前的设定预测模式之间的SATD代价来确定权重,那么修正后的第一预测模式M1的权重weight1=SATD_cost(M1)/(SATD_cost(M3)+SATD_cost(M3)),设定预测模式M3的权重weight3=SATD_cost(M3)/(SATD_cost(M1)+SATD_cost(M3))。其中,SATD_cost(M1)表示修正前的第一预测模式的SATD代价;SATD_cost(M3)表示修正前的设定预测模式的SATD代价。
如果根据修正后的第一预测模式和修正后的设定预测模式之间的SATD代价来确定权重,那么修正后的第一预测模式M1的权重weight1’=SATD_cost(M1’)/(SATD_cost(M3’)+SATD_cost(M3’)),设定预测模式M3的权重weight3’=SATD_cost(M3’)/(SATD_cost(M1’)+SATD_cost(M3’))。其中,SATD_cost(M1’)表示修正后的第一预测模式的SATD代价;SATD_cost(M3’)表示修正后的设定预测模式的SATD代价。
图6示出了根据本申请的一个实施例的视频编码方法的流程图,该视频编码方法可以由具有计算处理功能的设备来执行,比如可以由终端设备或服务器来执行。参照图6所示,该视频编码方法至少包括步骤S610至步骤S640,详细介绍如下:
在步骤S610中,获取基于TIMD推导得到的当前块的候选预测模式。
在步骤S620中,若需要对当前块的候选预测模式进行修正处理,则根据率失真代价确定对候选预测模式的修正值。
在步骤S630中,根据修正值生成修正值指示信息。
在步骤S640中,将修正值指示信息添加至视频码流中。
需要说明的是,编码端的处理过程与解码端类似,比如基于TIMD推导得到的当前块的候选预测模式与解码端是相似的,而在确定候选预测模式的修正值时可以根据RDO(Rate-Distortion Optimization,率失真代价)来确定RDO最小时所对应的修正值;而根据修正值生成修正值指示信息的过程与解码端从码流中解码得到的修正值指示信息是类似的,不再赘述。
可见,本申请实施例的技术方案主要是通过引入修正值来提高TIMD的准确度及自适应能力,进而可以提高视频的编解码性能。
在本申请的一个实施例中,在将TIMD模式推导出的预测模式做一定修正时,对于某一个TIMD推导得到的候选预测模式(例如第一个TIMD推导得到的候选预测模式M1),其修正值M_delta的数值集合可以是预先定义好的数值集合,例如M_delta∈{-9,-6,-3,3,6,9},也可以是在编码和解过程中动态调整的数值集合。修正值的数值集合也可以是由高层语法定义,比如在SPS、PPS、Slice header(条带头部)中指定修正值的数值集合。而在编码端,是否使用修正值,以及使用哪一个修正值通过RDO决定,以保证使用最小RDO对应的预测模式。
在一些可选的实施例中,对于是否使用修正值,可以通过引入一个标志位timd_delta_flag来指示。比如,当timd_delta_flag为0,则表示当前块的TIMD推导模式不使用任何修正值;否则,TIMD推导模式需要配合修正值使用。
在本申请的一个实施例中,当timd_delta_flag为1时,可以引入一个标志位timd_delta_sign用来表示M_delta的符号位。当timd_delta_sign为1时,则M_delta为正值(或者负值);当timd_delta_sign为0时,则M_delta为负值(或者正值)。此外,可以引入一个或多个标志位来表示修正值的幅值大小。以M_delta∈{-9,-6,-3,3,6,9}为例,在引入标志位timd_delta_first_level时,若timd_delta_first_level为1,则表示M_delta的绝对值为3;如果timd_delta_first_level为0,则标志位timd_delta_second_level被引入。若timd_delta_second_level为1,则M_delta的绝对值为6;若timd_delta_second_level为0,则M_delta的绝对值为9。
在本申请的一个实施例中,当timd_delta_flag为1,可以引入一个标志位timd_delta_sign用来表示M_delta的符号位。当timd_delta_sign为1时,则M_delta为正值(或者负值);当timd_delta_sign为0时,则M_delta为负值(或者正值)。此外,可以引入一个或多个标志位来表示修正值的幅值大小。以M_delta∈{-9,-6,-3,3,6,9}为例,可以引入标志位timd_delta_level,若timd_delta_level为00,则表示M_delta的绝对值为3;如果timd_delta_level为01,则M_delta的绝对值为6;若timd_delta_level为10,则M_delta的绝对值为9。
在本申请的一个实施例中,当timd_delta_flag为1,可以引入一个或多个标志位来表示修正值索引。以M_delta∈{-9,-6,-3,3,6,9}为例,标志位timd_delta_index被引入,timd_delta_index为000,001,010,011,100,101则分别表示M_delta的索引为0,1,2,3,4,5。
在本申请的一个实施例中,当TIMD推导出的候选预测模式中一个(例如M1)在修正之后超出了TIMD预测角度模式集合的时候,其修正后的模式映射为TIMD预测角度模式集合中的模式。例如图7所示,ECM中TIMD预测角度模式集合为{2,3,…,130},而模式0和模式1分别代表DC模式和Planar模式。则可以将修正后的TIMD模式重新映射回TIMD预测角度模式集合{2,3,…,130}中的模式。
具体而言,当修正值M_delta为正数时,如果修正之后超出了TIMD预测角度模式集合,则修正后的TIMD预测角度模式映射为((M1-1+(M_delta-1))%mod)+2。当修正值M_delta为负数时,如果修正之后超出了TIMD预测角度模式集合,则修正后的TIMD预测角度模式映射为((M1+offset-(M_delta-1))%mod)+2。其中%为取余操作,offset为TIMD预测角度模式的最大值-5,mod为offset+3。
在本申请的一个实施例中,当TIMD推导出的候选预测模式中一个(例如M1)为planar模式、DC模式或者其它非角度预测模式时,其修正后的预测模式可以映射为某个特殊的TIMD预测模式。例如当M_delta∈{-9,-6,-3,3,6,9},则修正后的预测模式映射为以下集合中的某个一预测模式{DC模式(模式索引0)/planar模式(模式索引1),TIMD水平模式(模式索引34),TIMD对角模式(模式索引66),TIMD竖直模式(模式索引98),TIMD反对角模式1(模式索引130),TIMD反对角模式2(模式索引2)}。
在本申请的一个实施例中,对于不同的TIMD推导出的候选预测模式,其修正值集合可以不同,例如对于第一个TIMD推导得到的候选预测模式M1和第二个TIMD推导得到的候选预测模式M2,修正值的集合可以不同。
在本申请的一个实施例中,修正值的集合取决于已经编码或者解码的信息,包括但是不限于以下信息:TIMD推导得出的一个或者多个候选预测模式、块大小、MPM模式集合、DIMD推导得出的一个或者多个模式,TIMD的模板匹配的cost大小(如SATD_cost)等。
在本申请的一个实施例中,某一个TIMD推导得到的候选预测模式经修正值的修正后不能包含TIMD推出的一个或者多个模式。
在本申请的一个实施例中,某一个TIMD推导得到的候选预测模式经修正值的修正后不能包含MPM模式集合中的模式。
在本申请的一个实施例中,某一个TIMD推导得到的候选预测模式经修正值的修正后不能包含非MPM模式集合中的模式。
在本申请的一个实施例中,某一个TIMD推导得到的候选预测模式经修正值的修正后不能包含某一个(或某几个,或任何)DIMD推导模式经修正值后得到的预测模式。
在本申请的一个实施例中,在对某一个TIMD推导得到的候选预测模式(例如第一个TIMD推导得到的候选预测模式M1)修正后,可以通过修正后的预测模式对当前块进行预测得到预测值,然后可以采取多种与另一个TIMD推导模式(例如第二个TIMD推导得到的候选预测模式M2)对当前块的预测值进行加权融合的方法来得到当前块的最终预测值。
可选地,在某一个TIMD推导得到的候选预测模式(例如第一个TIMD推导得到的候选预测模式M1)修正后,可以通过修正后的预测模式对当前块进行预测得到预测值,然后直接将其作为最终的预测结果。
可选地,在某一个TIMD推导得到的候选预测模式(例如第一个TIMD推导得到的候选预测模式M1)修正后,可以通过修正后的预测模式对当前块进行预测得到预测值,然后与非角度模式,例如Planar模式,对当前块的预测值进行加权融合,从而得到最终的预测结果。
可选地,在某一个TIMD推导得到的候选预测模式(例如第一个TIMD推导得到的候选预测模式M1)修正后,可以通过修正后的预测模式对当前块进行预测得到预测值,然后与另一个TIMD推导得到的候选预测模式(例如第二个TIMD推导得到的预测模式M2)对当前块的预测值进行加权融合,从而得到最终的预测结果。
可选地,在某一个TIMD推导得到的候选预测模式(例如第一个TIMD推导得到的候选预测模式M1)修正后,可以通过修正后的预测模式对当前块进行预测得到预测值,然后另一个TIMD推导得到的候选预测模式(例如第二个TIMD推导得到的候选预测模式M2)也采用相同的修正值M_delta进行修正。然后将修正后的M1和M2对当前块的预测值进行加权融合,从而得到最终的预测结果。
可选地,在某一个TIMD推导得到的候选预测模式(例如第一个TIMD推导得到的候选预测模式M1)修正后,可以通过修正后的预测模式对当前块进行预测得到预测值,然后另一个TIMD推导得到的候选预测模式(例如第二个TIMD推导得到的候选预测模式M2)采用不同的修正值M_delta进行修正。然后将修正后的M1和M2对当前块的预测值进行加权融合,从而得到最终的预测结果。
在一些可选的实施例中,另一个TIMD推导得到的候选预测模式(例如第二个TIMD推导得到的候选预测模式M2)所采用的修正值M_delta进行编码传输时,可以采用前述实施例的方法来单独传输标志位信息。
在本申请的一个实施例中,加权融合的权重取决于已经编码或者解码的信息,包括但是不限于以下信息:TIMD推导得出的一个或者多个模式,块大小等。
可选地,加权融合的权重可以是通过修正前的候选预测模式的SATD_cost计算得到,也可以是通过修正后的候选预测模式的SATD_cost计算得到。
比如,如果是对第一个TIMD推导得到的候选预测模式M1和第二个TIMD推导得到的候选预测模式M2都进行修正,然后通过修正后的预测模式M1和M2分别对当前块进行预测得到预测值,再将修正后的M1和M2对当前块的预测值进行加权融合得到最终的预测结果。
那么可以根据修正前的候选预测模式M1和修正前的候选预测模式M2之间的SATD代价来确定权重,即修正后的候选预测模式M1的权重weight1=SATD_cost(M1)/(SATD_cost(M2)+SATD_cost(M2)),修正后的候选预测模式M2的权重weight2=SATD_cost(M2)/(SATD_cost(M1)+SATD_cost(M2))。其中,SATD_cost(M1)表示修正前的候选预测模式M1的SATD代价;SATD_cost(M2)表示修正前的候选预测模式M2的SATD代价。
还可以根据修正后的候选预测模式M1和修正后的候选预测模式M2之间的SATD代价来确定权重,即修正后的候选预测模式M1的权重weight1’=SATD_cost(M1’)/(SATD_cost(M2’)+SATD_cost(M2’)),修正后的候选预测模式M2的权重weight2’=SATD_cost(M2’)/(SATD_cost(M1’)+SATD_cost(M2’))。其中,SATD_cost(M1’)表示修正后的候选预测模式M1的SATD代价;SATD_cost(M2’)表示修正后的候选预测模式M2的SATD代价。
在本申请的一个实施例中,TIMD的修正值可应用于一个或多个与TIMD联合使用的其他模式。可选地,当TIMD与其他模式联合使用时,TIMD可以对每个与TIMD联合使用的其模式设计其单独的修正值集合,也可以对多个与TIMD联合使用的其模式设计相同的的修正值集合。
具体地,当TIMD与MRL模式联合使用时,可以对每个MRL的参考行设计其单独的修正值集合,也可以对多个MRL的参考行设计相同的的修正值集合。
或者,当TIMD与MRL模式联合使用时,可对部分或全部的MRL参考行应用TIMD的修正模式。例如,只对最邻近的MRL参考行应用TIMD的修正模式。
在本申请的一个实施例中,在高层语法元素中(例如在SPS,PPS,Picture header,Slice header)中引入一个或者多个标志位,该标记位用于指示TIMD或者DIMD,或者TIMD及DIMD模式的基础上是否引入修正值。这些高层语法元素将与前述实施例中当前块的标识位进行结合来确定当前块是否需要对TIMD或者DIMD推导出的候选预测模式进行修正。
以下介绍本申请的装置实施例,可以用于执行本申请上述实施例中所述的方法。对于本申请装置实施例中未披露的细节,请参照本申请上述的方法实施例。
图8示出了根据本申请的一个实施例的视频解码装置的框图,该视频解码装置可以设置在具有计算处理功能的设备内,比如可以设置在终端设备或服务器内。
参照图8所示,根据本申请的一个实施例的视频解码装置800,包括:解码单元802、获取单元804、修正单元806和处理单元808。
其中,解码单元802配置为从视频码流中解码得到在采用基于模板的帧内模式推导TIMD时的修正值指示信息;获取单元804配置为获取基于TIMD推导得到的当前块的候选预测模式;修正单元806配置为通过所述修正值指示信息所指示的修正值对所述候选预测模式进行修正,得到修正后的TIMD预测模式;处理单元808配置为基于所述修正后的TIMD预测模式对所述当前块进行解码处理。
在本申请的一些实施例中,基于前述方案,所述修正值指示信息包括用于指示所述当前块是否使用修正值对所述候选预测模式进行修正的第一标志位,以及修正值指示标志位;所述解码单元802配置为:若从所述视频码流中解码得到所述第一标志位的值用于指示所述当前块使用修正值对所述候选预测模式进行修正,则解码所述修正值指示标志位,以得到所述修正值。
在本申请的一些实施例中,基于前述方案,所述修正值指示标志位包括第二标志位和至少一个第三标志位;所述第二标志位的值用于指示所述修正值的符号,所述至少一个第三标志位用于指示所述修正值的绝对值。
在本申请的一些实施例中,基于前述方案,每个第三标志位的值用于指示所述修正值的绝对值是否为设定数值集合中对应层级的值。
在本申请的一些实施例中,基于前述方案,所述至少一个第三标志位的组合值用于指示从设定数值集合中选择相应层级的数值作为所述修正值的绝对值。
在本申请的一些实施例中,基于前述方案,所述修正值指示标志位包括修正值索引信息,所述修正值索引信息用于指示从设定数值集合中选择对应的数值作为所述修正值。
在本申请的一些实施例中,基于前述方案,所述视频解码装置还包括:调整单元,配置为若所述修正后的TIMD预测模式未处于TIMD预测角度模式集合内,则根据所述候选预测模式和所述修正值将所述修正后的TIMD预测模式调整为处于所述TIMD预测角度模式集合内。
在本申请的一些实施例中,基于前述方案,所述调整单元配置为:若所述修正值为正数,则计算所述候选预测模式和所述修正值的和值与第一设定值之间的差值,计算所述差值与第二设定值之间的余数,根据所述余数确定调整后的TIMD预测模式;其中,所述第一设定值为正整数,所述第二设定值是根据TIMD预测角度模式的最大值确定的。
在本申请的一些实施例中,基于前述方案,所述调整单元配置为:若所述修正值为负数,则计算所述候选预测模式和所述修正值的差值与第三设定值之间的和值,计算所述和值与第二设定值之间的余数,根据所述余数确定调整后的TIMD预测模式;其中,所述第三设定值和所述第二设定值是根据TIMD预测角度模式的最大值确定的。
在本申请的一些实施例中,基于前述方案,所述修正单元806配置为:若所述候选预测模式为目标预测模式,则根据所述修正值,将与所述修正值相对应的预定义预测模式作为修正后的TIMD预测模式。
在本申请的一些实施例中,基于前述方案,若基于TIMD推导得到的当前块的候选预测模式包括多个候选预测模式,则所述多个候选预测模式分别对应的修正值集合不相同,所述修正值集合用于根据所述修正值指示信息从中确定所述修正值。
在本申请的一些实施例中,基于前述方案,根据以下因素中的至少一个确定所述候选预测模式对应的修正值集合,所述修正值集合用于根据所述修正值指示信息从中确定所述修正值:基于TIMD推导得到的当前块的候选预测模式、当前块的大小、最可能模式MPM集合、基于解码端帧内模式推导DIMD推导得到的候选预测模式、TIMD的代价大小。
在本申请的一些实施例中,基于前述方案,所述修正后的TIMD预测模式与以下预测模式中的至少一个不相同:基于TIMD推导得到的候选预测模式、MPM集合中的预测模式、非MPM集合中的预测模式、基于DIMD推导得到的候选预测模式、基于DIMD推导得到的候选预测模式经过修正后的预测模式。
在本申请的一些实施例中,基于前述方案,所述修正单元806配置为:通过所述修正值指示信息所指示的修正值对基于TIMD推导得到的第一候选预测模式进行修正,得到修正后的第一预测模式;
所述处理单元808配置为:将所述修正后的第一预测模式针对所述当前块的预测值作为所述当前块的预测值;或者将所述修正后的第一预测模式针对所述当前块的预测值与设定预测模式针对所述当前块的预测值进行融合,得到所述当前块的预测值。
在本申请的一些实施例中,基于前述方案,所述设定预测模式包括以下至少一个:非角度预测模式、基于TIMD推导得到的第二候选预测模式、基于TIMD推导得到的第二候选预测模式经过修正后的预测模式;
其中,所述第二候选预测模式采用与所述第一候选预测模式相同的修正值或者不同的修正值进行修正。
在本申请的一些实施例中,基于前述方案,所述处理单元808配置为:按照设定的权重值对所述修正后的第一预测模式针对所述当前块的预测值和所述设定预测模式针对所述当前块的预测值进行加权求和,得到所述当前块的预测值。
在本申请的一些实施例中,基于前述方案,根据以下因素中的至少一个确定所述设定的权重值:基于TIMD推导得到的当前块的候选预测模式;当前块的大小;修正前的第一预测模式和修正前的设定预测模式之间的变换残差绝对值和SATD代价;修正后的第一预测模式和修正后的设定预测模式之间的变换残差绝对值和SATD代价。
在本申请的一些实施例中,基于前述方案,若采用TIMD与其它模式联合进行解码处理,则不同的其它模式所对应的修正值集合相同或者不相同,所述修正值集合用于根据所述修正值指示信息从中确定所述修正值。
在本申请的一些实施例中,基于前述方案,所述其它模式包括多参考行MRL模式,所述修正单元806还配置为:针对所述MRL模式的部分或者全部参考行进行TIMD候选预测模式的修正处理;其中,所述MRL模式的每个参考行对应于不同的修正值集合;或者所述MRL模式的多个参考行对应于相同的修正值集合。
在本申请的一些实施例中,基于前述方案,所述解码单元802还配置为:从所述视频码流的语法元素中解码得到指定标志位,根据所述指定标志位确定所述当前块是否需要对所述候选预测模式进行修正;其中,所述语法元素包括以下至少一个:序列参数集SPS、图像参数集PPS、图像头部中的标志位、条带头部中的标志位。
图9示出了根据本申请的一个实施例的视频编码装置的框图,该视频编码装置可以设置在具有计算处理功能的设备内,比如可以设置在终端设备或服务器内。
参照图9所示,根据本申请的一个实施例的视频编码装置900,包括:获取单元902、确定单元904、生成单元906和添加单元908。
其中,获取单元902配置为获取基于TIMD推导得到的当前块的候选预测模式;确定单元904配置为若确定需要对所述当前块的候选预测模式进行修正处理,则根据率失真代价确定对所述候选预测模式的修正值;生成单元906配置为根据所述修正值生成修正值指示信息;添加单元908配置为将所述修正值指示信息添加至视频码流中。
图10示出了适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
需要说明的是,图10示出的电子设备的计算机***1000仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示,计算机***1000包括中央处理单元(Central Processing Unit,CPU)1001,其可以根据存储在只读存储器(Read-Only Memory,ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(Random Access Memory,RAM)1003中的程序而执行各种适当的动作和处理,例如执行上述实施例中所述的方法。在RAM 1003中,还存储有***操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(Input/Output,I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分1007;包括硬盘等的存储部分1008;以及包括诸如LAN(Local AreaNetwork,局域网)卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时,执行本申请的***中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机程序的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个计算机程序,当上述一个或者多个计算机程序被一个该电子设备执行时,使得该电子设备实现上述实施例中所述的方法。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的实施方式后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (26)
1.一种视频解码方法,其特征在于,包括:
从视频码流中解码得到在采用基于模板的帧内模式推导TIMD时的修正值指示信息;
获取基于TIMD推导得到的当前块的候选预测模式;
通过所述修正值指示信息所指示的修正值对所述候选预测模式进行修正,得到修正后的TIMD预测模式;
基于所述修正后的TIMD预测模式对所述当前块进行解码处理。
2.根据权利要求1所述的视频解码方法,其特征在于,所述修正值指示信息包括用于指示所述当前块是否使用修正值对所述候选预测模式进行修正的第一标志位,以及修正值指示标志位;
从视频码流中解码得到在采用基于模板的帧内模式推导TIMD时的修正值指示信息,包括:
若从所述视频码流中解码得到所述第一标志位的值用于指示所述当前块使用修正值对所述候选预测模式进行修正,则解码所述修正值指示标志位,以得到所述修正值。
3.根据权利要求2所述的视频解码方法,其特征在于,所述修正值指示标志位包括第二标志位和至少一个第三标志位;
所述第二标志位的值用于指示所述修正值的符号,所述至少一个第三标志位用于指示所述修正值的绝对值。
4.根据权利要求3所述的视频解码方法,其特征在于,每个第三标志位的值用于指示所述修正值的绝对值是否为设定数值集合中对应层级的值。
5.根据权利要求3所述的视频解码方法,其特征在于,所述至少一个第三标志位的组合值用于指示从设定数值集合中选择相应层级的数值作为所述修正值的绝对值。
6.根据权利要求2所述的视频解码方法,其特征在于,所述修正值指示标志位包括修正值索引信息,所述修正值索引信息用于指示从设定数值集合中选择对应的数值作为所述修正值。
7.根据权利要求1所述的视频解码方法,其特征在于,所述视频解码方法还包括:
若所述修正后的TIMD预测模式未处于TIMD预测角度模式集合内,则根据所述候选预测模式和所述修正值将所述修正后的TIMD预测模式调整为处于所述TIMD预测角度模式集合内。
8.根据权利要求7所述的视频解码方法,其特征在于,根据所述候选预测模式和所述修正值将所述修正后的TIMD预测模式调整为处于所述TIMD预测角度模式集合内,包括:
若所述修正值为正数,则计算所述候选预测模式和所述修正值的和值与第一设定值之间的差值,计算所述差值与第二设定值之间的余数,根据所述余数确定调整后的TIMD预测模式;其中,所述第一设定值为正整数,所述第二设定值是根据TIMD预测角度模式的最大值确定的。
9.根据权利要求7所述的视频解码方法,其特征在于,根据所述候选预测模式和所述修正值将所述修正后的TIMD预测模式调整为处于所述TIMD预测角度模式集合内,包括:
若所述修正值为负数,则计算所述候选预测模式和所述修正值的差值与第三设定值之间的和值,计算所述和值与第二设定值之间的余数,根据所述余数确定调整后的TIMD预测模式;其中,所述第三设定值和所述第二设定值是根据TIMD预测角度模式的最大值确定的。
10.根据权利要求1所述的视频解码方法,其特征在于,通过所述修正值指示信息所指示的修正值对所述候选预测模式进行修正,得到修正后的TIMD预测模式,包括:
若所述候选预测模式为目标预测模式,则根据所述修正值,将与所述修正值相对应的预定义预测模式作为修正后的TIMD预测模式。
11.根据权利要求1所述的视频解码方法,其特征在于,若基于TIMD推导得到的当前块的候选预测模式包括多个候选预测模式,则所述多个候选预测模式分别对应的修正值集合不相同,所述修正值集合用于根据所述修正值指示信息从中确定所述修正值。
12.根据权利要求1所述的视频解码方法,其特征在于,根据以下因素中的至少一个确定所述候选预测模式对应的修正值集合,所述修正值集合用于根据所述修正值指示信息从中确定所述修正值:
基于TIMD推导得到的当前块的候选预测模式、当前块的大小、最可能模式MPM集合、基于解码端帧内模式推导DIMD推导得到的候选预测模式、TIMD的代价大小。
13.根据权利要求1所述的视频解码方法,其特征在于,所述修正后的TIMD预测模式与以下预测模式中的至少一个不相同:
基于TIMD推导得到的候选预测模式、MPM集合中的预测模式、非MPM集合中的预测模式、基于DIMD推导得到的候选预测模式、基于DIMD推导得到的候选预测模式经过修正后的预测模式。
14.根据权利要求1所述的视频解码方法,其特征在于,通过所述修正值指示信息所指示的修正值对所述候选预测模式进行修正,得到修正后的TIMD预测模式,包括:
通过所述修正值指示信息所指示的修正值对基于TIMD推导得到的第一候选预测模式进行修正,得到修正后的第一预测模式;
基于所述修正后的TIMD预测模式对所述当前块进行解码处理,包括:将所述修正后的第一预测模式针对所述当前块的预测值作为所述当前块的预测值;或者将所述修正后的第一预测模式针对所述当前块的预测值与设定预测模式针对所述当前块的预测值进行融合,得到所述当前块的预测值。
15.根据权利要求14所述的视频解码方法,其特征在于,所述设定预测模式包括以下至少一个:
非角度预测模式、基于TIMD推导得到的第二候选预测模式、基于TIMD推导得到的第二候选预测模式经过修正后的预测模式;
其中,所述第二候选预测模式采用与所述第一候选预测模式相同的修正值或者不同的修正值进行修正。
16.根据权利要求14所述的视频解码方法,其特征在于,将所述修正后的第一预测模式针对所述当前块的预测值与设定预测模式针对所述当前块的预测值进行融合,得到所述当前块的预测值,包括:
按照设定的权重值对所述修正后的第一预测模式针对所述当前块的预测值和所述设定预测模式针对所述当前块的预测值进行加权求和,得到所述当前块的预测值。
17.根据权利要求16所述的视频解码方法,其特征在于,根据以下因素中的至少一个确定所述设定的权重值:
基于TIMD推导得到的当前块的候选预测模式;
当前块的大小;
修正前的第一预测模式和修正前的设定预测模式之间的变换残差绝对值和SATD代价;
修正后的第一预测模式和修正后的设定预测模式之间的变换残差绝对值和SATD代价。
18.根据权利要求1所述的视频解码方法,其特征在于,若采用TIMD与其它模式联合进行解码处理,则不同的其它模式所对应的修正值集合相同或者不相同,所述修正值集合用于根据所述修正值指示信息从中确定所述修正值。
19.根据权利要求18所述的视频解码方法,其特征在于,所述其它模式包括多参考行MRL模式,所述视频解码方法还包括:
针对所述MRL模式的部分或者全部参考行进行TIMD候选预测模式的修正处理;
其中,所述MRL模式的每个参考行对应于不同的修正值集合;或者所述MRL模式的多个参考行对应于相同的修正值集合。
20.根据权利要求1至19中任一项所述的视频解码方法,其特征在于,所述视频解码方法还包括:
从所述视频码流的语法元素中解码得到指定标志位,根据所述指定标志位确定所述当前块是否需要对所述候选预测模式进行修正;
其中,所述语法元素包括以下至少一个:序列参数集SPS、图像参数集PPS、图像头部中的标志位、条带头部中的标志位。
21.一种视频编码方法,其特征在于,包括:
获取基于TIMD推导得到的当前块的候选预测模式;
若需要对所述当前块的候选预测模式进行修正处理,则根据率失真代价确定对所述候选预测模式的修正值;
根据所述修正值生成修正值指示信息;
将所述修正值指示信息添加至视频码流中。
22.一种视频解码装置,其特征在于,包括:
解码单元,配置为从视频码流中解码得到在采用基于模板的帧内模式推导TIMD时的修正值指示信息;
获取单元,配置为获取基于TIMD推导得到的当前块的候选预测模式;
修正单元,配置为通过所述修正值指示信息所指示的修正值对所述候选预测模式进行修正,得到修正后的TIMD预测模式;
处理单元,配置为基于所述修正后的TIMD预测模式对所述当前块进行解码处理。
23.一种视频编码装置,其特征在于,包括:
获取单元,配置为获取基于TIMD推导得到的当前块的候选预测模式;
确定单元,配置为若确定需要对所述当前块的候选预测模式进行修正处理,则根据率失真代价确定对所述候选预测模式的修正值;
生成单元,配置为根据所述修正值生成修正值指示信息;
添加单元,配置为将所述修正值指示信息添加至视频码流中。
24.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至20中任一项所述的视频解码方法,或实现如权利要求21所述的视频编码方法。
25.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个计算机程序,当所述一个或多个计算机程序被所述一个或多个处理器执行时,使得所述电子设备实现如权利要求1至20中任一项所述的视频解码方法,或实现如权利要求21所述的视频编码方法。
26.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序存储在计算机可读存储介质中,电子设备的处理器从所述计算机可读存储介质读取并执行所述计算机程序,使得所述电子设备执行如权利要求1至20中任一项所述的视频解码方法,或实现如权利要求21所述的视频编码方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211296332.XA CN117956164A (zh) | 2022-10-21 | 2022-10-21 | 视频编解码方法、装置、计算机可读介质及电子设备 |
PCT/CN2023/096359 WO2024082632A1 (zh) | 2022-10-21 | 2023-05-25 | 视频编解码方法、装置、计算机可读介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211296332.XA CN117956164A (zh) | 2022-10-21 | 2022-10-21 | 视频编解码方法、装置、计算机可读介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117956164A true CN117956164A (zh) | 2024-04-30 |
Family
ID=90736750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211296332.XA Pending CN117956164A (zh) | 2022-10-21 | 2022-10-21 | 视频编解码方法、装置、计算机可读介质及电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117956164A (zh) |
WO (1) | WO2024082632A1 (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017065532A1 (ko) * | 2015-10-13 | 2017-04-20 | 엘지전자(주) | 비디오 신호의 인코딩, 디코딩 방법 및 장치 |
WO2020042916A1 (en) * | 2018-08-27 | 2020-03-05 | Huawei Technologies Co., Ltd. | Method and Apparatus for Intra Prediction |
JP2024509216A (ja) * | 2021-03-04 | 2024-02-29 | ヒョンダイ モーター カンパニー | イントラ予測モード誘導を用いるビデオコーディングのためのイントラ予測方法及び装置 |
-
2022
- 2022-10-21 CN CN202211296332.XA patent/CN117956164A/zh active Pending
-
2023
- 2023-05-25 WO PCT/CN2023/096359 patent/WO2024082632A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024082632A1 (zh) | 2024-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112543337B (zh) | 视频解码方法、装置、计算机可读介质及电子设备 | |
CN112543338B (zh) | 视频解码方法、装置、计算机可读介质及电子设备 | |
WO2022174660A1 (zh) | 视频编解码方法、装置、计算机可读介质及电子设备 | |
WO2023173809A1 (zh) | 视频编解码方法、装置、存储介质、电子设备及计算机程序产品 | |
WO2021263251A1 (en) | State transition for dependent quantization in video coding | |
CN117956164A (zh) | 视频编解码方法、装置、计算机可读介质及电子设备 | |
CN115209157A (zh) | 视频编解码方法、装置、计算机可读介质及电子设备 | |
CN114513663A (zh) | 视频解码方法、装置及电子设备 | |
WO2023130899A1 (zh) | 环路滤波方法、视频编解码方法、装置、介质及电子设备 | |
WO2023202097A1 (zh) | 环路滤波方法、视频编解码方法、装置、介质、程序产品及电子设备 | |
JP7483029B2 (ja) | ビデオ復号方法、ビデオ符号化方法、装置、媒体、及び電子機器 | |
US20240144439A1 (en) | Filtering method and apparatus, computer-readable medium | |
CN114079772B (zh) | 视频解码方法、装置、计算机可读介质及电子设备 | |
WO2022174637A1 (zh) | 视频编解码方法、装置、计算机可读介质及电子设备 | |
WO2022116854A1 (zh) | 视频解码方法、装置、可读介质、电子设备及程序产品 | |
WO2022174659A1 (zh) | 视频编解码方法、装置、计算机可读介质及电子设备 | |
WO2022174701A1 (zh) | 视频编解码方法、装置、计算机可读介质及电子设备 | |
US20240015336A1 (en) | Filtering method and apparatus, computer-readable medium, and electronic device | |
WO2022193870A1 (zh) | 视频编解码方法、装置、计算机可读介质及电子设备 | |
CN116805969A (zh) | 视频编解码方法、装置、计算机可读介质及电子设备 | |
CN118101958A (zh) | 视频编解码方法、装置、计算机可读介质及电子设备 | |
CN115209146A (zh) | 视频编解码方法、装置、计算机可读介质及电子设备 | |
CN115209141A (zh) | 视频编解码方法、装置、计算机可读介质及电子设备 | |
CN115209138A (zh) | 视频编解码方法、装置、计算机可读介质及电子设备 | |
CN118175311A (zh) | 视频数据处理方法、装置、存储介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |