CN117176959B - 处理方法、处理设备及存储介质 - Google Patents
处理方法、处理设备及存储介质 Download PDFInfo
- Publication number
- CN117176959B CN117176959B CN202311445633.9A CN202311445633A CN117176959B CN 117176959 B CN117176959 B CN 117176959B CN 202311445633 A CN202311445633 A CN 202311445633A CN 117176959 B CN117176959 B CN 117176959B
- Authority
- CN
- China
- Prior art keywords
- partition information
- list
- information
- candidate
- division
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 68
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000005192 partition Methods 0.000 claims abstract description 1093
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000004364 calculation method Methods 0.000 claims description 54
- 238000013528 artificial neural network Methods 0.000 claims description 34
- 238000013178 mathematical model Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 9
- 230000011664 signaling Effects 0.000 abstract description 36
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 18
- 238000000638 solvent extraction Methods 0.000 description 18
- 230000006854 communication Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 238000012805 post-processing Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000013139 quantization Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请提出了一种处理方法、处理设备及存储介质,处理方法包括:依据划分信息确定候选划分信息列表和/或划分信息的预测;依据所述候选划分信息列表和/或划分信息的预测对当前块进行划分。本申请可以降低块划分的信令开销,进而提高视频编解码的效率。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种处理方法、处理设备及存储介质。
背景技术
现有高效率视频编码标准协议(H.266/VVC)提出了一种视频帧的编码技术,具体包括,在进行视频帧的编解码时,协议将每个帧划分为不同的块,并进行预测处理,再进行编解码处理。
在构思及实现本申请过程中,发明人发现至少存在如下问题:在进行块划分处理时,由于每个CTU(Coding Tree Unit,编码树单元)均被划分为多个CU(Coding Unit,编码单元),每个CU的划分方式都需要单独的划分信令表示,导致块划分的信令开销大,进而限制了视频编解码的效率。
前面的叙述在于提供一般的背景信息,并不一定构成现有技术。
发明内容
针对上述技术问题,本申请提供一种处理方法、处理设备及存储介质,旨在解决如何降低块划分的信令开销,进而提高视频编解码的效率的技术问题。
本申请提供一种处理方法,可应用于处理设备,包括步骤:
S10,依据划分信息确定候选划分信息列表和/或划分信息的预测;
S20,依据所述候选划分信息列表和/或划分信息的预测对当前块进行划分。
可选地,所述步骤S10,包括以下至少一项:
根据邻居块的划分信息、非邻居块的划分信息、默认划分信息、选定块的划分信息、像素和编解码参数中的至少一项确定至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测;
根据块的划分信息的频次确定至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测;
根据块的划分信息、像素和编解码参数确定至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测;
根据块的划分信息、像素和编解码参数进行计算或排序,确定计算或排序后的至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测;
根据像素和编解码参数计算每种划分信息对应的SAD值,依据所述SAD值确定至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测;
根据邻居块的第一分量划分信息和/或非邻居块的第一分量划分信息,确定或得到当前块的第二分量的候选划分信息列表和/或划分信息的预测。
可选地,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测,包括以下至少一项:
依据添加至少一种划分信息的划分信息列表,确定或得到候选划分信息列表和/或划分信息的预测;
对确定的至少一种划分信息进行排序,依据排序后的至少一种划分信息确定或得到候选划分信息列表和/或划分信息的预测;
根据至少一种划分信息的代价,确定或得到候选划分信息列表和/或划分信息的预测;
将至少一种划分信息、像素和编解码参数中的至少一项输入至神经网络,得到输出结果,根据输出结果确定或得到候选划分信息列表和/或划分信息的预测;
将至少一种划分信息、像素和编解码参数中的至少一项输入至查询表进行查询,得到查询结果,依据查询结果确定或得到候选划分信息列表和/或划分信息的预测;
根据至少一种划分信息进行匹配,依据匹配的至少一种划分信息确定或得到候选划分信息列表和/或划分信息的预测;
将至少一种划分信息、像素和编解码参数中的至少一项输入至数学模型,根据数学模型的输出结果确定或得到候选划分信息列表和/或划分信息的预测。
可选地,所述处理方法还包括以下至少一项:
所述划分信息包括块划分方式和/或块划分深度;
所述候选划分信息列表包括以下至少一项:
第一级候选划分方式列表;
第二级候选划分方式列表;
第一级候选划分深度列表;
第二级候选划分深度列表。
可选地,所述根据至少一种划分信息,确定或得到候选划分信息列表,包括以下至少一项:
根据至少一种划分信息,创建或更新第一级候选划分方式列表,依据所述第一级候选划分方式列表,确定或得到第二级候选划分方式列表;
根据至少一种划分信息,创建或更新第一级候选划分深度列表,依据所述第一级候选划分深度列表,确定或得到第二级候选划分深度列表;
根据至少一种划分信息,创建或更新第一级候选划分方式列表,依据所述第一级候选划分方式列表,确定或得到第一级候选划分深度列表,依据所述第一级候选划分深度列表,确定或得到第二级候选划分方式列表,依据所述第二级候选划分方式列表,确定或得到第二级候选划分深度列表;
根据至少一种划分信息,创建或更新第一级候选划分深度列表,依据所述第一级候选划分深度列表,确定或得到第一级候选划分方式列表,依据所述第一级候选划分方式列表,确定或得到第二级候选划分深度列表,依据所述第二级候选划分深度列表,确定或得到第二级候选划分方式列表。
可选地,所述步骤S20,包括步骤:
S21,依据所述候选划分信息列表和/或划分信息的预测,确定至少一种当前块的划分信息;
S22,依据至少一种当前块的划分信息对当前块进行划分。
可选地,所述步骤S21,包括以下至少一项:
依据从码流获取的索引和所述候选划分信息列表,确定至少一种当前块的划分信息;
依据从码流获取的非列表划分信息索引和除所述候选划分信息列表之外的非列表划分信息,确定至少一种当前块的划分信息;
依据码流中的块划分语法元素、所述划分信息的预测和逆处理规则,确定至少一种当前块的划分信息。
可选地,所述处理方法还包括以下至少一项:
依据已编码块的划分信息、检索规则和所述候选划分信息列表,确定或得到索引,对所述索引进行编码;
依据已编码块的划分信息、处理规则和所述划分信息的预测,确定待编码划分信息,对所述待编码划分信息进行编码。
本申请还提供一种处理装置,包括:
处理模块,用于依据划分信息确定候选划分信息列表和/或划分信息的预测;依据所述候选划分信息列表和/或划分信息的预测对当前块进行划分。
本申请还提供一种处理设备,包括:存储器、处理器,所述存储器上存储有处理程序,所述处理程序被所述处理器执行时实现如上任一所述处理方法的步骤。
本申请中的处理设备,可以是智能终端,也可以服务器。
本申请还提供一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上任一所述处理方法的步骤。
如上所述,本申请的处理方法,可应用于处理设备,包括:依据划分信息确定候选划分信息列表和/或划分信息的预测,依据所述候选划分信息列表和/或划分信息的预测对当前块进行划分。通过上述技术方案,可以实现避免在进行划分处理时,需要对所有的划分方式都采用单独的划分信令表示,导致信令开销大的现象发生,通过先依据划分信息确定或得到候选划分信息列表和/或划分信息的预测,以便将当前块可能用到的划分信息合理规划到候选划分信息列表,或确定当前块可能用到的划分信息对应的划分信息的预测,进而在依据候选划分信息列表和/或划分信息的预测对当前块进行划分时,提高划分信息的命中率,降低划分信息的信令表示,进而降低了块划分的信令开销,进而降低了对当前块划分的划分成本,提高了视频编解码的效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为实现本申请各个实施例的一种移动终端的硬件结构示意图;
图2为本申请实施例提供的一种通信网络***架构图;
图3是根据第一实施例示出的处理方法的流程示意图;
图4是根据第一实施例示出的多型树划分方式示意图;
图5是根据第一实施例示出的一个CTU划分示意图;
图6是根据第一实施例示出的一个CTU的另一划分示意图;
图7是根据第一实施例示出的其他帧、当前帧的块的示意图;
图8是根据第一实施例示出的处理方法中基于SAD计算的示意图;
图9是根据第一实施例示出的多级划分信息列表的创建和编码示意图;
图10是根据第一实施例示出的多级划分信息列表的解码示意图;
图11是根据第一实施例示出的块划分信息预测和编码示意图;
图12是根据第一实施例示出的块划分信息预测和解码示意图;
图13是根据第二实施例示出基于神经网络的候选划分方式列表生成示意图;
图14是根据第二实施例示出基于神经网络的候选划分方式列表生成的另一示意图;
图15是根据第四实施例示出的处理方法的流程示意图;
图16是根据第四实施例示出的一帧图像中块划分方式示意图;
图17是根据第四实施例示出的第一帧块划分方式示意图;
图18是根据第四实施例示出的第一帧块划分深度示意图;
图19是根据第四实施例示出的8种块划分方式示意图;
图20是根据第四实施例示出的对图19划分1中的上半部分再进行一次划分示意图;
图21是根据第四实施例示出的划分深度解码示意图;
图22是根据本申请实施例中处理装置示出的模块示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应当理解,尽管在本文可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本文范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的,或意味着任一个或任何组合。例如,“包括以下至少一个:A、B、C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”,再如,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
应该理解的是,虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
需要说明的是,在本文中,采用了诸如S10、S20等步骤代号,其目的是为了更清楚简要地表述相应内容,不构成顺序上的实质性限制,本领域技术人员在具体实施时,可能会先执行S20后执行S10等,但这些均应在本申请的保护范围之内。
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本申请的说明,其本身没有特定的意义。因此,“模块”、“部件”或者“单元”可以混合地使用。
本申请中的处理设备,可以是智能终端,也可以服务器。智能终端可以以各种形式来实施。例如,本申请中描述的智能终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant,PDA)、便捷式媒体播放器(PortableMedia Player,PMP)、导航装置、可穿戴设备、智能手环、计步器等智能终端,以及诸如数字TV、台式计算机等固定终端。
后续描述中将以移动终端为例进行说明,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本申请的实施方式的构造也能够应用于固定类型的终端。
请参阅图1,其为实现本申请各个实施例的一种移动终端的硬件结构示意图,该移动终端100可以包括: RF(Radio Frequency,射频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解,图1中示出的移动终端结构并不构成对移动终端的限定,移动终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图1对移动终端的各个部件进行具体的介绍:
射频单元101可用于收发信息或通话过程中,信号的接收和发送,具体的,将基站的下行信息接收后,给处理器110处理;另外,将上行的数据发送给基站。通常,射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于GSM (Global System of Mobile communication,全球移动通讯***)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000,码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access, 宽带码分多址)、TD-SCDMA(Time Division-Synchronous CodeDivision Multiple Access,时分同步码分多址)、FDD-LTE(Frequency DivisionDuplexing- Long Term Evolution,频分双工长期演进)、TDD-LTE (Time DivisionDuplexing- Long Term Evolution,分时双工长期演进)、5G和6G等。
WiFi属于短距离无线传输技术,移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102,但是可以理解的是,其并不属于移动终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时,将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。
A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据),并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
移动终端100还包括至少一种传感器105,比如光传感器、运动传感器以及其他传感器。可选地,光传感器包括环境光传感器及接近传感器,可选地,环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度,接近传感器可在移动终端100移动到耳边时,关闭显示面板1061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode, OLED)等形式来配置显示面板1061。
用户输入单元107可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入。可选地,用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作),并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。可选地,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器110,并能接收处理器110发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071,用户输入单元107还可以包括其他输入设备1072。可选地,其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种,具体此处不做限定。
可选地,触控面板1071可覆盖显示面板1061,当触控面板1071检测到在其上或附近的触摸操作后,传送给处理器110以确定触摸事件的类型,随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中,触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能,具体此处不做限定。
接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区,可选地,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器109可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器110是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器109内的软件程序和/或模块,以及调用存储在存储器109内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元;优选的,处理器110可集成应用处理器和调制解调处理器,可选地,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
移动终端100还可以包括给各个部件供电的电源111(比如电池),优选的,电源111可以通过电源管理***与处理器110逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
尽管图1未示出,移动终端100还可以包括蓝牙模块等,在此不再赘述。
为了便于理解本申请实施例,下面对本申请的移动终端所基于的通信网络***进行描述。
请参阅图2,图2为本申请实施例提供的一种通信网络***架构图,该通信网络***为通用移动通信技术的LTE***,该LTE***包括依次通讯连接的UE(User Equipment,用户设备)201, E-UTRAN(Evolved UMTS Terrestrial Radio Access Network,演进式UMTS陆地无线接入网)202,EPC(Evolved Packet Core,演进式分组核心网)203和运营商的IP业务204。
可选地,UE201可以是上述终端100,此处不再赘述。
E-UTRAN202包括eNodeB2021和其它eNodeB2022等。可选地,eNodeB2021可以通过回程(backhaul)(例如X2接口)与其它eNodeB2022连接,eNodeB2021连接到EPC203,eNodeB2021可以提供UE201到EPC203的接入。
EPC203可以包括MME(Mobility Management Entity,移动性管理实体)2031, HSS(Home Subscriber Server,归属用户服务器)2032,其它MME2033, SGW(Serving GateWay,服务网关)2034, PGW(PDN Gate Way,分组数据网络网关)2035和PCRF(Policy andCharging Rules Function,政策和资费功能实体)2036等。可选地,MME2031是处理UE201和EPC203之间信令的控制节点,提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能,并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送,PGW2035可以提供UE 201的IP地址分配以及其它功能,PCRF2036是业务数据流和IP承载资源的策略与计费控制策略决策点,它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。
IP业务204可以包括因特网、内联网、IMS(IP Multimedia Subsystem,IP多媒体子***)或其它IP业务等。
虽然上述以LTE***为例进行了介绍,但本领域技术人员应当知晓,本申请不仅仅适用于LTE***,也可以适用于其他无线通信***,例如GSM、CDMA2000、WCDMA、TD-SCDMA、5G以及未来新的网络***(如6G)等,此处不做限定。
基于上述移动终端硬件结构以及通信网络***,提出本申请各个实施例。
第一实施例
参照图3,图3是根据第一实施例示出的处理方法的流程示意图,本申请实施例的处理方法可应用于处理设备,包括步骤:
S10,依据划分信息确定候选划分信息列表和/或划分信息的预测;
S20,依据所述候选划分信息列表和/或划分信息的预测对当前块进行划分。
在本实施例中,处理设备可以是智能终端,如手机、电脑等,也可以是服务器,如本地服务器或云服务器。本实施例及本申请中,主要以处理设备为智能终端示例说明。
当前块可以是当前时刻正在进行编码或解码的块。当前块可以为一帧图像,还可以是一帧图像进行切割后的图像块,在此不做限制。
可选地,智能终端可以提前存储各个图像和视频,并可以在各个图像中选择一个待进行预测的一帧图像作为当前块,或者将选择的图像进行切割,并将切割后的图像块作为当前块。或者在视频的视频序列中抽取一帧图像作为当前块,或者将抽取的一帧图像进行切割处理,得到的图像块作为当前块。
或者,处理设备接收输入的图像或视频,并在图像或视频中抽取一帧图像作为当前块,或者将抽取的一帧图像进行切割处理,得到的图像块作为当前块。
或者,处理设备接收由其它网络设备发送的图像或视频,并在图像或视频中抽取一帧图像作为当前块,或者将抽取的一帧图像进行切割处理,得到的图像块作为当前块,此时处理设备预先与所处移动通信***网络侧中的网络设备建立通信连接,从而,网络设备即可通过该通信连接向该终端设备下发图像或视频,该终端设备即接收得到图像或视频。
可选地,在对当前块进行编码前,需要进行块划分。例如,在H.266/VVC协议中,一个视频帧可能被划分为不少于1个条带(Slice),每个条带又被进一步划分为多个最大编码树单元(Coding Tree Unit, CTU)。每个CTU最大可以到 128×128,最小 CTU 可支持 32×32。一个CTU首先按四叉树方式进行一次划分,四叉树的每个叶子节点可以进一步按照多类型树方式进行划分。
如图4所示,共有4种多类型树划分方式:水平二叉树划分(SPLIT_BT_HOR)、垂直二叉树划分(SPLIT_BT_VER)、水平三叉树划分(SPLIT_TT_HOR)、垂直三叉树划分(SPLIT_TT_VER)。
一个具体的CTU划分的例子如图5所示,一个CTU被最终划分为很多个编码单元(Coding Unit,CU)。可选地,CU为长方形。
再例如,如图6所示,对一个CTU(128x128)进行了树深度为2的划分。划分信令包括:第一层:[split_cu_flag=1, split_qt_flag=1];第二层:左上 [split_cu_flag=1,split_qt_flag=1, split_cu_flag=0000];右上 [split_cu_flag=1,split_qt_flag=0,mtt_split_cu_vertical_flag=0,mtt_split_cu_binary_flag=1,split_cu_flag=00];左下 [split_cu_flag=0];右下 [split_cu_flag=1,split_qt_flag=0,mtt_split_cu_vertical_flag=0,mtt_split_cu_binary_flag=0,split_cu_flag=00]。因此,对右侧CTU进行划分,共需要21 bits的信令。当信令开销/代价越大,则编码效率越低。
基于此,在本实施例中,通过确定候选划分信息列表和/或划分信息的预测来对当前块进行划分,进而,减小CTU树形划分结构中的划分信令开销,提高编码和解码效率。
例如,若划分方式存在32种,若采用对每种划分方式进行编码,则每种划分方式需要log2(32)=5比特表示。若采用列表方式,假设列表有四个元素,当列表的命中率为100%时,则每种划分方式的平均表示成本为2比特。若采用列表的方式,假设列表有四个元素,当列表的命中概率为60%(即60%为列表中四个方式,40%为非列表方式),根据熵编码原理可以及时划分方式的平均表示成本为0.6*2+0.4*log2(28)=3.12294196882。
再例如,假设划分深度的大小范围为0-7。若对每种划分深度等进行概率编码,则每种划分深度需要3比特表示。若采用预测块划分深度的方式,假设“预测值-实际值”的范围为1-4,则每种划分深度的平均表示成本为log2(6)=2.58496250072比特。若用预测块划分深度的方式,假设“预测值-实际值”的范围为1-1,则每种划分深度的平均表示成本为log2(3)=1.58496250072比特。基于此可以确定,采用列表的方式,提高列表的使用率(即命中率)就可以降低信令开销,以及采用编码预测误差的方式,提高预测精度就可以降低信令开销。
可选地,候选划分信息列表可以是列表,也可以是表格,还可以是一种预设格式的数据,在此不做限制。划分信息的预测可以是一种预设格式的数据值,比如划分信息预测值,也可以是其他形式用于表示划分信息的预测的图案文字,还可以是通过一些不存在数理含义的方式表达。
可选地,在智能终端获取到划分信息后,就可以进一步地确定候选划分信息列表和/或划分信息的预测。
可选地,可以根据划分信息对当前块的划分方式和/或划分深度进行预测,比如根据划分信息确定当前块的候选划分方式列表(即候选划分信息列表中的一种),根据划分信息确定当前块的候选划分深度列表(即候选划分信息列表中的一种),根据划分信息确定当前块的划分信息的预测(包括块划分方式对应的划分信息的预测和/或划分深度对应的划分信息的预测)。
可选地,根据选定的已解码块,构建候选划分信息列表(如块划分候选方式列表),码流中只需传达该候选划分信息列表的索引,进而就可以减小块划分信令开销。
可选地,根据选定的已解码块预测块划分方式,并且在码流中只需要传达块划分方式差值或其他变形(比如与块划分方式差值存在对应关系的图案、数字和文字等),进而就可以减小块划分方式信令开销。
可选地,根据选定的已解码块,构建块划分深度列表,在码流中只需要传达该块划分深度列表的索引,进而就可以减小块划分深度信令开销。
可选地,根据选定的已解码块预测块划分深度,并且在码流中只需要传达块划分深度差值或其他变形(比如与块划分深度差值存在对应关系的图案、数字和文字等),进而就可以减小块划分深度信令开销。
可选地,划分信息可以是块的划分信息。
可选地,块可以是编码块、解码块、当前块、邻居块、非邻居块、邻接块、非邻接块、基于预设规则选定块等中的至少一种。
例如,如图7所示,若当前待编码块为u,虚线为块划分线。u的邻居块包括TL、T、TR、L、BL、TL1、TL2、T1、TR1、TL3、L1和BL1等。可选地,其他帧,例同位图、当前帧的前一帧等中的同位块为根据预设规则选定的块。
可选地,块的划分信息可以包括块的划分深度、划分方式、尺寸、大小等中的至少一种。可选地,候选划分信息列表的数量可以是至少一个。
可选地,划分信息的预测的数量可以是一个或多个。
可选地,对于步骤S10,依据划分信息确定候选划分信息列表和/或划分信息的预测,可以包括以下方式中的至少一项:
方式一,根据邻居块的划分信息、非邻居块的划分信息、默认划分信息、选定块的划分信息、像素和编解码参数中的至少一项确定至少一种划分信息,根据至少一种划分信息确定或得到候选划分信息列表和/或划分信息的预测;
可选地,邻居块可以是与当前块相邻的块,比如与当前块紧贴的块,或者间隔一个或预设数量的块。非邻居块可以是与当前块间隔距离较远的块。邻居块的划分信息可以为一个或多个,非邻居块的划分信息可以为一个或多个,默认划分信息可以为一个或多个。可选地,选定块可以是依据预设规则进行选择的块,如当前块左上角的块、当前块上方的块等。或者,根据用户输入的指令进行选择的块。在此不做限制。
可选地,邻居块的划分信息可以包括块划分方式或块划分深度,或者是其他用于进行块划分的相关信息,比如划分方式、划分深度、划分后的块的形状等。非邻居块的划分信息可以包括块划分方式或块划分深度,或者是其他用于进行块划分的相关信息,比如划分顺序、划分交底、划分后的块的形状等。选定块的划分信息可以包括块划分方式或块划分深度,或者是其他用于进行块划分的相关信息,比如划分顺序、划分交底、划分后的块的形状等。编解码参数可以是码率、QP(Quantization Parameter,量化参数),或其他用于块编码和/或解码的参数。像素可以是邻居块的像素、可以是非邻居块的像素、可以是选定块的像素。
可选地,可以设置一个创建/更新快划分信息列表模块,将邻居块的划分信息、非邻居块的划分信息、默认划分信息、选定块的划分信息、像素和编解码参数中的至少一项输入至创建/更新快划分信息列表模块,输出得到已创建好或已更新好的候选划分信息列表。可选地,可以依据创建/更新块划分信息列表模块确定至少一种划分信息,根据至少一种划分信息确定或得到候选划分信息列表。
可选地,可以选择上述输出得到的候选划分信息列表的第一个元素,或选择部分或全部的划分信息作为确定或得到的划分信息的预测。
可选地,还可以设置一个块划分信息预测模块,将邻居块的划分信息、非邻居块的划分信息、默认划分信息、选定块的划分信息、像素和编解码参数中的至少一项输入至块划分信息预测模块,输出得到划分信息的预测。可选地,可以依据创建/更新块划分信息列表模块确定至少一种划分信息,根据至少一种划分信息确定或得到划分信息的预测。
可选地,可以在输出得到的每个划分信息对应的划分信息的预测中选择部分或全部作为确定或得到的划分信息的预测。
可选地,创建/更新快划分信息列表模块中可以设置神经网络、模式匹配规则、数学模式、查询表中的至少一项。
可选地,在更新候选划分信息列表时,可以先获取已构建好的模式列表,然后可以通过邻居块的划分信息、非邻居块的划分信息、默认划分信息、选定块的划分信息、像素和编解码参数中的至少一项对模式列表进行更新,得到更新后的候选划分信息列表。
可选地,还可以根据目标块的划分信息,确定或得到候选划分信息列表和/或划分信息的预测。
可选地,目标块可以是当前块所在帧的邻居帧中的块。邻居帧可以是帧内编码帧也可以是帧内帧间混合编码帧。如当前块所在帧是P帧(单向预测帧)或B帧(双向预测帧),设GOP(Group of picture,图像组)序号为n,该邻居帧GOP序号可以为n-1,n-2,...,n+1,n+2等,且可以为I帧(关键帧、帧内编码帧)、P帧或B帧。
可选地,目标块可以是当前块的同位块在参考帧或并置帧中的块。
可选地,若当前块在并置帧中的同位块有偏移时,可以根据相应的运动矢量,得出偏移后的同位块,并将偏移后的同位块作为目标块。
可选地,只需要确定邻居块的划分信息、非邻居块的划分信息和默认划分信息中的至少一项,就可以确定或得到候选划分信息列表和/或划分信息的预测,从而可以实现快速创建候选划分信息列表和/或划分信息的预测,进而快速对块进行划分,降低块划分的信令开销,进而提高编解码效率。
可选地,在上述方式一的场景下,存在一场景,如方式二,根据邻居块的划分信息、像素和编解码参数,确定或得到候选划分信息列表和/或划分信息的预测;
例如,可以根据邻居块的块划分方式、像素和编解码参数确定可能用于进行当前块划分的至少一种划分信息,还可以依据邻居块的块划分深度、像素和编解码参数确定当前块进行划分的至少一种划分信息。
可选地,可以依据像素和编解码参数在邻居块的划分信息中进行筛选,以确定至少一种划分信息。
可选地,可以设置一个用于确定或得到候选划分信息列表和/或划分信息的预测的模块,将邻居块的块划分方式、像素和编解码参数输入到该模块中,输出得到至少一种划分信息。
可选地,可以依据此至少一种划分信息构建或更新候选划分信息列表。或者,根据邻居块的块划分方式、像素和编解码参数确定用于预测当前块的划分信息的预测值,基于此预测值确定划分信息的预测,比如将此预测值作为划分信息的预测,或者是对此预测值进行变形(如差值计算、绝对值计算、加减偏移、对数计算等),得到划分信息的预测。
可选地,可以在候选划分信息列表中选择部分或全部作为确定或得到用于预测当前块的划分信息的预测值。
可选地,可以依据邻居块的块划分信息、像素和编解码参数确定各个块划分信息可能被命中的概率,并依据概率最大的块划分信息确定用于预测当前块的划分信息的预测值。
可选地,通过依据邻居块的划分信息、像素和编解码参数来确定或得到候选划分信息列表和/或划分信息的预测,进而实现了综合考虑邻居块来确定候选划分信息列表和/或划分信息的预测,而不是随机选择划分信息,便于后续进行当前块划分时,提高划分信息的命中率,进而降低块划分的信令开销,进而提高视频编解码的效率。
可选地,在上述方式一的场景下,存在一场景,如方式三,根据非邻居块的划分信息、像素和编解码参数,确定或得到候选划分信息列表和/或划分信息的预测;
例如,可以根据非邻居块的块划分方式、像素和编解码参数确定可能用于进行当前块划分的至少一种划分信息,还可以依据非邻居块的块划分深度、像素和编解码参数确定当前块进行划分的至少一种划分信息。
可选地,可以依据像素和编解码参数在非邻居块的划分信息中进行筛选,以确定至少一种划分信息。
可选地,可以设置一个用于确定或得到候选划分信息列表和/或划分信息的预测的模块,将非邻居块的块划分方式、像素和编解码参数输入到该模块中,输出得到至少一种划分信息。
可选地,可以依据此至少一种划分信息构建或更新候选划分信息列表。或者,根据非邻居块的块划分方式、像素和编解码参数确定用于预测当前块的划分信息的预测值,基于此预测值确定划分信息的预测,比如将此预测值作为划分信息的预测,或者是对此预测值进行变形(如差值计算、绝对值计算、加减偏移、对数计算等),得到划分信息的预测。
可选地,可以在候选划分信息列表中选择部分或全部作为确定或得到用于预测当前块的划分信息的预测值。
可选地,可以依据非邻居块的块划分信息、像素和编解码参数确定各个块划分信息可能被命中的概率,并依据概率最大的块划分信息确定用于预测当前块的划分信息的预测。
可选地,邻居块包括邻接块和非邻接块。非邻居块包括非邻接块。邻接块可以是与待进行块划分的块相邻的块,如左侧的块等。非邻接块可以是与待进行块划分的块不相邻的块。可选地,根据非邻接块的划分信息、像素和编解码参数,确定或得到候选划分信息列表和/或划分信息的预测。可选地,根据邻接块的划分信息、像素和编解码参数,确定或得到候选划分信息列表和/或划分信息的预测。
可选地,通过依据非邻居块的划分信息、像素和编解码参数来确定或得到候选划分信息列表和/或划分信息的预测,进而实现了综合考虑非邻居块来确定候选划分信息列表和/或划分信息的预测,而不是随机选择划分信息,便于后续进行当前块划分时,提高划分信息的命中率,进而降低块划分的信令开销,进而提高视频编解码的效率。
可选地,在上述方式一的场景下,存在一场景,如方式四,根据选定块的划分信息、像素和编解码参数,确定或得到候选划分信息列表和/或划分信息的预测;
例如,可以根据选定块的块划分方式、像素和编解码参数确定可能用于进行当前块划分的至少一种划分信息,还可以依据选定块的块划分深度、像素和编解码参数确定当前块进行划分的至少一种划分信息。
可选地,可以依据像素和编解码参数在选定块的划分信息中进行筛选,以确定至少一种划分信息。
可选地,可以设置一个用于确定或得到候选划分信息列表和/或划分信息的预测的模块,将选定块的块划分方式、像素和编解码参数输入到该模块中,输出得到至少一种划分信息。
可选地,可以依据此至少一种划分信息构建或更新候选划分信息列表。或者,根据选定块的块划分方式、像素和编解码参数确定用于预测当前块的划分信息的预测值,基于此预测值确定划分信息的预测,比如将此预测值作为划分信息的预测,或者是对此预测值进行变形(如差值计算、绝对值计算、加减偏移、对数计算等),得到划分信息的预测。
可选地,可以在候选划分信息列表中选择部分或全部作为确定或得到用于预测当前块的划分信息的预测值。
可选地,可以依据选定块的块划分信息、像素和编解码参数确定各个块划分信息可能被命中的概率,并依据概率最大的块划分信息确定用于预测当前块的划分信息的预测值。
可选地,通过依据选定块的划分信息、像素和编解码参数来确定或得到候选划分信息列表和/或划分信息的预测,进而实现了综合考虑选定块来确定候选划分信息列表和/或划分信息的预测,而不是随机选择划分信息,便于后续进行当前块划分时,提高划分信息的命中率,进而降低块划分的信令开销,进而提高视频编解码的效率。
方式五,根据块的划分信息的频次确定至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测;
可选地,在编码侧,块可以是已编码的块(以下简称已编码块),块的划分信息的频次可以是已编码块的划分信息的频次。在解码侧,块可以是已解码的块(以下简称已解码块),块的划分信息的频次可以是已解码块的划分信息的频次。块可以是一帧图像,也可以是对一帧图像进行划分后得到的图像块。
可选地,块的划分信息的频次可以是与当前块距离比较相近的块的划分信息的频次。
可选地,划分信息的频次可以是划分信息在块中被应用的次数。
可选地,可以确定至少一个块的划分信息,并确定至少一个块的划分信息的频次,依据频次的大小进行选择,比如选择频次高的划分信息构建或更新候选划分信息列表,比如创建一个空表格,将频次高的划分信息映射至该空表格中,得到候选划分信息列表,或者确定频次高的划分信息对应的预测值,并将其作为划分信息的预测。
可选地,在编码侧,根据已编码块的划分信息的频次确定至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测。
可选地,在解码侧,根据已解码块的划分信息的频次确定至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测。
可选地,通过依据已块的划分信息的频次确定至少一种划分信息,根据至少一种划分信息确定或得到候选划分信息列表和/或划分信息的预测,进而实现了综合考虑块的划分信息的频次来确定候选划分信息列表和/或划分信息的预测,而不是随机选择划分信息,便于后续进行当前块划分时,提高划分信息的命中率,进而降低块划分的信令开销,进而提高视频编解码的效率。
方式六,根据块的划分信息、像素和编解码参数确定至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测;
可选地,块可以是邻居块、非邻居块、选定块、同位块、相同帧内的块、不同帧的块和基于预设规则确定的块中的至少一种。可选地,在某些特殊场景下,块也可以是当前块。块的划分信息可以包括块划分方式或块划分深度,或者是其他用于进行块划分的相关信息,比如划分顺序、划分交底、划分后的块的形状等。编解码参数包括编码参数和/或解码参数,且可以是码率、QP,或其他用于块编码和/或解码的参数。像素可以是已解码块的像素,还可以是非邻居块的像素。
例如,可以根据块的块划分方式、像素和编解码参数确定可能用于进行当前块划分的至少一种划分信息,还可以依据块的块划分深度、像素和编解码参数确定当前块进行划分的至少一种划分信息。
可选地,可以依据像素和编解码参数在块的划分信息中进行筛选,以确定至少一种划分信息。
可选地,可以设置一个用于确定或得到候选划分信息列表和/或划分信息的预测的模块,将块的块划分方式、像素和编解码参数输入到该模块中,输出得到至少一种划分信息。
可选地,可以依据此至少一种划分信息构建或更新候选划分信息列表。或者,根据块的块划分方式、像素和编解码参数确定用于预测当前块的划分信息的预测值,基于此预测值确定划分信息的预测,比如将此预测值作为划分信息的预测,或者是对此预测值进行变形(如差值计算、绝对值计算、加减偏移、对数计算等),得到划分信息的预测。
可选地,块可以是已编码块和/或已解码块。在编码侧,根据已编码块的划分信息、像素和编解码参数确定至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测。在解码侧,根据已解码块的划分信息、像素和编解码参数确定至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测,具体实现过程可以参照上述记载过程。
可选地,通过依据块的划分信息、像素和编解码参数确定至少一种划分信息,根据至少一种划分信息确定或得到候选划分信息列表和/或划分信息的预测,进而实现了综合考虑块的划分信息来确定候选划分信息列表和/或划分信息的预测,而不是随机选择划分信息,便于后续进行当前块划分时,提高划分信息的命中率,进而降低块划分的信令开销,进而提高视频编解码的效率。
方式七,根据块的划分信息、像素和编解码参数进行计算或排序,确定计算或排序后的至少一种划分信息,根据至少一种划分信息确定或得到候选划分信息列表和/或划分信息的预测;
可选地,可以是根据像素和编解码参数计算块的划分信息中至少一种划分信息的代价或者成本或者指标。
可选地,后续以代价进行举例说明。例如,依据计算规则计算块的划分信息中每一种划分信息的代价。计算规则可以是用户提前设置的任意计算规则,在此不做限制。
可选地,对块的划分信息中确定至少一种划分信息的代价,根据代价对块的划分信息中的至少一种划分信息进行筛选,比如选择代价较小的划分信息,或者选择小于预设代价阈值的代价对应的划分信息等。根据筛选的划分信息确定或得到候选划分信息列表和/或划分信息的预测。
可选地,对筛选的所有划分信息进行排序得到一个列表,并将其作为候选划分信息列表,或者是在筛选的所有划分信息中选择一部分划分信息添加至空白列表中,以此确定或得到候选划分信息列表和/或划分信息的预测。
可选地,还可以是对筛选的所有划分信息进行划分信息的预测计算,得到块的划分信息中至少一种划分信息的预测。
可选地,对于根据块的划分信息、像素和编解码参数进行排序,确定或得到候选划分信息列表和/或划分信息的预测。可以是根据块的像素和编解码参数确定已解码块的划分信息,对块的划分信息中的至少一种划分信息,按照预设序列顺序进行排序。
可选地,预设序列顺序可以是用户提前设置的顺序,还可以是根据使用划分信息的次数来进行确定,比如使用次数多的划分信息排在使用次数少的划分信息的前面等。
可选地,可以依据预设规则对块的像素、编解码参数和块的划分信息进行计算确定。
可选地,预设规则可以是神经网络、模式匹配、数学模型和查询表等。
可选地,块可以是已编码块和/或已解码块。在编码侧,根据已编码块的划分信息、像素和编解码参数(如编码参数)进行计算或排序,确定或得到候选划分信息列表和/或划分信息的预测。在解码侧,可以根据已解码块的划分信息、像素和编解码参数(如解码参数)进行计算或排序,确定或得到候选划分信息列表和/或划分信息的预测。具体实现过程可以参照上述实现过程。
可选地,通过依据块的划分信息、像素和编解码参数进行计算或排序,确定或得到候选划分信息列表和/或划分信息的预测,进而实现了候选划分信息列表中的划分信息和/或划分信息的预测对应的划分信息,不是随机选择设置的,而是基于预定规则进行的,进而便于后续进行当前块划分时,提高划分信息的命中率,进而降低块划分的信令开销,进而提高视频编解码的效率。
方式八,根据像素和编解码参数计算每种划分信息对应的SAD值,依据所述SAD值确定至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测;
可选地,像素可以是块的像素。块可以是解码块,也可以是编码块。SAD可以是将每个像素对应数值之差的绝对值求和,基于此评判两个图像块之间的相似度。因此在计算每种划分信息对应的SAD值时,可以是依据像素和编解码参数计算采用该划分信息的邻居块或非邻居块进行预测前和预测后之间的像素值对比,确定该划分信息对应的SAD值。
可选地,在计算当前块采用各种划分信息的SAD时,可以使用SAD=Sum|Org-Pred|进行计算,Pred为预测块,Org为原始块,Sum||为求所有数值的绝对值的和,如先确定原始块和预测块中同一位置像素值差值的绝对值,然后再计算原始块和预测块所有位置对应的绝对值的和。
可选地,在解码侧,用当前块的左侧块和/或上侧邻居像素块在该划分信息下的SAD值去近似计算,以得到SAD值。
可选地,在计算得到每种划分信息对应的SAD值后,可以依据SAD值进行划分信息选择,以确定至少一种划分信息,比如选择小于预设SAD阈值的SAD值对应的至少一种划分信息,将其添加至预设的列表中,得到候选划分信息列表。
可选地,还可以是在SAD值对应的划分信息中依据预设的规则(比如SAD值小于一定值,或随机选择一定数量的SAD值对应的划分信息等)进行筛选。然后对筛选的SAD值对应的至少一种划分信息进行划分信息的预测计算,得到划分信息的预测。
可选地,基于SAD排序的候选划分信息列表生成可以按照如图8中所记载的流程进行。图8仅以候选划分信息列表为候选划分方式列表进行举例说明。其他类型的候选划分信息列表均可以基于此流程进行生成,比如候选划分深度列表等。
可选地,在图8中,横线n=3,竖线m=3,有6条划分线,划分方式编码可采用6比特方式,最多可以有64种划分方式。
可选地,如图8所示,从已编解码块获取其划分方式,邻居块的划分方式有3种:101000,010010,111000。其他块 (例如非邻居块或同位图像中的块)划分方式有5种:010000,000000,000010,101000,111111。
可选地,可以设置000000为默认划分方式。可以针对当前块,如图8所示,可以获取到7种候选划分方式。
可选地,对于这7种候选划分方式,计算SAD(Sum of Absolute Differences)代价。
可选地,由于解码端的当前块u是不存在的,因此有如下可选实现方式:
1、此处当前块u的SAD的计算可以由当前块u的某邻居块的SAD计算代替。
2、对任意块,在计算SAD时,用该块的左方和上方像素组成的L形状模板替代。得到如图8所示的针对7种划分方式的7个SAD值。即:(000000)=23043,(010000)=132454,(101000)=13232,(000010)=433433,(010010)=54545,(111000)=75973,(111111)=102366。针对上述所得7个SAD值按照从小到大进行排序,取前5个划分方式,得到候选划分方式列表为[101000,000000,010010,111000,111111] ,并输出上述候选划分方式列表,包括:101000,000000,010010,111000,111111。
可选地,通过依据每种划分信息对应的SAD值,确定或得到至少一种划分信息,根据至少一种划分信息确定候选划分信息列表和/或划分信息的预测,进而实现了提高确定的候选划分信息列表和/或划分信息的预测的有效性,而不是随机选择划分信息,便于后续进行当前块划分时,提高划分信息的命中率,进而降低块划分的信令开销,进而提高视频编解码的效率。
方式九,根据邻居块的第一分量划分信息和/或非邻居块的第一分量划分信息,确定或得到当前块的第二分量的候选划分信息列表和/或划分信息的预测。
可选地,第一分量可以与第二分量相同,也可以与第二分量不同。
可选地,第一分量可以是YUV分量中的任一种,第二分量可以是YUV分量中的任一种。
可选地,第一分量可以是RGB分量中的任一种,第二分量可以是RGB分量中的任一种。
可选地,第一分量划分信息可以是第一分量下对块进行划分的划分信息(如划分深度、划分方式、尺寸等)。
可选地,在第一分量和第二分量相同时,确定或得到的候选划分信息列表可以是同分量候选划分信息列表。在第一分量和第二分量不同时,确定或得到的候选划分信息列表可以是跨分量候选划分信息列表。同理划分信息的预测也可以包括两类,即同分量的划分信息的预测和跨分量的划分信息的预测。
可选地,将邻居块和/或非邻居块的第一分量划分信息添加至预设的候选划分信息列表中,以确定或得到具有第一分量划分信息的候选划分信息列表,并将其作为当前块的第二分量的候选划分信息列表。
可选地,将邻居块和/或非邻居块的第二分量划分信息添加至预设的候选划分信息列表中,以确定或得到具有第二分量划分信息的候选划分信息列表,并将其作为当前块的第二分量的候选划分信息列表。
可选地,将邻居块的第一分量划分信息和非邻居块的第二分量划分信息添加至预设的候选划分信息列表,以此确定当前块的第二分量的候选划分信息列表。
可选地,将邻居块的第二分量划分信息和非邻居块的第一分量划分信息添加至预设的候选划分信息列表,以此确定当前块的第二分量的候选划分信息列表。
可选地,可以计算邻居块的第一分量划分信息对应的SAD值和/或概率值(也就是被命中的概率),和/或非邻居块的第一分量划分信息对应的SAD值和/或概率值(也就是被命中的概率),和/或邻居块的第二分量划分信息对应的SAD值和/或概率值(也就是被命中的概率),和/或非邻居块的第二分量划分信息对应的SAD值和/或概率值(也就是被命中的概率),并可以依据确定得到的SAD值和/或概率值对各个划分信息(如第一分量划分信息、第二分量划分信息等)进行排序,依据排序结果确定当前块的第二分量的划分信息的预测。例如,依据排序结果确定概率值最大的划分信息,并依据概率值最大的划分信息确定当前块的第二分量的划分信息的预测。
可选地,按照预定规则在排序后的划分信息中选择部分或全部作为当前块的第二分量的划分信息的预测。可选地,预定规则可以是用户提前设置的,比如随机选择,或者选择SAD值最小的元素等。
可选地,可以选择排序后的划分信息中SAD值最小或概率最大的元素作为预测值,并进行变形,或者是在排序后的划分信息中选择的部分或全部预测值进行变形,并将变形后的预测值作为当前块的第二分量的划分信息的预测。变形的规则可以是差值计算、绝对值计算、加减偏移、对数计算(编码端的逆算法)、位运算等。
可选地,可以依据添加至少一种邻居块的第一分量划分信息和/或非邻居块的第一分量划分信息的划分信息列表,确定或得到当前块的第二分量的候选划分信息列表和/或划分信息的预测。对确定的至少一种邻居块的第一分量划分信息和/或非邻居块的第一分量划分信息进行排序,以确定或得到候选划分信息列表和/或划分信息的预测。可选地,根据至少一种邻居块的第一分量划分信息和/或非邻居块的第一分量划分信息的代价,确定或得到当前块的第二分量的候选划分信息列表和/或划分信息的预测。
可选地,将至少一种邻居块的第一分量划分信息和/或非邻居块的第一分量划分信息、像素和编解码参数中的至少一项输入至神经网络,得到输出结果,根据输出结果确定或得到当前块的第二分量的候选划分信息列表和/或划分信息的预测。
可选地,将至少一种邻居块的第一分量划分信息和/或非邻居块的第一分量划分信息、像素和编解码参数中的至少一项输入至查询表,得到查询结果,依据查询结果确定或得到当前块的第二分量的候选划分信息列表和/或划分信息的预测。
可选地,根据至少一种邻居块的第一分量划分信息和/或非邻居块的第一分量划分信息进行匹配,依据匹配结果确定或得到当前块的第二分量的候选划分信息列表和/或划分信息的预测。
可选地,将至少一种邻居块的第一分量划分信息和/或非邻居块的第一分量划分信息、像素和编解码参数中的至少一项输入至数学模型,根据数学模型的输出结果确定或得到当前块的第二分量的候选划分信息列表和/或划分信息的预测。
可选地,根据邻居块的第一分量划分信息和/或非邻居块的第一分量划分信息,确定或得到当前块的候选划分信息列表和/或划分信息的预测,进而实现了在进行划分信息确定前,进行跨分量的划分信息的收集,提高了确定的候选划分信息列表和/或划分信息的预测的有效性,便于后续进行当前块划分时,提高划分信息的命中率,进而降低块划分的信令开销,进而提高视频编解码的效率。
可选地,对于步骤S20,依据所述候选划分信息列表和/或划分信息的预测对当前块进行划分。
可选地,在确定或得到候选划分信息列表后,可以对候选划分信息列表中的所有划分信息进行筛选处理,以确定目标划分信息,再根据目标划分信息对当前块进行划分。
可选地,目标划分信息的数量可以是一个或多个,可以依据至少一个目标划分信息对当前块进行至少一次划分。
可选地,在确定或得到划分信息的预测后,确定划分信息的预测对应的划分信息(比如划分深度、划分方式等),再依据划分信息的预测对应的划分信息对当前块进行划分。
可选地,划分信息的预测对应的划分信息可以是多个也可以是一个。可以依据划分信息的预测对应的划分信息对当前块进行至少一次划分。
可选地,可以确定候选划分信息列表中命中的划分信息,即目标划分信息,并确定划分信息的预测对应的划分信息。依据目标划分信息和划分信息的预测对应的划分信息对当前块进行划分。
可选地,对当前块进行划分后的块可以是长方形块,也可以是非长方形块。
可选地,本实施例中的步骤S10-S20即可以在编码侧进行,也可以在解码侧进行。
可选地,在编码端(即编码侧),例如,如图9所示,若确定当前块为后,可以通过块选择模块得到由/>的邻居块和根据预设规则选定的块组成的块集合B。可选地,邻居块可以包括当前块的左上方、左方、左下方、右上方和上方的块(这些块均在当前块前已完成编解码)。
可选地,根据预设规则选定的块可以包括但不限于:空域内已完成编解码的非邻居块、时域上的块、同位图像中的同位块等。时域上的块可以是来源于不同于当前帧或时间的帧,如当前块在参考帧或并置帧中的同位块、邻居块及非邻居块。时域上的块可以来源于当前块所在帧的邻居帧,该邻居帧可以是帧内编码帧,也可以是帧间编码帧,还可以是帧内帧间混合编码帧,如当前块所在帧是P帧(单向预测帧)或B帧(双向预测帧),设GOP(Groupof picture,图像组)序号为n,该邻居帧GOP序号可以为n-1,n-2,...,n+1,n+2等,且可以为I帧(关键帧、帧内编码帧)、P帧或B帧。例如,若当前块在并置帧中的同位块有偏移时,可以根据相应的运动矢量得出偏移后的目标块(即偏移后的同位块),并将该目标块作为时域上的块。
可选地,如图9所示,对于确定的块集合B,可以获得这些块的划分信息,如划分方式、划分深度、像素、编解码参数(如量化参数QP)等。然后,“创建/更新划分信息列表”模块根据所有已知的信息(如第一级列表、第二级列表、划分信息(方式/深度)、像素、编码参数),利用如神经网络、模式匹配、数学模型、查询表等预设计算规则,创建更新列表,得到新第一级列表L1和新第二级列表L2。
可选地,新第一级列表L1和新第二级列表L2可以是候选划分信息列表。
可选地,编码侧和解码侧可以采用相同的方式进行创建或更新候选划分信息列表。
可选地,在使用候选划分信息列表时,可以依据新第一级列表L1、新第二级列表L2以及来自于其他模块的划分信息(/>)输入进检索模块,进而得到一级索引和二级索引。最后,熵编码对一级索引和二级索引进行熵编码,生成比特流b。
可选地,在解码端(即解码侧),如图10所示,从码流中获取第一级列表标志位,并判定是否采用第一级列表。若判定为采用第一级列表(是),则生成第一级列表,并由码流中获取一级索引,根据第一级列表和一级索引,得到当前块的划分信息,并返回当前块的划分信息。
可选地,若判定为不采用第一级列表(否),则从码流中获取第二级列表标志位,并判定是否采用第二级列表。若判定为采用第二级列表(是),则生成第二级列表,并由码流中获取二级索引,根据生成的第二级列表和二级索引,得到当前块的划分信息,并返回当前块的划分信息。和/或,若判定为不采用第二级列表(否),则从码流中获取非列表索引,根据非列表信息集合S-L1-L2和非列表索引,得到当前块的划分信息,返回当前块的划分信息。
可选地,非列表划分信息集合包含除第一级列表和第二级列表外的其他所有划分信息。
可选地,在编码端(即编码侧),例如,如图11所示,若确定当前块为后,可以通过块选择模块得到由/>的邻居块和根据预设规则选定的块组成的块集合B。可选地,邻居块可以包括当前块的左上方、左方、左下方、右上方和上方的块(这些块均在当前块前已完成编解码)。
可选地,根据预设规则选定的块可以包括但不限于:空域内已完成编解码的非邻居块、时域上的块、同位图像中的同位块等。时域上的块可以是来源于不同于当前帧或时间的帧,如当前块在参考帧或并置帧中的同位块、邻居块及非邻居块。时域上的块可以来源于当前块所在帧的邻居帧,该邻居帧可以是帧内编码帧,也可以是帧间编码帧,还可以是帧内帧间混合编码帧,如当前块所在帧是P帧(单向预测帧)或B帧(双向预测帧),设GOP(Groupof picture,图像组)序号为n,该邻居帧GOP序号可以为n-1,n-2,...,n+1,n+2等,且可以为I帧(关键帧、帧内编码帧)、P帧或B帧。例如,若当前块在并置帧中的同位块有偏移时,可以根据相应的运动矢量得出偏移后的目标块(即偏移后的同位块),并将该目标块作为时域上的块。
可选地,如图11所示,对于确定的块集合B,可以获得这些块的划分信息,如划分方式、划分深度、像素、编解码参数(如量化参数QP)等。然后,“预测块划分信息”模块根据所有已知的信息(如划分信息(方式/深度)、像素、编码参数(如量化参数QP)等),利用如神经网络、模式匹配、数学模型、查询表等预设计算规则,得到块划分信息(预测值),至此预测过程完成。可选地,编码侧和解码侧可以采用相同的方式进行。
可选地,块划分信息(预测值)、以及来自于其他模块的划分信息/>(/>)输入进“预处理”模块。预处理模块采用如差值计算、绝对值计算、加减偏移、对数计算、位运算等方式,进而得到“待编码划分信息”。可选地,若采用差值计算,待编码划分信息可以为。最后,熵编码对“待编码划分信息”进行熵编码,生成比特流b。
可选地,在解码端(即解码侧),如图12所示,若确定当前块为后,可以通过块选择模块得到由/>的邻居块和根据预设规则选定的块组成的块集合B。
可选地,邻居块可以包括当前块的左上方、左方、左下方、右上方和上方的块(这些块均在当前块前已完成编解码)。
可选地,根据预设规则选定的块可以包括但不限于:空域内已完成编解码的非邻居块、时域上的块、同位图像中的同位块等。时域上的块可以是来源于不同于当前帧或时间的帧,如当前块在参考帧或并置帧中的同位块、邻居块及非邻居块。时域上的块可以来源于当前块所在帧的邻居帧,该邻居帧可以是帧内编码帧,也可以是帧间编码帧,还可以是帧内帧间混合编码帧,如当前块所在帧是P帧(单向预测帧)或B帧(双向预测帧),设GOP(Groupof picture,图像组)序号为n,该邻居帧GOP序号可以为n-1,n-2,...,n+1,n+2等,且可以为I帧(关键帧、帧内编码帧)、P帧或B帧。例如,若当前块在并置帧中的同位块有偏移时,可以根据相应的运动矢量得出偏移后的目标块(即偏移后的同位块),并将该目标块作为时域上的块。
可选地,如图12所示,对于确定的块集合B,可以获得这些块的划分信息,如划分方式、划分深度、像素、编解码参数(如量化参数QP)等。然后,“预测块划分信息”模块根据所有已知的信息(如划分信息(方式/深度)、像素、编码参数(如量化参数QP)等),利用如神经网络、模式匹配、数学模型、查询表等预设计算规则,得到块划分信息(预测值),至此预测过程完成。
可选地,如图12所示,块划分信息解码过程中,熵解码器对比特流b解析,得到“待恢复划分信息”。后处理模块根据输入的块划分信息(预测值)和待恢复划分信息,并采用如差值计算、绝对值计算、加减偏移、对数计算(编码端的逆算法)、位运算等,得到划分信息,将其输出到其他模块。
可选地,若采用差值计算,划分信息可以为待恢复划分信息+/>。
可选地,图9-图12中的可以是当前编解码单元/块,对应H.266/VVC中的CU。B可以是块集合,由当前编解码块的邻居块和根据预设规则选定的块组成。S可以是所有的允许的/可能的块划分信息集合,即给定一个编解码单元/>,其所有可能的被划分的方式。/>B,编解码端最终采用的/>的划分信息,为划分方式/划分深度。
可选地,可以是由编解码器根据特定选择算法,从所有可能的划分方式和/或划分深度中确定。
可选地,,/>,编解码端预测的/>的划分信息,为划分方式/划分深度。L可以是候选划分信息列表,即给定一个编码单元/>,生成的最有可能的划分信息组成的列表。L的长度或元素数量可以为定长或变长。如定长值为5,6。b可以是生成的编码码流。
在本实施例中,通过依据划分信息确定候选划分信息列表和/或划分信息的预测,依据所述候选划分信息列表和/或划分信息的预测对当前块进行划分。通过上述技术方案,可以实现避免在进行划分处理时,需要对所有的划分方式都采用单独的划分信令表示,导致信令开销大的现象发生,通过先依据划分信息确定或得到候选划分信息列表和/或划分信息的预测,以便将当前块可能用到的划分信息合理规划到候选划分信息列表,或确定当前块可能用到的划分信息对应的划分信息的预测,进而在依据候选划分信息列表和/或划分信息的预测对当前块进行划分时,提高划分信息的命中率,降低划分信息的信令表示,进而降低了块划分的信令开销,进而降低了对当前块划分的划分成本,提高了视频编解码的效率。
第二实施例
基于上述第一实施例,提出第二实施例。
在本实施例中,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测,包括以下至少一项:
方式十,依据添加至少一种划分信息的划分信息列表,确定或得到候选划分信息列表和/或划分信息的预测;
可选地,将至少一种划分信息添加至划分信息列表,根据添加有至少一种划分信息的划分信息列表,确定或得到候选划分信息列表和/或划分信息的预测。
可选地,可以将具有至少一种划分信息的划分信息列表作为候选划分信息列表,可以确定划分信息列表中的至少一种划分信息对应的预测值,并将其作为划分信息的预测。
可选地,可以创建一个空表格作为划分信息列表,或者创建一个具有部分划分信息的列表作为划分信息列表。
可选地,划分信息列表可以是列表、表格、数组等,还可以是一种预设格式的数据,在此不做限制。
可选地,若需要构建至少一个等级的候选划分信息列表,可以构建至少一种划分信息列表,并对每个划分信息列表,添加至少一种划分信息,以得到候选划分信息列表。
可选地,可以至少一个等级的候选划分信息列表中选择部分或全部划分信息,并确定计算对应的预测值,将其作为划分信息的预测。
可选地,可以对候选划分信息列表进行更新,比如将至少一种划分信息添加至候选划分信息列表中,以对候选划分信息列表进行更新。
可选地,在对候选划分信息列表进行更新时,可以将至少一种划分信息***到候选划分信息列表中的特定位置,可以对候选划分信息列表中已有的划分信息进行替换、删除以及修改等操作。
可选地,通过依据添加至少一种划分信息的划分信息列表,确定或得到候选划分信息列表和/或划分信息的预测,进而保障了确定的候选划分信息列表和/或划分信息的预测的有效性。
方式十一,对确定的至少一种划分信息进行排序,依据排序后的至少一种划分信息确定或得到候选划分信息列表和/或划分信息的预测;
可选地,对于确定的至少一种划分信息进行排序,根据排序后的至少一种划分信息确定或得到候选划分信息和/或划分信息的预测。
可选地,可以按照预设序列顺序对确定的至少一种划分信息进行排序,得到各个划分信息对应的划分序列。
可选地,可以将划分序列添加至列表中,得到候选划分信息列表。
可选地,可以在划分序列中选择部分或全部添加至列表中,得到候选划分信息列表。
可选地,可以在确定的划分序列中选择部分或全部划分序列,计算部分或全部划分序列对应的预测值,并将其作为划分信息的预测。
可选地,预设序列顺序可以是用户提前设置的顺序。可以是根据使用邻居块或非邻居块使用划分信息的次数的大小进行确定(比如使用次数越高,顺序越靠前等)。还可以是依据预设规则进行设置的,比如随机选择等。
可选地,对于确定的至少一种划分信息进行排序,并根据排序结果选择部分或全部划分信息进行预测值计算,得到至少一种划分信息的预测值,并将其作为划分信息的预测。
可选地,通过依据排序后的至少一种划分信息确定或得到候选划分信息列表和/或划分信息的预测,进而可以实现后续依据候选划分信息列表和/或划分信息的预测确定当前块的划分信息时,提高确定的划分信息的命中率。
方式十二,根据至少一种划分信息的代价,确定或得到候选划分信息列表和/或划分信息的预测;
可选地,可以根据计算规则计算至少一种划分信息的代价,代价可以包括成本或指标等参数。
可选地,计算规则可以是用户提前设置的任意计算规则,在此不做限制。
可选地,可以在确定至少一种划分信息的代价后,根据代价对至少一种划分信息进行筛选,比如选择代价较小的划分信息,或者选择小于预设代价阈值的代价对应的划分信息等。根据筛选的划分信息确定或得到候选划分信息列表和/或划分信息的预测。比如,对筛选的划分信息计算相应的预测值,并将其作为划分信息的预测。比如将筛选的划分信息添加至预设的列表中,以确定或得到候选划分信息列表。
可选地,通过根据至少一种划分信息的代价确定或得到候选划分信息列表和/或划分信息的预测,进而可以保障候选划分信息列表和/或划分信息的预测的有效性。
方式十三,将至少一种划分信息、像素和编解码参数中的至少一项输入至神经网络,得到输出结果,根据输出结果确定或得到候选划分信息列表和/或划分信息的预测;
可选地,至少一种划分信息可以是如上述第一实施例中经过处理后的划分信息,也可以是原始的划分信息,比如邻居块的划分信息、非邻居块的划分信息、默认划分信息、选定块的划分信息等。可选地,例如若邻居块的划分信息为10。若根据方式一确定至少一种划分信息为10,则可以直接将10和像素、以及编解码参数输入至神经网络、或查询表、或数学模型,以输出得到候选划分信息列表和/或划分信息的预测。可选地,若根据方式一确定至少一种划分信息为10、以及相近划分信息9和11,可以直接将9、10、11和像素、以及编解码参数输入至神经网络、或查询表、或数学模型,以输出得到候选划分信息列表和/或划分信息的预测。
可选地,在确定至少一种划分信息后,将至少一种划分信息与块的像素、编解码参数(包括编码参数和/或解码参数)中的至少一项输入到神经网络,得到输出结果,依据输出结果确定相应的划分信息,进而构建候选划分信息列表,或者是计算得到对应的划分信息的预测。
可选地,神经网络可以是一种非线性算法或模块,如矩阵加权帧内预测技术(MatrixWeighted Intra Prediction,MIP),且目标神经网络可以包括以下神经网络中的至少一种,如:卷积神经网络(Convolutional Neural Network, CNN),残差网络(Residualneural network,ResNet),长短期记忆人工神经网络(Long Short-Term Memory,LSTM),循环神经网络(Recurrent Neural Network,RNN),三维卷积神经网络(3D-CNN),全连接神经网络(Fully Connected Neural Network,FCNN)等。
可选地,基于神经网络的候选划分信息列表生成可以按照如图13中所记载的流程进行。图13仅以候选划分信息列表为候选划分方式列表进行举例说明。其他类型的候选划分信息列表均可以基于此流程进行生成,比如候选划分深度列表等。
可选地,在图13中,可以从已编解码邻居块获取像素。
可选地,假设共有15种划分方式,划分方式索引编号可以为1-15。
可选地,针对如图13中的当前块u块,一共可以获取到12个块的像素作为神经网络的一种输入。
可选地,综合这12个块的像素,将其保存在规则矩阵中,形成为卷积神经网络可识别的数据形式。
可选地,对于不存在的像素(矩阵元素),即所在块尚未进行编解码,进行Padding操作(如进行补0操作),得到如图13所示的邻居像素矩阵。
可选地,可以将邻居像素矩阵和编码参数(例QP)一起输入进神经网络中。可选地,可以设置该神经网络中的层数为12层,即6的CNN层(卷积核大小为1x1或3x3,输出channels为32或64或128),3个池化层(Pooling),3个全连接层(Full Connected Layers,FC),最终输出为15个未归一化的概率p1-p15(也就是分别代表采用15种候选划分方式的概率)。将此15个概率p1-p15按照从大到小进行排序,取出前5大的概率,得到如图13所示的候选划分方式列表为[101000,000000,010010,111000,111111] ,并输出上述候选划分方式列表,包括:101000,000000,010010,111000,111111。
可选地,在进行基于神经网络的划分深度预测时,如图14所示,从已编解码邻居块(如已编码块的邻居块和/或已解码块的邻居块)获取像素,假设共有7种划分深度(包含不划分方式0),模式索引编号0-7,则针对如图14中的当前块u块,一共获取到12个块的像素作为神经网络的一种输入。
可选地,综合这12个块的像素,将其保存在规则矩阵中,形成为卷积神经网络可识别的数据形式。
可选地,对于不存在的像素(矩阵元素),即所在块尚未进行编解码,进行Padding操作(如进行补0操作),得到如图14所示的邻居像素矩阵。
可选地,可以将邻居像素矩阵和编码参数(例QP)一起输入进神经网络中。可选地,可以设置该神经网络中的层数为12层,即6的CNN层(卷积核大小为1x1或3x3,输出channels为32或64或128),3个池化层(Pooling),3个全连接层(Full Connected Layers,FC),最终输出为7个未归一化的概率d0-d6(也就是分别代表采用7种候选划分深度的概率)。将此7个概率d0-d6按照从大到小进行排序,取出最大的概率对应的深度值,得到如图14所示的划分深度dx(预测值)。
可选地,通过依据神经网络来确定或得到候选划分信息列表和/或划分信息的预测,进而可以保障获取到的候选划分信息列表和/或划分信息的预测的有效性。
方式十四,将至少一种划分信息、像素和编解码参数中的至少一项输入至查询表进行查询,得到查询结果,依据查询结果确定或得到候选划分信息列表和/或划分信息的预测;
可选地,查询表可以是预先存储在***中的表格、列表、数组等。
可选地,可以对至少一种划分信息进行预处理,如进行排序、删除等处理,然后将处理后的划分信息输入到查询表中,将处理后的划分信息与查询表中的各个划分信息进行匹配,得到匹配的划分信息,依据匹配的划分信息确定或得到候选划分信息列表,比如将匹配的划分信息添加至列表中,得到候选划分信息列表。
可选地,可以计算匹配的划分信息对应的预测值,并将其作为划分信息的预测。
可选地,还可以是将至少一种划分信息、像素和编解码参数(包括编码参数和/或解码参数)中的至少一项输入到查询表中,确定查询表中与至少一种划分信息、像素和编解码参数(包括编码参数和/或解码参数)中的至少一项匹配的划分信息,并依据匹配的划分信息确定或得到候选划分信息列表,比如将匹配的划分信息添加至列表中,得到候选划分信息列表。
可选地,可以计算匹配的划分信息对应的预测值,并将其作为划分信息的预测。
可选地,通过依据查询表进行查询的查询结果确定或得到候选划分信息列表和/或划分信息的预测,进而可以保障获取到的候选划分信息列表和/或划分信息的预测的有效性。
方式十五,根据至少一种划分信息进行匹配,依据匹配的至少一种划分信息确定或得到候选划分信息列表和/或划分信息的预测;
可选地,可以确定划分匹配规则,将至少一种划分信息与划分匹配规则进行匹配,以确定匹配的划分信息,并依据匹配的划分信息确定或得到候选划分信息列表,比如将匹配的划分信息添加至列表中,得到候选划分信息列表。
可选地,可以计算匹配的划分信息对应的预测值,并将其作为划分信息的预测。可选地,划分匹配规则可以是用户提前设置的匹配规则。
例如,可以确定每个划分信息对应的序列索引,如1、2、3、4等。若划分匹配规则包括【1,xxx,4】,xxx表示任一种划分信息对应的序列索引。若根据至少一种划分信息确定序列索引为【1,2,3,4】,则可以确定至少一种划分信息与划分匹配规则匹配,进而得到匹配的划分信息,若划分匹配规则包括【*,10,*,40,*】,*表示任一种划分信息对应的序列索引。若至少一种划分信息包括序列索引为【10】的划分信息,则可以确定序列索引为【10】的划分信息为匹配的划分信息。
可选地,通过根据匹配的至少一种划分信息确定或得到候选划分信息列表和/或划分信息的预测,进而可以保障获取到的候选划分信息列表和/或划分信息的预测的有效性。
方式十六,将至少一种划分信息、像素和编解码参数中的至少一项输入至数学模型,根据数学模型的输出结果确定或得到候选划分信息列表和/或划分信息的预测。
可选地,可以先设置好数学模型,将至少一种划分信息、像素和编解码参数中的至少一项输入至提前设置好的数学模型中进行模型训练。
可选地,在数学模型中可以依赖数据、模型参数和变换规则等对每种划分信息计算代价值,并将其作为输出结果, 依据输出结果确定至少一种划分信息的代价值,并按照代价值的大小对各个划分信息进行排序,如代价值的划分信息排序在前面。
可选地,在排序的各个划分信息中选择部分或全部划分信息添加至列表中,以确定或得到候选划分信息列表。
可选地,在排序的各个划分信息中选择部分或全部划分信息计算相应的预测值,并将其作为划分信息的预测。
可选地,排序越靠前的划分信息将使用更少的比特表示,进而提高编码效率或解码效率。
可选地,通过根据数学模型的输出结果确定或得到候选划分信息列表和/或划分信息的预测,进而可以保障获取到的候选划分信息列表和/或划分信息的预测的有效性。
第三实施例
基于任一上述实施例,提出第三实施例。
在本实施例中,处理方法还包括以下至少一项:
所述划分信息包括块划分方式和/或块划分深度;
所述候选划分信息列表包括以下至少一项:
第一级候选划分方式列表;
第二级候选划分方式列表;
第一级候选划分深度列表;
第二级候选划分深度列表。
可选地,划分信息可以包括块划分方式、和/或块划分深度、和/或划分信令。
可选地,划分信息还可以包括可以直接或间接推导出的划分方式、划分深度等。
可选地,划分信息可以包括块的大小/尺寸。
可选地,块划分方式可以是块的划分方式。块划分深度可以是块的划分深度。
可选地,块可以是当前块、邻居块,基于预设规则确定的块等。划分深度可以用于限制划分方式的数量,或用于判断是否终止划分。例如,当划分深度很大时,可以排除掉某些划分方式,以避免过于细致的划分可能会降低性能的现象发生。
可选地,可以先确定划分深度,再根据确定的划分深度优化候选划分方式列表。例如,根据划分深度确定划分方式,再根据划分方式确定候选划分方式列表。
可选地,可以依据划分方式确定划分深度。例如某种划分方式对应一个固定的划分深度。
可选地,候选划分信息列表可以包括候选划分方式列表和/或候选划分深度列表。
可选地,候选划分方式列表可以是多级列表,即存在多个候选划分方式列表,如第一级候选划分方式列表,第二级候选划分方式列表。
可选地,候选划分深度列表可以是多级列表,即存在多个候选划分深度列表,如第一级候选划分深度列表,第二级候选划分深度列表。
可选地,候选划分信息列表可以是跨分量的候选划分信息列表,还可以是同分量的候选划分信息列表。
可选地,第一级候选划分方式列表,第二级候选划分方式列表,第一级候选划分深度列表和/或第二级候选划分深度列表,可以是列表,也可以是表格,也可以是数组,还可以是一种预设格式的数据,在此不做限制。
可选地,第一级候选划分方式列表中的划分方式与第二级候选划分方式列表中的划分方式可以不同。第一级候选划分深度列表中的划分深度与第二级候选划分深度列表中的划分深度可以不同。
可选地,根据至少一种划分信息,确定或得到候选划分信息列表,包括以下至少一项:
方式十七,根据至少一种划分信息,创建或更新第一级候选划分方式列表,依据所述第一级候选划分方式列表,确定或得到第二级候选划分方式列表;
可选地,在划分信息包括划分方式时,可以构建一个列表,将至少一种划分信息添加至列表中,得到候选划分方式列表,并将其作为第一级候选划分方式列表,或者在至少一种划分信息中选择距离最近的至少一种划分方式添加至列表中,得到第一级候选划分方式列表。
可选地,确定第一级候选划分方式列表中包含的划分方式,并将其作为第一划分方式,根据确定的所有划分信息,确定除第一划分方式之外的其他划分方式,并将其作为第二划分方式。在第二划分方式中确定至少一种划分方式,并重新创建一个新列表,将在第二划分方式中确定的至少一种划分方式添加至新列表中,以确定或得到第二级候选划分方式列表。
可选地,若候选划分方式列表不仅包括第一级候选划分方式列表和第二级候选划分方式列表,还包括多个其他等级的候选划分方式列表,如第三级候选划分方式列表、第四级候选划分方式列表。可以采用类似创建第二级候选划分方式列表的方式创建其他等级的候选划分方式列表。
可选地,在确定至少一种划分方式后,确定已创建后的第一级候选划分方式列表,并确定是否需要对第一级候选划分方式列表进行更新,若需要进行更新,则依据确定的至少一种划分方式对第一级候选方式列表进行更新,比如将至少一种划分方式添加至第一级候选划分方式列表中。
可选地,在对第一级候选划分方式列表进行更新后,可以检测是否需要对第二级候选划分方式列表进行更新,若需要进行更新,则可以依据除更新后的第一级候选划分方式列表中的划分方式之外的其他候选划分方式对第二级候选划分方式列表进行更新。
可选地,在划分信息包括划分深度时,可以先确定与划分深度对应的划分方式,再依据划分方式创建或更新第一级候选划分方式列表,依据第一级候选划分方式列表确定或得到第二级候选划分方式列表。
可选地,在划分信息包括划分信令、块的大小/尺寸等信息,可以依据划分信息确定对应的划分方式,再依据划分方式创建或更新第一级候选划分方式列表,依据第一级候选划分方式列表确定或得到第二级候选划分方式列表。
方式十八,根据至少一种划分信息,创建或更新第一级候选划分深度列表,依据所述第一级候选划分深度列表,确定或得到第二级候选划分深度列表;
可选地,在划分信息包括划分深度时,可以构建一个列表,将至少一种划分信息添加至列表中,得到候选划分深度列表,并将其作为第一级候选划分深度列表,或者在至少一种划分信息中选择距离最近的至少一种划分深度添加至列表中,得到第一级候选划分深度列表。
可选地,确定第一级候选划分深度列表中包含的划分深度,并将其作为第一划分深度,根据确定的所有划分信息,确定除第一划分深度之外的其他划分深度,并将其作为第二划分深度。在第二划分深度中确定至少一种划分深度,并重新创建一个新列表,将在第二划分深度中确定的至少一种划分深度添加至新列表中,以确定或得到第二级候选划分深度列表。
可选地,若候选划分深度列表不仅包括第一级候选划分深度列表和第二级候选划分深度列表,还包括多个其他等级的候选划分深度列表,如第三级候选划分深度列表、第四级候选划分深度列表。可以采用类似创建第二级候选划分深度列表的方式创建其他等级的候选划分深度列表。
可选地,在确定至少一种划分深度后,确定已创建后的第一级候选划分深度列表,并确定是否需要对第一级候选划分深度列表进行更新,若需要进行更新,则依据确定的至少一种划分深度对第一级候选方式列表进行更新,比如将至少一种划分深度添加至第一级候选划分深度列表中。
可选地,在对第一级候选划分深度列表进行更新后,可以检测是否需要对第二级候选划分深度列表进行更新,若需要进行更新,则可以依据除更新后的第一级候选划分深度列表中的划分深度之外的其他候选划分深度对第二级候选划分深度列表进行更新。
可选地,在划分信息包括划分方式时,可以先确定与划分方式对应的划分深度,再依据划分深度创建或更新第一级候选划分深度列表,依据第一级候选划分深度列表确定或得到第二级候选划分深度列表。
可选地,在划分信息包括划分信令、块的大小/尺寸等信息,可以依据划分信息确定对应的划分深度,再依据划分深度创建或更新第一级候选划分深度列表,依据第一级候选划分深度列表确定或得到第二级候选划分深度列表。
方式十九,根据至少一种划分信息,创建或更新第一级候选划分方式列表,依据所述第一级候选划分方式列表,确定或得到第一级候选划分深度列表,依据所述第一级候选划分深度列表,确定或得到第二级候选划分方式列表,依据所述第二级候选划分方式列表,确定或得到第二级候选划分深度列表;
可选地,在划分信息包括划分方式时,可以构建一个列表,将至少一种划分信息添加至列表中,得到候选划分方式列表,并将其作为第一级候选划分方式列表,或者在至少一种划分信息中选择距离最近的至少一种划分方式添加至列表中,得到第一级候选划分方式列表。在划分信息包括划分深度等除划分方式之外的其他信息时,确定与其他信息相对应的划分方式(可以提前设置划分方式与其他信息之间的对应关系)。将确定的至少一种划分方式添加至列表中,得到候选划分方式列表。
可选地,还可以是依据划分信息对第一级候选划分方式列表中的划分方式进行更新(包括但不限于替换、删除、增加等操作)。
可选地,在确定第一级候选划分方式列表后,可以依据第一级候选划分方式列表中的所有划分方式,创建或更新第一级候选划分深度列表。
可选地,可以确定第一级候选划分方式列表中所有划分方式对应的划分深度。
可选地,可以提前设置每类划分方式对应的划分深度,并将第一级候选划分方式列表中所有划分方式对应的划分深度添加至预设的列表中,生成第一级候选划分深度列表。
可选地,可以依据第一级候选划分方式列表中所有划分方式对应的划分深度,对第一级候选划分深度列表中所有的划分深度进行更新(如删除、替换、增加、修改等)。
可选地,在确定第一级候选划分深度列表之后,可以根据第一级候选划分深度列表和/或第一级候选划分方式列表,确定或得到第二级候选划分方式列表。可选地,可以在已确定的所有划分方式中,将除第一级候选划分方式列表中的划分方式之外的划分方式添加至列表中,以确定或得到第二级候选划分方式列表。
可选地,可以在已确定的所有划分方式中,将除第一级候选划分深度列表中划分深度对应的划分方式之外的划分方式添加至列表中,以确定或得到第二级候选划分方式列表。
可选地,在确定第二级候选划分方式列表后,可以依据第二级候选划分方式列表,和/或第一级候选划分深度列表,和/或第一级候选划分方式列表,确定或得到第二级候选划分深度列表。
可选地,第二级候选划分深度列表和第一级候选划分深度列表中的划分深度可以不同。
可选地,在确定第一级候选划分深度之后,可以根据第一级候选划分深度列表和/或第一级候选划分方式列表确定或得到第二级候选划分深度列表。
可选地,可以根据第二级候选划分深度列表、和/或第一级候选划分方式列表、和/或第一级候选划分深度列表确定或得到第二级候选划分方式列表。
方式二十,根据至少一种划分信息,创建或更新第一级候选划分深度列表,依据所述第一级候选划分深度列表,确定或得到第一级候选划分方式列表,依据所述第一级候选划分方式列表,确定或得到第二级候选划分深度列表,依据所述第二级候选划分深度列表,确定或得到第二级候选划分方式列表。
可选地,在划分信息包括划分深度时,可以构建一个列表,将至少一种划分信息添加至列表中,得到候选划分深度列表,并将其作为第一级候选划分深度列表,或者在至少一种划分信息中选择距离最近的至少一种划分深度添加至列表中,得到第一级候选划分深度列表。在划分信息包括划分方式等除划分深度之外的其他信息时,确定与其他信息相对应的划分深度(可以提前设置划分深度与其他信息之间的对应关系)。将确定的至少一种划分深度添加至列表中,得到候选划分深度列表。
可选地,还可以是依据划分信息对第一级候选划分深度列表中的划分深度进行更新(包括但不限于替换、删除、增加等操作)。
可选地,在确定第一级候选划分深度列表后,可以依据第一级候选划分深度列表中的所有划分深度,创建或更新第一级候选划分方式列表。
可选地,可以确定第一级候选划分深度列表中所有划分深度对应的划分方式。
可选地,可以提前设置每类划分深度对应的划分方式,并将第一级候选划分深度列表中所有划分深度对应的划分方式添加至预设的列表中,生成第一级候选划分方式列表。
可选地,可以依据第一级候选划分深度列表中所有划分深度对应的划分方式,对第一级候选划分方式列表中所有的划分方式进行更新(如删除、替换、增加、修改等)。
可选地,在确定第一级候选划分方式列表之后,可以根据第一级候选划分方式列表和/或第一级候选划分深度列表,确定或得到第二级候选划分深度列表。可选地,可以在已确定的所有划分深度中,将除第一级候选划分深度列表中的划分深度之外的划分深度添加至列表中,以确定或得到第二级候选划分深度列表。
可选地,可以在已确定的所有划分深度中,将除第一级候选划分方式列表中划分方式对应的划分深度之外的划分深度添加至列表中,以确定或得到第二级候选划分深度列表。
可选地,在确定第二级候选划分深度列表后,可以依据第二级候选划分深度列表,和/或第一级候选划分深度列表,和/或第一级候选划分方式列表,确定或得到第二级候选划分方式列表。
可选地,第二级候选划分方式列表和第一级候选划分方式列表中的划分方式可以不同。
在本实施例中,通过在划分信息包括块划分方式和/或块划分深度,以及候选划分信息列表包括第一级候选划分方式列表,第二级候选划分方式列表,第一级候选划分深度列表,第二级候选划分深度列表中的至少一项时,依据至少一种划分信息创建相应的候选划分信息列表,进而可以实现通过不同层级的候选划分信息列表对当前块进行划分,以提高候选划分信息列表的使用概率,降低块划分的信令成本。
第四实施例
基于任一上述实施例,提出第四实施例,请参照图15。
在本实施例中,步骤S20,包括步骤:
S21,依据所述候选划分信息列表和/或划分信息的预测,确定至少一种当前块的划分信息;
S22,依据至少一种当前块的划分信息对当前块进行划分。
可选地,在确定或得到候选划分信息列表和/或划分信息的预测后,可以在候选划分信息列表中进行划分信息选择,并将选择的至少一种划分信息作为当前块的划分信息。
可选地,可以确定所有划分信息的预测对应的划分信息,并在各个划分信息中进行划分信息选择,并将选择的至少一种划分信息作为当前块的划分信息。可选地,进行划分信息选择的方式可以是选择代价最小或达到用户设置要求的划分信息等方式进行。
可选地,在确定至少一种当前块的划分信息后,可以依据至少一种当前块的划分信息对当前块进行划分,比如依据至少一种当前块的划分方式和/或至少一种当前块的划分深度对当前块进行划分。
可选地,在对当前块进行划分时,若存在多个划分信息,可以确定每个划分信息对应的划分顺序,依据划分顺序和各个划分信息对当前块进行划分,也就是按照划分顺序控制每个划分信息对当前块进行划分。
可选地,例如,如图16-18所示,图16为832x480_50序列的第一帧块划分方式示例(叠加显示)。832x480_50序列的全称为BasketballDrill_832x480_50,分辨率为832x480,帧率为50。图17为832x480_50序列的第一帧块划分方式示例,图18为832x480_50序列的第一帧块划分深度示例,且不同的划分深度可以采用不同的颜色进行显示。
可选地,划分信息包括划分方式或划分深度时,可以按照如图19所示进行划分,包括000,010,001,011,100,110,101,111。且图中的横线n=1,竖线m=2条时共计存在8种划分方式。
可选地,每个块的划分线最多可以有横线n条和竖线m条,则最多有种划分方式。可选地,m和n可以是任意自然数。
可选地,每个划分线可以用一个比特0/表示其状态,则划分线可以表示为()三个比特。
可选地,图19中的任一划分都可以是深度为1的划分,即只进行了一次划分。如图20所示,对图19中的100图再进行一次划分可以得到划分深度为2的划分。同理,可以一直递归划分,增加划分深度,直到块不可被划分为止。可选地,在进行划分时,每个块的宽和高可以是尺寸。x可以是任意自然数。
可选地,步骤S21包括以下至少一项:
方式二十一,依据从码流获取的索引和所述候选划分信息列表,确定至少一种当前块的划分信息;
可选地,可以先从码流获取标志位,依据标志位确定是否应用候选划分信息列表,若是,则可以确定或得到候选划分信息列表,并获取码流中的索引,依据索引确定候选划分信息列表中的至少一种划分信息,并将其作为当前块的划分信息,根据当前块的划分信息对当前块进行划分。
可选地,在候选划分信息列表包括多个等级的候选划分信息列表,如第一级候选划分方式列表,第二级候选划分方式列表,第一级候选划分深度列表,第二级候选划分深度列表时,可以获取码流中的标志位,根据标志位确定多个等级的候选划分信息列表中需要应用到的候选划分信息列表,若需要应用到第二级候选划分方式列表,则获取码流中的索引,并确定第二级候选划分方式列表中的至少一种划分方式,将其作为当前块的划分信息,并依据当前块的划分信息对当前块进行划分。例如,若需要应用到第一级候选划分深度列表,可以确定第一级候选划分深度列表中的至少一种划分深度,将其作为当前块的划分信息,并依据当前块的划分信息对当前块进行划分。
方式二十二,依据从码流获取的非列表划分信息索引和除所述候选划分信息列表之外的非列表划分信息,确定至少一种当前块的划分信息;
可选地,可以先从码流获取标志位,依据标志位确定是否应用候选划分信息列表,若否,也就是不应用候选划分信息列表,则确定所有划分信息中除候选划分信息列表中的所有划分信息之外的划分信息,并将其作为目标划分信息,在至少一种目标划分信息中依据非列表划分信息索引选择部分或全部划分信息作为当前块的划分信息,依据当前块的划分信息对当前块进行划分。
方式二十三,依据码流中的块划分语法元素、所述划分信息的预测和逆处理规则,确定至少一种当前块的划分信息。
可选地,若码流中存在块划分语法元素、划分信息的预测和逆处理规则,可以对码流进行解码获取码流中的块划分语法元素、划分信息的预测和逆处理规则。可选地,块划分语法元素可以是通过对码流进行解码(如熵解码)得到的待恢复划分信息,可以是以数值、文字、列表等形式进行体现。
可选地,逆处理规则可以是与编码侧相反的处理规则,比如在编码侧是相加计算,在解码侧可以是相减计算。
可选地,逆处理规则可以包括差值计算、绝对值计算、加减偏移(如相加计算、相减计算)、对数计算(与编码侧相对应的逆算法)、位运算等。
可选地,依据块划分语法元素和逆处理规则对划分信息的预测进行逆处理,得到相应的划分信息,并将其作为当前块的划分信息。
可选地,可以在解码侧设置一个后处理模块,将块划分语法元素、划分信息的预测输入到解码侧的后处理模块中进行处理,解码侧中的后处理模块依据划分信息的预测和逆处理规则对块划分语法元素进行恢复处理,得到至少一种当前块的划分信息。
可选地,在进行划分深度解码时,可以根据码流和划分深度预测值,解码出划分深度。
可选地,如图21所示,从神经网络预测模块中获得预测得到的划分深度4。读入视频二进制码流“101101011010......”,然后由熵解码器得到码流深度编码值-2,可选地,通过加法器将预测深度4和深度差值-2相加,得到当前块u的实际划分深度2(编码端采用的划分深度),并将划分深度2输出。
在本实施例中,通过依据码流中的索引和候选划分信息列表,或者码流中的索引和非列表划分信息,或者,码流中的块划分语法元素、划分信息的预测和逆处理规则确定至少一种当前块的划分信息,进而实现在解码侧提高确定的当前块的划分信息的命中率,依据至少一种当前块的划分信息对当前块进行划分,进而可以降低块划分的信令开销,提高解码效率。
第五实施例
基于任一上述实施例,提出第五实施例。
在本实施例中,处理方法还包括以下至少一项:
方式二十四,依据已编码块的划分信息、检索规则和所述候选划分信息列表,确定或得到索引,对所述索引进行编码;
可选地,获取已编码块的划分信息,并且可以从其他已进行编码后的块中进行划分信息获取,比如当前块的左上方、左方、左下方、右上方和上方的块中获取至少一个已编码块的划分信息(如已编码块的划分深度、划分方式等)。可选地,检索规则可以是依据已编码块的划分信息在候选划分信息列表中进行检索,确定或得到候选划分信息列表和已编码块的划分信息匹配的划分信息,并将其作为匹配划分信息,然后获取提前设置的具有划分信息与索引之间映射关系的对照表,并在对照表中确定匹配划分信息对应的索引,再对索引进行编码。
可选地,检索规则还可以是用户设置的其他规则,比如在已编码块的划分信息以及候选划分信息列表中按照预设规则进行选择,以确定适用于对当前块进行划分的划分信息,并将其作为匹配划分信息,再依据对照表确定匹配划分信息对应的索引,再对索引进行编码。
方式二十五,依据已编码块的划分信息、处理规则和所述划分信息的预测,确定待编码划分信息,对所述待编码划分信息进行编码。
可选地,处理规则可以包括差值计算、绝对值计算、加减偏移、对数计算和位运算等。例如,若原来的划分信息的预测的取值范围为-5至5,通过加5,将取值范围平移到0至10。
可选地,获取已编码块的划分信息,并且可以从其他已进行编码后的块中进行划分信息获取,比如当前块的左上方、左方、左下方、右上方和上方的块中获取至少一个已编码块的划分信息。
可选地,可以设置一个后处理模块,并在后处理模块中设置处理规则,将已编码块的划分信息和确定的当前块的至少一种划分信息的预测输入到后处理模块中,在候处理模块中依据处理规则和已编码的划分信息对划分信息的预测进行变形处理,将经过变形处理后的划分信息的预测作为待编码划分信息。例如,若处理规则为差值计算,可以将划分信息的预测减去已编码块的划分信息中的预测值得到相应的差值,并将此差值作为待编码划分信息,然后对待编码划分信息进行编码。
在本实施例中,通过依据已编码的划分信息、检索规则和候选划分信息列表确定索引进而进行编码,进而可以保障编码侧的划分信息安全性,通过依据已编码的划分信息、处理规则和划分信息的预测确定待编码划分信息进而进行编码,进而可以保障编码过程的有效性。并且在进行块划分时,不论是采用候选划分信息列表,还是采用划分信息的预测,相对于直接对所有的划分信息依次进行确定的方式,都能明显提高命中当前块的划分信息的命中率,进而降低块划分的信令开销,提高编码效率。
本申请实施例还提供一种处理装置,请参照图22,图22为本申请处理装置的功能模块示意图,可设置于或就是处理设备,处理装置包括:
处理模块A10,用于依据划分信息确定候选划分信息列表和/或划分信息的预测;依据所述候选划分信息列表和/或划分信息的预测对当前块进行划分。
可选地,处理模块A10用于以下至少一项:
根据邻居块的划分信息、非邻居块的划分信息、默认划分信息、选定块的划分信息、像素和编解码参数中的至少一项确定至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测;
根据块的划分信息的频次确定至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测;
根据块的划分信息、像素和编解码参数确定至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测;
根据块的划分信息、像素和编解码参数进行计算或排序,确定计算或排序后的至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测;
根据像素和编解码参数计算每种划分信息对应的SAD值,依据所述SAD值确定至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测;
根据邻居块的第一分量划分信息和/或非邻居块的第一分量划分信息,确定或得到当前块的第二分量的候选划分信息列表和/或划分信息的预测。
可选地,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测,包括以下至少一项:
依据添加至少一种划分信息的划分信息列表,确定或得到候选划分信息列表和/或划分信息的预测;
对确定的至少一种划分信息进行排序,依据排序后的至少一种划分信息确定或得到候选划分信息列表和/或划分信息的预测;
根据至少一种划分信息的代价,确定或得到候选划分信息列表和/或划分信息的预测;
将至少一种划分信息、像素和编解码参数中的至少一项输入至神经网络,得到输出结果,根据输出结果确定或得到候选划分信息列表和/或划分信息的预测;
将至少一种划分信息、像素和编解码参数中的至少一项输入至查询表进行查询,得到查询结果,依据查询结果确定或得到候选划分信息列表和/或划分信息的预测;
根据至少一种划分信息进行匹配,依据匹配的至少一种划分信息确定或得到候选划分信息列表和/或划分信息的预测;
将至少一种划分信息、像素和编解码参数中的至少一项输入至数学模型,根据数学模型的输出结果确定或得到候选划分信息列表和/或划分信息的预测。
可选地,所述划分信息包括块划分方式和/或块划分深度;
所述候选划分信息列表包括以下至少一项:
第一级候选划分方式列表;
第二级候选划分方式列表;
第一级候选划分深度列表;
第二级候选划分深度列表。
可选地,根据至少一种划分信息,确定或得到候选划分信息列表,包括以下至少一项:
根据至少一种划分信息,创建或更新第一级候选划分方式列表,依据所述第一级候选划分方式列表,确定或得到第二级候选划分方式列表;
根据至少一种划分信息,创建或更新第一级候选划分深度列表,依据所述第一级候选划分深度列表,确定或得到第二级候选划分深度列表;
根据至少一种划分信息,创建或更新第一级候选划分方式列表,依据所述第一级候选划分方式列表,确定或得到第一级候选划分深度列表,依据所述第一级候选划分深度列表,确定或得到第二级候选划分方式列表,依据所述第二级候选划分方式列表,确定或得到第二级候选划分深度列表;
根据至少一种划分信息,创建或更新第一级候选划分深度列表,依据所述第一级候选划分深度列表,确定或得到第一级候选划分方式列表,依据所述第一级候选划分方式列表,确定或得到第二级候选划分深度列表,依据所述第二级候选划分深度列表,确定或得到第二级候选划分方式列表。
可选地,处理模块A10,用于:
依据所述候选划分信息列表和/或划分信息的预测,确定至少一种当前块的划分信息;
依据至少一种当前块的划分信息对当前块进行划分。
可选地,处理模块A10,用于以下至少一项:
依据从码流获取的索引和所述候选划分信息列表,确定至少一种当前块的划分信息;
依据从码流获取的非列表划分信息索引和除所述候选划分信息列表之外的非列表划分信息,确定至少一种当前块的划分信息;
依据码流中的块划分语法元素、所述划分信息的预测和逆处理规则,确定至少一种当前块的划分信息。
可选地,所述处理模块A10,用于以下至少一项:
依据已编码块的划分信息、检索规则和所述候选划分信息列表,确定或得到索引,对所述索引进行编码;
依据已编码块的划分信息、处理规则和所述划分信息的预测,确定待编码划分信息,对所述待编码划分信息进行编码。
本申请实施例还提供一种处理设备,包括存储器、处理器,存储器上存储有处理程序,处理程序被处理器执行时实现上述任一实施例中的处理方法的步骤。
本申请实施例还提供一种存储介质,存储介质上存储有处理程序,处理程序被处理器执行时实现上述任一实施例中的处理方法的步骤。
在本申请提供的处理装置、处理设备和存储介质的实施例中,可以包含任一上述处理方法实施例的全部技术特征,说明书拓展和解释内容与上述方法的各实施例基本相同,在此不再做赘述。
本申请实施例还提供一种计算机程序产品,计算机程序产品包括计算机程序代码,当计算机程序代码在计算机上运行时,使得计算机执行如上各种可能的实施方式中的方法。
本申请实施例还提供一种芯片,包括存储器和处理器,存储器用于存储计算机程序,处理器用于从存储器中调用并运行计算机程序,使得安装有芯片的设备执行如上各种可能的实施方式中的方法。
可以理解,上述场景仅是作为示例,并不构成对于本申请实施例提供的技术方案的应用场景的限定,本申请的技术方案还可应用于其他场景。例如,本领域普通技术人员可知,随着***架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例设备中的单元可以根据实际需要进行合并、划分和删减。
在本申请中,对于相同或相似的术语概念、技术方案和/或应用场景描述,一般只在第一次出现时进行详细描述,后面再重复出现时,为了简洁,一般未再重复阐述,在理解本申请技术方案等内容时,对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等,可以参考其之前的相关详细描述。
在本申请中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本申请技术方案的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本申请记载的范围。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,被控终端,或者网络设备等)执行本申请每个实施例的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络,或者其他可编程装置。计算机指令可以存储在存储介质中,或者从一个存储介质向另一个存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、存储盘、磁带)、光介质(例如,DVD),或者半导体介质(例如固态存储盘Solid State Disk (SSD))等。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种处理方法,其特征在于,包括步骤:
S10,依据划分信息确定候选划分信息列表和/或划分信息的预测;其中,所述步骤S10包括:根据邻居块的划分信息、非邻居块的划分信息、默认划分信息、选定块的划分信息、像素和编解码参数中的至少一项确定至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测;其中,根据至少一种划分信息,确定或得到候选划分信息列表,包括:根据至少一种划分信息,创建或更新第一级候选划分方式列表,依据所述第一级候选划分方式列表,确定或得到第二级候选划分方式列表;其中,所述候选划分信息列表包括第一级候选划分方式列表和/或第二级候选划分方式列表;
S20,依据所述候选划分信息列表和/或划分信息的预测对当前块进行划分,其中,所述步骤S20包括:依据所述候选划分信息列表和划分信息的预测对当前块进行划分,或者,依据所述候选划分信息列表对当前块进行划分。
2.如权利要求1所述的处理方法,其特征在于,所述步骤S10,还包括以下至少一项:
根据块的划分信息的频次确定至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测;
根据块的划分信息、像素和编解码参数确定至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测;
根据块的划分信息、像素和编解码参数进行计算或排序,确定计算或排序后的至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测;
根据像素和编解码参数计算每种划分信息对应的SAD值,依据所述SAD值确定至少一种划分信息,根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测;
根据邻居块的第一分量划分信息和/或非邻居块的第一分量划分信息,确定或得到当前块的第二分量的候选划分信息列表和/或划分信息的预测。
3.如权利要求2所述的处理方法,其特征在于,所述根据至少一种划分信息,确定或得到候选划分信息列表和/或划分信息的预测,包括以下至少一项:
依据添加至少一种划分信息的划分信息列表,确定或得到候选划分信息列表和/或划分信息的预测;
对确定的至少一种划分信息进行排序,依据排序后的至少一种划分信息确定或得到候选划分信息列表和/或划分信息的预测;
根据至少一种划分信息的代价,确定或得到候选划分信息列表和/或划分信息的预测;
将至少一种划分信息、像素和编解码参数中的至少一项输入至神经网络,得到输出结果,根据输出结果确定或得到候选划分信息列表和/或划分信息的预测;
将至少一种划分信息、像素和编解码参数中的至少一项输入至查询表进行查询,得到查询结果,依据查询结果确定或得到候选划分信息列表和/或划分信息的预测;
根据至少一种划分信息进行匹配,依据匹配的至少一种划分信息确定或得到候选划分信息列表和/或划分信息的预测;
将至少一种划分信息、像素和编解码参数中的至少一项输入至数学模型,根据数学模型的输出结果确定或得到候选划分信息列表和/或划分信息的预测。
4.如权利要求2所述的处理方法,其特征在于,还包括以下至少一项:
所述划分信息包括块划分方式和/或块划分深度;
所述候选划分信息列表还包括以下至少一项:
第一级候选划分深度列表;
第二级候选划分深度列表。
5.如权利要求4所述的处理方法,其特征在于,所述根据至少一种划分信息,确定或得到候选划分信息列表,还包括以下至少一项:
根据至少一种划分信息,创建或更新第一级候选划分深度列表,依据所述第一级候选划分深度列表,确定或得到第二级候选划分深度列表;
根据至少一种划分信息,创建或更新第一级候选划分方式列表,依据所述第一级候选划分方式列表,确定或得到第一级候选划分深度列表,依据所述第一级候选划分深度列表,确定或得到第二级候选划分方式列表,依据所述第二级候选划分方式列表,确定或得到第二级候选划分深度列表;
根据至少一种划分信息,创建或更新第一级候选划分深度列表,依据所述第一级候选划分深度列表,确定或得到第一级候选划分方式列表,依据所述第一级候选划分方式列表,确定或得到第二级候选划分深度列表,依据所述第二级候选划分深度列表,确定或得到第二级候选划分方式列表。
6.如权利要求1至5中任一项所述的处理方法,其特征在于,所述步骤S20,还包括步骤:
S21,依据所述候选划分信息列表和/或划分信息的预测,确定至少一种当前块的划分信息;
S22,依据至少一种当前块的划分信息对当前块进行划分。
7.如权利要求6所述的处理方法,其特征在于,所述步骤S21,包括以下至少一项:
依据从码流获取的索引和所述候选划分信息列表,确定至少一种当前块的划分信息;
依据从码流获取的非列表划分信息索引和除所述候选划分信息列表之外的非列表划分信息,确定至少一种当前块的划分信息;
依据码流中的块划分语法元素、所述划分信息的预测和逆处理规则,确定至少一种当前块的划分信息。
8.如权利要求1至5中任一项所述的处理方法,其特征在于,所述方法还包括以下至少一项:
依据已编码块的划分信息、检索规则和所述候选划分信息列表,确定或得到索引,对所述索引进行编码;
依据已编码块的划分信息、处理规则和所述划分信息的预测,确定待编码划分信息,对所述待编码划分信息进行编码。
9.一种处理设备,其特征在于,包括:存储器、处理器,所述存储器上存储有处理程序,所述处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的处理方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311445633.9A CN117176959B (zh) | 2023-11-02 | 2023-11-02 | 处理方法、处理设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311445633.9A CN117176959B (zh) | 2023-11-02 | 2023-11-02 | 处理方法、处理设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117176959A CN117176959A (zh) | 2023-12-05 |
CN117176959B true CN117176959B (zh) | 2024-04-09 |
Family
ID=88937910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311445633.9A Active CN117176959B (zh) | 2023-11-02 | 2023-11-02 | 处理方法、处理设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117176959B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110944184A (zh) * | 2018-09-25 | 2020-03-31 | 华为技术有限公司 | 视频解码方法及视频解码器 |
CN114422781A (zh) * | 2022-03-29 | 2022-04-29 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及存储介质 |
CN116527889A (zh) * | 2018-09-25 | 2023-08-01 | 华为技术有限公司 | 一种图像预测方法和设备 |
CN116567232A (zh) * | 2022-01-27 | 2023-08-08 | 腾讯科技(深圳)有限公司 | 图像块的划分方法、视频编码方法、装置以及设备 |
CN116668704A (zh) * | 2023-08-02 | 2023-08-29 | 深圳传音控股股份有限公司 | 处理方法、处理设备及存储介质 |
-
2023
- 2023-11-02 CN CN202311445633.9A patent/CN117176959B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110944184A (zh) * | 2018-09-25 | 2020-03-31 | 华为技术有限公司 | 视频解码方法及视频解码器 |
CN116527889A (zh) * | 2018-09-25 | 2023-08-01 | 华为技术有限公司 | 一种图像预测方法和设备 |
CN116567232A (zh) * | 2022-01-27 | 2023-08-08 | 腾讯科技(深圳)有限公司 | 图像块的划分方法、视频编码方法、装置以及设备 |
CN114422781A (zh) * | 2022-03-29 | 2022-04-29 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及存储介质 |
WO2023185351A1 (zh) * | 2022-03-29 | 2023-10-05 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及存储介质 |
CN116668704A (zh) * | 2023-08-02 | 2023-08-29 | 深圳传音控股股份有限公司 | 处理方法、处理设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117176959A (zh) | 2023-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112822491B (zh) | 一种图像数据的编码、解码方法及装置 | |
CN107347159B (zh) | 一种对视频位流进行编解码的方法、设备 | |
CN111161316B (zh) | 目标物体跟踪方法、装置及终端设备 | |
JP6758683B2 (ja) | 予測モード選択方法、ビデオ符号化装置、及び記憶媒体 | |
CN114079779B (zh) | 图像处理方法、智能终端及存储介质 | |
CN114422781B (zh) | 图像处理方法、智能终端及存储介质 | |
CN114598880B (zh) | 图像处理方法、智能终端及存储介质 | |
CN115002463B (zh) | 图像处理方法、智能终端及存储介质 | |
KR20120118465A (ko) | 예시-기반의 초 해상도를 이용하여 비디오 압축을 위한 데이터 프루닝 | |
CN115379214B (zh) | 图像处理方法、智能终端及存储介质 | |
CN105407353A (zh) | 一种图像压缩方法,及装置 | |
CN115834897B (zh) | 处理方法、处理设备及存储介质 | |
CN116668704B (zh) | 处理方法、处理设备及存储介质 | |
WO2019001015A1 (zh) | 一种图像数据的编码、解码方法及装置 | |
CN110213591B (zh) | 一种视频运动估计方法、装置及存储介质 | |
CN115988206A (zh) | 图像处理方法、处理设备及存储介质 | |
CN113709504B (zh) | 图像处理方法、智能终端及可读存储介质 | |
CN116456102B (zh) | 图像处理方法、处理设备及存储介质 | |
CN117176959B (zh) | 处理方法、处理设备及存储介质 | |
CN116847088B (zh) | 图像处理方法、处理设备及存储介质 | |
CN115955565B (zh) | 处理方法、处理设备及存储介质 | |
Kazemi | Refinement of the recovered motion vectors for error concealment in HEVC | |
CN117597930A (zh) | 图像处理方法、移动终端及存储介质 | |
CN112866710B (zh) | 一种编码单元处理方法和相关装置 | |
CN105208391A (zh) | 帧内预测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |