CN111416975A - 预测模式确定方法和装置 - Google Patents
预测模式确定方法和装置 Download PDFInfo
- Publication number
- CN111416975A CN111416975A CN201910457372.XA CN201910457372A CN111416975A CN 111416975 A CN111416975 A CN 111416975A CN 201910457372 A CN201910457372 A CN 201910457372A CN 111416975 A CN111416975 A CN 111416975A
- Authority
- CN
- China
- Prior art keywords
- prediction mode
- child node
- node
- intra
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000005192 partition Methods 0.000 claims description 24
- 238000013139 quantization Methods 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 description 24
- 238000000638 solvent extraction Methods 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/40—Tree coding, e.g. quadtree, octree
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请提供一种预测模式确定方法和装置,根据目标节点的面积和划分方式,确定目标节点的子节点的预测模式状态,其中,该预测模式状态包括限定帧内预测模式和限定帧间预测模式,进一步根据子节点的预测模式状态,确定子节点的预测模式,从而,使得目标节点划分的各个子节点使用相同的预测模式,便于硬件的流水处理,加快后续处理速度,提高视频编码效率。
Description
技术领域
本申请涉及视频编码技术领域,尤其涉及一种预测模式确定方法和装置。
背景技术
随着信息技术的发展,高清晰度电视、网络会议、交互式网络电视(IPTV)、三维(3D)电视等视频业务迅速发展,视频信号以其直观性和高效性等优势成为人们日常生活中获取信息最主要的方式。由于视频信号包含的数据量大,需要占用大量的传输带宽和存储空间。为了有效的传输和存储视频信号,需要对视频信号进行压缩编码,视频编码(包括视频编码和解码)技术越来越成为视频应用领域不可或缺的关键技术。
其中,对于编码过程主要包括帧内预测(Intra Prediction)、帧间预测(InterPrediction)、变换(Transform)、量化(Quantization)、熵编码(Entropy encode)等环节。具体的,将一帧图像分割成互不重叠的编码树单元(Coding Tree Unit,CTU)之后进行帧内预测或者帧间预测,并在预测后进行其它相应处理,最终输出码流。而对于解码过程则相当于上述编码过程的逆过程。
然而,现有视频编码对于一些CTU,如果继续划分,例如使用基于四叉树(Quad-Tree,QT)的CTU划分方法,将CTU作为四叉树的根节点(root),按照四叉树的划分方式,可能会划分为不同的子节点。如果这些子节点面积小于某一阈值(例如64或128),且子节点使用不同的预测模式,不利于硬件的流水处理,降低后续处理速度,最终影响编码效率。
发明内容
本申请提供一种预测模式确定方法和装置,以提高视频编码效率。
本申请第一方面提供一种预测模式确定方法,根据目标节点的面积和划分方式,确定目标节点的子节点的预测模式状态,其中,该预测模式状态包括限定帧内预测模式和限定帧间预测模式,进一步根据子节点的预测模式状态,确定子节点的预测模式,从而,使得目标节点划分的各个子节点使用相同的预测模式,便于硬件的流水处理,加快后续处理速度,提高视频编码效率。
可选地,所述根据所述目标节点的面积和所述目标节点的划分方式,确定所述目标节点的子节点的预测模式状态,包括:
当所述子节点的面积小于预设阈值时,从码流中解析获得所述子节点的预测模式状态;其中,所述子节点的面积小于所述预设阈值,包括:
所述目标节点采用二叉树划分或四叉树划分,且所述子节点的面积为64个像素;或者,
所述目标节点采用扩展四叉树划分,且所述子节点的面积为128个像素。
可选地,当所述子节点的面积大于或等于所述预设阈值,确定所述子节点的预测模式状态为所述目标节点的预测模式状态。
示例性的,当一个节点划分产生的子节点面积小于预设阈值时,从码流中解析获得子节点的预测模式状态;当一个节点划分产生的子节点面积大于或等于预设阈值时,无需从码流中解析获得子节点的预测模式状态,直接确定子节点的预测模式状态为目标节点的预测模式状态,然后根据子节点的预测模式状态,确定子节点的预测模式,限制一个节点划分产生的子节点使用相同的预测模式,便于硬件的流水处理,提高视频编码效率。
可选地,所述从码流中解析获得所述子节点的预测模式状态,包括:
从所述码流中解析获得预测模式标志位的值;
当所述预测模式标志位的值为第一预设值时,确定所述子节点的预测模式状态为所述限定帧内预测模式;
当所述预测模式标志位的值为第二预设值时,确定所述子节点的预测模式状态为所述限定帧间预测模式,其中,所述第一预设值和所述第二预设值不同。
这里,当预测模式标志位的值为第一预设值时,确定该节点的所有子节点的预测模式状态均为帧内预测模式,当预测模式标志位的值为第二预设值时,确定该节点的所有子节点的预测模式状态均为帧间预测模式,从而实现从码流中解析获得子节点的预测模式状态,进而根据子节点的预测模式状态,确定子节点的预测模式,使得一个节点划分的各个子节点使用相同的预测模式。
可选地,所述目标节点的面积为所述目标节点的宽与高的乘积。从而,在确定目标节点的宽和高后能够简单、快速地获得目标节点的面积。
可选地,所述预测模式状态还包括不限定帧内帧间预测模式。
这里,目标节点的子节点的预测模式状态除上述限定帧内预测模式和限定帧间预测模式外,还包括不限定帧内帧间预测模式,进一步满足不同应用场景对子节点的预测模式状态的不同应用需要。
可选地,所述根据所述子节点的预测模式状态,确定所述子节点的预测模式,包括:
根据所述子节点的预测模式状态,从所述码流中解析获得所述子节点的预测模式。
可选地,所述根据所述子节点的预测模式状态,从所述码流中解析获得所述子节点的预测模式,包括:
当所述子节点的预测模式状态为所述限定帧内预测模式时,从码流中解析获得所述子节点的帧内预测标志,以确定所述子节点的帧内预测模式;
当所述子节点的预测模式状态为所述不限定帧内帧间预测模式时,从码流中解析获得所述子节点的跳过模式标志和/或直接模式标志和/或预测模式标志,以确定所述子节点的预测模式。
可选地,所述根据所述子节点的预测模式状态,从所述码流中解析获得所述子节点的预测模式,包括:
当所述子节点的预测模式状态为所述限定帧间预测模式或所述不限定帧内帧间预测模式时,从所述码流中解析获得所述子节点的跳过模式标志和/或直接模式标志,以确定所述子节点的预测模式。
示例性的,在确定子节点的预测模式状态后,无需从码流中解析获得子节点的全部标志,只需从码流中解析获得与子节点的预测模式状态对应的标志,以确定子节点的预测模式。
可选地,还包括:
根据所述子节点的预测模式,获得所述子节点对应的重建图像。
可选地,所述根据所述子节点的预测模式,获得所述子节点对应的重建图像,包括:
根据所述预测模式对所述子节点进行预测处理,以获得所述子节点的预测图像;
对残差信息进行反量化和/或反变换处理,以获得所述子节点的残差图像,所述残差信息通过解析所述码流获得;
将所述残差图像和所述预测图像做叠加处理,以获得所述子节点对应的重建图像。
这里,获得子节点的预测模式后,可根据上述预测模式对子节点进行预测处理,得到子节点的预测图像,再对残差信息经过反量化和/或反变换处理得到残差图像,并叠加到对应的预测图像上,产生重建图像。
可选地,当所述子节点的预测模式状态为所述限定帧内预测模式时,所述子节点的预测模式只包括帧内预测模式。
可选地,当所述子节点的预测模式状态为所述限定帧间预测模式时,所述子节点的预测模式只包括帧间预测模式。
可选地,当所述子节点的预测模式状态为所述不限定帧内帧间预测模式时,所述子节点的预测模式包括帧间预测模式和帧内预测模式。
示例性的,当子节点的预测模式状态为限定帧内预测模式时,限定子节点的预测模式只包括帧内预测模式,当子节点的预测模式状态为限定帧间预测模式时,限定子节点的预测模式只包括帧间预测模式,而当子节点的预测模式状态为不限定帧内帧间预测模式时,子节点的预测模式包括帧间预测模式和帧内预测模式。
本申请第二方面提供一种预测模式确定装置,包括:
第一确定模块,用于根据目标节点的面积和所述目标节点的划分方式,确定所述目标节点的子节点的预测模式状态,所述预测模式状态包括限定帧内预测模式和限定帧间预测模式;
第二确定模块,用于根据所述子节点的预测模式状态,确定所述子节点的预测模式。
可选地,所述第一确定模块具体用于:
当所述子节点的面积小于预设阈值时,从码流中解析获得所述子节点的预测模式状态;其中,所述子节点的面积小于所述预设阈值,包括:
所述目标节点采用二叉树划分或四叉树划分,且所述子节点的面积为64个像素;或者,
所述目标节点采用扩展四叉树划分,且所述子节点的面积为128个像素。
可选地,所述第一确定模块还具体用于:
当所述子节点的面积大于或等于所述预设阈值,确定所述子节点的预测模式状态为所述目标节点的预测模式状态。
可选地,所述第一确定模块从码流中解析获得所述子节点的预测模式状态,包括:
从所述码流中解析获得预测模式标志位的值;
当所述预测模式标志位的值为第一预设值时,确定所述子节点的预测模式状态为所述限定帧内预测模式;
当所述预测模式标志位的值为第二预设值时,确定所述子节点的预测模式状态为所述限定帧间预测模式,其中,所述第一预设值和所述第二预设值不同。
可选地,所述目标节点的面积为所述目标节点的宽与高的乘积。
可选地,所述预测模式状态还包括不限定帧内帧间预测模式。
可选地,所述第二确定模块具体用于:
根据所述子节点的预测模式状态,从所述码流中解析获得所述子节点的预测模式。
可选地,所述第二确定模块根据所述子节点的预测模式状态,从所述码流中解析获得所述子节点的预测模式,包括:
当所述子节点的预测模式状态为所述限定帧内预测模式时,从码流中解析获得所述子节点的帧内预测标志,以确定所述子节点的帧内预测模式;
当所述子节点的预测模式状态为所述不限定帧内帧间预测模式时,从码流中解析获得所述子节点的跳过模式标志和/或直接模式标志和/或预测模式标志,以确定所述子节点的预测模式。
可选地,所述第二确定模块根据所述子节点的预测模式状态,从所述码流中解析获得所述子节点的预测模式,包括:
当所述子节点的预测模式状态为所述限定帧间预测模式或所述不限定帧内帧间预测模式时,从所述码流中解析获得所述子节点的跳过模式标志和/或直接模式标志,以确定所述子节点的预测模式。
可选地,还包括:
重建图像获得模块,用于根据所述子节点的预测模式,获得所述子节点对应的重建图像。
可选地,所述重建图像获得模块具体用于:
根据所述预测模式对所述子节点进行预测处理,以获得所述子节点的预测图像;
对残差信息进行反量化和/或反变换处理,以获得所述子节点的残差图像,所述残差信息通过解析所述码流获得;
将所述残差图像和所述预测图像做叠加处理,以获得所述子节点对应的重建图像。
可选地,当所述子节点的预测模式状态为所述限定帧内预测模式时,所述子节点的预测模式只包括帧内预测模式。
可选地,当所述子节点的预测模式状态为所述限定帧间预测模式时,所述子节点的预测模式只包括帧间预测模式。
可选地,当所述子节点的预测模式状态为所述不限定帧内帧间预测模式时,所述子节点的预测模式包括帧间预测模式和帧内预测模式。
本申请第三方面提供一种预测模式确定装置,包括:
处理器、存储器和收发器,所述存储器用于存储指令,所述收发器用于和其他设备通信,所述处理器用于执行所述存储器中存储的指令,以使预测模式确定装置执行如第一方面所述的方法。
本申请第四方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有指令,当所述指令被计算装置执行时,使得预测模式确定装置执行如第一方面所述的方法。
本申请提出了一种预测模式的解析方法:当一个节点划分产生的子节点面积小于阈值时,在码流中解析一个标志位,所述标志位为0则确定该节点的所有子节点只能使用帧间预测模式,所述标志位为1则确定该节点的所有子节点只能使用帧内预测模式。
本申请提出了一种预测模式的解析方法:当一个节点划分产生的子节点面积小于阈值时,无需从码流中解析标志位,确定该节点的所有子节点只能使用帧间预测模式。
本申请提出了一种预测模式的解析方法:如果节点只能使用帧间预测模式,则cu_pred_mode默认0;如果节点只能使用帧内预测模式,则skip_flag和direct_flag默认为0,cu_pred_mode默认为1。
附图说明
图1为本申请提供的二叉树,四叉树,以及扩展四叉树的划分方式示意图;
图2为本申请提供的一种视频编码***实例的框图;
图3为本申请提供的一种预测模式确定方法的流程示意图;
图4为本申请提供的确定子节点的cons_pred_mode值流程图;
图5为本申请提供的一种预测模式确定装置的结构示意图;
图6为本申请提供的另一种预测模式确定装置的结构示意图。
具体实施方式
在本申请的实施例中,“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系。例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请的描述中,“多个”是指两个或多于两个。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请(或本公开)相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
首先对本申请所涉及的名词进行解释:
视频编码:通常是指处理形成视频或视频序列的图片序列。在视频编码领域,术语“图片(picture)”、“帧(frame)”或“图像(image)”可以用作同义词。本申请中使用的视频编码表示视频编码或视频解码。视频编码在源侧执行,通常包括处理(例如,通过压缩)原始视频图片以减少表示该视频图片所需的数据量(从而更高效地存储和/或传输)。视频解码在目的地侧执行,通常包括相对于编码器作逆处理,以重构视频图片。实施例涉及的视频图片(或总称为图片)“编码”应理解为涉及视频序列的“编码”或“解码”。编码部分和解码部分的组合也称为编解码(编码和解码)。
无损视频编码情况下,可以重构原始视频图片,即经重构视频图片具有与原始视频图片相同的质量(假设存储或传输期间没有传输损耗或其它数据丢失)。在有损视频编码情况下,通过例如量化执行进一步压缩,来减少表示视频图片所需的数据量,而解码器侧无法完全重构视频图片,即经重构视频图片的质量相比原始视频图片的质量较低或较差。
视频序列的每个图片通常分割成不重叠的块集合,通常在块层级上进行编码。换句话说,编码器侧通常在块(视频块)层级处理亦即编码视频,例如,通过空间(图片内)预测和时间(图片间)预测来产生预测块,从当前块(当前处理或待处理的块)减去预测块以获取残差块,在变换域变换残差块并量化残差块,以减少待传输(压缩)的数据量,而解码器侧将相对于编码器的逆处理部分应用于经编码或经压缩块,以重构用于表示的当前块。另外,编码器复制解码器处理循环,使得编码器和解码器生成相同的预测(例如帧内预测和帧间预测)和/或重构,用于处理亦即编码后续块。
如本申请中所用,术语“块”可以为图片或帧的一部分。为便于描述,参考多用途视频编码(VVC:Versatile Video Coding)或由ITU-T视频编码专家组(Video CodingExperts Group,VCEG)和ISO/IEC运动图像专家组(Motion Picture Experts Group,MPEG)的视频编码联合工作组(Joint Collaboration Team on Video Coding,JCT-VC)开发的高效视频编码(High-Efficiency Video Coding,HEVC)描述本申请实施例。在HEVC中,通过使用表示为编码树的四叉树结构将编码树单元拆分为多个编码单元(Coding Unit,CU)。其中,CU即编码单元,通常对应于一个A×B的矩形区域,包含A×B亮度像素和它对应的色度像素,A为矩形的宽,B为矩形的高,A和B可以相同也可以不同,A和B的取值通常为2的整数次幂,例如128、64、32、16、8、4。一个编码单元可通过解码处理解码得到一个A×B的矩形区域的重建图像,解码处理通常包括预测、反量化、反变换等处理,产生预测图像和残差,预测图像和残差叠加后得到重建图像。CTU即编码树单元,一幅图像由多个CTU构成,一个CTU通常对应于一个方形图像区域,包含这个图像区域中的亮度像素和色度像素(或者也可以只包含亮度像素,或者也可以只包含色度像素);CTU中还包含语法元素,这些语法元素指示如何将CTU划分成至少一个CU,以及解码每个编码单元得到重建图像的方法。
在视频压缩技术最新的发展中,使用四叉树、二叉树(Binary Tree,BT)和扩展四叉树(Extended Quad-Tree,EQT)的划分方式来划分CTU。
图1描述了四叉树、二叉树及扩展四叉树的划分方式,其中:
四叉树是一种树状结构,表示一个节点可划分为四个子节点。现有视频编码标准采用基于四叉树的CTU划分方式:CTU作为根节点,每个节点对应于一个方形的区域;一个节点可以不再划分(此时它对应的区域为一个CU),或者将这个节点划分成四个下一层级的节点,即把这个方形区域划分成四个大小相同的方形区域(其长、宽各为划分前区域长、宽的一半),每个区域对应于一个节点。如图1(a)所示。
二叉树是一种树状结构,表示一个节点可划分成两个子节点。现有采用二叉树的编码方法中,一个二叉树结构上的节点可以不划分,或者把此节点划分成两个下一层级的节点。划分成两个节点的方式有两种:1)水平二分,将节点对应的区域划分成上、下两个相同大小的区域,每个区域对应于一个节点,如图1(b)所示;或者2)竖直二分,将节点对应的区域划分成左、右两个大小相同的区域,每个区域对应于一个节点,如图1(c)所示。
扩展四叉树:一种工字划分结构,一个节点可划分成四个子节点。划分成三个节点的方式有两种:1)水平四分,将节点对应的区域划分成上、中、下三个区域,每个区域对应于一个节点,其中上、中左、中右、下三个区域的高分别为节点高的1/4、1/2、1/2、1/4,中左和中右宽度为节点高度的1/2、1/2,如图1(d)所示;或者2)竖直四分,将节点对应的区域划分成左、中上、中下、右三个区域,每个区域对应于一个节点,其中左、中、右三个区域的宽分别为节点高的1/4、1/2、1/2、1/4,中上和中下宽度为节点高度的1/2、1/2,如图1(e)所示。现有采用扩展四叉树的编码方法中,一个扩展四叉树结构上的节点可以不划分,或者把此节点按BT或EQT的方式继续划分成下一层级的节点。
现有视频编码标准把一帧图像分割成互不重叠的编码树单元(CTU),CTU的大小可设置为64×64(CTU的大小也可设置为其它值,如JVET参考软件JEM中CTU大小增大为128×128或256×256)。64×64的CTU包含由64列、每列64个像素的矩形像素点阵,每个像素包含亮度分量或/和色度分量。
使用基于四叉树的CTU划分方法,将CTU作为四叉树的根节点,按照四叉树的划分方式,将CTU递归划分成若干个叶节点(leaf node)。一个节点对应于一个图像区域,节点如果不划分,则节点称为叶节点,它对应的图像区域形成一个CU;如果节点继续划分,则节点对应的图像区域划分成四个相同大小的区域(其长和宽各为被划分区域的一半),每个区域对应一个节点,需要分别确定这些节点是否还会划分。一个节点是否划分由码流中这个节点对应的划分标志位split_cu_flag指示。一个节点A划分一次得到4个节点Bi,i=0,1,2,3,Bi称为A的子节点,A称为Bi的父节点。根节点的四叉树层级(qtDepth)为0,节点的四叉树层级为节点的父节点的四叉树层级加1。为表述简洁,下文中节点的大小和形状即指节点对应的图像区域的大小和形状。
示例性的,对64×64的CTU节点(四叉树层级为0),根据它对应的split_cu_flag,可选择不划分,成为1个64×64的CU,或者选择划分为4个32×32的节点(四叉树层级为1)。这四个32×32的节点中的每一个节点,又可以根据它对应的split_cu_flag,选择继续划分或者不划分;如果一个32×32的节点继续划分,则产生四个16×16的节点(四叉树层级为2)。以此类推,直到所有节点都不再划分,这样一个CTU就被划分成一组CU。CU的最小尺寸(size)在序列参数集(Sequence Parameter Set,SPS)中标识,例如8×8为最小CU。在上述递归划分过程中,如果一个节点的尺寸等于最小CU尺寸(minimum CU size),这个节点默认为不再划分,同时也不需要在码流中包含它的划分标志位。
当解析到一个节点为叶节点后,此叶节点为一个CU,进一步解析CU对应的编码信息(包括CU的预测模式、变换系数等信息,例如H.265中的coding_unit()语法结构体),然后按照这些编码信息对CU进行预测、反量化、反变换、环路滤波等解码处理,产生这个CU对应的重建图像。四叉树结构使得CTU能够根据图像局部特点划分成合适大小的一组CU,例如平滑区域划分成较大的CU,而纹理丰富区域划分为较小的CU。
一种CTU划分成一组CU的划分方式对应于一个编码树(coding tree)。CTU应当采用何种编码树则通常通过编码器的率失真优化(rate distortion optimization,RDO)技术来确定。编码器尝试多种CTU划分方式,每一种划分方式对应于一个率失真代价(RDcost);编码器比较各种尝试过的划分方式的RD cost,找到RD cost最小的划分方式,作为该CTU最优的划分方式,用于该CTU的实际编码。编码器尝试的各种CTU划分方式均需要符合解码器规定的划分规则,这些才能够被解码器正确识别。
由上述可知,现有编码标准在四叉树划分的基础上,增加了二叉树划分方式和扩展四叉树划分方式。现有编码标准中,所支持CU划分形状如图1所示:
四叉树:一种树状结构,一个节点可划分为四个子节点。CTU作为根节点,每个节点对应于一个方形的区域,即把这个方形区域划分成四个大小相同的方形区域(其长、宽各为划分前区域长、宽的一半),每个区域对应于一个节点,如图1(a)所示。
二叉树划分将一个节点划分成2个子节点,示例性的两叉树划分方式有两种:
1)水平二分(horizontal binary tree,HBT):将节点对应的区域划分成上、下两个相同大小的区域(即宽不变,高变为划分前区域的一半),每个区域对应于一个节点;如图1(b)所示。
2)竖直二分(vertical binary tree,VBT):将节点对应的区域划分成左、右两个相同大小的区域(即高不变,宽变为划分前区域的一半);如图1(c)所示。
扩展四叉树划分将一个节点划分成4个子节点,示例性的扩展四叉树划分方式有两种:
1)水平扩展四叉树(horizontal Extended Quad-Tree,HEQT),将节点对应的区域划分成上、中、下四个区域,每个区域对应于一个节点,其中上、中左、中右、下四个区域的高分别为节点高的1/4、1/2、1/2、1/4,中左和中右宽度为节点高度的1/2、1/2,如图1(d)所示;
2)竖直扩展四叉树(vertical Extended Quad-Tree,VEQT),将节点对应的区域划分成左、中上、中下、右四个区域,每个区域对应于一个节点,其中左、中上、中下、右四个区域的宽分别为节点宽的1/4、1/2、1/2、1/4,中上和中下高度为节点高度的1/2、1/2,如图1(e)所示。
经过上述的各种划分之后,编码树下的叶子节点位置的图像块作为编码单元,编码过程主要包括帧内预测、帧间预测、变换、量化、熵编码、环内滤波(in-loop filtering)(主要为去块滤波,de-blocking filtering)等环节,即,将图像划分为编码单元之后进行帧内预测或者帧间预测,并且在得到残差之后进行变换量化,最终进行熵编码并输出码流。此处编码单元为由像素点组成的M*N大小的阵列(M可以等于N,也可以不等于N),并且已知各个像素点位置的像素值。
帧内预测是指利用当前图像内已重建区域内像素点的像素值对当前图像块/编码单元内像素点的像素值进行预测。
帧间预测是在已重建的图像中,为当前图像中的当前图像块/编码单元寻找匹配的参考块,将参考块中的像素点的像素值作为当前图像块/编码单元中像素点的像素值的预测信息或者预测值(以下不再区分信息和值),此过程称为运动估计(Motionestimation,ME),并传输当前图像块/编码单元的运动信息。
需要说明的是,当前图像块/编码单元的运动信息包括了预测方向的指示信息(通常为前向预测、后向预测或者双向预测),一个或两个指向参考块的运动矢量(Motionvector,MV),以及参考块所在图像的指示信息(通常记为参考帧索引,Reference index)。
前向预测是指当前图像块/编码单元从前向参考图像集合中选择一个参考图像获取参考块。后向预测是指当前编码单元从后向参考图像集合中选择一个参考图像获取参考块。双向预测是指从前向和后向参考图像集合中各选择一个参考图像获取参考块。当使用双向预测方法时,当前编码单元会存在两个参考块,每个参考块各自需要运动矢量和参考帧索引进行指示,然后根据两个参考块内像素点的像素值确定当前块内像素点像素值的预测值。
运动估计过程需要为当前图像块/编码单元在参考图像中尝试多个参考块,最终使用哪一个或者哪几个参考块用作预测则使用率失真优化(Rate-distortionoptimization,RDO)或者其他方法确定。
利用帧内预测或者帧间预测得到预测信息之后,当前图像块/编码单元内像素点的像素值减去对应的预测信息便得到残差信息,然后利用离散余弦变换(Discrete CosineTransformation,DCT)等方法对残差信息进行变换,再使用量化熵编码得到码流。预测信号加上重建残差信号之后需进一步进行滤波操作,进而得到重建信号,并将其作为后续编码的参考信号。
解码则相当于编码的逆过程。首先利用熵解码反量化反变换得到残差信息,解码码流确定当前编码单元使用的是帧内预测还是帧间预测。如果是帧内预测,则利用周围已重建区域内像素点的像素值按照所使用的帧内预测方法构建预测信息。如果是帧间预测,则需要解析出运动信息,并使用所解析出的运动信息在已重建的图像中确定参考块,并将块内像素点的像素值作为预测信息,此过程称为运动补偿(Motion compensation,MC)。使用预测信息加上残差信息经过滤波操作便可以得到重建信息。
AVS3中使用了QT级联BT/EQT的划分方式,即第一级编码树上的节点只能使用QT划分成子节点,第一级编码树的叶节点为第二级编码树的根节点;第二级编码树上的节点可使用BT或EQT划分方式中的一种划分为子节点;第二级编码树的叶节点为编码单元。需要注意的是,当叶节点为BT或EQT划分方式时,其叶节点只能使用BT或EQT划分方式,而不能使用QT的方式。其中,音视频编码标准(Audio Video coding Standard,AVS)是《信息技术先进音视频编码》系列标准的简称,其包括***、视频、音频、数字版权管理等四个主要技术标准和符合性测试等支撑标准。
现有技术中,CU级的部分语法结构如表1所示,如果目标节点不再划分为子节点,则目标节点为编码单元,按照以下的语法结构解析编码单元的预测信息。
表1
其中,skip_flag为跳过模式的标志,值为1表示当前CU使用跳过模式,值为0表示当前CU不使用跳过模式。
direct_flag为直接模式标志,值为1表示当前CU使用直接模式;值为0表示不使用直接模式。
cu_pred_mode为编码单元预测模式标志,值为1表示当前预测单元使用帧内预测模式;值为0表示当前预测单元使用普通inter预测模式。
现有视频编码对于一些CTU,如果继续划分,例如使用基于四叉树的CTU划分方法,将CTU作为四叉树的根节点,按照四叉树的划分方式,可能会划分为不同的子节点,如果这些子节点面积小于某一阈值(例如64或128),且使用不同的预测模式,不利于硬件的流水处理。
本申请提出了一种预测模式确定方法,对于面积小于阈值S(例如S为64或者128)的节点,使用相同的预测模式(同为帧间或同为帧内预测),便于硬件的流水处理。
示例性的,当一个节点划分产生的子节点面积小于阈值时,在码流中解析一个标志位,所述标志位为0则确定该节点的所有子节点只能使用帧间预测模式,所述标志位为1则确定该节点的所有子节点只能使用帧内预测模式。
本申请的方法应用于视频编解码器。视频编码***如图2所示,视频编码***10包括源设备12和目标设备14,源设备12包括:图片获取装置121、预处理器122、编码器123和通信接口124。目标设备14包括:显示设备141、处理器142、解码器143和通信接口144。源设备12将编码得到的编码数据13发送给目标设备14。本申请的方法应用于编码器123和解码器143。
其中,源设备12可称为视频编码设备或视频编码装置。目标设备14可称为视频解码设备或视频解码装置。源设备12以及目标设备14可以是视频编码设备或视频编码装置的实例。
源设备12和目标设备14可以包括各种设备中的任一个,包含任何类别的手持或静止设备,例如,笔记本或膝上型计算机、移动电话、智能电话、平板或平板计算机、摄像机、台式计算机、机顶盒、电视、显示设备、数字媒体播放器、视频游戏控制台、视频流式传输设备(例如内容服务服务器或内容分发服务器)、广播接收器设备、广播发射器设备等,并可以不使用或使用任何类别的操作***。
在一些情况下,源设备12和目标设备14可以经装备以用于无线通信。因此,源设备12和目标设备14可以为无线通信设备。
在一些情况下,图2中所示视频编码***10仅为示例,本申请的技术可以适用于不必包含编码和解码设备之间的任何数据通信的视频编码设置(例如,视频编码或视频解码)。在其它实例中,数据可从本地存储器检索、在网络上流式传输等。视频编码设备可以对数据进行编码并且将数据存储到存储器,和/或视频解码设备可以从存储器检索数据并且对数据进行解码。在一些实例中,由并不彼此通信而是仅编码数据到存储器和/或从存储器检索数据且解码数据的设备执行编码和解码。
在一些情况下,视频编码***10的编码器123也可以称为视频编码器,解码器143也可以称为视频解码器,可用于根据本申请中描述的各种实例执行帧内预测、帧间预测等技术。
在一些情况下,图片获取装置121可以包括或可以为任何类别的图片捕获设备,用于例如捕获现实世界图片,和/或任何类别的图片或评论(对于屏幕内容编码,屏幕上的一些文字也认为是待编码的图片或图像的一部分)生成设备,例如,用于生成计算机动画图片的计算机图形处理器,或用于获取和/或提供现实世界图片、计算机动画图片(例如,屏幕内容、虚拟现实(virtual reality,VR)图片)的任何类别设备,和/或其任何组合(例如,实景(augmented reality,AR)图片)。其中,图片为或者可以视为具有亮度值的采样点的二维阵列或矩阵。以阵列为例,阵列中的采样点也可以称为像素(pixel)或像素(pictureelement,pel)。阵列在水平和垂直方向(或轴线)上的采样点数目定义图片的尺寸和/或分辨率。为了表示颜色,通常采用三个颜色分量,即图片可以表示为或包含三个采样阵列。RBG格式或颜色空间中,图片包括对应的红色、绿色及蓝色采样阵列。但是,在视频编码中,每个像素通常以亮度/色度格式或颜色空间表示,例如,YCbCr,包括Y指示的亮度(简写为luma)分量(有时也可以用L指示)以及Cb和Cr指示的两个色度(简写为chroma)分量。亮度分量Y表示亮度或灰度水平强度(例如,在灰度等级图片中两者相同),而两个色度分量Cb和Cr表示色度或颜色信息分量。相应地,YCbCr格式的图片包括亮度分量(Y)的亮度采样阵列,和色度分量(Cb和Cr)的两个色度采样阵列。RGB格式的图片可以转换或变换为YCbCr格式,反之亦然,该过程也称为色彩变换或转换。
另外,图片获取装置121可以为,例如用于捕获图片的相机,例如图片存储器的存储器,包括或存储先前捕获或产生的图片,和/或获取或接收图片的任何类别的(内部或外部)接口。其中,相机可以为,例如,本地的或集成在源设备中的集成相机,存储器可为本地的或例如集成在源设备中的集成存储器。接口可以为,例如,从外部视频源接收图片的外部接口,这里,外部视频源例如为外部图片捕获设备,比如相机、外部存储器或外部图片生成设备,外部图片生成设备例如为外部计算机图形处理器、计算机或服务器。另外,接口可以为根据任何专有或标准化接口协议的任何类别的接口,例如有线或无线接口、光接口。图2中获取图片数据125的接口可以是与通信接口124相同的接口或是通信接口124的一部分。其中,图片数据125(例如,视频数据)可以称为原始图片或原始图片数据。
在一些情况下,预处理器122用于接收图片数据125并对图片数据125执行预处理,以获取经预处理的图片(或经预处理的图片数据)126。其中,预处理器122执行的预处理可以包括整修、色彩格式转换(例如,从RGB转换为YCbCr)、调色或去噪。可以理解,预处理器122可以是可选组件。
在一些情况下,编码器123(例如,视频编码器)用于接收经预处理的图片(或经预处理的图片数据)126并提供经编码图片数据127。
在一些情况下,源设备12的通信接口124可以用于接收经编码图片数据127并传输至其它设备,例如,目标设备14或任何其它设备,以用于存储或直接重构,或用于在对应地存储编码数据13和/或传输编码数据13至其它设备之前处理经编码图片数据127,其它设备例如为目标设备14或任何其它用于解码或存储的设备。目标设备14的通信接口144用于例如,直接从源设备12或任何其它源接收经编码图片数据127或编码数据13,任何其它源例如为存储设备,存储设备例如为经编码图片数据存储设备。
其中,通信接口124和通信接口144可以用于藉由源设备12和目标设备14之间的直接通信链路或藉由任何类别的网络传输或接收经编码图片数据127或编码数据13,直接通信链路例如为直接有线或无线连接,任何类别的网络例如为有线或无线网络或其任何组合,或任何类别的私网和公网,或其任何组合。通信接口124可以例如用于将经编码图片数据127封装成合适的格式,例如包,以在通信链路或通信网络上传输。形成通信接口124的对应部分的通信接口144可以例如用于解封装编码数据13,以获取经编码图片数据127。通信接口124和通信接口144都可以配置为单向通信接口,如图2中用于经编码图片数据127的从源设备12指向目标设备14的箭头所指示,或配置为双向通信接口,以及可以用于例如发送和接收消息来建立连接、确认和交换任何其它与通信链路和/或例如经编码图片数据传输的数据传输有关的信息。
在一些情况下,解码器143用于接收经编码图片数据127并提供经解码图片数据(或经解码图片)145。
在一些情况下,目标设备14的处理器142用于后处理经解码图片数据(或经解码图片)145,例如,经解码图片,以获取经后处理图片数据146,例如,经后处理图片。处理器142执行的后处理可以包括,例如,色彩格式转换(例如,从YCbCr转换为RGB)、调色、整修或重采样,或任何其它处理,用于例如准备经解码图片数据(或经解码图片)145以由显示设备141显示。
在一些情况下,目标设备14的显示设备141用于接收经后处理图片数据145以向例如用户或观看者显示图片。显示设备141可以为或可以包括任何类别的用于呈现经重构图片的显示器,例如,集成的或外部的显示器或监视器。例如,显示器可以包括液晶显示器(liquid crystal display,LCD)、有机发光二极管(organic light emitting diode,OLED)显示器、等离子显示器、投影仪、微LED显示器、硅基液晶(liquid crystal onsilicon,LCoS)、数字光处理器(digital light processor,DLP)或任何类别的其它显示器。
另外,虽然图2将源设备12和目标设备14绘示为单独的设备,但设备实施例也可以同时包括源设备12和目标设备14或同时包括两者的功能性,即源设备12或对应的功能性以及目标设备14或对应的功能性。在此类实施例中,可以使用相同硬件和/或软件,或使用单独的硬件和/或软件,或其任何组合来实施源设备12或对应的功能性以及目标设备14或对应的功能性。不同单元的功能性或图2所示的源设备12和/或目标设备14的功能性的存在和(准确)划分可能根据实际设备和应用有所不同。
在一些情况下,编码器123(例如,视频编码器)和解码器143(例如,视频解码器)都可以实施为各种合适电路中的任一个,例如,一个或多个微处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application-specific integratedcircuit,ASIC)、现场可编程门阵列(field-programmable gate array,FPGA)、离散逻辑、硬件或其任何组合。如果部分地以软件实施所述技术,则设备可将软件的指令存储于合适的非暂时性计算机可读存储介质中,且可使用一或多个处理器以硬件执行指令从而执行本申请的技术。前述内容(包含硬件、软件、硬件与软件的组合等)中的任一者可视为一或多个处理器。编码器123和解码器143中的每一个可以包含在一或多个编码器或解码器中,所述编码器或解码器中的任一个可以集成为对应设备中的组合编码器/解码器(编解码器)的一部分。
应理解,对于以上参考编码器123所描述的实例中的每一个,解码器143可以用于执行相反过程。关于信令语法元素,解码器143可以用于接收并解析这种语法元素,相应地解码相关视频数据。在一些例子中,编码器123可以将一个或多个定义的语法元素熵编码成经编码视频比特流。在此类实例中,解码器143可以解析这种语法元素,并相应地解码相关视频数据。
下面以几个实施例为例对本申请的技术方案进行描述,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图3为本申请提供的一种预测模式确定方法的流程示意图,如图3所示,涉及一种视频解码中的块划分方式,用于决策编码树目标节点的划分方式,本实施例从解码端进行描述,本实施例的方法如下:
S301:根据目标节点的面积和所述目标节点的划分方式,确定所述目标节点的子节点的预测模式状态,所述预测模式状态包括限定帧内预测模式和限定帧间预测模式。
这里,以目标节点为CTU,划分方式为四叉树划分为例,将CTU作为四叉树的根节点,按照四叉树的划分方式,可能会划分为不同的子节点,这些子节点可能会使用不同的预测模式,不利于硬件的流水处理。
在根据目标节点的面积和所述目标节点的划分方式,确定所述目标节点的子节点的预测模式状态之前,还包括:解析目标节点的划分方式,其中,目标节点的划分方式可以是四叉树划分、竖直二分、水平二分、竖直扩展四叉树划分、水平扩展四叉树划分中的至少一种,还可以是其它的划分方式,本申请在此不做限定。示例性的,目标节点的划分方式信息通常在码流中传输,通过解析码流中相应的语法元素可解析得到目标节点的划分方式。
可选地,所述根据目标节点的面积和所述目标节点的划分方式,确定所述目标节点的子节点的预测模式状态,包括:
当所述子节点的面积小于预设阈值时,从码流中解析获得所述子节点的预测模式状态。其中,所述子节点的面积小于所述预设阈值,包括:所述目标节点采用二叉树划分或四叉树划分,且所述子节点的面积为64个像素;或者,所述目标节点采用扩展四叉树划分,且所述子节点的面积为128个像素。
可选地,所述目标节点的面积为所述目标节点的宽与高的乘积。
示例性的,目标节点划分后产生的子节点的面积小于预设阈值S的判断方法可以采用如下方法之一:
方式一:如果目标节点使用BT划分且sizeC/2小于阈值S,或者如果目标节点使用QT划分且sizeC/4小于阈值S,或者如果目标节点使用EQT划分且sizeC/4小于阈值S,则判断目标节点划分后产生的子节点的面积小于阈值S。其中,sizeC为目标节点的面积,阈值S为正整数,例如S为64或者32,默认为64。本申请实施例中,如果目标节点的宽为W,高为H,则目标节点的面积sizeC为W和H的乘积。
方式二:目标节点使用BT划分或QT划分且目标节点的面积为sizeC1,或者目标节点使用EQT划分且目标节点的面积为sizeC2,则判断目标节点划分后产生的子节点面积小于阈值S。其中sizeC1为64或128,sizeC2为128或256。
方式三:目标节点使用BT划分且目标节点的面积为sizeC1,或者目标节点使用EQT划分且目标节点的面积为sizeC2,则判断目标节点划分后产生的子节点面积小于阈值S。其中sizeC1为64或128,sizeC2为128或256。
方式四:目标节点使用BT划分且目标节点的面积为sizeC1,则判断目标节点划分后产生的子节点面积小于阈值S。其中sizeC1为64或128。
方式五:目标节点使用EQT划分且目标节点的面积为sizeC2,则判断目标节点划分后产生的子节点面积小于阈值S。其中sizeC2为128或256。
方式六:目标节点使用QT划分且目标节点的面积为sizeC3,则判断目标节点划分后产生的子节点面积小于阈值S。其中sizeC2为64或256。
可选地,当所述子节点的面积大于或等于所述预设阈值,确定所述子节点的预测模式状态为所述目标节点的预测模式状态。
可选地,所述从码流中解析获得所述子节点的预测模式状态,包括:从所述码流中解析获得预测模式标志位的值,当所述预测模式标志位的值为第一预设值时,确定所述子节点的预测模式状态为所述限定帧内预测模式;当所述预测模式标志位的值为第二预设值时,确定所述子节点的预测模式状态为所述限定帧间预测模式,其中,所述第一预设值和所述第二预设值不同。
可选地,所述预测模式状态还包括不限定帧内帧间预测模式。
示例性的,在一个实施例中,如图4所示,目标节点按照划分方式划分为多个子节点,如果目标节点的cons_pred_mode为NO_MODE_CONS,判断划分后产生的子节点面积是否小于预设阈值S,其中,上述变量cons_pred_mode一共有三种状态值,即:cons_pred_mode等于第一值ONLY_INTRA表示节点只能使用帧内预测模式,不允许使用帧间预测模式,即限定帧内预测模式;cons_pred_mode等于第二值ONLY_INTER表示节点只能使用帧间预测模式,不允许使用帧内预测模式,即限定帧间预测模式。cons_pred_mode等于第三值NO_MODE_CONS表示节点的预测模式不作限制,节点允许使用帧内预测模式或者帧间预测模式,即不限定帧内帧间预测模式。CTU节点(即编码树的根节点)的cons_pred_mode设置为NO_MODE_CONS。
如果目标节点划分后产生的子节点面积小于阈值S,则从码流中解析预测模式标志位cons_pred_mode_flag;否则,无需解析码流,目标节点的子节点的cons_pred_mode变量值被设置为目标节点的cons_pred_mode,即子节点的预测模式状态被设置为目标节点的预测模式状态,不需要从码流中解析cons_pred_mode_flag。其中,如果cons_pred_mode_flag为0,则目标节点的子节点的cons_pred_mode变量值被设置为ONLY_INTER,如果cons_pred_mode_flag为1,则目标节点的子节点的cons_pred_mode变量值被设置为ONLY_INTRA。
举例说明如下:如果目标节点解析了cons_pred_mode_flag,并且目标节点划分得到两个子节点C1和C2,其中,C1还可以继续划分得到C1的子节点C10和C11,C2不需要继续划分,直接为一个CU,子节点C10和C11不需要继续划分,分别为一个CU。如果cons_pred_mode_flag为1,则确定目标节点的子节点的cons_pred_mode为ONLY_INTRA。首先,确定C1和C2的cons_pred_mode的值为ONLY_INTRA。其次,因为C1的cons_pred_mode值不等于NO_MODE_CONS,所以C1的子节点C10和C11的cons_pred_mode的值确定为C1的cons_pred_mode值(即ONLY_INTRA),对C1无需解析cons_pred_mode_flag。类似的,如果cons_pred_mode_flag为0,则确定目标节点的子节点的cons_pred_mode为ONLY_INTER,此时C1、C10和C11的cons_pred_mode的值确定为ONLY_INTER。
可选地,上述帧内预测模式为使用编码块所在图像的空域参考像素产生编码块的预测值的预测模式,如直流模式(direct current mode,DC mode),平面模式(Planarmode),角度模式(angular mode),还可能包含模版匹配模式(template matching mode)。
上述帧间预测模式为使用编码块的参考图像中的时域参考像素产生编码块的预测值的预测模式,如跳过模式(Skip mode),直接模式(Direct mode),AMVP(advancedmotion vector prediction)模式或称普通Inter模式等。
S302:根据所述子节点的预测模式状态,确定所述子节点的预测模式。
可选地,所述根据所述子节点的预测模式状态,确定所述子节点的预测模式,包括:
根据所述子节点的预测模式状态,从所述码流中解析获得所述子节点的预测模式。
可选地,所述根据所述子节点的预测模式状态,从所述码流中解析获得所述子节点的预测模式,包括:
当所述子节点的预测模式状态为所述限定帧内预测模式时,从码流中解析获得所述子节点的帧内预测标志,以确定所述子节点的帧内预测模式;
当所述子节点的预测模式状态为所述不限定帧内帧间预测模式时,从码流中解析获得所述子节点的跳过模式标志和/或直接模式标志和/或预测模式标志,以确定所述子节点的预测模式。
可选地,所述根据所述子节点的预测模式状态,从所述码流中解析获得所述子节点的预测模式,包括:
当所述子节点的预测模式状态为所述限定帧间预测模式或所述不限定帧内帧间预测模式时,从所述码流中解析获得所述子节点的跳过模式标志和/或直接模式标志,以确定所述子节点的预测模式。
可选地,还包括:
根据所述子节点的预测模式,获得所述子节点对应的重建图像。
可选地,所述根据所述子节点的预测模式,获得所述子节点对应的重建图像,包括:
根据所述预测模式对所述子节点进行预测处理,以获得所述子节点的预测图像。对残差信息进行反量化和/或反变换处理,以获得所述子节点的残差图像,所述残差信息通过解析所述码流获得。将所述残差图像和所述预测图像做叠加处理,以获得所述子节点对应的重建图像。
可选地,当所述子节点的预测模式状态为所述限定帧内预测模式时,所述子节点的预测模式只使用帧内预测模式。
可选地,当所述子节点的预测模式状态为所述限定帧间预测模式时,所述子节点的预测模式只使用帧间预测模式。
可选地,当所述子节点的预测模式状态为所述不限定帧内帧间预测模式时,所述子节点的预测模式可使用帧间预测模式和帧内预测模式。
示例性的,对目标节点的各个子节点,根据子节点的cons_pred_mode值,解析各子节点预测信息;从码流中解析各子节点的残差信息。
如果子节点不划分,则该子节点成为一个编码单元(编码单元的cons_pred_mode值等于节点的cons_pred_mode值);如果子节点继续划分,则解析其划分方式进行递归划分,直至节点不划分,成为编码单元。
所述预测信息包括:预测模式(指示帧内预测或非帧内预测模式)、帧内预测模式、帧间预测模式、运动信息等。运动信息可包括预测方向(前向、后向或双向)、参考帧索引(reference index)、运动矢量(motion vector)等信息。上述残差信息包括:编码块标志位(coded block flag,cbf)、变换系数、变换类型(例如DCT-2,DST-7,DCT-8)等。变换类型可默认为DCT-2变换。
其中,根据cons_pred_mode的值,解析目标节点内各个编码单元的预测模式信息,确定方法描述如下,语法表例如表2所示:
表2
如果cons_pred_mode==ONLY_INTER,则限制目标节点内各个编码单元均使用帧间预测模式。相应的,解析skip_flag或/和direct_flag的值,而无需解析cu_pred_mode的值,cu_pred_mode默认为0。如表2所示,“cons_pred_mode不等于ONLY_INTRA”的条件判断不成立时,不解析skip_flag和direct_flag标志位,“cons_pred_mode等于NO_MODE_CONS”的条件判断不成立时,不解析cu_pred_mode。例如:对一个编码单元,如果解析得到skip_flag为0,且解析得到direct_flag为0,则确定此编码单元使用普通inter模式。继续解析获取其余预测信息。
如果cons_pred_mode==ONLY_INTRA,则限制目标节点内各个编码单元均使用帧内预测模式,此时无需从码流中解析skip_flag、direct_flag及cu_pred_mode三个语法元素的值,其中skip_flag默认为0,direct_flag默认为0,cu_pred_mode默认为1。后续继续解析帧内预测标志等信息。
如果cons_pred_mode==NO_MODE_CONS,则不限制目标节点内各个编码单元的预测模式。例如,这种情况下如果skip_flag和direct_flag均解析为0,则需要解析cu_pred_mode。
上述在根据cons_pred_mode的值,解析目标节点内各个编码单元的预测模式信息过程中可以跳过节点的一些预测模式相关的语法元素的解析过程,无需全部解析,例如如果节点只能使用帧间预测模式,则cu_pred_mode默认0;如果节点只能使用帧内预测模式,则skip_flag和direct_flag默认为0,cu_pred_mode默认为1。
在获得每个CU的划分方式和各子区域的预测信息和残差信息后,可根据各子区域相应的预测模式对各子区域执行帧间预测处理或帧内预测处理,得到各子区域的帧间预测图像或帧内预测图像。再根据各子区域的残差信息,将变换系数经过反量化和/或反变换处理得到残差图像,并叠加到对应子区域的预测图像上,产生重建图像。
本实施例,对于面积小于阈值S(例如S为64或者128)的编码块,使用相同的预测模式(同为帧间或同为帧内预测),便于硬件的流水处理,同时在帧间预测中,可以跳过一些预测模式的语法元素的解析过程,从而减小编码复杂度。
另外,本申请还提出了另一种预测模式确定方法,对于面积小于阈值S(例如S为64或者128)的节点,使用帧间预测,便于硬件的流水处理。
示例性的,当一个节点划分产生的子节点面积小于阈值时,无需从码流中解析标志位,确定该节点的所有子节点只能使用帧间预测模式。
示例性的,首先解析目标节点的划分方式,如果目标节点不再划分成子节点,则目标节点为编码单元,解析编码单元信息。
如果目标节点继续划分,则根据目标节点的面积、目标节点的划分方式、目标节点的cons_pred_mode变量值,确定目标节点的子节点的cons_pred_mode变量值。
所述变量cons_pred_mode一共有两种状态值,即:cons_pred_mode等于第二值ONLY_INTER表示节点只能使用帧间预测模式,不允许使用帧内预测模式,即限定帧间预测模式。cons_pred_mode等于第三值NO_MODE_CONS表示节点的预测模式不作限制,节点允许使用帧内预测模式或者帧间预测模式,即不限定帧内帧间预测模式。CTU节点(即编码树的根节点)的cons_pred_mode设置为NO_MODE_CONS。
如果目标节点的cons_pred_mode为NO_MODE_CONS,目标节点划分后产生的子节点面积小于阈值S,则目标节点的子节点的cons_pred_mode变量值被设置为ONLY_INTER;否则,即目标节点划分后产生的子节点面积大于或等于阈值S,目标节点的子节点的cons_pred_mode变量值被设置为目标节点的cons_pred_mode变量值。
然后,对目标节点的各个子节点,根据子节点的cons_pred_mode值,解析各子节点预测信息;从码流中解析各子节点的残差信息。
如果子节点不划分,则该子节点成为一个编码单元(编码单元的cons_pred_mode值等于节点的cons_pred_mode值);如果子节点继续划分,则解析其划分方式进行递归划分,直至节点不划分,成为编码单元。
其中,根据cons_pred_mode的值,解析目标节点内各个编码单元的预测模式信息,确定方法描述如下,语法表例如表3所示:
表3
如果cons_pred_mode==ONLY_INTER,则限制目标节点内各个编码单元均使用帧间预测模式。相应的,解析skip_flag或/和direct_flag的值,而无需解析cu_pred_mode的值,cu_pred_mode默认为0。如表3所示,“cons_pred_mode等于NO_MODE_CONS”的条件判断不成立时,不解析cu_pred_mode。例如:对一个编码单元,如果解析得到skip_flag为0,且解析得到direct_flag为0,则确定此编码单元使用普通inter模式。继续解析获取其余预测信息。
如果cons_pred_mode==NO_MODE_CONS,则不限制目标节点内各个编码单元的预测模式。例如,这种情况下如果skip_flag和direct_flag均解析为0,则需要解析cu_pred_mode。
在获得每个CU的划分方式和各子区域的预测信息和残差信息后,可根据各子区域相应的预测模式对各子区域执行帧间预测处理,得到各子区域的帧间预测图像。再根据各子区域的残差信息,将变换系数经过反量化和/或反变换处理得到残差图像,并叠加到对应子区域的预测图像上,产生重建图像。
本实施例,对于面积小于阈值S(例如S为64或者128)的编码块,限制只使用帧间预测模式,便于硬件的流水处理,同时在帧间预测中,可以跳过一些预测模式的语法元素的解析过程,从而减小编码复杂度。
图5为本申请提供的一种预测模式确定装置的结构示意图,该装置包括:第一确定模块501和第二确定模块502。
其中,第一确定模块501,用于根据目标节点的面积和所述目标节点的划分方式,确定所述目标节点的子节点的预测模式状态,所述预测模式状态包括限定帧内预测模式和限定帧间预测模式。
第二确定模块502,用于根据所述子节点的预测模式状态,确定所述子节点的预测模式。
可选地,所述第一确定模块501具体用于:
当所述子节点的面积小于预设阈值时,从码流中解析获得所述子节点的预测模式状态;其中,所述子节点的面积小于所述预设阈值,包括:
所述目标节点采用二叉树划分或四叉树划分,且所述子节点的面积为64个像素;或者,
所述目标节点采用扩展四叉树划分,且所述子节点的面积为128个像素。
可选地,所述第一确定模块501还具体用于:
当所述子节点的面积大于或等于所述预设阈值,确定所述子节点的预测模式状态为所述目标节点的预测模式状态。
可选地,所述第一确定模块501从码流中解析获得所述子节点的预测模式状态,包括:
从所述码流中解析获得预测模式标志位的值;
当所述预测模式标志位的值为第一预设值时,确定所述子节点的预测模式状态为所述限定帧内预测模式;
当所述预测模式标志位的值为第二预设值时,确定所述子节点的预测模式状态为所述限定帧间预测模式,其中,所述第一预设值和所述第二预设值不同。
可选地,所述目标节点的面积为所述目标节点的宽与高的乘积。
可选地,所述预测模式状态还包括不限定帧内帧间预测模式。
可选地,所述第二确定模块502具体用于:
根据所述子节点的预测模式状态,从所述码流中解析获得所述子节点的预测模式。
可选地,所述第二确定模块502根据所述子节点的预测模式状态,从所述码流中解析获得所述子节点的预测模式,包括:
当所述子节点的预测模式状态为所述限定帧内预测模式时,从码流中解析获得所述子节点的帧内预测标志,以确定所述子节点的帧内预测模式;
当所述子节点的预测模式状态为所述不限定帧内帧间预测模式时,从码流中解析获得所述子节点的跳过模式标志和/或直接模式标志和/或预测模式标志,以确定所述子节点的预测模式。
可选地,所述第二确定模块502根据所述子节点的预测模式状态,从所述码流中解析获得所述子节点的预测模式,包括:
当所述子节点的预测模式状态为所述限定帧间预测模式或所述不限定帧内帧间预测模式时,从所述码流中解析获得所述子节点的跳过模式标志和/或直接模式标志,以确定所述子节点的预测模式。
可选地,上述装置还包括:
重建图像获得模块503,用于根据所述子节点的预测模式,获得所述子节点对应的重建图像。
可选地,所述重建图像获得模块503具体用于:
根据所述预测模式对所述子节点进行预测处理,以获得所述子节点的预测图像;
对残差信息进行反量化和/或反变换处理,以获得所述子节点的残差图像,所述残差信息通过解析所述码流获得;
将所述残差图像和所述预测图像做叠加处理,以获得所述子节点对应的重建图像。
可选地,当所述子节点的预测模式状态为所述限定帧内预测模式时,所述子节点的预测模式只使用帧内预测模式。
可选地,当所述子节点的预测模式状态为所述限定帧间预测模式时,所述子节点的预测模式只使用帧间预测模式。
可选地,当所述子节点的预测模式状态为所述不限定帧内帧间预测模式时,所述子节点的预测模式可使用帧间预测模式和帧内预测模式。
本实施例的装置,对应地可用于执行图3所示实施例中的技术方案,其实现原理和技术效果类似,此处不再赘述。
图6为本申请提供的另一种预测模式确定装置的结构示意图,该装置包括处理器601、存储器602和收发器603,所述存储器602用于存储指令,所述收发器603用于和其他设备通信,所述处理器601用于执行所述存储器中存储的指令,以使预测模式确定装置执行图3任一所述的方法的技术方案。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质存储有指令,当所述指令被计算装置执行时,使得预测模式确定装置执行如图3任一所述的方法的技术方案。
在本申请的实施例中,处理器用于实现对数据的处理,可以是中央处理器(central processing unit,CPU),网络处理器(network processor,NP)或者CPU和NP的组合。处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmable logic device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logicdevice,CPLD),现场可编程逻辑门阵列(field-programmable gate array,FPGA),通用阵列逻辑(Generic Array Logic,GAL)或其任意组合。
示例性的,处理器可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。
本实施例中存储器用于存储处理器执行的计算机指令。存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(randomaccess memory,RAM),其用作外部高速缓存。存储器可以是独立于处理器的单元,也可以是处理器中的存储器,在此不做限定。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
Claims (30)
1.一种预测模式确定方法,其特征在于,包括:
根据目标节点的面积和所述目标节点的划分方式,确定所述目标节点的子节点的预测模式状态,所述预测模式状态包括限定帧内预测模式和限定帧间预测模式;
根据所述子节点的预测模式状态,确定所述子节点的预测模式。
2.根据权利要求1所述的方法,其特征在于,所述根据目标节点的面积和所述目标节点的划分方式,确定所述目标节点的子节点的预测模式状态,包括:
当所述子节点的面积小于预设阈值时,从码流中解析获得所述子节点的预测模式状态;
其中,所述子节点的面积小于所述预设阈值,包括:
所述目标节点采用二叉树划分或四叉树划分,且所述子节点的面积为64个像素;或者,
所述目标节点采用扩展四叉树划分,且所述子节点的面积为128个像素。
3.根据权利要求2所述的方法,其特征在于,还包括:
当所述子节点的面积大于或等于所述预设阈值,确定所述子节点的预测模式状态为所述目标节点的预测模式状态。
4.根据权利要求2或3所述的方法,其特征在于,所述从码流中解析获得所述子节点的预测模式状态,包括:
从所述码流中解析获得预测模式标志位的值;
当所述预测模式标志位的值为第一预设值时,确定所述子节点的预测模式状态为所述限定帧内预测模式;
当所述预测模式标志位的值为第二预设值时,确定所述子节点的预测模式状态为所述限定帧间预测模式,其中,所述第一预设值和所述第二预设值不同。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述目标节点的面积为所述目标节点的宽与高的乘积。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述预测模式状态还包括不限定帧内帧间预测模式。
7.根据权利要求6所述的方法,其特征在于,所述根据所述子节点的预测模式状态,确定所述子节点的预测模式,包括:
根据所述子节点的预测模式状态,从码流中解析获得所述子节点的预测模式。
8.根据权利要求7所述的方法,其特征在于,所述根据所述子节点的预测模式状态,从码流中解析获得所述子节点的预测模式,包括:
当所述子节点的预测模式状态为所述限定帧内预测模式时,从所述码流中解析获得所述子节点的帧内预测标志,以确定所述子节点的帧内预测模式;
当所述子节点的预测模式状态为所述不限定帧内帧间预测模式时,从所述码流中解析获得所述子节点的跳过模式标志和/或直接模式标志和/或预测模式标志,以确定所述子节点的预测模式。
9.根据权利要求7所述的方法,其特征在于,所述根据所述子节点的预测模式状态,从码流中解析获得所述子节点的预测模式,包括:
当所述子节点的预测模式状态为所述限定帧间预测模式或所述不限定帧内帧间预测模式时,从所述码流中解析获得所述子节点的跳过模式标志和/或直接模式标志,以确定所述子节点的预测模式。
10.根据权利要求1至9任一项所述的方法,其特征在于,还包括:
根据所述子节点的预测模式,获得所述子节点对应的重建图像。
11.根据权利要求10所述的方法,其特征在于,所述根据所述子节点的预测模式,获得所述子节点对应的重建图像,包括:
根据所述预测模式对所述子节点进行预测处理,以获得所述子节点的预测图像;
对残差信息进行反量化和/或反变换处理,以获得所述子节点的残差图像,所述残差信息通过解析码流获得;
将所述残差图像和所述预测图像做叠加处理,以获得所述子节点对应的重建图像。
12.根据权利要求1至11任一项所述的方法,其特征在于,当所述子节点的预测模式状态为所述限定帧内预测模式时,所述子节点的预测模式只包括帧内预测模式。
13.根据权利要求1至11任一项所述的方法,其特征在于,当所述子节点的预测模式状态为所述限定帧间预测模式时,所述子节点的预测模式只包括帧间预测模式。
14.根据权利要求6至11任一项所述的方法,其特征在于,当所述子节点的预测模式状态为不限定帧内帧间预测模式时,所述子节点的预测模式包括帧间预测模式和帧内预测模式。
15.一种预测模式确定装置,其特征在于,包括:
第一确定模块,用于根据目标节点的面积和所述目标节点的划分方式,确定所述目标节点的子节点的预测模式状态,所述预测模式状态包括限定帧内预测模式和限定帧间预测模式;
第二确定模块,用于根据所述子节点的预测模式状态,确定所述子节点的预测模式。
16.根据权利要求15所述的装置,其特征在于,所述第一确定模块具体用于:
当所述子节点的面积小于预设阈值时,从码流中解析获得所述子节点的预测模式状态;
其中,所述子节点的面积小于所述预设阈值,包括:
所述目标节点采用二叉树划分或四叉树划分,且所述子节点的面积为64个像素;或者,
所述目标节点采用扩展四叉树划分,且所述子节点的面积为128个像素。
17.根据权利要求16所述的装置,其特征在于,所述第一确定模块还具体用于:
当所述子节点的面积大于或等于所述预设阈值,确定所述子节点的预测模式状态为所述目标节点的预测模式状态。
18.根据权利要求16或17所述的装置,其特征在于,所述第一确定模块从码流中解析获得所述子节点的预测模式状态,包括:
从所述码流中解析获得预测模式标志位的值;
当所述预测模式标志位的值为第一预设值时,确定所述子节点的预测模式状态为所述限定帧内预测模式;
当所述预测模式标志位的值为第二预设值时,确定所述子节点的预测模式状态为所述限定帧间预测模式,其中,所述第一预设值和所述第二预设值不同。
19.根据权利要求15至18任一项所述的装置,其特征在于,所述目标节点的面积为所述目标节点的宽与高的乘积。
20.根据权利要求15至19任一项所述的装置,其特征在于,所述预测模式状态还包括不限定帧内帧间预测模式。
21.根据权利要求20所述的装置,其特征在于,所述第二确定模块具体用于:
根据所述子节点的预测模式状态,从码流中解析获得所述子节点的预测模式。
22.根据权利要求21所述的装置,其特征在于,所述第二确定模块根据所述子节点的预测模式状态,从码流中解析获得所述子节点的预测模式,包括:
当所述子节点的预测模式状态为所述限定帧内预测模式时,从所述码流中解析获得所述子节点的帧内预测标志,以确定所述子节点的帧内预测模式;
当所述子节点的预测模式状态为所述不限定帧内帧间预测模式时,从所述码流中解析获得所述子节点的跳过模式标志和/或直接模式标志和/或预测模式标志,以确定所述子节点的预测模式。
23.根据权利要求21所述的装置,其特征在于,所述第二确定模块根据所述子节点的预测模式状态,从码流中解析获得所述子节点的预测模式,包括:
当所述子节点的预测模式状态为所述限定帧间预测模式或所述不限定帧内帧间预测模式时,从所述码流中解析获得所述子节点的跳过模式标志和/或直接模式标志,以确定所述子节点的预测模式。
24.根据权利要求15至23任一项所述的装置,其特征在于,还包括:
重建图像获得模块,用于根据所述子节点的预测模式,获得所述子节点对应的重建图像。
25.根据权利要求24所述的装置,其特征在于,所述重建图像获得模块具体用于:
根据所述预测模式对所述子节点进行预测处理,以获得所述子节点的预测图像;
对残差信息进行反量化和/或反变换处理,以获得所述子节点的残差图像,所述残差信息通过解析码流获得;
将所述残差图像和所述预测图像做叠加处理,以获得所述子节点对应的重建图像。
26.根据权利要求15至25任一项所述的装置,其特征在于,当所述子节点的预测模式状态为所述限定帧内预测模式时,所述子节点的预测模式只包括帧内预测模式。
27.根据权利要求15至25任一项所述的装置,其特征在于,当所述子节点的预测模式状态为所述限定帧间预测模式时,所述子节点的预测模式只包括帧间预测模式。
28.根据权利要求20至25任一项所述的装置,其特征在于,当所述子节点的预测模式状态为不限定帧内帧间预测模式时,所述子节点的预测模式包括帧间预测模式和帧内预测模式。
29.一种预测模式确定装置,其特征在于,包括:
处理器、存储器和收发器,所述存储器用于存储指令,所述收发器用于和其他设备通信,所述处理器用于执行所述存储器中存储的指令,以使预测模式确定装置执行如权利要求1-14任一项所述的方法。
30.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有指令,当所述指令被计算装置执行时,使得预测模式确定装置执行如权利要求1-14任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2019/120822 WO2020143348A1 (zh) | 2019-01-08 | 2019-11-26 | 预测模式确定方法和装置 |
US17/369,703 US20210337189A1 (en) | 2019-01-08 | 2021-07-07 | Prediction mode determining method and apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910016466 | 2019-01-08 | ||
CN2019100164663 | 2019-01-08 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111416975A true CN111416975A (zh) | 2020-07-14 |
CN111416975B CN111416975B (zh) | 2022-09-16 |
Family
ID=71492682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910457372.XA Active CN111416975B (zh) | 2019-01-08 | 2019-05-29 | 预测模式确定方法和装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210337189A1 (zh) |
CN (1) | CN111416975B (zh) |
WO (1) | WO2020143348A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7317973B2 (ja) * | 2019-01-08 | 2023-07-31 | 華為技術有限公司 | 画像予測方法、機器、及びシステム、装置、及び記憶媒体 |
US20230360273A1 (en) * | 2020-08-12 | 2023-11-09 | Lg Electronics Inc. | Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus, and point cloud data reception method |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102098519A (zh) * | 2009-12-09 | 2011-06-15 | 浙江大学 | 视频编码方法、解码方法、编码及解码装置 |
WO2013039363A2 (ko) * | 2011-09-16 | 2013-03-21 | 한국전자통신연구원 | 영상 부호화/복호화 방법 및 그 장치 |
US20130266074A1 (en) * | 2012-04-05 | 2013-10-10 | Qualcomm Incorporated | Coded block flag coding |
US20140184740A1 (en) * | 2012-12-28 | 2014-07-03 | Qualcomm Incorporated | Parsing syntax elements in three-dimensional video coding |
CN104717498A (zh) * | 2010-04-23 | 2015-06-17 | M&K控股株式会社 | 用于对图像编码的设备 |
CN107439014A (zh) * | 2015-04-08 | 2017-12-05 | Lg 电子株式会社 | 编码/解码视频信号的方法和装置 |
CN108781289A (zh) * | 2016-03-22 | 2018-11-09 | 高通股份有限公司 | 针对视频译码工具的受约束块层级优化和用信号发送 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DK2763414T3 (da) * | 2011-09-29 | 2020-11-30 | Sharp Kk | Billedafkodningsindretning og fremgangsmåde til billedafkodning til udførelse af konvertering af bi-forudsigelse til uni-forudsigelse |
US9219913B2 (en) * | 2012-06-13 | 2015-12-22 | Qualcomm Incorporated | Inferred base layer block for TEXTURE—BL mode in HEVC based single loop scalable video coding |
JP6328277B2 (ja) * | 2014-06-20 | 2018-05-23 | 寰發股▲ふん▼有限公司HFI Innovation Inc. | ビデオ符号化(coding)のパレット予測器シグナリング方法 |
CN116828177A (zh) * | 2016-06-24 | 2023-09-29 | 世宗大学校产学协力团 | 视频信号解码和编码方法、比特流的传输方法 |
WO2018037853A1 (ja) * | 2016-08-26 | 2018-03-01 | シャープ株式会社 | 画像復号装置及び画像符号化装置 |
CN116668728A (zh) * | 2016-11-08 | 2023-08-29 | 株式会社Kt | 对视频进行解码和编码的方法、发送压缩数据的方法 |
KR102599115B1 (ko) * | 2017-05-17 | 2023-11-06 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
KR20230137497A (ko) * | 2018-05-10 | 2023-10-04 | 삼성전자주식회사 | 영상의 부호화 및 복호화를 위한 영상의 분할 방법 및 장치 |
CN110636299B (zh) * | 2018-06-21 | 2022-06-14 | 北京字节跳动网络技术有限公司 | 用于处理视频数据的方法、装置及计算机可读记录介质 |
CA3101176A1 (en) * | 2018-06-27 | 2020-01-02 | Kt Corporation | Method and apparatus for processing video signal |
-
2019
- 2019-05-29 CN CN201910457372.XA patent/CN111416975B/zh active Active
- 2019-11-26 WO PCT/CN2019/120822 patent/WO2020143348A1/zh active Application Filing
-
2021
- 2021-07-07 US US17/369,703 patent/US20210337189A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102098519A (zh) * | 2009-12-09 | 2011-06-15 | 浙江大学 | 视频编码方法、解码方法、编码及解码装置 |
CN104717498A (zh) * | 2010-04-23 | 2015-06-17 | M&K控股株式会社 | 用于对图像编码的设备 |
WO2013039363A2 (ko) * | 2011-09-16 | 2013-03-21 | 한국전자통신연구원 | 영상 부호화/복호화 방법 및 그 장치 |
US20130266074A1 (en) * | 2012-04-05 | 2013-10-10 | Qualcomm Incorporated | Coded block flag coding |
US20140184740A1 (en) * | 2012-12-28 | 2014-07-03 | Qualcomm Incorporated | Parsing syntax elements in three-dimensional video coding |
CN107439014A (zh) * | 2015-04-08 | 2017-12-05 | Lg 电子株式会社 | 编码/解码视频信号的方法和装置 |
CN108781289A (zh) * | 2016-03-22 | 2018-11-09 | 高通股份有限公司 | 针对视频译码工具的受约束块层级优化和用信号发送 |
Also Published As
Publication number | Publication date |
---|---|
CN111416975B (zh) | 2022-09-16 |
US20210337189A1 (en) | 2021-10-28 |
WO2020143348A1 (zh) | 2020-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11218694B2 (en) | Adaptive multiple transform coding | |
JP2020145716A (ja) | 並列処理のためのイントラブロックコピー予測制限 | |
KR20210113390A (ko) | 인트라 예측의 인코더, 디코더 및 대응하는 방법 | |
CN111327904B (zh) | 图像重建方法和装置 | |
CN112954367B (zh) | 使用调色板译码的编码器、解码器和相应方法 | |
CN111355951B (zh) | 视频解码方法、装置及解码设备 | |
CN112673633A (zh) | 合并模式的编码器、解码器及对应方法 | |
CN111385572B (zh) | 预测模式确定方法、装置及编码设备和解码设备 | |
CN115668915A (zh) | 图像编码方法、图像解码方法及相关装置 | |
CN113796078A (zh) | 帧内预测模式相关的编码器、解码器及对应方法 | |
JP2023153802A (ja) | イントラ・サブパーティション・コーディング・ツールによって引き起こされるサブパーティション境界のためのデブロッキングフィルタ | |
CN115211114A (zh) | 编码器、解码器和参数集中的指示和语义的对应方法 | |
CN115039406A (zh) | 编码器、解码器和用于在序列参数集中指示子图像的对应方法 | |
CN113660489B (zh) | 用于帧内子划分的解码方法、装置、解码器和存储介质 | |
CN111416981A (zh) | 视频图像解码、编码方法及装置 | |
US20210337189A1 (en) | Prediction mode determining method and apparatus | |
CN111937389B (zh) | 用于视频编解码的设备和方法 | |
WO2020253681A1 (zh) | 融合候选运动信息列表的构建方法、装置及编解码器 | |
CN113348665A (zh) | 编码器、解码器及色度帧内模式推导的对应方法 | |
CN111327899A (zh) | 视频译码器及相应方法 | |
CN116193146A (zh) | 图像划分方法及装置 | |
CN112055211B (zh) | 视频编码器及qp设置方法 | |
CN111435989B (zh) | 视频编码、解码方法、装置及计算机存储介质 | |
CN114846789A (zh) | 用于指示条带的图像分割信息的解码器及对应方法 | |
CN113574870A (zh) | 编码器、解码器及对应的使用帧内模式译码进行帧内预测的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |