CN111757105B - 图像编码处理方法、装置、设备和介质 - Google Patents
图像编码处理方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN111757105B CN111757105B CN202010620842.2A CN202010620842A CN111757105B CN 111757105 B CN111757105 B CN 111757105B CN 202010620842 A CN202010620842 A CN 202010620842A CN 111757105 B CN111757105 B CN 111757105B
- Authority
- CN
- China
- Prior art keywords
- mode
- prediction
- subset
- prediction mode
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 60
- 230000008569 process Effects 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 19
- 230000001174 ascending effect Effects 0.000 claims description 18
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请实施例公开了一种图像编码处理方法、装置、设备和介质,涉及云计算和图像处理技术。其中,该方法包括:确定图像编码过程中当前编码块的粗选预测模式集合;确定粗选预测模式集合中模式代价小于第一阈值的第一预测模式,以及确定最可能模式子集合中模式代价小于第二阈值的第二预测模式;如果第一预测模式和第二预测模式的模式代价不相同,则按照粗选预测模式集合中模式代价排序结果和模式类型,确定候选模式子集合;从候选模式子集合中确定当前编码块的目标预测模式;利用目标预测模式对当前编码块进行编码处理。本申请实施例可以优化图像编码处理过程中对编码预测模式的选择,提高编码效率。
Description
技术领域
本申请实施例涉及计算机技术,具体涉及云计算和图像处理技术,尤其涉及一种图像编码处理方法、装置、设备和介质。
背景技术
HEVC(High Efficiency Video Coding,高效率视频编码)是新一代的视频编码压缩标准。与前一代H.264/AVC标准相比,同一视频在同等清晰度下,采用HEVC标准可以节省将近50%的码率,具有更广泛的应用前景。
在H264标准中,视频帧内预测只包含9种预测模式,然而,在HEVC标准中则高达35种预测模式,具体包含33种角度模式,以及1种直流模式(DC mode)和1种平面模式(Planarmode)。这使得在视频编码过程中,HEVC标准虽然能够实现更精细的预测粒度,达到更高的压缩效率,但是过多的帧内预测模式,极大增加了帧内编码的计算量,使得编码处理效率较低。
发明内容
本申请实施例提供了一种图像编码处理方法、装置、设备和介质,以优化图像编码处理过程中对编码预测模式的选择,减少图像编码的计算量,提高编码效率。
根据本申请实施例的一方面,提供了一种图像编码处理方法,包括:
确定图像编码过程中当前编码块的粗选预测模式集合;其中,所述粗选预测模式集合中包括所述当前编码块的最可能模式子集合;
确定所述粗选预测模式集合中模式代价小于第一阈值的第一预测模式,以及确定所述最可能模式子集合中模式代价小于第二阈值的第二预测模式;
如果所述第一预测模式和所述第二预测模式的模式代价不相同,则按照所述粗选预测模式集合中模式代价排序结果和模式类型,确定候选模式子集合;
从所述候选模式子集合中确定所述当前编码块的目标预测模式;
利用所述目标预测模式对所述当前编码块进行编码处理。
根据本申请实施例的另一方面,提供了一种图像编码处理装置,包括:
粗选预测模式集合确定模块,用于确定图像编码过程中当前编码块的粗选预测模式集合;其中,所述粗选预测模式集合中包括所述当前编码块的最可能模式子集合;
模式筛选模块,用于确定所述粗选预测模式集合中模式代价小于第一阈值的第一预测模式,以及确定所述最可能模式子集合中模式代价小于第二阈值的第二预测模式;
候选模式子集合确定模块,用于如果所述第一预测模式和所述第二预测模式的模式代价不相同,则按照所述粗选预测模式集合中模式代价排序结果和模式类型,确定候选模式子集合;
目标预测模式确定模块,用于从所述候选模式子集合中确定所述当前编码块的目标预测模式;
编码处理模块,用于利用所述目标预测模式对所述当前编码块进行编码处理。
根据本申请实施例的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如本申请实施例任一所述的图像编码处理方法。
根据本申请实施例的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行如本申请实施例任一所述的图像编码处理方法。
根据本申请实施例的技术方案,通过确定粗选预测模式集合中模式代价小于第一阈值的第一预测模式,以及确定最可能模式子集合中模式代价小于第二阈值的第二预测模式;然后确定第一预测模式和第二预测模式的模式代价是否相同;如果第一预测模式和第二预测模式的模式代价不相同,则按照粗选预测模式集合中模式代价排序结果和模式类型,确定候选模式子集合,然后再从候选模式子集合中确定当前编码块的目标预测模式,以用于编码当前编码块,优化了图像编码处理过程中对编码预测模式的选择,减少了图像编码的计算量,提高了编码效率。
应当理解,应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请实施例公开的一种图像编码处理方法的流程图;
图2是根据本申请实施例公开的另一种图像编码处理方法的流程图;
图3是根据本申请实施例公开的一种目标预测模式的选择流程示意图;
图4是根据本申请实施例公开的另一种图像编码处理装置的结构示意图;
图5是根据本申请实施例公开的一种电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请实施例公开的一种图像编码处理方法的流程图,本申请实施例可以适用于对图像进行编码的情况,尤其适用于针对视频帧内编码的情况,具体如采用HEVC编码标准对图像进行编码处理。本申请实施例公开的方法可以由图像编码处理装置执行,该装置可以采用软件和/或硬件实现,并可集成在任意的具有计算能力的电子设备上,例如终端、服务器等。
在本申请实施例中,待编码的图像可以是图像序列中的任一张图像,具体可以指代待编码视频中的任意帧图像。每张图像可以按照图像尺寸划分为多个编码块,每个编码块的尺寸可以灵活设定,本申请实施例不作具体限定,并且每个编码块经历相同的编码处理过程。本申请实施例即针对当前编码块,进行解释说明。
如图1所示,本申请实施例公开的图像编码处理方法可以包括:
S101、确定图像编码过程中当前编码块的粗选预测模式集合;其中,粗选预测模式集合中包括当前编码块的最可能模式子集合。
其中,粗选预测模式集合是指通过粗略模式选择策略(RMD,Rough ModeDecision),而得到的预测模式集合,有助于初步减少确定目标预测模式过程中参与编码计算的预测模式数量。最可能模式(Most Probable Mode,MPM mode)子集合是根据当前编码块的相邻编码块的目标预测模式而确定的模式集合。当前编码块的相邻编码块可以包括上方编码块、左侧编码块和左上编码块中的至少一种。通常,作为优选示例,最可能模式子集合中可以包括与当前编码块相邻的上方编码块和左侧编码块的目标预测模式,有助于确保针对当前编码块的目标预测模式的确定准确性,并且,在选择当前编码块的目标预测模式的过程中,其相邻编码块已经利用目标预测模式完成编码。
可选的,确定图像编码过程中当前编码块的粗选预测模式集合,包括:
根据目标编码标准,确定图像编码过程中当前编码块的至少一个帧内预测模式;即针对不同的编码标准,该编码标准所提供的帧内预测模式是不同的,例如针对HEVC编码标准,提供35种预测模式;针对视频编码,帧内预测是利用视频空间域的相关性,使用同一帧图像内邻近已编码像素预测当前的像素,以达到有效去除视频时域冗余的目的;
计算帧内预测模式的模式代价,并根据模式代价,从至少一个帧内预测模式中确定备选模式子集;该模式代价是对帧内预测模式进行初步筛选的一种衡量因素,具体的可以是指SATD(Sum of Absolute Transformed Difference)代价(satd_cost),SATD代价是一种视频残差信号大小的衡量标准,即对残差进行哈达玛变换后的系数求绝对值和;具体的,可以将模式代价小于代价阈值的预设数量的帧内预测模式确定为备选模式子集;
根据当前编码块的相邻块的目标预测模式,确定当前编码块的最可能模式子集合;当前编码块的相邻编码块可以包括上方编码块、左侧编码块和左上编码块中的至少一种;
将备选模式子集和最可能模式子集合,作为当前编码块的粗选预测模式集合。
S102、确定粗选预测模式集合中模式代价小于第一阈值的第一预测模式,以及确定最可能模式子集合中模式代价小于第二阈值的第二预测模式。
第一阈值和第二阈值的取值可以根据实际情况进行灵活设置,具体取值不限定,旨在确定出粗选预测模式集合和最可能模式子集合中模式代价较小且符合当前模式选择需求的预测模式,优选的,第一预测模式和第二预测模式可以分别是指粗选预测模式集合和最可能模式子集合中模式代价最小的预测模式。此外,还可以通过按照模式代价,分别对粗选预测模式集合和最可能模式子集合中的模式进行排序,确定第一预测模式和第二预测模式。“第一”和“第二”不带有任何顺序上的限定,只发挥用词区分的作用。
S103、如果第一预测模式和第二预测模式的模式代价不相同,则按照粗选预测模式集合中模式代价排序结果和模式类型,确定候选模式子集合。
具体的,如果第一预测模式和第二预测模式的模式代价不相同,意味着粗选预测模式集合和最可能模式子集合中模式代价较小且符合当前模式选择需求的预测模式不属于相同模式,例如模式代价最小的预测模式不相同,则按照粗选预测模式集合中模式代价排序结果和模式类型,从粗选预测模式集合中确定候选模式子集合,例如可以优选模式代价较小、模式类型属于直流模式和平面模式的预测模式,构成候选模式子集合等。候选模式子集合中的模式数量可以适应性设置,例如,为了有效控制图像编码的计算量,候选模式子集合中的模式数量可以优选设置为不超过4。
可选的,本申请实施例公开的方法还可以包括:如果第一预测模式和第二预测模式的模式代价相同,则将最可能模式子集合作为候选模式子集合。第一预测模式和第二预测模式的模式代价相同,意味着粗选预测模式集合和最可能模式子集合中模式代价较小且符合当前模式选择需求的预测模式可能属于相同模式,例如模式代价最小的预测模式可能属于相同模式,此时,可以直接将最可能模式子集合作为候选模式子集合,用于确定当前编码块的目标预测模式。按照统计规律,将最可能模式子集合中的预测模式作为当前编码块的最优预测模式的概率是非常高的,因此,如果第一预测模式和第二预测模式的模式代价相同,则直接从最可能模式子集合中确定当前编码块的目标预测模式,可以有效减少确定目标预测模式过程中参与编码计算的预测模式数量,减少计算量,提高编码效率。
S104、从候选模式子集合中确定当前编码块的目标预测模式。
当确定候选模式子集合之后,可以利用更为准确的模式选择条件,筛选目标预测模式。该模式选择条件可以根据图像编码处理领域中预测模式衡量因素以及模式选择需求而定,例如模式选择条件可以定义为根据模式的率失真(RDO,Rate DistortionOptimized)代价(rdo_cost)进行模式选择。率失真优化策略是在率失真理论的基础上提出的一种代价函数方案,RDO的主要思想是:在计算代价函数时,同时考虑码率和失真度两方面因素的制约,在保证低失真度的同时保证低码率,这样更加有利于图像序列或视频流的传输。因此,基于率失真代价,可以确保从候选模式子集合中确定的目标预测模式的准确性,有利于保证理想化的编码处理结果。
示例性的,从候选模式子集合中确定当前编码块的目标预测模式,包括:计算候选模式子集合中预测模式的率失真代价;根据率失真代价,从候选模式子集合中确定当前编码块的目标预测模式,例如,选择率失真代价最小的预测模式作为目标预测模式。关于率失真代价的具体计算实现可以参考现有计算方案,本申请实例不作具体限定。
需要说明的是,从候选模式子集合中确定目标预测模式的过程,通常是编码处理过程涉及计算量较大的环节,例如RDO代价的计算过程较为复杂,本申请实施例通过设定合理的候选模式子集合选择逻辑,确保候选模式子集合中的模式数量的合理性,因而可以显著减少后续参与编码计算的预测模式数量,有效减少编码计算量。
S106、利用目标预测模式对当前编码块进行编码处理。
当确定出当前编码块的目标预测模式后,关于具体编码处理的实现,可以参考现有方案。
根据本申请实施例的技术方案,通过确定粗选预测模式集合中模式代价小于第一阈值的第一预测模式,以及确定最可能模式子集合中模式代价小于第二阈值的第二预测模式;然后确定第一预测模式和第二预测模式的模式代价是否相同;如果不相同,则按照粗选预测模式集合中模式代价排序结果和模式类型,确定候选模式子集合,然后再从候选模式子集合中确定当前编码块的目标预测模式,以用于编码当前编码块,优化了图像编码处理过程中对编码预测模式的选择,提出了一种新的模式选择逻辑,有效减少了确定目标预测模式过程中参与编码计算的预测模式数量,减少了图像编码的计算量,减少了图像编码过程中对计算资源的占用,提高了编码效率,解决了现有方案中参与编码计算的预测模式数量较多,导致编码效率较低的问题。
图2是根据本申请实施例公开的另一种图像编码处理方法的流程图,基于上述技术方案进一步优化与扩展,并可以与上述各个可选实施方式进行结合。如2所示,该方法可以包括:
S201、确定图像编码过程中当前编码块的粗选预测模式集合;其中,粗选预测模式集合中包括当前编码块的最可能模式子集合。
S202、确定粗选预测模式集合中模式代价小于第一阈值的第一预测模式,以及确定最可能模式子集合中模式代价小于第二阈值的第二预测模式。
S203、如果第一预测模式和第二预测模式的模式代价相同,则将最可能模式子集合作为候选模式子集合。
按照统计规律,将最可能模式子集合中的预测模式作为当前编码块的最优预测模式的概率是非常高的,因此,如果第一预测模式和第二预测模式的模式代价相同,则直接从最可能模式子集合中确定当前编码块的目标预测模式,可以有效减少确定目标预测模式过程中参与编码计算的预测模式数量,减少计算量,提高编码效率。
S204、如果第一预测模式和第二预测模式的模式代价不相同,且如果按照粗选预测模式集合中模式代价的升序排序结果,排序在前的预设数量的预测模式类型满足预设模式条件,则利用预设数量的预测模式确定候选模式子集合。
其中,预设模式条件包括:在该预设数量的预测模式中,排在前两位的预测模式类型属于角度模式,且剩余的预测模式类型中至少之一属于直流模式或平面模式。预设数量的取值可以根据模式选择需求而设置。
当按照粗选预测模式集合中模式代价的升序排序结果(即模式代价由小到大进行排序),排序在前的预设数量的预测模式类型满足预设模式条件时,可以选择将该预设数量的预测模式构成候选模式子集合;也可以将该预设数量的预测模式中排在前两位的角度模式以及包含的直流模式和/或平面模式,构成候选模式子集合。进一步的,如果该预设数量的预测模式中只包括直流模式和平面模式中的一种模式类型,则可以从粗选预测模式集合的剩余模式中确定出直流模式和平面模式中的另一种模式,从而结合排在前两位的角度模式以及该预设数量的预测模式中包括的直流模式和平面模式中的一种模式,构成候选模式子集合,也即利用该预设数量的预测模式确定候选模式子集合,可以包括:将该预设数量的预测模式中排在前两位的预测模式,以及粗选预测模式集合中模式类型属于直流模式和平面模式的预测模式,构成候选模式子集合,候选模式子集合中包括4个预测模式。在本申请实施例中,为了有效控制候选模式子集合中模式数量,该预设数量可以优选取为4。
合理控制候选模式子集合中模式数量,既不会使得后续参与编码计算的预测模式数量过多,增加计算量,也不会使得后续参与编码计算的预测模式数量过小,目标预测模式确定的准确性得不到保证。
在本申请实施例中,考虑直流模式和平面模式可以较好的反映当前编码块是否属于平坦区域,因此,如果直流模式和平面模式对应的模式代价较小,例如SATD代价值较小,则认为利用直流模式和平面模式对当前编码块进行编码处理得到的编码结果较为理想,因此优选为候选模式子集合中的模式。
S205、如果第一预测模式和第二预测模式的模式代价不相同,且如果按照粗选预测模式集合中模式代价的升序排序结果,排序在前的预设数量的预测模式类型不满足预设模式条件,则利用预设数量的预测模式和最可能模式子集合,确定候选模式子集合。
即当预设模式条件中的任一条件分支得不到满足时,在确定候选模式子集合的过程中,需要综合考虑预设数量的预测模式中是否包括最可能模式子集合中的预测模式,确保候选模式子集确定的合理性。具体的,可以直接将预设数量的预测模式和最可能模式子集合构成候选模式子集合;也可以将预设数量的预测模式中排在前两位或者前三位的预测模式,结合最可能模式子集合,构成候选模式子集合。
S206、从候选模式子集合中确定当前编码块的目标预测模式。
S207、利用目标预测模式对当前编码块进行编码处理。
根据本申请实施例的技术方案,通过确定粗选预测模式集合中模式代价小于第一阈值的第一预测模式,以及确定最可能模式子集合中模式代价小于第二阈值的第二预测模式;然后判断第一预测模式和第二预测模式的模式代价是否相同,根据判断结果决策如何确定候选模式子集合;并且,针对第一预测模式和第二预测模式的模式代价不相同的情况,判断粗选预测模式集合中模式代价的升序排序结果中排序在前的预设数量的预测模式类型是否满足预设模式条件,根据判断结果决策如何确定候选模式子集合,即本申请实施例提出了一种新的模式选择逻辑,实现了分情况合理确定候选模式子集合的效果,实现了有效控制候选模式子集合的数量,有效减少了确定目标预测模式过程中参与编码计算的预测模式数量,减少了图像编码的计算量,减少了图像编码过程中对计算资源的占用,提高了编码效率,解决了现有方案中参与编码计算的预测模式数量较多,导致编码效率较低的问题。
在上述技术方案的基础上,进一步的,如果按照粗选预测模式集合中模式代价的升序排序结果,排序在前的预设数量的预测模式类型不满足预设模式条件,则利用预设数量的预测模式和最可能模式子集合,确定候选模式子集合,包括:
在预设数量的预测模式中,如果排在前两位的预测模式类型属于角度模式,且剩余的预测模式类型中不存在直流模式和平面模式,则利用预设数量的预测模式中排在前设定位数的预测模式,以及最可能模式子集合,确定候选模式子集合;
或者
在预设数量的预测模式中,如果排在前两位的预测模式类型中一种模式类型是角度模式,另一种模式类型是直流模式或平面模式,则利用预设数量的预测模式中排在前设定位数的预测模式,以及最可能模式子集合,确定候选模式子集合;
或者
在预设数量的预测模式中,如果排在前两位的预测模式类型属于直流模式和平面模式,则利用预设数量的预测模式中排在前设定位数的预测模式,以及最可能模式子集合,确定候选模式子集合。
针对上述三种情况,设定位数的取值可以相同也可以不同。优选的,针对排在前两位的预测模式类型属于直流模式和平面模式时,设定位数的取值小于排在前两位的预测模式类型属于角度模式时的取值,或者小于排在前两位的预测模式类型中一种模式类型是角度模式,另一种模式类型是直流模式或平面模式时的取值,有助于减少候选模式子集合中的模式数量。例如,针对排在前两位的预测模式类型属于直流模式和平面模式时,在确定候选模式子集合过程中,设定位数M可以取值为2,即考虑预设数量的预测模式中排在前两位数的直流模式和平面模式,以及最可能模式子集合;针对排在前两位的预测模式类型属于角度模式时,设定位数M可以取值为3,即考虑预设数量的预测模式中排在前3位数的预测模式,以及最可能模式子集合,从而实现对候选模式子集合中模式数量的合理控制。
进一步的,利用该预设数量的预测模式中排在前设定位数的预测模式,以及最可能模式子集合,确定候选模式子集合,包括:
确定预设数量的预测模式中排在前设定位数的预测模式与最可能模式子集合之间的重复模式;
从预设数量的预测模式中排在前设定位数的预测模式和最可能模式子集合中,去除重复模式,并将剩余模式构成候选模式子集合。
通过模式去重处理,可以在确定目标预测模式过程中,减少重复的编码计算,节省计算资源,同样有助于提高编码效率。
图3是根据本申请实施例公开的一种目标预测模式的选择流程示意图,具体针对HEVC编码标准,对本申请实施例进行示例性说明,不应理解为对本申请实施例的具体限定。如图3所示,目标预测模式的选择流程可以包括:
S301、开始模式选择过程。
S302、计算35种预测模式的模式代价。
其中,模式代价可以指代SATD代价。
S303、选择模式代价小于预设阈值的N种模式;结合最可能模式MPM子集合,组成粗选预测模式RMD集合。
其中,预设阈值可以适应性设置,本申请实施例不作具体限定。N为任意整数。可选的,最可能模式子集合中可以包括与当前编码块相邻的上方编码块和左侧编码块的目标预测模式,此时最可能模式子集合中最多包括2个预测模式。
S304、对粗选预测模式集合和最可能模式子集合中的预测模式,按照模式代价进行升序排序,得到RMD数组和MPM数组。
具体的,RMD数组可以表示为RMD[],MPM数组可以表示为MPM[],每个数组元素对应一个模式代价值。
S305、RMD[0]与MPM[0]是否相同。
即确定粗选预测模式集合中模式代价最小值和最可能模式子集合模式代价最小值是否相同。如果相同,则转入操作S309;如果不相同,则转入操作S306。
S306、RMD[0]和RMD[1]对应的模式类型是否属于直流模式和平面模式。
即按照粗选预测模式集合中模式代价的升序排序结果,确定排在前两位的预测模式类型是否属于直流模式和平面模式。如果是,即排在前两位的预测模式类型只有直流模式和平面模式,则转入操作S309;如果不是,即排在前两位的预测模式中至少一个模式类型是角度模式,则转入操作S307。
S307、RMD[0]和RMD[1]对应的模式类型属于角度模式,且RMD[2]和RMD[3]对应的模式类型中是否存在直流或平面模式。
如果按照粗选预测模式集合中模式代价的升序排序结果,排在前两位的预测模式类型属于角度模式,且排在第3位和第4位的预测模式中至少一个模式类型是直流或平面模式,则转入操作S308。
如果按照粗选预测模式集合中模式代价的升序排序结果,排在前两位的预测模式中一个模式类型是角度模式,另一个模式类型是直流模式或平面模式,则转入操作S309;以及,如果按照粗选预测模式集合中模式代价的升序排序结果,排在前两位的预测模式类型属于角度模式,且排在第3位和第4位的预测模式中不存在直流模式和平面模式,则转入操作S309。
S308、M=4,将RMD[2]赋值为平面模式对应的模式代价,将RMD[3]赋值为直流模式对应的模式代价。
数组元素与预测模式存在对应关系,因此,通过模式代价的强行赋值调整可以确保将平面模式和直流模式调整至排序结果的前4位中,从而将赋值调整前的RMD[0]和RMD[1]对应的预测模式,以及赋值调整后的RMD[2]和RMD[3]对应的预测模式,确定为候选预测模式子集合中的模式。候选模式子集合中包括的模式数量为4个。
在本申请实施例中,考虑直流模式和平面模式可以较好的反映当前编码块是否属于平坦区域,因此,如果直流模式和平面模式对应的模式代价较小,例如SATD代价值较小,则认为利用直流模式和平面模式对当前编码块进行编码处理得到的编码结果较为理想,因此优选为候选模式子集合中的模式。
S309、结合不重复的MPM模式,确定候选模式子集合。
如果是由操作S305转入操作S309,M=1,意味着最可能模式子集合中模式代价最小的预测模式将成为候选模式子集合中的一个模式,同时,确定最可能模式子集合中是否还有与该模式代价最小的预测模式不相同的模式,如果有,则一并确定为候选模式子集合中的模式,也即此时最可能模式子集合即为候选模式子集合。
如果是由操作S306转入操作S309,M=2,意味着RMD[0]和RMD[1]对应的直流模式和平面模式,将成为候选模式子集合中的2个模式,同时结合最可能模式子集合中与这两个预测模式不相同的模式,构成候选模式子集合,此时,候选模式子集合中包括的模式数量不超过4个。
如果是由操作S307转入操作S309,M=3,意味着RMD[0]、RMD[1]和RMD[2]对应的预测模式将成为候选模式子集合中的3个模式,同时结合最可能模式子集合中与这3个预测模式不相同的模式,构成候选模式子集合,此时,候选模式子集合中包括的模式数量不超过5个。
S310、计算候选模式子集合中预测模式的率失真代价。
S311、选择率失真代价最小的预测模式作为目标预测模式。
S312、结束。
采用本申请实施例的技术方案,优化了图像编码处理过程中编码预测模式的选择,节省了HEVC编码器中选择帧内预测模式时关于RDO代价的冗余计算,提高了编码处理效率。
图4是根据本申请实施例公开的另一种图像编码处理装置的结构示意图,本申请实施例可以适用于对图像进行编码处理的情况,该装置可以采用软件和/或硬件实现,并可集成在任意的具有计算能力的电子设备上,例如终端、服务器等。
如图4所示,本申请实施例公开的图像编码处理装置400可以包括粗选预测模式集合确定模块401、模式筛选模块402、候选模式子集合确定模块403、目标预测模式确定模块404和编码处理模块405,其中:
粗选预测模式集合确定模块401,用于确定图像编码过程中当前编码块的粗选预测模式集合;其中,粗选预测模式集合中包括当前编码块的最可能模式子集合;
模式筛选模块402,用于确定粗选预测模式集合中模式代价小于第一阈值的第一预测模式,以及确定最可能模式子集合中模式代价小于第二阈值的第二预测模式;
候选模式子集合确定模块403,用于如果第一预测模式和第二预测模式的模式代价不相同,则按照粗选预测模式集合中模式代价排序结果和模式类型,确定候选模式子集合;
目标预测模式确定模块404,用于从候选模式子集合中确定当前编码块的目标预测模式;
编码处理模块405,用于利用目标预测模式对当前编码块进行编码处理。
可选的,候选模式子集合确定模块403还用于:
如果第一预测模式和第二预测模式的模式代价相同,则将最可能模式子集合作为候选模式子集合。
可选的,候选模式子集合确定模块403包括:
第一子集合确定单元,用于如果第一预测模式和第二预测模式的模式代价不相同,且如果按照粗选预测模式集合中模式代价的升序排序结果,排序在前的预设数量的预测模式类型满足预设模式条件,则利用预设数量的预测模式确定候选模式子集合;
其中,预设模式条件包括:在预设数量的预测模式中,排在前两位的预测模式类型属于角度模式,且剩余的预测模式类型中至少之一属于直流模式或平面模式。
可选的,第一子集合确定单元具体用于:
如果第一预测模式和第二预测模式的模式代价不相同,且如果按照粗选预测模式集合中模式代价的升序排序结果,排序在前的预设数量的预测模式类型满足预设模式条件,则将预设数量的预测模式中排在前两位的预测模式,以及粗选预测模式集合中模式类型属于直流模式和平面模式的预测模式,构成候选模式子集合。
可选的,候选模式子集合确定模块403还包括:
第二子集合确定单元,用于如果第一预测模式和第二预测模式的模式代价不相同,且如果按照粗选预测模式集合中模式代价的升序排序结果,排序在前的预设数量的预测模式类型不满足预设模式条件,则利用预设数量的预测模式和最可能模式子集合,确定候选模式子集合。
可选的,第二子集合确定单元具体用于:
如果第一预测模式和第二预测模式的模式代价不相同,且在预设数量的预测模式中,如果排在前两位的预测模式类型属于角度模式,且剩余的预测模式类型中不存在直流模式和平面模式,则利用预设数量的预测模式中排在前设定位数的预测模式,以及最可能模式子集合,确定候选模式子集合;
或者
如果第一预测模式和第二预测模式的模式代价不相同,且在预设数量的预测模式中,如果排在前两位的预测模式类型中一种模式类型是角度模式,另一种模式类型是直流模式或平面模式,则利用预设数量的预测模式中排在前设定位数的预测模式,以及最可能模式子集合,确定候选模式子集合;
或者
如果第一预测模式和第二预测模式的模式代价不相同,且在预设数量的预测模式中,如果排在前两位的预测模式类型属于直流模式和平面模式,则利用预设数量的预测模式中排在前设定位数的预测模式,以及最可能模式子集合,确定候选模式子集合。
可选的,第二子集合确定单元包括:
重复模式确定子单元,用于确定预设数量的预测模式中排在前设定位数的预测模式与最可能模式子集合之间的重复模式;
重复模式去除子单元,用于从预设数量的预测模式中排在前设定位数的预测模式和最可能模式子集合中,去除重复模式,并将剩余模式构成候选模式子集合。
可选的,针对排在前两位的预测模式类型属于直流模式和平面模式时,设定位数的取值小于排在前两位的预测模式类型属于角度模式时的取值,或者小于排在前两位的预测模式类型中一种模式类型是角度模式,另一种模式类型是直流模式或平面模式时的取值。
可选的,目标预测模式确定模块404包括:
率失真代价计算单元,用于计算候选模式子集合中预测模式的率失真代价;
目标预测模式确定单元,用于根据率失真代价,从候选模式子集合中确定当前编码块的目标预测模式。
可选的,粗选预测模式集合确定模块401包括:
帧内预测模式确定单元,用于根据目标编码标准,确定图像编码过程中当前编码块的至少一个帧内预测模式;
备选模式子集确定单元,用于计算帧内预测模式的模式代价,并根据模式代价,从至少一个帧内预测模式中确定备选模式子集;
最可能模式子集合确定单元,用于根据当前编码块的相邻块的目标预测模式,确定当前编码块的最可能模式子集合;
粗选预测模式集合确定单元,用于将备选模式子集和最可能模式子集合,确定为当前编码块的粗选预测模式集合。
可选的,最可能模式子集合中包括与当前编码块相邻的上方编码块和左侧编码块的目标预测模式。
本申请实施例所公开的图像编码处理装置400可执行本申请实施例所公开的任意图像编码处理方法,具备执行方法相应的功能模块和有益效果。本申请装置实施例中未详尽描述的内容可以参考本申请任意方法实施例中的描述。
根据本申请的实施例,本申请实施例还提供了一种电子设备和一种可读存储介质。
如图5所示,图5是用于实现本申请实施例中图像编码处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请实施例的实现。
如图5所示,该电子设备包括:一个或多个处理器501、存储器502,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示图形用户界面(Graphical User Interface,GUI)的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作,例如,作为服务器阵列、一组刀片式服务器、或者多处理器***。图5中以一个处理器501为例。
存储器502即为本申请实施例所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本申请实施例所提供的图像编码处理方法。本申请实施例的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请实施例所提供的图像编码处理方法。
存储器502作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中图像编码处理方法对应的程序指令/模块,例如,附图4所示的粗选预测模式集合确定模块401、模式筛选模块402、候选模式子集合确定模块403、目标预测模式确定模块404和编码处理模块405。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述方法实施例中的图像编码处理方法。
存储器502可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器502可选包括相对于处理器501远程设置的存储器,这些远程存储器可以通过网络连接至用于实现本实施例中图像编码处理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
用于实现本申请实施例中图像编码处理方法的电子设备还可以包括:输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接,图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息,以及产生与用于实现本实施例中图像编码处理方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置和触觉反馈装置等,其中,辅助照明装置例如发光二极管(Light Emitting Diode,LED);触觉反馈装置例如,振动电机等。该显示设备可以包括但不限于,液晶显示器(Liquid Crystal Display,LCD)、LED显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用集成电路(Application Specific Integrated Circuit,ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序,也称作程序、软件、软件应用、或者代码,包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置,例如,磁盘、光盘、存储器、可编程逻辑装置(Programmable Logic Device,PLD),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置,例如,阴极射线管(Cathode Ray Tube,CRT)或者LCD监视器;以及键盘和指向装置,例如,鼠标或者轨迹球,用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈,例如,视觉反馈、听觉反馈、或者触觉反馈;并且可以用任何形式,包括声输入、语音输入或者、触觉输入,来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***,例如,作为数据服务器,或者实施在包括中间件部件的计算***,例如,应用服务器,或者实施在包括前端部件的计算***,例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互,或者实施在包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信,例如通信网络,来将***的部件相互连接。通信网络的示例包括:局域网(Local Area Network,LAN)、广域网(Wide Area Network,WAN)、互联网和区块链网络。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,通过确定粗选预测模式集合中模式代价小于第一阈值的第一预测模式,以及确定最可能模式子集合中模式代价小于第二阈值的第二预测模式;然后确定第一预测模式和第二预测模式的模式代价是否相同;如果第一预测模式和第二预测模式的模式代价不相同,则按照粗选预测模式集合中模式代价排序结果和模式类型,确定候选模式子集合,并从候选模式子集合中确定当前编码块的目标预测模式,以用于编码当前编码块,优化了图像编码处理过程中对编码预测模式的选择,减少了图像编码的计算量,提高了编码效率。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (20)
1.一种图像编码处理方法,包括:
确定图像编码过程中当前编码块的粗选预测模式集合;其中,所述粗选预测模式集合中包括所述当前编码块的最可能模式子集合;
确定所述粗选预测模式集合中模式代价小于第一阈值的第一预测模式,以及确定所述最可能模式子集合中模式代价小于第二阈值的第二预测模式;
如果所述第一预测模式和所述第二预测模式的模式代价不相同,则按照所述粗选预测模式集合中模式代价排序结果和模式类型,确定候选模式子集合;
从所述候选模式子集合中确定所述当前编码块的目标预测模式;
利用所述目标预测模式对所述当前编码块进行编码处理;
其中,按照所述粗选预测模式集合中模式代价排序结果和模式类型,确定候选模式子集合,包括:
如果按照所述粗选预测模式集合中模式代价的升序排序结果,排序在前的预设数量的预测模式类型满足预设模式条件,则将所述预设数量的预测模式中排在前两位的预测模式,以及所述粗选预测模式集合中模式类型属于直流模式和平面模式的预测模式,构成所述候选模式子集合;
其中,所述预设模式条件包括:在所述预设数量的预测模式中,排在前两位的预测模式类型属于角度模式,且剩余的预测模式类型中至少之一属于直流模式或平面模式。
2.根据权利要求1所述的方法,其中,所述方法还包括:
如果所述第一预测模式和所述第二预测模式的模式代价相同,则将所述最可能模式子集合作为所述候选模式子集合。
3.根据权利要求1所述的方法,其中,所述按照所述粗选预测模式集合中模式代价排序结果和模式类型,确定候选模式子集合,还包括:
如果按照所述粗选预测模式集合中模式代价的升序排序结果,排序在前的预设数量的预测模式类型不满足所述预设模式条件,则利用所述预设数量的预测模式和所述最可能模式子集合,确定所述候选模式子集合。
4.根据权利要求3所述的方法,其中,所述如果按照所述粗选预测模式集合中模式代价的升序排序结果,排序在前的预设数量的预测模式类型不满足所述预设模式条件,则利用所述预设数量的预测模式和所述最可能模式子集合,确定所述候选模式子集合,包括:
在所述预设数量的预测模式中,如果排在前两位的预测模式类型属于角度模式,且剩余的预测模式类型中不存在直流模式和平面模式,则利用所述预设数量的预测模式中排在前设定位数的预测模式,以及所述最可能模式子集合,确定所述候选模式子集合;
或者
在所述预设数量的预测模式中,如果排在前两位的预测模式类型中一种模式类型是角度模式,另一种模式类型是直流模式或平面模式,则利用所述预设数量的预测模式中排在前设定位数的预测模式,以及所述最可能模式子集合,确定所述候选模式子集合;
或者
在所述预设数量的预测模式中,如果排在前两位的预测模式类型属于直流模式和平面模式,则利用所述预设数量的预测模式中排在前设定位数的预测模式,以及所述最可能模式子集合,确定所述候选模式子集合。
5.根据权利要求4所述的方法,其中,所述利用所述预设数量的预测模式中排在前设定位数的预测模式,以及所述最可能模式子集合,确定所述候选模式子集合,包括:
确定所述预设数量的预测模式中排在前设定位数的预测模式与所述最可能模式子集合之间的重复模式;
从所述预设数量的预测模式中排在前设定位数的预测模式和所述最可能模式子集合中,去除所述重复模式,并将剩余模式构成所述候选模式子集合。
6.根据权利要求4所述的方法,其中,针对所述排在前两位的预测模式类型属于直流模式和平面模式时,所述设定位数的取值小于所述排在前两位的预测模式类型属于角度模式时的取值,或者小于所述排在前两位的预测模式类型中一种模式类型是角度模式,另一种模式类型是直流模式或平面模式时的取值。
7.根据权利要求1所述的方法,其中,所述从所述候选模式子集合中确定所述当前编码块的目标预测模式,包括:
计算所述候选模式子集合中预测模式的率失真代价;
根据所述率失真代价,从所述候选模式子集合中确定所述当前编码块的目标预测模式。
8.根据权利要求1所述的方法,其中,所述确定图像编码过程中当前编码块的粗选预测模式集合,包括:
根据目标编码标准,确定图像编码过程中所述当前编码块的至少一个帧内预测模式;
计算所述帧内预测模式的模式代价,并根据所述模式代价,从所述至少一个帧内预测模式中确定备选模式子集;
根据所述当前编码块的相邻块的目标预测模式,确定所述当前编码块的最可能模式子集合;
将所述备选模式子集和所述最可能模式子集合,作为所述当前编码块的粗选预测模式集合。
9.根据权利要求1或8所述的方法,其中,所述最可能模式子集合中包括与所述当前编码块相邻的上方编码块和左侧编码块的目标预测模式。
10.一种图像编码处理装置,包括:
粗选预测模式集合确定模块,用于确定图像编码过程中当前编码块的粗选预测模式集合;其中,所述粗选预测模式集合中包括所述当前编码块的最可能模式子集合;
模式筛选模块,用于确定所述粗选预测模式集合中模式代价小于第一阈值的第一预测模式,以及确定所述最可能模式子集合中模式代价小于第二阈值的第二预测模式;
候选模式子集合确定模块,用于如果所述第一预测模式和所述第二预测模式的模式代价不相同,则按照所述粗选预测模式集合中模式代价排序结果和模式类型,确定候选模式子集合;
目标预测模式确定模块,用于从所述候选模式子集合中确定所述当前编码块的目标预测模式;
编码处理模块,用于利用所述目标预测模式对所述当前编码块进行编码处理;
其中,所述候选模式子集合确定模块包括:
第一子集合确定单元,用于如果所述第一预测模式和所述第二预测模式的模式代价不相同,且如果按照所述粗选预测模式集合中模式代价的升序排序结果,排序在前的预设数量的预测模式类型满足预设模式条件,则将所述预设数量的预测模式中排在前两位的预测模式,以及所述粗选预测模式集合中模式类型属于直流模式和平面模式的预测模式,构成所述候选模式子集合;
其中,所述预设模式条件包括:在所述预设数量的预测模式中,排在前两位的预测模式类型属于角度模式,且剩余的预测模式类型中至少之一属于直流模式或平面模式。
11.根据权利要求10所述的装置,其中,所述候选模式子集合确定模块还用于:
如果所述第一预测模式和所述第二预测模式的模式代价相同,则将所述最可能模式子集合作为所述候选模式子集合。
12.根据权利要求10所述的装置,其中,所述候选模式子集合确定模块还包括:
第二子集合确定单元,用于如果所述第一预测模式和所述第二预测模式的模式代价不相同,且如果按照所述粗选预测模式集合中模式代价的升序排序结果,排序在前的预设数量的预测模式类型不满足预设模式条件,则利用所述预设数量的预测模式和所述最可能模式子集合,确定所述候选模式子集合。
13.根据权利要求12所述的装置,其中,所述第二子集合确定单元具体用于:
如果所述第一预测模式和所述第二预测模式的模式代价不相同,且在所述预设数量的预测模式中,如果排在前两位的预测模式类型属于角度模式,且剩余的预测模式类型中不存在直流模式和平面模式,则利用所述预设数量的预测模式中排在前设定位数的预测模式,以及所述最可能模式子集合,确定所述候选模式子集合;
或者
如果所述第一预测模式和所述第二预测模式的模式代价不相同,且在所述预设数量的预测模式中,如果排在前两位的预测模式类型中一种模式类型是角度模式,另一种模式类型是直流模式或平面模式,则利用所述预设数量的预测模式中排在前设定位数的预测模式,以及所述最可能模式子集合,确定所述候选模式子集合;
或者
如果所述第一预测模式和所述第二预测模式的模式代价不相同,且在所述预设数量的预测模式中,如果排在前两位的预测模式类型属于直流模式和平面模式,则利用所述预设数量的预测模式中排在前设定位数的预测模式,以及所述最可能模式子集合,确定所述候选模式子集合。
14.根据权利要求13所述的装置,其中,所述第二子集合确定单元包括:
重复模式确定子单元,用于确定所述预设数量的预测模式中排在前设定位数的预测模式与所述最可能模式子集合之间的重复模式;
重复模式去除子单元,用于从所述预设数量的预测模式中排在前设定位数的预测模式和所述最可能模式子集合中,去除所述重复模式,并将剩余模式构成所述候选模式子集合。
15.根据权利要求13所述的装置,其中,针对所述排在前两位的预测模式类型属于直流模式和平面模式时,所述设定位数的取值小于所述排在前两位的预测模式类型属于角度模式时的取值,或者小于所述排在前两位的预测模式类型中一种模式类型是角度模式,另一种模式类型是直流模式或平面模式时的取值。
16.根据权利要求10所述的装置,其中,所述目标预测模式确定模块包括:
率失真代价计算单元,用于计算所述候选模式子集合中预测模式的率失真代价;
目标预测模式确定单元,用于根据所述率失真代价,从所述候选模式子集合中确定所述当前编码块的目标预测模式。
17.根据权利要求10所述的装置,其中,所述粗选预测模式集合确定模块包括:
帧内预测模式确定单元,用于根据目标编码标准,确定图像编码过程中所述当前编码块的至少一个帧内预测模式;
备选模式子集确定单元,用于计算所述帧内预测模式的模式代价,并根据所述模式代价,从所述至少一个帧内预测模式中确定备选模式子集;
最可能模式子集合确定单元,用于根据所述当前编码块的相邻块的目标预测模式,确定所述当前编码块的最可能模式子集合;
粗选预测模式集合确定单元,用于将所述备选模式子集和所述最可能模式子集合,确定为所述当前编码块的粗选预测模式集合。
18.根据权利要求10或17所述的装置,其中,所述最可能模式子集合中包括与所述当前编码块相邻的上方编码块和左侧编码块的目标预测模式。
19.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-9中任一项所述的图像编码处理方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的图像编码处理方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010620842.2A CN111757105B (zh) | 2020-06-30 | 2020-06-30 | 图像编码处理方法、装置、设备和介质 |
US17/338,259 US11582449B2 (en) | 2020-06-30 | 2021-06-03 | Method for image encoding, electronic device and storage medium |
KR1020210072275A KR102565840B1 (ko) | 2020-06-30 | 2021-06-03 | 이미지 코딩 처리 방법, 장치, 기기 및 매체 |
JP2021095871A JP7269989B2 (ja) | 2020-06-30 | 2021-06-08 | 画像コーディング処理方法、装置、機器及び媒体 |
EP21182504.7A EP3920533A3 (en) | 2020-06-30 | 2021-06-29 | Method for image encoding, electronic device and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010620842.2A CN111757105B (zh) | 2020-06-30 | 2020-06-30 | 图像编码处理方法、装置、设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111757105A CN111757105A (zh) | 2020-10-09 |
CN111757105B true CN111757105B (zh) | 2023-07-04 |
Family
ID=72680255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010620842.2A Active CN111757105B (zh) | 2020-06-30 | 2020-06-30 | 图像编码处理方法、装置、设备和介质 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11582449B2 (zh) |
EP (1) | EP3920533A3 (zh) |
JP (1) | JP7269989B2 (zh) |
KR (1) | KR102565840B1 (zh) |
CN (1) | CN111757105B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112565752B (zh) * | 2020-11-13 | 2023-04-14 | 北京百度网讯科技有限公司 | 对视频数据进行编码的方法、装置、设备和介质 |
CN112911285B (zh) * | 2021-01-26 | 2023-04-07 | 北京博雅慧视智能技术研究院有限公司 | 硬件编码器帧内模式决策电路、方法、装置、设备及介质 |
CN113596442B (zh) * | 2021-07-07 | 2022-10-04 | 北京百度网讯科技有限公司 | 视频处理方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102665079A (zh) * | 2012-05-08 | 2012-09-12 | 北方工业大学 | 用于hevc的自适应快速帧内预测模式决策 |
CN104581152A (zh) * | 2014-12-25 | 2015-04-29 | 同济大学 | 一种hevc帧内预测模式选择加速方法 |
KR101724212B1 (ko) * | 2015-12-03 | 2017-04-07 | 중앙대학교 산학협력단 | 인트라 모드 결정 방법 및 장치 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014190468A1 (en) * | 2013-05-27 | 2014-12-04 | Microsoft Corporation | Video encoder for images |
KR101516347B1 (ko) * | 2013-11-21 | 2015-05-04 | 한밭대학교 산학협력단 | Hevc 화면내 부호화 방법 및 장치 |
KR20150095253A (ko) * | 2014-02-13 | 2015-08-21 | 한국전자통신연구원 | 영상 부호화에서의 화면 내 예측 방법 및 장치 |
US10142626B2 (en) * | 2014-10-31 | 2018-11-27 | Ecole De Technologie Superieure | Method and system for fast mode decision for high efficiency video coding |
CN104618726B (zh) | 2014-12-31 | 2017-10-20 | 华侨大学 | 一种基于pu纹理特性的hevc帧内快速模式决策算法 |
JP6669622B2 (ja) | 2016-09-21 | 2020-03-18 | Kddi株式会社 | 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体 |
CN106899850B (zh) | 2017-03-02 | 2020-08-14 | 北方工业大学 | 基于satd的hevc帧内预测的方法和装置 |
CN109587491B (zh) * | 2017-09-28 | 2022-09-23 | 腾讯科技(深圳)有限公司 | 一种帧内预测方法、装置及存储介质 |
US11070831B2 (en) * | 2017-11-30 | 2021-07-20 | Lg Electronics Inc. | Method and device for processing video signal |
KR20240024300A (ko) * | 2018-03-16 | 2024-02-23 | 엘지전자 주식회사 | 인트라 예측 기반 영상/비디오 코딩 방법 및 그 장치 |
KR20240055111A (ko) * | 2018-03-30 | 2024-04-26 | 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 | 인트라 예측 기반 영상/비디오 코딩 방법 및 그 장치 |
KR20210021971A (ko) * | 2018-06-22 | 2021-03-02 | 소니 주식회사 | 화상 처리 장치 및 방법 |
CN110662065A (zh) * | 2018-06-29 | 2020-01-07 | 财团法人工业技术研究院 | 图像数据解码方法及解码器、图像数据编码方法及编码器 |
CN109889827B (zh) * | 2019-04-11 | 2021-01-29 | 腾讯科技(深圳)有限公司 | 帧内预测编码方法、装置、电子设备及计算机存储介质 |
-
2020
- 2020-06-30 CN CN202010620842.2A patent/CN111757105B/zh active Active
-
2021
- 2021-06-03 KR KR1020210072275A patent/KR102565840B1/ko active IP Right Grant
- 2021-06-03 US US17/338,259 patent/US11582449B2/en active Active
- 2021-06-08 JP JP2021095871A patent/JP7269989B2/ja active Active
- 2021-06-29 EP EP21182504.7A patent/EP3920533A3/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102665079A (zh) * | 2012-05-08 | 2012-09-12 | 北方工业大学 | 用于hevc的自适应快速帧内预测模式决策 |
CN104581152A (zh) * | 2014-12-25 | 2015-04-29 | 同济大学 | 一种hevc帧内预测模式选择加速方法 |
KR101724212B1 (ko) * | 2015-12-03 | 2017-04-07 | 중앙대학교 산학협력단 | 인트라 모드 결정 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
JP7269989B2 (ja) | 2023-05-09 |
CN111757105A (zh) | 2020-10-09 |
EP3920533A2 (en) | 2021-12-08 |
JP2021153313A (ja) | 2021-09-30 |
US20210297664A1 (en) | 2021-09-23 |
EP3920533A3 (en) | 2022-01-05 |
KR102565840B1 (ko) | 2023-08-10 |
KR20210075917A (ko) | 2021-06-23 |
US11582449B2 (en) | 2023-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111757105B (zh) | 图像编码处理方法、装置、设备和介质 | |
CN102665079B (zh) | 用于hevc的自适应快速帧内预测模式决策方法 | |
CN111757107B (zh) | 一种视频编码方法、装置、设备及介质 | |
CN103957415B (zh) | 基于屏幕内容视频的cu分割方法和装置 | |
CN109587491B (zh) | 一种帧内预测方法、装置及存储介质 | |
CN111757104B (zh) | 一种图像编码方法、装置、电子设备及存储介质 | |
CN107888923B (zh) | 用于实现码字分配的方法和装置 | |
CN111757111B (zh) | 视频编码方法、装置、设备和存储介质 | |
CN104394409A (zh) | 基于空域相关性的hevc预测模式快速选择方法 | |
CN112073723B (zh) | 视频信息处理方法、装置、电子设备及存储介质 | |
CN112073735A (zh) | 视频信息处理方法、装置、电子设备及存储介质 | |
CN110365988B (zh) | 一种h.265编码方法和装置 | |
Correa et al. | A method for early-splitting of HEVC inter blocks based on decision trees | |
CN111669586B (zh) | 编码方法、装置、设备和计算机存储介质 | |
CN110971896B (zh) | 一种h.265编码方法和装置 | |
CN112291559B (zh) | 视频编码方法、装置、设备和介质 | |
CN115334309A (zh) | 帧内预测编码方法、装置、设备以及存储介质 | |
CN112954438B (zh) | 一种图像处理方法以及装置 | |
CN112291560B (zh) | 视频编码方法、装置、设备和介质 | |
CN114065904A (zh) | 神经网络模型量化方法以及装置 | |
US20150049801A1 (en) | Intra refresh method for video encoding and a video encoder for performing the same | |
CN110505486B (zh) | 一种对高概率运动矢量映射的编码及解码方法 | |
CN110602502B (zh) | 一种运动矢量编码和解码的方法 | |
WO2021093548A1 (zh) | 视频解码及编码方法、装置、计算机可读介质及电子设备 | |
KR20230173695A (ko) | 엔트로피 인코딩, 디코딩 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |