CN109040753B - 预测模式选择方法、装置及存储介质 - Google Patents

预测模式选择方法、装置及存储介质 Download PDF

Info

Publication number
CN109040753B
CN109040753B CN201810941893.8A CN201810941893A CN109040753B CN 109040753 B CN109040753 B CN 109040753B CN 201810941893 A CN201810941893 A CN 201810941893A CN 109040753 B CN109040753 B CN 109040753B
Authority
CN
China
Prior art keywords
prediction mode
pixel block
pixel
candidate prediction
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810941893.8A
Other languages
English (en)
Other versions
CN109040753A (zh
Inventor
黄书敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kugou Computer Technology Co Ltd
Original Assignee
Guangzhou Kugou Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kugou Computer Technology Co Ltd filed Critical Guangzhou Kugou Computer Technology Co Ltd
Priority to CN201810941893.8A priority Critical patent/CN109040753B/zh
Publication of CN109040753A publication Critical patent/CN109040753A/zh
Application granted granted Critical
Publication of CN109040753B publication Critical patent/CN109040753B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种预测模式选择方法、装置及存储介质,属于视频编码技术领域。方法包括:获取目标视频中待编码的视频帧,获取备选预测模式关于像素信息的条件概率分布,该条件概率分布用于表示待编码的像素块在满足任一像素信息的条件下采用任一备选预测模式的概率,对视频帧中的每个像素块,根据条件概率分布以及像素块的像素信息,获取像素块采用每种备选预测模式的概率;根据像素块采用每种备选预测模式的概率,从多种备选预测模式中选择像素块的预测模式。本发明提供了一种预测模式选择的方式,可直接获取到确定该像素块的预测模式,无需针对每种备选预测模式计算率失真值,减少了计算量,节省了编码时间,提高了编码效率。

Description

预测模式选择方法、装置及存储介质
技术领域
本发明涉及视频编码技术领域,特别涉及一种预测模式选择方法、装置及存储介质。
背景技术
视频编码技术是指通过特定的压缩方式,将某个视频的格式转换成另一种格式的技术。而帧内预测是一种常用的视频编码技术,能够利用视频帧中相邻像素间的空间相关性,按照视频帧中任一像素块确定的预测模式,并根据与该任一像素块相邻且已编码完成的像素块的像素值,对该任一像素块进行编码。
相关技术中,将待编码的视频帧划分为多个像素块,对于当前待编码的目标像素块,可以模拟按照每种备选预测模式进行编码的过程,即按照每种备选预测模式,分别对该目标像素块进行编码,根据该目标像素块的编码值可以确定该目标像素块的原始像素值和预测像素值之间的差值,从而计算得到该目标像素块的率失真值,该率失真值即可表示该目标像素块的预测准确程度。则从多种备选预测模式中选取率失真值最小的预测模式,作为该目标像素块的预测模式。后续可以按照确定的预测模式,并根据与该目标像素块相邻且已编码完成的像素块的像素值,对该目标像素块进行编码,得到该目标像素块的编码值。
每一个像素块都需要针对每种备选预测模式计算率失真值,根据计算出的率失真值从多种备选预测模式中选择一个预测模式,由于备选预测模式的数量较多,因此造成了较大的计算量,导致编码时间过长,编码效率很低。
发明内容
本发明实施例提供了一种预测模式选择方法、装置及存储介质,可以解决相关技术存在的问题。所述技术方案如下:
第一方面,提供了一种预测模式选择方法,所述方法包括:
获取目标视频中待编码的视频帧;
获取备选预测模式关于像素信息的条件概率分布,所述条件概率分布根据所述目标视频中已编码完成的多个像素块的像素信息和预测模式确定,所述条件概率分布用于表示待编码的像素块在满足任一像素信息的条件下采用任一备选预测模式的概率,所述像素块的像素信息包括所述像素块的梯度方向、所述像素块的参考像素块的预测模式和所述像素块的位置标识中的至少一项;
对于所述视频帧中的每个像素块,根据所述条件概率分布以及所述像素块的像素信息,获取所述像素块采用每种备选预测模式的概率;
根据所述像素块采用所述每种备选预测模式的概率,从多种备选预测模式中选择所述像素块的预测模式。
可选地,所述根据所述条件概率分布以及所述像素块的像素信息,获取所述像素块采用所述每种备选预测模式的概率,包括以下至少一项:
根据备选预测模式关于梯度方向的第一条件概率分布以及所述像素块的梯度方向,获取所述像素块采用所述每种备选预测模式的概率;
根据备选预测模式关于参考像素块的预测模式的第二条件概率分布以及所述像素块的参考像素块的预测模式,获取所述像素块采用所述每种备选预测模式的概率;
根据备选预测模式关于位置标识的第三条件概率分布以及所述像素块的位置标识,获取所述像素块采用所述每种备选预测模式的概率。
可选地,所述根据所述条件概率分布以及所述像素块的像素信息,获取所述像素块采用所述每种备选预测模式的概率,包括:
对于每种备选预测模式,当所述像素信息包括所述像素块的梯度方向、所述像素块的参考像素块的预测模式和所述像素块的位置标识中的多项时,计算所述每项像素信息下所述像素块采用所述备选预测模式的概率的乘积,作为所述像素块采用所述备选预测模式的概率。
可选地,所述根据所述像素块采用所述每种备选预测模式的概率,从多种备选预测模式中选择所述像素块的预测模式,包括:
根据所述像素块采用所述每种备选预测模式的概率,从所述多种备选预测模式中选取概率最大的备选预测模式,作为所述像素块的预测模式;或者,
根据所述像素块采用所述每种备选预测模式的概率从大到小的顺序,从所述多种备选预测模式中选取预设数量的备选预测模式,按照选取的每种备选预测模式,分别对所述像素块进行编码,获取所述像素块的率失真值,选取率失真值最小的备选预测模式,作为所述像素块的预测模式。
可选地,所述方法还包括:
获取所述目标视频中已编码完成的视频帧;
获取所述视频帧中每个像素块的像素信息和预测模式,并将获取到的每种预测模式均作为备选预测模式;
根据所述视频帧中多个像素块的像素信息和预测模式,获取所述备选预测模式关于像素信息的条件概率分布。
可选地,所述根据所述视频帧中多个像素块的像素信息和预测模式,获取所述备选预测模式关于像素信息的条件概率分布,包括:
根据所述多个像素块的梯度方向和预测模式,获取任一种备选预测模式与任一个梯度方向对应的像素块数量;
根据所述任一种备选预测模式与任一个梯度方向对应的像素块数量和所述多个像素块的总数量,确定所述任一种备选预测模式关于所述任一个梯度方向的概率;
将所述多种备选预测模式关于多个梯度方向的概率组成所述备选预测模式关于梯度方向的第一条件概率分布。
可选地,所述根据所述视频帧中多个像素块的像素信息和预测模式,获取所述备选预测模式关于像素信息的条件概率分布,包括:
将所述视频帧中的任一像素块的预测模式与所述任一像素块的参考像素块的预测模式构成预测模式组合,得到多种预测模式组合;
获取每种预测模式组合在所述视频帧中的出现次数,根据获取的出现次数获取每种预测模式组合的概率;
将所述每种预测模式组合的概率组成所述备选预测模式关于参考像素块的预测模式的第二条件概率分布,所述第二条件概率分布用于表示在待编码的像素块的参考像素块采用任一种预测模式的条件下,所述待编码的像素块采用任一种预测模式的概率。
可选地,所述根据所述视频帧中多个像素块的像素信息和预测模式,获取所述备选预测模式关于像素信息的条件概率分布,包括:
根据所述多个像素块的位置标识和预测模式,计算任一种备选预测模式与任一个位置标识对应的像素块数量;
根据所述任一种备选预测模式与任一个位置标识对应的像素块数量和所述多个像素块的总数量,确定所述任一种备选预测模式关于所述任一个位置标识的概率;
将所述多种备选预测模式关于多个位置标识的概率组成所述备选预测模式关于位置标识的第三条件概率分布。
第二方面,提供了一种直播数据播放装置,所述装置包括:
第一视频帧获取模块,用于获取目标视频中待编码的视频帧;
第一分布获取模块,用于获取备选预测模式关于像素信息的条件概率分布,所述条件概率分布根据所述目标视频中已编码完成的多个像素块的像素信息和预测模式确定,所述条件概率分布用于表示待编码的像素块在满足任一像素信息的条件下采用任一备选预测模式的概率,所述像素块的像素信息包括所述像素块的梯度方向、所述像素块的参考像素块的预测模式和所述像素块的位置标识中的至少一项;
概率获取模块,用于对于所述视频帧中的每个像素块,根据所述条件概率分布以及所述像素块的像素信息,获取所述像素块采用每种备选预测模式的概率;
选择模块,用于根据所述像素块采用所述每种备选预测模式的概率,从多种备选预测模式中选择所述像素块的预测模式。
可选地,所述概率获取模块,包括以下至少一项:
第一概率获取单元,用于根据备选预测模式关于梯度方向的第一条件概率分布以及所述像素块的梯度方向,获取所述像素块采用所述每种备选预测模式的概率;
第二概率获取单元,用于根据备选预测模式关于参考像素块的预测模式的第二条件概率分布以及所述像素块的参考像素块的预测模式,获取所述像素块采用所述每种备选预测模式的概率;
第三概率获取单元,用于根据备选预测模式关于位置标识的第三条件概率分布以及所述像素块的位置标识,获取所述像素块采用所述每种备选预测模式的概率。
可选地,所述概率获取模块包括:
计算单元,用于对于每种备选预测模式,当所述像素信息包括所述像素块的梯度方向、所述像素块的参考像素块的预测模式和所述像素块的位置标识中的多项时,计算所述每项像素信息下所述像素块采用所述备选预测模式的概率的乘积,作为所述像素块采用所述备选预测模式的概率。
可选地,所述选择模块,用于:
根据所述像素块采用所述每种备选预测模式的概率,从所述多种备选预测模式中选取概率最大的备选预测模式,作为所述像素块的预测模式;或者,
根据所述像素块采用所述每种备选预测模式的概率从大到小的顺序,从所述多种备选预测模式中选取预设数量的备选预测模式,按照选取的每种备选预测模式,分别对所述像素块进行编码,获取所述像素块的率失真值,选取率失真值最小的备选预测模式,作为所述像素块的预测模式。
可选地,所述装置还包括:
第二视频帧获取模块,用于获取所述目标视频中已编码完成的视频帧;
信息获取模块,用于获取所述视频帧中每个像素块的像素信息和预测模式,并将获取到的每种预测模式均作为备选预测模式;
第二分布获取模块,用于根据所述视频帧中多个像素块的像素信息和预测模式,获取所述备选预测模式关于像素信息的条件概率分布。
可选地,所述第二分布获取模块,包括:
第一获取单元,用于根据所述多个像素块的梯度方向和预测模式,获取任一种备选预测模式与任一个梯度方向对应的像素块数量;根据所述任一种备选预测模式与任一个梯度方向对应的像素块数量和所述多个像素块的总数量,确定所述任一种备选预测模式关于所述任一个梯度方向的概率;将所述多种备选预测模式关于多个梯度方向的概率组成所述备选预测模式关于梯度方向的第一条件概率分布。
可选地,所述第二分布获取模块,包括:
第二获取单元,用于将所述视频帧中的任一像素块的预测模式与所述任一像素块的参考像素块的预测模式构成预测模式组合,得到多种预测模式组合;获取每种预测模式组合在所述视频帧中的出现次数,根据获取的出现次数获取每种预测模式组合的概率;将所述每种预测模式组合的概率组成所述备选预测模式关于参考像素块的预测模式的第二条件概率分布,所述第二条件概率分布用于表示在待编码的像素块的参考像素块采用任一种预测模式的条件下,所述待编码的像素块采用任一种预测模式的概率。
可选地,所述第二分布获取模块,包括:
第三获取单元,用于根据所述多个像素块的位置标识和预测模式,计算任一种备选预测模式与任一个位置标识对应的像素块数量;根据所述任一种备选预测模式与任一个位置标识对应的像素块数量和所述多个像素块的总数量,确定所述任一种备选预测模式关于所述任一个位置标识的概率;将所述多种备选预测模式关于多个位置标识的概率组成所述备选预测模式关于位置标识的第三条件概率分布。
第三方面,提供了一种预测模式选择装置,所述装置包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如权利要求1至8任一权利要求所述的预测模式选择方法中所执行的操作
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如第一方面所述的预测模式选择方法中所执行的操作。
本发明实施例提供的技术方案带来的有益效果是:
本发明实施例提供的方法、装置及存储介质,根据已编码完成的多个像素块的像素信息和预测模式确定备选预测模式关于像素信息的条件概率分布,根据该条件概率分布可以确定像素块在满足任一像素信息的条件下采用任一备选预测模式的概率,因此根据条件概率分布以及待编码的像素块的像素信息,即可获取到该像素块采用每种备选预测模式的概率,进而为该像素块确定预测模式,而无需计算率失真值,减少了计算量,提高了编码效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种预测模式选择方法的流程图;
图2是本发明实施例提供的一种预测模式选择方法的流程图;
图3是本发明实施例提供的一种操作流程的示意图;
图4是本发明实施例提供的一种预测模式选择装置的结构示意图;
图5是本发明实施例提供的一种服务器的结构示意图;
图6是本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
相关技术中,在进行视频编码时,对于目标视频的视频帧中每个待编码的像素块,可以模拟按照每种备选预测模式进行编码的过程,从而得到每种预测模式对应的率失真值,从多种备选预测模式中选取率失真值最小的预测模式,按照该预测模式进行编码。但是,由于备选预测模式的数量较多,导致确定预测模式过程的计算量较大,编码时间过长,编码效率很低。
而本发明实施例中,根据已编码完成的多个像素块的像素信息和预测模式确定备选预测模式关于像素信息的条件概率分布,根据该条件概率分布可以确定像素块在满足任一像素信息的条件下采用任一备选预测模式的概率,因此根据条件概率分布以及待编码的像素块的像素信息,即可获取到该像素块采用每种备选预测模式的概率,进而为该像素块确定预测模式,而无需计算率失真值,减少了计算量,提高了编码效率。
本发明实施例可以应用于对视频进行编码的场景下,例如采用本发明实施例提供的方法确定每个像素块的预测模式,按照相应的预测模式对每个像素块进行编码,从而完成视频的编码过程,此时可以存储编码后得到的视频文件,可以减小视频中的冗余信息,节省存储空间。或者,发送编码后得到的视频数据,可以减小传输的数据量,节省网络资源。
图1是本发明实施例提供的一种预测模式选择方法的流程图。该发明实施例的执行主体为编码装置,参见图1,该方法包括:
101、获取目标视频中待编码的视频帧。
102、获取备选预测模式关于像素信息的条件概率分布。
其中,条件概率分布根据目标视频中已编码完成的多个像素块的像素信息和预测模式确定,用于表示待编码的像素块在满足任一像素信息的条件下采用任一备选预测模式的概率。
其中,像素块的像素信息包括像素块的梯度方向、像素块的相邻像素块的预测模式和像素块的位置标识中的至少一项。
103、对于视频帧中的每个像素块,根据该条件概率分布以及像素块的像素信息,获取像素块采用每种备选预测模式的概率。
104、根据像素块采用每种备选预测模式的概率,从多种备选预测模式中选择像素块的预测模式。
本发明实施例提供的方法,根据获取目标视频中已编码完成的多个像素块的像素信息和预测模式确定备选预测模式关于像素信息的条件概率分布,以该条件概率分布来表示待编码的像素块在满足任一像素信息的条件下采用任一备选预测模式的概率,则根据该条件概率分布和像素块的像素信息,即可直接获取到像素块采用每种备选预测模式的概率,从而确定该像素块的预测模式,而无需对像素块进行模拟编码,也无需针对每种备选预测模式计算率失真值,减少了计算量,节省了编码时间,提高了编码效率。
可选地,根据条件概率分布以及像素块的像素信息,获取像素块采用每种备选预测模式的概率,包括以下至少一项:
根据备选预测模式关于梯度方向的第一条件概率分布以及像素块的梯度方向,获取像素块采用每种备选预测模式的概率;
根据备选预测模式关于参考像素块的预测模式的第二条件概率分布以及像素块的参考像素块的预测模式,获取像素块采用每种备选预测模式的概率;
根据备选预测模式关于位置标识的第三条件概率分布以及像素块的位置标识,获取像素块采用每种备选预测模式的概率。
可选地,根据条件概率分布以及像素块的像素信息,获取像素块采用每种备选预测模式的概率,包括:对于每种备选预测模式,当像素信息包括像素块的梯度方向、像素块的参考像素块的预测模式和像素块的位置标识中的多项时,计算每项像素信息下像素块采用备选预测模式的概率的乘积,作为像素块采用备选预测模式的概率。
可选地,根据像素块采用每种备选预测模式的概率,从多种备选预测模式中选择像素块的预测模式,包括:
根据像素块采用每种备选预测模式的概率,从多种备选预测模式中选取概率最大的备选预测模式,作为像素块的预测模式;或者,
根据像素块采用每种备选预测模式的概率从大到小的顺序,从多种备选预测模式中选取预设数量的备选预测模式,按照选取的每种备选预测模式,分别对像素块进行编码,获取像素块的率失真值,选取率失真值最小的备选预测模式,作为像素块的预测模式。
可选地,获取目标视频中已编码完成的视频帧;
获取视频帧中每个像素块的像素信息和预测模式,并将获取到的每种预测模式均作为备选预测模式;
根据视频帧中多个像素块的像素信息和预测模式,获取备选预测模式关于像素信息的条件概率分布。
可选地,根据视频帧中多个像素块的像素信息和预测模式,获取备选预测模式关于像素信息的条件概率分布,包括:
根据多个像素块的梯度方向和预测模式,获取任一种备选预测模式与任一个梯度方向对应的像素块的数量;
根据任一种备选预测模式与任一个梯度方向对应的像素块的数量和多个像素块的总数量,确定任一种备选预测模式关于任一个梯度方向的概率;
将多种备选预测模式关于多个梯度方向的概率组成备选预测模式关于梯度方向的第一条件概率分布。
可选地,根据视频帧中多个像素块的像素信息和预测模式,获取备选预测模式关于像素信息的条件概率分布,包括:
将视频帧中的任一像素块的预测模式与任一像素块的参考像素块的预测模式构成预测模式组合,得到多种预测模式组合;
获取每种预测模式组合在视频帧中的出现次数,根据获取的出现次数获取每种预测模式组合的概率;
将每种预测模式组合的概率组成备选预测模式关于参考像素块的预测模式的第二条件概率分布,第二条件概率分布用于表示在待编码的像素块的参考像素块采用任一种预测模式的条件下,待编码的像素块采用任一种预测模式的概率。可选地,根据视频帧中多个像素块的像素信息和预测模式,获取备选预测模式关于像素信息的条件概率分布,包括:
根据多个像素块的位置标识和预测模式,计算任一种备选预测模式与任一个位置标识对应的像素块数量;
根据任一种备选预测模式与任一个位置标识对应的像素块数量和多个像素块的总数量,确定任一种备选预测模式关于任一个位置标识的概率;
将多种备选预测模式关于多个位置标识的概率组成备选预测模式关于位置标识的第三条件概率分布。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
图2是本发明实施例提供的一种预测模式选择方法的流程图。该发明实施例的执行主体为编码装置,参见图2,该方法包括:
201、当获取到待编码的视频帧时,将该视频帧划分为训练视频帧或预测视频帧,若该视频帧划分为训练视频帧,则执行步骤202-203,若该视频帧划分为预测视频帧,则执行步骤204-207。
该编码装置可以为手机、计算机或者平板电脑等终端,或者也可以为服务器。该目标视频为待编码的视频,可以为终端或服务器上存储的视频文件,或者,也可以为服务器发送给终端、由终端进行播放的视频。该目标视频中包括多个视频帧,每个视频帧包括多个像素,在对目标视频进行编码时,需要分别对每个视频帧中的每个像素进行编码。
本发明实施例中,为了减少计算量,缩短编码时间,该编码装置可以根据已编码完成的视频帧对未编码的视频帧进行预测编码。为此,将目标视频中的多个视频帧划分为训练视频帧和预测视频帧,对于训练视频帧可以在进行编码后获取备选预测模式关于像素信息的条件概率分布,而该条件概率分布可以应用于预测视频帧的编码过程,从而节省预测视频帧的编码时间。
可选地,目标视频中的多个视频帧的位置具有先后顺序,在进行编码之前可以预先确定训练视频帧位置和预测视频帧位置的划分方式,那么对目标视频进行编码的过程中,每次要对某一视频帧进行编码时,确定该视频帧在目标视频中的位置,根据该视频帧的位置和预先确定的位置划分方式,确定将该视频帧划分为训练视频帧还是预测视频帧。
其中,训练视频帧位置和预测视频帧位置的划分方式可以采用交叉划分的方式,先将第一数量的位置作为训练视频帧的位置,再将之后的第二数量的位置作为预测视频帧的位置,之后继续将之后的第一数量的位置作为训练视频帧的位置,以此类推,直至确定好目标视频中每个位置是训练视频帧的位置还是预测视频帧的位置。第一数量和第二数量可以相等,也可不等。
例如,将目标视频中第一个至第三个视频帧作为训练视频帧,第四个至第六个视频帧作为预测视频帧,将第七个至第九个视频帧作为训练视频帧,以此类推。
可选地,为了使划分得到的训练视频帧与预测视频帧之间的比例满足要求,可以设定训练视频帧的划分概率为第一概率,预测视频帧的划分概率为第二概率,第一概率与第二概率之和为1。那么对目标视频进行编码的过程中,每次要对某一视频帧进行编码时,会按照第一概率和第二概率对该视频帧进行随机划分,确定该视频帧为训练视频帧还是预测视频帧。这样不仅可以保证目标视频中划分出的训练视频帧与预测视频帧之间的比例满足要求,而且由于概率的随机性,还可以保证训练视频帧和预测视频帧实现交叉划分。
可选地,为了实现训练视频帧和预测视频帧之间的交叉划分,可以预先设定划分方式为:在目标视频中将第一播放时长内的视频帧划分为训练视频帧,将之后的第二播放时长内的视频帧划分为预测视频帧,之后的第一播放时长内的视频帧划分为训练视频帧,以此类推。那么对目标视频进行编码的过程中,每次要对某一视频帧进行编码时,根据该视频帧在目标视频中的播放时间点,确定该视频帧为训练视频帧还是预测视频帧。
另外,该编码装置还可以采用其他方式划分出训练视频帧和预测视频帧,本发明实施例在此不再赘述。
202、获取训练视频帧中每个像素块的像素信息和预测模式,并将获取到的每种预测模式均作为备选预测模式。
当前待编码的视频帧为训练视频帧时,将该训练视频帧划分为多个像素块,并获取多种备选预测模式,每种备选预测模式用于规定任一像素块的参考像素块以及根据参考像素块的像素值来计算该任一像素块的编码值的具体方式。
则对于每个待编码的像素块,可以模拟按照每种备选预测模式进行编码的过程,即按照每种备选预测模式,分别对该像素块进行编码,根据该像素块的编码值可以确定该像素块的原始像素值和预测像素值之间的差值,从而计算得到该像素块的率失真值,该率失真值即可表示该像素块的预测准确程度。则从多种备选预测模式中选取率失真值最小的预测模式,作为该像素块的预测模式,按照确定的预测模式,并根据与该像素块的参考像素块的像素值,对该像素块进行编码,得到该像素块的编码值。
其中,像素块是指视频帧中进行编码的最小单位,不同尺寸的像素块可采用的预测模式不同。例如,在h264标准(高度压缩数字视频编解码器标准)中,4*4的像素块可以采用9种预测模式,而16*16的像素块可以采用另外的4种预测模式。
那么,在进行编码时可以先根据多种备选预测模式对应的像素块尺寸确定最大的像素块尺寸,按照该最大的像素块尺寸将视频帧划分为多个宏块。每个宏块在进行模拟编码时,可以按照当前选用的备选预测模式再划分为满足该备选预测模式规定尺寸的像素块。
例如,可以先将视频帧划分为多个16*16的宏块,每个宏块可以分别计算在采用16*16尺寸下的4种备选预测模式时的率失真值,得到4个宏块的率失真值。另外还可以将宏块划分为16个4*4的子宏块,每个子宏块可以分别计算在采用4*4尺寸下的9种备选预测模式时的率失真值,得到9个率失真值,并确定9个率失真值中的最小率失真值以及该最小率失真值对应的备选预测模式,将宏块中16个子宏块的最小率失真值之和作为宏块的率失真值,又可以得到宏块的1个率失真值,将宏块得到的5个率失真值进行对比,选择最小率失真值对应的预测模式。
另外,每个像素块的参考像素块是指与像素块相邻且已编码完成的像素块。每个像素块的相邻像素块可以有多个,具体采用哪几个已编码完成的像素块作为参考像素块可以根据预测模式确定。例如,预测模式0规定,任一像素块均以该像素块上方的像素块中最后一行的像素块作为参考像素块。
训练视频帧编码完成之后,可以得到该训练视频帧中每个像素块采用的预测模式,另外还可以获取每个像素块的像素信息,此时可以将训练视频帧中获取到的每种预测模式均作为备选预测模式,以便根据同一像素块的像素信息和预测模式进行统计,学习出每种像素信息与每种备选预测模式之间的关联关系。
其中,像素块的像素信息包括像素块的梯度方向、像素块的参考像素块的预测模式和像素块的位置标识中的至少一项。梯度方向用于表示像素块在邻域内像素值的变化最大的方向,计算梯度方向的方式可以为平方梯度法或梯度直方图法等。像素块的参考像素块可以为像素块的左邻像素块、上邻像素块、左上邻像素块或其他位置的像素块,像素块进行编码时,考虑到相邻像素块之间的预测模式具有关联性,因此可以将参考像素块的预测模式用于为本像素块确定预测模式。像素块的位置标识用于表示像素块在视频帧中的位置,可以为位置序号或者像素块起点在视频帧中的坐标等。
203、根据训练视频帧中多个像素块的像素信息和预测模式,获取备选预测模式关于像素信息的条件概率分布,执行步骤204。
该编码装置获取到多个像素块的像素信息和预测模式后,可以得到多种像素信息和多种备选预测模式,此时为了统计出每种像素信息与每种备选预测模式之间的关联关系,可以将多种像素信息和多种备选预测模式两两组合,得到包含任一种像素信息与任一种备选预测模式的组合。对于每个组合来说,满足该组合中的像素信息且采用了该组合中的备选预测模式的像素块即为该组合对应的像素块,而该组合对应的像素块越多,表示该像素信息与该备选预测模式之间的关联性越强,而该组合对应的像素块越少,表示该像素信息与该备选预测模式之间的关联性越弱。
因此,根据该组合对应的像素块数量即可确定该备选预测模式关于该像素信息的概率,进而将多个组合对应的概率组成备选预测模式关于像素信息的条件概率分布。该概率可以表示像素块在满足该像素信息的条件下采用该备选预测模式的概率,则该条件概率分布可以表示像素块在满足任一像素信息的条件下采用任一备选预测模式的概率。
另外,该编码装置根据多个像素块的像素信息和预测模式,还可以采用其他统计方式来获取条件概率分布,本发明实施例在此不再赘述。
需要说明的是,本发明实施例中,编码装置会按照目标视频中每个视频帧的先后顺序依次进行编码,则当某一个训练视频帧编码完成后,均可根据该训练视频帧中的多个像素块的像素信息和预测模式,对已获取的条件概率分布进行更新。更新过程包括:对于每个组合来说,根据该训练视频帧编码之前该组合对应的像素块数量,以及本次编码的训练视频帧中该组合对应的像素块数量,获取该组合更新后的像素块数量,则根据该组合更新后的像素块数量重新确定该备选预测模式关于该像素信息的概率,进而获取到更新后的条件概率分布。
实际应用中,可以采用滑动窗口进行对条件概率分布的更新,例如,滑动窗口的长度为500帧,则每次要更新条件概率分布时,选取当前视频帧之前的500帧,根据这500帧内的训练视频帧中每个像素块的像素信息和预测模式来更新条件概率分布。为了保证条件概率分布的准确性,这500帧内包含的预测视频帧将不予考虑,在这500帧之前的其他视频帧也不予考虑。那么,随着时间的推移,滑动窗口不断滑动,可以保证每次更新条件概率分布时均可采用与当前视频帧的时间差较小的训练视频帧,而不再采用与当前视频帧的时间差较大的训练视频帧,提高了条件概率分布的准确性。
可选地,该步骤203包括以下步骤2031-2033中的至少一个:
2031、根据多个像素块的梯度方向和预测模式,计算任一种备选预测模式与任一个梯度方向对应的像素块数量;根据任一种备选预测模式与任一个梯度方向对应的像素块数量和多个像素块的总数量,确定任一种备选预测模式关于任一个梯度方向的概率;将多种备选预测模式关于多个梯度方向的概率组成备选预测模式关于梯度方向的第一条件概率分布。
可选地,可以将任一种备选预测模式与任一个梯度方向对应的像素块数量与多个像素块的总数量之间的比值,作为该任一种备选预测模式关于该任一个梯度方向的概率。
例如,D表示梯度方向,Q为预测模式,假设已编码完成的训练视频帧中出现的梯度方向包括m种{D1,D2……Dm},采用的预测模式包括n种{Q1,Q2……Qn},m和n为正整数,则梯度方向与预测模式的组合有m*n个,且可以根据每个组合对应的像素块数量计算出相应的概率,得到条件概率分布。该条件概率分布可以如下述矩阵所示:
Figure BDA0001769277850000151
该条件概率分布可以采用上述矩阵的形式来存储,还可以采用二维数组的形式存储或者采用其他方式存储。
2032、将视频帧中的任一像素块的预测模式与任一像素块的参考像素块的预测模式构成预测模式组合,得到多种预测模式组合;获取每种预测模式组合在视频帧中的出现次数,根据获取的出现次数获取每种预测模式组合的概率;将每种预测模式组合的概率组成备选预测模式关于参考像素块的预测模式的第二条件概率分布,第二条件概率分布用于表示在待编码的像素块的参考像素块采用任一种预测模式的条件下,待编码的像素块采用任一种预测模式的概率。
其中,像素块的参考像素块可以包括该像素块的左侧像素块、该像素块的上侧像素块、该像素块的左上侧像素块等一个或多个像素块。则在对视频帧进行编码时,可以按照从左到右、从上到下的顺序依次对像素块进行编码,每个像素块进行编码时,可以参考左侧或上侧或左上侧的参考像素块的像素值。当然,参考像素块也可以包括该像素块的右侧像素块、上侧像素块和右上侧像素块或者其他位置的像素块。
可选地,获取每种预测模式组合在视频帧中的出现次数,计算每种预测模式组合的出现次数与所有预测模式组合的总出现次数的比值,作为每种预测模式组合的概率。
例如,X表示参考像素块的预测模式,Q表示当前待编码像素块的预测模式,假设像素块采用的预测模式包括n种{Q1,Q2……Qn},n为正整数,则参考像素块的预测模式和像素块的预测模式的组合具有n*n个,且可以根据每个组合对应的像素块数量计算出相应的概率,得到条件概率分布。该条件概率分布可以如下述矩阵所示:
Figure BDA0001769277850000152
2033、根据多个像素块的位置标识和预测模式,计算任一种备选预测模式与任一个位置标识对应的像素块数量;根据任一种备选预测模式与任一个位置标识对应的像素块数量和多个像素块的总数量,确定任一种备选预测模式关于任一个位置标识的概率;将多种备选预测模式关于多个位置标识的概率组成备选预测模式关于位置标识的第三条件概率分布。
可选地,位置标识用于表示像素块在视频帧中的位置,可以为像素块的序号、坐标或者其他标识。例如,将视频帧中的像素块按照从左到右,从上到下的顺序排列,可以确定每个像素块的序号,作为位置标识。或者以视频帧左上角的第一个像素点的位置作为原点创建坐标系,每个像素块在该坐标系中的坐标即可作为位置标识。
可选地,将任一种备选预测模式与任一位置标识对应的像素块数量与多个像素块的总数量之间的比值,作为该任一种备选预测模式关于该任一个位置标识的概率。
例如,H表示位置标识,Q为预测模式,假设已编码完成的训练视频帧中包含m个像素块,即位置标识包括m种{D1,D2……Dm},采用的预测模式包括n种{Q1,Q2……Qn},m和n为正整数,则位置标识与预测模式的组合有m*n个,且可以根据每个组合对应的像素块数量计算出相应的概率,得到条件概率分布。该条件概率分布可以如下述矩阵所示:
Figure BDA0001769277850000161
204、获取备选预测模式关于像素信息的条件概率分布。
当该编码装置获取当前待编码的视频帧,且该视频帧为预测视频帧时,不再采用上述步骤202中训练视频帧的编码方式,而是获取条件概率分布,以便根据该条件概率分布直接确定要采用的预测模式。
205、对于视频帧中的每个像素块,根据备选预测模式关于像素信息的条件概率分布以及该像素块的像素信息,获取该像素块采用每种备选预测模式的概率。
由于该条件概率分布中已经确定每种备选预测模式关于每种像素信息的概率,也即是确定了像素块在满足每种像素信息的条件下,采用每种备选预测模式的概率。因此,当获取到像素块的像素信息时,根据该条件概率分布即可确定该像素块采用每种备选预测模式的概率。
基于上述步骤2031-2033,该步骤205可以包括以下步骤2051-2053中的至少一个:
2051、根据备选预测模式关于梯度方向的第一条件概率分布以及该像素块的梯度方向,获取像素块采用每种备选预测模式的概率。
由于该第一条件概率分布中已经确定每种备选预测模式关于每种梯度方向的概率,也即是确定了像素块在具有每种梯度方向的条件下,采用每种备选预测模式的概率。因此,当获取到像素块的梯度方向时,根据该第一条件概率分布即可确定该像素块采用每种备选预测模式的概率。
基于上述步骤2031中的举例,假设像素块的梯度方向为D1,则根据该第一条件概率分布可以确定像素块采用每种备选预测模式的概率分别为{P(Q1|D1),P(Q2|D1)……P(Qn|D1)}。
2052、根据备选预测模式关于参考像素块的预测模式的第二条件概率分布以及像素块的参考像素块的预测模式,获取像素块采用每种备选预测模式的概率。
基于上述步骤2032中的举例,假设像素块的参考像素块的预测模式为X1,则根据该第二条件概率分布可以确定像素块采用每种备选预测模式的概率分别为{P(Q1|X1),P(Q2|X1)……P(Qn|X1)}。
2053、根据备选预测模式关于位置标识的第三条件概率分布以及像素块的位置标识,获取像素块采用每种备选预测模式的概率。
基于上述步骤2033中的举例,假设像素块的参考像素块的位置标识为H1,则根据该第三条件概率分布可以确定像素块采用每种备选预测模式的概率分别为{P(Q1|H1),P(Q2|H1)……P(Qn|H1)}。
需要说明的是,本发明实施例中,像素块的像素信息可以包括像素块的梯度方向、像素块的参考像素块的预测模式和像素块的位置标识中的一项或多项,当像素信息仅包括某一项时,只需根据该项像素信息来获取像素块采用每种备选预测模式的概率。
而当像素信息包括像素块的梯度方向、像素块的参考像素块的预测模式和像素块的位置标识中的多项时,可以根据备选预测模式关于每项像素信息的条件概率分布以及该像素块的每项像素信息,分别获取每项像素信息下像素块采用每种备选预测模式的概率,计算每项像素信息下像素块采用每种备选预测模式的概率的乘积,作为像素块采用每种备选预测模式的概率。
像素块采用每种备选预测模式的概率,实际上应当为像素块在同时满足多项像素信息的条件下,采用每种备选预测模式的概率。而根据贝叶斯分类方法,假设各项像素信息相互独立,则像素块采用每种备选预测模式的概率可以为像素块在满足每项像素信息的条件下采用每种备选预测模式的概率的乘积。
例如,像素块的梯度方向为D1,根据第一条件概率分布即可确定该梯度方向D1条件下采用备选预测模式Q的概率为P(Q|D=D1),像素块左侧、上侧和左上侧参考像素块的预测模式分别为X1、Y1和Z1,根据第二条件概率分布即可确定相应条件下采用备选预测模式Q的概率为P(Q|X=X1)、P(Q|Y=Y1)和P(Q|Z=Z1),像素块的位置标识为H1,根据第三条件概率分布即可确定该位置标识H1条件下采用备选预测模式Q的概率为P(Q|H=H1)。
在梯度方向、参考像素块的预测模式以及位置标识等各项像素信息相互独立的情况下,P=P(Q|D=D1,X=X1,Y=Y1,Z=Z1,H=H1)=P(Q|D=D1)·P(Q|X=X1)·P(Q|Y=Y1)·P(Q|Z=Z1)·P(Q|H=H1)。
206、根据像素块采用每种备选预测模式的概率,从多种备选预测模式中选择像素块的预测模式。
可选地,根据像素块采用每种备选预测模式的概率,按照概率从大到小的顺序进行排序,从多种备选预测模式中选取概率最大的备选预测模式,作为像素块的预测模式。另外,如果概率最大的备选预测模式存在至少两个时,可以从概率最大的备选预测模式中随机选取任一种备选预测模式,或者也可以按照概率最大的每种备选预测模式,分别对像素块进行编码,获取像素块的率失真值,选取率失真值最小的备选预测模式,作为像素块的预测模式。
或者,根据像素块采用每种备选预测模式的概率从大到小的顺序,从多种备选预测模式中选取预设数量的备选预测模式,按照选取的每种备选预测模式,分别对像素块进行编码,获取像素块的率失真值,选取率失真值最小的备选预测模式,作为像素块的预测模式。其中,该预设数量可以根据所有备选预测模式的总数量和一定的选取比例确定,该选取比例可以根据对编码的准确度需求以及对编码效率的需求综合确定。
其中,通过获取率失真值确定预测模式的方式与上述步骤202类似,在此不再赘述。
207、按照确定的预测模式,并根据像素块的参考像素块的像素值,对该像素块进行编码,得到该像素块的编码值。
在对当前的预测视频帧编码完成后,即可继续对目标视频中的下一个视频帧进行编码,直至对目标视频中的所有视频帧编码完成。
本发明实施例提供的方法,根据获取目标视频中已编码完成的多个像素块的像素信息和预测模式确定备选预测模式关于像素信息的条件概率分布,以该条件概率分布来表示待编码的像素块在满足任一像素信息的条件下采用任一备选预测模式的概率,则根据该条件概率分布和像素块的像素信息,即可直接获取到像素块采用每种备选预测模式的概率,从而确定该像素块的预测模式,而无需对像素块进行模拟编码,也无需针对每种备选预测模式计算率失真值,减少了计算量,节省了编码时间,提高了编码效率。
图3是本发明实施例提供的一种操作流程图,参见图3,在对目标视频进行编码时,首先将目标视频的视频帧划分为两部分,即训练视频帧和预测视频帧。
如果当前待编码的视频帧为训练视频帧,对训练视频帧采用传统的编码方式进行编码,且编码过程中会确定训练视频帧中每个像素块的预测模式,并计算每个像素块的三项像素信息,从而可以分别更新备选预测模式关于三项像素信息的条件概率分布。
如果当前待编码的视频帧为预测视频帧,先获取每个像素块的三项像素信息,即梯度方向、参考像素块模式和位置标识,再根据三项像素信息获取每种备选预测模式在三种像素信息的条件下的概率,进而得到采用每种备选预测模式的概率,根据概率选取一定数量的预测模式,计算该数量的备选预测模式中每种备选预测模式的率失真值,进而根据每种备选预测模式的率失真值确定像素块应采用的预测模式。
编码完成后,如果当前视频帧为目标视频中的最后一个视频帧,则结束编码,如果当前视频帧不是最后一个视频帧,则继续对下一个视频帧采用同样的方式进行编码,直至目标视频中的最后一个视频帧编码完成。
图4是本发明实施例提供的一种预测模式选择装置的结构示意图,参见图4,该装置包括:
第一视频帧获取模块401,用于获取目标视频中待编码的视频帧;
第一分布获取模块402,用于获取备选预测模式关于像素信息的条件概率分布,条件概率分布根据目标视频中已编码完成的多个像素块的像素信息和预测模式确定,条件概率分布用于表示待编码的像素块在满足任一像素信息的条件下采用任一备选预测模式的概率,像素块的像素信息包括像素块的梯度方向、像素块的参考像素块的预测模式和像素块的位置标识中的至少一项;
概率获取模块403,用于对于视频帧中的每个像素块,根据条件概率分布以及像素块的像素信息,获取像素块采用每种备选预测模式的概率;
选择模块404,用于根据像素块采用每种备选预测模式的概率,从多种备选预测模式中选择像素块的预测模式。
可选地,概率获取模块403,包括以下至少一项:
第一概率获取单元,用于根据备选预测模式关于梯度方向的第一条件概率分布以及像素块的梯度方向,获取像素块采用每种备选预测模式的概率;
第二概率获取单元,用于根据备选预测模式关于参考像素块的预测模式的第二条件概率分布以及像素块的参考像素块的预测模式,获取像素块采用每种备选预测模式的概率;
第三概率获取单元,用于根据备选预测模式关于位置标识的第三条件概率分布以及像素块的位置标识,获取像素块采用每种备选预测模式的概率。
可选地,概率获取模块403包括:
计算单元,用于对于每种备选预测模式,当像素信息包括像素块的梯度方向、像素块的参考像素块的预测模式和像素块的位置标识中的多项时,计算每项像素信息下像素块采用备选预测模式的概率的乘积,作为像素块采用备选预测模式的概率。
可选地,选择模块404,用于:
根据像素块采用每种备选预测模式的概率,从多种备选预测模式中选取概率最大的备选预测模式,作为像素块的预测模式;或者,
根据像素块采用每种备选预测模式的概率从大到小的顺序,从多种备选预测模式中选取预设数量的备选预测模式,按照选取的每种备选预测模式,分别对像素块进行编码,获取像素块的率失真值,选取率失真值最小的备选预测模式,作为像素块的预测模式。
可选地,该装置还包括:
第二视频帧获取模块,用于获取目标视频中已编码完成的视频帧;
信息获取模块,用于获取视频帧中每个像素块的像素信息和预测模式,并将获取到的每种预测模式均作为备选预测模式;
第二分布获取模块,用于根据视频帧中多个像素块的像素信息和预测模式,获取备选预测模式关于像素信息的条件概率分布。
可选地,第二分布获取模块,包括:
第一获取单元,用于根据多个像素块的梯度方向和预测模式,获取任一种备选预测模式与任一个梯度方向对应的像素块数量;根据任一种备选预测模式与任一个梯度方向对应的像素块数量和多个像素块的总数量,确定任一种备选预测模式关于任一个梯度方向的概率;将多种备选预测模式关于多个梯度方向的概率组成备选预测模式关于梯度方向的第一条件概率分布。
可选地,第二分布获取模块,包括:
第二获取单元,用于将视频帧中的任一像素块的预测模式与任一像素块的参考像素块的预测模式构成预测模式组合,得到多种预测模式组合;获取每种预测模式组合在视频帧中的出现次数,根据获取的出现次数获取每种预测模式组合的概率;将每种预测模式组合的概率组成备选预测模式关于参考像素块的预测模式的第二条件概率分布,第二条件概率分布用于表示在待编码的像素块的参考像素块采用任一种预测模式的条件下,待编码的像素块采用任一种预测模式的概率。
可选地,第二分布获取模块,包括:
第三获取单元,用于根据多个像素块的位置标识和预测模式,计算任一种备选预测模式与任一个位置标识对应的像素块数量;根据任一种备选预测模式与任一个位置标识对应的像素块数量和多个像素块的总数量,确定任一种备选预测模式关于任一个位置标识的概率;将多种备选预测模式关于多个位置标识的概率组成备选预测模式关于位置标识的第三条件概率分布。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
需要说明的是:上述实施例提供的预测模式选择装置在选取预测模式时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将编码装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的预测模式选择装置与预测模式选择方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图5是本发明实施例提供的一种服务器的结构示意图,该服务器500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processingunits,CPU)501和一个或一个以上的存储器502,其中,所述存储器502中存储有至少一条指令,所述至少一条指令由所述处理器501加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
服务器500可以用于执行上述预测模式选择方法中编码装置所执行的步骤。
图6是本发明实施例提供的一种终端600的结构示意图。该终端600可以是便携式移动终端,比如:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group AudioLayer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑、台式电脑、头戴式设备,或其他任意智能终端。终端600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端600包括有:处理器601和存储器602。
处理器601可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601可以在集成有GPU(Graphics Processing Unit,图像处理的交互器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器601所具有以实现本申请中方法实施例提供的预测模式选择方法。
在一些实施例中,终端600还可选包括有:***设备接口603和至少一个***设备。处理器601、存储器602和***设备接口603之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口603相连。具体地,***设备包括:射频电路604、触摸显示屏605、摄像头606、音频电路607、定位组件608和电源609中的至少一种。
***设备接口603可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器601和存储器602。在一些实施例中,处理器601、存储器602和***设备接口603被集成在同一芯片或电路板上;在一些其他实施例中,处理器601、存储器602和***设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路604包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及8G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路604还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏605用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时,显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时,显示屏605还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏605可以为一个,设置终端600的前面板;在另一些实施例中,显示屏605可以为至少两个,分别设置在终端600的不同表面或呈折叠设计;在再一些实施例中,显示屏605可以是柔性显示屏,设置在终端600的弯曲表面上或折叠面上。甚至,显示屏605还可以设置成非矩形的不规则图形,也即异形屏。显示屏605可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选地,摄像头组件606包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器601进行处理,或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路607还可以包括耳机插孔。
定位组件608用于定位终端600的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System,全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源609用于为终端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于:加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号,控制触摸显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器612可以检测终端600的机体方向及转动角度,陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器613可以设置在终端600的侧边框和/或触摸显示屏605的下层。当压力传感器613设置在终端600的侧边框时,可以检测用户对终端600的握持信号,由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在触摸显示屏605的下层时,由处理器601根据用户对触摸显示屏605的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器614用于采集用户的指纹,由处理器601根据指纹传感器614采集到的指纹识别用户的身份,或者,由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器601授权该用户具有相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置终端600的正面、背面或侧面。当终端600上设置有物理按键或厂商Logo时,指纹传感器614可以与物理按键或厂商标志集成在一起。
光学传感器615用于采集环境光强度。在一个实施例中,处理器601可以根据光学传感器615采集的环境光强度,控制触摸显示屏605的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏605的显示亮度;当环境光强度较低时,调低触摸显示屏605的显示亮度。在另一个实施例中,处理器601还可以根据光学传感器615采集的环境光强度,动态调整摄像头组件606的拍摄参数。
接近传感器616,也称距离传感器,通常设置在终端600的前面板。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中,当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时,由处理器601控制触摸显示屏605从亮屏状态切换为息屏状态;当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时,由处理器601控制触摸显示屏605从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图6中示出的结构并不构成对终端600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本发明实施例还提供了一种预测模式选择装置,该预测模式选择装置包括处理器和存储器,存储器中存储有至少一条指令,该指令由处理器加载并执行以实现上述实施例的预测模式选择方法中所执行的操作。
本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条指令,该指令由处理器加载并执行以实现上述实施例的预测模式选择方法中所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (18)

1.一种预测模式选择方法,其特征在于,所述方法包括:
获取目标视频中待编码的视频帧;
获取备选预测模式关于像素信息的条件概率分布,所述条件概率分布根据所述目标视频中已编码完成的多个像素块的像素信息和预测模式确定,所述条件概率分布用于表示待编码的像素块在满足任一像素信息的条件下采用任一备选预测模式的概率,所述像素块的像素信息包括所述像素块的梯度方向、所述像素块的参考像素块的预测模式和所述像素块的位置标识中的至少一项;
对于所述视频帧中的每个像素块,根据所述条件概率分布以及所述像素块的像素信息,获取所述像素块采用每种备选预测模式的概率;
根据所述像素块采用所述每种备选预测模式的概率,从多种备选预测模式中选择所述像素块的预测模式。
2.根据权利要求1所述的方法,其特征在于,所述根据所述条件概率分布以及所述像素块的像素信息,获取所述像素块采用所述每种备选预测模式的概率,包括以下至少一项:
根据备选预测模式关于梯度方向的第一条件概率分布以及所述像素块的梯度方向,获取所述像素块采用所述每种备选预测模式的概率;
根据备选预测模式关于参考像素块的预测模式的第二条件概率分布以及所述像素块的参考像素块的预测模式,获取所述像素块采用所述每种备选预测模式的概率;
根据备选预测模式关于位置标识的第三条件概率分布以及所述像素块的位置标识,获取所述像素块采用所述每种备选预测模式的概率。
3.根据权利要求2所述的方法,其特征在于,所述根据所述条件概率分布以及所述像素块的像素信息,获取所述像素块采用所述每种备选预测模式的概率,包括:
对于每种备选预测模式,当所述像素信息包括所述像素块的梯度方向、所述像素块的参考像素块的预测模式和所述像素块的位置标识中的多项时,计算每项像素信息下所述像素块采用所述备选预测模式的概率的乘积,作为所述像素块采用所述备选预测模式的概率。
4.根据权利要求1所述的方法,其特征在于,所述根据所述像素块采用所述每种备选预测模式的概率,从多种备选预测模式中选择所述像素块的预测模式,包括:
根据所述像素块采用所述每种备选预测模式的概率,从所述多种备选预测模式中选取概率最大的备选预测模式,作为所述像素块的预测模式;或者,
根据所述像素块采用所述每种备选预测模式的概率从大到小的顺序,从所述多种备选预测模式中选取预设数量的备选预测模式,按照选取的每种备选预测模式,分别对所述像素块进行编码,获取所述像素块的率失真值,选取率失真值最小的备选预测模式,作为所述像素块的预测模式。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述目标视频中已编码完成的视频帧;
获取所述视频帧中每个像素块的像素信息和预测模式,并将获取到的每种预测模式均作为备选预测模式;
根据所述视频帧中多个像素块的像素信息和预测模式,获取所述备选预测模式关于像素信息的条件概率分布。
6.根据权利要求5所述的方法,其特征在于,所述根据所述视频帧中多个像素块的像素信息和预测模式,获取所述备选预测模式关于像素信息的条件概率分布,包括:
根据所述多个像素块的梯度方向和预测模式,获取任一种备选预测模式与任一个梯度方向对应的像素块数量;
根据所述任一种备选预测模式与任一个梯度方向对应的像素块数量和所述多个像素块的总数量,确定所述任一种备选预测模式关于所述任一个梯度方向的概率;
将所述多种备选预测模式关于多个梯度方向的概率组成所述备选预测模式关于梯度方向的第一条件概率分布。
7.根据权利要求5所述的方法,其特征在于,所述根据所述视频帧中多个像素块的像素信息和预测模式,获取所述备选预测模式关于像素信息的条件概率分布,包括:
将所述视频帧中的任一像素块的预测模式与所述任一像素块的参考像素块的预测模式构成预测模式组合,得到多种预测模式组合;
获取每种预测模式组合在所述视频帧中的出现次数,根据获取的出现次数获取每种预测模式组合的概率;
将所述每种预测模式组合的概率组成所述备选预测模式关于参考像素块的预测模式的第二条件概率分布,所述第二条件概率分布用于表示在待编码的像素块的参考像素块采用任一种预测模式的条件下,所述待编码的像素块采用任一种预测模式的概率。
8.根据权利要求5所述的方法,其特征在于,所述根据所述视频帧中多个像素块的像素信息和预测模式,获取所述备选预测模式关于像素信息的条件概率分布,包括:
根据所述多个像素块的位置标识和预测模式,计算任一种备选预测模式与任一个位置标识对应的像素块数量;
根据所述任一种备选预测模式与任一个位置标识对应的像素块数量和所述多个像素块的总数量,确定所述任一种备选预测模式关于所述任一个位置标识的概率;
将所述多种备选预测模式关于多个位置标识的概率组成所述备选预测模式关于位置标识的第三条件概率分布。
9.一种预测模式选择装置,其特征在于,所述装置包括:
第一视频帧获取模块,用于获取目标视频中待编码的视频帧;
第一分布获取模块,用于获取备选预测模式关于像素信息的条件概率分布,所述条件概率分布根据所述目标视频中已编码完成的多个像素块的像素信息和预测模式确定,所述条件概率分布用于表示待编码的像素块在满足任一像素信息的条件下采用任一备选预测模式的概率,所述像素块的像素信息包括所述像素块的梯度方向、所述像素块的参考像素块的预测模式和所述像素块的位置标识中的至少一项;
概率获取模块,用于对于所述视频帧中的每个像素块,根据所述条件概率分布以及所述像素块的像素信息,获取所述像素块采用每种备选预测模式的概率;
选择模块,用于根据所述像素块采用所述每种备选预测模式的概率,从多种备选预测模式中选择所述像素块的预测模式。
10.根据权利要求9所述的装置,其特征在于,所述概率获取模块,包括以下至少一项:
第一概率获取单元,用于根据备选预测模式关于梯度方向的第一条件概率分布以及所述像素块的梯度方向,获取所述像素块采用所述每种备选预测模式的概率;
第二概率获取单元,用于根据备选预测模式关于参考像素块的预测模式的第二条件概率分布以及所述像素块的参考像素块的预测模式,获取所述像素块采用所述每种备选预测模式的概率;
第三概率获取单元,用于根据备选预测模式关于位置标识的第三条件概率分布以及所述像素块的位置标识,获取所述像素块采用所述每种备选预测模式的概率。
11.根据权利要求10所述的装置,其特征在于,所述概率获取模块包括:
计算单元,用于对于每种备选预测模式,当所述像素信息包括所述像素块的梯度方向、所述像素块的参考像素块的预测模式和所述像素块的位置标识中的多项时,计算每项像素信息下所述像素块采用所述备选预测模式的概率的乘积,作为所述像素块采用所述备选预测模式的概率。
12.根据权利要求9所述的装置,其特征在于,所述选择模块,用于:
根据所述像素块采用所述每种备选预测模式的概率,从所述多种备选预测模式中选取概率最大的备选预测模式,作为所述像素块的预测模式;或者,
根据所述像素块采用所述每种备选预测模式的概率从大到小的顺序,从所述多种备选预测模式中选取预设数量的备选预测模式,按照选取的每种备选预测模式,分别对所述像素块进行编码,获取所述像素块的率失真值,选取率失真值最小的备选预测模式,作为所述像素块的预测模式。
13.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第二视频帧获取模块,用于获取所述目标视频中已编码完成的视频帧;
信息获取模块,用于获取所述视频帧中每个像素块的像素信息和预测模式,并将获取到的每种预测模式均作为备选预测模式;
第二分布获取模块,用于根据所述视频帧中多个像素块的像素信息和预测模式,获取所述备选预测模式关于像素信息的条件概率分布。
14.根据权利要求13所述的装置,其特征在于,所述第二分布获取模块,包括:
第一获取单元,用于根据所述多个像素块的梯度方向和预测模式,获取任一种备选预测模式与任一个梯度方向对应的像素块数量;根据所述任一种备选预测模式与任一个梯度方向对应的像素块数量和所述多个像素块的总数量,确定所述任一种备选预测模式关于所述任一个梯度方向的概率;将所述多种备选预测模式关于多个梯度方向的概率组成所述备选预测模式关于梯度方向的第一条件概率分布。
15.根据权利要求13所述的装置,其特征在于,所述第二分布获取模块,包括:
第二获取单元,用于将所述视频帧中的任一像素块的预测模式与所述任一像素块的参考像素块的预测模式构成预测模式组合,得到多种预测模式组合;获取每种预测模式组合在所述视频帧中的出现次数,根据获取的出现次数获取每种预测模式组合的概率;将所述每种预测模式组合的概率组成所述备选预测模式关于参考像素块的预测模式的第二条件概率分布,所述第二条件概率分布用于表示在待编码的像素块的参考像素块采用任一种预测模式的条件下,所述待编码的像素块采用任一种预测模式的概率。
16.根据权利要求13所述的装置,其特征在于,所述第二分布获取模块,包括:
第三获取单元,用于根据所述多个像素块的位置标识和预测模式,计算任一种备选预测模式与任一个位置标识对应的像素块数量;根据所述任一种备选预测模式与任一个位置标识对应的像素块数量和所述多个像素块的总数量,确定所述任一种备选预测模式关于所述任一个位置标识的概率;将所述多种备选预测模式关于多个位置标识的概率组成所述备选预测模式关于位置标识的第三条件概率分布。
17.一种预测模式选择装置,其特征在于,所述装置包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如权利要求1至8任一权利要求所述的预测模式选择方法中所执行的操作。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如权利要求1至8任一权利要求所述的预测模式选择方法中所执行的操作。
CN201810941893.8A 2018-08-17 2018-08-17 预测模式选择方法、装置及存储介质 Active CN109040753B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810941893.8A CN109040753B (zh) 2018-08-17 2018-08-17 预测模式选择方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810941893.8A CN109040753B (zh) 2018-08-17 2018-08-17 预测模式选择方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN109040753A CN109040753A (zh) 2018-12-18
CN109040753B true CN109040753B (zh) 2020-12-22

Family

ID=64631042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810941893.8A Active CN109040753B (zh) 2018-08-17 2018-08-17 预测模式选择方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN109040753B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826496B (zh) * 2019-11-07 2023-04-07 腾讯科技(深圳)有限公司 一种人群密度估计方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102025995A (zh) * 2010-12-10 2011-04-20 浙江大学 一种可伸缩视频编码的空间增强层快速模式选择方法
CN106851298A (zh) * 2017-03-22 2017-06-13 腾讯科技(深圳)有限公司 一种高效视频编码方法及装置
CN104333754B (zh) * 2014-11-03 2017-06-13 西安电子科技大学 基于预测模式快速选择的shvc增强层视频编码方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7953152B1 (en) * 2004-06-28 2011-05-31 Google Inc. Video compression and encoding method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102025995A (zh) * 2010-12-10 2011-04-20 浙江大学 一种可伸缩视频编码的空间增强层快速模式选择方法
CN104333754B (zh) * 2014-11-03 2017-06-13 西安电子科技大学 基于预测模式快速选择的shvc增强层视频编码方法
CN106851298A (zh) * 2017-03-22 2017-06-13 腾讯科技(深圳)有限公司 一种高效视频编码方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fast HEVC intra-prediction mode decision based on conditional selection with hybrid cost ranking;Hao Liu;《 2015 IEEE Workshop on Signal Processing Systems》;20151016;全文 *
一种HEVC帧内预测快速算法;张新晨;《Computer Engineering》;20141015;全文 *

Also Published As

Publication number Publication date
CN109040753A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
CN113453013B (zh) 预测模式的解码、编码方法及装置
CN112907725B (zh) 图像生成、图像处理模型的训练、图像处理方法和装置
CN110796248A (zh) 数据增强的方法、装置、设备及存储介质
CN111586413B (zh) 视频调整方法、装置、计算机设备及存储介质
CN111586444B (zh) 视频处理方法、装置、电子设备及存储介质
CN111083554A (zh) 直播礼物显示的方法和装置
CN110807769A (zh) 图像显示控制方法及装置
CN110177275B (zh) 视频编码方法及装置、存储介质
CN109040753B (zh) 预测模式选择方法、装置及存储介质
CN116074512A (zh) 视频编码方法、装置、电子设备以及存储介质
CN113709479B (zh) 基于自适应帧内刷新机制的解码、编码方法及相关设备
CN111770339B (zh) 视频编码方法、装置、设备及存储介质
CN113609387A (zh) 播放内容推荐方法、装置、电子设备及存储介质
CN110636326A (zh) 直播视频处理方法及装置、存储介质
CN113658283B (zh) 图像处理方法、装置、电子设备及存储介质
CN110662113B (zh) 视频播放方法、装置和计算机可读存储介质
CN115811615A (zh) 屏幕视频的编码方法、装置、计算机设备及存储介质
CN116703763A (zh) 视频修复方法、装置、设备及存储介质
CN113763486A (zh) 主色调提取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant