CN103747237A - 视频编码质量的评估方法及设备 - Google Patents

视频编码质量的评估方法及设备 Download PDF

Info

Publication number
CN103747237A
CN103747237A CN201310048015.0A CN201310048015A CN103747237A CN 103747237 A CN103747237 A CN 103747237A CN 201310048015 A CN201310048015 A CN 201310048015A CN 103747237 A CN103747237 A CN 103747237A
Authority
CN
China
Prior art keywords
video
band
frame
complexity
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310048015.0A
Other languages
English (en)
Other versions
CN103747237B (zh
Inventor
高山
孙李娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310048015.0A priority Critical patent/CN103747237B/zh
Priority to ES13874341.4T priority patent/ES2622027T3/es
Priority to EP13874341.4A priority patent/EP2919461B1/en
Priority to PCT/CN2013/080882 priority patent/WO2014121591A1/zh
Publication of CN103747237A publication Critical patent/CN103747237A/zh
Application granted granted Critical
Publication of CN103747237B publication Critical patent/CN103747237B/zh
Priority to US14/751,373 priority patent/US9774855B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供一种视频编码质量的评估方法及设备。该方法包括:获取视频流的视频帧的条带的量化参数,和所述视频流的视频帧的条带的像素字节数;根据所述视频流的视频帧的条带的量化参数确定视频的量化参数,并根据所述视频流的视频帧的条带的像素字节数确定视频的内容复杂度;根据所述视频的内容复杂度和所述视频的量化参数预测视频编码质量。本发明预测视频编码质量还考虑了视频内容复杂度,因此,通过考虑了视频的内容复杂度得到的模型所预测出的编码质量更符合人眼主观感受,从而提高预测的准确性。

Description

视频编码质量的评估方法及设备
技术领域
本发明实施例涉及通信技术领域,并且更具体地,涉及视频编码质量的评估方法及设备。
背景技术
随着网络技术的发展,影视点播、网络电视、可视电话等视频业务已成为带宽网络的主要业务,也将成为3G(the3rd Generation,第三代)无线网络的主要业务。
由于视频业务数量大、实时性高,以及用户对视频业务敏感性强,使得运营商需要对传输的视频业务质量进行监控并及时采取相应措施进行调节以满足用户对视频业务的体验需求。视频质量受到很多因素的影响,例如,压缩失真,视频编解码端参数与传输信道的适配情况,以及传输信道服务质量(如带宽的限制、丢包、时延或抖动等)等。。
现有的无参考客观视频质量评估方法中,预测编码质量(编码质量也称为基准质量或压缩质量)的模型只考虑编码信息(如码率和编码格式Codec、视频停顿和网络丢包的影响。该无参考客观视频质量评估方法(no referenceobjective video quality assessment method)中预测编码质量的模型考虑不全面,并不能准确反映人眼的主观感受,具有一定的局限性,因此,编码质量预测的准确性低。
发明内容
本发明实施例提供一种视频编码质量的评估方法及设备,能够提高编码质量预测的准确性。
第一方面,提供了一种视频编码质量的评估方法,该方法包括:获取视频流的视频帧的条带的量化参数和所述视频流的视频帧的条带的像素字节数;根据所述视频流的视频帧的条带的量化参数确定视频的量化参数,并根据所述视频流的视频帧的条带的像素字节数确定视频的内容复杂度;根据所述视频的内容复杂度和所述视频的量化参数预测视频编码质量。
结合第一方面,在第一种可能的实现方式中,所述根据所述视频流的视频帧的条带的量化参数确定视频的量化参数,具体实现可以为:将所述视频流的视频帧的条带的量化参数的平均值或加权平均值确定为所述视频的量化参数。
结合第一方面的第一种可能的实现方式,在第二种可能的实现方式中,所述将所述视频流的视频帧的条带的量化参数的平均值或加权平均值确定为所述视频的量化参数,具体实现可以为:确定所述视频的量化参数为:
f _ video _ qp = Σ i = 1 N 1 i _ slice _ qp i N 1 , 或者
f _ video _ qp = Σ i = 1 N 1 w i · i _ slice _ qp i Σ i = 1 N 1 w i
其中,f_video_qp为所述视频的量化参数,N1为所述视频流的条带的量化参数的数目,i_slice_qpi为所述N1个条带的量化参数中第i个条带的量化参数,N1为正整数,wi为该第i个条带所对应的权重。
结合第一方面或第一方面的第一种可能的实现方式或第二种可能的实现方式,在第三种可能的实现方式中,所述根据所述视频流的视频帧的条带的像素字节数确定视频的内容复杂度,具体实现可以为:确定视频帧的Num个条带中的第k个条带的像素字节数为:
f _ slice _ byte _ per _ pixel k = i _ slice _ size k i _ slice _ pixel k
其中,i_slice_sizek为所述视频帧的Num个条带中第k个条带的字节数,i_slice_pixelk为所述视频帧的Num个条带中第k个条带的像素数,k为正整数,在所述视频帧中,k的取值从1到Num,Num为正整数;
确定所述视频帧的Num个条带中的第k个条带的内容复杂度为:
f_slice_content_complexityk=
a[i_slice_qpk]·f_slice_byte_per_pixelk+b[i_slice_qpk]
其中,a[i_slice_qpk]和b[i_slice_qpk]均为与所述视频帧的Num个条带中的第k个条带的量化参数对应的值;
确定所述视频帧的内容复杂度为:
f _ frame _ content _ complexity = Σ k = 1 Num f _ slice _ content _ complexity k Num
根据所述视频帧的内容复杂度确定所述所述视频的内容复杂度。
结合第一方面的第三种可能的实现方式,在第四种可能的实现方式中,所述根据所述视频帧的内容复杂度确定所述视频的内容复杂度,具体实现可以为:
f _ video _ content _ complexity = Σ j = 1 M f _ frame _ content _ conplexity j M
其中,f_video_content_complexity为所述视频的内容复杂度,所述视频流包括M个视频帧,M为正整数,j为正整数且取值从1到M。
结合第一方面的第四种可能的实现方式,在第五种可能的实现方式中,所述根据所述视频的内容复杂度和所述视频的量化参数预测视频编码质量,具体实现可以为:
d _ compression _ quality _ value =
a 1 + a 2 a 3 + ( f _ video _ qp a 4 - a 5 · f _ video _ content _ complexity ) a 6
其中,d_compression_quality_value为所述视频编码质量,a1,a2,a3,a4,a5和a6均为常数。
结合第一方面的第五种可能的实现方式,在第六种可能的实现方式中,具体实现可以为:所述a2取值为:视频编码质量范围的最大值与最小值之差。
结合第一方面的第五种可能的实现方式或第六种可能的实现方式中的任一种方式中,在第七种可能的实现方式中,具体实现可以为:所述a1取值为:视频编码质量范围的最小值。
结合第一方面的第三种可能的实现方式至第七种可能的实现方式中的任一种方式中,在第八种可能的实现方式中,还包括,对所述视频的内容复杂度进行调整:
f _ video _ content _ complexity _ n =
min ( s , f _ video _ content _ complexity num 1 )
将调整后的f_video_content_complexity_n作为所述视频的内容复杂度,s和num1均为常数。
结合第一方面的第八种可能的实现方式,在第九种可能的实现方式中,具体实现可以为:所述s取值为1.0,所述num1取值为60.0,所述f_vidio_content_complexity_n取值范围为[0.0,1.0]。
结合第一方面的第四种可能的实现方式或第九种可能的实现方式中的任一种方式中,在第十种可能的实现方式中,具体实现可以为:所述M个视频帧均没有丢包。
结合第一方面的第四种可能的实现方式或第十种可能的实现方式中的任一种方式中,在第十一种可能的实现方式中,具体实现可以为:所述视频帧包括帧内编码帧和/或帧间编码帧。
结合第一方面的第三种可能的实现方式或第十一种可能的实现方式中的任一种方式中,在第十二种可能的实现方式中,具体实现可以为:Num为所述视频帧中条带的总数。
结合第一方面的第二种可能的实现方式或第十二种可能的实现方式中的任一种方式中,在第十三种可能的实现方式中,具体实现可以为:所述N1为正确解析出的条带的量化参数的数目,所述正确解析出的条带的量化参数表示在条带的第一个传输包至用于获取所述条带的量化参数的条带量化参数差量所在的传输包都不丢失的情况下,解析出的条带的量化参数为正确的。
第二方面,提供了一种视频编码质量的评价设备,所述设备包括:获取单元,用于获取视频流的视频帧的条带的量化参数和所述视频流的视频帧的条带的像素字节数;确定单元,用于根据所述获取单元获取的所述视频流的视频帧的条带的量化参数确定视频的量化参数,并根据所述获取单元获取的所述视频流的视频帧的条带的像素字节数确定视频的内容复杂度;预测单元,用于根据所述视频的内容复杂度和所述视频的量化参数预测视频编码质量。
结合第二方面,在第一种可能的实现方式中,所述确定单元具体用于:将所述视频流的视频帧的条带的量化参数的平均值或加权平均值确定为所述视频的量化参数。
结合第二方面的第一种可能的实现方式,在第二种可能的实现方式中,所述确定单元具体用于:确定所述视频的量化参数为:
f _ video _ qp = Σ i = 1 N 1 i _ slice _ qp i N 1 , 或者
f _ video _ qp = Σ i = 1 N 1 w i · i _ slice _ qp i Σ i = 1 N 1 w i
其中,f_video_qp为所述视频的量化参数,N1为所述视频流的条带的量化参数的数目,i_slice_qpi为所述N1个条带的量化参数中第i个条带的量化参数,N1为正整数,wi为该第i个条带所对应的权重。
结合第二方面或第二方面的第一种可能的实现方式或第二种可能的实现方式,在第三种可能的实现方式中,所述确定单元具体用于:
确定视频帧的Num个条带中的第k个条带的像素字节数为:
f _ slice _ byte _ per _ pixel k = i _ slice _ size k i _ slice _ pixel k
其中,i_slice_sizek为所述视频帧的Num个条带中第k个条带的字节数,i_slice_pixelk为所述视频帧的Num个条带中第k个条带的像素数,k为正整数,在所述视频帧中,k的取值从1到Num,Num为正整数;
具体用于:确定所述视频帧的Num个条带中的第k个条带的内容复杂度为:
f_slice_content_complexityk=
a[i_slice_qpk]·f_slice_byte_per_pixelk+b[i_slice_qpk]
其中,a[i_slice_qpk]和b[i_slice_qpk]均为与所述视频帧的Num个条带中的第k个条带的量化参数对应的值;
具体用于:确定所述视频帧的内容复杂度为:
f _ frame _ content _ complexity = Σ k = 1 Num f _ slice _ content _ complexity k Num
具体用于:根据所述视频帧的内容复杂度确定所述视频的内容复杂度。
结合第二方面的第三种可能的实现方式,在第四种可能的实现方式中,所述确定单元具体用于:确定所述视频的内容复杂度为:
f _ video _ content _ complexity = Σ j = 1 M f _ frame _ content _ conplexity j M
其中,所述视频流包括M个视频帧,M为正整数,j为正整数且取值从1到M。
结合第二方面的第四种可能的实现方式,在第五种可能的实现方式中,所述预测单元具体用于:预测视频编码质量为:
d _ compression _ quality _ value =
a 1 + a 2 a 3 + ( f _ video _ qp a 4 - a 5 · f _ video _ content _ complexity ) a 6
其中,a1,a2,a3,a4,a5和a6均为常数。
结合第二方面的第五种可能的实现方式,在第六种可能的实现方式中,所述a2取值为:视频编码质量范围的最大值与最小值之差。
结合第二方面的第五种可能的实现方式或第六种可能的实现方式中的任一种方式中,在第七种可能的实现方式中,所述a1取值为:视频编码质量范围的最小值。
结合第二方面的第三种可能的实现方式至第七种可能的实现方式中的任一种方式中,在第八种可能的实现方式中,还包括,对所述视频的内容复杂度进行调整:
f _ video _ content _ complexity _ n =
min ( s , f _ video _ content _ complexity num 1 )
将调整后的f_video_content_complexity_n作为所述视频的内容复杂度,s和num1均为常数。
结合第二方面的第八种可能的实现方式,在第九种可能的实现方式中,所述s取值为1.0,所述num1取值为60.0,所述f_vidio_content_complexity_n取值范围为[0.0,1.0]。
结合第二方面的第四种可能的实现方式或第九种可能的实现方式中的任一种方式中,在第十种可能的实现方式中,所述M个视频帧均没有丢包。
结合第二方面的第四种可能的实现方式或第十种可能的实现方式中的任一种方式中,在第十一种可能的实现方式中,所述视频帧包括帧内编码帧和/或帧间编码帧。
结合第二方面的第三种可能的实现方式或第十一种可能的实现方式中的任一种方式中,在第十二种可能的实现方式中,Num为所述视频帧中条带的总数。
结合第二方面的第二种可能的实现方式或第十二种可能的实现方式中的任一种方式中,在第十三种可能的实现方式中,所述N1为正确解析出的条带的量化参数的数目,所述正确解析出的条带的量化参数表示在条带的第一个传输包至用于获取所述条带的量化参数的条带量化参数差量所在的传输包都不丢失的情况下,解析出的条带的量化参数为正确的。
本发明实施例通过根据获取的视频流的视频帧的条带的量化参数确定视频的量化参数,并根据获取的视频流的视频帧的条带的像素字节数确定视频的内容复杂度,通过视频的内容复杂度和视频的量化参数预测视频编码质量。因此,通过考虑了视频内容特性得到的模型所预测出的编码质量更符合人眼主观感受,从而提高预测的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的视频编码质量的评估方法的流程图。
图2是本发明一个实施例的视频编码质量的评估设备的结构框图。
图3是本发明另一个实施例的视频编码质量的评估设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应理解,本发明实施例的技术方案可以应用于各种通信***,例如:GSM***、CDMA(Code Division Multiple Access,码分多址)***、WCDMA(Wideband Code Division Multiple Access,宽带码分多址)***、GPRS(General Packet Radio Service,通用分组无线业务)、LTE***、LTE FDD(Frequency Division Duplex,频分双工)***、LTE TDD(Time DivisionDuplex,时分双工)、UMTS、WiMAX(Worldwide Interoperability for MicrowaveAccess,全球互联微波接入)通信***等。
图1是本发明一个实施例的视频编码质量的评估方法的流程图。该方法由视频编码质量的评估设备执行。
101,获取视频流的视频帧的条带的量化参数,和视频流的视频帧的条带的像素字节数。
102,根据视频流的视频帧的条带的量化参数确定视频的量化参数,并根据视频流的视频帧的条带的像素字节数确定视频的内容复杂度。
103,根据视频的内容复杂度和视频的量化参数预测视频编码质量。
在本发明实施例中,量化参数(Quantization Parameter,QP)也可以采用另一种表达方式,量化步长(QP Step)来进行预测视频编码质量。为了描述方便,本发明实施例预测视频编码质量的模型中将以量化参数来举例说明,应理解,以QP Step代替QP的表达方式也落入本发明范围内。
本发明实施例通过根据获取的视频流的视频帧的条带的量化参数确定视频的量化参数,并根据获取的视频流的视频帧的条带的像素字节数确定视频的内容复杂度,通过视频的内容复杂度和视频的量化参数预测视频编码质量。因此,通过考虑了视频内容特性得到的模型所预测出的编码质量更符合人眼主观感受,从而提高预测的准确性。
可选地,作为一个实施例,在步骤102中,可以根据视频流的视频帧的条带的量化参数确定视频的量化参数,还可以根据视频流的视频帧的宏块的量化参数确定视频的量化参数,也可以结合视频流的视频帧的条带的量化参数和视频流的视频帧的宏块的量化参数来确定视频的量化参数。
具体地,视频流的条带的量化参数的总数为N,可以在视频的N个条带的量化参数中选择N1个条带的量化参数。优选地,该N1个条带的量化参数可以是正确解析出量化参数的条带的总数,以H.264为例,正确解析出量化参数的条带表示在图像参数集(pic_parameter_set_rbsp,PPS)中的图像初始量化减去26(pic_init_qp_minus26,pic_init_qp_minus26是H.264图像参数集中的一个语法元素)所在的传输包不丢失情况下,条带的第一个传输包至用于获取所述条带的量化参数条带的量化参数差量(slice_qp_delta,slice_qp_delta是H.264条带头中的一个语法元素)所在的传输包都不发生丢失;换句话说,条带的第一个比特至用于解析出条带的量化参数差量(slice_qp_delta,slice_qp_delta是H.264条带头中的一个语法元素)的比特都不发生丢失,条带的量化参数差量用于获取所述条带的量化参数;这样,可以正确解析出该条带的量化参数。其中,条带的量化参数的计算公式为:i_slice_qp=26+pic_init_qp_minus26+slice_qp_delta。N为正整数,N1为正整数且N1≤N。进一步地,可以将该N1个条带的量化参数的平均值确定为用于预测编码质量的上述视频的量化参数,如下列(1)式视频的量化参数为f_video_qp:
f _ video _ qp = Σ i = 1 N 1 i _ slice _ qp i N 1 - - - ( 1 )
上式中,i_slice_qpi为N1个条带的量化参数中第i个条带的量化参数。
可选地,上述N1还可以是不发生丢包的条带的条带的量化参数的数目。
可选地,还可以将该N1个条带的量化参数的加权平均值确定为用于预测编码质量的上述视频的量化参数,wi为该第i个条带所对应的权重,可以根据需要对不同的条带赋予不同的权重。如下列公式所示:
f _ video _ qp = Σ i = 1 N 1 w i · i _ slice _ qp i Σ i = 1 N 1 w i
进一步地,还可以对上述各式得到的视频的量化参数f_video_qp进行归一化调整,将调整后的视频的量化参数用于预测编码质量。
应理解,上述例子仅仅是示例性的,本发明实施例对如何获得用于预测编码质量的视频的量化参数不作限制,也可以将视频中所有正确解析的帧内编码帧和帧间编码帧的条带的量化参数的平均值或加权平均值确定为用于预测编码质量的上述视频的量化参数,还可以将视频中所有条带和宏块的量化参数的平均值或加权平均值确定为用于预测编码质量的视频的量化参数。等等。
可选地,在视频帧的传输过程中,还可能会产生丢包,可以选择丢包或没有丢包的条带进行计算,应理解,本发明实施例对此并不限定。
可选地,上述视频帧可以是帧间编码帧和/或帧内编码帧,其中,帧间编码帧可以是作为参考帧的帧间编码帧(也称为帧间参考帧),如P帧或B帧;也可以是不作为参考帧的帧间编码帧,如b帧;帧内编码帧可以是I帧或IDR(Instantaneous Decoding Refresh,解码立即刷新)帧,也称为帧内参考帧。等等。应理解,本发明实施例对此并不限定。
优选地,根据视频流的视频帧的条带的像素字节数确定视频的内容复杂度,首先根据视频流的视频帧的条带的像素字节数确定视频帧的内容复杂度,再根据视频帧的内容复杂度确定视频的内容复杂度,具体地,如下列(2)-(4)式:
视频帧的Num个条带中的第k个条带的像素字节数为:
f _ slice _ byte _ per _ pixel k = i _ slice _ size k i _ slice _ pixel k - - - ( 2 )
其中,i_slice_sizek为所述视频帧的Num个条带中第k个条带的字节数,i_slice_pixelk为所述视频帧的Num个条带中第k个条带的像素数,k为正整数,在所述视频帧中,k的取值从1到Num,Num为正整数。
需要说明的是,本发明实施例中对像素字节数还可以做一些变形,例如可以变形为像素比特数,然后采用像素比特数进行相应的操作,该种变形并未脱离本发明实施例的实质,仍应属于本发明的保护范围。
视频帧的Num个条带中的第k个条带的内容复杂度为:
f_slice_content_complexityk=
a[i_slice_qpk]·f_slice_byte_per_pixelk+b[i_slice_qpk]    (3)
其中,a[i_slice_qpk]和b[i_slice_qpk]均为与所述视频帧的Num个条带中的第k个条带的量化参数对应的值。
视频帧的内容复杂度为:
f _ frame _ content _ complexity = Σ k = 1 Num f _ slice _ content _ complexity k Num - - - ( 4 )
可选地,Num可以为视频帧的所有条带的数目(包括丢包和不丢包的条带数目),Num也可以为视频帧的不丢包的条带的数目或者丢包的条带的数目,还可以在视频帧的所有条带中随机选取的条带的数目。等等。应理解,本发明实施例对此不限定。
进一步地,根据视频流的视频帧的内容复杂度确定视频的内容复杂度,可以将多个视频帧的内容复杂度的平均值或加权平均值确定为用于预测编码质量的上述视频的内容复杂度,具体地,如下列(5)式所示:
视频帧的内容复杂度为:
f _ video _ content _ complexity = Σ j = 1 M f _ frame _ content _ conplexity j M - - - ( 5 )
其中,视频流包括M个视频帧,M为正整数,j为正整数且取值从1到M。优选地,M个视频帧均不丢包。
视频的内容复杂程度可以包括时间方向和/或空间方向,在某一分辨率的某一固定的量化参数下,视频的内容复杂度越大,失真越不容易被人眼发现。通过上述技术方案得到的视频内容复杂度较符合视频内容复杂度越大,失真越不容易被人眼发现的人眼主观感受,从而进一步地提高了预测编码质量的准确性。
例如,上述(2)-(5)式中的视频帧为帧内参考帧,即视频的内容复杂度可通过帧内参考帧的条带像素字节数确定(使用至少一个帧内参考帧),在该例子中,由帧内参考帧的条带像素字节数确定的视频的内容复杂度能够有效地体现出视频的空间复杂度f_video_content_complexity_scc,可选地,式子中的a[i_slice_qpk]和b[i_slice_qpk]可以通过训练得到,不同的视频分辨率和/或编码格式和/或视频采集格式(即:隔行扫描方式和逐行扫描方式)可以使用相同的值或者不同的值。以H.264中具有52个量化参数(分别是0至51)为例,相应地,通过训练得到的在不同分辨率下的a[i_slice_qpk]和b[i_slice_qpk],分别与量化参数值0至51相对应,示例性地表示如下:
a[i_slice_qpk],
标清分辨率:
{24.78954,24.78954,25.23854,25.51193,25.74990,25.97533,26.19479,26.28303,26.49158,26.56645,26.53197,26.62563,26.69239,26.65409,26.79309,26.80578,26.84816,27.08741,27.25370,27.36097,27.56078,27.70162,27.85621,28.04059,28.17621,28.23445,28.41471,28.45078,28.54265,28.60014,28.62930,28.64529,28.74102,28.75523,28.76358,28.74681,28.77488,28.73642,28.79531,28.69430,28.72766,28.60666,28.49484,28.35642,28.07614,27.90134,27.57123,27.01405,26.65987,26.31439,25.52575,25.01169}
1280x720分辨率:
{16.17209,17.45819,17.80732,18.02041,18.18083,18.52479,19.03342,19.06581,19.41564,19.85189,20.07956,20.81183,21.43127,21.83287,22.61658,23.14807,23.92571,25.20184,26.03683,26.68701,27.49974,28.12203,28.66205,29.27020,29.69070,29.92960,30.40275,30.60385,30.85636,31.06785,31.26051,31.35589,31.63646,31.76881,31.92259,32.08798,32.28134,32.36179,32.60119,32.61653,32.75291,32.73418,32.72940,32.70158,32.59009,32.41000,32.21505,31.76353,31.23468,30.87401,30.01071,29.31316}
全高清分辨率(1920x1080):
{15.75673,16.17239,17.33657,18.09218,18.78856,19.85244,20.94081,21.42377,25.25608,25.36929,25.37671,25.59413,25.77414,25.89431,26.16539,26.37098,26.71202,27.45373,27.99336,28.43923,29.01115,29.49924,29.89337,30.32379,30.59313,30.74944,31.01314,31.10389,31.21737,31.28295,31.38585,31.36863,31.44693,31.40169,31.43938,31.39075,31.36072,31.33672,31.26816,31.16160,31.03165,30.80631,30.57609,30.36353,30.06076,29.62381,29.37353,29.05716,28.60942,28.52338,28.40104,28.52280}
b[i_slice_qpk],
标清分辨率:
{13.39250,13.39250,13.97091,14.53803,15.25528,16.13630,16.99497,17.66163,18.80068,19.89785,21.20091,22.86877,24.44105,25.98037,28.04957,30.07985,32.07935,34.30203,36.32256,38.18652,40.93258,43.77054,46.53546,50.53632,54.36178,57.82423,63.29899,69.18878,75.07466,83.80263,91.47496,99.18949,111.47580,124.34650,136.49900,156.17670,176.23080,192.16970,223.83720,251.77270,285.92790,333.53770,388.41820,435.09860,531.05070,633.24080,760.16820,948.15240,1168.53720,1361.84570,1759.43160,2040.35460}
1280x720分辨率:
{33.81798,33.05324,35.11725,36.95499,39.10951,41.62373,43.87256,45.95354,49.32386,51.87803,54.92251,58.42482,61.62755,64.56505,69.19412,73.35919,76.10406,78.96517,81.95586,84.59924,89.05335,93.59975,98.31476,105.41810,112.34964,118.73374,129.00992,140.01562,151.12381,167.62430,182.02425,196.08347,218.72591,241.16108,263.35157,295.99927,329.06899,355.66280,407.64235,452.09915,508.72302,585.36672,671.43978,741.49561,891.18944,1051.86892,1246.04333,1527.50615,1894.63282,2204.87735,2879.95903,3390.89788}
全高清分辨率(1920x1080):
{25.92973,26.42403,26.72231,27.10874,27.55908,27.59167,27.40409,27.63129,21.08740,22.32786,23.78112,25.55635,27.25511,28.80079,31.33600,33.71534,35.51380,37.14249,38.57997,39.75292,41.50986,43.25411,45.08496,47.92251,50.97660,53.82247,58.50549,64.00109,69.59487,78.31654,84.35147,92.89916,105.12040,119.83478,131.13182,152.46046,175.28796,191.40711,231.17849,262.14953,311.33306,374.98524,454.98602,524.68907,656.91124,830.55605,990.09180,1196.94617,1493.32352,1667.34794,1966.34090,2099.62991}
又例如,上述(2)-(5)式中的视频帧为帧间参考帧,即视频的内容复杂度可通过帧间参考帧的条带像素字节数确定(使用至少一个帧间参考帧),在该例子中,由帧间参考帧的条带像素字节数确定的视频的内容复杂度能够有效地体现出视频的时间复杂度f_video_content_complexity_tcc,可选地,式子中的a[i_slice_qpk]和b[i_slice_qpk]可以通过训练得到,不同的视频分辨率和/或编码格式和/或视频采集格式(即:隔行扫描方式和逐行扫描方式)可以使用相同的值或者不同的值。以H.264中具有52个量化参数(分别是0至51)为例,相应地,通过训练得到的在不同分辨率下的a[i_slice_qpk]和b[i_slice_qpk],分别与量化参数值0至51相对应。
应理解,上述例子中视频帧的选取,条带的量化参数的数目,以及a[i_slice_qpk]和b[i_slice_qpk]的值及得到的方式等等仅仅是示例性的,而非要限制本发明的范围。
实验中发现,当视频中有编码压缩失真时,视频编码质量会随着QP变大而降低。可选地,基于上述实验,在步骤102中,可以根据上述(5)式的视频的内容复杂度f_video_content_complexity和上述(1)式的视频的量化参数f_video_qp预测视频编码质量d_compression_quality_value,如下列(6)式:
预测视频编码质量为:
d _ compression _ quality _ value =
a 1 + a 2 a 3 + ( f _ video _ qp a 4 - a 5 · f _ video _ content _ complexity ) a 6 - - - ( 6 )
其中,a1,a2,a3,a4,a5和a6均为常数。
可选地,在不同的视频分辨率和/或编码格式和/或视频采集格式(即:隔行扫描方式和逐行扫描方式)下,a1至a6的取值可以相同或不同。在标清分辨率下a1至a6的取值与在全高清分辨率a1至a6的取值可以是相同或不同的,应理解,本发明实施例对此不作限定。
当视频编码质量d_compression_quality_value的值越大表示视频质量越好,而当视频编码质量d_compression_quality_value的值越小表示视频质量越差。
可选地,a2取值可以为视频编码质量范围的最大值与最小值之差。例如,在5分制的编码质量的度量中,编码质量最大值为5,最小值为1,因此a2取值为4。又例如,a2取值可以为通过训练或经验得到的视频编码质量范围的最大值与最小值之差,如通过训练或经验得到编码质量最大值为4.5,以及编码质量最小值为1.5,因此a2取值为3。应理解,本发明实施例预测编码质量的方式可以应用到其它分制的编码质量的度量中,本发明实施例对此不作限制。
可选地,a1取值可以为视频编码质量范围的最小值。
可选地,a1,a2,a3,a4,a5和a6的取值还可以根据不同的情况进行取值,应理解,本发明实施例对此不作限定。例如,a1,a2,a3,a4,a5和a6的取值还可以根据不同的情况进行训练或经验取值。
可选地,a1,a2,a3,a4,a5和a6的取值示例性地表示如下:
标清:
a1=1.4163,
a2=2.9116,
a3=1.0,
a4=41.5,
a5=4.7,
a6=13.0
1280x720:
a1=1.0519,
a2=3.3876,
a3=1.0,
a4=40.0,
a5=0.75,
a6=10.0
1920x1080,隔行扫描(1920x1080i):
a1=1.2294,
a2=3.1092,
a3=1.0,
a4=41.5,
a5=0.65,
a6=10.5
1920x1080,逐行扫描(1920x1080p):
a1=1.2294,
a2=3.1092,
a3=1.0,
a4=43.0,
a5=0.85,
a6=12.0
需要指出的是,以其它等效的公式表示上述编码质量的方式都落入本发明的范围,例如,视频编码失真质量d_compression_artifact_value由视频编码质量的最大值减去上述视频编码质量获得的,如下式(7)所示:
d _ compression _ artifact _ value =
a 2 · ( f _ video _ qp a 4 - a 5 · f _ video _ content _ complexity ) a 6 a 3 + ( f _ video _ qp a 4 - a 5 · f _ video _ content _ complexity ) a 6 - - - ( 7 )
此时,当视频编码失真质量越小,视频质量越好,而当视频编码失真质量越大,视频质量越差。
可选地,可以对上述(5)式至(7)式中的视频的内容复杂度进行调整,将调整后的f_video_content_complexity_n作为所述视频的内容复杂度,调整方式如下列(8)所示:
f _ video _ content _ complexity _ n =
min ( s , f _ video _ content _ complexity num 1 ) - - - ( 8 )
其中,s和num1为常数。例如,进行归一化调整时,s取值为1.0,num1取值为60.0,f_vidio_content_complexity_n取值范围为[0.0,1.0]。
应理解,视频的内容复杂度可以是时间复杂度(如视频帧只考虑帧间参考帧),表示为f_video_content_complexity=f_video_content_complexity_tcc(上述(5)式)或f_video_content_complexity_n=f_video_content_complexity_ntcc(上述(8)式,进行了调整的时间复杂度);也可以是空间复杂度(如视频帧只考虑帧内参考帧),表示为f_video_content_complexity=f_video_content_complexity_scc(上述(5)式)或f_video_content_complexity_n=f_video_content_complexity_nscc(上述(8)式,进行了调整的空间复杂度);还可以是结合时间复杂度和空间复杂度,表示为f_video_content_complexity=func1(f_video_content_complexity_tcc,f_video_content_complexity_scc)或f_video_content_complexity_n=func2(f_video_content_complexity_ntcc,f_video_content_complexity_nscc),本发明实施例对此并不限定。
需要指出的是,在采用(6)式或(7)式预测编码质量或视频编码失真质量的实施例中,可以采用经过(8)式进行调整的视频的内容复杂度,即:
预测视频编码质量可以为:
d _ compression _ quality _ value =
a 1 + a 2 a 3 + ( f _ video _ qp a 4 - a 5 · f _ video _ content _ complexity _ n ) a 6 - - - ( 9 )
其中,a1,a2,a3,a4,a5和a6均为常数。
预测视频编码质量也可以为:
d _ compression _ artifact _ value =
a 2 · ( f _ video _ qp a 4 - a 5 · f _ video _ content _ complexity _ n ) a 6 a 3 + ( f _ video _ qp a 4 - a 5 · f _ video _ content _ complexity _ n ) a 6 - - - ( 10 )
应理解,调整后的视频的内容复杂度f_video_content_complexity_n可以是进行归一化调整后的视频的时间复杂度f_video_content_complexity_ntcc,或者是进行归一化调整后的视频的空间复杂度f_video_content_complexity_nscc,还可以是时间复杂度f_video_content_complexity_ntcc和空间复杂度f_video_content_complexity_nscc的组合。应理解,本发明实施例对此不作限定。
例如,采用时间复杂度f_video_content_complexity_ntcc和空间复杂度f_video_content_complexity_nscc的组合和视频的量化参数f_video_qp预测视频编码质量d_compression_quality_value,即在(6)式中视频的内容的复杂度采用调整后的视频的内容的复杂度f_video_content_complexity_n,可将a5*f_video_content_complexity_n替换成a51*f_video_content_complexity_ntcc+a52*f_video_content_complexity_nscc,其中,a51和a52可以相同或不同。
通过本发明实施例预测编码质量的方式更符合人眼主观感受,从而进一步地提高了预测编码质量的准确性。
当然,视频的内容复杂度可以根据其它视频帧的编码信息来确定,如视频帧的条带的编码字节数、运动矢量差值、运动矢量值、宏块编码模式、DCT(Discrete Cosine Transform,离散余弦变换)系数等。例如,视频的内容复杂度表示为所有帧内编码帧(I/IDR帧)的离散余弦变换DCT系数的AC(alternating Current,交流)系数的平均值,或者所有帧内编码帧(I/IDR帧)的离散余弦变换DCT系数的DC(Direct Current,直流分量)系数的平均值,或者所有帧内编码帧(I/IDR帧)的离散余弦变换DCT系数的平均值,或者帧间编码帧的离散余弦变换DCT系数的AC系数的平均值,或者帧间编码帧的离散余弦变换DCT系数的DC系数平均值,或者帧间编码帧的离散余弦变换DCT系数的平均值,或者帧内编码帧和帧间编码帧的离散余弦变换DCT系数的平均值。又例如,视频的内容复杂度通过宏块编码模式(如16x16,16x8,8x16等等)来描述,宏块编码模式越多,视频的内容复杂度越高。再例如,视频的内容复杂度通过运动矢量来描述,运动矢量越大,视频的内容复杂度越高。再例如,视频的内容复杂度通过帧间编码块与帧内编码块的比例来表示,比例越大,视频的内容复杂度越高。等等。应理解,本发明实施例对此并不限定。
图2是本发明一个实施例的视频编码质量的评估设备的结构框图。视频编码质量的评估设备200包括获取单元201、确定单元202和预测单元203。
获取单元201,用于获取视频流的视频帧的条带的量化参数,和视频流的视频帧的条带的像素字节数。
确定单元202,用于根据获取单元201获取的视频流的视频帧的条带的量化参数确定视频的量化参数,并根据获取单元201获取的视频流的视频帧的条带的像素字节数确定视频的内容复杂度。
预测单元203,用于根据确定单元202确定的视频的内容复杂度和视频的量化参数预测视频编码质量。
在本发明实施例中,量化参数也可以采用另一种表达方式,量化步长(QPStep)来进行预测视频编码质量。为了描述方便,本发明实施例预测视频编码质量的模型中将以量化参数来举例说明,应理解,以QP Step代替QP的表达方式也落入本发明范围内。
本发明实施例通过根据获取的视频流的视频帧的条带的量化参数确定视频的量化参数,并根据获取的视频流的视频帧的条带的像素字节数确定视频的内容复杂度,通过视频的内容复杂度和视频的量化参数预测视频编码质量。因此,通过考虑了视频内容特性得到的模型所预测出的编码质量更符合人眼主观感受,从而提高预测的准确性。
设备200可实现图1的方法中涉及视频编码质量的评估设备的各个步骤,为避免重复,不再详细描述。
可选地,作为一个实施例,确定单元202可以具体用于:将视频流的视频帧的条带的量化参数的平均值或加权平均值确定为视频的量化参数。具体地,确定单元202可以用于:
确定视频的量化参数为f_video_qp:
f _ video _ qp = Σ i = 1 N 1 i _ slice _ qp i N 1 , 或者
f _ video _ qp = Σ i = 1 N 1 w i · i _ slice _ qp i Σ i = 1 N 1 w i
其中,N1为视频流的条带的量化参数的数目,i_slice_qpi为N1个条带的量化参数中第i个条带的量化参数,N1为正整数,wi为该第i个条带所对应的权重。
优选地,该N1为正确解析出的条带的量化参数的总数,正确解析出的条带的量化参数表示在条带的第一个传输包至用于获取条带的量化参数的条带量化参数差量所在的传输包都不丢失的情况下,解析出的条带的量化参数为正确的。
进一步地,确定单元202还可以对上式得到的视频的量化参数f_video_qp进行归一化调整,将调整后的视频的量化参数用于预测编码质量。
可选地,确定单元202可以具体用于:
确定视频帧的Num个条带中的第k个条带的像素字节数为:
f _ slice _ byte _ per _ pixel k = i _ slice _ size k i _ slice _ pixel k
其中,i_slice_sizek为视频帧的Num个条带中第k个条带的字节数,i_slice_pixelk为视频帧的Num个条带中第k个条带的像素数,k为正整数,在视频帧中,k的取值从1到Num,Num为正整数;
具体用于:确定视频帧的Num个条带中的第k个条带的内容复杂度为:
f_slice_content_complexityk=
a[i_slice_qpk]·f_slice_byte_per_pixelk+b[i_slice_qpk]
其中,a[i_slice_qpk]和b[i_slice_qpk]均为与视频帧的Num个条带中的第k个条带的量化参数对应的值;
具体用于:确定视频帧的内容复杂度为:
f _ frame _ content _ complexity = Σ k = 1 Num f _ slice _ content _ complexity k Num
具体用于:根据视频帧的内容复杂度确定视频的内容复杂度。
可选地,上述视频帧可以是帧间编码帧和/或帧内编码帧,其中,帧间编码帧可以是作为参考帧的帧间编码帧(也称为帧间参考帧),如P帧或B帧;也可以是不作为参考帧的帧间编码帧,如b帧;帧内编码帧可以是I帧或IDR(Instantaneous Decoding Refresh,解码立即刷新)帧,也称为帧内参考帧。等等。应理解,本发明实施例对此并不限定。
进一步地,确定单元可以具体用于:确定视频的内容复杂度为:
f _ video _ content _ complexity = Σ j = 1 M f _ frame _ content _ conplexity j M
其中,视频流包括M个视频帧,M为正整数,j为正整数且取值从1到M。
可选地,Num可以为视频帧的所有条带的数目(包括丢包和不丢包的条带数目),Num也可以为视频帧的不丢包的条带的数目或者丢包的条带的数目,还可以在视频帧的所有条带中随机选取的条带的数目。等等。应理解,本发明实施例对此不限定。
可选地,M个视频帧均没有丢包。
可选地,视频帧可以包括帧内编码帧和/或帧间编码帧。
视频的内容复杂程度可以包括时间方向和/或空间方向,在某一分辨率的某一固定的量化参数下,视频的内容复杂度越大,失真越不容易被人眼发现。通过上述技术方案得到的视频内容复杂度较符合视频内容复杂度越大,失真越不容易被人眼发现的人眼主观感受,从而进一步地提高了预测编码质量的准确性。
可选地,预测单元203可以具体用于:预测视频编码质量为:
d _ compression _ quality _ value =
a 1 + a 2 a 3 + ( f _ video _ qp a 4 - a 5 · f _ video _ content _ complexity ) a 6
其中,a1,a2,a3,a4,a5和a6均为常数。
当视频编码质量d_compression_quality_value的值越大表示视频质量越好,而当视频编码质量d_compression_quality_value的值越小表示视频质量越差。
可选地,a2取值可以为视频编码质量范围的最大值与最小值之差。例如,在5分制的编码质量的度量中,编码质量最大值为5,最小值为1,因此a2取值为4。又例如,a2取值可以为通过训练或经验得到的视频编码质量范围的最大值与最小值之差,如通过训练或经验得到编码质量最大值为4.5,以及编码质量最小值为1.5,因此a2取值为3。应理解,本发明实施例预测编码质量的方式可以应用到其它分制的编码质量的度量中,本发明实施例对此不作限制。
可选地,a1取值可以为视频编码质量范围的最小值。
可选地,a1,a2,a3,a4,a5和a6的取值还可以根据不同的情况进行取值,应理解,本发明实施例对此不作限定。例如,a1,a2,a3,a4,a5和a6的取值还可以根据不同的情况进行训练或经验取值。
需要指出的是,以其它等效的公式表示上述编码质量的方式都落入本发明的范围,例如,视频编码失真质量d_compression_artifact_value由视频编码质量的最大值减去上述视频编码质量获得的,如上述(7)式,此时,当视频编码失真质量越小,视频质量越好,而当视频编码失真质量越大,视频质量越差。
可选地,确定单元202可以具体用于将视频的内容复杂度调整为:
f _ video _ content _ complexity _ n =
min ( s , f _ video _ content _ complexity num 1 )
其中,s和num1为常数。例如,进行归一化调整时,s取值为1.0,num1取值为60.0,f_vidio_content_complexity_n取值范围为[0.0,1.0]。
应理解,视频的内容复杂度可以是时间复杂度(如视频帧只考虑帧间参考帧),表示为f_video_content_complexity=f_video_content_complexity_tcc(上述(5)式)或f_video_content_complexity_n=f_video_content_complexity_ntcc(上述(8)式,进行了调整的时间复杂度);也可以是空间复杂度(如视频帧只考虑帧内参考帧),表示为f_video_content_complexity=f_video_content_complexity_scc(上述(5)式)或f_video_content_complexity_n=f_video_content_complexity_nscc(上述(8)式,进行了调整的空间复杂度);还可以是结合时间复杂度和空间复杂度,表示为f_video_content_complexity=func1(f_video_content_complexity_tcc,f_video_content_complexity_scc)或f_video_content_complexity_n=func2(f_video_content_complexity_ntcc,f_video_content_complexity_nscc),本发明实施例对此并不限定。
需要指出的是,在采用(6)式或(7)式预测编码质量或视频编码失真质量的实施例中,可以采用经过(8)式进行调整的视频的内容复杂度,调整后的视频的内容复杂度f_video_content_complexity_n可以是进行归一化调整后的视频的时间复杂度f_video_content_complexity_ntcc,或者是进行归一化调整后的视频的空间复杂度f_video_content_complexity_nscc,还可以是时间复杂度f_video_content_complexity_ntcc和空间复杂度f_video_content_complexity_nscc的组合。应理解,本发明实施例对此不作限定。
例如,采用时间复杂度f_video_content_complexity_ntcc和空间复杂度f_video_content_complexity_nscc的组合和视频的量化参数f_video_qp预测视频编码质量d_compression_quality_value,即在(6)式中视频的内容的复杂度采用调整后的视频的内容的复杂度f_video_content_complexity_n,可将a5*f_video_content_complexity_n替换成a51*f_video_content_complexity_ntcc+a52*f_video_content_complexity_nscc,其中,a51和a52可以相同或不同。
通过本发明实施例预测编码质量的方式更符合人眼主观感受,从而进一步地提高了预测编码质量的准确性。
图3是本发明另一个实施例的视频编码质量的评估设备的结构框图。
如图3所示,一般包括至少一个处理器410,例如CPU,至少一个端口420,存储器430,和至少一个通信总线440。通信总线440用于实现这些装置之间的连接通信。处理器410用于执行存储器430中存储的可执行模块,例如计算机程序;可选地,设备300可包括用户接口450,用户接口450包括但不限于显示器,键盘和点击设备,例如鼠标、轨迹球(trackball)、触感板或者触感显示屏。存储器430可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
在一些实施方式中,存储器430存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集。
操作***432,包含各种***程序,用于实现各种基础业务以及处理基于硬件的任务。
应用模块434,包含各种应用程序,用于实现各种应用业务。
应用模块434中包括但不限于获取单元201、确定单元202和预测单元203。
应用模块434中各单元的具体实现参见图2所示实施例中的相应单元,在此不赘述。
上述视频编码质量的评估设备可以是终端,例如,可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置,或者,设备还可以是服务器。等等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (28)

1.一种视频编码质量的评估方法,其特征在于,包括:
获取视频流的视频帧的条带的量化参数和所述视频流的视频帧的条带的像素字节数;
根据所述视频流的视频帧的条带的量化参数确定视频的量化参数,并根据所述视频流的视频帧的条带的像素字节数确定视频的内容复杂度;
根据所述视频的内容复杂度和所述视频的量化参数预测视频编码质量。
2.如权利要求1所述的方法,其特征在于,所述根据视频流的视频帧的条带的量化参数确定视频的量化参数,包括:
将所述视频流的视频帧的条带的量化参数的平均值或加权平均值确定为所述视频的量化参数。
3.如权利要求2所述的方法,其特征在于,所述将所述视频流的视频帧的条带的量化参数的平均值或加权平均值确定为所述视频的量化参数,包括:
f _ video _ qp = Σ i = 1 N 1 i _ slice _ qp i N 1 , 或者
f _ video _ qp = Σ i = 1 N 1 w i · i _ slice _ qp i Σ i = 1 N 1 w i
其中,f_video_qp为所述视频的量化参数,N1为所述视频流的条带的量化参数的数目,i_slice_qpi为所述N1个条带的量化参数中第i个条带的量化参数,N1为正整数,wi为该第i个条带所对应的权重。
4.如权利要求1-3任一项所述的方法,其特征在于,所述根据所述视频流的视频帧的条带的像素字节数确定视频的内容复杂度,包括:
确定视频帧的Num个条带中的第k个条带的像素字节数为:
f _ slice _ byte _ per _ pixel k = i _ slice _ size k i _ slice _ pixel k
其中,i_slice_sizek为所述视频帧的Num个条带中第k个条带的字节数,i_slice_pixelk为所述视频帧的Num个条带中第k个条带的像素数,k为正整数,在所述视频帧中,k的取值从1到Num,Num为正整数;
确定所述视频帧的Num个条带中的第k个条带的内容复杂度为:
f_slice_content_complexityk=
a[i_slice_qpk]·f_slice_byte_per_pixelk+b[i_slice_qpk]
其中,a[i_slice_qpk]和b[i_slice_qpk]均为与所述视频帧的Num个条带中的第k个条带的量化参数对应的值;
确定所述视频帧的内容复杂度为:
f _ frame _ content _ complexity = Σ k = 1 Num f _ slice _ content _ complexity k Num
根据所述视频帧的内容复杂度确定所述视频的内容复杂度。
5.如权利要求4所述的方法,其特征在于,所述根据所述视频帧的内容复杂度确定所述视频的内容复杂度,包括:
f _ video _ content _ complexity = Σ j = 1 M f _ frame _ content _ conplexity j M
其中,f_video_content_complexity为所述视频的内容复杂度,所述视频流包括M个视频帧,M为正整数,j为正整数且取值从1到M。
6.如权利要求5所述的方法,其特征在于,所述根据所述视频的内容复杂度和所述视频的量化参数预测视频编码质量,包括:
d _ compression _ quality _ value =
a 1 + a 2 a 3 + ( f _ video _ qp a 4 - a 5 · f _ video _ content _ complexity ) a 6
其中,d_compression_quality_value为所述视频编码质量,a1,a2,a3,a4,a5和a6均为常数。
7.如权利要求6所述的方法,其特征在于,所述a2取值为:
视频编码质量范围的最大值与最小值之差。
8.如权利要求6或7所述的方法,其特征在于,所述a1取值为:
视频编码质量范围的最小值。
9.如权利要求4-8任一项所述的方法,其特征在于,还包括,对所述视频的内容复杂度进行调整:
f _ video _ content _ complexity _ n =
min ( s , f _ video _ content _ complexity num 1 )
将调整后的f_video_content_complexity_n作为所述视频的内容复杂度,s和num1均为常数。
10.如权利要求9所述的方法,其特征在于,所述s取值为1.0,所述num1取值为60.0,所述f_vidio_content_complexity_n取值范围为[0.0, 1.0]。
11.如权利要求5-10任一项所述的方法,其特征在于,所述M个视频帧均没有丢包。
12.如权利要求5-11任一项所述的方法,其特征在于,所述视频帧包括帧内编码帧和/或帧间编码帧。
13.如权利要求4-12任一项所述的方法,其特征在于,Num为所述视频帧中条带的总数。
14.如权利要求3-13任一项所述的方法,其特征在于,所述N1为正确解析出的条带的量化参数的数目,所述正确解析出的条带的量化参数表示在条带的第一个传输包至用于获取所述条带的量化参数的条带量化参数差量所在的传输包都不丢失的情况下,解析出的条带的量化参数为正确的。
15.一种视频编码质量的评估设备,其特征在于,包括:
获取单元,用于获取视频流的视频帧的条带的量化参数和所述视频流的视频帧的条带的像素字节数;
确定单元,用于根据所述获取单元获取的所述视频流的视频帧的条带的量化参数确定视频的量化参数,并根据所述获取单元获取的所述视频流的视频帧的条带的像素字节数确定视频的内容复杂度;
预测单元,用于根据所述确定单元确定的所述视频的内容复杂度和所述视频的量化参数预测视频编码质量。
16.如权利要求15所述的设备,其特征在于,
所述确定单元具体用于:将所述视频流的视频帧的条带的量化参数的平均值或加权平均值确定为所述视频的量化参数。
17.如权利要求16所述的设备,其特征在于,
所述确定单元具体用于:确定所述视频的量化参数为:
f _ video _ qp = Σ i = 1 N 1 i _ slice _ qp i N 1 , 或者
f _ video _ qp = Σ i = 1 N 1 w i · i _ slice _ qp i Σ i = 1 N 1 w i
其中,f_video_qp为所述视频的量化参数,N1为所述视频流的条带的量化参数的数目,i_slice_qpi为所述N1个条带的量化参数中第i个条带的量化参数,N1为正整数,wi为该第i个条带所对应的权重。
18.如权利要求15-17任一项所述的设备,其特征在于,
所述确定单元具体用于:
确定视频帧的Num个条带中的第k个条带的像素字节数为:
f _ slice _ byte _ per _ pixel k = i _ slice _ size k i _ slice _ pixel k
其中,i_slice_sizek为所述视频帧的Num个条带中第k个条带的字节数,i_slice_pixelk为所述视频帧的Num个条带中第k个条带的像素数,k为正整数,在所述视频帧中,k的取值从1到Num,Num为正整数;
具体用于:确定所述视频帧的Num个条带中的第k个条带的内容复杂度为:
f_slice_content_complexityk=
a[i_slice_qpk]·f_slice_byte_per_pixelk+b[i_slice_qpk]
其中,a[i_slice_qpk]和b[i_slice_qpk]均为与所述视频帧的Num个条带中的第k个条带的量化参数对应的值;
具体用于:确定所述视频帧的内容复杂度为:
f _ frame _ content _ complexity = Σ k = 1 Num f _ slice _ content _ complexity k Num
具体用于:根据所述视频帧的内容复杂度确定所述视频的内容复杂度。
19.如权利要求18所述的设备,其特征在于,
所述确定单元具体用于:确定所述视频的内容复杂度为:
f _ video _ content _ complexity = Σ j = 1 M f _ frame _ content _ conplexity j M
其中,所述视频流包括M个视频帧,M为正整数,j为正整数且取值从1到M。
20.如权利要求19所述的设备,其特征在于,
所述预测单元具体用于:预测视频编码质量为:
d _ compression _ quality _ value =
a 1 + a 2 a 3 + ( f _ video _ qp a 4 - a 5 · f _ video _ content _ complexity ) a 6
其中,a1,a2,a3,a4,a5和a6均为常数。
21.如权利要求20所述的设备,其特征在于,所述a2取值为:
视频编码质量范围的最大值与最小值之差。
22.如权利要求20或21所述的设备,其特征在于,所述a1取值为:
视频编码质量范围的最小值。
23.如权利要求18-22任一项所述的设备,其特征在于,还包括,对所述视频的内容复杂度进行调整:
f _ video _ content _ complexity _ n =
min ( s , f _ video _ content _ complexity num 1 )
将调整后的f_video_content_complexity_n作为所述视频的内容复杂度,s和num1均为常数。
24.如权利要求23所述的设备,其特征在于,所述s取值为1.0,所述num1取值为60.0,所述f_vidio_content_complexity_n取值范围为[0.0, 1.0]。
25.如权利要求19-24任一项所述的方法,其特征在于,所述M个视频帧均没有丢包。
26.如权利要求19-25任一项所述的设备,其特征在于,所述视频帧包括帧内编码帧和/或帧间编码帧。
27.如权利要求18-26任一项所述的设备,其特征在于,Num为所述视频帧中条带的总数。
28.如权利要求17-27任一项所述的设备,其特征在于,所述N1为正确解析出的条带的量化参数的数目,所述正确解析出的条带的量化参数表示在条带的第一个传输包至用于获取所述条带的量化参数的条带量化参数差量所在的传输包都不丢失的情况下,解析出的条带的量化参数为正确的。
CN201310048015.0A 2013-02-06 2013-02-06 视频编码质量的评估方法及设备 Active CN103747237B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201310048015.0A CN103747237B (zh) 2013-02-06 2013-02-06 视频编码质量的评估方法及设备
ES13874341.4T ES2622027T3 (es) 2013-02-06 2013-08-06 Método y dispositivo para evaluar calidad de codificación de vídeo
EP13874341.4A EP2919461B1 (en) 2013-02-06 2013-08-06 Method and device for evaluating video encoding quality
PCT/CN2013/080882 WO2014121591A1 (zh) 2013-02-06 2013-08-06 视频编码质量的评估方法及设备
US14/751,373 US9774855B2 (en) 2013-02-06 2015-06-26 Method and device for assessing video encoding quality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310048015.0A CN103747237B (zh) 2013-02-06 2013-02-06 视频编码质量的评估方法及设备

Publications (2)

Publication Number Publication Date
CN103747237A true CN103747237A (zh) 2014-04-23
CN103747237B CN103747237B (zh) 2015-04-29

Family

ID=50504221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310048015.0A Active CN103747237B (zh) 2013-02-06 2013-02-06 视频编码质量的评估方法及设备

Country Status (5)

Country Link
US (1) US9774855B2 (zh)
EP (1) EP2919461B1 (zh)
CN (1) CN103747237B (zh)
ES (1) ES2622027T3 (zh)
WO (1) WO2014121591A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107424622A (zh) * 2014-06-24 2017-12-01 华为技术有限公司 音频编码方法和装置
CN109286812A (zh) * 2018-10-24 2019-01-29 华中科技大学 一种hevc视频质量估计方法
CN109660812A (zh) * 2018-11-12 2019-04-19 北京达佳互联信息技术有限公司 复杂度和码率的确定方法、装置及计算机可读存储介质
CN111327950A (zh) * 2020-03-05 2020-06-23 腾讯科技(深圳)有限公司 一种视频转码方法及装置
CN113395518A (zh) * 2021-08-13 2021-09-14 杭州微帧信息科技有限公司 一种视频编码自适应量化死区的方法
CN115225961A (zh) * 2022-04-22 2022-10-21 上海赛连信息科技有限公司 一种无参考网络视频质量评价方法和装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10163029B2 (en) 2016-05-20 2018-12-25 Gopro, Inc. On-camera image processing based on image luminance data
CN109819263B (zh) * 2017-11-22 2022-08-19 腾讯科技(深圳)有限公司 视频编码方法、装置、计算机设备及存储介质
US10798399B1 (en) * 2017-12-11 2020-10-06 Amazon Technologies, Inc. Adaptive video compression
US11328456B2 (en) * 2018-01-22 2022-05-10 Apple Inc. Method and device for presenting synthesized reality companion content
US10924739B2 (en) * 2018-10-31 2021-02-16 Ati Technologies Ulc Efficient quantization parameter prediction method for low latency video coding
CN111385576B (zh) * 2018-12-28 2021-08-10 北京字节跳动网络技术有限公司 视频编码方法、装置、移动终端及存储介质
CN115174897A (zh) * 2022-07-28 2022-10-11 北京达佳互联信息技术有限公司 视频质量预测方法、装置、电子设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090244289A1 (en) * 2008-03-28 2009-10-01 Deutsche Telekom Ag Audio-visual quality estimation
CN101635846A (zh) * 2008-07-21 2010-01-27 华为技术有限公司 一种视频质量评估方法、***及装置
CN101695141A (zh) * 2009-10-20 2010-04-14 浙江大学 一种视频质量评估方法和装置
CN102685548A (zh) * 2012-05-29 2012-09-19 公安部第三研究所 视频质量的无参评估方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7231090B2 (en) * 2002-10-29 2007-06-12 Winbond Electronics Corp. Method for performing motion estimation with Walsh-Hadamard transform (WHT)
CN100505874C (zh) * 2005-02-01 2009-06-24 华为技术有限公司 一种视频编码速率控制的方法
JP2009260940A (ja) * 2008-03-21 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価方法、映像品質客観評価装置、およびプログラム
US20110292997A1 (en) * 2009-11-06 2011-12-01 Qualcomm Incorporated Control of video encoding based on image capture parameters
KR101847072B1 (ko) * 2010-04-05 2018-04-09 삼성전자주식회사 영상 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN102740108B (zh) 2011-04-11 2015-07-08 华为技术有限公司 一种视频数据质量评估方法和装置
CN102868907A (zh) * 2012-09-29 2013-01-09 西北工业大学 部分参考视频质量客观评价方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090244289A1 (en) * 2008-03-28 2009-10-01 Deutsche Telekom Ag Audio-visual quality estimation
CN101635846A (zh) * 2008-07-21 2010-01-27 华为技术有限公司 一种视频质量评估方法、***及装置
CN101695141A (zh) * 2009-10-20 2010-04-14 浙江大学 一种视频质量评估方法和装置
CN102685548A (zh) * 2012-05-29 2012-09-19 公安部第三研究所 视频质量的无参评估方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107424622A (zh) * 2014-06-24 2017-12-01 华为技术有限公司 音频编码方法和装置
CN107424622B (zh) * 2014-06-24 2020-12-25 华为技术有限公司 音频编码方法和装置
US11074922B2 (en) 2014-06-24 2021-07-27 Huawei Technologies Co., Ltd. Hybrid encoding method and apparatus for encoding speech or non-speech frames using different coding algorithms
CN109286812A (zh) * 2018-10-24 2019-01-29 华中科技大学 一种hevc视频质量估计方法
CN109660812A (zh) * 2018-11-12 2019-04-19 北京达佳互联信息技术有限公司 复杂度和码率的确定方法、装置及计算机可读存储介质
CN111327950A (zh) * 2020-03-05 2020-06-23 腾讯科技(深圳)有限公司 一种视频转码方法及装置
CN113395518A (zh) * 2021-08-13 2021-09-14 杭州微帧信息科技有限公司 一种视频编码自适应量化死区的方法
CN113395518B (zh) * 2021-08-13 2022-03-15 杭州微帧信息科技有限公司 一种视频编码自适应量化死区的方法
CN115225961A (zh) * 2022-04-22 2022-10-21 上海赛连信息科技有限公司 一种无参考网络视频质量评价方法和装置
CN115225961B (zh) * 2022-04-22 2024-01-16 上海赛连信息科技有限公司 一种无参考网络视频质量评价方法和装置

Also Published As

Publication number Publication date
EP2919461B1 (en) 2017-01-11
EP2919461A4 (en) 2015-09-16
US20150296208A1 (en) 2015-10-15
US9774855B2 (en) 2017-09-26
WO2014121591A1 (zh) 2014-08-14
CN103747237B (zh) 2015-04-29
EP2919461A1 (en) 2015-09-16
ES2622027T3 (es) 2017-07-05

Similar Documents

Publication Publication Date Title
CN103747237B (zh) 视频编码质量的评估方法及设备
CN103634594B (zh) 一种获得视频编码压缩质量的方法及装置
CN101635846B (zh) 一种视频质量评估方法、***及装置
US8379670B2 (en) Method and device for transmitting video data
EP2888845B1 (en) Device and method for adaptive rate multimedia communications on a wireless network
KR101693564B1 (ko) 미디어 품질 평가 방법 및 장치
US20150304709A1 (en) Method and apparatus for estimating video quality
CN102907096A (zh) 用于发送和接收分层编码视频的方法和设备
Taha et al. Smart algorithm in wireless networks for video streaming based on adaptive quantization
Migliorini et al. Performance evaluation of H. 264/SVC video streaming over mobile WiMAX
CN103747238B (zh) 视频静止失真程度评估方法和装置
EP2888877B1 (en) Method and apparatus for estimating content complexity for video quality assessment
Koumaras et al. A framework for end-to-end video quality prediction of MPEG video
EP2954677B1 (en) Method and apparatus for context-based video quality assessment
US9674523B2 (en) Methods and apparatus for transcoding digital video
CN113473125B (zh) 码率控制方法、设备、存储介质及产品
CN104159106B (zh) 视频编码方法和视频解码方法及其装置
Karthikeyan et al. Perceptual video quality assessment in H. 264 video coding standard using objective modeling
Koumaras Objective and subjective assessment methods of video quality in multimedia broadcasting
Osmanović Subjective and Objective QoE Measurement for H. 265/HEVC Video Streaming over LTE
Beak et al. Managing QoS of video transcoding server system: Preliminary results and analysis
Wang Fair billing method for VOD systems based on video quality monitoring using watermarking scheme
Ahmad Optimized Network-Adaptive Multimedia Transmission Over Packet Erasure Channels
CN104885452A (zh) 用于估计视频质量评估的内容复杂度的方法和装置
KR20160002659A (ko) 비디오 품질 평가를 위해 콘텐츠 복잡성을 추정하기 위한 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant