CN101146226A - 一种基于自适应st区的高清视频图像质量评价方法及装置 - Google Patents

一种基于自适应st区的高清视频图像质量评价方法及装置 Download PDF

Info

Publication number
CN101146226A
CN101146226A CN 200710140426 CN200710140426A CN101146226A CN 101146226 A CN101146226 A CN 101146226A CN 200710140426 CN200710140426 CN 200710140426 CN 200710140426 A CN200710140426 A CN 200710140426A CN 101146226 A CN101146226 A CN 101146226A
Authority
CN
China
Prior art keywords
zone
self
video
definition
characteristic parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 200710140426
Other languages
English (en)
Other versions
CN100559880C (zh
Inventor
孟放
姜秀华
章文辉
孙慧
杨爽
许江波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Communication University of China
Original Assignee
Communication University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Communication University of China filed Critical Communication University of China
Priority to CN 200710140426 priority Critical patent/CN100559880C/zh
Publication of CN101146226A publication Critical patent/CN101146226A/zh
Application granted granted Critical
Publication of CN100559880C publication Critical patent/CN100559880C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明是一种基于自适应ST区(时空子区域)的高清视频图像质量评价方法及装置。自适应ST区域定义模块输入端连接待测量的原始视频序列和受损序列,根据原始视频内容定义自适应ST区域;自适应ST区域划分模块根据已定义的ST区域划分准则,分别对原始序列和受损序列划分自适应ST区域,作为提取特征参数的基准;特征参数提取模块基于已划分的ST区域分别提取原始序列和受损序列的空间信息、时间信息以及时间空间混合信息的特征参数,获得原始序列和受损序列对应的特征参数组;质量损伤程度计算模块根据比较特征参数提取模块获取的特征参数组,计算输入序列对的差异值,完成质量损伤程度的测量。

Description

一种基于自适应ST区的高清视频图像质量评价方法及装置
技术领域
本发明涉及一种高清视频图像质量评价的方法及装置,具体地说是一种利用自适应ST区实现高清视频图像质量评价的方法及装置。
背景技术
高清电视(HDTV)是当前数字电视最高级的业务形式,具有清晰度高、画面尺寸大、色彩鲜艳、临场感强等优点。随着数字视频压缩技术的不断发展,高清视频在日常生活中也得到了较为广泛的应用,特别是近几年高清电视节目的出现,以及视频压缩编解码技术的发展,数字高清图像质量评价逐渐成为研究中的一个热点问题。
传统的图像/视频质量评价方法可分为主观评价和客观评价两大类。其中主观评价是用户对视频质量的直接评价,是一种重要且可靠的评价方式。该方法在多年应用中已形成相对稳定的系列标准,如用于标清电视主观评价的ITU-R BT.500-11标准和用于高清电视主观评价的ITU-RBT.710-2标准等。主观评价具有结果直观,可信度高等特性;但它对测试环境要求较高,且测量过程复杂、费时,评价结果因人而异。此外,主观评价无法实现在线的视频质量测量。而客观评价方法测量指标客观,具有可重复性,容易实现自动方便地监控且适合多种应用场合。
数字图像质量的客观评价方法可分为三种,根据测量时对无失真视频(或称原始序列)的依赖程度分为:基于全参考帧的视频质量测量(Full-Reference Video Quality Metric:FR-VQM),基于缩减参考帧(Reduced-Reference,RR-VQM)和基于无参考帧(No-Reference,NR-VQM)的视频质量测量。其中NR-VQM不需要任何来自原始视频图像的数据,而仅仅在接收端对受损视频图像进行测量,通过对某些特征(如边缘能量差、空间频率差、活动能量差等技术指标)的提取和统计分析来测量视频的损伤程度。由于评价过程中不考虑原始数据的特性,因此,该方法对某些失真的敏感度较低,评价结果的准确度较另外两种要稍差些。对于高质量的高清电视节目,FR-VQM和RR-VQM是更为常用、也是更加可靠的客观评价技术。因此,对于高清视频质量的评价研究多从全参考和缩减参考这两个角度分析。
其中,FR-VQM的方法思路如图1所示。FR-VQM以受损视频和原始视频序列之间逐帧逐像素之间的差异为比较的基准,通过对这些差异的统计分析,并结合视觉感知特性,获得最终的评价结果。不同的图像处理方法和不同差值图像分析方法确定了不同的FR-VQM方法。该方法可以最大程度保留两个序列的不同之处。在FR-VQM方法中结合了人眼视觉感知特性,可以获取与主观评价结果较一致的客观评价结果。信号分析中的峰值信噪比(PSNR)是一种最简单的FR-VQM方法,它通过逐帧逐像素地计算出原始图像与受损图像的差值影射图,然后算出均方根值,来获取对受损图像的质量评价值。该方法并没有结合人类视觉机制的任何特性,但对一般图像/视频的质量测量,还是可获得较为准确的测量结果,因此,常作为一种参考算法去衡量其他的FR-VQM方法。
RR-VQM的实现框架如图2所示。该类方法首先分别从原始视频和受损视频提取某些特征参数,其次对这些特征进行统计分析以获取原始视频和受损视频对应的特征统计数据,然后对这两组统计特征信息进行比较计算,分析多种图像质量损伤,如:模糊、块效应、图像跳跃(失帧或重复帧)、噪声、色度失真、振铃等,以获取可以指示图像受损程度、或定义图像质量的数据。相对于FR-VQM而言,该方法的主要优点在于,评价过程中只需要传输从原始序列中提取的有限特征数据即可,所需的附加带宽较小,因此可用于实时的监控和测试。由于此方法的评价结果主要取决于参与比较的特征参数,因此,特征参数的定义和提取将直接影响到评价结果的准确性。
这两类方法在研究中分别有其不同的侧重点。FR-VQM算法可以分析到图像之间像素级别的差异,并通过结合人眼视觉的感知特性来对这些差异进行加权处理,以获取与主观评价结果拟合性非常好的客观评价结果。但计算过程较为复杂,数据量大,很难实现在线测量;而RR-VQM方法首先定义特征参数,然后分别提取原始视频和受损视频的特征参数,通过比较这些参数来获取对受损图像的质量评价结果。在参数的定义和比较中,RR-VQM也会考虑结合视觉感知特性来提高评价结果的准确性。由于RR-VQM参与运算的只是原始图像的一部分数据,因此,其评价结果与主观结果的一致性则取决于不同设计的方法。但该方法运算速度快,并且可借助辅助信道实现在传输两端任一端的在线测量。
目前我国的视频质量评估研究还处于逐步发展阶段,一方面包括对国外已有的较为成熟的评价***和评价算法的分析研究,一方面分析人类视觉机制,对于某些视感知特性进行模型化。此外,对于图像和视频质量的客观评价方法也进行了一定程度的探索和对已有算法的进行改进。
在国际方面随着各种视频测量方法的提出,ITU组织于1997年成立了一个非正式组织VQEG(Video Quality Experts Group),其研究重点是视频质量测量方法。目前针对标清视频的客观评价算法研究比较成熟,无论是FR-VQM算法、还是RR-VQM算法,均有较为成熟的研究成果。VQEG也颁布了一些初步标准。但对于高清序列,目前还没有较为成熟的研究成果。
FR-VQM算法中的主要问题是视觉模型的研究和建立过程。随着人们对人眼视觉***研究的深入,视觉机制的感知特性和感知局限性被不断结合到客观评价***中。但是如何设计和实现一个有效的视觉模型则是一个难题。1982年Lukas和Budrikis第一次将视觉模型应用于图像质量评估中,不过此时的视觉模型还只是个单通道模型,并不区分亮度、色度等信息在视觉感知中的不同特性。在多通道的视觉模型研究中,最为有名的是1997年美国Sarnoff实验室提出的JND(Just NoticeDifference)模型,通过对人类视觉***的深入研究,该模型对差异图像中的人类视觉可感知部位进行精确测量。这个算法目前已经被Tektronix公司结合到实际的测量设备中(PQA300),已经成功实现产品化。日本KDD公司的视频通信实验室提出了基于三层噪声加权的视频质量评价算法,此外,瑞士EPFL实验室通过将输入视频转换到对应的颜色空间,然后分别通过时间-空间的塔式分解,建立多个测量通道,最后将测量结果转化为误差可视图。此外,针对基于DCT的视频编码机制,DVQ算法的提出可以改善视频质量评价对于某类特定视频的评价性能。虽然在视频质量测量中,多个研究机构所提出的算法均可与主观评价结果达到较好的一致性,但VQEG对上述各种模型进行的多项评价比较,却发现没有哪种算法能够在各个比较环节中胜出其它几种。其中,虽然PSNR被认为是基于模拟信号提出的FR-VQM算法,算法非常简单,但相比于其它基于视觉建模的复杂评价算法,PSNR也能与主观评价达到较好的一致性,某些测试环境下PSNR还稍占优势。目前所提出的基于视觉机制的视频质量评价***还多是考虑标清信号,对于高清数字视频这种数据量庞大(5倍的标清数据量)的视频序列而言,若将目前FR-VQM算法直接移植到高清视频质量评价中,显然是不妥当的。必须考虑如何结合视觉感知的局限性以大幅度降低待处理的数据量。
目前基于标清视频的图像质量客观评价算法并没有很好利用高清视频的特性(数据量大、画面尺寸大、色彩丰富等),以及没有更多考虑人们在观看视频中的视觉注意特性和感知的局限性。在考虑用户视点和RR-VQM算法的优点,我们提出此项发明。
发明内容
为了克服现有技术中的不足,本发明的目的在于提供一种利用自适应ST区实现高清视频图像质量评价的方法及装置。
为完成上述目的,一种利用自适应ST区实现高清视频图像质量评价的方法,该方法包括以下步骤:
1)输入视频序列;
2)根据原始视频序列定义自适应ST区域的划分准则;
3)分别对原始序列和受损序列生成自适应ST区域;
4)基于已划分的ST区域,提取指定的特征参数;
5)对比原始序列和受损序列的特征参数,计算质量损伤程度,并给出最终的客观评价结果。
为完成上述发明目的,本发明还提供一种利用自适应ST区实现高清视频图像质量评价装置,包括自适应ST区域定义模块,自适应ST区域划分模块,特征参数提取模块,质量损伤程度计算模块,其特征在于,
所述自适应ST区域定义模块,基于输入原始序列的序列内容,定义自适应ST区域的划分方法;
所述自适应ST区域划分模块,根据已定义的ST区域划分准则,分别对原始序列和受损序列划分自适应ST区域,作为提取特征参数的基准;
所述特征参数提取模块,按照视频质量评价所需测量的空间信息、时间信息以及时间空间混合信息的特征参数,分别提取两个序列基于ST区域的特征参数组;
所述质量损伤程度计算模块,通过比较提取的特征参数,计算输入序列对的差异值,即质量损伤程度的测量。
本发明具有明显的优点和积极效果。自适应ST区域的划分,一方面可以大大降低参与比较的特征参数的数据量;另一方面,自适应ST区域的划分,不但考虑了视频内容,而且考虑了用户视点,可以保证客观评价结果与主观评价结果有较高的一致性。
附图说明
图1为基于全参考帧的视频质量测量(FR-VQM)模型结构简图;
图2为基于缩减参考帧(RR-VQM)模型结构简图;
图3为根据本发明的ST区域的定义方法结构简图;
图4为根据本发明的基于自适应ST区域的RR-VQM算法框图;
图5为根据本发明的三级ST区域的划分方法示意图;
图6为根据本发明的参与实验测试的高清测试视频图像序列截图;
图7为根据本发明的基于三级ST区域与基于单—ST区域客观评价结果与主观评价结果的拟合性分析图;
图8为根据本发明的利用自适应ST区实现高清视频图像质量评价装置***框架图;
图9为根据本发明的利用自适应ST区实现高清视频图像质量评价方法流程图;
图10为根据本发明的对输入的视频序列进行滤波操作的水平和垂直边缘增强滤波器示意图;
图11为根据本发明的画面不存在特别感兴趣区域时ST区域的划分示意图。
具体实施方式
下面结合说明书附图来说明本发明的具体实施方式。
图3为根据本发明的ST区域的定义方法结构简图。参考图3,对于不同的视频序列,根据视频内容生成不同的ST区域,即自适应ST区域。ST区域的全称是Spatial-Temporal Sub-Region,即空间-时间子区域。这是基于缩减参考帧的客观评价方法中的一项技术。整个视频流可以看成按一定速率播放的图像帧,图像本身是二维空间,再加上时间维,即为三维空间(图3左边的视频序列)。在对这个三维空间的数据处理之前,我们将它划分为比邻的三维子空间,其中原来的图像空间被划分为8*8的子块(空间子单位),而在时间轴上,我们取五帧作为时间子单位。这样,原来的视频流就可以划分成若干个8*8*5的三维子空间。图3右边的“一个ST区”即为左图一个空间子块的放大图,即空间8*8,连续5帧。
图4为根据本发明的基于自适应ST区域的RR-VQM算法框图。如图4所示,首先对原始的视频序列和(经过压缩编解码处理的)受损的视频序列生成自适应ST区域,即根据视频内容定义自适应ST区域;其次基于已划分的ST区域,提取指定的特征参数;最后对比原始序列和受损序列的特征参数,计算质量损伤程度,并给出最终的客观评价结果。
这里的视频内容主要包括以下几部分:镜头切换、人脸区域、用户指定的感兴趣区域等。
为了保证客观评价结果与主观评价结果具有较高的相关性,参与客观评价的视频序列播放长度在十秒左右。
图5为根据本发明的三级ST区域的划分方法示意图。参考图5,对于同一画面,定义画面的中部区域作为较重要区域,即区域1。在该区域内,ST区域的大小定义为8*8*5;在次感兴趣的区域,ST区域的大小定义为16*16*5,即区域2;在屏幕的周边区域或非感兴趣区域,ST区域的大小定义为32*32*5,即区域3。
图6为参与实验测试的高清测试视频序列截图。如图6所示,高清测试视频图像序列的选择应满足主客观评价所需测试图像素材选择的基本标准。
图7为基于三级ST区域与基于单—ST区域的客观评价结果与主观评价结果的拟合性分析图。(a)为基于中央区域的三级ST区域图,(b)为整个序列被划分为均匀大小的ST区域图。如图7所示,对拟合误差的计算,可以看出多级ST区域的拟合误差小于均匀ST区域与主观结果的拟合误差。
图8为根据本发明的利用自适应ST区实现高清视频图像质量评价装置***框架图。如图8所示,本发明的利用自适应ST区实现高清视频图像质量评价装置包括:
自适应ST区域定义模块,其输入端为高清视频图像原始视频序列,根据原始序列的视频内容,并考虑用户观看视点,定义自适应ST区域的划分方法。
自适应ST区域划分模块,输入端连接自适应ST区域定义模块,并根据已定义的ST区域划分准则,分别对原始序列和受损序列划分自适应ST区域,作为提取特征参数的基准。
特征参数提取模块,连接自适应ST区域划分模块的输出端,按照美国国家电信管理局(NTIA)通用模型定义的特征参数,分别提取两个序列基于ST区域的特征参数组。提取的时间/空间特征参数如下:
a)每个ST区域亮度幅度的均方差值fSI13=std{R(i,j,t)},其中,(i,j)为像素在该ST区域的相对空间坐标,t为像素在时间轴上的相对坐标;R为边缘滤波器(增强边缘、同时降低噪声的滤波器)处理之后的像素的边缘幅度信息;std为该ST区域像素亮度的均方差值。
b)不同的方向会引起不同种类的图像损伤,对人眼的主观评价结果具有不同的影响,因此方向这个参数在图像的客观评价中起着不同的作用。考虑方向性,可计算如下两个参数:
Figure A20071014042600131
Figure A20071014042600132
并定义 f HV 13 = { mean [ HV ( i , j , t ) ] } | p / { mean [ HV ‾ ( i , j , t ) ] } , 该参数定义为水平、垂直方向与非水平、垂直的边缘能量之比,也能排除边缘模糊的影响(若重建图像出现了模糊,则水平、垂直方向与非水平、非垂直方向的边缘能量都会下降,而它们的比值则不会受大的影响)。
c)ST区域的色度信息的分析,采用如下公式:
fCOLOR_COHER={mean(CB(i,j,t)),WR *mean(CR(i,j,t))}
其中:i,j,t∈{ST区域},CB(i,j,t)表示ST区域中每个象素点的蓝色差信号值,CR(i,j,t)表示ST区域中每个象素点的红色差信号值,mean表示求均值。
d)对于亮度对比度的分析,可采用如下公式:
fCONTRAST=std[Y(i,j,t)],
其中:i,j,t∈{ST区域},Y(i,j,t)表示ST区域中每个象素点的亮度信号值,  std表示求均方值。
e)时间域上的信息分析如下:
fATI=std|Y(i,j,t)-Y(i,j,t-1)|
其中:i,j,t∈{ST区域},Y(i,j,t)表示当前帧ST区域中每个象素点的亮度信号值,Y(i,j,t-1)表示前一帧与当前帧对应位置的sT区域中每个象素点的亮度信号值,std表示求均方值。
f)对比度与绝对时间的交叉信息分析:
fCONTRAST_ATI=fCONTRAST×fATI
fCONTRAST_ATI=log10fCONTRAST×log10fATI
质量损伤程度计算模块,其输入端连接特征参数提取模块,并根据特征参数提取模块提取的两个序列基于ST区域的特征参组,计算视频的质量损伤程度。通过比较提取的特征参数,计算输入序列对的差异值,即质量损伤程度的测量。计算受损视频的质量损伤程度的方法是:对于原始序列和受损序列划分的ST区域,分别计算上述定义的各项参数,依据参与测试的序列的性质不同(一般视频、电话会议、标清电视等),代入不同的视频测量模型,即可获取最终的测量结果。本算法在实现过程中代入NTIA的一般模型,即,NTIA General VQM模型。
图9为根据本发明的利用自适应ST区实现高清视频图像质量评价方法流程图。下文将参考图9,对本发明的利用自适应ST区实现高清视频图像质量评价方法进行详细描述如下:
首先,在步骤901,输入视频序列,并进行滤波操作,以增强边缘,去除噪声。视频序列包括原始序列和受损序列。
在步骤902,对输入的原始视频序列进行镜头切换检测。高清测试视频序列若包含镜头变换,则多为镜头切变,在此采用单阈值检测法进行镜头切换检测:首先读入待处理的视频序列;其次计算每幅图像的颜色直方图;最后求解整个序列颜色直方图的均值和均方差。若前后两帧的直方图差异大于三倍的均方差,则判断有镜头切变发生。
在步骤903,判断输入的视频序列是否存在镜头切换,如不存在镜头切换则转到步骤905。
在步骤904,如视频序列存在镜头切换,则将镜头切换后的5帧舍弃,不参与下面的ST区域划分。
在步骤905,对输入的视频序列进行人脸区域检测。作为肤色检测出现在测试序列中的人脸镜头,多以正面出现,且占据屏幕的一定范围,否则,不予考虑。该检测在镜头分割之后进行,因此,只考虑一个镜头之内的人脸区域检测。人脸区域检测方法如下:首先定义一个矩形框的人脸区域模板,其宽高比R(R=W/H)应在一定范围内[0.4,0.85];人脸区域的充满度P=area/WH也应在一定范围内[0.65,0.8];模板内的颜色取值为肤色的参考值,并给定一个阈值变化范围;模板大小定义为200*140(行数*列数);其次对于当前读入图像,滑动模板,当模板内像素与模板元素差小于指定阈值时,则所在位置为人脸区域;再次以该区域为起始,扩散确定人脸完整区域;最后若画面存在不止一个满足模板要求的人脸区域,则在整个镜头内的ST区域定义中,分别以不同的人脸区域为感兴趣中心,划分三级ST区域。即在某一时刻,由于视点原因,只能定义一个感兴趣区域。
在步骤906,判断视频序列是否存在人脸区域,如视频序列不存在人脸区域则转到步骤908;
在步骤907,如视频序列存在人脸区域,则以人脸区域的位置为中心,按图5划分三级自适应ST区域;
在步骤908,判断视频序列是否存在其它兴趣区域,如视频序列不存在其它兴趣区域则转到步骤910;
在步骤909,如视频序列存在其它兴趣区域,则以用户定义的位置为中心,划分三级ST区域。用户给出感兴趣区域的位置,如(800,600),或从时间轴某帧开始(50∶800,600),即从第50帧开始,用户将关注以屏幕坐标(800,600)为中心的三级ST区域的图像质量。
在步骤910,若三种判断条件均成立时,ST区域的位置和级数可根据实际应用进行调整;三种判断条件均不满足,则以屏幕中心为划分中点,生成三级ST不同分辨率的区域。考虑到用户视点的移动性,在同一镜头内部,我们在实际的划分中,进行如下视点移动,如图11中所示的五角星,随着视频流的播放,分别作为ST区域的划分中心,实现三级ST区域的划分。
图10为根据本发明的对输入的视频序列进行滤波操作的水平和垂直边缘增强滤波器示意图。如图10所示,为了减少噪声的影响,采用空域的13×13边缘增强滤波方法,对视频图像分别在垂直方向和水平方向上进行边缘增强,分别为水平和垂直边缘增强滤波器,两个滤波器互为转置。
w x = k * ( x c ) * { - ( 1 2 ) ( x c ) 2 }
其中:x的取值从0-N,对于此设计中用的滤波器来说取值从0-6;c是一常量,为通带宽度,目前试验中,c取值为2;k为增益,与Sobel滤波器的增益相同。计算所得权重系数wi如下:
w1=0.0696751,w2=0.0957739,w3=0.0768961
w4=0.0427401,w5=0.0173446,w6=0.0052652
设定fx(x,y)和fy(x,y)分别为水平和垂直边缘增强后图像在(x,y)点的像素值,则
f x ( x , y ) = H * f = Σ j = - 6 6 Σ i = - 6 6 ( H ( i , j ) × f ( x + i , y + j ) )
f x ( x , y ) = V * f = Σ j = - 6 6 Σ i = - 6 6 ( V ( i , j ) × f ( x + i , y + j ) )
进一步,按照极坐标计算每个像素点的边缘信息如下:
R ( i , j , t ) = H ( i , j , t ) 2 + V ( i , j , t ) 2
θ ( i , j , t ) = arctg [ V ( i , j , t ) H ( i , j , t ) ]
其中:i,j,t∈{ST子区域},R(i,j,t)表示每个像素点的边缘信息的幅度信息,θ(i,j,t)表示每个像素点的边缘信息的方向信息。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。

Claims (11)

1.一种基于自适应ST区的高清视频图像质量评价方法,该方法包括以下步骤:
1)输入视频序列;
2)根据原始视频序列定义自适应ST区域的划分基准;
3)分别对原始序列和受损序列生成自适应ST区域;
4)基于已划分的ST区域,提取指定的特征参数;
5)对比原始序列和受损序列的特征参数,计算质量损伤程度,并给
出最终的客观评价结果。
2.根据权利要求1所述的方法,其特征在于,所述自适应ST区域是根据输入的视频内容进行具体划分。
3.根据权利要求2所述的方法,其特征在于,所述视频内容包括:镜头切换、人脸区域及用户指定的感兴趣区域。
4.如权利要求1所述的方法,其中所述生成自适应ST区域的步骤包括:
1)读入原始视频序列和受损序列,并对其进行滤波操作;
2)判断输入的原始视频序列是否存在镜头切换;
3)如视频序列存在镜头切换,则将镜头切换后的5帧舍弃,不参与ST区域划分;
4)判断视频序列是否存在人脸区域;
5)如视频序列存在人脸区域,则以人脸区域的位置为中心,划分三级自适应ST区域;
6)判断视频序列是否存在其它感兴趣区域;
7)如视频序列存在其它感兴趣区域,则以当前定义的兴趣区域为中心,划分三级自适应ST区域。
5.根据权利要求1所述的方法,其特征在于,所述步骤1中的视频序列的播放长度在十秒左右。
6.根据权利要求4所述的方法,其特征在于,所述步骤5中划分三级自适应ST区域的方法为:
定义画面中较重要区域为区域1,ST区域的大小定义为8*8*5;
定义次感兴趣的区域为区域2,ST区域的大小定义为16*16*5;
定义屏幕的周边区域为区域3,ST区域的大小定义为32*32*5。
7.根据权利要求4所述的方法,其特征在于,所述步骤1中的滤波操作是采用空域的13×13边缘增强滤波方法,对视频图像分别在垂直方向和水平方向上进行边缘增强。
8.根据权利要求7所述的方法,其特征在于,所述在垂直方向和水平方向上进行边缘增强是采用水平和垂直边缘增强滤波器,而且两个滤波器互为转置。
9.根据权利要求4所述的方法,其特征在于,所述步骤2中的检测输入的视频序列是否存在镜头切换包括以下步骤:
1)读入待处理的视频序列;
2)计算每幅图像的颜色直方图;
3)求解整个序列颜色直方图的均值和均方差;
4)若前后两帧的直方图差异大于三倍的均方差,则判断有镜头切换发生。
10.一种基于自适应ST区的高清视频图像质量评价装置,包括自适应ST区域定义模块,自适应ST区域划分模块,特征参数提取模块,质量损伤程度计算模块,其特征在于,
所述自适应ST区域定义模块,基于输入原始序列的视频内容和用户视点,定义自适应ST区域的划分方法;
所述自适应ST区域划分模块,根据已定义的ST区域划分准则,分别对原始序列和受损序列划分自适应ST区域,作为提取特征参数的基准;
所述特征参数提取模块,按照视频质量评价所需测量的空间信息、时间信息以及时间空间混合信息的特征参数,分别提取两个序列基于ST区域的特征参数组;
所述质量损伤程度计算模块,通过比较提取的特征参数,计算输入序列对的差异值,即质量损伤程度的测量。
11.权利要求10所述的基于自适应ST区的高清视频图像质量评价装置,其特征在于,所述特征参数提取模块提取的特征参数包括:
每个ST区域亮度幅度的均方差值;水平、垂直方向与非水平、垂直的边缘能量之比;ST区域的色度信息;ST区域的亮度对比度信息:时间域的信息;以及对比度与绝对时间的交叉信息。
CN 200710140426 2007-08-10 2007-08-10 一种基于自适应st区的高清视频图像质量评价方法及装置 Expired - Fee Related CN100559880C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200710140426 CN100559880C (zh) 2007-08-10 2007-08-10 一种基于自适应st区的高清视频图像质量评价方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200710140426 CN100559880C (zh) 2007-08-10 2007-08-10 一种基于自适应st区的高清视频图像质量评价方法及装置

Publications (2)

Publication Number Publication Date
CN101146226A true CN101146226A (zh) 2008-03-19
CN100559880C CN100559880C (zh) 2009-11-11

Family

ID=39208475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200710140426 Expired - Fee Related CN100559880C (zh) 2007-08-10 2007-08-10 一种基于自适应st区的高清视频图像质量评价方法及装置

Country Status (1)

Country Link
CN (1) CN100559880C (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102036099A (zh) * 2010-12-30 2011-04-27 杭州华三通信技术有限公司 一种分析图像质量的方法和装置
CN102223565A (zh) * 2010-04-15 2011-10-19 上海未来宽带技术及应用工程研究中心有限公司 一种基于视频内容特征的流媒体视频质量评估方法
CN102227127A (zh) * 2011-06-21 2011-10-26 天津理工大学 全自动多媒体素材缺陷检测及质量分析方法
CN101742355B (zh) * 2009-12-24 2012-02-15 厦门大学 基于空时域特征提取的无线视频部分参考测评方法
CN102523477A (zh) * 2011-12-01 2012-06-27 上海大学 一种基于双目最小可辨失真模型的立体视频质量评价方法
CN102547293A (zh) * 2012-02-16 2012-07-04 西南交通大学 人脸区域时域依赖性与全局率失真优化相结合的会话视频编码方法
US8422795B2 (en) 2009-02-12 2013-04-16 Dolby Laboratories Licensing Corporation Quality evaluation of sequences of images
CN103385000A (zh) * 2010-07-30 2013-11-06 汤姆逊许可公司 用于测量视频质量的方法和装置
CN106709458A (zh) * 2016-12-27 2017-05-24 深圳市捷顺科技实业股份有限公司 一种人脸活体检测方法及装置
CN107483920A (zh) * 2017-08-11 2017-12-15 北京理工大学 一种基于多层级质量因子的全景视频评估方法及***
CN108510494A (zh) * 2018-04-09 2018-09-07 中国石油大学(华东) 基于子空间辨识方法的彩色融合图像质量评价方法
CN109559276A (zh) * 2018-11-14 2019-04-02 武汉大学 一种基于无参考质量评价和特征统计的图像超分辨率重建方法
CN110366001A (zh) * 2018-04-09 2019-10-22 腾讯科技(深圳)有限公司 视频清晰度的确定方法和装置、存储介质、电子装置
CN110430443A (zh) * 2019-07-11 2019-11-08 平安科技(深圳)有限公司 视频镜头剪切的方法、装置及计算机设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI743919B (zh) 2020-08-03 2021-10-21 緯創資通股份有限公司 視訊處理裝置及視訊串流的處理方法
TWI749676B (zh) 2020-08-03 2021-12-11 緯創資通股份有限公司 影像品質評估裝置及其影像品質評估方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8422795B2 (en) 2009-02-12 2013-04-16 Dolby Laboratories Licensing Corporation Quality evaluation of sequences of images
CN101742355B (zh) * 2009-12-24 2012-02-15 厦门大学 基于空时域特征提取的无线视频部分参考测评方法
CN102223565A (zh) * 2010-04-15 2011-10-19 上海未来宽带技术及应用工程研究中心有限公司 一种基于视频内容特征的流媒体视频质量评估方法
CN102223565B (zh) * 2010-04-15 2013-03-20 上海未来宽带技术股份有限公司 一种基于视频内容特征的流媒体视频质量评估方法
CN103385000A (zh) * 2010-07-30 2013-11-06 汤姆逊许可公司 用于测量视频质量的方法和装置
CN102036099A (zh) * 2010-12-30 2011-04-27 杭州华三通信技术有限公司 一种分析图像质量的方法和装置
CN102227127A (zh) * 2011-06-21 2011-10-26 天津理工大学 全自动多媒体素材缺陷检测及质量分析方法
CN102523477A (zh) * 2011-12-01 2012-06-27 上海大学 一种基于双目最小可辨失真模型的立体视频质量评价方法
CN102547293A (zh) * 2012-02-16 2012-07-04 西南交通大学 人脸区域时域依赖性与全局率失真优化相结合的会话视频编码方法
CN102547293B (zh) * 2012-02-16 2015-01-28 西南交通大学 人脸区域时域依赖性与全局率失真优化相结合的会话视频编码方法
CN106709458A (zh) * 2016-12-27 2017-05-24 深圳市捷顺科技实业股份有限公司 一种人脸活体检测方法及装置
CN107483920A (zh) * 2017-08-11 2017-12-15 北京理工大学 一种基于多层级质量因子的全景视频评估方法及***
CN108510494A (zh) * 2018-04-09 2018-09-07 中国石油大学(华东) 基于子空间辨识方法的彩色融合图像质量评价方法
CN110366001A (zh) * 2018-04-09 2019-10-22 腾讯科技(深圳)有限公司 视频清晰度的确定方法和装置、存储介质、电子装置
CN110366001B (zh) * 2018-04-09 2022-05-27 腾讯科技(深圳)有限公司 视频清晰度的确定方法和装置、存储介质、电子装置
CN109559276A (zh) * 2018-11-14 2019-04-02 武汉大学 一种基于无参考质量评价和特征统计的图像超分辨率重建方法
CN109559276B (zh) * 2018-11-14 2020-09-08 武汉大学 一种基于质量评价和特征统计的图像超分辨率重建方法
CN110430443A (zh) * 2019-07-11 2019-11-08 平安科技(深圳)有限公司 视频镜头剪切的方法、装置及计算机设备

Also Published As

Publication number Publication date
CN100559880C (zh) 2009-11-11

Similar Documents

Publication Publication Date Title
CN100559880C (zh) 一种基于自适应st区的高清视频图像质量评价方法及装置
CN100559881C (zh) 一种基于人工神经网络的视频质量评价方法
CN107483920B (zh) 一种基于多层级质量因子的全景视频评估方法及***
Winkler Perceptual video quality metrics—A review
De Silva et al. Toward an impairment metric for stereoscopic video: A full-reference video quality metric to assess compressed stereoscopic video
CN101562675B (zh) 基于Contourlet变换的无参考型图像质量评测方法
CN102595185B (zh) 一种立体图像质量客观评价方法
CN105049838B (zh) 一种用于压缩立体视频质量的客观评价方法
CN104243973B (zh) 基于感兴趣区域的视频感知质量无参考客观评价方法
Wang et al. Novel spatio-temporal structural information based video quality metric
CN101482973B (zh) 基于早期视觉的部分参考图像质量评价方法
CN101742355A (zh) 基于空时域特征提取的无线视频部分参考测评方法
CN106303507B (zh) 基于时空联合信息的无参考视频质量评估方法
CN112950596B (zh) 基于多区域多层次的色调映射全向图像质量评价方法
CN106127234B (zh) 基于特征字典的无参考图像质量评价方法
CN108109145A (zh) 图像质量检测方法、装置、存储介质和电子装置
CN103780895A (zh) 一种立体视频质量评价方法
CN114598864A (zh) 一种基于深度学习的全参考超高清视频质量客观评价方法
CN101426148A (zh) 一种视频客观质量评价方法
CN109447903A (zh) 一种半参考型超分辨率重构图像质量评价模型的建立方法
Barkowsky et al. On the perceptual similarity of realistic looking tone mapped high dynamic range images
Zhou et al. Deep local and global spatiotemporal feature aggregation for blind video quality assessment
Katsenou et al. BVI-SynTex: A synthetic video texture dataset for video compression and quality assessment
CN114915777A (zh) 一种基于深度强化学习的无参考超高清视频质量客观评价方法
Opozda et al. The survey of subjective and objective methods for quality assessment of 2D and 3D images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20091111

Termination date: 20120810