CN106028026B - 一种基于时空域结构的高效视频质量客观评价方法 - Google Patents

一种基于时空域结构的高效视频质量客观评价方法 Download PDF

Info

Publication number
CN106028026B
CN106028026B CN201610367702.2A CN201610367702A CN106028026B CN 106028026 B CN106028026 B CN 106028026B CN 201610367702 A CN201610367702 A CN 201610367702A CN 106028026 B CN106028026 B CN 106028026B
Authority
CN
China
Prior art keywords
pixel
time
sequence
field pictures
coordinate position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610367702.2A
Other languages
English (en)
Other versions
CN106028026A (zh
Inventor
郁梅
吕亚奇
陈芬
刘姗姗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201610367702.2A priority Critical patent/CN106028026B/zh
Priority to US15/214,456 priority patent/US9756323B2/en
Publication of CN106028026A publication Critical patent/CN106028026A/zh
Application granted granted Critical
Publication of CN106028026B publication Critical patent/CN106028026B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于时空域结构的高效视频质量客观评价方法，其首先通过时空域梯度结合颜色信息计算时空域局部相似度，然后在空域融合阶段采用方差融合，将时空域局部相似度融合成帧级的客观质量值，再通过模拟人类视觉***中三个重要的全局时域效应，即平滑效应、不对称追踪效应和时近效应，建立时域融合模型，对帧级的客观质量值进行时域融合，最终得到失真视频序列的客观质量值，通过对人类视觉时域效应建模，使得本发明的时域加权方法可以准确高效的评价失真视频的客观质量。

Description

一种基于时空域结构的高效视频质量客观评价方法
技术领域
本发明涉及一种视频质量评价方法，尤其是涉及一种基于时空域结构的高效视频质量客观评价方法。
背景技术
视频质量评价(Video QualityAssessment，VQA)在视频相关应用的快速发展中起着关键作用，常用于各种各样视频服务的质量控制和各种视频处理算法的性能比较。视频质量客观评价研究通过算法估计视频质量，去逼近人类视觉***感受到的视频质量。根据原始无失真视频的可用情况，视频质量客观评价方法通常可划分为三类：全参考(FullReference，FR)、半参考和无参考视频质量评价方法。由于全参考视频质量评价方法(FR-VQA)的准确性更高，因此在感知视频处理中得到了广泛应用，如视频压缩中的编码模块选择、量化参数配置、码率控制、错误隐藏等等。
全参考视频质量评价方法要求能够快速准确的评价视频的客观质量，实时处理能力就显得非常重要，如源端在线视频质量监控和率失真优化视频编码器的失真度量，同时，在其他的应用场合中，低复杂度也是全参考视频质量评价方法的一项非常重要的性能要求。像素级的全参考评价方法峰值信噪比(peak signal-to-noise ratio，PSNR)是视频处理领域目前应用最广的性能量化指标，由于峰值信噪比具有易于实现、评价速度快、性能稳定、物理意思明确等优势，因此在目前应用最广泛的视频编码标准H.264/AVC和最新的H.265/HEVC中，峰值信噪比依然是最主要的客观评价方法，然而，平等对待每个像素点的失真而没有考虑人类视觉***的感知特性，这使得峰值信噪比与主观质量感受的一致性较低，从而阻碍了视频处理技术的进步，尤其是阻碍了视频压缩效率的进一步提升。
现有的全参考视频质量评价方法可以分为两类：第一类最直接的视频质量评价方法就是独立帧使用顶尖的图像质量评价方法，然后平均或者加权平均得到视频的质量，但是这类视频质量评价方法缺乏时域信息，评价效果较差；第二类方法分别考察空域和时域失真得到视频质量，或直接根据时空域信息进行评估，虽然这类视频质量评价方法的评价效果优于峰值信噪比，但是这类视频质量评价方法的复杂度都较高，部分需要非常耗时的运动估计，存在实现复杂、无法实时处理、不易集成等缺点而阻碍了这类视频质量评价方法的推广应用。
发明内容
本发明所要解决的技术问题是提供一种基于时空域结构的高效视频质量客观评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性，且计算复杂度低。
本发明解决上述技术问题所采用的技术方案为：一种基于时空域结构的高效视频质量客观评价方法，其特征在于包括以下步骤：
①令Sr表示无失真参考视频序列，令Sd表示Sr经失真后得到的失真视频序列，其中，Sr中包含的图像的总帧数和Sd中包含的图像的总帧数均为F帧，F>1，Sr中包含的图像和Sd中包含的图像的宽度均为W且高度均为H；将Sr中的所有图像各自的亮度分量构成的序列定义为Sr的亮度分量序列，并记为Yr；将Sr中的所有图像各自的第一色度分量构成的序列定义为Sr的第一色度分量序列，并记为Ur；将Sr中的所有图像各自的第二色度分量构成的序列定义为Sr的第二色度分量序列，并记为Vr；将Sd中的所有图像各自的亮度分量构成的序列定义为Sd的亮度分量序列，并记为Yd；将Sd中的所有图像各自的第一色度分量构成的序列定义为Sd的第一色度分量序列，并记为Ud；将Sd中的所有图像各自的第二色度分量构成的序列定义为Sd的第二色度分量序列，并记为Vd；上述，Yr、Ur、Vr、Yd、Ud、Vd中包含的图像的宽度均为W且高度均为H；
②采用三维Prewitt算子计算Yr的时空域梯度幅值序列，记为Gr，将Gr中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为Gr(x,y,t)，
同样，采用三维Prewitt算子计算Yd的时空域梯度幅值序列，记为Gd，将Gd中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为Gd(x,y,t)，
其中，t的初始值为1，1≤t≤F，1≤x≤W,1≤y≤H，Yrx(x,y,t)表示Yr的水平方向梯度幅值序列Yrx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Yry(x,y,t)表示Yr的竖直方向梯度幅值序列Yry中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Yrt(x,y,t)表示Yr的时间轴方向梯度幅值序列Yrt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydx(x,y,t)表示Yd的水平方向梯度幅值序列Ydx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydy(x,y,t)表示Yd的竖直方向梯度幅值序列Ydy中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydt(x,y,t)表示Yd的时间轴方向梯度幅值序列Ydt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，符号表示补零截断的卷积运算符号，经卷积运算得到的Yrx、Yry、Yrt的维度与Yr的维度相同，经卷积运算得到的Ydx、Ydy、Ydt的维度与Yd的维度相同，MOx、MOy、MOt对应表示三维Prewitt算子的水平方向模板、竖直方向模板和时间轴方向模板；
③计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部梯度相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部梯度相似度记为Gsim(x,y,t)，其中，c1为防止分式无意义的正常数；
④计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部颜色相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部颜色相似度记为Csim(x,y,t)，其中，Ur(x,y,t)表示Ur中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sr中的第t帧图像的第一色度分量中坐标位置为(x,y)的像素点的像素值，Vr(x,y,t)表示Vr中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sr中的第t帧图像的第二色度分量中坐标位置为(x,y)的像素点的像素值，Ud(x,y,t)表示Ud中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sd中的第t帧图像的第一色度分量中坐标位置为(x,y)的像素点的像素值，Vd(x,y,t)表示Vd中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sd中的第t帧图像的第二色度分量中坐标位置为(x,y)的像素点的像素值，c2和c3为防止分式无意义的正常数；
⑤根据Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部梯度相似度，及Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部颜色相似度，计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部相似度记为QLS(x,y,t)，QLS(x,y,t)＝Gsim(x,y,t)×(Csim(x,y,t))λ，其中，λ用于调整颜色分量所占的权重，λ>0；
⑥采用方差融合方法计算Sd中的每帧图像的客观质量值，将Sd中的第t帧图像的客观质量值记为Qframe(t)，其中，Qmean(t)表示Sr中的第t帧图像中的所有像素点与Sd中的第t帧图像中对应像素点之间的时空域局部相似度的平均值，
⑦采用时域加权方法计算Sd的客观质量值，记为Q，其中，ΔQframe(t)＝Qframe(t)-QLP(t-1)，α表示质量上升时的权重，β表示质量下降时的权重，γ用于调整时近效应的强度。
所述的步骤⑤中取λ＝3。
所述的步骤⑦中取α＝0.03、β＝0.2、γ＝1000。
与现有技术相比，本发明的优点在于：
1)时空域梯度可以同时反映空域失真和时域失真，颜色信息在视频质量评价中非常重要，本发明方法结合时空域梯度幅值和颜色信息两个特征计算无失真参考视频序列中的每帧图像中的每个像素点与失真视频序列中对应图像中的对应像素点之间的时空域局部相似度，通过这些底层特征同时反映失真视频序列的空域失真和时域失真情况，避免了常用的基于运行估计的方法，使得本发明方法准确、快速。
2)本发明方法的空域融合采用方差融合，将时空域局部相似度融合成帧级的客观质量值，再通过模拟人类视觉***中三个重要的全局时域效应，即平滑效应、不对称追踪效应和时近效应，建立时域融合模型，对帧级的客观质量值进行时域融合，最终得到失真视频序列的客观质量值，通过对人类视觉时域效应建模，使得本发明的时域加权方法可以准确高效的评价失真视频的客观质量。
3)本发明方法在衡量时域失真时，首先通过时空域局部梯度相似度反映局部时域失真，然后在时域融合阶段，通过模拟全局时域效应进行加权，对局部时域失真情况进行全局整合，这种方式避开了常用的从运动矢量中评价时域失真，无需进行耗时的运动估计，保证了本发明方法的高效性，计算复杂度低。
附图说明
图1为本发明方法的总体实现框图；
图2为三维Prewitt算子的水平方向模板、竖直方向模板和时间轴方向模板。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
优秀的全参考视频质量评价方法，不但要有较高的预测准确性，对时空域失真都敏感，而且还要有尽可能低的计算复杂度，对视频序列进行实时处理。本发明通过时空域梯度幅值和颜色信息两个特征计算时空域局部相似度；再将整个视频序列看作动态的时间序列，先通过方差融合方法得到每帧图像的客观质量值，再模拟人类视觉***中三个重要的全局时域效应，即平滑效应、不对称追踪效应和时近效应，对帧级的客观质量值进行时域融合，得到失真视频的客观质量值。底层特征计算简单且对时域失真和空域失真同时敏感，时域融合模型通过模拟时域效应，保证了本发明方法的准确性和高效性。
本发明提出的一种基于时空域结构的高效视频质量客观评价方法，其总体实现框图如图1所示，其包括以下步骤：
①令Sr表示无失真参考视频序列，令Sd表示Sr经失真后得到的失真视频序列，其中，Sr中包含的图像的总帧数和Sd中包含的图像的总帧数均为F帧，F>1，Sr中包含的图像和Sd中包含的图像的宽度均为W且高度均为H；将Sr中的所有图像各自的亮度分量构成的序列定义为Sr的亮度分量序列，并记为Yr；将Sr中的所有图像各自的第一色度分量构成的序列定义为Sr的第一色度分量序列，并记为Ur；将Sr中的所有图像各自的第二色度分量构成的序列定义为Sr的第二色度分量序列，并记为Vr；将Sd中的所有图像各自的亮度分量构成的序列定义为Sd的亮度分量序列，并记为Yd；将Sd中的所有图像各自的第一色度分量构成的序列定义为Sd的第一色度分量序列，并记为Ud；将Sd中的所有图像各自的第二色度分量构成的序列定义为Sd的第二色度分量序列，并记为Vd；上述，Yr、Ur、Vr、Yd、Ud、Vd中包含的图像的宽度均为W且高度均为H。
②采用三维Prewitt算子计算Yr的时空域梯度幅值序列，记为Gr，将Gr中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为Gr(x,y,t)，
同样，采用三维Prewitt算子计算Yd的时空域梯度幅值序列，记为Gd，将Gd中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为Gd(x,y,t)，
其中，t的初始值为1，1≤t≤F，1≤x≤W,1≤y≤H，Yrx(x,y,t)表示Yr的水平方向梯度幅值序列Yrx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Yry(x,y,t)表示Yr的竖直方向梯度幅值序列Yry中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Yrt(x,y,t)表示Yr的时间轴方向梯度幅值序列Yrt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydx(x,y,t)表示Yd的水平方向梯度幅值序列Ydx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydy(x,y,t)表示Yd的竖直方向梯度幅值序列Ydy中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydt(x,y,t)表示Yd的时间轴方向梯度幅值序列Ydt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，符号表示补零截断的卷积运算符号，经卷积运算得到的Yrx、Yry、Yrt的维度与Yr的维度相同，经卷积运算得到的Ydx、Ydy、Ydt的维度与Yd的维度相同，MOx、MOy、MOt对应表示三维Prewitt算子的水平方向模板、竖直方向模板和时间轴方向模板，MOx、MOy、MOt如图2所示，三维Prewitt算子在二维Prewitt算子的基础上通过现有技术手段可得到。
③计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部梯度相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部梯度相似度记为Gsim(x,y,t)，其中，c1为防止分式无意义的正常数，在本实施例中取c1＝90。
④计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部颜色相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部颜色相似度记为Csim(x,y,t)，其中，Ur(x,y,t)表示Ur中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sr中的第t帧图像的第一色度分量中坐标位置为(x,y)的像素点的像素值，Vr(x,y,t)表示Vr中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sr中的第t帧图像的第二色度分量中坐标位置为(x,y)的像素点的像素值，Ud(x,y,t)表示Ud中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sd中的第t帧图像的第一色度分量中坐标位置为(x,y)的像素点的像素值，Vd(x,y,t)表示Vd中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sd中的第t帧图像的第二色度分量中坐标位置为(x,y)的像素点的像素值，c2和c3为防止分式无意义的正常数，在本实施例中取c2＝c3＝300。
⑤根据Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部梯度相似度，及Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部颜色相似度，计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部相似度记为QLS(x,y,t)，QLS(x,y,t)＝Gsim(x,y,t)×(Csim(x,y,t))λ，其中，λ用于调整颜色分量所占的权重，λ>0，在本实施例中取λ＝3。
⑥采用方差融合方法计算Sd中的每帧图像的客观质量值，将Sd中的第t帧图像的客观质量值记为Qframe(t)，其中，Qmean(t)表示Sr中的第t帧图像中的所有像素点与Sd中的第t帧图像中对应像素点之间的时空域局部相似度的平均值，
⑦采用时域加权方法计算Sd的客观质量值，记为Q，其中，ΔQframe(t)＝Qframe(t)-QLP(t-1)，α表示质量上升时的权重，β表示质量下降时的权重，γ用于调整时近效应的强度，在本实施例中取α＝0.03、β＝0.2、γ＝1000。
为进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。
采用LIVE视频数据库和CSIQ视频数据库，LIVE视频数据库包含10段无失真视频，4种失真类型为MPEG-2压缩失真、H.264压缩失真、H.264压缩比特流经IP网络的传输失真和经无线网络的传输失真，总共150段失真视频，所有视频都是YUV420格式，分辨率为768×432，10秒长度，有25帧/秒和50帧/秒两种帧率；CSIQ视频数据库包含12段无失真视频，6种失真类型为运动JPEG压缩失真、H.264压缩失真、HEVC压缩失真、小波压缩失真、无线传输中的丢包失真和加性高斯白噪声失真，总共216段失真视频，所有视频都是YUV420格式，分辨率为832×480，10秒长度，有24帧/秒、25帧/秒、30帧/秒、50帧/秒和60帧/秒五种帧率。LIVE视频数据库和CSIQ视频数据库都提供了每段失真视频的平均主观意见分数。由于在YUV420格式的视频中，两个色度分量都只有亮度分量的1/4，因此为了使亮度分量和色度分量的维度匹配，首先对亮度分量在空域做2×2的均值滤波，然后以因子2进行下采样，再按照步骤①至步骤⑦的过程，以相同的方式计算每段失真视频的客观质量值。对于其他格式如YUV444和YUYV格式的视频，由于本发明方法要求亮度分量及第一色度分量和第二色度分量的维度相同，因此也应通过下采样或上采样处理，以使第一色度分量和第二色度分量的维度与亮度分量的维度保持一致，本发明方法中处理的视频中的每一帧的尺寸大小均一致。
这里，利用评估视频质量评价方法的3个常用客观参量作为评价指标，即Pearson线性相关性系数(Pearson Linear Correlation Coefficients，PLCC)、Spearman秩相关系数(Spearman Rank Order Correlation coefficient，SROCC)和均方根误差RMSE(RootedMean Squared Error，RMSE)。PLCC和SROCC的取值范围是[0,1]，其值越接近1，表明评价方法越好，反之，越差；RMSE的值越小说明评价方法越好，反之，越差。LIVE视频数据库表示评价性能的PLCC、SROCC和RMSE系数如表1所列，CSIQ视频数据库表示评价性能的PLCC、SROCC和RMSE系数如表2所列。从表1所列的数据可知，PLCC和SROCC的值都超过了0.84，从表2所列的数据可知，PLCC和SROCC的值都超过了0.80，也就是说，利用本发明方法计算得到的失真视频的客观质量值与平均主观意见分数之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。
表1在LIVE视频数据库上按本发明方法计算得到的每段失真视频的客观质量值与平均主观意见分数之间的相关性
表2在CSIQ视频数据库上按本发明方法计算得到的每段失真视频的客观质量值与平均主观意见分数之间的相关性

Claims (3)

1.一种基于时空域结构的高效视频质量客观评价方法，其特征在于包括以下步骤：
①令Sr表示无失真参考视频序列，令Sd表示Sr经失真后得到的失真视频序列，其中，Sr中包含的图像的总帧数和Sd中包含的图像的总帧数均为F帧，F>1，Sr中包含的图像和Sd中包含的图像的宽度均为W且高度均为H；将Sr中的所有图像各自的亮度分量构成的序列定义为Sr的亮度分量序列，并记为Yr；将Sr中的所有图像各自的第一色度分量构成的序列定义为Sr的第一色度分量序列，并记为Ur；将Sr中的所有图像各自的第二色度分量构成的序列定义为Sr的第二色度分量序列，并记为Vr；将Sd中的所有图像各自的亮度分量构成的序列定义为Sd的亮度分量序列，并记为Yd；将Sd中的所有图像各自的第一色度分量构成的序列定义为Sd的第一色度分量序列，并记为Ud；将Sd中的所有图像各自的第二色度分量构成的序列定义为Sd的第二色度分量序列，并记为Vd；上述，Yr、Ur、Vr、Yd、Ud、Vd中包含的图像的宽度均为W且高度均为H；
②采用三维Prewitt算子计算Yr的时空域梯度幅值序列，记为Gr，将Gr中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为Gr(x,y,t)，
同样，采用三维Prewitt算子计算Yd的时空域梯度幅值序列，记为Gd，将Gd中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为Gd(x,y,t)，
其中，t的初始值为1，1≤t≤F，1≤x≤W,1≤y≤H，Yrx(x,y,t)表示Yr的水平方向梯度幅值序列Yrx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Yry(x,y,t)表示Yr的竖直方向梯度幅值序列Yry中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Yrt(x,y,t)表示Yr的时间轴方向梯度幅值序列Yrt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydx(x,y,t)表示Yd的水平方向梯度幅值序列Ydx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydy(x,y,t)表示Yd的竖直方向梯度幅值序列Ydy中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydt(x,y,t)表示Yd的时间轴方向梯度幅值序列Ydt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，符号表示补零截断的卷积运算符号，经卷积运算得到的Yrx、Yry、Yrt的维度与Yr的维度相同，经卷积运算得到的Ydx、Ydy、Ydt的维度与Yd的维度相同，MOx、MOy、MOt对应表示三维Prewitt算子的水平方向模板、竖直方向模板和时间轴方向模板；
③计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部梯度相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部梯度相似度记为Gsim(x,y,t)，其中，c1为防止分式无意义的正常数；
④计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部颜色相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部颜色相似度记为Csim(x,y,t)，其中，Ur(x,y,t)表示Ur中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sr中的第t帧图像的第一色度分量中坐标位置为(x,y)的像素点的像素值，Vr(x,y,t)表示Vr中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sr中的第t帧图像的第二色度分量中坐标位置为(x,y)的像素点的像素值，Ud(x,y,t)表示Ud中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sd中的第t帧图像的第一色度分量中坐标位置为(x,y)的像素点的像素值，Vd(x,y,t)表示Vd中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sd中的第t帧图像的第二色度分量中坐标位置为(x,y)的像素点的像素值，c2和c3为防止分式无意义的正常数；
⑤根据Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部梯度相似度，及Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部颜色相似度，计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部相似度记为QLS(x,y,t)，QLS(x,y,t)＝Gsim(x,y,t)×(Csim(x,y,t))λ，其中，λ用于调整颜色分量所占的权重，λ>0；
⑥采用方差融合方法计算Sd中的每帧图像的客观质量值，将Sd中的第t帧图像的客观质量值记为Qframe(t)，其中，Qmean(t)表示Sr中的第t帧图像中的所有像素点与Sd中的第t帧图像中对应像素点之间的时空域局部相似度的平均值，
⑦采用时域加权方法计算Sd的客观质量值，记为Q，其中，ΔQframe(t)＝Qframe(t)-QLP(t-1)，α表示质量上升时的权重，β表示质量下降时的权重，γ用于调整时近效应的强度。
2.根据权利要求1所述的一种基于时空域结构的高效视频质量客观评价方法，其特征在于所述的步骤⑤中取λ＝3。
3.根据权利要求1所述的一种基于时空域结构的高效视频质量客观评价方法，其特征在于所述的步骤⑦中取α＝0.03、β＝0.2、γ＝1000。
CN201610367702.2A 2016-05-27 2016-05-27 一种基于时空域结构的高效视频质量客观评价方法 Active CN106028026B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610367702.2A CN106028026B (zh) 2016-05-27 2016-05-27 一种基于时空域结构的高效视频质量客观评价方法
US15/214,456 US9756323B2 (en) 2016-05-27 2016-07-20 Video quality objective assessment method based on spatiotemporal domain structure

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610367702.2A CN106028026B (zh) 2016-05-27 2016-05-27 一种基于时空域结构的高效视频质量客观评价方法

Publications (2)

Publication Number Publication Date
CN106028026A CN106028026A (zh) 2016-10-12
CN106028026B true CN106028026B (zh) 2017-09-05

Family

ID=57092227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610367702.2A Active CN106028026B (zh) 2016-05-27 2016-05-27 一种基于时空域结构的高效视频质量客观评价方法

Country Status (2)

Country Link
US (1) US9756323B2 (zh)
CN (1) CN106028026B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10798387B2 (en) 2016-12-12 2020-10-06 Netflix, Inc. Source-consistent techniques for predicting absolute perceptual video quality
CN106534862B (zh) * 2016-12-20 2019-12-10 杭州当虹科技股份有限公司 一种视频编码方法
US10085015B1 (en) * 2017-02-14 2018-09-25 Zpeg, Inc. Method and system for measuring visual quality of a video sequence
CN108513132B (zh) * 2017-02-24 2020-11-10 深圳市中兴微电子技术有限公司 一种视频质量评价方法及装置
CN107316323B (zh) * 2017-06-28 2020-09-25 北京工业大学 基于多尺度分析法建立的无参考图像质量评估方法
CN109429051B (zh) * 2017-07-12 2020-08-18 天津大学 基于多视图特征学习的无参考立体视频质量客观评价方法
US10887602B2 (en) 2018-02-07 2021-01-05 Netflix, Inc. Techniques for modeling temporal distortions when predicting perceptual video quality
US10721477B2 (en) 2018-02-07 2020-07-21 Netflix, Inc. Techniques for predicting perceptual video quality based on complementary perceptual quality models
CN108600745B (zh) * 2018-08-06 2020-02-18 北京理工大学 一种基于时空域切片多图谱配置的视频质量评价方法
WO2020084474A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Gradient computation in bi-directional optical flow
CN111436226A (zh) 2018-11-12 2020-07-21 北京字节跳动网络技术有限公司 用于帧间预测的运动矢量存储
KR20210091161A (ko) 2018-11-20 2021-07-21 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 부분적 위치에 기반한 차분 계산
CN109783475B (zh) * 2019-01-23 2022-06-14 福州大学 一种视频失真效应标记大规模数据库的构建方法
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
CN109996065B (zh) * 2019-04-15 2020-09-22 方玉明 一种对于非对称失真三维视频的质量评价方法
CN110120034B (zh) * 2019-04-16 2022-09-16 西安理工大学 一种与视觉感知相关的图像质量评价方法
CN110401832B (zh) * 2019-07-19 2020-11-03 南京航空航天大学 一种基于时空管道建模的全景视频客观质量评估方法
CN110838120A (zh) * 2019-11-18 2020-02-25 方玉明 一种基于时空信息的非对称失真三维视频的加权质量评价方法
CN110913207B (zh) * 2019-12-03 2021-07-13 华南理工大学 一种基于多任务深度学习的视频传输质量评价方法
CN111724373B (zh) * 2020-06-22 2024-05-14 江西财经大学 一种基于感知加密光场图像的视觉安全性度量方法
CN111833326B (zh) * 2020-07-10 2022-02-11 深圳大学 图像质量评价方法、装置、计算机设备及存储介质
CN112954312B (zh) * 2021-02-07 2024-01-05 福州大学 一种融合时空特征的无参考视频质量评估方法
CN113573047B (zh) * 2021-07-16 2022-07-01 北京理工大学 一种基于本征图分解和运动估计的视频质量评价方法
CN113489971B (zh) * 2021-07-19 2022-08-23 上海交通大学 一种全参考音视频客观质量评价方法、***及终端
CN113709453B (zh) * 2021-09-13 2023-09-08 北京车和家信息技术有限公司 视频质量评估方法、装置、设备及介质
CN113794874B (zh) * 2021-11-15 2022-02-01 南京理工大学紫金学院 一种多摄像机拍摄视频的质量评估方法
CN114445386B (zh) * 2022-01-29 2023-02-24 泗阳三江橡塑有限公司 一种基于人工智能的pvc管件质量检测评估方法及***
CN114332088B (zh) * 2022-03-11 2022-06-03 电子科技大学 一种基于运动估计的全参考视频质量评估方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742355A (zh) * 2009-12-24 2010-06-16 厦门大学 基于空时域特征提取的无线视频部分参考测评方法
CN102142145A (zh) * 2011-03-22 2011-08-03 宁波大学 一种基于人眼视觉特性的图像质量客观评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4817246B2 (ja) * 2006-07-31 2011-11-16 Ｋｄｄｉ株式会社 映像品質の客観評価装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742355A (zh) * 2009-12-24 2010-06-16 厦门大学 基于空时域特征提取的无线视频部分参考测评方法
CN102142145A (zh) * 2011-03-22 2011-08-03 宁波大学 一种基于人眼视觉特性的图像质量客观评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于时空域变换的视频质量评价方法》;郝磊;《中国优秀硕士学位论文全文数据库（电子期刊）》;20160430;第I138-1034页 *

Also Published As

Publication number Publication date
CN106028026A (zh) 2016-10-12
US20160330439A1 (en) 2016-11-10
US9756323B2 (en) 2017-09-05

Similar Documents

Publication Publication Date Title
CN106028026B (zh) 一种基于时空域结构的高效视频质量客观评价方法
Ma et al. Reduced-reference video quality assessment of compressed video sequences
Yasakethu et al. Quality analysis for 3D video using 2D video quality models
Moorthy et al. Visual quality assessment algorithms: what does the future hold?
Boev et al. Towards compound stereo-video quality metric: a specific encoder-based framework
KR101001086B1 (ko) 주파수 도메인에서 필름 그레인 패턴을 모델링하는 방법 및장치
Thakur et al. A new method for color image quality assessment
EP1692876A1 (en) Method and system for video quality measurements
Jakhetiya et al. A prediction backed model for quality assessment of screen content and 3-D synthesized images
Wang et al. Novel spatio-temporal structural information based video quality metric
Appina et al. Study of subjective quality and objective blind quality prediction of stereoscopic videos
Xu et al. Free-energy principle inspired video quality metric and its use in video coding
CN106875389B (zh) 基于运动显著性的立体视频质量评价方法
Attar et al. Image quality assessment using edge based features
CN105049838A (zh) 一种用于压缩立体视频质量的客观评价方法
Shao et al. No-reference view synthesis quality prediction for 3-D videos based on color–depth interactions
Lazzarotto et al. Benchmarking of objective quality metrics for point cloud compression
Tsai et al. Quality assessment of 3D synthesized views with depth map distortion
Xu et al. Consistent visual quality control in video coding
Appina et al. A full reference stereoscopic video quality assessment metric
Konuk et al. A spatiotemporal no-reference video quality assessment model
Wan et al. Depth perception assessment of 3D videos based on stereoscopic and spatial orientation structural features
Soong et al. Video quality assessment: A review of full-referenced, reduced-referenced and no-referenced methods
Banitalebi-Dehkordi et al. A study on the relationship between depth map quality and the overall 3D video quality of experience
Ma et al. Reduced reference video quality assessment based on spatial HVS mutual masking and temporal motion estimation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant