CN111818329A - 基于堆栈式自适应编码器的视频质量评价方法 - Google Patents

基于堆栈式自适应编码器的视频质量评价方法 Download PDF

Info

Publication number
CN111818329A
CN111818329A CN202010590770.1A CN202010590770A CN111818329A CN 111818329 A CN111818329 A CN 111818329A CN 202010590770 A CN202010590770 A CN 202010590770A CN 111818329 A CN111818329 A CN 111818329A
Authority
CN
China
Prior art keywords
video
apes
mapping
frame
geometric mean
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010590770.1A
Other languages
English (en)
Other versions
CN111818329B (zh
Inventor
杨嘉琛
武建鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010590770.1A priority Critical patent/CN111818329B/zh
Publication of CN111818329A publication Critical patent/CN111818329A/zh
Application granted granted Critical
Publication of CN111818329B publication Critical patent/CN111818329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于堆栈式自适应编码器的视频质量评价方法，包括下列步骤：给定要评价的视频序列，计算输入视频帧的映射结果；计算视频映射
Figure DDA0002555433010000012
的梯度幅值特征；从视频映射
Figure DDA0002555433010000011
中提取对比度特征MNC以及几何平均数特征GM，进行归一化；通过堆栈式自适应编码器APES获取深层特征，使用深度神经网络来训练APES；利用训练完成的APES模型得到测试集的深层特征；利用SVR分别计算深层特征Pf、PG、PM的分数，得到最终的预测分数。

Description

基于堆栈式自适应编码器的视频质量评价方法
技术领域
本发明属视频处理领域，涉及视频质量评价方法。
背景技术
随着互联网的飞速发展以及科学技术的日益提高，视频处理技术被广泛应用。然而日常生活中人们所接触到的视频，其在编码、传输等过程，会导致视频压缩失真，且加之物体运动、噪声污染等原因，都会不可避免地带来某些视频的降质，从而影响人类对视频序列的感知，因此进行视频质量评价就显得很重要。
根据降阶视频与其相对应原始参考视频的需要程度，可以把客观质量评价方法分为三类：全参考视频质量评价方法、部分参考视频质量评价方法和无参考视频质量评价方法。全参考视频评价方法必须完整提供原始参考视频和在终端屏幕上显示的降阶视频，而大多数情况下原始视频较难获取。部分参考视频评价方法是指在做视频评价的时候没有原始参考视频的完整像素信息，只由原始视频的特征数据表达信息，因此只能把待评估的视频加上同样的特征表达方式得到特征数据并将两者的特征数据进行对比来判断待测视频的质量。无参考方法不需要提供任何原始视频信息，所有的评价都是基于捕获的降阶视频来处理的。由于不需要参考视频，所以无参考模型更适合对视频质量做实时评估，如流媒体点播类的业务。以往的二维和三维图像质量评价多基于浅层结构，而视频与图像相比更为复杂，因此浅层架构的图像质量评价无法直接适用于视频质量评价。CN201610072995.1提出了一种基于图像结构和人眼视觉特性的全参考图像质量评价方法。CN201710481380.9考虑到传输的图像质量，同时把帧图像延时因素加入评价方法内容中，从而有利于对视频发送端采用的发送协议和发送策略做出全面的评价分析。CN201910290548.7公开一种基于深度学习的视频质量评价方法和服务器，可以实现快速准确的视频质量评价。总的来说，当前视频质量评价的方法还较少，鲁棒性不足，因此本发明提出一种使用堆栈式自适应编码器(APES)的视频质量评价方法。
发明内容
本发明的目的在于构建一种视频质量评价方法，首先计算视频帧的映射求和结果，接着对视频帧映射后的结果提取相关特征，然后用无监督的方式训练堆栈式自适应编码器(APES)，将测试集的特征输入到训练好的APES来计算它们的深层特征，之后通过支持向量回归器(SVR)进行加权求和得到最终的预测结果。技术方案如下：
一种基于堆栈式自适应编码器的视频质量评价方法，包括下列步骤：
第一步：给定要评价的视频序列，计算输入视频帧的映射结果：取输入视频的(2K+1)帧，求和结果的计算步骤如下列公式所示：
Figure BDA0002555431990000021
其中fi为第i帧，fj→i为第j帧到第i帧的映射，W为双线性插值函数，
Figure BDA0002555431990000022
为(2K+1)帧视频映射的结果，wj→i为求和系数，表示第j帧对于第i帧的重要程度。
第二步：计算视频映射
Figure BDA0002555431990000023
的梯度幅值特征，在像素点位置(x,y)的相对梯度方向值分别为FRD(x,y)和FRM(x,y)：
Figure BDA0002555431990000024
Figure BDA0002555431990000025
其中
Figure BDA0002555431990000026
公式中Ω代表相对坐标变化量，定义为求取二阶偏导数的局部区域，(p,q)代表该局部区域内部的像素点，P、Q代表该区域的大小，Fv(x,y)，Fh(x,y)分别代表梯度的切向、径向分量，
Figure BDA0002555431990000027
均根据下列公式计算得出：
Figure BDA0002555431990000028
第三步：从视频映射
Figure BDA0002555431990000029
中提取对比度特征MNC以及几何平均数特征GM，对比度特征MNC被表示为MI以及几何平均数特征GM被表示为GI，利用MI和GI的统计特性，进行归一化，如下列公式所示：
Figure BDA00025554319900000210
其中Ωi,j是以(i,j)为中心的一个邻域，w(l,k)是权重系数，C为常数；NI代表对MI、GI求几何平均，
Figure BDA00025554319900000211
Figure BDA00025554319900000212
分别代表归一化后的对比度特征MNC以及几何平均数特征GM；
第四步：通过堆栈式自适应编码器APES获取深层特征，使用深度神经网络来训练APES，在训练阶段，选择适当的learning rate、epoch以及batch size，同时在训练时要根据训练结果调整策略，选择合适的隐藏层单元，通过迭代训练构建APES；利用训练完成的APES模型得到测试集的深层特征，分别记为Pf(梯度幅值特征)、PG(几何平均数特征)、PM(归一化对比度)；
第五步：利用SVR(Support Vactor Regression)分别计算深层特征Pf、PG、PM的分数，记为Qf、QG、QM，最终的预测分数计算如下列公式所示：
Q(i)＝WfQf+WGQG+WMQM
其中Wf、WG、WM为权重系数，满足Wf+WG+WM＝1，Q(i)为最终得到的预测结果。
附图说明
图1本发明的方法流程图
图2 APES的迭代训练构建过程图
具体实施方式
本发明的目的在于构建一种视频质量评价方法。给定一个视频序列，首先计算视频帧的映射求和结果，接着利用相关的梯度幅值特征、归一化对比度特征以及几何平均数特征，然后用无监督的方式训练堆栈式自适应编码器(APES)，将测试集的特征输入到训练好的APES来计算它们的深层特征，之后通过支持向量回归器(SVR)进行加权求和得到最终的预测结果。具体实施方式如下：
第一步：给定要评价的视频序列，计算输入视频帧的映射结果。取输入视频的(2K+1)帧，求和结果的计算步骤如下列公式所示：
Figure BDA0002555431990000031
其中fi为第i帧，fj→i为第j帧到第i帧的映射，W为双线性插值函数，
Figure BDA0002555431990000032
为(2K+1)帧视频映射的结果，wj→i为求和系数，表示第j帧对于第i帧的重要程度。
第二步：计算视频映射
Figure BDA0002555431990000033
的梯度幅值特征，在像素点位置(x,y)的相对梯度方向值分别为FRD(x,y)和FRM(x,y)：
Figure BDA0002555431990000034
Figure BDA0002555431990000035
其中
Figure BDA0002555431990000036
公式中Ω代表相对坐标变化量，定义为求取二阶偏导数的局部区域，(p,q)代表该区域内部的像素点，P、Q代表该区域的大小。Fv(x,y)，Fh(x,y)分别代表梯度的切向、径向分量。
Figure BDA0002555431990000037
均由公式(4)计算得出。
第三步：从视频映射
Figure BDA0002555431990000041
中提取对比度特征(MNC)以及几何平均数特征(GM)，利用MNC(MI)以及GM(GI)的统计特性，并进行归一化，计算步骤如下列公式所示：
Figure BDA0002555431990000042
其中Ωi,j是以(i,j)为中心的一个邻域，w(l,k)是权重系数，C为常数，用来保证稳定性。NI代表对MI、GI求几何平均，
Figure BDA0002555431990000043
分别代表归一化后的MNC(MI)以及GM(GI)特征。
第四步：通过堆栈式自适应编码器(APES)获取深层特征。本发明使用深度神经网络来训练APES，在训练阶段，要选择适当的learning rate、epoch以及batch size，同时在训练时要根据训练结果调整策略，选择合适的隐藏层单元，通过迭代训练构建APES。利用训练完成的APES模型得到测试集的深层特征，分别记为Pf(梯度幅值特征)、PG(几何平均数特征)、PM(对比度)。
第五步：利用SVR(Support Vactor Regression)分别计算深层特征Pf、PG、PM的分数，记为Qf、QG、QM，最终的预测分数计算如下列公式所示：
Q(i)＝WfQf+WGQG+WMQM
其中Wf、WG、WM为权重系数，满足Wf+WG+WM＝1，Q(i)为最终得到的预测结果。

Claims (1)

1.一种基于堆栈式自适应编码器的视频质量评价方法，包括下列步骤：
第一步：给定要评价的视频序列，计算输入视频帧的映射结果：取输入视频的(2K+1)帧，求和结果的计算步骤如下列公式所示：
Figure FDA0002555431980000011
其中fi为第i帧，fj→i为第j帧到第i帧的映射，W为双线性插值函数，
Figure FDA0002555431980000012
为(2K+1)帧视频映射的结果，wj→i为求和系数，表示第j帧对于第i帧的重要程度。
第二步：计算视频映射
Figure FDA0002555431980000013
的梯度幅值特征，在像素点位置(x,y)的相对梯度方向值分别为FRD(x,y)和FRM(x,y)：
Figure FDA0002555431980000014
Figure FDA0002555431980000015
其中
Figure FDA0002555431980000016
公式中Ω代表相对坐标变化量，定义为求取二阶偏导数的局部区域，(p,q)代表该局部区域内部的像素点，P、Q代表该区域的大小，Fv(x,y)，Fh(x,y)分别代表梯度的切向、径向分量，
Figure FDA0002555431980000017
均根据下列公式计算得出：
Figure FDA0002555431980000018
第三步：从视频映射
Figure FDA0002555431980000019
中提取对比度特征MNC以及几何平均数特征GM，对比度特征MNC被表示为MI以及几何平均数特征GM被表示为GI，利用MI和GI的统计特性，进行归一化，如下列公式所示：
Figure FDA00025554319800000110
其中Ωi,j是以(i,j)为中心的一个邻域，w(l,k)是权重系数，C为常数；NI代表对MI、GI求几何平均，
Figure FDA00025554319800000111
Figure FDA00025554319800000112
分别代表归一化后的对比度特征MNC以及几何平均数特征GM；
第四步：通过堆栈式自适应编码器APES获取深层特征，使用深度神经网络来训练APES，在训练阶段，选择适当的learning rate、epoch以及batch size，同时在训练时要根据训练结果调整策略，选择合适的隐藏层单元，通过迭代训练构建APES；利用训练完成的APES模型得到测试集的深层特征，分别记为Pf(梯度幅值特征)、PG(几何平均数特征)、PM(归一化对比度)；
第五步：利用SVR(Support Vactor Regression)分别计算深层特征Pf、PG、PM的分数，记为Qf、QG、QM，最终的预测分数计算如下列公式所示：
Q(i)＝WfQf+WGQG+WMQM
其中Wf、WG、WM为权重系数，满足Wf+WG+WM＝1，Q(i)为最终得到的预测结果。
CN202010590770.1A 2020-06-24 2020-06-24 基于堆栈式自适应编码器的视频质量评价方法 Active CN111818329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010590770.1A CN111818329B (zh) 2020-06-24 2020-06-24 基于堆栈式自适应编码器的视频质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010590770.1A CN111818329B (zh) 2020-06-24 2020-06-24 基于堆栈式自适应编码器的视频质量评价方法

Publications (2)

Publication Number Publication Date
CN111818329A true CN111818329A (zh) 2020-10-23
CN111818329B CN111818329B (zh) 2021-08-13

Family

ID=72855001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010590770.1A Active CN111818329B (zh) 2020-06-24 2020-06-24 基于堆栈式自适应编码器的视频质量评价方法

Country Status (1)

Country Link
CN (1) CN111818329B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414749A (zh) * 2020-03-18 2020-07-14 哈尔滨理工大学 基于深度神经网络的社交文本依存句法分析***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105828069A (zh) * 2016-04-06 2016-08-03 上海交通大学 一种基于主观质量评估的编码器自适应调整方法
US20170154415A1 (en) * 2015-11-30 2017-06-01 Disney Enterprises, Inc. Saliency-weighted video quality assessment
CN108470336A (zh) * 2018-03-29 2018-08-31 天津大学 基于堆栈式自动编码器的立体图像质量评价方法
CN109429051A (zh) * 2017-07-12 2019-03-05 天津大学 基于多视图特征学习的无参考立体视频质量客观评价方法
CN110401834A (zh) * 2019-08-06 2019-11-01 杭州微帧信息科技有限公司 一种基于深度学习的自适应视频编码方法
EP3573338A1 (en) * 2018-05-25 2019-11-27 Carrier Corporation Video device and network quality evaluation/diagnostic tool

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170154415A1 (en) * 2015-11-30 2017-06-01 Disney Enterprises, Inc. Saliency-weighted video quality assessment
CN105828069A (zh) * 2016-04-06 2016-08-03 上海交通大学 一种基于主观质量评估的编码器自适应调整方法
CN109429051A (zh) * 2017-07-12 2019-03-05 天津大学 基于多视图特征学习的无参考立体视频质量客观评价方法
CN108470336A (zh) * 2018-03-29 2018-08-31 天津大学 基于堆栈式自动编码器的立体图像质量评价方法
EP3573338A1 (en) * 2018-05-25 2019-11-27 Carrier Corporation Video device and network quality evaluation/diagnostic tool
CN110401834A (zh) * 2019-08-06 2019-11-01 杭州微帧信息科技有限公司 一种基于深度学习的自适应视频编码方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414749A (zh) * 2020-03-18 2020-07-14 哈尔滨理工大学 基于深度神经网络的社交文本依存句法分析***
CN111414749B (zh) * 2020-03-18 2022-06-21 哈尔滨理工大学 基于深度神经网络的社交文本依存句法分析***

Also Published As

Publication number Publication date
CN111818329B (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN112954312B (zh) 一种融合时空特征的无参考视频质量评估方法
Moorthy et al. Visual quality assessment algorithms: what does the future hold?
CN110889895B (zh) 一种融合单帧重建网络的人脸视频超分辨率重建方法
Yu et al. Predicting the quality of compressed videos with pre-existing distortions
CN110675321A (zh) 一种基于渐进式的深度残差网络的超分辨率图像重建方法
CN110751649A (zh) 视频质量评估方法、装置、电子设备及存储介质
CN109429051B (zh) 基于多视图特征学习的无参考立体视频质量客观评价方法
CN109788275A (zh) 自然性、结构和双目不对称无参考立体图像质量评价方法
CN108259893B (zh) 基于双流卷积神经网络的虚拟现实视频质量评价方法
CN111818329B (zh) 基于堆栈式自适应编码器的视频质量评价方法
CN114463183A (zh) 基于频域和空域的图像超分辨率方法
CN109257592B (zh) 基于深度学习的立体视频质量客观评价方法
CN111510707B (zh) 一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法
CN112862675A (zh) 时空超分辨率的视频增强方法和***
CN113469998B (zh) 基于主观和客观特征融合的全参考图像质量评价方法
CN111127386A (zh) 一种基于深度学习的图像质量评价方法
CN114005157B (zh) 一种基于卷积神经网络的像素位移向量的微表情识别方法
CN111127587B (zh) 一种基于对抗生成网络的无参考图像质量地图生成方法
Zhang et al. A no-reference perceptual image quality assessment database for learned image codecs
Chen et al. Gap-Closing Matters: Perceptual Quality Evaluation and Optimization of Low-Light Image Enhancement
CN113011281A (zh) 一种基于3d-dog特征的光场图像质量识别方法
CN112634278A (zh) 基于超像素的恰可察觉失真模型
CN111127392A (zh) 一种基于对抗生成网络的无参考图像质量评价方法
CN111862000B (zh) 基于局部平均特征值的图像质量评价方法
CN109903273B (zh) 一种基于dct域特征的立体图像质量客观评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant