CN104811691B - 一种基于小波变换的立体视频质量客观评价方法 - Google Patents

一种基于小波变换的立体视频质量客观评价方法 Download PDF

Info

Publication number
CN104811691B
CN104811691B CN201510164528.7A CN201510164528A CN104811691B CN 104811691 B CN104811691 B CN 104811691B CN 201510164528 A CN201510164528 A CN 201510164528A CN 104811691 B CN104811691 B CN 104811691B
Authority
CN
China
Prior art keywords
frame
dis
binocular fusion
pixel
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510164528.7A
Other languages
English (en)
Other versions
CN104811691A (zh
Inventor
蒋刚毅
宋洋
彭宗举
陈芬
郑凯辉
刘姗姗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huzhou You Yan Intellectual Property Service Co., Ltd.
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201510164528.7A priority Critical patent/CN104811691B/zh
Publication of CN104811691A publication Critical patent/CN104811691A/zh
Priority to US15/054,151 priority patent/US9460501B1/en
Application granted granted Critical
Publication of CN104811691B publication Critical patent/CN104811691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种基于小波变换的立体视频质量客观评价方法，其利用双目亮度信息融合的方式将立体图像中的左视点图像中的像素点的亮度值和右视点图像中的像素点的亮度值进行融合，得到立体图像的双目融合亮度图，通过这种亮度融合方式，在一定程度上解决了立体视频质量评价中立体感知质量评价困难的问题，有效地提高了立体视频客观质量评价的准确性；其在对失真立体视频对应的双目融合亮度图视频中的各帧组的质量进行加权时，充分考虑到人眼视觉特性对于视频中各类信息的敏感程度，利用运动剧烈程度和亮度差异来确定各帧组的权重，因此使得该立体视频质量评价方法更加符合人眼主观感知特点。

Description

一种基于小波变换的立体视频质量客观评价方法
技术领域
本发明涉及一种立体视频质量评价方法，尤其是涉及一种基于小波变换的立体视频质量客观评价方法。
背景技术
随着视频编码技术和显示技术的迅速发展，各类视频***得到了越来越广泛的应用和关注，并逐渐成为了信息处理领域的研究重点。而立体视频由于其突出的观看感受，更是越来越多的得到了人们的青睐，其相关技术的应用已经大量的融入到当前的社会生活中，例如立体电视、立体电影、裸眼3D等。然而，在立体视频的采集、压缩、编码、传输、显示等过程中会因为一系列不可控制的因素而不可避免地引入不同程度和类型的失真。因此，如何准确有效地度量视频质量对于各类视频***的发展起到了重要的推动作用。立体视频质量评价可分为主观评价和客观评价两大类，而当前立体视频质量评价领域的关键在于如何建立一种准确有效的客观评价模型来评价立体视频客观质量。目前，大多数立体视频质量客观评价方法只是简单的将平面视频质量评价方法分别用于左视点质量和右视点质量的评价，这类方法没有很好地处理视点间的关系，也并没有考虑到立体视频中深度感知对于立体视频质量的影响，因此准确性较差。有部分方法虽然考虑到了双目之间的关系，但左视点与右视点之间的加权处理不合理，难以准确地描述人眼对于立体视频的感知特性，且目前大部分对立体视频质量评价的时域加权处理只是简单的平均加权，而事实上，人眼对立体视频的时域感知并非只是简单的平均加权。因此，现有的立体视频质量客观评价方法并不能准确地反映人眼感知特性，客观评价结果不够准确。
发明内容
本发明所要解决的技术问题是提供一种基于小波变换的立体视频质量客观评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为：一种基于小波变换的立体视频质量客观评价方法，其特征在于包括以下步骤：
①令Vorg表示原始的无失真的立体视频，令Vdis表示待评价的失真的立体视频；
②计算Vorg中的每帧立体图像中的每个像素点的双目融合亮度，将Vorg中的第f帧立体图像中坐标位置为(u,v)的像素点的双目融合亮度记为 然后根据Vorg中的每帧立体图像中的所有像素点各自的双目融合亮度，得到Vorg中的每帧立体图像的双目融合亮度图，将Vorg中的第f帧立体图像的双目融合亮度图记为中坐标位置为(u,v)的像素点的像素值为再根据Vorg中的所有立体图像各自的双目融合亮度图，得到Vorg对应的双目融合亮度图视频，记为Borg，Borg中的第f帧双目融合亮度图为
并，计算Vdis中的每帧立体图像中的每个像素点的双目融合亮度，将Vdis中的第f帧立体图像中坐标位置为(u,v)的像素点的双目融合亮度记为 然后根据Vdis中的每帧立体图像中的所有像素点各自的双目融合亮度，得到Vdis中的每帧立体图像的双目融合亮度图，将Vdis中的第f帧立体图像的双目融合亮度图记为中坐标位置为(u，v)的像素点的像素值为再根据Vdis中的所有立体图像各自的双目融合亮度图，得到Vdis对应的双目融合亮度图视频，记为Bdis，Bdis中的第f帧双目融合亮度图为
其中，1≤f≤Nf，f的初始值为1，Nf表示Vorg和Vdis中各自包含的立体图像的总帧数，1≤u≤U,1≤v≤V，U表示Vorg和Vdis中各自包含的立体图像的宽度，V表示Vorg和Vdis中各自包含的立体图像的高度，表示Vorg中的第f帧立体图像的右视点图像中坐标位置为(u,v)的像素点的亮度值，表示Vorg中的第f帧立体图像的左视点图像中坐标位置为(u,v)的像素点的亮度值，表示Vdis中的第f帧立体图像的右视点图像中坐标位置为(u,v)的像素点的亮度值，表示Vdis中的第f帧立体图像的左视点图像中坐标位置为(u,v)的像素点的亮度值，表示融合角度，λ表示显示器的亮度参数；
③以2n帧双目融合亮度图为一个帧组，将Borg和Bdis分别分为nGoF个帧组，将Borg中的第i个帧组记为将Bdis中的第i个帧组记为其中，n取区间[3,5]内的整数，符号“”为向下取整符号，1≤i≤nGoF；
④对Borg中的每个帧组进行一级三维小波变换，得到Borg中的每个帧组对应的8组子带序列，其中，8组子带序列包括4组时域高频子带序列和4组时域低频子带序列，每组子带序列包含个小波系数矩阵；
同样，对Bdis中的每个帧组进行一级三维小波变换，得到Bdis中的每个帧组对应的8组子带序列，其中，8组子带序列包括4组时域高频子带序列和4组时域低频子带序列，每组子带序列包含个小波系数矩阵；
⑤计算Bdis中的每个帧组对应的其中2组子带序列各自的质量，将对应的第j组子带序列的质量记为Qi,j，其中，j＝1,5，1≤k≤K，K表示Borg中的每个帧组对应的每组子带序列和Bdis中的每个帧组对应的每组子带序列中各自包含的小波系数矩阵的总个数， 表示对应的第j组子带序列中的第k个小波系数矩阵，表示对应的第j组子带序列中的第k个小波系数矩阵，SSIM()为结构相似度计算函数；
⑥根据Bdis中的每个帧组对应的其中2组子带序列各自的质量，计算Bdis中的每个帧组的质量，将的质量记为 其中，wG为Qi,1的权值，Qi,1表示对应的第1组子带序列的质量，Qi,5表示对应的第5组子带序列的质量；
⑦根据Bdis中的每个帧组的质量，计算Vdis的客观评价质量，记为Qv，其中，wi为的权值。
所述的步骤⑦中的wi的获取过程为：
⑦-1、以中除第1帧双目融合亮度图外的每帧双目融合亮度图的前一帧双目融合亮度图为参考，计算中除第1帧双目融合亮度图外的每帧双目融合亮度图中的每个像素点的运动矢量；
⑦-2、根据中除第1帧双目融合亮度图外的每帧双目融合亮度图中的每个像素点的运动矢量，计算中除第1帧双目融合亮度图外的每帧双目融合亮度图的运动剧烈程度，将中的第f'帧双目融合亮度图的运动剧烈程度记为MAf'，其中，2≤f'≤2n，f'的初始值为2，1≤s≤U,1≤t≤V，mvx(s,t)表示中的第f'帧双目融合亮度图中坐标位置为(s,t)的像素点的运动矢量在水平方向上的值，mvy(s,t)表示中的第f'帧双目融合亮度图中坐标位置为(s,t)的像素点的运动矢量在垂直方向上的值；
⑦-3、计算的运动剧烈程度，记为MAavgi，
⑦-4、计算中的每帧双目融合亮度图的背景亮度图，将中的第f”帧双目融合亮度图的背景亮度图记为将中坐标位置为(p,q)的像素点的像素值记为 其中，1≤f”≤2n，3≤p≤U-2,3≤q≤V-2，-2≤bi≤2,-2≤bj≤2，表示中的第f”帧双目融合亮度图中坐标位置为(p+bi,q+bi)的像素点的像素值，BO(bi+3,bj+3)表示5×5的背景亮度算子中下标为(bi+3,bj+3)处的元素；
⑦-5、计算中除第1帧双目融合亮度图外的每帧双目融合亮度图与前一帧双目融合亮度图的亮度差异图，将中的第f'帧双目融合亮度图与中的第f'-1帧双目融合亮度图的亮度差异图记为将中坐标位置为(p,q)的像素点的像素值记为其中，2≤f'≤2n，3≤p≤U-2,3≤q≤V-2，表示中的第f'帧双目融合亮度图中坐标位置为(p,q)的像素点的像素值，表示中的第f'-1帧双目融合亮度图中坐标位置为(p,q)的像素点的像素值，表示中的第f'帧双目融合亮度图的背景亮度图中坐标位置为(p,q)的像素点的像素值，表示中的第f'-1帧双目融合亮度图的背景亮度图中坐标位置为(p,q)的像素点的像素值；
⑦-6、计算中除第1帧双目融合亮度图外的每帧双目融合亮度图与前一帧双目融合亮度图的亮度差异图中的所有像素点的像素值的均值，将中的所有像素点的像素值的均值记为LDi,f'；然后计算的亮度差异值，记为LDavgi，
⑦-7、将Bdis中所有帧组各自的运动剧烈程度按序组成Bdis的运动剧烈程度向量，记为VMAavg，并将Bdis中所有帧组各自的亮度差异值按序组成Bdis的亮度差异向量，记为VLDavg，其中，MAavg1、MAavg2和对应表示Bdis中的第1个帧组、第2个帧组和第nGoF个帧组的运动剧烈程度，LDavg1、LDavg2和对应表示Bdis中的第1个帧组、第2个帧组和第nGoF个帧组的亮度差异值；
⑦-8、对MAavgi进行归一化计算，得到的归一化后的运动剧烈程度，记为 并对LDavgi进行归一化计算，得到的归一化后的亮度差异值，记为 其中，max()为取最大值函数，min()为取最小值函数；
⑦-9、根据和计算的权值wi，
所述的步骤⑥中取wG＝0.8。
与现有技术相比，本发明的优点在于：
1)本发明方法利用双目亮度信息融合的方式将立体图像中的左视点图像中的像素点的亮度值和右视点图像中的像素点的亮度值进行融合，得到立体图像的双目融合亮度图，通过这种亮度融合方式，在一定程度上解决了立体视频质量评价中立体感知质量评价困难的问题，有效地提高了立体视频客观质量评价的准确性。
2)本发明方法将三维小波变换应用于立体视频质量评价之中，对双目融合亮度图视频中的各帧组进行一级三维小波变换，利用小波域的分解完成对于视频时域信息的描述，在一定程度上解决了视频时域信息描述困难的问题，有效地提高了立体视频客观质量评价的准确性。
3)本发明方法在对失真立体视频对应的双目融合亮度图视频中的各帧组的质量进行加权时，充分考虑到人眼视觉特性对于视频中各类信息的敏感程度，利用运动剧烈程度和亮度差异来确定各帧组的权重，因此使得该立体视频质量评价方法更加符合人眼主观感知特点。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于小波变换的立体视频质量客观评价方法，其总体实现框图如图1所示，其包括以下步骤：
①令Vorg表示原始的无失真的立体视频，令Vdis表示待评价的失真的立体视频。
②计算Vorg中的每帧立体图像中的每个像素点的双目融合亮度，将Vorg中的第f帧立体图像中坐标位置为(u,v)的像素点的双目融合亮度记为 然后根据Vorg中的每帧立体图像中的所有像素点各自的双目融合亮度，得到Vorg中的每帧立体图像的双目融合亮度图，将Vorg中的第f帧立体图像的双目融合亮度图记为 中坐标位置为(u,v)的像素点的像素值为再根据Vorg中的所有立体图像各自的双目融合亮度图，得到Vorg对应的双目融合亮度图视频，记为Borg，Borg中的第f帧双目融合亮度图为
并，计算Vdis中的每帧立体图像中的每个像素点的双目融合亮度，将Vdis中的第f帧立体图像中坐标位置为(u,v)的像素点的双目融合亮度记为 然后根据Vdis中的每帧立体图像中的所有像素点各自的双目融合亮度，得到Vdis中的每帧立体图像的双目融合亮度图，将Vdis中的第f帧立体图像的双目融合亮度图记为 中坐标位置为(u,v)的像素点的像素值为再根据Vdis中的所有立体图像各自的双目融合亮度图，得到Vdis对应的双目融合亮度图视频，记为Bdis，Bdis中的第f帧双目融合亮度图为
其中，1≤f≤Nf，f的初始值为1，Nf表示Vorg和Vdis中各自包含的立体图像的总帧数，1≤u≤U,1≤v≤V，U表示Vorg和Vdis中各自包含的立体图像的宽度，V表示Vorg和Vdis中各自包含的立体图像的高度，表示Vorg中的第f帧立体图像的右视点图像中坐标位置为(u,v)的像素点的亮度值，表示Vorg中的第f帧立体图像的左视点图像中坐标位置为(u,v)的像素点的亮度值，表示Vdis中的第f帧立体图像的右视点图像中坐标位置为(u,v)的像素点的亮度值，表示Vdis中的第f帧立体图像的左视点图像中坐标位置为(u,v)的像素点的亮度值，表示融合角度，在本实施例中取λ表示显示器的亮度参数，在本实施例中取λ＝1。
③以2n帧双目融合亮度图为一个帧组，将Borg和Bdis分别分为nGoF个帧组，将Borg中的第i个帧组记为将Bdis中的第i个帧组记为其中，n取区间[3,5]内的整数，在本实施例中取n＝4，即本实施例以16帧双目融合亮度图为一个帧组，在实际实施时，如果Borg和Bdis中各自包含的双目融合亮度图的帧数不是2n的正整数倍时，则按序分得若干个帧组后，对多余的图像不作处理，符号“”为向下取整符号，1≤i≤nGoF。
④对Borg中的每个帧组进行一级三维小波变换，得到Borg中的每个帧组对应的8组子带序列，其中，8组子带序列包括4组时域高频子带序列和4组时域低频子带序列，每组子带序列包含个小波系数矩阵。在此，Borg中的每个帧组对应的4组时域高频子带序列分别为原始时域高频近似序列HLLorg、原始时域高频水平方向细节序列HLHorg、原始时域高频垂直方向细节序列HHLorg、原始时域高频对角线方向细节序列HHHorg；Borg中的每个帧组对应的4组时域低频子带序列分别为原始时域低频近似序列LLLorg、原始时域低频水平方向细节序列LLHorg、原始时域低频垂直方向细节序列LHLorg、原始时域低频对角线方向细节序列LHHorg。
同样，对Bdis中的每个帧组进行一级三维小波变换，得到Bdis中的每个帧组对应的8组子带序列，其中，8组子带序列包括4组时域高频子带序列和4组时域低频子带序列，每组子带序列包含个小波系数矩阵。在此，Bdis中的每个帧组对应的4组时域高频子带序列分别为失真时域高频近似序列HLLdis、失真时域高频水平方向细节序列HLHdis、失真时域高频垂直方向细节序列HHLdis、失真时域高频对角线方向细节序列HHHdis；Borg中的每个帧组对应的4组时域低频子带序列分别为失真时域低频近似序列LLLdis、失真时域低频水平方向细节序列LLHdis、失真时域低频垂直方向细节序列LHLdis、失真时域低频对角线方向细节序列LHHdis。
本发明方法利用三维小波变换对双目融合亮度图视频进行时域分解，从频率成分的角度描述视频时域信息，在小波域中完成对时域信息的处理，从而在一定程度上解决了视频质量评价中时域质量评价困难的问题，提高了评价方法的准确性。
⑤计算Bdis中的每个帧组对应的其中2组子带序列各自的质量，将对应的第j组子带序列的质量记为Qi,j，其中，j＝1,5，j＝1时对应的第1组子带序列为对应的第1组时域高频子带序列，j＝5时对应的第5组子带序列为对应的第1组时域低频子带序列，1≤k≤K，K表示Borg中的每个帧组对应的每组子带序列和Bdis中的每个帧组对应的每组子带序列中各自包含的小波系数矩阵的总个数， 表示对应的第j组子带序列中的第k个小波系数矩阵，表示对应的第j组子带序列中的第k个小波系数矩阵，SSIM()为结构相似度计算函数，其中，μorg表示中的所有元素的值的均值，μdis表示中的所有元素的值的均值，σorg表示的方差，σdis表示的方差，σorg-dis表示与之间的协方差，c1和c2均为常数，c1和c2的设置是为了避免分母取值为0，具体操作时可取c1＝0.05，c2＝0.05。
⑥根据Bdis中的每个帧组对应的其中2组子带序列各自的质量，计算Bdis中的每个帧组的质量，将的质量记为 其中，wG为Qi,1的权值，在本实施例中取wG＝0.8，Qi,1表示对应的第1组子带序列的质量，亦表示对应的第1组时域高频子带序列的质量，Qi,5表示对应的第5组子带序列的质量，亦表示对应的第1组时域低频子带序列的质量。
⑦根据Bdis中的每个帧组的质量，计算Vdis的客观评价质量，记为Qv，其中，wi为的权值，在此具体实施例中，wi的获取过程为：
⑦-1、以中除第1帧双目融合亮度图外的每帧双目融合亮度图的前一帧双目融合亮度图为参考，计算中除第1帧双目融合亮度图外的每帧双目融合亮度图中的每个像素点的运动矢量。
⑦-2、根据中除第1帧双目融合亮度图外的每帧双目融合亮度图中的每个像素点的运动矢量，计算中除第1帧双目融合亮度图外的每帧双目融合亮度图的运动剧烈程度，将中的第f'帧双目融合亮度图的运动剧烈程度记为MAf'，其中，2≤f'≤2n，f'的初始值为2，1≤s≤U,1≤t≤V，mvx(s,t)表示中的第f'帧双目融合亮度图中坐标位置为(s,t)的像素点的运动矢量在水平方向上的值，mvy(s,t)表示中的第f'帧双目融合亮度图中坐标位置为(s,t)的像素点的运动矢量在垂直方向上的值。
⑦-3、计算的运动剧烈程度，记为MAavgi，
⑦-4、计算中的每帧双目融合亮度图的背景亮度图，将中的第f”帧双目融合亮度图的背景亮度图记为将中坐标位置为(p,q)的像素点的像素值记为 其中，1≤f”≤2n，3≤p≤U-2,3≤q≤V-2，-2≤bi≤2,-2≤bj≤2，表示中的第f”帧双目融合亮度图中坐标位置为(p+bi,q+bi)的像素点的像素值，BO(bi+3,bj+3)表示5×5的背景亮度算子中下标为(bi+3,bj+3)处的元素，在本实施例中5×5的背景亮度算子为
⑦-5、计算中除第1帧双目融合亮度图外的每帧双目融合亮度图与前一帧双目融合亮度图的亮度差异图，将中的第f'帧双目融合亮度图与中的第f'-1帧双目融合亮度图的亮度差异图记为将中坐标位置为(p,q)的像素点的像素值记为 其中，2≤f'≤2n，3≤p≤U-2,3≤q≤V-2，表示中的第f'帧双目融合亮度图中坐标位置为(p,q)的像素点的像素值，表示中的第f'-1帧双目融合亮度图中坐标位置为(p,q)的像素点的像素值，表示中的第f'帧双目融合亮度图的背景亮度图中坐标位置为(p,q)的像素点的像素值，表示中的第f'-1帧双目融合亮度图的背景亮度图中坐标位置为(p,q)的像素点的像素值。
⑦-6、计算中除第1帧双目融合亮度图外的每帧双目融合亮度图与前一帧双目融合亮度图的亮度差异图中的所有像素点的像素值的均值，将中的所有像素点的像素值的均值记为LDi,f'；然后计算的亮度差异值，记为LDavgi，
⑦-7、将Bdis中所有帧组各自的运动剧烈程度按序组成Bdis的运动剧烈程度向量，记为VMAavg，并将Bdis中所有帧组各自的亮度差异值按序组成Bdis的亮度差异向量，记为VLDavg，其中，MAavg1、MAavg2和对应表示Bdis中的第1个帧组、第2个帧组和第nGoF个帧组的运动剧烈程度，LDavg1、LDavg2和对应表示Bdis中的第1个帧组、第2个帧组和第nGoF个帧组的亮度差异值。
⑦-8、对MAavgi进行归一化计算，得到的归一化后的运动剧烈程度，记为 并对LDavgi进行归一化计算，得到的归一化后的亮度差异值，记为 其中，max()为取最大值函数，min()为取最小值函数。
⑦-9、根据和计算的权值wi，
为说明本发明方法的有效性和可行性，选取法国IRCCyN研究机构提供的NAMA3DS1-CoSpaD1立体视频库(简称“NAMA3D视频数据库”)进行验证试验，以分析本发明方法的客观评价结果与平均主观评分差值(Difference Mean Opinion Score，DMOS)之间的相关性。NAMA3D视频数据库包含10个不同场景的原始高清立体视频，其H.264编码压缩失真包含3种不同的失真程度，共30个失真立体视频；JPEG2000编码压缩失真包含4种不同的失真程度，共40个失真立体视频。对上述70个失真立体视频按本发明方法的步骤①至步骤⑦的过程，采用相同的方式计算得到每个失真立体视频相对于对应的无失真的立体视频的客观评价质量，然后将每个失真立体视频的客观评价质量与平均主观评分差值DMOS进行四参数Logistic函数非线性拟合，最后得到客观评价结果与主观感知之间的性能指标值。这里，利用评估视频质量评价方法的3个常用客观参量作为评价指标，即线性相关系数(Correlation coefficient，CC)、Spearman等级相关系数(Spearman Rank OrderCorrelation coefficient，SROCC)和均方根误差(Rooted Mean Squared Error，RMSE)。CC和SROCC的取值范围是[0,1]，其值越接近1，表明客观评价方法的准确性越高，反之，则越差。RMSE值越小，表示客观评价方法的预测越准确，性能越好；反之，则越差。表示本发明方法的评价性能的CC、SROCC和RMSE指标如表1所列。由表1中所列的数据可见，按本发明方法计算得到的失真立体视频的客观评价质量与平均主观评分差值DMOS之间有很好的相关性。对于H.264编码压缩失真视频，CC值达到了0.8712，SROCC值达到了0.8532，而RMSE值低至5.7212；对于JPEG2000编码压缩失真视频，CC值达到了0.9419，SROCC值达到了0.9196，而RMSE值低至4.1915；对于包含以上两种失真视频的总体失真视频，CC值达到了0.9201，SROCC值达到了0.8910，而RMSE值低至5.0523；表明了本发明方法的客观评价结果与人眼主观感知的结果较为一致，充分说明了本发明方法的有效性。
表1 按本发明方法计算得到的失真立体视频的客观评价质量与平均主观评分差值之间的相关性
CC SROCC RMSE
30个H.264编码压缩立体视频 0.8712 0.8532 5.7212
40个JPEG2000编码压缩立体视频 0.9419 0.9196 4.1915
共计70个失真立体视频 0.9201 0.8910 5.0523

Claims (2)

1.一种基于小波变换的立体视频质量客观评价方法，其特征在于包括以下步骤：
①令Vorg表示原始的无失真的立体视频，令Vdis表示待评价的失真的立体视频；
②计算Vorg中的每帧立体图像中的每个像素点的双目融合亮度，将Vorg中的第f帧立体图像中坐标位置为(u,v)的像素点的双目融合亮度记为 然后根据Vorg中的每帧立体图像中的所有像素点各自的双目融合亮度，得到Vorg中的每帧立体图像的双目融合亮度图，将Vorg中的第f帧立体图像的双目融合亮度图记为 中坐标位置为(u,v)的像素点的像素值为再根据Vorg中的所有立体图像各自的双目融合亮度图，得到Vorg对应的双目融合亮度图视频，记为Borg，Borg中的第f帧双目融合亮度图为
并，计算Vdis中的每帧立体图像中的每个像素点的双目融合亮度，将Vdis中的第f帧立体图像中坐标位置为(u,v)的像素点的双目融合亮度记为 然后根据Vdis中的每帧立体图像中的所有像素点各自的双目融合亮度，得到Vdis中的每帧立体图像的双目融合亮度图，将Vdis中的第f帧立体图像的双目融合亮度图记为 中坐标位置为(u,v)的像素点的像素值为再根据Vdis中的所有立体图像各自的双目融合亮度图，得到Vdis对应的双目融合亮度图视频，记为Bdis，Bdis中的第f帧双目融合亮度图为
其中，1≤f≤Nf，f的初始值为1，Nf表示Vorg和Vdis中各自包含的立体图像的总帧数，1≤u≤U,1≤v≤V，U表示Vorg和Vdis中各自包含的立体图像的宽度，V表示Vorg和Vdis中各自包含的立体图像的高度，表示Vorg中的第f帧立体图像的右视点图像中坐标位置为(u,v)的像素点的亮度值，表示Vorg中的第f帧立体图像的左视点图像中坐标位置为(u,v)的像素点的亮度值，表示Vdis中的第f帧立体图像的右视点图像中坐标位置为(u,v)的像素点的亮度值，表示Vdis中的第f帧立体图像的左视点图像中坐标位置为(u,v)的像素点的亮度值，表示融合角度，λ表示显示器的亮度参数；
③以2n帧双目融合亮度图为一个帧组，将Borg和Bdis分别分为nGoF个帧组，将Borg中的第i个帧组记为将Bdis中的第i个帧组记为其中，n取区间[3,5]内的整数，符号为向下取整符号，1≤i≤nGoF；
④对Borg中的每个帧组进行一级三维小波变换，得到Borg中的每个帧组对应的8组子带序列，其中，8组子带序列包括4组时域高频子带序列和4组时域低频子带序列，每组子带序列包含个小波系数矩阵；
同样，对Bdis中的每个帧组进行一级三维小波变换，得到Bdis中的每个帧组对应的8组子带序列，其中，8组子带序列包括4组时域高频子带序列和4组时域低频子带序列，每组子带序列包含个小波系数矩阵；
⑤计算Bdis中的每个帧组对应的其中2组子带序列各自的质量，将对应的第j组子带序列的质量记为Qi,j，其中，j＝1,5，1≤k≤K，K表示Borg中的每个帧组对应的每组子带序列和Bdis中的每个帧组对应的每组子带序列中各自包含的小波系数矩阵的总个数， 表示对应的第j组子带序列中的第k个小波系数矩阵，表示对应的第j组子带序列中的第k个小波系数矩阵，SSIM()为结构相似度计算函数；
⑥根据Bdis中的每个帧组对应的其中2组子带序列各自的质量，计算Bdis中的每个帧组的质量，将的质量记为 其中，wG为Qi,1的权值，Qi,1表示对应的第1组子带序列的质量，Qi,5表示对应的第5组子带序列的质量；
⑦根据Bdis中的每个帧组的质量，计算Vdis的客观评价质量，记为Qv，其中，wi为的权值；
所述的步骤⑦中的wi的获取过程为：
⑦-1、以中除第1帧双目融合亮度图外的每帧双目融合亮度图的前一帧双目融合亮度图为参考，计算中除第1帧双目融合亮度图外的每帧双目融合亮度图中的每个像素点的运动矢量；
⑦-2、根据中除第1帧双目融合亮度图外的每帧双目融合亮度图中的每个像素点的运动矢量，计算中除第1帧双目融合亮度图外的每帧双目融合亮度图的运动剧烈程度，将中的第f'帧双目融合亮度图的运动剧烈程度记为MAf'，其中，2≤f'≤2n，f'的初始值为2，1≤s≤U,1≤t≤V，mvx(s,t)表示中的第f'帧双目融合亮度图中坐标位置为(s,t)的像素点的运动矢量在水平方向上的值，mvy(s,t)表示中的第f'帧双目融合亮度图中坐标位置为(s,t)的像素点的运动矢量在垂直方向上的值；
⑦-3、计算的运动剧烈程度，记为MAavgi，
⑦-4、计算中的每帧双目融合亮度图的背景亮度图，将中的第f”帧双目融合亮度图的背景亮度图记为将中坐标位置为(p,q)的像素点的像素值记为 其中，1≤f”≤2n，3≤p≤U-2,3≤q≤V-2，-2≤bi≤2,-2≤bj≤2，表示中的第f”帧双目融合亮度图中坐标位置为(p+bi,q+bi)的像素点的像素值，BO(bi+3,bj+3)表示5×5的背景亮度算子中下标为(bi+3,bj+3)处的元素；
⑦-5、计算中除第1帧双目融合亮度图外的每帧双目融合亮度图与前一帧双目融合亮度图的亮度差异图，将中的第f'帧双目融合亮度图与中的第f'-1帧双目融合亮度图的亮度差异图记为将中坐标位置为(p,q)的像素点的像素值记为 其中，2≤f'≤2n，3≤p≤U-2,3≤q≤V-2，表示中的第f'帧双目融合亮度图中坐标位置为(p,q)的像素点的像素值，表示中的第f'-1帧双目融合亮度图中坐标位置为(p,q)的像素点的像素值，表示中的第f'帧双目融合亮度图的背景亮度图中坐标位置为(p,q)的像素点的像素值，表示中的第f'-1帧双目融合亮度图的背景亮度图中坐标位置为(p,q)的像素点的像素值；
⑦-6、计算中除第1帧双目融合亮度图外的每帧双目融合亮度图与前一帧双目融合亮度图的亮度差异图中的所有像素点的像素值的均值，将中的所有像素点的像素值的均值记为LDi,f'；然后计算的亮度差异值，记为LDavgi，
⑦-7、将Bdis中所有帧组各自的运动剧烈程度按序组成Bdis的运动剧烈程度向量，记为VMAavg，并将Bdis中所有帧组各自的亮度差异值按序组成Bdis的亮度差异向量，记为VLDavg，其中，MAavg1、MAavg2和对应表示Bdis中的第1个帧组、第2个帧组和第nGoF个帧组的运动剧烈程度，LDavg1、LDavg2和对应表示Bdis中的第1个帧组、第2个帧组和第nGoF个帧组的亮度差异值；
⑦-8、对MAavgi进行归一化计算，得到的归一化后的运动剧烈程度，记为 并对LDavgi进行归一化计算，得到的归一化后的亮度差异值，记为 其中，max()为取最大值函数，min()为取最小值函数；
⑦-9、根据和计算的权值wi，
2.根据权利要求1所述的一种基于小波变换的立体视频质量客观评价方法，其特征在于所述的步骤⑥中取wG＝0.8。
CN201510164528.7A 2015-04-08 2015-04-08 一种基于小波变换的立体视频质量客观评价方法 Active CN104811691B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510164528.7A CN104811691B (zh) 2015-04-08 2015-04-08 一种基于小波变换的立体视频质量客观评价方法
US15/054,151 US9460501B1 (en) 2015-04-08 2016-02-26 Objective assessment method for stereoscopic video quality based on wavelet transform

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510164528.7A CN104811691B (zh) 2015-04-08 2015-04-08 一种基于小波变换的立体视频质量客观评价方法

Publications (2)

Publication Number Publication Date
CN104811691A CN104811691A (zh) 2015-07-29
CN104811691B true CN104811691B (zh) 2017-07-21

Family

ID=53696142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510164528.7A Active CN104811691B (zh) 2015-04-08 2015-04-08 一种基于小波变换的立体视频质量客观评价方法

Country Status (2)

Country Link
US (1) US9460501B1 (zh)
CN (1) CN104811691B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744264B (zh) * 2016-02-02 2017-12-05 中国传媒大学 一种立体视频质量的评测方法及评测***
CN106097327B (zh) * 2016-06-06 2018-11-02 宁波大学 结合流形特征及双目特性的立体图像质量客观评价方法
CN106791801A (zh) * 2016-11-22 2017-05-31 深圳大学 一种三维图像的质量评价方法及***
CN106875389B (zh) * 2017-02-23 2020-06-30 天津大学 基于运动显著性的立体视频质量评价方法
CN107071423A (zh) * 2017-04-24 2017-08-18 天津大学 视觉多通道模型在立体视频质量客观评价中的应用方法
WO2018226725A1 (en) * 2017-06-05 2018-12-13 Massachusetts Institute Of Technology 3dtv at home: eulerian-lagrangian stereo-to-multi-view conversion
CN107809631B (zh) * 2017-10-08 2019-05-14 天津大学 基于背景消除的小波域视频质量评价方法
IL264032B (en) 2018-12-30 2020-06-30 Elbit Systems Ltd System and methods for removing artifacts in binocular displays
CN114630053B (zh) * 2020-12-11 2023-12-12 青岛海信移动通信技术有限公司 一种hdr图像显示方法及显示设备
US20230169690A1 (en) * 2021-11-30 2023-06-01 Verizon Patent And Licensing Inc. Methods and Systems for Scalable Compression of Point Cloud Data

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523477B (zh) * 2011-12-01 2014-02-12 上海大学 一种基于双目最小可辨失真模型的立体视频质量评价方法
CN102595185B (zh) * 2012-02-27 2014-06-25 宁波大学 一种立体图像质量客观评价方法
CN103841411B (zh) * 2014-02-26 2015-10-28 宁波大学 一种基于双目信息处理的立体图像质量评价方法
CN104202594B (zh) * 2014-07-25 2016-04-13 宁波大学 一种基于三维小波变换的视频质量评价方法

Also Published As

Publication number Publication date
CN104811691A (zh) 2015-07-29
US20160300339A1 (en) 2016-10-13
US9460501B1 (en) 2016-10-04

Similar Documents

Publication Publication Date Title
CN104811691B (zh) 一种基于小波变换的立体视频质量客观评价方法
CN102333233B (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN103581661B (zh) 一种立体图像视觉舒适度评价方法
CN102750695B (zh) 一种基于机器学习的立体图像质量客观评价方法
CN102209257B (zh) 一种立体图像质量客观评价方法
CN104394403B (zh) 一种面向压缩失真的立体视频质量客观评价方法
CN105407349B (zh) 基于双目视觉感知的无参考立体图像质量客观评价方法
CN101872479B (zh) 一种立体图像客观质量评价方法
CN104202594B (zh) 一种基于三维小波变换的视频质量评价方法
CN104036501A (zh) 一种基于稀疏表示的立体图像质量客观评价方法
CN109831664B (zh) 基于深度学习的快速压缩立体视频质量评价方法
CN103338379B (zh) 一种基于机器学习的立体视频客观质量评价方法
CN104902268B (zh) 基于局部三元模式的无参考立体图像客观质量评价方法
CN105282543B (zh) 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN102521825B (zh) 一种基于零水印的立体图像质量客观评价方法
CN103780895B (zh) 一种立体视频质量评价方法
CN103136748B (zh) 一种基于特征图的立体图像质量客观评价方法
CN107396095A (zh) 一种无参考三维图像质量评价方法
CN104408716A (zh) 一种基于视觉保真度的立体图像质量客观评价方法
CN104954778A (zh) 一种基于感知特征集的立体图像质量客观评价方法
CN105049838A (zh) 一种用于压缩立体视频质量的客观评价方法
CN104767993B (zh) 一种基于质降时域加权的立体视频客观质量评价方法
CN106412571B (zh) 一种基于梯度相似性标准差的视频质量评价方法
CN106791822A (zh) 一种基于单双目特征学习的无参考立体图像质量评价方法
CN102708568B (zh) 一种基于结构失真的立体图像客观质量评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190812

Address after: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000

Patentee after: Huzhou You Yan Intellectual Property Service Co., Ltd.

Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818

Patentee before: Ningbo University

TR01 Transfer of patent right