CN113362315B - 基于多算法融合的图像质量评价方法及评价模型 - Google Patents

基于多算法融合的图像质量评价方法及评价模型 Download PDF

Info

Publication number
CN113362315B
CN113362315B CN202110691115.XA CN202110691115A CN113362315B CN 113362315 B CN113362315 B CN 113362315B CN 202110691115 A CN202110691115 A CN 202110691115A CN 113362315 B CN113362315 B CN 113362315B
Authority
CN
China
Prior art keywords
distortion
image
quality evaluation
quality
image content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110691115.XA
Other languages
English (en)
Other versions
CN113362315A (zh
Inventor
陈志波
彭燕定
许家华
罗子源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202110691115.XA priority Critical patent/CN113362315B/zh
Publication of CN113362315A publication Critical patent/CN113362315A/zh
Application granted granted Critical
Publication of CN113362315B publication Critical patent/CN113362315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种基于多算法融合的图像质量评价方法，包括：利用特征提取器对失真类型和图像内容信息进行提取，经过变换后得到概率向量作为为其他模块的输入和信息输出；计算失真图像和参考图像的多个质量评价算法分数；将得到的多个客观质量评价算法分数和图像内容信息进行非线性变换融合，输出不同失真先验时的图像内容适应性质量评价预测分数；根据失真类型信息给不同失真先验下的预测分数赋予权重，得到具有失真类型适应性的质量评价预测分数作为最终的质量评价分数。

Description

基于多算法融合的图像质量评价方法及评价模型
技术领域
本发明涉及图像质量评价领域，尤其涉及一种基于多算法融合的图像质量评价方法及评价模型。
背景技术
高质量的视频和图片能给人们提供准确而又清晰的视觉信息。然而，在图像和视频的获取、压缩、传输以及重建过程中难免会产生失真。因此，为了保障用户的视觉体验，需要设计准确的质量评价算法来指导和优化图像处理和视频编码***。
衡量用户体验的方法就叫做质量评价(Quality Assessment，QA)，目前存在两种方法可以衡量用户体验感受，第一种就是主观质量评价，也就是通过主观实验获取被试者观看图像/视频的主观感受，给出一个具体的质量分数。但是由于主观实验需要消耗大量人力物力，在实时应用中是无法实现的。所以在实际应用中一般采用第二种方法，客观质量评价，即通过分析图像或者视频的内容，利用参数或者基于学习的模型来自动预测当前图像或者视频的质量。而根据能否提供参考图像，客观质量评价又可以分为全参考质量评价，半参考质量评价和无参考质量评价，本发明提出的方法属于全参考质量评价方法。
现有的全参考质量质量评价方法可以大致分为五类，分别为基于像素误差(MSE)，基于结构相似度(SSIM等)，基于信息理论(VIF)，基于学习(LPIPS等)以及基于融合。其中，单一的全参考质量评价方法往往无法在全部的失真类型和图像内容上表现良好。因此，有必要通过设计一种基于融合的质量评价方法，能适应失真类型和图像内容的变化，使得针对多种失真类型和图像内容的质量评价都变得可靠。
发明内容
有鉴于此，本发明的主要目的在于提供一种基于多算法融合的图像质量评价方法及评价模型，以期部分地解决上述技术问题中的至少之一。
为了实现上述目的，作为本发明的一方面，提供了一种基于多算法融合的图像质量评价方法，包括：
利用特征提取器对失真类型和图像内容信息进行提取，经过变换后得到概率向量作为其他模块的输入和信息输出；
计算失真图像和参考图像的多个质量评价算法分数；
将得到的多个客观质量评价算法分数和图像内容信息进行非线性变换融合，输出不失真先验时的图像内容适应性质量评价预测分数；
根据失真类型信息给不同失真先验下的预测分数赋予权重，得到具有失真类型适应性的质量评价预测分数作为最终的质量评价分数。
其中，所述概率向量为：
VD＝TD(FD(ID,IR))
VC＝TC(FC(IR))
其中，VD，VC分别为失真类型和图像内容信息输出，FD，FC分别为失真信息和内容信息提取模块，TD，TC分别为对应的变换，ID，IR分别为失真图像和参考图像。
其中，所述计算失真图像和参考图像的多个质量评价算法分数，进而得到质量分数向量：
VS＝[SSIM(ID,IR),PSNR(ID,IR),……]。
其中，将质量分数向量结合图像内容概率向量进行融合，得到带有内容特性的失真类型先验分数向量：
VSC＝TSC(VC,VS)；
其中，TSC为融合模块。
其中，所述根据失真类型信息给不同失真先验下的预测分数赋予权重为采用线性加权进行赋予权重。
作为本发明的另一方面，提供了一种基于多算法融合的图像质量评价模型，所述评价模型包括：
失真类型和图像内容信息提取模块，用于利用特征提取器对失真类型和图像内容信息进行提取，经过变换后得到概率向量作为其他模块的输入和信息输出；
客观质量评价算法计算模块，用于计算失真图像和参考图像的多个质量评价算法分数；
非线性变换融合模块，将得到的多个客观质量评价算法分数和图像内容信息进行非线性变换融合，输出不失真先验时的图像内容适应性质量评价预测分数；
线性加权模块，根据失真类型信息给不同失真先验下的预测分数赋予权重，得到具有失真类型适应性的质量评价预测分数作为最终的质量评价分数。
其中，所述概率向量为：
VD＝TD(FD(ID,IR))
VC＝TC(FC(IR))
其中，VD，VC分别为失真类型和图像内容信息输出，FD，FC分别为失真信息和内容信息提取模块，TD，TC分别为对应的变换，ID，IR分别为失真图像和参考图像。
其中，所述计算失真图像和参考图像的多个质量评价算法分数，进而得到质量分数向量：
VS＝[SSIM(ID,IR),PSNR(ID,IR),……]。
其中，将质量分数向量结合图像内容概率向量进行融合，得到带有内容特性的失真类型先验分数向量：
VSC＝TSC(VC,VS)；
其中，TSC为融合模块。
其中，所述根据失真类型信息给不同失真先验下的预测分数赋予权重为采用线性加权进行赋予权重。
基于上述技术方案可知，本发明的基于多算法融合的图像质量评价方法及评价模型相对于现有技术至少具有如下有益效果之一：
(1)本发明针对不同的失真类型和图像内容能做出适应性的调整，从而对各种失真类型以及图像内容的质量分数预测具有很好的主观一致性。
(2)本发明能够给出图像失真类型和图像内容的分析结果，从而使得预测结果的可解释性和可信度更高。
附图说明
图1为本发明实施例提供的评价方法的具体实施流程图。
具体实施方式
本发明提出了一种融合多个算法的客观质量评价方法及评价模型，有效的解决以下关键技术问题：
1)由于采集流程、编解码方式和网络环境的不同，图像失真的类型多种多样，而现有的融合算法利用加权的方式来进行融合，权重通过人为或者学习的方式获取。这样的做法无法让权重随着图像失真类型和内容的不同做出适应性的调整。
2)对于图像质量评价预测的结果，往往只能直接给出预测分数，而对于预测结果的依据信息无法很好的体现，这就给极大地降低了预测结果得可信度，因此，在给出预测分数得同时，给出失真类型和图像内容的分析也是十分重要的。
具体的，本发明提出了一种利用图像内容和失真类型信息指导多个全参考质量评价进行算法融合的方法，并且在输出最终质量预测分数的同时，还能输出失真类型和图像内容的有关分析信息，使得模型能够给出不同情景下的可靠图像质量分数预测。
本发明首先计算多个客观质量评价算法的预测分数，同时对图像内容信息和失真类型信息进行提取。对多个客观质量预测分数和图像内容信息一起进行融合，得到不同失真先验下的质量预测分数。利用失真类型变换信息对不同失真类型先验下的质量预测分数进行线性加权，得到最终的质量评价分数。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
如图1所示，为本发明所提出的评价方法的具体流程图，具体包括:
利用特征提取器对失真类型和图像内容信息进行提取，经过变换后得到概率向量作为其他模块的输入和信息输出；
计算失真图像和参考图像的多个质量评价算法分数；
将得到的多个客观质量评价算法分数和图像内容信息进行非线性变换融合，输出不失真先验时的图像内容适应性质量评价预测分数；
根据失真类型信息给不同失真先验下的预测分数赋予权重，得到具有失真类型适应性的质量评价预测分数作为最终的质量评价分数。
本发明还提供了一种基于多算法融合的图像质量评价模型，所述评价模型包括：
失真类型和图像内容信息提取模块，用于利用特征提取器对失真类型和图像内容信息进行提取，经过变换后得到概率向量作为为其他模块的输入和信息输出；
客观质量评价算法计算模块，用于计算失真图像和参考图像的多个质量评价算法分数；
非线性变换融合模块，将得到的多个客观质量评价算法分数和图像内容信息进行非线性变换融合，输出不失真先验时的图像内容适应性质量评价预测分数；
线性加权模块，根据失真类型信息给不同失真先验下的预测分数赋予权重，得到具有失真类型适应性的质量评价预测分数作为最终的质量评价分数。
本发明提出的模型能对于给定的失真图和参考图进行质量分数预测，同时还能输出失真类型信息和图像内容信息。
对于输入的失真图像和参考图像，分别利用特征提取器提取特征并进行变换得到概率向量：
VD＝TD(FD(ID,IR))
VC＝TC(FC(IR))
其中，FD,FC分别为失真信息和内容信息提取模块，TD,TC分别为对应的变换，ID，IR分别为失真图像和参考图像。同时计算多个客观质量评价算法得到质量分数向量：
VS＝[SSIM(ID,IR),PSNR(ID,IR),……]
将质量分数向量结合图像内容概率向量进行融合，得到带有内容特性的失真类型先验分数向量：
VSC＝TSC(VC,VS)
其中TSC为融合模块。最终利用失真类型概率向量对失真类型先验分数向量进行加权得到最终分数：
S＝VSC*VD
得到的最终分数作为模型的客观质量评价输出，VD和VC作为失真类型和图像内容信息输出可以反应属于不同失真类型和图像内容的概率。
本发明能针对不同的失真类型和图像内容能做出适应性的调整，从而对各种失真类型以及图像内容的质量分数预测具有很好的主观一致性，如表1所示，相关指标越高越好。
表1本发明在数据库1上相关系数的性能比较
Figure BDA0003126202590000061
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多算法融合的图像质量评价方法，包括：
利用特征提取器对失真类型和图像内容信息进行提取，经过变换后得到概率向量作为其他模块的输入和信息输出；
计算失真图像和参考图像的多个质量评价算法分数，进而得到质量分数向量；
将得到的多个质量分数向量和图像内容概率向量进行非线性变换融合，输出不同失真先验时的图像内容适应性质量评价预测分数向量；
根据失真类型信息给不同失真先验下的预测分数向量 赋予权重，得到具有失真类型适应性的质量评价预测分数作为最终的质量评价分数。
2.根据权利要求1所述的评价方法，所述概率向量为：
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE004
其中，
Figure DEST_PATH_IMAGE006
失真类型和图像内容信息输出，
Figure DEST_PATH_IMAGE008
分别为失真信息和内容信息提取模块，
Figure DEST_PATH_IMAGE010
分别为对应的变换，
Figure DEST_PATH_IMAGE012
分别为失真图像和参考图像。
3.根据权利要求1所述的评价方法，所述计算失真图像和参考图像的多个质量评价算法分数，进而得到质量分数向量：
Figure DEST_PATH_IMAGE014
4.根据权利要求1所述的评价方法，所述将得到的多个质量分数向量和图像内容概率向量进行非线性变换融合，输出不同失真先验时的图像内容适应性质量评价预测分数向量：
Figure DEST_PATH_IMAGE016
其中，
Figure DEST_PATH_IMAGE018
为融合模块。
5.根据权利要求1所述的评价方法，所述根据失真类型信息给不同失真先验下的预测分数向量赋予权重为采用线性加权进行赋予权重。
6.一种基于多算法融合的图像质量评价模型，所述评价模型包括：
失真类型和图像内容信息提取模块，用于利用特征提取器对失真类型和图像内容信息进行提取，经过变换后得到概率向量作为其他模块的输入和信息输出；
质量分数向量计算模块，用于计算失真图像和参考图像的多个质量评价算法分数，进而得到质量分数向量；
非线性变换融合模块，将得到的多个质量分数向量和图像内容概率向量进行非线性变换融合，输出不失真先验时的图像内容适应性质量评价预测分数向量；
线性加权模块，根据失真类型信息给不同失真先验下的预测分数向量 赋予权重，得到具有失真类型适应性的质量评价预测分数作为最终的质量评价分数。
7.根据权利要求6所述的评价模型，所述概率向量为：
Figure DEST_PATH_IMAGE002A
Figure DEST_PATH_IMAGE004A
其中，
Figure 396374DEST_PATH_IMAGE006
失真类型和图像内容信息输出，
Figure 749733DEST_PATH_IMAGE008
分别为失真信息和内容信息提取模块，
Figure 529470DEST_PATH_IMAGE010
分别为对应的变换，
Figure 659100DEST_PATH_IMAGE012
分别为失真图像和参考图像。
8.根据权利要求6所述的评价模型，所述计算失真图像和参考图像的多个质量评价算法分数，进而得到质量分数向量：
Figure DEST_PATH_IMAGE014A
9.根据权利要求6所述的评价模型，所述将得到的多个质量分数向量和图像内容概率向量进行非线性变换融合，输出不同失真先验时的图像内容适应性质量评价预测分数向量：
Figure DEST_PATH_IMAGE016A
其中，
Figure 552101DEST_PATH_IMAGE018
为融合模块。
10.根据权利要求6所述的评价模型，所述根据失真类型信息给不同失真先验下的预测分数向量赋予权重为采用线性加权进行赋予权重。
CN202110691115.XA 2021-06-22 2021-06-22 基于多算法融合的图像质量评价方法及评价模型 Active CN113362315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110691115.XA CN113362315B (zh) 2021-06-22 2021-06-22 基于多算法融合的图像质量评价方法及评价模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110691115.XA CN113362315B (zh) 2021-06-22 2021-06-22 基于多算法融合的图像质量评价方法及评价模型

Publications (2)

Publication Number Publication Date
CN113362315A CN113362315A (zh) 2021-09-07
CN113362315B true CN113362315B (zh) 2022-09-30

Family

ID=77535659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110691115.XA Active CN113362315B (zh) 2021-06-22 2021-06-22 基于多算法融合的图像质量评价方法及评价模型

Country Status (1)

Country Link
CN (1) CN113362315B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255358A (zh) * 2018-08-06 2019-01-22 浙江大学 一种基于视觉显著性和深度图的3d图像质量评价方法
CN112233089A (zh) * 2020-10-14 2021-01-15 西安交通大学 一种无参考立体混合失真图像质量评价方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708567B (zh) * 2012-05-11 2014-12-10 宁波大学 一种基于视觉感知的立体图像质量客观评价方法
CN106780432B (zh) * 2016-11-14 2019-05-28 浙江科技学院 一种基于稀疏特征相似度的立体图像质量客观评价方法
CN107122787A (zh) * 2017-02-14 2017-09-01 北京理工大学 一种基于特征融合的图像缩放质量评价方法
CN107371016A (zh) * 2017-07-25 2017-11-21 天津大学 基于非对称失真的无参考3d立体图像质量评价方法
CN107770517A (zh) * 2017-10-24 2018-03-06 天津大学 基于图像失真类型的全参考图像质量评价方法
CN109345552A (zh) * 2018-09-20 2019-02-15 天津大学 基于区域权重的立体图像质量评价方法
CN110310343B (zh) * 2019-05-28 2023-10-03 西安万像电子科技有限公司 图像处理方法及装置
CN110827241B (zh) * 2019-10-21 2022-08-12 国家广播电视总局广播电视规划院 基于颜色失真和对比度增强的低亮度增强图片全参考方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255358A (zh) * 2018-08-06 2019-01-22 浙江大学 一种基于视觉显著性和深度图的3d图像质量评价方法
CN112233089A (zh) * 2020-10-14 2021-01-15 西安交通大学 一种无参考立体混合失真图像质量评价方法

Also Published As

Publication number Publication date
CN113362315A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
US11310509B2 (en) Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (VQA)
Shen et al. Hybrid no-reference natural image quality assessment of noisy, blurry, JPEG2000, and JPEG images
CN106127741B (zh) 基于改良自然场景统计模型的无参考图像质量评价方法
Sun et al. Deep learning based full-reference and no-reference quality assessment models for compressed ugc videos
Ma et al. Reduced-reference image quality assessment in reorganized DCT domain
Wang et al. Novel spatio-temporal structural information based video quality metric
CN104023225B (zh) 基于空时域自然场景统计特征的无参考视频质量评估方法
CN110944200B (zh) 一种评估沉浸式视频转码方案的方法
CN105049838B (zh) 一种用于压缩立体视频质量的客观评价方法
Shao et al. No-reference view synthesis quality prediction for 3-D videos based on color–depth interactions
CN112637594B (zh) 一种基于比特流的无参考3d点云质量评估方法
CN106127234B (zh) 基于特征字典的无参考图像质量评价方法
Ghadiyaram et al. A no-reference video quality predictor for compression and scaling artifacts
CN114125495A (zh) 视频质量评估模型训练方法、视频质量评价方法和装置
CN108830829B (zh) 联合多种边缘检测算子的无参考质量评价算法
CN108682005B (zh) 基于协方差矩阵特征的半参考3d合成图像质量评价方法
Shukla et al. Opinion unaware image quality assessment via adversarial convolutional variational autoencoder
CN113362315B (zh) 基于多算法融合的图像质量评价方法及评价模型
Katakol et al. Distributed learning and inference with compressed images
Ma et al. Reduced reference video quality assessment based on spatial HVS mutual masking and temporal motion estimation
Peng et al. Multiple levels perceptual noise backed visual information fidelity for picture quality assessment
CN116524387A (zh) 一种基于深度学习网络的超高清视频压缩损伤等级评估方法
Farah et al. Full-reference and reduced-reference quality metrics based on SIFT
Tiotsop et al. Full reference video quality measures improvement using neural networks
Boujut et al. No-reference video quality assessment of H. 264 video streams based on semantic saliency maps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant