CN109447903A - 一种半参考型超分辨率重构图像质量评价模型的建立方法 - Google Patents

一种半参考型超分辨率重构图像质量评价模型的建立方法 Download PDF

Info

Publication number
CN109447903A
CN109447903A CN201811213803.XA CN201811213803A CN109447903A CN 109447903 A CN109447903 A CN 109447903A CN 201811213803 A CN201811213803 A CN 201811213803A CN 109447903 A CN109447903 A CN 109447903A
Authority
CN
China
Prior art keywords
image
resolution
low
definition picture
quality evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811213803.XA
Other languages
English (en)
Other versions
CN109447903B (zh
Inventor
汤丽娟
孙克争
王鑫
王光成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Daguo Intelligent Technology Co.,Ltd.
Original Assignee
Jiangsu Commerce And Trade Professional School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Commerce And Trade Professional School filed Critical Jiangsu Commerce And Trade Professional School
Priority to CN201811213803.XA priority Critical patent/CN109447903B/zh
Publication of CN109447903A publication Critical patent/CN109447903A/zh
Application granted granted Critical
Publication of CN109447903B publication Critical patent/CN109447903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种半参考型超分辨率重构图像质量评价模型的建立方法，首先分别对低分辨率图像以及高分辨率图像进行显著性检测，从而提取图像的显著性特征；其次将原图像与显著性特征相乘，并对相乘所得图像进行DWT变化，提取图像中的高频信息，并计算出高分辨率图像相对于低分辨率图像的信息增益；然后采用LBP算子提取低分辨率图像和高分辨率图像的纹理特征，并结合图像显著特征，通过直方图来比较低分辨率和高分辨率图像的纹理相似度；最终结合步骤二得到的信息增益和步骤三得到的纹理相似度，构建半参考型超分辨率重构图像质量评价模型。

Description

一种半参考型超分辨率重构图像质量评价模型的建立方法
技术领域
本发明涉及一种半参考型超分辨率重构图像质量评价模型的建立方法，特别涉及一种利用灰度图像的奇异值分解提取结构和亮度方面失真信息，利用四元数的奇异值分解提取颜色的整体失真信息的半参考型超分辨率重构图像质量评价模型的建立方法和装置。
背景技术
图像超分辨率是指图像超分辨率重构技术依据输入图像的数量分为单张图像超分辨重构以及多张图像的超分辨率重构。单张图像超分辨率重构是指利用单幅图像作为输入得到高分辨率图像，多张图像超分辨率重构是指在同一场景下的多张低分辨率图像作为输入来重构出高分辨率图像。高分辨率图像拥有更多细节信息、更高的像素密度和更细腻的画质。为了获得高分辨率图像，最简单直接的办法就是采用高分辨率的相机。但在实际应用中，鉴于工程成本以及制造工艺的考虑，在许多场合下都不适宜采用高分辨率的相机来进行图像信号的采集。因此，通过超分辨率重构算法来获取高分辨率图像具有实际应用需求。图像超分辨率重构技术在许多方面起到非常重要的作用，比如：计算机视觉、遥感图像、网页浏览、医疗图像、高清电视和视频监控等。
近些年大量的图像超分辨率重构算法被提出，但是怎样有效地去评价这些算法的性能一直是存在的问题。一种简单有效地方法是对图像进行主观的评价，即找不同的人对超分辨率重构图像进行观测打分，所得分数经过处理之后最终得到一个分数作为该图像的质量分数。由于人眼作为图像和视频等信息的最终接受者，因此这种主观评价方法对超分辨率重构图像的评价是值得信赖的。然而采用主观评价的方法对超分辨率重构图像进行评价的成本太高，会花费大量的时间。此外，主观评价方法不易对图像超分辨率重构算法做参数优化的工作。因此针对超分辨率图像以及对应重构算法来说，客观的质量评价模型是非常有意义的。
对超分辨率重构图像进行客观评价是很有挑战的，因为在实际应用中没有高质量的高分辨率图像用作参考图像，所以一些性能较好的全参考质量评价算法：峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)、结构相似性算法(Structural Similarity Index，SSIM)和多尺度结构相似度(Multi-Scale Structural Similarity Index，MS-SSIM)等难以对实际应用中产生的超分辨率重构图像进行有效的评价。由于在图像超分辨率重构过程中带来了复合失真，比如模糊、振铃效应以及纹理失真等。因此现存的性能比较优越的通用无参考型质量评价算法：空间域无参考图像质量估计方法(Blind Referenceless ImageSpatial Quality Evaluator，BRISQUE)、基于自由能的鲁棒无参考评价算法(No-Reference Free Energy based Robust Metric，NFERM)和基于码书表示的无参考图像评价方法(Codebook Representation for No-reference Image Assessment，CORNIA)等也难以有效评价超分辨率重构图像。因此对于超分辨率重构图像质量评价这个全新问题，研究有效的超分辨率重构图像及相应重构算法的质量评价算法是有重大意义的。
发明内容
本发明的目的是针对上述问题，提出一种基于基于信息增益和纹理相似性两个点，建立的半参考型超分辨率重构图像质量评价模型。
为实现上述目的，本发明提出一种半参考型超分辨率重构图像质量评价模型的建立方法，该方法包括：
步骤一：分别对低分辨率图像以及高分辨率图像进行显著性检测，从而提取图像的显著性特征；
步骤二：将原图像与显著性特征相乘，并对相乘所得图像进行DWT变化，提取图像中的高频信息，并计算出高分辨率图像相对于低分辨率图像的信息增益；
步骤三：采用LBP算子提取低分辨率图像和高分辨率图像的纹理特征，并结合图像显著特征，通过直方图来比较低分辨率和高分辨率图像的纹理相似度；
步骤四：结合步骤二得到的信息增益和步骤三得到的纹理相似度，构建半参考型超分辨率重构图像质量评价模型。
作为优选，所述步骤一中的显著性检测，从而提取显著性图像包括如下内容：
基于注视的检测模块对低分辨率图像以及高分辨率图像进行视觉显著特征进行提取提取的显著特征M(r)的计算公式如下：
其中，r表示高分辨率图像或低分辨率图像，rg表示r经高斯滤波后的图像，C为常数，P表示梯度，Px表示x方向的梯度，Py表示y方向的梯度，s表示图像信号，表示卷积。
作为优选，所述步骤二的具体步骤为：
A、将提取的显著特征M(r)进行取反得到权重矩阵，利用该权重矩阵来对原低分辨率图像以及高分辨率图像进行加权得到图像的显著图像信息：W(r)＝1-M(r)；
B、将得到的显著图像进行DWT变换，得到水平方向高频子带LH，垂直方向的高频子带HL，对角线方向的高频子带HH以及低频子带LL；
C、分别计算低分辨率图像LR和高分辨率图像HR各个子带的信息熵E，
其中，M和N表示各个子带的图像尺寸，i和j表示图像的坐标索引，P(i，j)表示图像经DWT分解之后各子带图像的小波系数；
D、计算高分辨率图像相较于低分辨率图像的LH、HL和HH子带图像的信息熵的增加量的总和S1；
其中，ELH表示高分辨率的子带LH的信息熵，EHL表示高分辨率的子带HL的信息熵，EHH表示高分辨率的子带HH的信息熵，ELH′表示低分辨率的子带LH的信息熵，EHL′表示低分辨率的子带HL的信息熵，EHH′表示低分辨率的子带HH的信息熵。
作为优选，所述步骤三的具体步骤为：
A、采用LBP算子分别提取低分辨率图像LP与高分辨率图像HP的纹理结构，其公式如下：
其中，P和R表示领域的数量和半径，gc和gi是中心位置以及邻域的像素值；
B、将得到的纹理结构与显著图像信息进行结合，得到图像的显著性纹理结构图
U＝LBP(r)·W(r)；
C、采用直方图对低分辨率图像和高分辨率图像得到的显著性纹理结构图进行对比，得到纹理结构的相似程度S2，
H＝hist(U)，
其中，H为显著性纹理结构图U的直方图分布，LR为低分辨率，HR为高分辨率，n表示直方图的数量，c为常数。
作为优选，所述步骤四中结合高分辨率图像相较于低分辨率图像的信息量增益，纹理相似程度，结合后预测图像的视觉质量其中α和β是调整参数。
本发明的有益效果为：本发明所揭示的一种半参考型超分辨率重构图像质量评价模型的建立方法，其具有如下特点：本方法采用低分辨率图像作为参考信息，较其他方法在实际应用中具有可行性，针对超分辨率重构图像在图像超分辨率重构过程中，图像结构发生了退化，特有的振铃效应和模糊等失真，利用图像的显著性检测提取出显著性图像，并结合图像的纹理特征，该过程符合人眼感知***观察超分辨率重构图像更关注图像的细节部分，故此方法在评价超分辨率重构图像的质量上与主观质量评价更加契合，比通用型图像质量评价方法更有针对性，预测结果更准确。
附图说明
图1是本发明提出的半参考型超分辨率重构图像质量评价模型的建立方法流程图；
图2是本发明中信息增益对高分辨率重构图像的质量评估图；
图3是低分辨率和高分辨率图像以及与其对应的显著性纹理结构图及直方图；
图4是参数α和β优化对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明所揭示的一种半参考型超分辨率重构图像质量评价模型的建立方法，该方法包括：
步骤一：分别对低分辨率图像LR以及高分辨率图像HR进行显著性检测，从而提取图像的显著性特征；
步骤二：将原图像与显著性特征相乘，并对相乘所得图像进行DWT变化，提取图像中的高频信息，并计算出高分辨率图像相对于低分辨率图像的信息增益；
步骤三：采用LBP算子提取低分辨率图像和高分辨率图像的纹理特征，并结合图像显著特征，通过直方图来比较低分辨率和高分辨率图像的纹理相似度；
步骤四：结合步骤二得到的信息增益和步骤三得到的纹理相似度，构建半参考型超分辨率重构图像质量评价模型。
视觉显著性能够提高质量评估模块在实际应用中的性能，然而根据眼动仪测得的显著性区域以及大多数现有的显著性技术难以有效作用于超分辨率图像(SR)的质量评估任务，故而本发明是基于模拟人眼运动“注视和扫视”的显著性检测方法，由于在对SR图像进行主观测试时，大多是采用“注视”的观测方法，因此在本发明中只采用针对“注视”的检测模块进行显著性检测，具体包括：
基于注视的检测模块对低分辨率图像以及高分辨率图像进行视觉显著特征进行提取提取的显著特征M(r)的计算公式如下：
其中，r表示高分辨率图像或低分辨率图像，rg表示r经高斯滤波后的图像，C为常数，P表示梯度，Px表示x方向的梯度，Py表示y方向的梯度，s表示图像信号，表示卷积；
在进行低分辨率图像显著性检测是，r输入的是低分辨率图像LR，得到的显著性特征应为M(LR)，而在进行高分辨率图像显著性检测时，r输入的是高分辨率图像HR，得到的显著性特征应为M(HR)。
图像超分辨率重构是将LR图像进行重构生成HR图像，以从重构的HR图像中获得的更多的信息。由于在图像超分辨率重构过程中对于低频部分进行重构是相对容易的，因此现有图像超分辨率重构算法主要是针对高频信息的重构来设计的。本发明也针对HR图像相较于LR图像的高频部分的信息增加量来设计了信息增益模块，具体如下：
A、将提取的显著特征M(r)进行取反得到权重矩阵，利用该权重矩阵来对原低分辨率图像和高分辨率图像进行加权得到对应图像的显著图像信息：W(r)＝1-M(r)；
B、将得到的显著图像进行DWT变换，得到水平方向高频子带LH，垂直方向的高频子带HL，对角线方向的高频子带HH以及低频子带LL；
C、分别计算低分辨率图像LR和高分辨率图像HR高频部分各个子带的信息熵E，
其中，M和N表示各个子带(LH，HL，HH)的图像尺寸，i和j表示图像的坐标索引，P(i，j)表示图像经DWT分解之后各子带图像的小波系数，进行高分辨率图像计算时，得到的信息熵包括；ELH-高分辨率的子带LH的信息熵，EHL-高分辨率的子带HL的信息熵，EHH-高分辨率的子带HH的信息熵；在进行低分辨率图像计算时，得到的信息熵包括：ELH′-低分辨率的子带LH的信息熵，EHL′-低分辨率的子带HL的信息熵，EHH′-低分辨率的子带HH的信息熵；
D、计算高分辨率图像相较于低分辨率图像的LH、HL和HH子带图像的信息熵的增加量的总和S1；
为了验证信息增益模型S1能否有效地评估超分辨率重构图像，采用信息增益模型S1对同一幅LR图像产生的不同质量的HR图像进行了质量评估，实验结果如图2所示。其中第一行为LR图像以及相对应的HR图像，第二行为相对应第一行图像经显著性模块加权生成的图像。从图2可以看出，不同质量的HR图像，经显著性模块加权之后产生的图像具有更加明显的差异，这也为信息增益模块S1能够有效地评价超分辨率重构图像奠定了基础。随着HR图像MOS值得增大，信息增益模型S1的预测值也随之增大。由此表明，本发明所提出的信息增益模型能够有效地评价超分辨率重构图像。
此外为了验证显著性检测对信息增益模型是否有促进作用。本发明在ECCV-2011超分辨率重构图像库上分别测试了信息增益模型和显著性检测与信息增益模型相结合的评价模型实验结果如表1所示：
表1
从表1可以看出，仅采用信息增益检测模型对ECCV-2011超分辨率重构图像库进行评估，KRCC、SRCC、PLCC和RMSE分别达到了0.6082、0.8078、0.7880和1.1860。然而采用基于显著性检测的信息增益检测模型对超分辨率重构图像库进行质量评估时，KRCC、SRCC、PLCC和RMSE分别达到了0.6257、0.8180、0.8173和1.1100。显而易见，基于显著性检测的信息增益检测模型相较于仅采用信息增益模型在性能上有了显著的提高。说明两者相结合能够更加有效地评价超分辨率重构图像以及相对应的超分辨率重构算法的性能。
图像超分辨率重构在获得更多图像信息的同时，仍要使HR图像的纹理结构尽量的与LR图像的纹理结构相一致。由于不同的图像超分辨率重构算法以及不同的放大因子在对LR图像进行超分辨率重构时，产生的HR图像的纹理结构与LR图像的纹理相比也具有不同程度的退化。所以根据HR图像与LR图像之间的纹理结构差异可以有效地对超分辨率重构图像进行评估。因此本发明基于LR图像和超分辨率重构算法生成的HR图像的纹理相似程度提出一种针对超分辨率重构图像的评价模块，包括如下内容：
A、采用LBP算子分别提取低分辨率图像LP与高分辨率图像HP的纹理结构，其公式如下：
其中，P和R表示领域的数量和半径，gc和gi是中心位置以及邻域的像素值；
B、将得到的纹理结构与显著图像信息进行结合，得到图像的显著性纹理结构图
U＝LBP(r)·W(r)；
C、采用直方图对低分辨率图像和高分辨率图像得到的显著性纹理结构图进行对比，得到纹理结构的相似程度S2，
H＝hist(U)，
其中，H为显著性纹理结构图U的直方图分布，LR为低分辨率，HR为高分辨率，n表示直方图的数量，c为常数，得到的S2即为LR和HR图像之间的纹理相似程度，LR图像和HR图像的纹理结构越相似，S2的值越大，重构出的HR图像的质量也越好，反之亦然。
为了验证纹理相似性特征S2的有效性，图3列举了一个例子，图3第一行为LR图像以及由它进行超分辨率重构生成的不同质量的HR图像。第二行为第一行LR和HR图像的显著性纹理结构图，第三行为对应第二行显著性纹理结构图的直方图分布。从图中可知不同质量的HR图像的显著性纹理结构图有着明显的差异，为了更加直观地比较不同质量的HR图像的纹理结构与LR图像的纹理结构的差异性，第三行列出了纹理结构图的直方图分布。不同HR图像以及对应LR图像的纹理结构直方图差异最明显的部分已在图中用线框圈出。从中可以发现质量越佳的HR图像的纹理结构直方图分布与LR图像的纹理结构直方图越相似。未圈出的部分差异相对较小，但总体来说还是质量越好的HR图像的纹理结构图的直方图分布与其对应的LR图像的纹理结构直方图的分布相似程度越高。图3第一行所示3幅HR图像的mos值依次为5.65、3.85和2.00，相对应的S2的值分别为0.8656、0.7762和0.7217。由此可见随着HR图像质量的变差，S2的值相应的变小，说明LR图像与HR图像的纹理相似程度越低。通过上述实验说明本节所提的纹理结构相似度特征能够有效地评价超分辨率重构图像。
此外，为了验证本节所提出的纹理结构相似模型与显著性模块相结合的必要性。在ECCV-2014超分辨率重构图像库上分别测试了纹理结构相似模型和显著性检测与纹理结构相似模块相结合的评价模型，实验结果如表2所示：
表2
从表2可以看出，仅采用纹理相似模型对ECCV-2014超分辨率重构图像库进行评估，KRCC、SRCC、PLCC和RMSE分别达到了0.4249、0.6067、0.5966和1.5461。然而采用基于显著性检测的纹理结构相似模型对超分辨率重构图像库进行质量评估时，KRCC、SRCC、PLCC和RMSE分别达到了0.4728、0.6602、0.6677和1.4342。显而易见，基于显著性检测的纹理结构相似模型相较于仅采用纹理结构相似模型在性能上有了显著的提高。说明两者相结合能够更加有效地评价超分辨率重构图像。
最后，结合高分辨率图像相较于低分辨率图像的信息量增益，纹理相似程度，结合后预测图像的视觉质量其中α和β是调整参数，在ECCV-2014图像库上，我们对参数α和β进行了参数验证。首先α设置为1，然后对参数β在区间[0，1]内进行参数寻优，实验结果如图4所示。结果表明两者同等重要，即α和β和都被设为1。
下面对本发明中的方法进行实验验证
本发明所提出的半参考型算法在ECCV-2014图像库上进行性能测试。图像库ECCV-2014内的LR图像是由高质量的图像经九种不同的下采样和模糊组合处理生成的，然后再由六种超分辨率图像重构算法进行重构生成HR图像，因此ECCV-2014图像库提供了高质量的图像作为参考图像。为了验证本发明所提出的半参考质量评价算法的有效性和优越性，在ECCV-2014图像库上我们将其与主流的全参考型算法：PSNR、SSIM、MSSSIM、FSIM、IWSSIM、VIF、MAD和GSM，通用无参考型算法：BRISQUE、NFERM、BIQI、DIIVINE、BLLINDSII、NIQE和DESIQUE，以及针对超分辨率重构图像提出的质量评价算法进行了比较吗，结果参见下表3～5，表3为全参考型质量模块在ECCV-2014库上的性能，而表4为无参考型质量模块在ECCV-2014库上的性能。
表3
算法 KRCC SRCC PLCC RMSE
PSNR 0.2068 0.3020 0.3498 1.8048
SSIM 0.3800 0.5308 0.5817 1.5670
FSIM 0.3928 0.5605 0.6586 1.4496
IWSSIM 0.5936 0.7863 0.8538 1.0028
VIF 0.6242 0.8130 0.8543 1.0041
MAD 0.5056 0.6972 0.7528 1.2682
GSM 0.3050 0.4420 0.5494 1.6097
MSSSIM 0.4686 0.6403 0.6802 1.4122
Proposed(RR) 0.6558 0.8503 0.8321 1.0686
表4
采用KRCC、SRCC、PLCC和RMSE四个衡量标准来测试各种图像质量评价算法的性能。KRCC和SRCC表示图像质量评价模型的单调性，通过对主观和客观质量分数直接计算得到。PLCC和RMSE两个标准用来衡量图像质量评价算法的准确性。采用非线性变换函数对图像质量评价算法对图像进行预测所得的客观质量分数进行转换，然后计算主观质量分数和经过转换后的客观质量分数得到PLCC和RMSE两个值。
从实验结果可以看出，在图像库ECCV-2014上，表3中全参考型算法VIF的性能最佳，KRCC、SRCC、PLCC以及RMSE的值分别达到了0.6242、0.8130、0.8543和1.0041，表4中无参考型算法BRISQUE的KRCC、SRCC、PLCC和RMSE的值分别为0.6280、0.8045、0.8818和0.9221，相比于其他算法在准确性方面取得了最佳的结果。本发明所提出半参考质量评价算法所得的KRCC、SRCC、PLCC以及RMSE四个指标分别为0.6558、0.8503、0.8321和1.0686。结合表3和表4可知本发明所提质量评价算法在单调性方面取得了最佳的效果，在准确性方面略次于性能最佳全参考型的评价算法，与基于训练的质量评价方法BRISQUE相比就差了很多。但由于图像的质量评价工作主要是为了对一系列图像的质量进行排序而不仅是给一个准确的分数，因此相比于准确性来说，算法的单调性显得更为重要。并且基于学习的全监督型质量评价算法在图像库内测试时存在过拟合的问题，不具有很好的泛化能力。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种半参考型超分辨率重构图像质量评价模型的建立方法，其特征在于包括：
步骤一：分别对低分辨率图像以及高分辨率图像进行显著性检测，从而提取图像的显著性特征；
步骤二：将原图像与显著性特征相乘，并对相乘所得图像进行DWT变化，提取图像中的高频信息，并计算出高分辨率图像相对于低分辨率图像的信息增益；
步骤三：采用LBP算子提取低分辨率图像和高分辨率图像的纹理特征，并结合图像显著特征，通过直方图来比较低分辨率和高分辨率图像的纹理相似度；
步骤四：结合步骤二得到的信息增益和步骤三得到的纹理相似度，构建半参考型超分辨率重构图像质量评价模型。
2.根据权利要求1所述的一种半参考型超分辨率重构图像质量评价模型的建立方法，其特征在于：所述步骤一中的显著性检测，从而提取显著性图像包括如下内容：
基于注视的检测模块对低分辨率图像以及高分辨率图像进行视觉显著特征进行提取，提取的显著特征M(r)的计算公式如下：
其中，r表示高分辨率图像或低分辨率图像，rg表示r经高斯滤波后的图像，C为常数，P表示梯度，Px表示x方向的梯度，Py表示y方向的梯度，s表示图像信号，表示卷积。
3.根据权利要求2所述的一种半参考型超分辨率重构图像质量评价模型的建立方法，其特征在于：所述步骤二的具体步骤为：
A、将提取的显著特征M(r)进行取反得到权重矩阵，利用该权重矩阵来对原低分辨率图像以及高分辨率图像进行加权得到图像的显著图像信息：W(r)＝1-M(r)；
B、将得到的显著图像进行DWT变换，得到水平方向高频子带LH，垂直方向的高频子带HL，对角线方向的高频子带HH以及低频子带LL；
C、分别计算低分辨率图像LR和高分辨率图像HR各个子带的信息熵E，
其中，M和N表示各个子带的图像尺寸，i和j表示图像的坐标索引，P(i，j)表示图像经DWT分解之后各子带图像的小波系数；
D、计算高分辨率图像相较于低分辨率图像的LH、HL和HH子带图像的信息熵的增加量的总和S1：
其中，ELH表示高分辨率的子带LH的信息熵，EHL表示高分辨率的子带HL的信息熵，EHH表示高分辨率的子带HH的信息熵，ELH′表示低分辨率的子带LH的信息熵，EHL′表示低分辨率的子带HL的信息熵，EHH′表示低分辨率的子带HH的信息熵。
4.根据权利要求3所述的一种半参考型超分辨率重构图像质量评价模型的建立方法，其特征在于：所述步骤三的具体步骤为：
A、采用LBP算子分别提取低分辨率图像LP与高分辨率图像HP的纹理结构，其公式如下：
其中，P和R表示领域的数量和半径，gc和gi是中心位置以及邻域的像素值；
B、将得到的纹理结构与显著图像信息进行结合，得到图像的显著性纹理结构图
U＝LBP(r)·W(r)；
C、采用直方图对低分辨率图像和高分辨率图像得到的显著性纹理结构图进行对比，得到纹理结构的相似程度S2，
H＝hist(U)，
其中，H为显著性纹理结构图U的直方图分布，LR为低分辨率，HR为高分辨率，n表示直方图的数量，c为常数。
5.根据权利要求4所述的一种半参考型超分辨率重构图像质量评价模型的建立方法，其特征在于：所述步骤四中结合高分辨率图像相较于低分辨率图像的信息量增益，纹理相似程度，结合后预测图像的视觉质量其中α和β是调整参数。
CN201811213803.XA 2018-10-17 2018-10-17 一种半参考型超分辨率重构图像质量评价模型的建立方法 Active CN109447903B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811213803.XA CN109447903B (zh) 2018-10-17 2018-10-17 一种半参考型超分辨率重构图像质量评价模型的建立方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811213803.XA CN109447903B (zh) 2018-10-17 2018-10-17 一种半参考型超分辨率重构图像质量评价模型的建立方法

Publications (2)

Publication Number Publication Date
CN109447903A true CN109447903A (zh) 2019-03-08
CN109447903B CN109447903B (zh) 2022-11-18

Family

ID=65546625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811213803.XA Active CN109447903B (zh) 2018-10-17 2018-10-17 一种半参考型超分辨率重构图像质量评价模型的建立方法

Country Status (1)

Country Link
CN (1) CN109447903B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415242A (zh) * 2019-08-02 2019-11-05 中国人民解放军军事科学院国防科技创新研究院 一种基于参考图像的超分辨倍率评价方法
CN113298337A (zh) * 2020-10-19 2021-08-24 阿里巴巴集团控股有限公司 一种质量评价方法和装置
CN113436078A (zh) * 2021-08-10 2021-09-24 诺华视创电影科技(江苏)有限公司 一种自适用图像超分辨率重构方法及装置
CN117495854A (zh) * 2023-12-28 2024-02-02 淘宝（中国）软件有限公司 视频数据处理方法、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825500A (zh) * 2016-03-10 2016-08-03 江苏商贸职业学院 一种对相机图像质量的评价方法与装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825500A (zh) * 2016-03-10 2016-08-03 江苏商贸职业学院 一种对相机图像质量的评价方法与装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
KE GU: "Saliency-Guided Quality Assessment of Screen Content Images", 《IEEE TRANSACTIONS ON MULTIMEDIA》 *
LIJUAN TANG: "A reduced-reference quality assessment metric for super-resolution reconstructed images with information gain and texture similarity", 《SIGNAL PROCESSING: IMAGE COMMUNICATION》 *
LIXIONG LIU等: "No-reference image quality assessment based on spatial and spectral entropies", 《SIGNAL PROCESSING: IMAGE COMMUNICATION》 *
王小怡等: "超分辨率重建图像质量评价算法分析", 《信息通信》 *
范赐恩等: "颜色空间统计联合纹理特征的无参考图像质量评价", 《光学精密工程》 *
黄慧娟等: "基于SVD的超分辨率重建图像质量无参考评价方法", 《计算机辅助设计与图形学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415242A (zh) * 2019-08-02 2019-11-05 中国人民解放军军事科学院国防科技创新研究院 一种基于参考图像的超分辨倍率评价方法
CN110415242B (zh) * 2019-08-02 2020-05-19 中国人民解放军军事科学院国防科技创新研究院 一种基于参考图像的超分辨倍率评价方法
CN113298337A (zh) * 2020-10-19 2021-08-24 阿里巴巴集团控股有限公司 一种质量评价方法和装置
CN113436078A (zh) * 2021-08-10 2021-09-24 诺华视创电影科技(江苏)有限公司 一种自适用图像超分辨率重构方法及装置
CN117495854A (zh) * 2023-12-28 2024-02-02 淘宝（中国）软件有限公司 视频数据处理方法、设备及存储介质
CN117495854B (zh) * 2023-12-28 2024-05-03 淘宝（中国）软件有限公司 视频数据处理方法、设备及存储介质

Also Published As

Publication number Publication date
CN109447903B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
Ciancio et al. No-reference blur assessment of digital pictures based on multifeature classifiers
Narvekar et al. A no-reference image blur metric based on the cumulative probability of blur detection (CPBD)
CN109447903A (zh) 一种半参考型超分辨率重构图像质量评价模型的建立方法
Zarić et al. VCL@ FER image quality assessment database
KR101664913B1 (ko) 영상의 멀티레벨 분해를 이용하여 영상에 대한 품질 측정을 결정하는 방법 및 시스템
Liu et al. A perceptually relevant no-reference blockiness metric based on local image characteristics
CN101562675B (zh) 基于Contourlet变换的无参考型图像质量评测方法
CN101482973B (zh) 基于早期视觉的部分参考图像质量评价方法
Yeganeh et al. Objective quality assessment for image super-resolution: A natural scene statistics approach
CN105049851A (zh) 基于色彩感知的通用无参考图像质量评价方法
Tang et al. A reduced-reference quality assessment metric for super-resolution reconstructed images with information gain and texture similarity
Moorthy et al. Visual perception and quality assessment
CN102036098B (zh) 一种基于视觉信息量差异的全参考型图像质量评价方法
Li et al. Perceptual quality evaluation for image defocus deblurring
CN105631890B (zh) 基于图像梯度和相位一致性的失焦图片质量评价方法
CN104021523A (zh) 一种基于边缘分类的图像超分辨率放大的新方法
Li et al. GridSAR: Grid strength and regularity for robust evaluation of blocking artifacts in JPEG images
Li et al. A natural image quality evaluation metric
Feng et al. Real-world non-homogeneous haze removal by sliding self-attention wavelet network
Xue et al. Image quality assessment with mean squared error in a log based perceptual response domain
Moreno et al. Towards no-reference of peak signal to noise ratio
Liao et al. An image quality assessment algorithm based on dual-scale edge structure similarity
Wang et al. No-Reference Quality Assessment of Super-Resolution Reconstructed Images by Incorporating Domain Knowledge.
Ding et al. Screen content video quality assessment based on spatiotemporal sparse feature
CN111325720A (zh) 一种多视觉特征集成的无参考超分辨图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231123

Address after: Room 106, Building 30, Jiangjingyuan, No. 52 Yaogang Road, Chongchuan District, Nantong City, Jiangsu Province, 226000

Patentee after: Nantong Daguo Intelligent Technology Co.,Ltd.

Address before: No.48 jiangtongdao Road, Nantong City, Jiangsu Province, 226000

Patentee before: JIANGSU VOCATIONAL College OF BUSINESS