CN111598826B - 基于联合多尺度图片特征的图片客观质量评价方法、*** - Google Patents
基于联合多尺度图片特征的图片客观质量评价方法、*** Download PDFInfo
- Publication number
- CN111598826B CN111598826B CN201910122634.7A CN201910122634A CN111598826B CN 111598826 B CN111598826 B CN 111598826B CN 201910122634 A CN201910122634 A CN 201910122634A CN 111598826 B CN111598826 B CN 111598826B
- Authority
- CN
- China
- Prior art keywords
- picture
- similarity
- edge
- representing
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013441 quality evaluation Methods 0.000 title claims description 17
- NTHWMYGWWRZVTN-UHFFFAOYSA-N sodium silicate Chemical compound [Na+].[Na+].[O-][Si]([O-])=O NTHWMYGWWRZVTN-UHFFFAOYSA-N 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 91
- 238000011156 evaluation Methods 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 7
- 238000009825 accumulation Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000001303 quality assessment method Methods 0.000 claims 3
- 230000006835 compression Effects 0.000 abstract description 4
- 238000007906 compression Methods 0.000 abstract description 4
- 238000012795 verification Methods 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000208199 Buxus sempervirens Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于联合多尺度图片特征的图片客观质量评价方法、***，包括：图片处理步骤：使用高斯金字塔与拉普拉斯金字塔将原图片处理成不同尺度的图片组，分别记为y0 (n)与y1 (n)，从y1 (n)提取获得边结构特征；边显著特征提取步骤：使用亮度掩膜与对比度掩膜，从高斯金字塔处理后的图片组y0 (n)与拉普拉斯金字塔处理后的图片组y1 (n)中提取获得边显著度特征。本发明对桌面图片质量评价准确度更高，通过现有数据库验证发现，综合性能相比现有技术更加优越，并且对桌面图片的失真类型：高斯模糊、运动模糊与JPEG2000压缩失真具有突出优越性能。
Description
技术领域
本发明涉及图像处理领域，具体地，涉及基于联合多尺度图片特征的图片客观质量评价方法、***。
背景技术
随着智能终端，如智能手机、平板与笔记本电脑的广泛应用，桌面内容图片已经代替自然图片成为人们日常生活中最常见、消费量最高的图片。桌面内容图片是计算机生成的，由图形、文本与自然图片组合而成的一种图片，大量使用在桌面游戏、桌面协作与远程教育等应用下。针对这些应用，图片质量显得尤为重要。但由于桌面内容图片与自然图片具有不同的特征，传统的为自然图片设计的质量评价方法并不能很好地反映出桌面内容图片的失真情况：相比于自然图片颜色丰富、边缘平滑的特点，桌面内容图片往往相对颜色单一、边缘锐利并充斥着大量重复的图形；且自然图片的失真一般是由于物理传感器能力有限引起，但桌面内容图片的失真一般都是由计算机自身原因产生的。因此迫切需要针对内面内容图片准确、高效的客观质量评价方法。
专利文献CN108335289A(申请号：201810049789.8)公开了一种全参考融合的图像客观质量评价方法，包括：选择图片数据库作为模型训练的输入，将图片按照失真类型分组，每种失真类型下有不同程度失真的图片，分别获得每组图片的文件名及标签；特征提取，选用多种全参考度量算法，对每种失真类型中的图片分别打分，每组图片经过一种全参考度量算法运算会得到一个特征向量，将得到特征向量组成特征矩阵；数据预处理，将失真图像标签和失真类型对应的特征向量分数分别规范化到(1,100)和(0,1)之间，并进行转置处理以满足SVM训练需要；特征训练，得到质量评价模型。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于联合多尺度图片特征的图片客观质量评价方法、***。
根据本发明提供的一种基于联合多尺度图片特征的图片客观质量评价方法，包括：
图片处理步骤：使用高斯金字塔与拉普拉斯金字塔将原图片处理成不同尺度的图片组，分别记为y0 (n)与y1 (n)，从y1 (n)提取获得边结构特征；
边显著特征提取步骤：使用亮度掩膜与对比度掩膜，从高斯金字塔处理后的图片组y0 (n)与拉普拉斯金字塔处理后的图片组y1 (n)中提取获得边显著度特征；
特征相似度计算步骤：根据获得的边结构特征和边显著度特征，计算获得边结构相似度和边显著度相似度；
特征组合步骤：根据获得的边结构相似度和边显著度相似度，计算获得最终局部质量图；
特征池化步骤：根据获得的最终局部质量图，计算获得最终客观评价分数。
优选地，所述图片处理步骤：
使用高斯金字塔与拉普拉斯金字塔将原图片处理成不同尺度的图片组，分别记为y0 (n)与y1 (n)。
优选地，所述边显著特征提取步骤：
使用亮度掩膜与对比度掩膜，从高斯金字塔处理后的图片组y0 (n)与拉普拉斯金字塔处理后的图片组y1 (n)中提取获得边显著度特征，计算公式如下：
其中，
CLM (n)表示亮度掩膜计算结果，是基于高斯金字塔与拉普拉斯金字塔处理后的图片组的图像特征；
y1 (n)表示拉普拉斯金字塔处理后的图片组；
y0 (n)表示高斯金字塔处理后的图片组；
n表示图层的层数；
图层y1 (1)表现出的图片特征为边结构特征；
γ1表示亮度对比度阈值；
||表示取绝对值操作；
a1表示保证等式稳定性的常数；
CLCM (n)表示对比度掩膜计算结果，是基于CLM (n)处理后的图片组的图像特征；
n表示图层的层数；
CLCM (1)表示n＝1时表现出的图片特征为边显著度特征；
a2表示保证等式稳定性的常数；
γ2表示对比度可检测阈值；
G(x,y；σ)表示高斯核函数；
*表示卷积；
↑2表示上采样。
优选地，所述特征相似度计算步骤：
根据获得的边结构特征和边显著度特征，计算获得边结构相似度，计算公式如下：
其中，
S1(x,y)表示点(x,y)边结构相似度；
下标r与d分别表示该特征取自参考图片或失真图片；
y1r (1)(x,y)表示参考图片在点(x,y)处n＝1时的边结构特征；
y1d (2)(x,y)表示失真图片在点(x,y)处n＝2时的边结构特征；
T1表示是一个为了保证等式稳定性的非零常数；
根据获得的边结构特征和边显著度特征，计算获得边显著度相似度，计算公式如下：
S2(x,y)＝MS1(x,y)α·MS2(x,y)
其中，
S2(x,y)表示点(x,y)边显著度相似度；
α表示S2(x,y)中M S1(x,y)所占权重；
MS1(x,y)表示通过相似度计算函数计算后的边结构相似度；
MS2(x,y)表示通过相似度计算函数计算后的边显著相似度；
w1(x,y)表示权重因子；
GLMr (1)(x,y)表示参考图片在点(x,y)处n＝1时的LM掩膜特征；
GLMd (1)(x,y)表示参考图片在点(x,y)处n＝1时的LM掩膜特征；
T2表示为了保证等式稳定性的非零常数；
∑(x,y)w1(x,y)表示图片上所有的点处w1(x,y)的累加；
CLCMr (1)(x,y)表示参考图片在点(x,y)处n＝1时的LCM掩膜特征；
CLCMd (1)(x,y)表示失真图片在点(x,y)处n＝1时的LCM掩膜特征；
CLCMd (2)(x,y)表示表示失真图片在点(x,y)处n＝2时的LCM掩膜特征；
T3表示一个为了保证等式稳定性的非零常数。
优选地，所述特征组合步骤:
根据获得的边结构相似度和边显著度相似度，计算获得局部质量相似度，计算公式如下：
SQM(x,y)＝(S1(x,y))ξ·(S2(x,y))ψ
＝(S1(x,y))ξ·MS1(x,y)μ·MS2(x,y)ψ
μ＝ψ·α
其中，
SQM(x,y)表示点(x,y)处局部质量相似度；
ξ表示S1(x,y)在局部质量SQM(x,y)所占权重；
ψ表示M S1(x,y)在局部质量SQM(x,y)所占权重；
μ表示M S2(x,y)在局部质量SQM(x,y)所占权重；
α表示S2(x,y)中M S1(x,y)所占权重。
优选地,所述特征池化步骤：
根据获得的局部质量图相似度，计算获得最终客观评价分数，计算公式如下：
w2(x,y)＝max(y1r (2)(x,y),y1d (2)(x,y))
其中，
S表示最终客观评价分数；
w2(x,y)表示权重参数。
y1r (2)(x,y)表示参考图片在点(x,y)处n＝2时的的边结构特征。
根据本发明提供的一种基于联合多尺度图片特征的桌面内容图片客观质量评价***，包括：
图片处理模块：使用高斯金字塔与拉普拉斯金字塔将原图片处理成不同尺度的图片组，分别记为y0 (n)与y1 (n)，从y1 (n)提取获得边结构特征；
边显著特征提取模块：使用亮度掩膜与对比度掩膜，从高斯金字塔处理后的图片组y0 (n)与拉普拉斯金字塔处理后的图片组y1 (n)中提取获得边显著度特征；
特征相似度计算模块：根据获得的边结构特征和边显著度特征，计算获得边结构相似度和边显著度相似度；
特征组合模块：根据获得的边结构相似度和边显著度相似度，计算获得最终局部质量图；
特征池化模块：根据获得的最终局部质量图，计算获得最终客观评价分数。
优选地，所述图片处理模块：
使用高斯金字塔与拉普拉斯金字塔将原图片处理成不同尺度的图片组，分别记为y0 (n)与y1 (n)；
所述边显著特征提取模块：
使用亮度掩膜与对比度掩膜，从高斯金字塔处理后的图片组y0 (n)与拉普拉斯金字塔处理后的图片组y1 (n)中提取获得边显著度特征，计算公式如下：
其中，
CLM (n)表示亮度掩膜计算结果，是基于高斯金字塔与拉普拉斯金字塔处理后的图片组的图像特征；
y1 (n)表示拉普拉斯金字塔处理后的图片组；
y0 (n)表示高斯金字塔处理后的图片组；
n表示图层的层数；
图层y1 (1)表现出的图片特征为边结构特征；
γ1表示亮度对比度阈值；
||表示取绝对值操作；
a1表示保证等式稳定性的常数；
CLCM (n)表示对比度掩膜计算结果，是基于CLM (n)处理后的图片组的图像特征；
n表示图层的层数；
CLCM (1)表示n＝1时表现出的图片特征为边显著度特征；
a2表示保证等式稳定性的常数；
γ2表示对比度可检测阈值；
G(x,y；σ)表示高斯核函数；
*表示卷积；
↑2表示上采样；
所述特征相似度计算模块：
根据获得的边结构特征和边显著度特征，计算获得边结构相似度，计算公式如下：
其中，
S1(x,y)表示点(x,y)边结构相似度；
下标r与d分别表示该特征取自参考图片或失真图片；
y1r (1)(x,y)表示参考图片在点(x,y)处n＝1时的边结构特征；
y1d (2)(x,y)表示失真图片在点(x,y)处n＝2时的边结构特征；
T1表示是一个为了保证等式稳定性的非零常数；
根据获得的边结构特征和边显著度特征，计算获得边显著度相似度，计算公式如下：
S2(x,y)＝MS1(x,y)α·MS2(x,y)
其中，
S2(x,y)表示点(x,y)边显著度相似度；
α表示S2(x,y)中M S1(x,y)所占权重；
MS1(x,y)表示通过相似度计算函数计算后的边结构相似度；
MS2(x,y)表示通过相似度计算函数计算后的边显著相似度；
w1(x,y)表示权重因子；
CLMr (1)(x,y)表示参考图片在点(x,y)处n＝1时的LM掩膜特征；
CLMd (1)(x,y)表示参考图片在点(x,y)处n＝1时的LM掩膜特征；
T2表示为了保证等式稳定性的非零常数；
∑(x,y)w1(x,y)表示图片上所有的点处w1(x,y)的累加；
CLCMr (1)(x,y)表示参考图片在点(x,y)处n＝1时的LCM掩膜特征；
CLCMd (1)(x,y)表示失真图片在点(x,y)处n＝1时的LCM掩膜特征；
CLCMd (2)(x,y)表示表示失真图片在点(x,y)处n＝2时的LCM掩膜特征；
T3表示一个为了保证等式稳定性的非零常数。
优选地,所述特征组合模块:
根据获得的边结构相似度和边显著度相似度，计算获得局部质量相似度，计算公式如下：
SQM(x,y)＝(S1(x,y))ξ·(S2(x,y))ψ
＝(S1(x,y))ξ·MS1(x,y)μ·MS2(x,y)ψ
μ＝ψ·α
其中，
SQM(x,y)表示点(x,y)处局部质量相似度；
ξ表示S1(x,y)在局部质量SQM(x,y)所占权重；
ψ表示M S1(x,y)在局部质量SQM(x,y)所占权重；
μ表示M S2(x,y)在局部质量SQM(x,y)所占权重；
α表示S2(x,y)中M S1(x,y)所占权重。
所述特征池化模块：
根据获得的局部质量图相似度，计算获得最终客观评价分数，计算公式如下：
w2(x,y)＝max(y1r (2)(x,y),y1d (2)(x,y))
其中，
S表示最终客观评价分数；
w2(x,y)表示权重参数。
y1r (2)(x,y)表示参考图片在点(x,y)处n＝2时的的边结构特征。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述中任一项所述的基于联合多尺度图片特征的图片客观质量评价方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
本发明对桌面图片质量评价准确度更高，通过现有数据库验证发现，综合性能相比现有技术更加优越，并且对桌面图片的失真类型：高斯模糊、运动模糊与JPEG2000压缩失真具有突出优越性能。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明提供的处理流程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种基于联合多尺度图片特征的图片客观质量评价方法，包括：
图片处理步骤：使用高斯金字塔与拉普拉斯金字塔将原图片处理成不同尺度的图片组，分别记为y0 (n)与y1 (n)，从y1 (n)提取获得边结构特征；
边显著特征提取步骤：使用亮度掩膜与对比度掩膜，从高斯金字塔处理后的图片组y0 (n)与拉普拉斯金字塔处理后的图片组y1 (n)中提取获得边显著度特征；
特征相似度计算步骤：根据获得的边结构特征和边显著度特征，计算获得边结构相似度和边显著度相似度；
特征组合步骤：根据获得的边结构相似度和边显著度相似度，计算获得最终局部质量图；
特征池化步骤：根据获得的最终局部质量图，计算获得最终客观评价分数。
具体地，所述图片处理步骤：
使用高斯金字塔与拉普拉斯金字塔将原图片处理成不同尺度的图片组，分别记为y0 (n)与y1 (n)。
具体地，所述边显著特征提取步骤：
使用亮度掩膜与对比度掩膜，从高斯金字塔处理后的图片组y0 (n)与拉普拉斯金字塔处理后的图片组y1 (n)中提取获得边显著度特征，计算公式如下：
其中，
CLM (n)表示亮度掩膜计算结果，是基于高斯金字塔与拉普拉斯金字塔处理后的图片组的图像特征；
y1 (n)表示拉普拉斯金字塔处理后的图片组；
y0 (n)表示高斯金字塔处理后的图片组；
n表示图层的层数；
图层y1 (1)表现出的图片特征为边结构特征；
γ1表示亮度对比度阈值；
||表示取绝对值操作；
a1表示保证等式稳定性的常数；
CLCM (n)表示对比度掩膜计算结果，是基于CLM (n)处理后的图片组的图像特征；
n表示图层的层数；
CLCM (1)表示n＝1时表现出的图片特征为边显著度特征；
a2表示保证等式稳定性的常数；
γ2表示对比度可检测阈值；
G(x,y；σ)表示高斯核函数；
*表示卷积；
↑2表示上采样。
具体地，所述特征相似度计算步骤：
根据获得的边结构特征和边显著度特征，计算获得边结构相似度，计算公式如下：
其中，
S1(x,y)表示点(x,y)边结构相似度；
下标r与d分别表示该特征取自参考图片或失真图片；
y1r (1)(x,y)表示参考图片在点(x,y)处n＝1时的边结构特征；
y1d (2)(x,y)表示失真图片在点(x,y)处n＝2时的边结构特征；
T1表示是一个为了保证等式稳定性的非零常数；
根据获得的边结构特征和边显著度特征，计算获得边显著度相似度，计算公式如下：
S2(x,y)＝MS1(x,y)α·MS2(x,y)
其中，
S2(x,y)表示点(x,y)边显著度相似度；
α表示S2(x,y)中M S1(x,y)所占权重；
MS1(x,y)表示通过相似度计算函数计算后的边结构相似度；
MS2(x,y)表示通过相似度计算函数计算后的边显著相似度；
w1(x,y)表示权重因子；
CLMr (1)(x,y)表示参考图片在点(x,y)处n＝1时的LM掩膜特征；
CLMd (1)(x,y)表示参考图片在点(x,y)处n＝1时的LM掩膜特征；
T2表示为了保证等式稳定性的非零常数；
∑(x,y)w1(x,y)表示图片上所有的点处w1(x,y)的累加；
CLCMr (1)(x,y)表示参考图片在点(x,y)处n＝1时的LCM掩膜特征；
CLCMd (1)(x,y)表示失真图片在点(x,y)处n＝1时的LCM掩膜特征；
CLCMd (2)(x,y)表示表示失真图片在点(x,y)处n＝2时的LCM掩膜特征；
T3表示一个为了保证等式稳定性的非零常数。
具体地，所述特征组合步骤:
根据获得的边结构相似度和边显著度相似度，计算获得局部质量相似度，计算公式如下：
SQM(x,y)＝(S1(x,y))ξ·(S2(x,y))ψ
＝(S1(x,y))ξ·MS1(x,y)μ·MS2(x,y)ψ
μ＝ψ·α
其中，
SQM(x,y)表示点(x,y)处局部质量相似度；
ξ表示S1(x,y)在局部质量SQM(x,y)所占权重；
ψ表示M S1(x,y)在局部质量SQM(x,y)所占权重；
μ表示M S2(x,y)在局部质量SQM(x,y)所占权重；
α表示S2(x,y)中M S1(x,y)所占权重。
具体地,所述特征池化步骤：
根据获得的局部质量图相似度，计算获得最终客观评价分数，计算公式如下：
w2(x,y)＝max(y1r (2)(x,y),y1d (2)(x,y))
其中，
S表示最终客观评价分数；
w2(x,y)表示权重参数。
y1r (2)(x,y)表示参考图片在点(x,y)处n＝2时的的边结构特征。
本发明提供的基于联合多尺度图片特征的桌面内容图片客观质量评价***，可以通过本发明给的基于联合多尺度图片特征的图片客观质量评价方法的步骤流程实现。本领域技术人员可以将所述基于联合多尺度图片特征的图片客观质量评价方法，理解为所述基于联合多尺度图片特征的桌面内容图片客观质量评价***的一个优选例。
根据本发明提供的一种基于联合多尺度图片特征的桌面内容图片客观质量评价***，包括：
图片处理模块：使用高斯金字塔与拉普拉斯金字塔将原图片处理成不同尺度的图片组，分别记为y0 (n)与y1 (n)，从y1 (n)提取获得边结构特征；
边显著特征提取模块：使用亮度掩膜与对比度掩膜，从高斯金字塔处理后的图片组y0 (n)与拉普拉斯金字塔处理后的图片组y1 (n)中提取获得边显著度特征；
特征相似度计算模块：根据获得的边结构特征和边显著度特征，计算获得边结构相似度和边显著度相似度；
特征组合模块：根据获得的边结构相似度和边显著度相似度，计算获得最终局部质量图；
特征池化模块：根据获得的最终局部质量图，计算获得最终客观评价分数。
具体地，所述图片处理模块：
使用高斯金字塔与拉普拉斯金字塔将原图片处理成不同尺度的图片组，分别记为y0 (n)与y1 (n)；
所述边显著特征提取模块：
使用亮度掩膜与对比度掩膜，从高斯金字塔处理后的图片组y0 (n)与拉普拉斯金字塔处理后的图片组y1 (n)中提取获得边显著度特征，计算公式如下：
其中，
CLM (n)表示亮度掩膜计算结果，是基于高斯金字塔与拉普拉斯金字塔处理后的图片组的图像特征；
y1 (n)表示拉普拉斯金字塔处理后的图片组；
y0 (n)表示高斯金字塔处理后的图片组；
n表示图层的层数；
图层y1 (1)表现出的图片特征为边结构特征；
γ1表示亮度对比度阈值；
||表示取绝对值操作；
a1表示保证等式稳定性的常数；
CLCM (n)表示对比度掩膜计算结果，是基于CLM (n)处理后的图片组的图像特征；
n表示图层的层数；
CLCM (1)表示n＝1时表现出的图片特征为边显著度特征；
a2表示保证等式稳定性的常数；
γ2表示对比度可检测阈值；
G(x,y；σ)表示高斯核函数；
*表示卷积；
↑2表示上采样；
所述特征相似度计算模块：
根据获得的边结构特征和边显著度特征，计算获得边结构相似度，计算公式如下：
其中，
S1(x,y)表示点(x,y)边结构相似度；
下标r与d分别表示该特征取自参考图片或失真图片；
y1r (1)(x,y)表示参考图片在点(x,y)处n＝1时的边结构特征；
y1d (2)(x,y)表示失真图片在点(x,y)处n＝2时的边结构特征；
T1表示是一个为了保证等式稳定性的非零常数；
根据获得的边结构特征和边显著度特征，计算获得边显著度相似度，计算公式如下：
S2(x,y)＝MS1(x,y)α·MS2(x,y)
其中，
S2(x,y)表示点(x,y)边显著度相似度；
α表示S2(x,y)中M S1(x,y)所占权重；
MS1(x,y)表示通过相似度计算函数计算后的边结构相似度；
MS2(x,y)表示通过相似度计算函数计算后的边显著相似度；
w1(x,y)表示权重因子；
CLMr (1)(x,y)表示参考图片在点(x,y)处n＝1时的LM掩膜特征；
CLMd (1)(x,y)表示参考图片在点(x,y)处n＝1时的LM掩膜特征；
T2表示为了保证等式稳定性的非零常数；
∑(x,y)w1(x,y)表示图片上所有的点处w1(x,y)的累加；
CLCMr (1)(x,y)表示参考图片在点(x,y)处n＝1时的LCM掩膜特征；
CLCMd (1)(x,y)表示失真图片在点(x,y)处n＝1时的LCM掩膜特征；
CLCMd (2)(x,y)表示表示失真图片在点(x,y)处n＝2时的LCM掩膜特征；
T3表示一个为了保证等式稳定性的非零常数。
具体地,所述特征组合模块:
根据获得的边结构相似度和边显著度相似度，计算获得局部质量相似度，计算公式如下：
SQM(x,y)＝(S1(x,y))ξ·(S2(x,y))ψ
＝(S1(x,y))ξ·MS1(x,y)μ·MS2(x,y)ψ
μ＝ψ·α
其中，
SQM(x,y)表示点(x,y)处局部质量相似度；
ξ表示S1(x,y)在局部质量SQM(x,y)所占权重；
ψ表示M S1(x,y)在局部质量SQM(x,y)所占权重；
μ表示M S2(x,y)在局部质量SQM(x,y)所占权重；
α表示S2(x,y)中M S1(x,y)所占权重。
所述特征池化模块：
根据获得的局部质量图相似度，计算获得最终客观评价分数，计算公式如下：
w2(x,y)＝max(y1r (2)(x,y),y1d (2)(x,y))
其中，
S表示最终客观评价分数；
w2(x,y)表示权重参数。
y1r (2)(x,y)表示参考图片在点(x,y)处n＝2时的的边结构特征。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述中任一项所述的基于联合多尺度图片特征的图片客观质量评价方法的步骤。
下面通过优选例，对本发明进行更为具体地说明。
优选例1：
本发明提出了一种基于联合多尺度的桌面内容图片的客观质量评价方法，提取图片的边结构特征与边显著度特征进行失真程度评价。具体地，结合人眼视觉***特性，设计图片特征提取方式，所提取的图片特征包括两个：
1、边结构特征，
2、边显著度特征。
为实现上述目的，本发明采用了以下技术方案：
1、使用高斯金字塔与拉普拉斯金字塔将原图片处理成不同尺度的图片组，分别记为y0 (n)与y1 (n)；令n＝1从y1 (n)提取边结构特征；
2、使用亮度掩膜(Luminance Masking,LM)与对比度掩膜(Luminance ContrastMasking,LCM)从两个金字塔中提取边显著度特征，具体计算方式如下：
其中
G(x,y；σ)表示高斯核函数，*表示卷积，↑2表示上采样。
亮度掩膜计算结果CLM (n)可以检测出人眼可识别的亮度变化，根据Buchsbaum曲线将γ1设为1；对比度掩膜计算结果CLCM (n)可以检测出人眼可识别对比度变化，根据对比度可检测阈值将γ2设为0.62。
令n＝1从CLCM (n)提取边显著度特征。
3、特征相似度计算
边结构相似度：
S2(x,y)＝MS1(x,y)α·MS2(x,y),
边显著度相似度：
其中，下标r与d分别表示该特征取自参考图片或失真图片，w1(x,y)＝y1r (2)，T1,T2,T3分别取0.07,1×10-50，0.01。
4、特征组合
最终局部质量图为：
SQM(x,y)＝(S1(x,y))ξ·(S2(x,y))ψ
＝(S1(x,y))ξ·MS1(x,y)μ·MS2(x,y)ψ,
其中μ＝ψ·α，
分别设为1.8,0.02,0.9。
5、特征池化
最终客观评价分数：
其中，w2＝max(y1r (2)(x,y),y1d (2)(x,y))。
为了说明以上模型的有效性，在桌面内容图片权威数据库SIQAD上进行测试。SIQAD数据库包括20张参考图片，每张图片对应7种失真的7个量级共980张失真图片。7种失真包括高斯噪声(GN)，高斯模糊(GB)，动态模糊(MB)，对比度变化(CC)，JPEG压缩(JPEG)，JPEG2000压缩(J2K)，层有效编码(LSC)。
三个由VQEG专家组提出的专门用来衡量主观分数与客观评价分数一致性的指标被用来判断该模型的优越性，这三个指标分别是皮尔逊线性相关系数(Pearson linearcorrelation coefficient,PLCC),均方根误差(Root mean squared error,RMSE)与斯皮尔曼秩-阶相关系数(Spearman rank-order correlation coefficient,SROCC)，其计算方式分别如下：
其中，m,Q分别代表主观分数与客观分数，
分别代表主观分数与客观分数的平均值，di代表第i张图片主观分数排序的顺序与客观分数排序的顺序的差值。PLCC与SROCC的值位于0到1之间，越接近1说明主观分数与客观分数一致性越好；RMSE值越小，说明主观分数与客观分数之前的差别越小，模型的性能也就越好。
表1给出了在数据库SIQAD上的测试结果，其中，PSNR,SSIM,MSSIM,IWSSIM,VIF,IFC,FSIM,SCQ为针对自然图片设计的质量评价方法，SIQM,SQI,ESIM,MDOGS,GFM为近几年针对桌面内容图片设计的客观质量评价方法，通过对比各个方法数据可以看出：
针对整体性能，本发明在PLCC,RMSE评价指标中位列第一名，SROCC位列第二名；
针对单独失真类型，本发明共获得9个第一名，1个第三名，明显优于其他方法，且在评价失真类型GB,MB,J2K时具有显著的优越性。
表一SIQAD数据库测试结果:
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的***、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (7)
1.一种基于联合多尺度图片特征的图片客观质量评价方法，其特征在于，包括：
图片处理步骤：使用高斯金字塔与拉普拉斯金字塔将原图片处理成不同尺度的图片组，分别记为y0 (n)与y1 (n)，从y1 (n)提取获得边结构特征；
边显著特征提取步骤：使用亮度掩膜与对比度掩膜，从高斯金字塔处理后的图片组y0 (n)与拉普拉斯金字塔处理后的图片组y1 (n)中提取获得边显著度特征；
特征相似度计算步骤：根据获得的边结构特征和边显著度特征，计算获得边结构相似度和边显著度相似度；
特征组合步骤：根据获得的边结构相似度和边显著度相似度，计算获得最终局部质量图；
特征池化步骤：根据获得的最终局部质量图，计算获得最终客观评价分数；
所述边显著特征提取步骤：
使用亮度掩膜与对比度掩膜，从高斯金字塔处理后的图片组y0 (n)与拉普拉斯金字塔处理后的图片组y1 (n)中提取获得边显著度特征，计算公式如下：
其中，
CLM (n)表示亮度掩膜计算结果，是基于高斯金字塔与拉普拉斯金字塔处理后的图片组的图像特征；
表示y函数；
y1 (n)表示拉普拉斯金字塔处理后的图片组；
y0 (n)表示高斯金字塔处理后的图片组；
n表示图层的层数；
图层y1 (1)表现出的图片特征为边结构特征；
表示将y0 (n+1)带入y函数的计算结果；
γ1表示亮度对比度阈值；
||表示取绝对值操作；
a1表示保证等式稳定性的常数；
CLCM (n)表示对比度掩膜计算结果，是基于CLM (n)处理后的图片组的图像特征；
n表示图层的层数；
CLCM (1)表示n＝1时表现出的图片特征为边显著度特征；
a2表示保证等式稳定性的常数；
表示将CLM (n+1)带入y函数的计算结果；
γ2表示对比度可检测阈值；
G(x，y；σ)表示高斯核函数；
*表示卷积；
↑2表示上采样。
2.根据权利要求1所述的基于联合多尺度图片特征的图片客观质量评价方法，其特征在于，所述特征相似度计算步骤：
根据获得的边结构特征和边显著度特征，计算获得边结构相似度，计算公式如下：
其中，
S1(x，y)表示点(x，y)边结构相似度；
下标r与d分别表示该特征取自参考图片或失真图片；
y1r (1)(x，y)表示参考图片在点(x，y)处n＝1时的边结构特征；
y1d (2)(x，y)表示失真图片在点(x，y)处n＝2时的边结构特征；
T1表示是一个为了保证等式稳定性的非零常数；
根据获得的边结构特征和边显著度特征，计算获得边显著度相似度，计算公式如下：
S2(x，y)＝MS1(x，y)α·MS2(x，y)
其中，
S2(x，y)表示点(x，y)边显著度相似度；
α表示S2(x，y)中M S1(x，y)所占权重；
MS1(x，y)表示通过相似度计算函数计算后的边结构相似度；
MS2(x，y)表示通过相似度计算函数计算后的边显著相似度；
w1(x，y)表示权重因子；
CLMr (1)(x，y)表示参考图片在点(x，y)处n＝1时的LM掩膜特征；
CLMd (1)(x，y)表示参考图片在点(x，y)处n＝1时的LM掩膜特征；
T2表示为了保证等式稳定性的非零常数；
∑(x，y)w1(x，y)表示图片上所有的点处w1(x，y)的累加；
CLCMr (1)(x，y)表示参考图片在点(x，y)处n＝1时的LCM掩膜特征；
CLCMd (1)(x，y)表示失真图片在点(x，y)处n＝1时的LCM掩膜特征；
CLCMd (2)(x，y)表示表示失真图片在点(x，y)处n＝2时的LCM掩膜特征；
T3表示一个为了保证等式稳定性的非零常数。
3.根据权利要求2所述的基于联合多尺度图片特征的图片客观质量评价方法，其特征在于，所述特征组合步骤：
根据获得的边结构相似度和边显著度相似度，计算获得局部质量相似度，计算公式如下：
SQM(x，y)＝(S1(x，y))ξ·(S2(x，y))ψ
＝(S1(x，y))ξ·MS1(x，y)μ·MS2(x，y)ψ
μ＝ψ·α
其中，
SQM(x，y)表示点(x，y)处局部质量相似度；
ξ表示S1(x，y)在局部质量SQM(x，y)所占权重；
ψ表示M S1(x，y)在局部质量SQM(x，y)所占权重；
μ表示M S2(x，y)在局部质量SQM(x，y)所占权重；
α表示S2(x，y)中M S1(x，y)所占权重。
4.根据权利要求3所述的基于联合多尺度图片特征的图片客观质量评价方法，其特征在于，所述特征池化步骤：
根据获得的局部质量图相似度，计算获得最终客观评价分数，计算公式如下：
w2(x，y)＝max(y1r (2)(x，y)，y1d (2)(x，y))
其中，
S表示最终客观评价分数；
w2(x，y)表示权重参数；
y1r (2)(x，y)表示参考图片在点(x，y)处n＝2时的的边结构特征。
5.一种基于联合多尺度图片特征的桌面内容图片客观质量评价***，其特征在于，包括：
图片处理模块：使用高斯金字塔与拉普拉斯金字塔将原图片处理成不同尺度的图片组，分别记为y0 (n)与y1 (n)，从y1 (n)提取获得边结构特征；
边显著特征提取模块：使用亮度掩膜与对比度掩膜，从高斯金字塔处理后的图片组y0 (n)与拉普拉斯金字塔处理后的图片组y1 (n)中提取获得边显著度特征；
特征相似度计算模块：根据获得的边结构特征和边显著度特征，计算获得边结构相似度和边显著度相似度；
特征组合模块：根据获得的边结构相似度和边显著度相似度，计算获得最终局部质量图；
特征池化模块：根据获得的最终局部质量图，计算获得最终客观评价分数；
所述图片处理模块：
使用高斯金字塔与拉普拉斯金字塔将原图片处理成不同尺度的图片组，分别记为y0 (n)与y1 (n)；
所述边显著特征提取模块：
使用亮度掩膜与对比度掩膜，从高斯金字塔处理后的图片组y0 (n)与拉普拉斯金字塔处理后的图片组y1 (n)中提取获得边显著度特征，计算公式如下：
其中，
CLM (n)表示亮度掩膜计算结果，是基于高斯金字塔与拉普拉斯金字塔处理后的图片组的图像特征；
表示y函数；
y1 (n)表示拉普拉斯金字塔处理后的图片组；
y0 (n)表示高斯金字塔处理后的图片组；
n表示图层的层数；
图层y1 (1)表现出的图片特征为边结构特征；
表示将y0 (n+1)带入y函数的计算结果；
γ1表示亮度对比度阈值；
||表示取绝对值操作；
a1表示保证等式稳定性的常数；
CLCM (n)表示对比度掩膜计算结果，是基于CLM (n)处理后的图片组的图像特征；
n表示图层的层数；
CLCM (1)表示n＝1时表现出的图片特征为边显著度特征；
a2表示保证等式稳定性的常数；
表示将CLM (n+1)带入y函数的计算结果；
γ2表示对比度可检测阈值；
G(x，y；σ)表示高斯核函数；
*表示卷积；
↑2表示上采样；
所述特征相似度计算模块：
根据获得的边结构特征和边显著度特征，计算获得边结构相似度，计算公式如下：
其中，
S1(x，y)表示点(x，y)边结构相似度；
下标r与d分别表示该特征取自参考图片或失真图片；
y1r (1)(x，y)表示参考图片在点(x，y)处n＝1时的边结构特征；
y1d (2)(x，y)表示失真图片在点(x，y)处n＝2时的边结构特征；
T1表示是一个为了保证等式稳定性的非零常数；
根据获得的边结构特征和边显著度特征，计算获得边显著度相似度，计算公式如下：
S2(x，y)＝MS1(x，y)α·MS2(x，y)
其中，
S2(x，y)表示点(x，y)边显著度相似度；
α表示S2(x，y)中M S1(x，y)所占权重；
MS1(x，y)表示通过相似度计算函数计算后的边结构相似度；
MS2(x，y)表示通过相似度计算函数计算后的边显著相似度；
w1(x，y)表示权重因子；
CLMr (1)(x，y)表示参考图片在点(x，y)处n＝1时的LM掩膜特征；
CLMd (1)(x，y)表示参考图片在点(x，y)处n＝1时的LM掩膜特征；
T2表示为了保证等式稳定性的非零常数；
∑(x，y)w1(x，y)表示图片上所有的点处w1(x，y)的累加；
CLCMr (1)(x，y)表示参考图片在点(x，y)处n＝1时的LCM掩膜特征；
CLCMd (1)(x，y)表示失真图片在点(x，y)处n＝1时的LCM掩膜特征；
CLCMd (2)(x，y)表示表示失真图片在点(x，y)处n＝2时的LCM掩膜特征；
T3表示一个为了保证等式稳定性的非零常数。
6.根据权利要求5所述的基于联合多尺度图片特征的桌面内容图片客观质量评价***，其特征在于，所述特征组合模块：
根据获得的边结构相似度和边显著度相似度，计算获得局部质量相似度，计算公式如下：
SQM(x，y)＝(S1(x，y))ξ·(S2(x，y))ψ
＝(S1(x，y))ξ·MS1(x，y)μ·MS2(x，y)ψ
μ＝ψ·α
其中，
SQM(x，y)表示点(x，y)处局部质量相似度；
ξ表示S1(x，y)在局部质量SQM(x，y)所占权重；
ψ表示M S1(x，y)在局部质量SQM(x，y)所占权重；
μ表示M S2(x，y)在局部质量SQM(x，y)所占权重；
α表示S2(x，y)中M S1(x，y)所占权重；
所述特征池化模块：
根据获得的局部质量图相似度，计算获得最终客观评价分数，计算公式如下：
w2(x，y)＝max(y1r (2)(x，y)，y1d (2)(x，y))
其中，
S表示最终客观评价分数；
w2(x，y)表示权重参数；
y1r (2)(x，y)表示参考图片在点(x，y)处n＝2时的的边结构特征。
7.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的基于联合多尺度图片特征的图片客观质量评价方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910122634.7A CN111598826B (zh) | 2019-02-19 | 2019-02-19 | 基于联合多尺度图片特征的图片客观质量评价方法、*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910122634.7A CN111598826B (zh) | 2019-02-19 | 2019-02-19 | 基于联合多尺度图片特征的图片客观质量评价方法、*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111598826A CN111598826A (zh) | 2020-08-28 |
| CN111598826B true CN111598826B (zh) | 2023-05-02 |
Family
ID=72183150
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910122634.7A Active CN111598826B (zh) | 2019-02-19 | 2019-02-19 | 基于联合多尺度图片特征的图片客观质量评价方法、*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111598826B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288699B (zh) * | 2020-10-23 | 2024-02-09 | 北京百度网讯科技有限公司 | 图像相对清晰度的评估方法、装置、设备和介质 |
| CN117952968A (zh) * | 2024-03-26 | 2024-04-30 | 沐曦集成电路(上海)有限公司 | 一种基于深度学习的图像质量评价方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102646269A (zh) * | 2012-02-29 | 2012-08-22 | 中山大学 | 一种基于拉普拉斯金字塔的图像处理方法及其装置 |
| CN104143188A (zh) * | 2014-07-04 | 2014-11-12 | 上海交通大学 | 基于多尺度边缘表达的图片质量评价方法 |
| CN107578404A (zh) * | 2017-08-22 | 2018-01-12 | 浙江大学 | 基于视觉显著特征提取的全参考立体图像质量客观评价方法 |
| CN109255358A (zh) * | 2018-08-06 | 2019-01-22 | 浙江大学 | 一种基于视觉显著性和深度图的3d图像质量评价方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10977509B2 (en) * | 2017-03-27 | 2021-04-13 | Samsung Electronics Co., Ltd. | Image processing method and apparatus for object detection |
-
2019
- 2019-02-19 CN CN201910122634.7A patent/CN111598826B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102646269A (zh) * | 2012-02-29 | 2012-08-22 | 中山大学 | 一种基于拉普拉斯金字塔的图像处理方法及其装置 |
| CN104143188A (zh) * | 2014-07-04 | 2014-11-12 | 上海交通大学 | 基于多尺度边缘表达的图片质量评价方法 |
| CN107578404A (zh) * | 2017-08-22 | 2018-01-12 | 浙江大学 | 基于视觉显著特征提取的全参考立体图像质量客观评价方法 |
| CN109255358A (zh) * | 2018-08-06 | 2019-01-22 | 浙江大学 | 一种基于视觉显著性和深度图的3d图像质量评价方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111598826A (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xue et al. | Learning without human scores for blind image quality assessment | |
| US11176408B2 (en) | Tire image recognition method and tire image recognition device | |
| TWI665639B (zh) | 圖像篡改檢測方法及裝置 | |
| US20220092882A1 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| WO2022022154A1 (zh) | 脸部图像处理方法、装置、设备及存储介质 | |
| Zhang et al. | A no-reference evaluation metric for low-light image enhancement | |
| US20060147107A1 (en) | Method and system for learning-based quality assessment of images | |
| CN109948566B (zh) | 一种基于权重融合与特征选择的双流人脸反欺诈检测方法 | |
| CN111598826B (zh) | 基于联合多尺度图片特征的图片客观质量评价方法、*** | |
| CN110969089B (zh) | 噪声环境下的轻量级人脸识别***及识别方法 | |
| CN105528620B (zh) | 一种联合鲁棒主成分特征学习与视觉分类方法及*** | |
| CN108875623B (zh) | 一种基于图像特征融合对比技术的人脸识别方法 | |
| Zhang et al. | Dual-channel multi-task CNN for no-reference screen content image quality assessment | |
| CN113255557B (zh) | 一种基于深度学习的视频人群情绪分析方法及*** | |
| CN108171689A (zh) | 一种显示器屏幕图像翻拍的鉴定方法、装置及存储介质 | |
| WO2016145571A1 (zh) | 基于条件直方图码书的盲图像质量评价方法 | |
| CN108010023B (zh) | 基于张量域曲率分析的高动态范围图像质量评价方法 | |
| CN103839066A (zh) | 一种源于生物视觉的特征提取方法 | |
| CN114220143A (zh) | 一种佩戴口罩的人脸识别方法 | |
| CN111047618B (zh) | 基于多尺度的无参考屏幕内容图像质量评估方法 | |
| CN111104941B (zh) | 图像方向纠正方法、装置及电子设备 | |
| CN112990213B (zh) | 一种基于深度学习的数字万用表字符识别***和方法 | |
| CN107729885B (zh) | 一种基于多重残差学习的人脸增强方法 | |
| Zheng et al. | Heteroscedastic sparse representation based classification for face recognition | |
| CN108550119B (zh) | 一种结合边缘信息的图像去噪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |