CN112767385B - 基于显著性策略与特征融合无参考图像质量评价方法 - Google Patents
基于显著性策略与特征融合无参考图像质量评价方法 Download PDFInfo
- Publication number
- CN112767385B CN112767385B CN202110130011.1A CN202110130011A CN112767385B CN 112767385 B CN112767385 B CN 112767385B CN 202110130011 A CN202110130011 A CN 202110130011A CN 112767385 B CN112767385 B CN 112767385B
- Authority
- CN
- China
- Prior art keywords
- image
- significance
- network
- significant
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于显著性策略与特征融合的无参考图像质量评价方法,包括下列步骤:对待评价图像进行预处理,将其转换成灰度图像并分成不重叠的小图像块,对小图像块进行筛选,选取显著性图像块作为输入样本,同时计算每个图像块的显著性得分;采用双流结构的卷积神经网络对输入样本进行特征提取,一个流侧重于提取初级特征,称其为初级特征提取网络,另一个带上采样网络的流侧重于提取高级特征,称其为高级特征提取网络;将提取到的初级特征与高级特征进行合并,再通过节点数为1024的全连接层映射后获取显著性图像块的局部质量分数。最后,利用显著性加权模型计算每个显著性图像块的权重,根据权重计算最终的预测得分。
Description
技术领域
本发明涉及图像质量评价领域,尤其涉及一种基于显著性策略的无参考评价方法。
背景技术
随着数字媒体技术的迅速发展,数字图像已经成为了人类获取信息的重要媒介。然而数字图像在采集、传输的过程中,由于受到传输条件与设备固有属性等因素的影响,将不可避免地发生失真现象,对后续的处理与应用带来很大影响。因此,开发具有高准确度的图像质量评价方法对数字图像领域与通信传输行业的发展具有重要意义。
图像质量评价(Image Quality Assessment,IQA)是指被试者从舒适度和感官体验等多种角度对图像质量进行全面的评估,具体的指标包括:图像质量、图像清晰度等。图像质量评价技术能够动态地监测图像质量的变化,从而实现对图像传输、处理***性能的调整。在通信领域,图像质量评价技术是图像压缩传输的重要度量标准。在传输过程中,以图像质量评价技术为基础建立视觉感知模型,结合图像质量需求分配码流,能够在传输数据量与图像质量之间确定一个最佳平衡,从而达到降低传输成本的效果。在图像处理领域,图像质量评价技术能够对处理前后的图像质量进行有效的评估和对比,为算法的改进和完善提供理论依据。此外,图像质量评价技术也可以内嵌于各大成像***中,与图像处理相关算法相结合,实现对采集图像的自动筛选与质量优化。
发明内容
本发明基于人眼视觉***(Human Visual System,HVS)特性提出一种基于显著性策略与多尺度特征融合的无参考图像质量评价方法,本发明有效地解决了客观评价过程中评价结果与人眼的一致性不足的问题,技术方案如下:
一种基于显著性策略与多尺度特征融合的无参考图像质量评价方法,包括下列步骤:
1)对待评价图像进行预处理,将其转换成灰度图像并分成不重叠的小图像块,对小图像块进行筛选,
选取显著性图像块作为输入样本,同时计算每个图像块的显著性得分。
其中,具体预处理方式为将原始图像分成256个32×32的不重叠图像块;计算显著性得分的方式为对灰度图像使用GBVS算法计算每个像素点的显著性分值,图像块对应的显著性得分为该图像块的所有像素对应显著性分值求和。筛选的具体方式为:将所有图像块依据显著性分值进行排序,选取显著性分值排名靠前的部分图像块作为显著性图像块,并将显著性图像块作为输入样本。
2)采用双流结构的卷积神经网络对输入样本进行特征提取,一个流侧重于提取初级特征,称其为初级特征提取网络,另一个带上采样网络的流侧重于提取高级特征,称其为高级特征提取网络;
其中,初级特征提取网络包含三个模块,每个模块包含三个卷积层与一个最大池化层,该网络的输入样本为预处理中获取的显著性图像块,网络提取的特征最终被映射成为节点数为512的全连接层。高级特征提取网络的结构与初级特征提取网络相同,初级特征提取网络的前两个模块的输出特征图经过上采样处理,与输入样本进行级联,作为高级特征提取网络的输入,网络的输出同样为节点数为512的全连接层;
将提取到的初级特征与高级特征进行合并,再通过节点数为1024的全连接层映射后获取显著性图像块的局部质量分数。最后,利用显著性加权模型计算每个显著性图像块的权重,根据权重计算最终的预测得分,即:将显著性图像块的局部质量分数与对应的显著性权重相乘之后求和获取最终预测得分。
进一步地,显著性图像块的显著性权重的计算方式为:对每幅图像对应的显著性图像块计算显著性得分总值,每个显著性图像块的显著性权重表示为该显著性图像块的显著性分值与显著性得分总值的比值。
本发明提供的技术方案的有益效果是:
1、本发明通过在多个不同尺度对图像进行特征提取,同时提取了图像的初级特征与高级特征,通过多尺度特征融合提高了网络的特征表示能力。
2、本发明充分利用了人眼视觉模型,通过基于人眼视觉模型的过滤器,选取了图像占主导地位的显著性区域进行评价,减少了图像质量不均匀在评价过程中带来的影响,这确保了其可以用于技术实践中,如在对高清电视、互联网视频流等新媒体的传输性能评价中,算法评价结果与人眼的主观评价结果具有高一致性,具有重要的价值。
附图说明
图1算法流程示意图
图2特征对比示意图
图3网络结构示意图
图4主客观分数对比散点图
表1网络结构参数
表2基于LIVE图像数据库的算法性能对比(SROCC)
表3基于LIVE图像数据库的算法性能对比(PLCC)
表4基于TID2013与CSIQ图像数据库的算法性能对比
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步地详细描述。
实施例1
本发明实施例提供了一种基于显著性策略的多尺度特征融合无参考图像质量评价方法,如图1所示,该方法包括以下步骤:
101:基于显著性过滤器的图像预处理
对待评价图像进行预处理,将其转换成灰度图像并切分成不重叠的小图像块,使用基于图论的显著性分析算法(Graph-based Visual Saliency,GBVS)算法计算每个图像块的显著性得分。对所有图像块依据显著性得分进行排序,选取得分最高的25%图像块作为输入样本。
102:对处理后的图像块进行多尺度特征提取
本发明实施例构建了一个具有双流结构的卷积神经网络,对步骤101中得到的输入样本进行多尺度特征提取。一个流侧重于提取初级特征,另一个带上采样网络的流侧重于提取高级特征。初级特征提取网络包含三个模块,每个模块包含三个卷积层与一个最大池化层。该网络的输入为步骤101中获取的显著性图像块。高级特征提取网络的结构与初级特征提取网络相同。初级特征提取网络的前两个模块的输出特征图经过上采样处理,与输入样本进行级联,作为该网络的输入。网络提取的初级特征与高级特征对比如图2所示。两个特征提取网络的输出均为节点数为512的全连接层。
103:在显著性模型指导下进行分数预测与加权汇总
对每一组步骤102中提取的特征,使用全连接层映射获得一个局部质量分数。对于每个选定的图像块,本发明根据其显著性分数定义一个权重因子,该因子的计算方式为每个图像块的显著性分数除以所选图像块总分。算法最终的预测得分表示为所有局部质量分数与权重因子乘积之和。
104:技术应用
本发明实施例提出的图像质量评价方法能够有效地对图像质量进行客观评价,与人眼视觉具有高一致性。本发明具有时间复杂度低,评价准确的优点,可以在实际中得到应用。应用范围包括:数码相机,专业摄像机,多功能手机、平板电脑等各类具有图像采集功能电子设备的采集性能进行评价,具有重要的社会价值。
实施例2
下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍,详见下文描述:
201:基于显著性过滤器的图像预处理
对每幅图像计算其灰度图像,随后计算其显著性矩阵。每个像素被分配一个范围在0到255之间的值。一个较高的显著性值代表一个显著的图像像素。灰度图像和对应的显著性矩阵被切分成大小为32×32的图像块。每个图像块都被赋予与原始图像相同的主观分数。基于显著性矩阵,每个图像块的显著性得分用以下公式表示:
公式1中,S(m,n)为第i个图像块中(m,n)位置上一个像素的显著性值。M和N表示图像块的尺寸。显著性得分反映了该图像块吸引人们注意力的程度。图像块的显著性分数越高,其对人类判断的影响越大。将所有的图像块按照相应的显著性得分进行排序,取排名较高的25%显著性图像块作为作为输入样本,后续训练与测试都基于显著性图像块组成的数据集进行。
202:对处理后的图像块进行多尺度特征提取
本发明提出了一种带有上采样路径的双流网络结构实现多尺度特征融合。所提出的网络结构如图3所示。该网络由三部分组成:初级特征提取网络、高级特征提取网络与一个具有两条路径的上采样网络。每个特征提取子网络都使用10个卷积层和3个最大池化层来构建。初级特征提取网络的输入是步骤201中预处理得到的显著性图像块,前两个最大池化层的输出分别送入上采样网络。每个上采样路径的网络结构对应于输入特征图所经过的层。通过上采样网络得到两张与输入图像块尺寸相同的特征图,与显著性图像块级联后作为高级特征提取网络的输入。高级特征提取网络的结构与初级特征提取网络相似。每个子网络的输出被映射到一个包含512个节点的全连通层,并将两个全连通层串联起来,形成1024个节点的全连接层。在网络的最后一层,使用一个具有一维输出的简单线性回归来预测局部得分。整个网络的参数详见表1。
表1网络结构参数
203:在显著性模型指导下进行分数预测与加权汇总
在测试过程中,本发明通过聚合局部分数来计算最终的质量分数。为了进一步提高预测结果与人类主观评价的一致性,本发明采用显著加权模型为每个输入样本分配权重,具体如图1所示。对于每个输入样本,本发明根据其显著性分数定义一个权重因子,该因子表示每个图像块的显著性分数占所选图像块总分的比例。它可以由以下公式导出:
公式2中,n表示经过筛选后从原始图像中选取的显著性图像块数量,wi是第i个图像块的权重因子,表示第i个图像块的显著性得分。最终的预测分数计算如下:
公式3中,n表示从一幅图像中选取的图像块数量,SLi表示每个图像块的预测分数。
204:技术应用
本发明实施例可以在不需要参考图像的前提下对获取图像的质量进行客观评价。图像质量评价作为人工智能发展的一个方向,在越来越多的领域发挥着重要的作用。现实中也已经应用到诸多产品中,比如在对高清电视、互联网视频流等新媒体的传输性能进行评价时,如果可以通过客观算法模拟人类视觉***进行评价而非召集受试进行主观评价,能够节省大量成本。图像质量评价是当前数字图像处理以及传输应用中需要的基本技术,其研究具有重要的社会价值。
实施例3
下面结合具体的实验对实施例1和2中的方案进行可行性验证,详见下文描述:
本实验使用了LIVE、CSIQ与TID2013三个公共图像数据库对性能进行测试。每个数据库包含许多具有不同失真类型的图像。通过平均意见分数(Mean Opinion Score,MOS)或差分平均意见分数(Difference Mean Opinion Score,DMOS)来描述图像的质量,其中MOS值越大,DMOS值越低表示图像质量越好。
在衡量客观评价算法是否具有准确性、单调性与一致性的过程中,通常采用以下两个较为常见的指标,分别为:斯皮尔曼等级次序相关系数SROCC与皮尔森线性相关系数PLCC。SROCC表述的是一个图像质量评估算法的单调性,表达式如下所示:
公式4中,参数di表示第i幅图像的客观得分与其主观质量分数排序的差值。I则代表数据库中包含的图像总数。PLCC是算法得到的客观得分经过非线性回归处理后与图像主观质量分数之间的线性相关系数,计算公式为:
本发明采用斯皮尔曼等级次序相关系数与皮尔森线性相关系数来衡量客观质量评估算法的得分与数据库中的主观得分DMOS的一致性。主观评分与客观得分的相关度越高则说明算法的性能越好。
为了验证本发明的性能,我们选取了部分主流IQA模型作为比较,其中包括两个传统全参考方法:PSNR和SSIM,四个经典的无参考方法:BRISQUE、CORINA、BLIINDS-II和SOM以及五个深度学习方法:BIECON、CNN、MEON、DB-CNN和Two-Stream。结果如表2、表3所示。
表2基于LIVE图像数据库的算法性能对比(SROCC)
表3基于LIVE图像数据库的算法性能对比(PLCC)
表2和表3列出了本发明在LIVE数据库上的结果。在每一列中,性能最佳的两个结果以粗体显示。从表中可以看出,BRISQUE、CORINA等以图像空域或变换域特征为基础的传统方法,虽然在整体性能上具有较好的表现,但只对某些特定类型的失真有较好的效果,无法覆盖所有单类型失真。这一现象的原因在于手工提取特征的不完善。大多数手工特征在设计时仅考虑了一种或几种特定的统计规律,在预设场景之外的统计特性受到失真影响时,算法无法有效地捕获失真信息。相比之下,基于深度学***。
表4基于TID2013与CSIQ图像数据库的算法性能对比
本发明预测结果与主观评分的散点图如图4所示,横坐标为图像的主观分数,纵坐标为预测得分,不同失真类型用不同形状的散点表示。在图4中,散点汇聚在y=x直线两侧,说明本发明提出的算法与主观分数相近,证明本发明与人类主观评价具有较好的一致性。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.一种基于显著性策略与多尺度特征融合的无参考图像质量评价方法,包括下列步骤:
1)对待评价图像进行预处理,将其转换成灰度图像并分成不重叠的小图像块,对小图像块进行筛选,选取显著性图像块作为输入样本,同时计算每个图像块的显著性得分;
其中,具体预处理方式为将原始图像分成256个32×32的不重叠图像块;计算显著性得分的方式为对灰度图像使用GBVS算法计算每个像素点的显著性分值,图像块对应的显著性得分为该图像块的所有像素对应显著性分值求和;筛选的具体方式为:将所有图像块依据显著性分值进行排序,选取显著性分值排序靠前的25%图像块作为显著性图像块,并将显著性图像块作为输入样本;
2)采用双流结构的卷积神经网络对输入样本进行特征提取,一个流侧重于提取初级特征,称其为初级特征提取网络,另一个带上采样网络的流侧重于提取高级特征,称其为高级特征提取网络;
其中,初级特征提取网络包含三个模块,每个模块包含三个卷积层与一个最大池化层,该网络的输入样本为预处理中获取的显著性图像块,网络提取的特征最终被映射成为节点数为512的全连接层;高级特征提取网络的结构与初级特征提取网络相同,初级特征提取网络的前两个模块的输出特征图经过上采样处理,与输入样本进行级联,作为高级特征提取网络的输入,网络的输出同样为节点数为512的全连接层;
将提取到的初级特征与高级特征进行合并,再通过节点数为1024的全连接层映射后获取显著性图像块的局部质量分数;最后,利用显著性加权模型计算每个显著性图像块的权重,根据权重计算最终的预测得分,即:将显著性图像块的局部质量分数与对应的显著性权重相乘之后求和获取最终预测得分。
2.根据权利要求1所述的无参考图像质量评价方法,其特征在于,显著性图像块的显著性权重的计算方式为:对每幅图像对应的显著性图像块计算显著性得分总值,每个显著性图像块的显著性权重表示为该显著性图像块的显著性分值与显著性得分总值的比值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110130011.1A CN112767385B (zh) | 2021-01-29 | 2021-01-29 | 基于显著性策略与特征融合无参考图像质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110130011.1A CN112767385B (zh) | 2021-01-29 | 2021-01-29 | 基于显著性策略与特征融合无参考图像质量评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112767385A CN112767385A (zh) | 2021-05-07 |
CN112767385B true CN112767385B (zh) | 2022-05-17 |
Family
ID=75703941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110130011.1A Active CN112767385B (zh) | 2021-01-29 | 2021-01-29 | 基于显著性策略与特征融合无参考图像质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112767385B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4400990A1 (en) * | 2021-09-15 | 2024-07-17 | Huawei Technologies Co., Ltd. | Backlight display control method and apparatus |
CN114511518A (zh) * | 2022-01-20 | 2022-05-17 | 重庆大学 | 用于评估图像视觉安全的方法及装置、电子设备、存储介质 |
CN117746047A (zh) * | 2022-09-21 | 2024-03-22 | 华为技术有限公司 | 一种图像处理方法及其相关设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110246111A (zh) * | 2018-12-07 | 2019-09-17 | 天津大学青岛海洋技术研究院 | 基于融合图像和强化图像的无参考立体图像质量评价方法 |
CN111127435A (zh) * | 2019-12-25 | 2020-05-08 | 福州大学 | 基于双流卷积神经网络的无参考图像质量评估方法 |
-
2021
- 2021-01-29 CN CN202110130011.1A patent/CN112767385B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110246111A (zh) * | 2018-12-07 | 2019-09-17 | 天津大学青岛海洋技术研究院 | 基于融合图像和强化图像的无参考立体图像质量评价方法 |
CN111127435A (zh) * | 2019-12-25 | 2020-05-08 | 福州大学 | 基于双流卷积神经网络的无参考图像质量评估方法 |
Non-Patent Citations (3)
Title |
---|
A Comprehensive Performance Evaluation of;SHAHRUKH ATHAR et al.;《IEEE Access》;20190924;第140030-140070页 * |
基于视觉感知特征融合的图像质量评价;唐梽森等;《西安理工大学学报》;20181231;第34卷(第4期);第454-501页 * |
多特征融合的图像质量评价方法;贾惠珍等;《模式识别与人工智能》;20190731;第 32 卷(第 7 期);第669-675页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112767385A (zh) | 2021-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112767385B (zh) | 基于显著性策略与特征融合无参考图像质量评价方法 | |
Ying et al. | From patches to pictures (PaQ-2-PiQ): Mapping the perceptual space of picture quality | |
CN108428227B (zh) | 基于全卷积神经网络的无参考图像质量评价方法 | |
CN107172418B (zh) | 一种基于曝光情况分析的色阶映射图像质量评价方法 | |
CN110060236B (zh) | 基于深度卷积神经网络的立体图像质量评价方法 | |
CN110728656A (zh) | 基于元学习的无参考图像质量数据处理方法、智能终端 | |
CN110807757A (zh) | 基于人工智能的图像质量评估方法、装置及计算机设备 | |
CN104036493B (zh) | 一种基于多重分形谱的无参考图像质量评价方法 | |
CN114066812B (zh) | 基于空间注意力机制的无参考图像质量评价方法 | |
CN105894507B (zh) | 基于图像信息量自然场景统计特征的图像质量评价方法 | |
CN107743225A (zh) | 一种利用多层深度表征进行无参考图像质量预测的方法 | |
CN108830829B (zh) | 联合多种边缘检测算子的无参考质量评价算法 | |
CN114187261A (zh) | 一种基于多维注意力机制的无参考立体图像质量评价方法 | |
CN111882516B (zh) | 一种基于视觉显著性和深度神经网络的图像质量评价方法 | |
Li et al. | Recent advances and challenges in video quality assessment | |
CN107146216A (zh) | 一种基于梯度自相似度的无参考图像客观质量评价方法 | |
CN113222902B (zh) | 一种无参考图像质量评价方法及*** | |
CN108010023A (zh) | 基于张量域曲率分析的高动态范围图像质量评价方法 | |
CN113128517B (zh) | 色调映射图像混合视觉特征提取模型建立及质量评价方法 | |
CN116485743A (zh) | 一种无参考图像质量评价方法、***、电子设备及存储介质 | |
CN116363094A (zh) | 一种超分辨率重建图像质量评价方法 | |
CN112634278B (zh) | 基于超像素的恰可察觉失真方法 | |
CN112233089B (zh) | 一种无参考立体混合失真图像质量评价方法 | |
Yuan et al. | Color image quality assessment with multi deep convolutional networks | |
CN110276744B (zh) | 图像拼接质量的测评方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |