CN108550153A - 一种非整数插值图像的质量评价方法 - Google Patents
一种非整数插值图像的质量评价方法 Download PDFInfo
- Publication number
- CN108550153A CN108550153A CN201810400137.4A CN201810400137A CN108550153A CN 108550153 A CN108550153 A CN 108550153A CN 201810400137 A CN201810400137 A CN 201810400137A CN 108550153 A CN108550153 A CN 108550153A
- Authority
- CN
- China
- Prior art keywords
- images
- image
- energy
- similitude
- integer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种非整数插值图像的质量评价方法,通过研究LR与HR图像间像素的对应关系,建立LR‑HR图像块间的对应关系;基于HR与LR图像间的相似性以及HR图像自身的视觉特性,采用半参考质量指标能量相似性(ES)、频率相似性(FS)和无参考质量指标局部清晰度(LS)作为衡量HR图像质量的三个特征;基于ES、FS和LS三个特征的质量评价模型,以达到精准评估非整数插值图像感知质量的目的。本发明针对非整数插值图像提出一种包含半参考和无参考质量指标的质量评价模型,解决了当HR图像的插值因子是非整数时,实现对HR图像质量准确预测的问题。
Description
技术领域
本发明涉及图像质量评价领域,特别是一种非整数插值图像的质量评价方法。
背景技术
现有的大多数算法都仅适用于整数插值图像的质量评价,对于非整数插值图像的质量评价涉足甚少,而实用性强的非整数插值图像的质量评价才是发展趋势。
发明内容
本发明的目的在于提供一种非整数插值图像的质量评价方法,以克服现有技术中存在的缺陷。
为实现上述目的,本发明的技术方案是:一种非整数插值图像的质量评价方法,按照如下步骤实现:
步骤S1:根据LR图像与HR图像像素间的对应关系,构建LR-HR图像块间的对应关系;
步骤S2:根据LR图像与HR图像的能量特性,获取二者间的能量相似性;
步骤S3:根据LR图像与HR图像的频率特性,获取二者间的频率相似性;
步骤S4:通过Sobel算子提取HR图像的边缘信息,获取图像的局部清晰度;
步骤S5:为能量相似性、频率相似性和局部清晰度三个特征分别分配对应的预设权重,并根据能量相似性、频率相似性和局部清晰度的加权总和,构建质量评价模型;
步骤S6:通过所述质量评价模型,对待评价的非整数插值图像的质量进行评价,获取评价结果。
在本发明一实施例中,在所述步骤S1中,所述LR-HR图像块间的对应关系如下所示:
其中,HR图像块的大小是MH×NH,对应的LR图像块的大小是ML×NL;f为从LR图像生成HR图像时所用的插值因子。
在本发明一实施例中,在所述步骤S2中,所述LR图像与HR图像间的能量相似性通过如下方式获取:
基于LR-HR图像块间的对应关系,分别对LR图像与HR图像块进行金字塔分割,图像块中每个尺度的能量按照如下方式通过变换系数的平方和获取:
其中,Cij表示第j个尺度中第i个变换系数的平方和,n为金字塔分割的尺度数;将相邻尺度的能量值进行相减,得到一个长度n-1的新向量E={Ej|j=1,...n};为了获取LR图像和HR图像的图像块能量的相似性,分别将LR图像块的能量El和HR图像块的能量Eh进行傅里叶变换,将变换后的结果分别记为EL和EH;再通过计算EL和EH间的欧式距离来获取LR图像和HR图像的图像块间的能量相似性:
在本发明一实施例中,在所述步骤S3中,LR图像与HR图像的图像块间频率相似性的通过如下方式获取:
通过二维离散傅里叶变换将图像块从空域f(x,y)转化为频域F(u,v),记每个图像块的频谱S为:
S(u,v)=||F(u,v)||
LR图像与HR图像的图像块的频率相似性通过如下方式获取:
其中,HR图像和LR图像的图像块频谱的水平分量和垂直分量分别表示为HH、VH、HL和VL,并且HH和VH分别与HL和VL的长度相等。
在本发明一实施例中,在所述步骤S4中,记通过所述Sobel算子获取的HR图像的图像块的水平方向偏导的近似值为Gx,垂直方向偏导的近似值为Gy,图像块中每一点(i,j)的梯度幅度为:
HR图像块的局部清晰度通过如下方式获取:
在本发明一实施例中,在所述步骤S5中,所述质量评价模型通过如下步骤建立:
Q=α*Ne+β*Nf+γ*Ns
其中,权重α,β和γ分别调整图像级能量相似性Ne,频率相似性Nf和局部清晰度Ns的重要性,并且α+β+γ=1。
相较于现有技术,本发明具有以下有益效果:本发明提出的一种非整数插值图像的质量评价方法,针对非整数插值图像,采用半参考质量指标能量相似性(ES)、频率相似性(FS)和无参考质量指标局部清晰度(LS)作为衡量HR图像质量的三个特征,提出一种包含半参考和无参考质量指标的质量评价模型,本发明提出的质量评价算法能实现对非整数插值图像质量的精确预测,并且在整数插值图像中也能取得较好的性能。
附图说明
图1为本发明中一种非整数插值图像的质量评价方法的流程图。
图2为本发明一实施例中LR和HR图像块间对应关系示意图。
具体实施方式
下面结合附图,对本发明的技术方案进行具体说明。
本发明提出一种非整数插值图像的质量评价方法,按照如下步骤实现:
步骤S1:通过分析HR(High-Resolution)与LR(Low-Resolution)图像像素间的对应关系,构建LR-HR图像块间的对应关系。
步骤S2:分析LR与HR图像的能量特性,计算二者间的能量相似性。
步骤S3:分析LR与HR图像的频率特性,计算二者间的频率相似性。
步骤S4:利用Sobel算子提取HR图像的边缘信息,计算图像的局部清晰度。
步骤S5:通过能量相似性、频率相似性和局部清晰度三个特征的加权总和来构建最终的质量评价模型,其中,权重根据主观测试进行校准。
步骤S6:根据质量评价模型对待评价的非整数插值图像的质量进行评价,获取评价结果。在本实施例中,在步骤S1中,构建LR-HR图像块间对应关系的方法按照如下步骤实现:
考虑到非整数插值的特点,不可能在LR和HR图像之间建立一对一的像素映射,只能在LR与HR图像块之间建立大致的对应关系。对于特定的插值算法,在插值过程中不会改变原先图像内容的形状,因此,LR和HR的图像块之间能够线性匹配,即图像块之间的图像分辨率比率保持不变。对于HR图像块MH×NH和LR图像块ML×NL之间的对应关系可以表示为:
其中,f代表从LR图像生成HR图像时所用的插值因子。较佳的,设置MH=NH=256,如果HR图像本身的大小小于256×256,则选取整个HR图像作为HR的图像块。
在本实施例中,在步骤S2中,LR与HR图像块间能量相似性的计算方法为:
图像的能量信息能够捕获全局图像失真和表征重要的图像特征。由于LR和HR图像的能量下降曲线十分相似,因此通过计算LR和HR图像块间的能量相似性去衡量HR图像的全局视觉信息失真。首先,使用金字塔分别对LR与HR图像块进行金字塔分割,这样可以将能量集中在空域里。图像块每个尺度的能量通过变换系数的平方和计算:
其中,Cij表示第j个尺度中第i个变换系数的平方和,n为金字塔分割的尺度数。将相邻尺度的能量值进行相减,得到一个长度n-1的新向量E={Ej|j=1,...n}。为了计算LR和HR图像块能量的相似性,分别将LR图像块的能量El和HR图像块的能量Eh进行傅里叶变换,变换后的结果分别定义为EL和EH,然后通过计算EL和EH间的欧式距离来衡量LR与HR图像块间的能量相似性:
在本实施例中,在步骤S3中,LR与HR图像块间频率相似性的计算方法为:
频率是图像光谱变化强度的指标,二维离散傅里叶变换可以将图像块从空域f(x,y)转化为频域F(u,v),每个图像块的频谱S定义为:
S(u,v)=||F(u,v)|| (4)
LR与HR图像块的频率相似性可由式(5)计算得到:
其中,HR和LR图像块频谱的水平分量和垂直分量分别表示为HH,VH,HL和VL,并且HH和VH分别与HL和VL的长度相等。
在本实施例中,在步骤S4中,HR图像局部清晰度的计算方法为:
HR图像的一个主要问题是随着插值因子的增长,其模糊性变得更加显著。基于这一特性,利用无参考的局部清晰度来衡量HR图像的视觉质量。由于梯度信息通常用于衡量图像的清晰度,可以很好地反映图像的边缘信息,因此选用Sobel算子分别计算HR图像块的水平和垂直方向偏导的近似值,分别记为Gx和Gy,图像块中每一点(i,j)的梯度幅度为:
HR图像块的局部清晰度通过如下方式获取:
在本实施例中,在步骤S5中,整体质量评价算法的构建方法为:
基于上述能量相似性、频率相似性和局部清晰度的计算方法,采用池化过程将三个特征转化为图像级别的特征,记为Ne、Nf和Ns。考虑到不同特征对HR图像质量评估有不同的影响,因此对这些特征分配不同的权重并通过这些特征的线性加权总和来构建整体质量评价算法:
Q=α*Ne+β*Nf+γ*Ns (8)
其中,权重参数α、β和γ分别调整Ne、Nf和Ns的重要性,并且α+β+γ=1。通过测试结果对参数α,β和γ进行校准。较佳地,令α=0.18,β=0.79和γ=0.03。
为了让本领域技术人员进一步了解本发明提出的方法,下面结合具体实施例进行说明。
为了验证本发明算法的有效性,需要建立非整数插值图像的主观数据库。首先,选取15张不同内容的原始图像,通过三个非整数插值因子(3.5,37/7和7)对原始图像进行下采样获得LR图像,然后使用6种插值算法对LR图像进行插值得到HR图像,最终建立一个270张HR图像的数据库。在进行主观测试时,6张HR图像与原始图像随机排列显示在同一个屏幕上,实验人员将原始图像作为参考对其余6张图像按照0-10分进行打分。数据库中HR图像的主观质量分数由22个实验人员的平均意见分数表示。
通过计算主观质量分数与算法获得的质量值之间的相关系数来验证本发明算法的性能,其中相关系数包括皮尔森线性相关系数(PearsonLinearCorrelationCoefficient,PLCC),斯皮尔曼秩相关系数(Spearman Rank-order CorrelationCoefficient,SRCC)以及肯德尔秩次相关系数(KendallRank-orderCorrelationCoefficient,KRCC),相关系数的值越接近1,代表模型的准确性越高。实验结果如表1所示。
表1实验结果
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。
Claims (6)
1.一种非整数插值图像的质量评价方法,其特征在于,按照如下步骤实现:
步骤S1:根据LR图像与HR图像像素间的对应关系,构建LR-HR图像块间的对应关系;
步骤S2:根据LR图像与HR图像的能量特性,获取二者间的能量相似性;
步骤S3:根据LR图像与HR图像的频率特性,获取二者间的频率相似性;
步骤S4:通过Sobel算子提取HR图像的边缘信息,获取图像的局部清晰度;
步骤S5:为能量相似性、频率相似性和局部清晰度三个特征分别分配对应的预设权重,并根据能量相似性、频率相似性和局部清晰度的加权总和,构建质量评价模型;
步骤S6:通过所述质量评价模型,对待评价的非整数插值图像的质量进行评价,获取评价结果。
2.根据权利要求1所述的一种非整数插值图像的质量评价方法,其特征在于,在所述步骤S1中,所述LR-HR图像块间的对应关系如下所示:
其中,HR图像块的大小是MH×NH,对应的LR图像块的大小是ML×NL;f为从LR图像生成HR图像时所用的插值因子。
3.根据权利要求1所述的一种非整数插值图像的质量评价方法,其特征在于,在所述步骤S2中,所述LR图像与HR图像间的能量相似性通过如下方式获取:
基于LR-HR图像块间的对应关系,分别对LR图像与HR图像块进行金字塔分割,图像块中每个尺度的能量按照如下方式通过变换系数的平方和获取:
其中,Cij表示第j个尺度中第i个变换系数的平方和,n为金字塔分割的尺度数;将相邻尺度的能量值进行相减,得到一个长度n-1的新向量E={Ej|j=1,...n};为了获取LR图像和HR图像的图像块能量的相似性,分别将LR图像块的能量El和HR图像块的能量Eh进行傅里叶变换,将变换后的结果分别记为EL和EH;再通过计算EL和EH间的欧式距离来获取LR图像和HR图像的图像块间的能量相似性:
4.根据权利要求1所述的一种非整数插值图像的质量评价方法,其特征在于,在所述步骤S3中,LR图像与HR图像的图像块间频率相似性的通过如下方式获取:
通过二维离散傅里叶变换将图像块从空域f(x,y)转化为频域F(u,v),记每个图像块的频谱S为:
S(u,v)=||F(u,v)||
LR图像与HR图像的图像块的频率相似性通过如下方式获取:
其中,HR图像和LR图像的图像块频谱的水平分量和垂直分量分别表示为HH、VH、HL和VL,并且HH和VH分别与HL和VL的长度相等。
5.根据权利要求1所述的一种非整数插值图像的质量评价方法,其特征在于,在所述步骤S4中,记通过所述Sobel算子获取的HR图像的图像块的水平方向偏导的近似值为Gx,垂直方向偏导的近似值为Gy,图像块中每一点(i,j)的梯度幅度为:
HR图像块的局部清晰度通过如下方式计算:
。
6.根据权利要求1所述的一种非整数插值图像的质量评价方法,其特征在于,在所述步骤S5中,所述质量评价模型通过如下步骤建立:
Q=α*Ne+β*Nf+γ*Ns
其中,权重α,β和γ分别用于调整图像级能量相似性Ne,频率相似性Nf和局部清晰度Ns的重要性,并且α+β+γ=1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810400137.4A CN108550153B (zh) | 2018-04-28 | 2018-04-28 | 一种非整数插值图像的质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810400137.4A CN108550153B (zh) | 2018-04-28 | 2018-04-28 | 一种非整数插值图像的质量评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108550153A true CN108550153A (zh) | 2018-09-18 |
CN108550153B CN108550153B (zh) | 2021-12-17 |
Family
ID=63512815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810400137.4A Active CN108550153B (zh) | 2018-04-28 | 2018-04-28 | 一种非整数插值图像的质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108550153B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002174564A (ja) * | 2000-12-06 | 2002-06-21 | Hitachi Ltd | ディスプレイ装置の画質定量評価方法並びにディスプレイ装置 |
US20090185204A1 (en) * | 2008-01-23 | 2009-07-23 | Xerox Corporation | Systems and Methods for Detecting Image Quality Defects |
CN101853504A (zh) * | 2010-05-07 | 2010-10-06 | 厦门大学 | 基于视觉特性与结构相似度的图像质量评测方法 |
CN102436655A (zh) * | 2011-09-02 | 2012-05-02 | 清华大学 | 一种基于svd的超分辨率重建图像质量评价方法 |
CN105205820A (zh) * | 2015-09-21 | 2015-12-30 | 昆明理工大学 | 一种改进的特征相似性图像质量评估方法 |
-
2018
- 2018-04-28 CN CN201810400137.4A patent/CN108550153B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002174564A (ja) * | 2000-12-06 | 2002-06-21 | Hitachi Ltd | ディスプレイ装置の画質定量評価方法並びにディスプレイ装置 |
US20090185204A1 (en) * | 2008-01-23 | 2009-07-23 | Xerox Corporation | Systems and Methods for Detecting Image Quality Defects |
CN101853504A (zh) * | 2010-05-07 | 2010-10-06 | 厦门大学 | 基于视觉特性与结构相似度的图像质量评测方法 |
CN102436655A (zh) * | 2011-09-02 | 2012-05-02 | 清华大学 | 一种基于svd的超分辨率重建图像质量评价方法 |
CN105205820A (zh) * | 2015-09-21 | 2015-12-30 | 昆明理工大学 | 一种改进的特征相似性图像质量评估方法 |
Non-Patent Citations (2)
Title |
---|
HOJATOLLAH YEGANEH ET AL.: "Objective Quality Assessment of Interpolated Natural Images", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
李航等: "基于频域的结构相似度的图像质量评价方法", 《清华大学学报 (自然科学版)》 * |
Also Published As
Publication number | Publication date |
---|---|
CN108550153B (zh) | 2021-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018161775A1 (zh) | 一种用于图像处理的神经网络模型的训练方法、装置和存储介质 | |
Lin et al. | Experimental design and analysis of JND test on coded image/video | |
CN105100789B (zh) | 一种视频质量评价方法 | |
CN109754391A (zh) | 一种图像质量评价方法、装置及电子设备 | |
CN109711401B (zh) | 一种基于Faster Rcnn的自然场景图像中的文本检测方法 | |
Tian et al. | A multi-order derivative feature-based quality assessment model for light field image | |
CN102572499B (zh) | 基于小波变换多分辨率预测的无参考图像质量评价方法 | |
CN101562675B (zh) | 基于Contourlet变换的无参考型图像质量评测方法 | |
CN108665460A (zh) | 基于组合神经网络和分类神经网络的图像质量评价方法 | |
CN102547368A (zh) | 一种立体图像质量客观评价方法 | |
CN105574901B (zh) | 一种基于局部对比度模式的通用无参考图像质量评价方法 | |
CN109788275A (zh) | 自然性、结构和双目不对称无参考立体图像质量评价方法 | |
CN105469359A (zh) | 基于局部约束低秩表示的人脸超分辨率重建方法 | |
Vu et al. | Perception-enhanced image super-resolution via relativistic generative adversarial networks | |
CN106548472A (zh) | 基于沃尔什哈达玛变换的无参考图像质量评价方法 | |
KR20190139781A (ko) | 데이터 획득 시간 최소화를 위한 cnn 기반의 고해상도 영상 생성 장치 및 그 방법 | |
CN107343196A (zh) | 一种混合失真无参考图像质量评价方法 | |
CN109257592B (zh) | 基于深度学习的立体视频质量客观评价方法 | |
CN104616294A (zh) | 一种基于视觉显著性的色调映射图像质量评价方法 | |
CN107040775A (zh) | 一种基于局部特征的色调映射图像质量客观评价方法 | |
CN105654452A (zh) | 一种基于边缘结构的背景杂波度量方法 | |
Morzelona | Human visual system quality assessment in the images using the IQA model integrated with automated machine learning model | |
CN104182931B (zh) | 超分辨率方法和装置 | |
CN107578406A (zh) | 基于网格与韦泊统计特性的无参考立体图像质量评价方法 | |
CN110930314B (zh) | 图像条带噪声抑制方法及其装置、电子设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |