CN110910365A - 一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法 - Google Patents
一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法 Download PDFInfo
- Publication number
- CN110910365A CN110910365A CN201911124954.2A CN201911124954A CN110910365A CN 110910365 A CN110910365 A CN 110910365A CN 201911124954 A CN201911124954 A CN 201911124954A CN 110910365 A CN110910365 A CN 110910365A
- Authority
- CN
- China
- Prior art keywords
- image
- information
- region
- quality
- follows
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法,其特征在于,首先,基于多曝光融合图像与源曝光级序列图像的结构差异性使用超像素分割法将融合图像划分为信息量较大和信息量较小区域;其次,基于拉普拉斯金字塔分别计算信息量较大和信息量较小区域的质量图;再次,采用基于信息论的自适应性加权策略计算信息量较大和信息量较小区域局部质量分数,然后平均所得的变动较大和变动较小区域的局部质量分数得到融合图像的质量分数。实验结果表明,该方法对动态场景和静态场景的多曝光融合图像的视觉质量评价都展现出良好的预测性能。
Description
技术领域
本发明涉及一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法,属于多媒体技术领域,具体属于数字图像和数字视频处理技术领域。
背景技术
随着数字媒体的***式增长,人们对于高质量图像的需求也在不断增长,然而,普通传感器和显示器能捕捉到的亮度动态范围的是有限的,很难重现真实世界中的所有动态范围的细节。高动态范围图像合成技术和多曝光融合技术可以克服这个缺陷,高动态范围图像合成技术是通过转换相机响应函数将一系列在相同的场景拍摄不同的曝光级别的图像序列融合成一张高动态范围图像,为了能在普通显示器上显示图像,随后借助色调映射技术将高动态范围图像压缩成低动态范围图像。而多曝光融合技术直接将一系列不同曝光级别的图像序列融合成一张信息丰富的低动态范围图像。
然而,高动态范围图像合成技术和多曝光融合技术都需要输入对齐的不同曝光级别的图像序列,也就是拍摄场景中不能包含移动的物体或相机、手的抖动,获得的源曝光级序列中不能包含动态信息,不同曝光级别图像间小小的位移都会导致最终融合的图像中产生鬼影。最近几年,越来越多人研究如何检测和抑制鬼影。然而,不同的高动态范围图像合成技术和多曝光融合技术会影响融合图像结构、对比度和颜色等方面,并且产生的融合图像拥有不同的感知质量。因此,设计一个质量评价方法同时评估动态场景和静态场景的多曝光融合图像是非常有必要的。现存只有几个评估静态场景的多曝光融合图像的客观质量评估方法和少量评估动态场景的多曝光融合图像的客观质量评估方法,这些方法都不能同时评估动态场景和静态场景的多曝光融合图像。就本发明所知的,目前没有提出任何同时针对动态场景和静态场景的多曝光融合图像的客观质量评价算法。因此,填补同时针对动态场景和静态场景的多曝光融合图像质量评价的空白,本发明旨在设计针对同时针对动态场景和静态场景的多曝光融合图像的客观质量算法,有效的实现同时针对动态场景和静态场景的多曝光融合图像客观质量的自动预测。
发明内容
本发明涉及一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法,其特征在于,首先,基于多曝光融合图像与源曝光级序列图像的结构差异性使用超像素分割法将融合图像划分为信息量较大和信息量较小区域;其次,基于拉普拉斯金字塔分别计算信息量较大和信息量较小区域的质量图;再次,采用基于信息论的自适应性加权策略计算信息量较大和信息量较小区域局部质量分数,然后平均所得的变动较大和变动较小区域的局部质量分数得到融合图像的质量分数。实验结果表明,该方法对动态场景和静态场景的多曝光融合图像的视觉质量评价都展现出良好的预测性能。
一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法,其特征在于,包括以下几个步骤:
A.计算多曝光融合图像与源曝光级序列图像的结构差异性,同时,对多曝光融合图像进行超像素分割,计算每个超像素块中的平均差异值,并根据所得的差异值将超像素块二值化,由此获得将融合图像划分为信息量较大和信息量较小区域的二值图;
B.将融合图像进行拉普拉斯金字塔分解,对于信息量较大区域,计算融合图像与源曝光级序列图像的结构相似性和对比度保真度,结合结构相似性和对比度保真度获得信息量较大区域的质量图;
C.对于信息量较小区域,分别计算融合图像与源曝光级序列图像的纹理相似性和对比度保真度,结合纹理相似性和对比度保真的获得信息量较小区域的质量图;
D.分别计算信息量较大区域和信息量较小区域的超像素块的质量分数,然后计算融合图像的锐度,并求得每个超像素块锐利度的熵,把所求的熵值作为信息量较大区域和信息量较小区域质量分数的权重,计算得到信息量较大区域和信息量较小区域的局部质量分数,将得到的局部质量分数求平均,获得融合图像的全局质量分数,最后采用多尺度加权方法得到融合图像的总体视觉质量分数。
进一步地,基于多曝光融合图像与源曝光级序列图像的结构差异性,用超像素分割将融合图像划分为信息量较大区域和信息量较小区域,其具体步骤是:
A.计算融合图像与源曝光级序列图像的结构差异性,其计算公式如下:
其中,xk表示第k张源曝光级序列图,共有K张序列图;y表示多曝光融合图像;σy,是用大小为11×11,标准差为1.5的高斯滑动窗口分别计算融合图像y,第k张源曝光级序列图像xk的方差;是融合图像y和第k张源曝光级序列图像xk的协方差;C1是一个提高算式稳定性的常量,C1=(0.03×255)2;
B.随后计算每个超像素块中的结构差异值,其计算公式如下:
其中,bi是以第i个像素点为中心的超像素块;|bi|是该超像素块中包含的像素数量;mean(·)表示在每个像素点上的求均值操作;然后根据所得的差异值二值化超像素块,得到将融合图像划分为信息量较大和信息量较小区域的二值图,其计算公式如下:
其中,Th是提前设置的阈值,Th=0.9。
进一步地,将融合图像进行拉普拉斯金字塔分解,对于信息量较大区域,计算融合图像与源曝光级序列图像的结构相似性和对比度保真度,结合结构相似性和对比度保真度获得信息量较大区域的质量图,其具体步骤是:
A.将融合图像与源曝光级序列图像进行拉普拉斯金字塔分解,用ly,s和表示第s个尺度的融合图像和第k张源曝光级序列图像的拉普拉斯金字塔分解图,共有S个尺度,则融合图像和第k张源曝光级序列图像在第s个尺度上的结构相似性的计算公式如下:
其中,C2是一个提高算式稳定性的常量,C2=C1;
B.使用对比度敏感函数(Contrast sensitive function)量化图像的对比度信息,其计算公式如下;
cy,s(m,n)=F-1[F[ly,s]sd(r)], (5
其中,(m,n)表示像素点位置;F[·]表示傅里叶变换;sd(r)是在极坐标中的对比度敏感函数,计算公式如下:
C.通过结合结构保真度和对比度保真度,可获得信息量较大区域的质量图,其计算公式如下:
其中,α和β是用来调节两个保真度的相对重要性,α=β=1。
进一步地,对于信息量较小区域,分别计算融合图像与源曝光级序列图像的纹理相似性和对比度保真度,结合纹理相似性和对比度保真的获得变动较小区域的质量,其具体步骤是:
A.使用高斯拉普拉斯算子提取融合图像和源曝光级序列图像的纹理信息,其计算公式如下:
其中,gy,s和分别是融合图像和第k张源曝光级序列图像在s个尺度上的纹理信息;LoG(m,n)是以0为中心,标准差为σ高斯拉普拉斯函数;表示卷积操作;融合图像和源曝光级序列图像间的纹理相似性可通过如下公式计算得:
C.结合纹理相似性和对比度保真度,得到变动较小区域的质量图,其计算公式如下:
其中,γ和δ是调节两个保真度的相对重要性,γ=δ=1。
进一步地,分别计算信息量较大区域和信息量较小区域的超像素块的质量分数,然后计算融合图像的锐利度,并求得每个超像素块锐利度的熵,把所求的熵值作为信息量较大区域和信息量较小区域质量分数的权重,计算得到信息量较大区域和信息量较小区域的局部质量分数,将得到的局部质量分数求平均,获得融合图像的全局质量分数,最后采用多尺度的方法加权得到融合图像的总体视觉质量分数;其具体步骤是:
其中,br是在信息量较大区域以第r个像素为中心的超像素块;|br|是该超像素块中包含的像素数量;
B.对于超像素块中最大的平均质量分数,其计算公式如下:
C.信息量较大区域内的超像素块的质量分数可通过如下公式计算得到:
其中,wt是平衡两个质量分数的权重;
D.对于信息量较小区域,计算每张源曝光级序列图像的感知信息内容,其计算公式如下:
其中,C4表示人类视觉***中的噪声强度,通过计算得到的感知信息内容将信息量较小区域的质量图融合成一张质量图,其计算公式如下:
E.信息量较小区域内的超像素块的质量分数可通过如下公式计算得到:
其中,bd是在信息量较小区域以第d个像素为中心的超像素块;|bd|是该超像素块中包含的像素数量;
F.对于融合图像的锐度,利用四个多方向的算子{fτ}τ=1,2,3,4提取融合图像的锐度,其计算公式如下:
其中,τ1和τ2表示卷积后得到前两个最大值的算子的索引;|·|表示取绝对值;
G.计算每个超像素块锐度的熵,把信息量较大区域以像素r为中心的超像素块的熵记为信息量较大区域以像素d为中心的超像素块的熵记为随后,将所求的熵值作为信息量较大区域和信息量较小区域质量分数的权重,计算得到信息量较大区域和信息量较小区域的局部质量分数,其计算公式如下:
其中,nu和nv分别表示信息量较大区域和信息量较小区域超像素的数量;因此,融合图像的全局质量分数为:
H.采用多尺度的方法计算融合图像的总体视觉质量分数,其计算公式如下:
其中ωs表示第s个尺度的权重,其中ωs为{ω1=0.0517,ω2=0.3295,ω3=0.3462,ω4=0.2726}。
附图说明
图1为本发明的算法框架图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
其中,本文所涉及的技术特征、简写/缩写、符号等,以本领域技术人员的公知认识/通常理解为基础进行解释、定义/说明。
下面结合附图,对本发明的技术方案做进一步的详细描述。
本发明的过程如图1所示,具体过程如下:
步骤1:计算多曝光融合图像与源曝光级序列图像的结构差异性,同时,对多曝光融合图像进行超像素分割,计算每个超像素块中的平均差异值,并根据所得的差异值将超像素块二值化,由此获得将融合图像划分为信息量较大和信息量较小区域的二值图;
步骤2:将融合图像进行拉普拉斯金字塔分解,对于信息量较大区域,计算融合图像与源曝光级序列图像的结构相似性和对比度保真度,结合结构相似性和对比度保真度获得信息量较大区域的质量图;
步骤3:对于信息量较小区域,分别计算融合图像与源曝光级序列图像的纹理相似性和对比度保真度,结合纹理相似性和对比度保真的获得信息量较小区域的质量图;
步骤4:采用自适应权重策略,分别计算信息量较大区域和信息量较小区域的超像素块的质量分数,然后计算融合图像的锐度,并求得每个超像素块锐利度的熵,把所求的熵值作为变动较大区域和变动较小区域质量分数的权重,计算得到信息量较大区域和信息量较小区域的局部质量分数,将得到的局部质量分数求平均,获得融合图像的全局质量分数。
本发明使用一种常用的标准来评估算法预测三维视频质量的准确性。斯皮尔曼的相关系数(Spearman Rank-order Correlation Coefficient,SRCC),用来评估预测的单调性。一般来说,SRCC值越接近于1说明单调性越高,越接近0说明单调性越低。为了验证本发明提出的算法的性能,本发明将算法与现有的多曝光融合图像质量评价方法在静态多曝光融合数据库MEF-S和动态多曝光融合数据库MEF-D上进行比较,包括Wang08、Hossny08、Wang04、Ma15、Xing17、Rahman17以及Fang19。
本发明提出了一种有效的同时针对动态场景和静态场景的多曝光融合图像的客观质量评价方法,该方法主要分为为四个部分:信息量较大和信息量较小区域划分;信息量较大区域质量评价;信息量较小区域质量评价;自适应权重策略。
本发明各个部分的具体操作如下:
(1)信息量较大和信息量较小区域划分:
多曝光融合图像是由一组不同曝光级别的图像序列融合而成,首先,计算融合图像与源曝光级序列图像的结构差异性,其计算公式如下:
其中,xk表示第k张源曝光级序列图,共有K张序列图;y表示多曝光融合图像;σy,是用大小为11×11,标准差为1.5的高斯滑动窗口分别计算融合图像y,第k张源曝光级序列图像xk的方差;是融合图像y和第k张源曝光级序列图像xk的协方差;C1是一个提高算式稳定性的常量,C1=(0.03×255)2;随后计算每个超像素块中的结构差异值,其计算公式如下:
其中,bi是以第i个像素点为中心的超像素块;|bi|是该超像素块中包含的像素数量;mean(·)表示在每个像素点上的求均值操作;然后根据所得的差异值二值化超像素块,得到将融合图像划分为信息量较大和信息量较小区域的二值图,其计算公式如下:
其中,Th是提前设置的阈值,Th=0.9。
(2)信息量较大区域质量评价:
将融合图像与源曝光级序列图像进行拉普拉斯金字塔分解,用ly,s和表示第s个尺度的融合图像和第k张源曝光级序列图像的拉普拉斯金字塔分解图,共有S个尺度;则融合图像和第k张源曝光级序列图像在第s个尺度上的结构相似度的计算公式如下:
其中,C2是一个提高算式稳定性的常量,C2=C1。使用对比度敏感函数(Contrastsensitive function)量化图像的对比度信息,其计算公式如下;
cy,s(m,n)=F-1[F[ly,s]sd(r)], (30
其中,(m,n)表示像素点位置;F[·]表示傅里叶变换;sd(r)是在极坐标中的对比度敏感函数,计算公式如下:
随后,通过结合结构相似度和对比度保真度,可获得信息量较大区域的质量图,其计算公式如下:
其中,α和β是用来调节两个保真度的相对重要性,α=β=1。
(3)信息量较小区域质量评价:
使用高斯拉普拉斯(Laplacian ofGaussian)算子提取融合图像和源曝光级序列图像的纹理信息,其计算公式如下:
其中,γ和δ是调节两个保真度的相对重要性,γ=δ=1。
(4)自适应权重策略
其中,br是在信息量较大区域以第r个像素为中心的超像素块;|br|是该超像素块中包含的像素数量;对于超像素块中最大的平均质量分数,其计算公式如下:
因此,信息量较大区域内的超像素块的质量分数可通过如下公式计算得到:
其中,wt是平衡两个质量分数的权重。
对于信息量较小区域,计算每张源曝光级序列图像的感知信息内容,其计算公式如下:
其中,C4表示人类视觉***中的噪声强度。通过计算得到的感知信息内容将信息量小区域的质量图融合成一张质量图,其计算公式如下:
信息量较小区域内的超像素块的质量分数可通过如下公式计算得到:
其中,bd是在信息量较小区域以第d个像素为中心的超像素块;|bd|是该超像素块中包含的像素数量。
接下来,计算融合图像的锐度,利用四个多方向的算子{fτ}τ=1,2,3,4提取融合图像的锐度,其计算公式如下:
其中,τ1和τ2表示卷积后得到前两个最大值的算子的索引;|·|表示取绝对值。计算每个超像素块锐度的熵,把信息量较大区域以像素r为中心的超像素块的熵记为信息量较大区域以像素d为中心的超像素块的熵记为随后,将所求的熵值作为信息量较大区域和信息量较小区域质量分数的权重,计算得到信息量较大区域和信息量较小区域的局部质量分数,其计算公式如下:
其中,nu和nv分别表示信息量较大区域和信息量较小区域超像素的数量。因此,融合图像的全局质量分数为:
最后采用多尺度的方法计算融合图像的总体视觉质量分数,其计算公式如下:
其中ωs表示第s个尺度的权重,其中{ω1=0.0517,ω2=0.3295,ω3=0.3462,ω4=0.2726}。
表1:本发明和其它不同质量评价方法模型在数据库MEF-S上性能的比较
方法 | Hossny08 | Wang04 | Ma15 | Xing17 | Rahman17 | Fang19 | 本发明 |
SRCC | -0.278 | -0.252 | 0.857 | 0.878 | 0.910 | 0.697 | 0.870 |
表1为不同融合图像客观质量评价方法在静态多曝光融合图像数据库上比较的实例,本发明提出的同时对于动态场景和静态场景的多曝光融合图像质量评价方法性能较好。
表2:本发明和其它不同质量评价方法模型在数据库MEF-D上性能的比较
方法 | Wang08 | Hossny08 | Wang04 | Ma15 | Rahman17 | Fang19 | 本发明 |
SRCC | 0.283 | 0.608 | 0.618 | 0.202 | 0.188 | 0.730 | 0.743 |
表2为不同融合图像客观质量评价方法在动态多曝光融合图像数据库上比较的实例,本发明提出的同时对于动态场景和静态场景的多曝光融合图像质量评价方法性能最好。
上述实施方式是对本发明的说明,不是对本发明的限定,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的保护范围由所附权利要求及其等同物限定。
Claims (5)
1.一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法,其特征在于,包括以下几个步骤:
A.计算多曝光融合图像与源曝光级序列图像的结构差异性,同时,对多曝光融合图像进行超像素分割,计算每个超像素块中的平均差异值,并根据所得的差异值将超像素块二值化,由此获得将融合图像划分为信息量较大和信息量较小区域的二值图;
B.将融合图像进行拉普拉斯金字塔分解,对于信息量较大区域,计算融合图像与源曝光级序列图像的结构相似性和对比度保真度,结合结构相似性和对比度保真度获得信息量较大区域的质量图;
C.对于信息量较小区域,分别计算融合图像与源曝光级序列图像的纹理相似性和对比度保真度,结合纹理相似性和对比度保真的获得信息量较小区域的质量图;
D.分别计算信息量较大区域和信息量较小区域的超像素块的质量分数,然后计算融合图像的锐度,并求得每个超像素块锐利度的熵,把所求的熵值作为信息量较大区域和信息量较小区域质量分数的权重,计算得到信息量较大区域和信息量较小区域的局部质量分数,将得到的局部质量分数求平均,获得融合图像的全局质量分数,最后采用多尺度加权方法得到融合图像的总体视觉质量分数。
2.根据权利要求1所述的方法,其特征在于,基于多曝光融合图像与源曝光级序列图像的结构差异性,用超像素分割将融合图像划分为信息量较大区域和信息量较小区域,其具体步骤是:
A.计算融合图像与源曝光级序列图像的结构差异性,其计算公式如下:
其中,xk表示第k张源曝光级序列图,共有K张序列图;y表示多曝光融合图像;σy,是用大小为11×11,标准差为1.5的高斯滑动窗口分别计算融合图像y,第k张源曝光级序列图像xk的方差;是融合图像y和第k张源曝光级序列图像xk的协方差;C1是一个提高算式稳定性的常量,C1=(0.03×255)2;
B.随后计算每个超像素块中的结构差异值,其计算公式如下:
其中,bi是以第i个像素点为中心的超像素块;|bi|是该超像素块中包含的像素数量;mean(·)表示在每个像素点上的求均值操作;然后根据所得的差异值二值化超像素块,得到将融合图像划分为信息量较大和信息量较小区域的二值图,其计算公式如下:
其中,Th是提前设置的阈值,Th=0.9。
3.根据权利要求1所述的方法,其特征在于,将融合图像进行拉普拉斯金字塔分解,对于信息量较大区域,计算融合图像与源曝光级序列图像的结构相似性和对比度保真度,结合结构相似性和对比度保真度获得信息量较大区域的质量图,其具体步骤是:
A.将融合图像与源曝光级序列图像进行拉普拉斯金字塔分解,用ly,s和表示第s个尺度的融合图像和第k张源曝光级序列图像的拉普拉斯金字塔分解图,共有S个尺度,则融合图像和第k张源曝光级序列图像在第s个尺度上的结构相似性的计算公式如下:
其中,C2是一个提高算式稳定性的常量,C2=C1;
B.使用对比度敏感函数(Contrast sensitive function)量化图像的对比度信息,其计算公式如下;
cy,s(m,n)=F-1[F[ly,s]sd(r)], (5)
其中,(m,n)表示像素点位置;F[·]表示傅里叶变换;sd(r)是在极坐标中的对比度敏感函数,计算公式如下:
C.通过结合结构保真度和对比度保真度,可获得信息量较大区域的质量图,其计算公式如下:
其中,α和β是用来调节两个保真度的相对重要性,α=β=1。
4.根据权利要求3所述的方法,其特征在于,对于信息量较小区域,分别计算融合图像与源曝光级序列图像的纹理相似性和对比度保真度,结合纹理相似性和对比度保真的获得变动较小区域的质量,其具体步骤是:
A.使用高斯拉普拉斯算子提取融合图像和源曝光级序列图像的纹理信息,其计算公式如下:
其中,gy,s和分别是融合图像和第k张源曝光级序列图像在s个尺度上的纹理信息;LoG(m,n)是以0为中心,标准差为σ高斯拉普拉斯函数;表示卷积操作;融合图像和源曝光级序列图像间的纹理相似性可通过如下公式计算得:
C.结合纹理相似性和对比度保真度,得到变动较小区域的质量图,其计算公式如下:
其中,γ和δ是调节两个保真度的相对重要性,γ=δ=1。
5.根据权利要求3所述的方法,其特征在于,分别计算信息量较大区域和信息量较小区域的超像素块的质量分数,然后计算融合图像的锐利度,并求得每个超像素块锐利度的熵,把所求的熵值作为信息量较大区域和信息量较小区域质量分数的权重,计算得到信息量较大区域和信息量较小区域的局部质量分数,将得到的局部质量分数求平均,获得融合图像的全局质量分数,最后采用多尺度的方法加权得到融合图像的总体视觉质量分数;其具体步骤是:
其中,br是在信息量较大区域以第r个像素为中心的超像素块;|br|是该超像素块中包含的像素数量;
B.对于超像素块中最大的平均质量分数,其计算公式如下:
C.信息量较大区域内的超像素块的质量分数可通过如下公式计算得到:
其中,wt是平衡两个质量分数的权重;
D.对于信息量较小区域,计算每张源曝光级序列图像的感知信息内容,其计算公式如下:
其中,C4表示人类视觉***中的噪声强度,通过计算得到的感知信息内容将信息量较小区域的质量图融合成一张质量图,其计算公式如下:
E.信息量较小区域内的超像素块的质量分数可通过如下公式计算得到:
其中,bd是在信息量较小区域以第d个像素为中心的超像素块;|bd|是该超像素块中包含的像素数量;
F.对于融合图像的锐度,利用四个多方向的算子{fτ}τ=1,2,3,4提取融合图像的锐度,其计算公式如下:
其中,τ1和τ2表示卷积后得到前两个最大值的算子的索引;|·|表示取绝对值;
G.计算每个超像素块锐度的熵,把信息量较大区域以像素r为中心的超像素块的熵记为信息量较大区域以像素d为中心的超像素块的熵记为随后,将所求的熵值作为信息量较大区域和信息量较小区域质量分数的权重,计算得到信息量较大区域和信息量较小区域的局部质量分数,其计算公式如下:
其中,nu和nv分别表示信息量较大区域和信息量较小区域超像素的数量;因此,融合图像的全局质量分数为:
H.采用多尺度的方法计算融合图像的总体视觉质量分数,其计算公式如下:
其中ωs表示第s个尺度的权重,其中ωs为{ω1=0.0517,ω2=0.3295,ω3=0.3462,ω4=0.2726}。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911124954.2A CN110910365A (zh) | 2019-11-18 | 2019-11-18 | 一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911124954.2A CN110910365A (zh) | 2019-11-18 | 2019-11-18 | 一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110910365A true CN110910365A (zh) | 2020-03-24 |
Family
ID=69817557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911124954.2A Pending CN110910365A (zh) | 2019-11-18 | 2019-11-18 | 一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110910365A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113079323A (zh) * | 2021-03-31 | 2021-07-06 | 中国科学院长春光学精密机械与物理研究所 | 一种基于二维熵的航天遥感载荷自动曝光方法 |
CN113610863A (zh) * | 2021-07-22 | 2021-11-05 | 东华理工大学 | 多曝光图像融合质量评估方法 |
TWI800943B (zh) * | 2021-10-08 | 2023-05-01 | 大陸商星宸科技股份有限公司 | 圖像處理裝置與圖像處理方法 |
CN117097989A (zh) * | 2023-10-18 | 2023-11-21 | 北京道仪数慧科技有限公司 | 一种图像优选的处理方法和装置 |
-
2019
- 2019-11-18 CN CN201911124954.2A patent/CN110910365A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113079323A (zh) * | 2021-03-31 | 2021-07-06 | 中国科学院长春光学精密机械与物理研究所 | 一种基于二维熵的航天遥感载荷自动曝光方法 |
CN113610863A (zh) * | 2021-07-22 | 2021-11-05 | 东华理工大学 | 多曝光图像融合质量评估方法 |
CN113610863B (zh) * | 2021-07-22 | 2023-08-04 | 东华理工大学 | 多曝光图像融合质量评估方法 |
TWI800943B (zh) * | 2021-10-08 | 2023-05-01 | 大陸商星宸科技股份有限公司 | 圖像處理裝置與圖像處理方法 |
CN117097989A (zh) * | 2023-10-18 | 2023-11-21 | 北京道仪数慧科技有限公司 | 一种图像优选的处理方法和装置 |
CN117097989B (zh) * | 2023-10-18 | 2024-01-02 | 北京道仪数慧科技有限公司 | 一种图像优选的处理方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107767413B (zh) | 一种基于卷积神经网络的图像深度估计方法 | |
CN110910365A (zh) | 一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法 | |
CN108549874B (zh) | 一种目标检测方法、设备及计算机可读存储介质 | |
Negru et al. | Exponential contrast restoration in fog conditions for driving assistance | |
CN109360178B (zh) | 基于融合图像的无参考立体图像质量评价方法 | |
CN109255358B (zh) | 一种基于视觉显著性和深度图的3d图像质量评价方法 | |
CN109978854B (zh) | 一种基于边缘与结构特征的屏幕内容图像质量评估方法 | |
CN101729911B (zh) | 一种基于视觉感知的多视点图像颜色校正方法 | |
CN111079740A (zh) | 图像的质量评价方法、电子设备和计算机可读存储介质 | |
CN105279772B (zh) | 一种红外序列图像的可跟踪性判别方法 | |
CN108470178B (zh) | 一种结合深度可信度评价因子的深度图显著性检测方法 | |
CN107358141B (zh) | 数据识别的方法及装置 | |
CN107578399B (zh) | 基于边界特征分割的全参考图像质量评价方法 | |
CN102231844B (zh) | 基于结构相似度和人眼视觉的视频图像融合性能评价方法 | |
CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
CN110853027A (zh) | 一种基于局部变动和全局变化的三维合成图像无参考质量评价方法 | |
CN108830829B (zh) | 联合多种边缘检测算子的无参考质量评价算法 | |
CN109345525A (zh) | 一种去鬼影高动态范围图像质量评价方法 | |
CN116129195A (zh) | 图像质量评价装置、方法、电子设备和存储介质 | |
CN110046595B (zh) | 一种基于级联式多尺度的密集人脸检测方法 | |
CN112258403A (zh) | 一种在动态烟雾中提取疑似烟雾区域的方法 | |
CN111260687A (zh) | 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法 | |
CN112508847A (zh) | 一种基于深度特征与结构加权lbp特征的图像质量评价方法 | |
CN104394405B (zh) | 一种基于全参考图像的客观质量评价方法 | |
CN106778822B (zh) | 基于漏斗变换的图像直线检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |