CN104616274A - 一种基于显著性区域提取的多聚焦图像融合算法 - Google Patents
一种基于显著性区域提取的多聚焦图像融合算法 Download PDFInfo
- Publication number
- CN104616274A CN104616274A CN201510066177.6A CN201510066177A CN104616274A CN 104616274 A CN104616274 A CN 104616274A CN 201510066177 A CN201510066177 A CN 201510066177A CN 104616274 A CN104616274 A CN 104616274A
- Authority
- CN
- China
- Prior art keywords
- fusion
- csf
- algorithm
- lap
- band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于显著性区域提取的多聚焦图像融合算法,其包括以下步骤:1、利用GBVS算法得到两幅源图像的显著图;2、二值化显著图并分别计算其空间频率,得到空间频率图;3、利用分水岭算法检测空间频率图的微弱边缘,得到封闭区域并分类,通过比较不同区域的空间频率,找到其中的伪聚焦区域并将其滤除,剩余区域利用形态学方法得到聚焦区域;4、将源图像聚焦区域直接融合,离焦区域通过Shearlet变换分解得到其高频和低频子带系数,分别基于PCNN和拉普拉斯金字塔变换融合;5、重构融合系数,得到融合图像。本发明融合算法灰度级分布更加分散,图像纹理较丰富,细节突出。
Description
技术领域
本发明涉及一种图像处理技术领域的方法,具体涉及一种基于显著性区域提取的多聚焦图像融合算法。
背景技术
光学***有限的聚焦范围难以清晰地呈现场景中的所有目标,摄取的图像一般由聚焦区域和离焦区域组成。为了获取清晰真实的场景,得到包含图像不同聚焦区域特征信息的全聚焦融合图像,研究者不断提出各类多聚焦图像融合算法。
根据人的视觉注意机制,区域之间有不同的显著性,注视焦点通常会落在显著性较高的区域。从视觉角度分析,聚焦区域属于特殊的显著性区域,在多聚焦图像中,聚焦区域对应于图像中最能吸引人们注意、最能表现图像内容的显著部分.显著性检测得到的显著图可以较好地区分前景和背景,尤其在不同深度物体的边缘处更加准确。通过显著图可以准确定位聚焦区域的边缘,实现聚焦区域与离焦区域的精确分离。
自底向上的显著图计算模型,根据图像的颜色、亮度、方向三个特征信息,得到对应的多尺度显著图。GBVS模型简化了Itti显著图计算模型,该模型计算得到的显著图可以在复杂的背景中精确捕获目标物体所在位置及目标物体的轮廓。但是由于显著区域分布与图像的局域对比度相关,所以若模糊区域包含了部分对比度比较高的区域,在显著性分析中也会被划分为显著区域,影响对聚焦区域的判别。考虑到聚焦区域往往是清晰区域,而空间频率是区域清晰度度量,对清晰区域敏感,其值与边缘细节信息相关,而与像素的灰度值之间没有直接关系,可以计算局域空间频率检测并滤除这部分伪聚焦区域。
发明内容
本发明所要解决的技术问题是:提供一种基于显著性区域提取的多聚焦图像融合算法,丰富图像的背景信息,最大限度地保护图像中的细节。
本发明的技术方案是:一种基于显著性区域提取的多聚焦图像融合算法,包括以下步骤:
(1)利用GBVS算法分别计算源图像A和B的显著性分布图G1和G2;
(2)二值化显著性分布图G1和G2,并分别计算其空间频率,得到空间频率图S1和S2;
其中,求取显著性分布图G1和G2的灰度均值Tas和Tbs做为二值化阈值;
(3)利用分水岭算法检测空间频率图S1和S2的微弱边缘,连接边缘得到封闭区域 其中,s=1,2,…n,n为封闭区域个数,并将分类,比较不同区域的空间频率通过公式(1)找到其中的伪聚焦区域Ft,其中,t=1,2,…p,p<n,并将其滤除;利用形态学方法,先腐蚀后膨胀合并剩余封闭区域,即聚焦区域,将源图像分为聚焦区域M1、M2和离焦区域U1、U2;
(4)将源图像聚焦区域直接融合,离焦区域通过Shearlet变换分别进行三层分解,获得各自的一个低频子带:Al、Bl和三层高频子带:Am,k、Bm,k,m=1,2,3,其中1-3层分别包含10,10,18个方向子带;分别基于脉冲耦合神经网络PCNN和拉普拉斯金字塔变换融合,具体为:
分别建立融合规则:
低频子带Al、Bl利用拉普拉斯金字塔分解,得到分解系数通过公式(2)的比较取大法选择低频融合系数LF,ij;
其中,i,j分别表示LF,ij的行数和列数;
通过基于脉冲耦合神经网络的融合规则融合高频子带Am,k、Bm,k的系数,具体步骤如下:
①将Am,k、Bm,k分别输入到PCNN的两个输入端,利用公式(3)计算系数的对比敏感度因子CSF作为PCNN的外部激励;
CSF(f)=2.6×(0.0192+0.114f)exp[-(0.114f)1.1](3)
其中,是空间频率,fx、fy分别是水平和竖直方向的空间频率,
其中,M为源图像行数,N为源图像列数;
②根据公式(6)比较得到各方向子带的融合系数:
其中,m指第m层分解,k指第k个方向子带;是Am,k、Bm,k在(i,j)点的系数,Am,k、Bm,k是高频子带。
③利用Shearlet反变换重构LF,ij和得到融合系数F;
其中,i,j分别表示和的行数和列数;
(5)重构融合系数F,得到融合图像。
本发明与现有技术相比的优点在于:
本发明首先利用人眼视觉机制,通过GBVS算法在源图像中搜索聚焦区域,得到包含源图像边缘信息的显著图,再利用空间频率分布和分水岭算法去除显著图中的伪聚焦区域,精确定位聚焦区域,聚焦区域的像素直接融合,剩余区域通过shearlet变换分解为高频和低频系数,通过PCNN和拉普拉斯金字塔分别选择融合系数,最后重构获得融合图像。本方法所生成的融合图像具有较大的局部梯度,灰度级分布更加分散,图像纹理较丰富,细节突出。
附图说明
图1为聚焦区域提取流程图。
图2为本发明融合算法结构图。
图3为融合结果比较示意图。
具体实施方式
下面结合附图对本发明做进一步的详细描述。
聚焦区域提取流程如图1所示。
如图2所示,一种基于显著性区域提取的多聚焦图像融合算法,包括以下步骤:
(1)利用GBVS算法分别计算源图像A和B的显著性分布图G1和G2;
(2)二值化显著性分布图G1和G2,并分别计算其空间频率,得到空间频率图S1和S2;其中,求取显著性分布图G1和G2的灰度均值Tas和Tbs做为二值化阈值;
(3)利用分水岭算法检测空间频率图S1和S2的微弱边缘,连接边缘得到封闭区域 其中,s=1,2,…n,n为封闭区域个数,并将分类,比较不同区域的空间频率通过公式(1)找到其中的伪聚焦区域Ft,其中,t=1,2,…p,p<n,并将其滤除;利用形态学方法,先腐蚀后膨胀合并剩余封闭区域,即聚焦区域,将源图像分为聚焦区域M1、M2和离焦区域U1、U2;
(4)将源图像聚焦区域直接融合,离焦区域通过Shearlet变换分别进行三层分解,获得各自的一个低频子带:Al、Bl和三层高频子带:Am,k、Bm,k,m=1,2,3,其中1-3层分别包含10,10,18个方向子带;分别基于脉冲耦合神经网络PCNN和拉普拉斯金字塔变换融合,具体为:
分别建立融合规则:
低频子带Al、Bl利用拉普拉斯金字塔分解,得到分解系数通过公式(2)的比较取大法选择低频融合系数LF,ij;
其中,i,j分别表示LF,ij的行数和列数;
通过基于脉冲耦合神经网络的融合规则融合高频子带Am,k、Bm,k的系数,具体步骤如下:
①将Am,k、Bm,k分别输入到PCNN的两个输入端,利用公式(3)计算系数的对比敏感度因子CSF作为PCNN的外部激励;
CSF(f)=2.6×(0.0192+0.114f)exp[-(0.114f)1.1](3)
其中,是空间频率,fx、fy分别是水平和竖直方向的空间频率,
其中,M为源图像行数,N为源图像列数;
②根据公式(6)比较得到各方向子带的融合系数:
其中,m指第m层分解,k指第k个方向子带;是_Am,k、Bm,k在(i,j)点的系数,Am,k、Bm,k是高频子带,由步骤(2)得到。
③利用Shearlet反变换重构LF,ij和得到融合系数F;
其中,i,j分别表示和的行数和列数;
(5)重构融合系数F,得到融合图像。
如图3所示的本发明方法与其它几种融合方法的效果比较图。(a)为左聚焦图,(b)为(a)的显著图,(c)为右聚焦图,(d)为(c)的显著图,图3(e)-(j)分别为利用基于拉普拉斯金字塔变换(Laplacian)、离散小波变换(DWT)、平稳离散小波变换(SIDWT)、FSDpyramid、梯度信息(gradient)和本发明方法进行融合的效果图,通过效果比较可以看到,利用本发明方法进行融合不仅有效地丰富了图像的背景信息,而且最大限度地保护了图像中的细节,符合人眼视觉特性。
在表1所示的客观评价指标表中,通过相关系数(MI),边缘梯度信息(QAB/F)衡量不同融合方法获得的融合图像质量,相关系数,边缘梯度信息越大,说明融合图像中特征信息越丰富,与源图像越接近,融合效果越好。由表1中数据可以看到,本发明方法指标和其他方法相比都有明显改善,显示本方法所生成的融合图像具有较大的局部梯度,灰度级分布更加分散,图像纹理较丰富,细节突出。
表1
Claims (1)
1.一种基于显著性区域提取的多聚焦图像融合算法,其特征在于,包括以下步骤:
(1)利用GBVS算法分别计算源图像A和B的显著性分布图G1和G2;
(2)二值化显著性分布图G1和G2,并分别计算其空间频率,得到空间频率图S1和S2;其中,求取显著性分布图G1和G2的灰度均值Tas和Tbs做为二值化阈值;
(3)利用分水岭算法检测空间频率图S1和S2的微弱边缘,连接边缘得到封闭区域 其中,s=1,2,…n,n为封闭区域个数,并将分类,比较不同区域的空间频率通过公式(1)找到其中的伪聚焦区域Ft,其中,t=1,2,…p,p<n,并将其滤除;利用形态学方法,先腐蚀后膨胀合并剩余封闭区域,即聚焦区域,将源图像分为聚焦区域M1、M2和离焦区域U1、U2;
(4)将源图像聚焦区域直接融合,离焦区域通过Shearlet变换分别进行三层分解,获得各自的一个低频子带:Al、Bl和三层高频子带:Am,k、Bm,k,m=1,2,3,其中1-3层分别包含10,10,18个方向子带;分别基于脉冲耦合神经网络PCNN和拉普拉斯金字塔变换融合,具体为:
分别建立融合规则:
低频子带Al、Bl利用拉普拉斯金字塔分解,得到分解系数通过公式(2)的比较取大法选择低频融合系数LF,ij;
其中,i,j分别表示LF,ij的行数和列数;
通过基于脉冲耦合神经网络的融合规则融合高频子带Am,k、Bm,k的系数,具体步骤如下:
①将Am,k、Bm,k分别输入到PCNN的两个输入端,利用公式(3)计算系数的对比敏感度因子CSF作为PCNN的外部激励;
CSF(f)=2.6×(0.0192+0.114f)exp[-(0.114f)1.1] (3)
其中,是空间频率,fx、fy分别是水平和竖直方向的空间频率,
其中,M为源图像行数,N为源图像列数;
②根据公式(6)比较得到各方向子带的融合系数:
其中,m指第m层分解,k指第k个方向子带,是高频子带Am,k,Bm,k在(i,j)点的系数;
③利用Shearlet反变换重构LF,ij和得到融合系数F;
其中,i,j分别表示和的行数和列数;
(5)重构融合系数F,得到融合图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510066177.6A CN104616274B (zh) | 2015-02-09 | 2015-02-09 | 一种基于显著性区域提取的多聚焦图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510066177.6A CN104616274B (zh) | 2015-02-09 | 2015-02-09 | 一种基于显著性区域提取的多聚焦图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104616274A true CN104616274A (zh) | 2015-05-13 |
CN104616274B CN104616274B (zh) | 2018-02-02 |
Family
ID=53150707
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510066177.6A Active CN104616274B (zh) | 2015-02-09 | 2015-02-09 | 一种基于显著性区域提取的多聚焦图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104616274B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104881855A (zh) * | 2015-06-10 | 2015-09-02 | 北京航空航天大学 | 一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法 |
CN105139371A (zh) * | 2015-09-07 | 2015-12-09 | 云南大学 | 一种基于pcnn与lp变换的多聚焦图像融合方法 |
CN105225213A (zh) * | 2015-09-29 | 2016-01-06 | 云南大学 | 一种基于s-pcnn与拉普拉斯金字塔的彩色图像融合方法 |
CN105678723A (zh) * | 2015-12-29 | 2016-06-15 | 内蒙古科技大学 | 基于稀疏分解和差分图像的多聚焦图像融合方法 |
CN105931209A (zh) * | 2016-04-07 | 2016-09-07 | 重庆邮电大学 | 一种基于离散正交多项式变换的多聚焦图像融合方法 |
CN107341501A (zh) * | 2017-05-31 | 2017-11-10 | 三峡大学 | 一种基于pcnn和分级聚焦技术的图像融合方法及装置 |
CN107909075A (zh) * | 2017-11-28 | 2018-04-13 | 上海电科智能***股份有限公司 | 一种基于Laplacian扩展算子的车牌图像二值化方法 |
CN107993218A (zh) * | 2018-01-30 | 2018-05-04 | 重庆邮电大学 | 基于代数多重网格和分水岭分割的图像融合方法 |
CN108665436A (zh) * | 2018-05-10 | 2018-10-16 | 湖北工业大学 | 一种基于灰度均值参照的多聚焦图像融合方法和*** |
CN109376638A (zh) * | 2018-10-15 | 2019-02-22 | 西安建筑科技大学 | 一种基于遥感图像和地理信息***的文地率计算方法 |
CN109886903A (zh) * | 2019-01-23 | 2019-06-14 | 湖北工业大学 | 一种基于灰度中列数参照的多聚焦图像融合方法和*** |
CN110110667A (zh) * | 2019-05-08 | 2019-08-09 | 广东工业大学 | 一种硅藻图像的处理方法、***及相关组件 |
CN110738628A (zh) * | 2019-10-15 | 2020-01-31 | 湖北工业大学 | 一种基于wiml比较图的自适应焦点检测多聚焦图像融合方法 |
CN115965844A (zh) * | 2023-01-04 | 2023-04-14 | 哈尔滨工业大学 | 基于视觉显著性先验知识的多聚焦图像融合方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104077762A (zh) * | 2014-06-26 | 2014-10-01 | 桂林电子科技大学 | 一种基于nsst与聚焦区域检测的多聚焦图像融合方法 |
-
2015
- 2015-02-09 CN CN201510066177.6A patent/CN104616274B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104077762A (zh) * | 2014-06-26 | 2014-10-01 | 桂林电子科技大学 | 一种基于nsst与聚焦区域检测的多聚焦图像融合方法 |
Non-Patent Citations (4)
Title |
---|
JONATHAN HAREL等: "Graph-Based Visual Saliency", 《ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS》 * |
SHUTAO LI等: "Combination of images with diverse focus using the spatial frequency", 《INFORMATION FUSION》 * |
侯庆岑等: "基于视觉显著度的多聚焦图像融合方法", 《计算机工程》 * |
刘璇: "基于多尺度变换的多聚焦图像合算法研究", 《中国优秀硕士论文全文数据库信息科技辑》 * |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104881855B (zh) * | 2015-06-10 | 2017-07-28 | 北京航空航天大学 | 一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法 |
CN104881855A (zh) * | 2015-06-10 | 2015-09-02 | 北京航空航天大学 | 一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法 |
CN105139371A (zh) * | 2015-09-07 | 2015-12-09 | 云南大学 | 一种基于pcnn与lp变换的多聚焦图像融合方法 |
CN105139371B (zh) * | 2015-09-07 | 2019-03-15 | 云南大学 | 一种基于pcnn与lp变换的多聚焦图像融合方法 |
CN105225213A (zh) * | 2015-09-29 | 2016-01-06 | 云南大学 | 一种基于s-pcnn与拉普拉斯金字塔的彩色图像融合方法 |
CN105225213B (zh) * | 2015-09-29 | 2018-03-09 | 云南大学 | 一种基于s‑pcnn与拉普拉斯金字塔的彩色图像融合方法 |
CN105678723B (zh) * | 2015-12-29 | 2018-06-15 | 内蒙古科技大学 | 基于稀疏分解和差分图像的多聚焦图像融合方法 |
CN105678723A (zh) * | 2015-12-29 | 2016-06-15 | 内蒙古科技大学 | 基于稀疏分解和差分图像的多聚焦图像融合方法 |
CN105931209A (zh) * | 2016-04-07 | 2016-09-07 | 重庆邮电大学 | 一种基于离散正交多项式变换的多聚焦图像融合方法 |
CN105931209B (zh) * | 2016-04-07 | 2019-05-31 | 重庆邮电大学 | 一种基于离散正交多项式变换的多聚焦图像融合方法 |
CN107341501A (zh) * | 2017-05-31 | 2017-11-10 | 三峡大学 | 一种基于pcnn和分级聚焦技术的图像融合方法及装置 |
CN107341501B (zh) * | 2017-05-31 | 2019-10-08 | 三峡大学 | 一种基于pcnn和分级聚焦技术的图像融合方法及装置 |
CN107909075A (zh) * | 2017-11-28 | 2018-04-13 | 上海电科智能***股份有限公司 | 一种基于Laplacian扩展算子的车牌图像二值化方法 |
CN107993218A (zh) * | 2018-01-30 | 2018-05-04 | 重庆邮电大学 | 基于代数多重网格和分水岭分割的图像融合方法 |
CN107993218B (zh) * | 2018-01-30 | 2021-09-07 | 重庆邮电大学 | 基于代数多重网格和分水岭分割的图像融合方法 |
CN108665436A (zh) * | 2018-05-10 | 2018-10-16 | 湖北工业大学 | 一种基于灰度均值参照的多聚焦图像融合方法和*** |
CN109376638A (zh) * | 2018-10-15 | 2019-02-22 | 西安建筑科技大学 | 一种基于遥感图像和地理信息***的文地率计算方法 |
CN109376638B (zh) * | 2018-10-15 | 2022-03-04 | 西安建筑科技大学 | 一种基于遥感图像和地理信息***的文地率计算方法 |
CN109886903A (zh) * | 2019-01-23 | 2019-06-14 | 湖北工业大学 | 一种基于灰度中列数参照的多聚焦图像融合方法和*** |
CN110110667A (zh) * | 2019-05-08 | 2019-08-09 | 广东工业大学 | 一种硅藻图像的处理方法、***及相关组件 |
CN110110667B (zh) * | 2019-05-08 | 2022-09-23 | 广东工业大学 | 一种硅藻图像的处理方法、***及相关组件 |
CN110738628A (zh) * | 2019-10-15 | 2020-01-31 | 湖北工业大学 | 一种基于wiml比较图的自适应焦点检测多聚焦图像融合方法 |
CN110738628B (zh) * | 2019-10-15 | 2023-09-05 | 湖北工业大学 | 一种基于wiml比较图的自适应焦点检测多聚焦图像融合方法 |
CN115965844A (zh) * | 2023-01-04 | 2023-04-14 | 哈尔滨工业大学 | 基于视觉显著性先验知识的多聚焦图像融合方法 |
CN115965844B (zh) * | 2023-01-04 | 2023-08-18 | 哈尔滨工业大学 | 基于视觉显著性先验知识的多聚焦图像融合方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104616274B (zh) | 2018-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104616274A (zh) | 一种基于显著性区域提取的多聚焦图像融合算法 | |
CN106651872B (zh) | 基于Prewitt算子的路面裂缝识别方法及*** | |
Huang et al. | A new building extraction postprocessing framework for high-spatial-resolution remote-sensing imagery | |
Khan | A survey: Image segmentation techniques | |
Jaleel et al. | Artificial neural network based detection of skin cancer | |
Liu et al. | Single image dehazing via large sky region segmentation and multiscale opening dark channel model | |
CN104361343B (zh) | 车辆类型识别方法及其装置 | |
CN103198332B (zh) | 一种实时鲁棒的远红外车载行人检测方法 | |
CN101520894B (zh) | 基于区域显著性的显著对象提取方法 | |
CN103020965B (zh) | 一种基于显著性检测的前景分割方法 | |
CN103455991B (zh) | 一种多聚焦图像融合方法 | |
CN109341580A (zh) | 钢轨廓形的追踪方法、***及装置 | |
CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
CN110736747B (zh) | 一种细胞液基涂片镜下定位的方法及*** | |
DE102011086512A1 (de) | Verfahren zur Nebeldetektion | |
Bhatnagar et al. | An image fusion framework based on human visual system in framelet domain | |
CN104715238A (zh) | 一种基于多特征融合的行人检测方法 | |
CN109509164A (zh) | 一种基于gdgf的多传感器图像融合方法及*** | |
CN107909560A (zh) | 一种基于SiR的多聚焦图像融合方法及*** | |
Liu et al. | Image segmentation based on gray stretch and threshold algorithm | |
CN109785301A (zh) | 一种基于图像处理的钢轨波磨自动识别方法与评估方法 | |
CN109034136A (zh) | 图像处理方法、装置、摄像设备及存储介质 | |
CN105678735A (zh) | 一种用于雾天图像的目标显著性检测方法 | |
Acharjya et al. | Watershed segmentation based on distance transform and edge detection techniques | |
Lei et al. | Evaluation and modeling of depth feature incorporated visual attention for salient object segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |