CN104574334A - 一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法 - Google Patents
一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法 Download PDFInfo
- Publication number
- CN104574334A CN104574334A CN201510014641.7A CN201510014641A CN104574334A CN 104574334 A CN104574334 A CN 104574334A CN 201510014641 A CN201510014641 A CN 201510014641A CN 104574334 A CN104574334 A CN 104574334A
- Authority
- CN
- China
- Prior art keywords
- bfao
- follows
- dfao
- image
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法,它有四大步骤:一、利用两种形态学交替算子提取原始红外与可见光图像中的多尺度特征;二、由提取到的多尺度特征构造多尺度融合特征;三、利用模糊度量计算每一尺度融合特征的权值,通过加权求和产生最终的融合特征;四、以原始图像的平均图像为基准,引入最终的融合特征,生成最终融合图像。本发明可应用于各类基于图像融合的实际应用***,具有很好的应用前景。
Description
技术领域
本发明涉及一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法,属于数字图像处理领域,它主要涉及模糊数学、数学形态学和图像融合技术。在各类基于图像融合的实际应用***中有广阔的应用前景。
背景技术
由不同成像传感器获得的图像包含场景的不同性质。例如,红外探测器获得的红外图像包含了场景中的温度特性,对目标识别具有重要意义;而可见光图像包含场景的大量细节信息,可提供场景分析所需要的大量信息。如何获得同时包含不同成像源产生的图像中的不同有用信息是图像分析的重要研究内容,图像融合是解决这一问题的有效途径(参见文献:莱维等,一种用于人认知的新的多谱特征图像融合方法,红外物理与技术,52卷,(2009)79-88。(M.Leviner,M.Maltz,A new multi-spectral feature level image fusion method for humaninterpretation,Infrared Physics&Technology 52(2009)79–88.))。
为了有效融合红外与可见光图像,研究人员提出了各种方法。直接平均法是简单有效的图像融合方法。然而,该方法会严重平滑图像信息。基于小波或曲波的方法是红外和可见光图像融合的一类重要方法(参见文献:帕亚雷斯等,一种基于小波的图像融合策略,模式识别,37卷,(2004)1855-1872。(G.Pajares,J.Cruz,A wavelet-based image fusion tutorial,PatternRecognition 37(2004)1855–1872);南希等,利用曲波变换的遥感图像融合,信息融合,8卷,(2007)143–156。(F.Nencini,A.Garzelli,S.Baronti,L.Alparone,Remote sensing imagefusion using the curvelet transform,Information Fusion 8(2007)143–156.))。但是,这类方法仍然会平滑图像细节,使得融合图像不够清晰。基于独立成分分析的方法也是图像融合的一类重要方法(参见文献:米提安纳蒂斯等,利用独立成分分析的像素级和区域级图像融合框架,信息融合,8卷,(2007)131-142。(N.Mitianoudis,T.Stathaki,Pixel-based and region-basedimage fusion schemes using ICA bases,Information Fusion 8(2007)131–142.))。但该方法可能会丢失其他成分信息,造成融合图像细节不够清晰。
形态学方法是红外与可见光图像融合的重要工具。其中,高帽变换可有效应用于红外与可见光图像融合(参考文献:白等,基于多尺度中心环绕高帽变换特征提取的红外和可见光图像融合,光学快报,19卷,(2011)8444–8457。(X.Bai,F.Zhou,B.Xue,Fusion of infraredand visual images through region extraction by using multi scale center-surround top-hattransform,Optics Express 19(9)(2011)8444–8457.))。虽然融合结果图像的对比度较好,但图像细节仍然不够清晰。形态学交替算子可有效提取图像中的有用信息,尤其是细节信息(参考文献:白等,利用基于形态学开闭运算的切换变换构造交替算子的显微矿物图像增强,光学杂志,16卷,(2014)125407。(X.Bai,Y.Zhang,Enhancement of microscopy mineral imagesthrough constructing alternating operators using opening and closing based toggle operator,Journal of Optics 16(2014)125407.))。这说明,该算子可能用于红外与可见光图像融合特征的提取,从而生成对比度较好且细节清晰的融合结果。基于此,本发明提出了一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法。
发明内容
1、目的:图像融合可有效利用多源图像中的有用信息,是图像分析的重要关键技术。红外和可见光图像融合需有效提取图像中的有用信息并合理地组合从而形成包含更多有用信息的融合图像。为了生成有效的融合图像,研究人员提出了各种红外和可见光图像融合方法。但是,现有方法产生的融合图像的细节还不够清晰、图像对比度还不够好,融合结果还不是非常有效。
为了解决上述问题并弥补传统方法的不足,本发明提供了一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法,它利用两种形态学交替算子提取原始红外与可见光图像中的多尺度特征;由提取的多尺度特征构造多尺度融合特征;利用模糊度量计算每一尺度融合特征的权值,通过加权求和产生最终的融合特征;以原始图像的平均图像为基准,引入最终的融合特征,生成最终融合图像。融合结果图像中的细节更加清晰、对比度更好。
2、技术方案:为了实现这个目的,本发明一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法,该方法具体步骤如下:
步骤一:利用两种形态学交替算子提取原始红外与可见光图像中的多尺度亮、暗特征,具体如下:
设f,g为原始红外与可见光图像,则提取的红外图像f的多尺度亮特征BFAOi(f)如下:
和的表述如下:
其中,和为两类形态学交替算子,其定义如下:
其中,和的表述如下:
其中,的表述如下:
其中,为多尺度形态学结构元素,B1表示最低尺度的结构元素;f○Bi和f●Bi的表述如下:
其中,和fΘBi的表述如下:
其中,(x,y)和(u,v)是f和Bi的图像坐标;和Θ分别代表形态学膨胀和腐蚀运算。
同理,提取的红外图像f的多尺度暗特征DFAOi(f)如下:
其中,和的表述如下:
同样,针对可见光图像g,提取的多尺度亮特征BFAOi(g)和暗特征DFAOi(g)分别如下:
步骤二:由提取的多尺度亮、暗特征构造多尺度亮、暗融合特征:
按下式计算由红外和可见光图像产生的多尺度亮融合特征BFAOi(f,g):
按下式计算由红外和可见光图像产生的多尺度暗融合特征DFAOi(f,g):
步骤三:利用模糊度量计算每一尺度融合特征的权值,通过加权求和产生最终的亮、暗融合特征:
按下式计算最终的亮融合特征FBFAO(f,g):
其中,wfi的表述如下:
μ(x,y)=I(x,y)/Imax,
其中,I为任意图像,Imax为图像I中的最大灰度值。
同理,按下式计算最终的暗融合特征FDFAO(f,g):
其中,dfi的表述如下:
步骤四:以原始红外和可见光图像的平均图像为基准,引入最终的亮、暗融合特征,生成最终融合图像。
3、优点及功效:
利用构造的两种形态学交替算子可以提取原始红外和可见光图像中的更多有用信息从而更加有利于图像融合。而且,基于模糊度量的权重策略和多尺度形态学理论的应用,可更好地构造最终融合特征,从而使得融合图像更加有效。因此,本发明可有效融合红外和可见光图像。总之,本发明可以很好地融合原始红外和可见光图像中的有用信息,使融合结果图像中的细节更加清晰、对比度更好,可广泛应用于各类基于图像融合的实际应用***,具有很好的市场前景与应用价值。
附图说明
图1为本发明一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法的流程框图;
图2(a)为原始红外图像;
图2(b)为原始可见光图像;
图2(c)为本发明应用于红外和可见光融合结果图像。
具体实施方式
为了更好地理解本发明的技术方案,以下结合附图对本发明的实施方式作进一步描述。本发明的流程框图如图1所示,本发明是一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法,该方法的具体实施步骤如下:
步骤一:利用两种形态学交替算子提取原始红外与可见光图像中的多尺度亮、暗特征
形态学理论是图像分析的重要理论之一(参考文献:塞拉等,图像分析和数学形态学,学术出版社,纽约,1982。(J.Serra,Image analysis and mathematical morphology,Academic Press,New York,1982.))。设原始红外图像为f,结构元素为B。基于多尺度理论,设为多尺度形态学结构元素,B1表示最低尺度的结构元素。则形态学多尺度膨胀和腐蚀可表示为:
其中,(x,y)是f的像素坐标;(u,v)是B的像素坐标;和分别表示膨胀和腐蚀运算。
利用膨胀和腐蚀运算,则多尺度开、闭运算可定义为:
其中,○和●分别是开、闭运算符。
基于形态学开、闭运算符,多尺度形态学切换变换可表示为:
基于切换变化构造的形态学交替算子的定义如下(参考文献:白等,利用基于形态学开闭运算的切换变换构造交替算子的显微矿物图像增强,光学杂志,16卷,(2014)125407。(X.Bai,Y.Zhang,Enhancement of microscopy mineral images through constructing alternatingoperators using opening and closing based toggle operator,Journal of Optics 16(2014)125407.)):
其中,和的表述如下:
利用形态学交替算子,提取的红外图像f的多尺度亮特征BFAOi(f)如下:
和的表述如下:
同理,提取的红外图像f的多尺度暗特征DFAOi(f)如下:
和的表述如下:
同样,针对可见光图像g,提取的多尺度亮BFAOi(g)和暗特征DFAOi(g)分别如下:
步骤二:由提取的多尺度亮、暗特征构造多尺度亮、暗融合特征
由红外图像f和可见光图像g获取的多尺度亮特征BFAOi(f)和BFAOi(g)都是基于灰度的,灰度较大的像素对应的特征较为明显,因此可采用像素灰度的对比策略来融合从不同图像中获得的特征。实际上,像素灰度对比策略(参考文献:白等,基于多尺度中心环绕高帽变换特征提取的红外和可见光图像融合,光学快报,19卷,(2011)8444–8457。(X.Bai,F.Zhou,B.Xue,Fusion of infrared and visual images through region extraction by using multi scalecenter-surround top-hat transform,Optics Express 19(9)(2011)8444–8457.))是构造基于灰度的融合特征的有效策略,本发明采用这一策略融合由交替算子获得的多尺度亮特征,从而产生多尺度亮融合特征如下:
同理,可按下式计算由红外和可见光图像产生的多尺度暗融合特征DFAOi(f,g):
步骤三:利用模糊度量计算每一尺度融合特征的权值,通过加权求和产生最终的亮、暗融合特征
合理融合多尺度融合特征是产生有效融合结果的关键。包含有更多有用信息的多尺度特征应在最终融合特征中占有更多比重。模糊度量γ(参考文献:来等,利用平台直方图的一种基于量化度量的红外图像增强,光学通讯,283卷,(2010)4283-4288。(R.Lai,Y.Yang,B.Wang,H.Zhou,A quantitative measure based infrared image enhancement algorithm using plateauhistogram,Optics Communications 283(2010)4283–4288.);霍夫曼,模糊理论概论,科学出版社1975。(A.Kaufmann.Introduction to the theory of fuzzy,Academic Press,1975.))是有效度量融合特征所包含有用信息的重要度量,可用于构造融合特征的权值。其对任意图像I进行度量的定义如下:
μ(x,y)=I(x,y)/Imax,
其中,I为任意图像,Imax为图像I中的最大灰度值。
利用模糊度量γ计算每一尺度融合亮特征的权值如下wfi:
利用权值wfi按下式计算最终的亮融合特征FBFAO(f,g):
同理,可按下式计算最终的暗融合特征FDFAO(f,g):
其中,dfi的表述如下:
步骤四:以原始红外和可见光图像的平均图像为基准,引入最终的亮、暗融合特征,生成最终融合图像
将形态学特征通过对比度调整的方式进行组合可形成多种具有调节图像对比度效果的形态学算子,本发明称其为形态学对比度算子簇。形态学对比度算子簇所采用的线性调整图像对比度的策略是提高图像视觉效果的重要方式之一。形态学对比度算子簇的基本定义可表述如下:
e=w1×I+w2×α–w3×β,
其中,e为形态学对比度算子簇的结果;I为由原始图像产生的任意图像;α和β为利用任意形态学对偶运算得到的具有对应特性的形态学亮、暗特征;w1,w2和w3为三个调节参数。
本发明以原始红外和可见光图像的平均图像为基准图像,采用形态学对比度算子簇的线性方式引入最终的亮、暗融合特征,调整图像对比度,从而生成最终融合图像。具体表示形式如下:
F=B×w1+FBFAO(f,g)×w2–FDFAO(f,g)×w3,
其中,F为最终融合图像;B为原始红外和可见光图像的平均图像。实际上,F的表示形式是形态学对比度算子簇在本发明中应用的一个特例。
为了展示本发明的效果,利用多模红外与可见光图像进行验证。图2(a)—(c)是本发明的一个应用实例。原始红外图像包含了道路等重要信息,原始可见光图像包含了场景中的细节信息。融合这两类图像将提供重要的区域和图像细节信息。从本发明的融合结果中可以看出,融合图像不仅有效融合了各类有效信息,而且图像细节更加丰富,图像对比度更好。这说明,本发明是一种有效的红外与可见光图像融合方法。因此,本发明可应用于各类基于图像融合的实际应用***,具有良好的市场应用价值。
Claims (1)
1.一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法,其特征在于:该方法具体步骤如下:
步骤一:利用两种形态学交替算子提取原始红外与可见光图像中的多尺度亮、暗特征,具体如下:
设f,g为原始红外与可见光图像,则提取的红外图像f的多尺度亮特征BFAOi(f)如下:
和的表述如下:
其中,和为两类形态学交替算子,其定义如下:
其中,和的表述如下:
其中,的表述如下:
其中,为多尺度形态学结构元素,B1表示最低尺度的结构元素;
f○Bi和f●Bi的表述如下:
其中,和fΘBi的表述如下:
其中,(x,y)和(u,v)是f和Bi的图像坐标;和Θ分别代表形态学膨胀和腐蚀运算;
同理,提取的红外图像f的多尺度暗特征DFAOi(f)如下:
其中,和的表述如下:
同样,针对可见光图像g,提取的多尺度亮特征BFAOi(g)和暗特征DFAOi(g)分别如下:
步骤二:由提取的多尺度亮、暗特征构造多尺度亮、暗融合特征:
按下式计算由红外和可见光图像产生的多尺度亮融合特征BFAOi(f,g):
按下式计算由红外和可见光图像产生的多尺度暗融合特征DFAOi(f,g):
步骤三:利用模糊度量计算每一尺度融合特征的权值,通过加权求和产生最终的亮、暗融合特征:
按下式计算最终的亮融合特征FBFAO(f,g):
其中,wfi的表述如下:
μ(x,y)=I(x,y)/Imax,
其中,I为任意图像,Imax为图像I中的最大灰度值;
同理,按下式计算最终的暗融合特征FDFAO(f,g):
其中,dfi的表述如下:
步骤四:以原始红外和可见光图像的平均图像为基准,引入最终的亮、暗融合特征,生成最终融合图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510014641.7A CN104574334A (zh) | 2015-01-12 | 2015-01-12 | 一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510014641.7A CN104574334A (zh) | 2015-01-12 | 2015-01-12 | 一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104574334A true CN104574334A (zh) | 2015-04-29 |
Family
ID=53090313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510014641.7A Pending CN104574334A (zh) | 2015-01-12 | 2015-01-12 | 一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104574334A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110458813A (zh) * | 2019-03-08 | 2019-11-15 | 腾讯科技(深圳)有限公司 | 图像区域定位方法、装置和医学图像处理设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101807294A (zh) * | 2010-02-03 | 2010-08-18 | 北京航空航天大学 | 一种利用多尺度多结构元素数学形态学的图像增强方法 |
CN101872424A (zh) * | 2010-07-01 | 2010-10-27 | 重庆大学 | 基于Gabor变换最优通道模糊融合的人脸表情识别方法 |
CN102184534A (zh) * | 2011-05-25 | 2011-09-14 | 北京航空航天大学 | 一种利用多尺度高帽选择变换的图像融合方法 |
CN102289806A (zh) * | 2011-06-21 | 2011-12-21 | 北京航空航天大学 | 一种利用多尺度形态学特征的图像清晰度度量方法 |
CN103593857A (zh) * | 2013-11-26 | 2014-02-19 | 上海电机学院 | 基于模糊算法的多传感器数据融合跟踪***及方法 |
CN103903243A (zh) * | 2014-04-15 | 2014-07-02 | 北京航空航天大学 | 一种利用形态学中心算子的图像融合方法 |
CN103985104A (zh) * | 2014-02-20 | 2014-08-13 | 江南大学 | 基于高阶奇异值分解和模糊推理的多聚焦图像融合方法 |
-
2015
- 2015-01-12 CN CN201510014641.7A patent/CN104574334A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101807294A (zh) * | 2010-02-03 | 2010-08-18 | 北京航空航天大学 | 一种利用多尺度多结构元素数学形态学的图像增强方法 |
CN101872424A (zh) * | 2010-07-01 | 2010-10-27 | 重庆大学 | 基于Gabor变换最优通道模糊融合的人脸表情识别方法 |
CN102184534A (zh) * | 2011-05-25 | 2011-09-14 | 北京航空航天大学 | 一种利用多尺度高帽选择变换的图像融合方法 |
CN102289806A (zh) * | 2011-06-21 | 2011-12-21 | 北京航空航天大学 | 一种利用多尺度形态学特征的图像清晰度度量方法 |
CN103593857A (zh) * | 2013-11-26 | 2014-02-19 | 上海电机学院 | 基于模糊算法的多传感器数据融合跟踪***及方法 |
CN103985104A (zh) * | 2014-02-20 | 2014-08-13 | 江南大学 | 基于高阶奇异值分解和模糊推理的多聚焦图像融合方法 |
CN103903243A (zh) * | 2014-04-15 | 2014-07-02 | 北京航空航天大学 | 一种利用形态学中心算子的图像融合方法 |
Non-Patent Citations (3)
Title |
---|
UMER JAVED ET AL: "MRI and PET Image Fusion Using Fuzzy Logic and Image Local Features", 《THE SCIENTIFIC WORLD JOURNAL》 * |
XIANGZHI BAI ET AL: "Infrared image enhancement through contrast enhancement by using multiscale new top-hat transform", 《INFRARED PHYSICS & TECHNOLOGY》 * |
沈景悦 等: "一种基于模糊融合的遥感图像目标识别方法", 《计算机工程与应用》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110458813A (zh) * | 2019-03-08 | 2019-11-15 | 腾讯科技(深圳)有限公司 | 图像区域定位方法、装置和医学图像处理设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103325095B (zh) | 一种结合方向因子的样本块稀疏性图像修复方法 | |
CN105069042A (zh) | 基于内容的无人机侦察图像数据检索方法 | |
CN101807294B (zh) | 一种利用多尺度多结构元素数学形态学的图像增强方法 | |
CN105427257A (zh) | 图像增强方法及装置 | |
CN102289806B (zh) | 一种利用多尺度形态学特征的图像清晰度度量方法 | |
Bai | Morphological infrared image enhancement based on multi-scale sequential toggle operator using opening and closing as primitives | |
CN109064436A (zh) | 图像融合方法 | |
CN103065282A (zh) | 一种基于稀疏线性***的图像融合方法 | |
CN109377464A (zh) | 一种红外图像的双平台直方图均衡化方法及其应用*** | |
CN101795350A (zh) | 一种基于相关性检测的非线性图像放大两倍方法 | |
CN107909079A (zh) | 一种协同显著性检测方法 | |
CN103839244B (zh) | 一种实时的图像融合方法及装置 | |
CN101853500A (zh) | 一种彩色多聚焦图像融合方法 | |
CN108399335A (zh) | 一种基于局部熵的恶意代码可视化分析方法 | |
Jiang et al. | Automatic space debris extraction channel based on large field of view photoelectric detection system | |
CN104574334A (zh) | 一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法 | |
Joo et al. | Feature-point extraction based on an improved SIFT algorithm | |
Ouzounis et al. | Interactive collection of training samples from the max-tree structure | |
CN103903243A (zh) | 一种利用形态学中心算子的图像融合方法 | |
CN116912645A (zh) | 融合纹理和几何特征的三维目标检测方法及装置 | |
Wang et al. | Multi-sensor Image Fusion Algorithm Based on Multiresolution Analysis. | |
Rasras et al. | Developing a new color model for image analysis and processing | |
CN103632357B (zh) | 一种基于光照分离的图像超分辨率增强方法 | |
CN104376536A (zh) | 一种利用数学形态学高帽选择变换构造中心算子的图像增强方法 | |
Fang et al. | An Improved DCP‐Based Image Defogging Algorithm Combined with Adaptive Fusion Strategy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150429 |