CN108665435B - 基于拓扑-图切融合优化的多谱段红外图像背景抑制方法 - Google Patents
基于拓扑-图切融合优化的多谱段红外图像背景抑制方法 Download PDFInfo
- Publication number
- CN108665435B CN108665435B CN201810015843.7A CN201810015843A CN108665435B CN 108665435 B CN108665435 B CN 108665435B CN 201810015843 A CN201810015843 A CN 201810015843A CN 108665435 B CN108665435 B CN 108665435B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- suppression
- diffusion coefficient
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001629 suppression Effects 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000004927 fusion Effects 0.000 title claims abstract description 38
- 238000005457 optimization Methods 0.000 title claims abstract description 25
- 238000009792 diffusion process Methods 0.000 claims abstract description 85
- 238000001914 filtration Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 230000000694 effects Effects 0.000 claims abstract description 3
- 230000004069 differentiation Effects 0.000 claims abstract 2
- 238000012545 processing Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 7
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 claims 1
- 238000002474 experimental method Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于拓扑‑图切融合优化的多谱段红外图像背景抑制方法,分别对多谱段的红外图像进行局部Patch预处理获得预处理后的图像,根据拓扑微分方法对所述预处理后的图像进行强起伏边缘的抑制获得最优扩散系数,根据获得的最优扩散系数与梯度均值滤波相结合分别对单波段图像进行背景抑制,获得若干个单波段杂波抑制后的目标图像;根据尺度区域能量理论模型对所述获得的若干个单波段杂波抑制后的目标图像进行融合,得到多谱段融合的背景抑制结果图像;对所述多谱段融合的背景抑制结果图像进行图切策略优化,消除融合后图像的局部轮廓效应,最终获得背景抑制后的图像。本发明能有效地抑制红外图像中所包含的高灰度级、起伏剧烈的红外背景,并能够突出目标信息。
Description
技术领域
本发明属于红外图像处理技术领域,具体涉及一种基于拓扑-图切融合优化的多谱段红外图像背景抑制方法。
背景技术
红外图像背景抑制在红外图像处理领域引起了越来越多的关注,由于其在红外弱小目标检测中有着潜在的重要应用;尤其是对于处于背景复杂、对比度较低红外图像中的小目标的检测;如直接对处在复杂的天空背景、海天背景下的小目标,使其准确检测是异常的困难;为了解决此问题,红外图像背景抑制是一项关键的预处理技术,其能够有效地抑制复杂起伏背景,增强目标与背景的对比度,从而有利于提高弱小目标的检测精度。
近年来,红外图像背景抑制的研究成果不断地被报道,其中代表性的有基于背景预测的经典滤波方法,如最大中值滤波和最大均值滤波,形态学Top-Hat滤波、二维最小均方误差滤波、主成分分析以及基于视觉注意机制的方法等。这些方法都是基于目标灰度值局部相对较高的特性,通过在空域或变换域中寻找图像极值点来实现背景的抑制,均能较好地抑制简单、平稳的背景;且主要针对单谱段的红外图像。但对于复杂多变的非平稳背景,这些方法很难准确区分目标和背景杂波,且极易受窗口大小、结构元素等参数的影响,通常使得背景抑制结果的虚警概率较高。
发明内容
有鉴于此,本发明的主要目的在于提供一种基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,能够突破单谱段红外图像背景抑制精度低的瓶颈,且不需引入“硬”阈值优化,实现对复杂背景下的红外图像的背景抑制。
为达到上述目的,本发明的技术方案是这样实现的:
本发明实施例提供一种基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,该方法为:首先,分别对多谱段的红外图像进行局部Patch预处理获得预处理后的图像,其次,根据拓扑微分方法对所述预处理后的图像进行强起伏边缘的抑制获得非线性扩散的最优扩散系数,根据获得的最优扩散系数与梯度均值滤波相结合分别对单波段图像进行背景抑制获得若干个单波段杂波抑制后的目标图像;然后,根据尺度区域能量理论模型对所述若干个单波段杂波抑制后的目标图像进行融合获得多谱段融合的背景抑制结果图像;最后,对所述多谱段融合的背景抑制结果图像进行图切策略优化,消除融合后图像的局部轮廓效应,最终获得背景抑制后的图像。
上述方案中,所述分别对多谱段的红外图像进行局部Patch预处理获得局部预处理像素区域,具体为:采用4-邻域算子求取多谱段的红外图像中局部极值点;预处理算法利用式(1)进行表示:
上述方案中,所述根据拓扑微分方法对所述预处理后的图像进行强起伏边缘的抑制获得非线性扩散的最优扩散系数,具体通过以下步骤实现:
所述所述预处理后的图像的代价泛函表达式具体表达式为式(2):
其中,u是一个大小为M×N图像,下标t≥1表示迭代的次数,表示原始图像在像素s的灰度值,ks,p是像素s在相邻像素p方向上的扩散系数,集合ns={w,e,n,d}表示像素s相邻的四个像素,表示像素p与像素s在迭代次数为t时的梯度值,
其中,ks={ks,w,ks,e,ks,n,ks,d}表示像素s在四个相邻像素方向上的扩散系数,λ=Δt表示设定的时间步长;
若像素s与像素p之间的扩散系数ks,p=0,表示在像素s和像素p之间引入了一个间断带(没有扩散发生在这个边),设每个像素的扩散系数ks,p∈{0,k0},扩散系数ks所有可能集合可由公式(5)表示;
l(s):={ks=(ks,w,ks,e,ks,n,ks,d);ks,p∈{0,k0},p={w,e,n,d}} (5)
则ks通过15种组合表示像素s扩散系数的15种不同选择;
步骤102:确定图像中所有像素的扩散系数,对每个像素找到其最优扩散系数ks;
其中,DT(s,kε s)表示引入扰动后代价泛函的总变差,要极小化代价泛函,便是求解DT(s,kε s)的最小值;
由(6)式和(7)式可得代价泛函的总变差—拓扑微分,由公式(8)进行表示:
利用上述思路在15种扩散系数之中选择出像素s最合适的扩散系数,使得DT(s,kε s)的值最小;此时,kε s便是要求解的最优扩散系数。
上述方案中,所述根据获得的最优扩散系数与梯度均值滤波相结合分别对单波段图像进行背景抑制获得若干个单波段杂波抑制后的目标图像,具体为:对图像的边缘处,其梯度较大,扩散系数为0,对图像的灰度均匀区域,其梯度较小,扩散系数为k0;根据所述利用最优扩散系数将图像分解为不同的区域并采用梯度均值滤波法对不同区域的内部进行处理,达到单波段图像目标增强和杂波抑制的目的;拓扑加权梯度均值处理的结果如式(9)所示:
根据式(9)对图像进行操作,获得单波段杂波抑制后的目标图像。
上述方案中,所述根据尺度区域能量理论模型对若干单波段杂波抑制后的目标图像进行融合获得多谱段融合的背景抑制结果图像,具体为:
步骤201:根据尺度空间原理构造红外多谱段图像的多分辨率表示,图像分解完毕后,在不同的分解级别上的细节信息被组合起来形成新的已分解的图像;
在此引入匹配度量参数,用于适应不同分辨率级别上的融合方式,该值定义为式(10):
其中,K为分辨率级别,C(i,j)表示像素位置为(i,j)的尺度变换系数,m,n为像素位置偏差,下标A、B分别为两帧背景抑制后的不同波段红外图像;
步骤202:对多尺度低频系数采用基于区域能量优化的加权融合,定义一个阈值T,本发明取1.5,把Mab和阈值T相比较;若Mab小于阈值,选用能量特征较大的系数作为融合后的系数,而不显著的系数将被忽略;
像素的显著特征定义为式(11):
当Mab小于阈值T,按公式(12)进行选择性的融合:
当Mab大于阈值T时,采用加权融合来计算变换系数,加权系数由公式(13)和(14)进行定义;
Wmax(i,j,k)=1-Wmin(i,j,k) (14)
Wmin(i,j,k)用于特征值较低的系数,Wmax(i,j,k)用于具有较高特征值的系数,加权融合过程由公式(15)给出:
步骤203:对尺度高频特征系数采用绝对值最大方法进行筛选;通过区域能量对融合方式的优化选取,对合成的新变换系数进行逆变换获得多谱段融合的背景抑制结果图像。
上述方案中,所述对所述多谱段融合的背景抑制结果图像进行图切策略优化,最终获得背景抑制后的图像,具体通过以下步骤实现:
步骤301:将图像映射成带权的无向图,并建立标签,再根据此标签所反映的图像像素信息建立对应的能量函数;
设G=(V,E)为一个带有非负边的无向图,V是顶点集合,对应所有像素点以及附加的源节点s和汇节点t,E是图的边集,分为两类t连接和n连接,每个像素对之间都由n连接相连,记c为图中一条边的容量,x和y为两个不同像素点,得到式(16)代价函数;
公式(16)将含有源点和汇点的图分为两个顶点的集合S和T,源点s和汇点t分别位于S集合与T集合中;此时问题转化为二元标记问题,即点x满足ux∈{(T=1),(B=0)},其中B表示背景像素,T表示目标像素,用e表示图像中相邻的像素对的集合,v为所有像素的集合,因此,对像素u的标记问题可通过公式(17)所示最小化能量函数E(X)解决;
其中,
步骤302:对图像I中目标与背景像素强度建模,假设像素强度服从高斯分布,因此,背景强度模型如式(19)所示:
其中,(μB,σB)分别表示背景高斯模型的均值和标准差;
目标强度模型如式(20)所示:
其中,(μT,σT)分别表示目标高斯模型的均值和标准差;
因此,式(18)中的局部能量转化为式(21):
相邻像素间的能量转化为式(22):
E2(ux,uy)=∞(ux,uy)exp(-β(Ix-Iy)2) (22)
其中,β=(2<(Ix-Iy)2>)-1是一个权衡强度对比的参数,<·>表示期望操作;
步骤303:运用最大流最小切算法对上述建立的网络流图进行切割,从而得到网络图的最小切,即能量函数的最小值,最小切将图像分为前景和背景两部分,从而达到背景抑制和目标增强的目的。
与现有技术相比,本发明的有益效果:
本发明能有效地抑制红外图像中所包含的高灰度级、起伏剧烈的红外背景,并能够突出目标信息,便于后续的目标分割与检测。
附图说明
图1为本发明的流程图;
图2为实验一,其中图2(a)、2(b)分别是原始图像在同一场景中的中波红外图像和长波红外图像;其中原始图像含有2个真实目标点,标注为A、B;
图3为实验二,其中图3(a)、3(b)分别是原始图像在同一场景中的中波红外图像和长波红外图像;其中原始图像含有1个真实目标点,标注为A;
图4为实验三,其中图4(a)、4(b)分别是原始图像在同一场景中的中波红外图像和长波红外图像;其中原始图像含有1个真实目标点,标注为A;
图5为基于Top-hat的红外图像背景抑制的结果图,其中图5(a)、5(b)、5(c)分别是3个不同场景中波红外图像的实验结果图,图5(d)、5(e)、5(f)分别是3个不同场景长波红外实验结果图;
图6为基于Max-Median的红外图像背景抑制的结果图,其中图6(a)、6(b)、6(c)分别是3个不同场景中波红外图像的实验结果图,图6(d)、6(e)、6(f)分别是3个不同场景长波红外实验结果图;
图7为本发明中的实验结果图,其中图7(a)、7(b)、7(c)分别是实验一、实验二和实验三中图像通过本发明技术处理获得的实验结果;
图8为邻域内扩散系数的情形。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例提供一种基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,该方法通过以下步骤实现:
步骤一,分别对多谱段的红外图像进行局部Patch预处理获得预处理后的图像。
具体地,采用4-邻域算子求取图像中局部极值点,预处理算法可利用式(1)进行表示,
步骤二,根据拓扑微分方法对所述预处理后的图像进行强起伏边缘的抑制获得非线性扩散的最优扩散系数,根据所得最优扩散系数与梯度均值滤波相结合分别对单波段图像进行背景抑制获得若干个单波段杂波抑制后的目标图像。
具体地,根据拓扑微分方法对所述预处理后的图像进行强起伏边缘的抑制获得最优扩散系数,通过以下步骤实现:
Patch预处理后图像u的代价泛函离散形式可用式(2)进行表示。
其中,u是一个大小为M×N图像,下标t≥1表示迭代的次数(表示原始图像在像素s的灰度值),ks,p是像素s在相邻像素p方向上的扩散系数。集合ns={w,e,n,d}表示像素s相邻的四个像素。表示像素p与像素s在迭代次数为t时的梯度值,具体表达式为式(3):
其中,ks={ks,w,ks,e,ks,n,ks,d}表示像素s在四个相邻像素方向上的扩散系数,λ=Δt表示设定的时间步长。
若像素s与像素p之间的扩散系数ks,p=0,表示在像素s和像素p之间引入了一个间断带(没有扩散发生在这个边)。设每个像素的扩散系数ks,p∈{0,k0},扩散系数ks所有可能集合可由公式(5)表示。
l(s):={ks=(ks,w,ks,e,ks,n,ks,d);ks,p∈{0,k0},p={w,e,n,d}} (5)
则ks一共16种不同的组合,其中舍去ks,w=ks,e=ks,n=ks,d=0的情况(这种情况下代价泛函的值为0),剩下的组合如图8所示,这15种组合表示像素s扩散系数的15种不同选择。
步骤202:确定图像中所有像素的扩散系数,对每个像素找到其最优扩散系数ks。
其中,DT(s,kε s)表示引入扰动后代价泛函的总变差。要极小化代价泛函,便是求解DT(s,kε s)的最小值。
由(6)式和(7)式可得代价泛函的总变差—拓扑微分,由公式(8)进行表示。
利用上述思路在15种扩散系数之中选择出像素s最合适的扩散系数,使得DT(s,kε s)的值最小。此时,kε s便是要求解的最优扩散系数。
根据获得的最优扩散系数与梯度均值滤波相结合分别对单波段图像进行背景抑制获得若干个单波段杂波抑制后的目标图像,具体为:
对图像的边缘处,其梯度较大,扩散系数为0,对图像的灰度均匀区域,其梯度较小,扩散系数为k0。利用最优扩散系数将图像分解为不同的区域并采用梯度均值滤波法对不同区域的内部进行处理,达到单波段图像目标增强和杂波抑制的目的。
拓扑加权梯度均值处理的结果如式(9)所示。
利用式(9)对图像进行操作,便可获得单波段杂波抑制后的目标图像。
步骤三,根据尺度区域能量理论模型对所述若干个单波段杂波抑制后的目标图像进行融合获得多谱段融合的背景抑制结果图像。
具体地,通过以下步骤实现:
步骤301:根据尺度空间原理构造红外多谱段图像的多分辨率表示,图像分解完毕后,在不同的分解级别上的细节信息被组合起来形成新的已分解的图像。
在此引入匹配度量参数,用于适应不同分辨率级别上的融合方式,该值定义为式(10)。
其中,K为分辨率级别,C(i,j)表示像素位置为(i,j)的尺度变换系数,m,n为像素位置偏差,下标A、B分别为两帧背景抑制后的不同波段红外图像。
步骤302:对多尺度低频系数采用基于区域能量优化的加权融合。定义一个阈值T,本发明取1.5,把Mab和阈值T相比较。若Mab小于阈值,选用能量特征较大的系数作为融合后的系数,而不显著的系数将被忽略。
像素的显著特征定义为式(11)。
当Mab小于阈值T,按公式(12)进行选择性的融合。
当Mab大于阈值T时,采用加权融合来计算变换系数,加权系数由公式(13)和(14)进行定义。
Wmax(i,j,k)=1-Wmin(i,j,k) (14)
Wmin(i,j,k)用于特征值较低的系数,Wmax(i,j,k)用于具有较高特征值的系数,加权融合过程由公式(15)给出。
步骤303:对尺度高频特征系数采用绝对值最大方法进行筛选。
通过区域能量对融合方式的优化选取,对合成的新变换系数进行逆变换得到最终的新的红外多波段融合背景抑制图像。
步骤四,对所述多谱段融合的背景抑制结果图像进行图切策略优化,最终获得背景抑制后的图像。
具体地,通过以下步骤实现:
步骤401:针对需要解决的问题将图像映射成带权的无向图,并建立标签,再根据此标签所反映的图像像素信息建立对应的能量函数。
设G=(V,E)为一个带有非负边的无向图,V是顶点集合,对应所有像素点以及附加的源节点s和汇节点t,E是图的边集,分为两类t连接和n连接,每个像素对之间都由n连接相连,记c为图中一条边的容量,得到式(16)代价函数。
公式(16)将含有源点和汇点的图分为两个顶点的集合S和T,源点s和汇点t分别位于S集合与T集合中。此时问题转化为二元标记问题,即点x满足ux∈{(T=1),(B=0)},其中B表示背景像素,T表示目标像素。用e表示图像中相邻的像素对的集合,v为所有像素的集合,因此,对像素u的标记问题可通过公式(17)所示最小化能量函数E(X)解决。
其中,
步骤402:对图像I中目标与背景像素强度建模,假设像素强度服从高斯分布,因此,背景强度模型如式(19)所示。
其中,(μB,σB)分别表示背景高斯模型的均值和标准差。
目标强度模型如式(20)所示。
其中,(μT,σT)分别表示目标高斯模型的均值和标准差。
因此,式(18)中的局部能量可以转化为式(21)。
相邻像素间的能量可以转化为式(22)。
E2(ux,uy)=∞(ux,uy)exp(-β(Ix-Iy)2) (22)
其中,β=(2<(Ix-Iy)2>)-1是一个权衡强度对比的参数,<·>表示期望操作。
步骤403:运用最大流最小切算法对上述建立的网络流图进行切割,从而得到网络图的最小切,即能量函数的最小值。最小切将图像分为前景和背景两部分,从而达到背景抑制和目标增强的目的。
实施例1:
本发明实施例提供一种基于拓扑-图切融合优化的红外多谱段图像背景抑制方法,如图1所示,该方法具体通过以下步骤实现:
步骤101:分别对双波段的红外图像进行局部预处理。
具体为,采用4-邻域算子求取图像中局部极值点,预处理算法可以利用式(1)进行表示。
步骤201:采用拓扑微分技术对获得的预处理像素区域进行强起伏边缘的抑制。
具体的,预处理后图像u的代价泛函离散形式可表示为式(2)。
其中,u是一个大小为M×N矩阵,下标t≥1表示迭代的次数(表示原始图像在像素s的灰度值),ks,p是像素s在相邻像素p方向上的扩散系数。集合ns={w,e,n,d}表示像素s相邻的四个像素。表示像素p与像素s在迭代次数为t时的梯度值,具体的表达式为式(3)。
其中,ks={ks,w,ks,e,ks,n,ks,d}表示像素s在四个相邻像素方向上的扩散系数,λ=Δt表示设定的时间步长。
设每个像素的扩散系数ks,p∈{0,k0},扩散系数所有可能的集合如式(5)所示。
l(s):={ks=(ks,w,ks,e,ks,n,ks,d);ks,p∈{0,k0},p={w,e,n,d}} (5)
其中,DT(s,kε s)表示引入扰动后代价泛函的总变差。要极小化代价泛函,便是求解DT(s,kε s)的最小值。
利用获得的最优扩散系数将图像分解为不同的区域,并采用梯度均值滤波法对不同区域的内部进行处理,达到单波段图像目标增强和背景抑制的目的。
拓扑加权梯度均值处理的结果如式(7)所示。
利用式(7)对图像进行操作,便可获得背景抑制后的目标图像。
步骤301:根据尺度空间理论,对多分辨率图像采用区域能量优化的加权融合。
具体的,定义如式(8)所示匹配度量参数。
其中,K为分辨率级别,C(i,j)表示像素位置为(i,j)的尺度变换系数,m,n为像素位置偏差,下标A、B分别为两幅背景抑制后的双波段图像。
定义一个阈值T,本发明取1.5,把Mab和阈值T相比较。若Mab小于阈值,选用能量特征较大的系数作为融合后的系数,不显著的系数则被忽略。
当Mab小于阈值T,按式(9)进行选择性的融合。
当Mab大于阈值T时,采用加权融合来计算变换系数,加权系数定义如式(10)和(11)所示。
Wmax(i,j,k)=1-Wmin(i,j,k) (11)
Wmin(i,j,k)用于特征值较低的系数,Wmax(i,j,k)用于具有较高特征值的系数,加权融合过程由式(12)给出。
步骤401:对经融合后双波段杂波抑制后的红外图像进行图切策略优化。
具体的,将优化问题转化为对像素x的标记问题,可通过式(13)最小化能量函数E(X)解决。
其中,
对图像I中目标与背景像素强度建模,假设像素强度服从高斯分布,局部能量可以转化为式(15)求解。
相邻像素间的能量可以转化为式(22)。
E2(ux,uy)=∞(ux,uy)exp(-β(Ix-Iy)2) (16)
最后,求解网络图的最小切,即能量函数的最小值,将图像分为前景和背景两部分。
本发明的有益效果通过仿真实验具体说明。
1.实验条件
实验所用的CPU为Intel Core(TM)i3-41703.70GHz内存8GB,编程平台为MATLABR2015b。实验采用的是三组包含小目标的真实双波段红外图像。实验一中的背景灰度与目标相近且起伏剧烈,实验二与实验三中目标信噪比低且湮没于背景云层中,其中红外图像的大小分别为220×220、153×105和90×90,如图2、图3、图4所示。
实验表明,本发明方法从主观视觉和客观评价指标均优于其他几种方法在不同波段的结果,解决了单一谱段红外图像背景抑制存在的准确度低的问题,同时采用图切优化多波段融合结果,无需引入“硬”阈值判决。图5~7给出了本发明方法及两种对比方法对图2~4的背景抑制结果,从结果图中可以看出,Top-hat与Max-Median方法未能较好地抑制背景杂波,尤其是长波红外图像,而本发明在不同实验中均能获得较好背景杂波抑制效果。表1给出了几种方法的评价指标对比结果,SCRz为信杂比,SCRGz为信杂比增益,BSFz为背景抑制因子(下标z可取m和l,分别代表同一场景的中波和长波图像)。其中,信杂比增益越高,表示处理后目标和背景差异越大,背景抑制因子越高表示背景抑制越完全。
表1为几种方法的评价指标对比表
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
Claims (5)
1.一种基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,其特征在于,该方法为:首先,分别对多谱段的红外图像进行局部Patch预处理获得预处理后的图像,其次,根据拓扑微分方法对所述预处理后的图像进行强起伏边缘的抑制获得非线性扩散的最优扩散系数,根据获得的最优扩散系数与梯度均值滤波相结合分别对单波段图像进行背景抑制获得若干个单波段杂波抑制后的目标图像;然后,根据尺度区域能量理论模型对所述若干个单波段杂波抑制后的目标图像进行融合获得多谱段融合的背景抑制结果图像;最后,对所述多谱段融合的背景抑制结果图像进行图切策略优化,消除融合后图像的局部轮廓效应,最终获得背景抑制后的图像;
所述对所述多谱段融合的背景抑制结果图像进行图切策略优化,最终获得背景抑制后的图像,具体通过以下步骤实现:
步骤301:将图像映射成带权的无向图,并建立标签,再根据此标签所反映的图像像素信息建立对应的能量函数;
设G=(V,E)为一个带有非负边的无向图,V是顶点集合,对应所有像素点以及附加的源节点s和汇节点t,E是图的边集,分为两类t连接和n连接,每个像素对之间都由n连接相连,记c为图中一条边的容量,x和y为两个不同像素点,得到式(16)代价函数;
公式(16)将含有源点和汇点的图分为两个顶点的集合S和T,源点s和汇点t分别位于S集合与T集合中;此时问题转化为二元标记问题,即点x满足ux∈{(T=1),(B=0)},其中B表示背景像素,T表示目标像素,用e表示图像中相邻的像素对的集合,v为所有像素的集合,因此,对像素u的标记问题可通过公式(17)所示最小化能量函数E(X)解决;
其中,
步骤302:对图像I中目标与背景像素强度建模,假设像素强度服从高斯分布,因此,背景强度模型如式(19)所示:
其中,(μB,σB)分别表示背景高斯模型的均值和标准差;
目标强度模型如式(20)所示:
其中,(μT,σT)分别表示目标高斯模型的均值和标准差;
因此,式(18)中的局部能量转化为式(21):
相邻像素间的能量转化为式(22):
E2(ux,uy)=∞(ux,uy)exp(-β(Ix-Iy)2) (22)
其中,β=(2<(Ix-Iy)2>)-1是一个权衡强度对比的参数,<·>表示期望操作;
步骤303:运用最大流最小切算法对上述建立的网络流图进行切割,从而得到网络图的最小切,即能量函数的最小值,最小切将图像分为前景和背景两部分,从而达到背景抑制和目标增强的目的。
3.根据权利要求1或2所述的基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,其特征在于,所述根据拓扑微分方法对所述预处理后的图像进行强起伏边缘的抑制获得非线性扩散的最优扩散系数,具体通过以下步骤实现:
所述所述预处理后的图像的代价泛函表达式具体表达式为式(2):
其中,u是一个大小为M×N图像,下标t≥1表示迭代的次数,表示原始图像在像素s的灰度值,ks,p是像素s在相邻像素p方向上的扩散系数,集合ns={w,e,n,d}表示像素s相邻的四个像素,表示像素p与像素s在迭代次数为t时的梯度值,
其中,ks={ks,w,ks,e,ks,n,ks,d}表示像素s在四个相邻像素方向上的扩散系数,λ=Δt表示设定的时间步长;
若像素s与像素p之间的扩散系数ks,p=0,表示在像素s和像素p之间引入了一个间断带(没有扩散发生在这个边),设每个像素的扩散系数ks,p∈{0,k0},扩散系数ks所有可能集合可由公式(5)表示;
l(s):={ks=(ks,w,ks,e,ks,n,ks,d);ks,p∈{0,k0},p={w,e,n,d}} (5)
则ks通过15种组合表示像素s扩散系数的15种不同选择;
步骤102:确定图像中所有像素的扩散系数,对每个像素找到其最优扩散系数ks;
其中,DT(s,kε s)表示引入扰动后代价泛函的总变差,要极小化代价泛函,便是求解DT(s,kε s)的最小值;
由(6)式和(7)式可得代价泛函的总变差—拓扑微分,由公式(8)进行表示:
利用上述思路在15种扩散系数之中选择出像素s最合适的扩散系数,使得DT(s,kε s)的值最小;此时,kε s便是要求解的最优扩散系数。
5.根据权利要求4所述的基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,其特征在于,所述根据尺度区域能量理论模型对若干单波段杂波抑制后的目标图像进行融合获得多谱段融合的背景抑制结果图像,具体为:
步骤201:根据尺度空间原理构造红外多谱段图像的多分辨率表示,图像分解完毕后,在不同的分解级别上的细节信息被组合起来形成新的已分解的图像;
在此引入匹配度量参数,用于适应不同分辨率级别上的融合方式,该值定义为式(10):
其中,K为分辨率级别,C(i,j)表示像素位置为(i,j)的尺度变换系数,m,n为像素位置偏差,下标A、B分别为两帧背景抑制后的不同波段红外图像;
步骤202:对多尺度低频系数采用基于区域能量优化的加权融合,定义一个阈值T,取1.5,把Mab和阈值T相比较;若Mab小于阈值,选用能量特征较大的系数作为融合后的系数,而不显著的系数将被忽略;
像素的显著特征定义为式(11):
当Mab小于阈值T,按公式(12)进行选择性的融合:
当Mab大于阈值T时,采用加权融合来计算变换系数,加权系数由公式(13)和(14)进行定义;
Wmax(i,j,k)=1-Wmin(i,j,k) (14)
Wmin(i,j,k)用于特征值较低的系数,Wmax(i,j,k)用于具有较高特征值的系数,加权融合过程由公式(15)给出:
步骤203:对尺度高频特征系数采用绝对值最大方法进行筛选;通过区域能量对融合方式的优化选取,对合成的新变换系数进行逆变换获得多谱段融合的背景抑制结果图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810015843.7A CN108665435B (zh) | 2018-01-08 | 2018-01-08 | 基于拓扑-图切融合优化的多谱段红外图像背景抑制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810015843.7A CN108665435B (zh) | 2018-01-08 | 2018-01-08 | 基于拓扑-图切融合优化的多谱段红外图像背景抑制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108665435A CN108665435A (zh) | 2018-10-16 |
CN108665435B true CN108665435B (zh) | 2021-11-02 |
Family
ID=63784788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810015843.7A Active CN108665435B (zh) | 2018-01-08 | 2018-01-08 | 基于拓扑-图切融合优化的多谱段红外图像背景抑制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108665435B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102034239A (zh) * | 2010-12-07 | 2011-04-27 | 北京理工大学 | 一种基于局部灰度突变的红外小目标检测方法 |
CN102222322A (zh) * | 2011-06-02 | 2011-10-19 | 西安电子科技大学 | 基于多尺度非局部均值的红外图像背景抑制方法 |
CN104766334A (zh) * | 2015-04-21 | 2015-07-08 | 西安电子科技大学 | 红外弱小目标检测跟踪方法及其装置 |
CN105551054A (zh) * | 2016-01-14 | 2016-05-04 | 辽宁师范大学 | 全局和局部信息自适应调整的图像分割活动轮廓方法 |
CN106447640A (zh) * | 2016-08-26 | 2017-02-22 | 西安电子科技大学 | 基于字典学习、旋转引导滤波的多聚焦图像融合方法及装置 |
CN107403134A (zh) * | 2017-05-27 | 2017-11-28 | 西安电子科技大学 | 基于局部梯度三边的图域多尺度红外弱小目标检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016202716A (ja) * | 2015-04-24 | 2016-12-08 | 株式会社コーエーテクモゲームス | プログラム及び記録媒体 |
-
2018
- 2018-01-08 CN CN201810015843.7A patent/CN108665435B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102034239A (zh) * | 2010-12-07 | 2011-04-27 | 北京理工大学 | 一种基于局部灰度突变的红外小目标检测方法 |
CN102222322A (zh) * | 2011-06-02 | 2011-10-19 | 西安电子科技大学 | 基于多尺度非局部均值的红外图像背景抑制方法 |
CN104766334A (zh) * | 2015-04-21 | 2015-07-08 | 西安电子科技大学 | 红外弱小目标检测跟踪方法及其装置 |
CN105551054A (zh) * | 2016-01-14 | 2016-05-04 | 辽宁师范大学 | 全局和局部信息自适应调整的图像分割活动轮廓方法 |
CN106447640A (zh) * | 2016-08-26 | 2017-02-22 | 西安电子科技大学 | 基于字典学习、旋转引导滤波的多聚焦图像融合方法及装置 |
CN107403134A (zh) * | 2017-05-27 | 2017-11-28 | 西安电子科技大学 | 基于局部梯度三边的图域多尺度红外弱小目标检测方法 |
Non-Patent Citations (5)
Title |
---|
A modified topological derivative based background suppressing for infrared dim small target detection;Wenxiong CHENG et al;《Applied Optics and Photonics China (AOPC2017) Proc. SPIE》;20170630;1046256-1-7 * |
High-order diffusion equation based infrared image background suppression;H Qin et al;《Proceedings of SPIE - The International Society for Optical Engineering》;20121015;第8419卷;1-6 * |
Improved segmentation and change detection of multi-spectral satellite imagery using graph cut based clustering and multiclass SVM;Gandhimathi A et al;《Multimedia Tools and Applications》;20171004;15353–15383 * |
基于拓扑导数的复扩散在图像去噪及边缘提取中的应用;张文娟等;《数据采集与处理》;20100713;第25卷(第3期);330-335 * |
红外监视告警***中的复杂背景抑制算法研究;秦翰林;《中国博士学位论文全文数据库 信息科技辑》;20101015(第10期);I140-55 * |
Also Published As
Publication number | Publication date |
---|---|
CN108665435A (zh) | 2018-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109145992B (zh) | 协作生成对抗网络和空谱联合的高光谱图像分类方法 | |
Nasiri et al. | Infrared small target enhancement based on variance difference | |
CN108389188B (zh) | 一种稀疏高光谱异常目标检测方法 | |
Cao et al. | Ship recognition method combined with image segmentation and deep learning feature extraction in video surveillance | |
CN107239759B (zh) | 一种基于深度特征的高空间分辨率遥感图像迁移学习方法 | |
Zhao et al. | Real-time automatic small target detection using saliency extraction and morphological theory | |
CN104268833B (zh) | 基于平移不变剪切波变换的图像融合方法 | |
WO2019193702A1 (ja) | 画像処理装置、画像処理方法、及び、画像処理プログラムが格納された記録媒体 | |
CN109215025B (zh) | 一种基于非凸秩逼近极小化的红外弱小目标检测方法 | |
CN110619263A (zh) | 低秩联合协同表示的高光谱遥感影像异常探测方法 | |
CN110660065B (zh) | 一种红外故障检测识别算法 | |
Tahseen et al. | Binarization Methods in Multimedia Systems when Recognizing License Plates of Cars | |
CN111489309A (zh) | 一种稀疏解混的预处理装置及方法 | |
Li et al. | A small target detection algorithm in infrared image by combining multi-response fusion and local contrast enhancement | |
CN111967466A (zh) | 一种利用多方向稀疏低秩分解的红外弱小目标检测方法 | |
Lone et al. | Object detection in hyperspectral images | |
CN114764801A (zh) | 基于多视觉显著特征的弱小舰船目标融合检测方法及装置 | |
Trongtirakul et al. | Unsupervised and optimized thermal image quality enhancement and visual surveillance applications | |
Zhaohui et al. | Water body extraction from multi-source satellite images | |
Liang et al. | Robust infrared small target detection using Hough line suppression and rank-hierarchy in complex backgrounds | |
Ju et al. | A novel fully convolutional network based on marker-controlled watershed segmentation algorithm for industrial soot robot target segmentation | |
CN108229426B (zh) | 一种基于差分描述子的遥感图像变化向量变化检测法 | |
CN108665435B (zh) | 基于拓扑-图切融合优化的多谱段红外图像背景抑制方法 | |
Zaveri et al. | Novel hybrid multispectral image fusion method using fuzzy logic | |
CN114066815B (zh) | 基于模糊c均值聚类的SAR图像变化检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |