CN108665435B - 基于拓扑-图切融合优化的多谱段红外图像背景抑制方法 - Google Patents

基于拓扑-图切融合优化的多谱段红外图像背景抑制方法 Download PDF

Info

Publication number
CN108665435B
CN108665435B CN201810015843.7A CN201810015843A CN108665435B CN 108665435 B CN108665435 B CN 108665435B CN 201810015843 A CN201810015843 A CN 201810015843A CN 108665435 B CN108665435 B CN 108665435B
Authority
CN
China
Prior art keywords
image
pixel
suppression
diffusion coefficient
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810015843.7A
Other languages
English (en)
Other versions
CN108665435A (zh
Inventor
秦翰林
王婉婷
程文雄
延翔
王春妹
梁瑛
杨硕闻
彭昕
胡壮壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810015843.7A priority Critical patent/CN108665435B/zh
Publication of CN108665435A publication Critical patent/CN108665435A/zh
Application granted granted Critical
Publication of CN108665435B publication Critical patent/CN108665435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于拓扑‑图切融合优化的多谱段红外图像背景抑制方法,分别对多谱段的红外图像进行局部Patch预处理获得预处理后的图像,根据拓扑微分方法对所述预处理后的图像进行强起伏边缘的抑制获得最优扩散系数,根据获得的最优扩散系数与梯度均值滤波相结合分别对单波段图像进行背景抑制,获得若干个单波段杂波抑制后的目标图像;根据尺度区域能量理论模型对所述获得的若干个单波段杂波抑制后的目标图像进行融合,得到多谱段融合的背景抑制结果图像;对所述多谱段融合的背景抑制结果图像进行图切策略优化,消除融合后图像的局部轮廓效应,最终获得背景抑制后的图像。本发明能有效地抑制红外图像中所包含的高灰度级、起伏剧烈的红外背景,并能够突出目标信息。

Description

基于拓扑-图切融合优化的多谱段红外图像背景抑制方法
技术领域
本发明属于红外图像处理技术领域,具体涉及一种基于拓扑-图切融合优化的多谱段红外图像背景抑制方法。
背景技术
红外图像背景抑制在红外图像处理领域引起了越来越多的关注,由于其在红外弱小目标检测中有着潜在的重要应用;尤其是对于处于背景复杂、对比度较低红外图像中的小目标的检测;如直接对处在复杂的天空背景、海天背景下的小目标,使其准确检测是异常的困难;为了解决此问题,红外图像背景抑制是一项关键的预处理技术,其能够有效地抑制复杂起伏背景,增强目标与背景的对比度,从而有利于提高弱小目标的检测精度。
近年来,红外图像背景抑制的研究成果不断地被报道,其中代表性的有基于背景预测的经典滤波方法,如最大中值滤波和最大均值滤波,形态学Top-Hat滤波、二维最小均方误差滤波、主成分分析以及基于视觉注意机制的方法等。这些方法都是基于目标灰度值局部相对较高的特性,通过在空域或变换域中寻找图像极值点来实现背景的抑制,均能较好地抑制简单、平稳的背景;且主要针对单谱段的红外图像。但对于复杂多变的非平稳背景,这些方法很难准确区分目标和背景杂波,且极易受窗口大小、结构元素等参数的影响,通常使得背景抑制结果的虚警概率较高。
发明内容
有鉴于此,本发明的主要目的在于提供一种基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,能够突破单谱段红外图像背景抑制精度低的瓶颈,且不需引入“硬”阈值优化,实现对复杂背景下的红外图像的背景抑制。
为达到上述目的,本发明的技术方案是这样实现的:
本发明实施例提供一种基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,该方法为:首先,分别对多谱段的红外图像进行局部Patch预处理获得预处理后的图像,其次,根据拓扑微分方法对所述预处理后的图像进行强起伏边缘的抑制获得非线性扩散的最优扩散系数,根据获得的最优扩散系数与梯度均值滤波相结合分别对单波段图像进行背景抑制获得若干个单波段杂波抑制后的目标图像;然后,根据尺度区域能量理论模型对所述若干个单波段杂波抑制后的目标图像进行融合获得多谱段融合的背景抑制结果图像;最后,对所述多谱段融合的背景抑制结果图像进行图切策略优化,消除融合后图像的局部轮廓效应,最终获得背景抑制后的图像。
上述方案中,所述分别对多谱段的红外图像进行局部Patch预处理获得局部预处理像素区域,具体为:采用4-邻域算子求取多谱段的红外图像中局部极值点;预处理算法利用式(1)进行表示:
Figure GDA0001623569480000021
其中,u表示一个大小为M×N的图像,下标s表示图像u中的某一个像素,us则表示像素s的灰度值,集合ns={w,e,n,d}表示像素s相邻的四个像素,
Figure GDA0001623569480000022
则表示经过局部预处理后像素s的灰度值。
上述方案中,所述根据拓扑微分方法对所述预处理后的图像进行强起伏边缘的抑制获得非线性扩散的最优扩散系数,具体通过以下步骤实现:
步骤101:根据所述预处理后的图像的代价泛函表达式及图像在相邻像素方向上的梯度值
Figure GDA0001623569480000023
获得像素扩散系数ks的所有组合;
所述所述预处理后的图像的代价泛函表达式具体表达式为式(2):
Figure GDA0001623569480000024
其中,u是一个大小为M×N图像,下标t≥1表示迭代的次数,
Figure GDA0001623569480000026
表示原始图像在像素s的灰度值,ks,p是像素s在相邻像素p方向上的扩散系数,集合ns={w,e,n,d}表示像素s相邻的四个像素,
Figure GDA0001623569480000025
表示像素p与像素s在迭代次数为t时的梯度值,
所述预处理后的图像在相邻像素方向上的梯度值
Figure GDA0001623569480000031
具体表达式为式(3):
Figure GDA0001623569480000032
公式(3)中的
Figure GDA0001623569480000033
利用式(4)进行求解:
Figure GDA0001623569480000034
其中,ks={ks,w,ks,e,ks,n,ks,d}表示像素s在四个相邻像素方向上的扩散系数,λ=Δt表示设定的时间步长;
若像素s与像素p之间的扩散系数ks,p=0,表示在像素s和像素p之间引入了一个间断带(没有扩散发生在这个边),设每个像素的扩散系数ks,p∈{0,k0},扩散系数ks所有可能集合可由公式(5)表示;
l(s):={ks=(ks,w,ks,e,ks,n,ks,d);ks,p∈{0,k0},p={w,e,n,d}} (5)
则ks通过15种组合表示像素s扩散系数的15种不同选择;
步骤102:确定图像中所有像素的扩散系数,对每个像素找到其最优扩散系数ks
对ks进行扰动,设
Figure GDA0001623569480000035
为扰动前的扩散系数,用
Figure GDA0001623569480000036
表示引入扰动后的扩散系数,则引入扰动后的代价泛函用公式(6)表示:
Figure GDA0001623569480000037
其中,DT(s,kε s)表示引入扰动后代价泛函的总变差,要极小化代价泛函,便是求解DT(s,kε s)的最小值;
引入扰动后的扩散系数
Figure GDA0001623569480000038
属于以上的15种组合,则代价泛函转化为公式(7):
Figure GDA0001623569480000039
其中
Figure GDA0001623569480000041
Figure GDA0001623569480000042
由公式(4)求得,
Figure GDA0001623569480000043
表示引入扰动后在迭代次数为t时像素p与像素s的梯度值;
由(6)式和(7)式可得代价泛函的总变差—拓扑微分,由公式(8)进行表示:
Figure GDA0001623569480000044
利用上述思路在15种扩散系数之中选择出像素s最合适的扩散系数,使得DT(s,kε s)的值最小;此时,kε s便是要求解的最优扩散系数。
上述方案中,所述根据获得的最优扩散系数与梯度均值滤波相结合分别对单波段图像进行背景抑制获得若干个单波段杂波抑制后的目标图像,具体为:对图像的边缘处,其梯度较大,扩散系数为0,对图像的灰度均匀区域,其梯度较小,扩散系数为k0;根据所述利用最优扩散系数将图像分解为不同的区域并采用梯度均值滤波法对不同区域的内部进行处理,达到单波段图像目标增强和杂波抑制的目的;拓扑加权梯度均值处理的结果如式(9)所示:
Figure GDA0001623569480000045
根据式(9)对图像进行操作,获得单波段杂波抑制后的目标图像。
上述方案中,所述根据尺度区域能量理论模型对若干单波段杂波抑制后的目标图像进行融合获得多谱段融合的背景抑制结果图像,具体为:
步骤201:根据尺度空间原理构造红外多谱段图像的多分辨率表示,图像分解完毕后,在不同的分解级别上的细节信息被组合起来形成新的已分解的图像;
在此引入匹配度量参数,用于适应不同分辨率级别上的融合方式,该值定义为式(10):
Figure GDA0001623569480000046
其中,K为分辨率级别,C(i,j)表示像素位置为(i,j)的尺度变换系数,m,n为像素位置偏差,下标A、B分别为两帧背景抑制后的不同波段红外图像;
步骤202:对多尺度低频系数采用基于区域能量优化的加权融合,定义一个阈值T,本发明取1.5,把Mab和阈值T相比较;若Mab小于阈值,选用能量特征较大的系数作为融合后的系数,而不显著的系数将被忽略;
像素的显著特征定义为式(11):
Figure GDA0001623569480000051
当Mab小于阈值T,按公式(12)进行选择性的融合:
Figure GDA0001623569480000052
当Mab大于阈值T时,采用加权融合来计算变换系数,加权系数由公式(13)和(14)进行定义;
Figure GDA0001623569480000053
Wmax(i,j,k)=1-Wmin(i,j,k) (14)
Wmin(i,j,k)用于特征值较低的系数,Wmax(i,j,k)用于具有较高特征值的系数,加权融合过程由公式(15)给出:
Figure GDA0001623569480000054
步骤203:对尺度高频特征系数采用绝对值最大方法进行筛选;通过区域能量对融合方式的优化选取,对合成的新变换系数进行逆变换获得多谱段融合的背景抑制结果图像。
上述方案中,所述对所述多谱段融合的背景抑制结果图像进行图切策略优化,最终获得背景抑制后的图像,具体通过以下步骤实现:
步骤301:将图像映射成带权的无向图,并建立标签,再根据此标签所反映的图像像素信息建立对应的能量函数;
设G=(V,E)为一个带有非负边的无向图,V是顶点集合,对应所有像素点以及附加的源节点s和汇节点t,E是图的边集,分为两类t连接和n连接,每个像素对之间都由n连接相连,记c为图中一条边的容量,x和y为两个不同像素点,得到式(16)代价函数;
Figure GDA0001623569480000061
公式(16)将含有源点和汇点的图分为两个顶点的集合S和T,源点s和汇点t分别位于S集合与T集合中;此时问题转化为二元标记问题,即点x满足ux∈{(T=1),(B=0)},其中B表示背景像素,T表示目标像素,用e表示图像中相邻的像素对的集合,v为所有像素的集合,因此,对像素u的标记问题可通过公式(17)所示最小化能量函数E(X)解决;
Figure GDA0001623569480000062
其中,
Figure GDA0001623569480000063
E1(ux)为局部能量,E2(ux,uy)为相邻像素间的能量,
Figure GDA0001623569480000064
Figure GDA0001623569480000065
分别表示像素ux到两个终结点之间的权值,mx,y表示相邻像素间的权值;
步骤302:对图像I中目标与背景像素强度建模,假设像素强度服从高斯分布,因此,背景强度模型如式(19)所示:
Figure GDA0001623569480000066
其中,(μBB)分别表示背景高斯模型的均值和标准差;
目标强度模型如式(20)所示:
Figure GDA0001623569480000071
其中,(μTT)分别表示目标高斯模型的均值和标准差;
因此,式(18)中的局部能量转化为式(21):
Figure GDA0001623569480000072
相邻像素间的能量转化为式(22):
E2(ux,uy)=∞(ux,uy)exp(-β(Ix-Iy)2) (22)
其中,β=(2<(Ix-Iy)2>)-1是一个权衡强度对比的参数,<·>表示期望操作;
步骤303:运用最大流最小切算法对上述建立的网络流图进行切割,从而得到网络图的最小切,即能量函数的最小值,最小切将图像分为前景和背景两部分,从而达到背景抑制和目标增强的目的。
与现有技术相比,本发明的有益效果:
本发明能有效地抑制红外图像中所包含的高灰度级、起伏剧烈的红外背景,并能够突出目标信息,便于后续的目标分割与检测。
附图说明
图1为本发明的流程图;
图2为实验一,其中图2(a)、2(b)分别是原始图像在同一场景中的中波红外图像和长波红外图像;其中原始图像含有2个真实目标点,标注为A、B;
图3为实验二,其中图3(a)、3(b)分别是原始图像在同一场景中的中波红外图像和长波红外图像;其中原始图像含有1个真实目标点,标注为A;
图4为实验三,其中图4(a)、4(b)分别是原始图像在同一场景中的中波红外图像和长波红外图像;其中原始图像含有1个真实目标点,标注为A;
图5为基于Top-hat的红外图像背景抑制的结果图,其中图5(a)、5(b)、5(c)分别是3个不同场景中波红外图像的实验结果图,图5(d)、5(e)、5(f)分别是3个不同场景长波红外实验结果图;
图6为基于Max-Median的红外图像背景抑制的结果图,其中图6(a)、6(b)、6(c)分别是3个不同场景中波红外图像的实验结果图,图6(d)、6(e)、6(f)分别是3个不同场景长波红外实验结果图;
图7为本发明中的实验结果图,其中图7(a)、7(b)、7(c)分别是实验一、实验二和实验三中图像通过本发明技术处理获得的实验结果;
图8为邻域内扩散系数的情形。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例提供一种基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,该方法通过以下步骤实现:
步骤一,分别对多谱段的红外图像进行局部Patch预处理获得预处理后的图像。
具体地,采用4-邻域算子求取图像中局部极值点,预处理算法可利用式(1)进行表示,
Figure GDA0001623569480000081
其中,u表示一个大小为M×N的图像,下标s表示图像u中的某一个像素,us则表示像素s的灰度值;集合ns={w,e,n,d}表示像素s相邻的四个像素。
Figure GDA0001623569480000082
则表示经过局部预处理后像素s的灰度值。
步骤二,根据拓扑微分方法对所述预处理后的图像进行强起伏边缘的抑制获得非线性扩散的最优扩散系数,根据所得最优扩散系数与梯度均值滤波相结合分别对单波段图像进行背景抑制获得若干个单波段杂波抑制后的目标图像。
具体地,根据拓扑微分方法对所述预处理后的图像进行强起伏边缘的抑制获得最优扩散系数,通过以下步骤实现:
步骤201:利用图像的代价泛函表达式及图像在相邻像素方向上的梯度值
Figure GDA0001623569480000091
从而得到像素扩散系数ks的所有组合。
Patch预处理后图像u的代价泛函离散形式可用式(2)进行表示。
Figure GDA0001623569480000092
其中,u是一个大小为M×N图像,下标t≥1表示迭代的次数(
Figure GDA0001623569480000093
表示原始图像在像素s的灰度值),ks,p是像素s在相邻像素p方向上的扩散系数。集合ns={w,e,n,d}表示像素s相邻的四个像素。
Figure GDA0001623569480000094
表示像素p与像素s在迭代次数为t时的梯度值,具体表达式为式(3):
Figure GDA0001623569480000095
公式(3)中的
Figure GDA0001623569480000096
可利用式(4)进行求解:
Figure GDA0001623569480000097
其中,ks={ks,w,ks,e,ks,n,ks,d}表示像素s在四个相邻像素方向上的扩散系数,λ=Δt表示设定的时间步长。
若像素s与像素p之间的扩散系数ks,p=0,表示在像素s和像素p之间引入了一个间断带(没有扩散发生在这个边)。设每个像素的扩散系数ks,p∈{0,k0},扩散系数ks所有可能集合可由公式(5)表示。
l(s):={ks=(ks,w,ks,e,ks,n,ks,d);ks,p∈{0,k0},p={w,e,n,d}} (5)
则ks一共16种不同的组合,其中舍去ks,w=ks,e=ks,n=ks,d=0的情况(这种情况下代价泛函的值为0),剩下的组合如图8所示,这15种组合表示像素s扩散系数的15种不同选择。
步骤202:确定图像中所有像素的扩散系数,对每个像素找到其最优扩散系数ks
对ks进行扰动,设
Figure GDA0001623569480000098
为扰动前的扩散系数,用
Figure GDA0001623569480000099
表示引入扰动后的扩散系数,则引入扰动后的代价泛函可用公式(6)表示。
Figure GDA0001623569480000101
其中,DT(s,kε s)表示引入扰动后代价泛函的总变差。要极小化代价泛函,便是求解DT(s,kε s)的最小值。
引入扰动后的扩散系数
Figure GDA0001623569480000102
属于以上的15种组合,则代价泛函可转化为公式(7)。
Figure GDA0001623569480000103
其中
Figure GDA0001623569480000104
Figure GDA0001623569480000105
可以由公式(4)求得,
Figure GDA0001623569480000106
表示引入扰动后在迭代次数为t时像素p与像素s的梯度值。
由(6)式和(7)式可得代价泛函的总变差—拓扑微分,由公式(8)进行表示。
Figure GDA0001623569480000107
利用上述思路在15种扩散系数之中选择出像素s最合适的扩散系数,使得DT(s,kε s)的值最小。此时,kε s便是要求解的最优扩散系数。
根据获得的最优扩散系数与梯度均值滤波相结合分别对单波段图像进行背景抑制获得若干个单波段杂波抑制后的目标图像,具体为:
对图像的边缘处,其梯度较大,扩散系数为0,对图像的灰度均匀区域,其梯度较小,扩散系数为k0。利用最优扩散系数将图像分解为不同的区域并采用梯度均值滤波法对不同区域的内部进行处理,达到单波段图像目标增强和杂波抑制的目的。
拓扑加权梯度均值处理的结果如式(9)所示。
Figure GDA0001623569480000108
利用式(9)对图像进行操作,便可获得单波段杂波抑制后的目标图像。
步骤三,根据尺度区域能量理论模型对所述若干个单波段杂波抑制后的目标图像进行融合获得多谱段融合的背景抑制结果图像。
具体地,通过以下步骤实现:
步骤301:根据尺度空间原理构造红外多谱段图像的多分辨率表示,图像分解完毕后,在不同的分解级别上的细节信息被组合起来形成新的已分解的图像。
在此引入匹配度量参数,用于适应不同分辨率级别上的融合方式,该值定义为式(10)。
Figure GDA0001623569480000111
其中,K为分辨率级别,C(i,j)表示像素位置为(i,j)的尺度变换系数,m,n为像素位置偏差,下标A、B分别为两帧背景抑制后的不同波段红外图像。
步骤302:对多尺度低频系数采用基于区域能量优化的加权融合。定义一个阈值T,本发明取1.5,把Mab和阈值T相比较。若Mab小于阈值,选用能量特征较大的系数作为融合后的系数,而不显著的系数将被忽略。
像素的显著特征定义为式(11)。
Figure GDA0001623569480000112
当Mab小于阈值T,按公式(12)进行选择性的融合。
Figure GDA0001623569480000113
当Mab大于阈值T时,采用加权融合来计算变换系数,加权系数由公式(13)和(14)进行定义。
Figure GDA0001623569480000114
Wmax(i,j,k)=1-Wmin(i,j,k) (14)
Wmin(i,j,k)用于特征值较低的系数,Wmax(i,j,k)用于具有较高特征值的系数,加权融合过程由公式(15)给出。
Figure GDA0001623569480000121
步骤303:对尺度高频特征系数采用绝对值最大方法进行筛选。
通过区域能量对融合方式的优化选取,对合成的新变换系数进行逆变换得到最终的新的红外多波段融合背景抑制图像。
步骤四,对所述多谱段融合的背景抑制结果图像进行图切策略优化,最终获得背景抑制后的图像。
具体地,通过以下步骤实现:
步骤401:针对需要解决的问题将图像映射成带权的无向图,并建立标签,再根据此标签所反映的图像像素信息建立对应的能量函数。
设G=(V,E)为一个带有非负边的无向图,V是顶点集合,对应所有像素点以及附加的源节点s和汇节点t,E是图的边集,分为两类t连接和n连接,每个像素对之间都由n连接相连,记c为图中一条边的容量,得到式(16)代价函数。
Figure GDA0001623569480000122
公式(16)将含有源点和汇点的图分为两个顶点的集合S和T,源点s和汇点t分别位于S集合与T集合中。此时问题转化为二元标记问题,即点x满足ux∈{(T=1),(B=0)},其中B表示背景像素,T表示目标像素。用e表示图像中相邻的像素对的集合,v为所有像素的集合,因此,对像素u的标记问题可通过公式(17)所示最小化能量函数E(X)解决。
Figure GDA0001623569480000123
其中,
Figure GDA0001623569480000131
E1(ux)为局部能量,E2(ux,uy)为相邻像素间的能量,
Figure GDA0001623569480000132
Figure GDA0001623569480000133
分别表示像素ux到两个终结点之间的权值,mx,y表示相邻像素间的权值。
步骤402:对图像I中目标与背景像素强度建模,假设像素强度服从高斯分布,因此,背景强度模型如式(19)所示。
Figure GDA0001623569480000134
其中,(μBB)分别表示背景高斯模型的均值和标准差。
目标强度模型如式(20)所示。
Figure GDA0001623569480000135
其中,(μTT)分别表示目标高斯模型的均值和标准差。
因此,式(18)中的局部能量可以转化为式(21)。
Figure GDA0001623569480000136
相邻像素间的能量可以转化为式(22)。
E2(ux,uy)=∞(ux,uy)exp(-β(Ix-Iy)2) (22)
其中,β=(2<(Ix-Iy)2>)-1是一个权衡强度对比的参数,<·>表示期望操作。
步骤403:运用最大流最小切算法对上述建立的网络流图进行切割,从而得到网络图的最小切,即能量函数的最小值。最小切将图像分为前景和背景两部分,从而达到背景抑制和目标增强的目的。
实施例1:
本发明实施例提供一种基于拓扑-图切融合优化的红外多谱段图像背景抑制方法,如图1所示,该方法具体通过以下步骤实现:
步骤101:分别对双波段的红外图像进行局部预处理。
具体为,采用4-邻域算子求取图像中局部极值点,预处理算法可以利用式(1)进行表示。
Figure GDA0001623569480000141
其中,u表示一个大小为M×N的图像,下标s表示图像u中的某一个像素,us则表示像素s的灰度值;集合ns={w,e,n,s}表示像素s相邻的四个像素,
Figure GDA0001623569480000142
则表示经过局部预处理后像素s的灰度值。
步骤201:采用拓扑微分技术对获得的预处理像素区域进行强起伏边缘的抑制。
具体的,预处理后图像u的代价泛函离散形式可表示为式(2)。
Figure GDA0001623569480000143
其中,u是一个大小为M×N矩阵,下标t≥1表示迭代的次数(
Figure GDA0001623569480000144
表示原始图像在像素s的灰度值),ks,p是像素s在相邻像素p方向上的扩散系数。集合ns={w,e,n,d}表示像素s相邻的四个像素。
Figure GDA0001623569480000145
表示像素p与像素s在迭代次数为t时的梯度值,具体的表达式为式(3)。
Figure GDA0001623569480000146
在式(3)中的
Figure GDA0001623569480000147
可利用用式(4)求解。
Figure GDA0001623569480000148
其中,ks={ks,w,ks,e,ks,n,ks,d}表示像素s在四个相邻像素方向上的扩散系数,λ=Δt表示设定的时间步长。
设每个像素的扩散系数ks,p∈{0,k0},扩散系数所有可能的集合如式(5)所示。
l(s):={ks=(ks,w,ks,e,ks,n,ks,d);ks,p∈{0,k0},p={w,e,n,d}} (5)
然后对每个像素找到其最佳的扩散系数ks。对其进行扰动,设
Figure GDA0001623569480000151
为扰动前的扩散系数,用kε s表示引入扰动后的扩散系数,则引入扰动后的代价泛函可以表示为式(6)。
Figure GDA0001623569480000152
其中,DT(s,kε s)表示引入扰动后代价泛函的总变差。要极小化代价泛函,便是求解DT(s,kε s)的最小值。
利用获得的最优扩散系数将图像分解为不同的区域,并采用梯度均值滤波法对不同区域的内部进行处理,达到单波段图像目标增强和背景抑制的目的。
拓扑加权梯度均值处理的结果如式(7)所示。
Figure GDA0001623569480000153
利用式(7)对图像进行操作,便可获得背景抑制后的目标图像。
步骤301:根据尺度空间理论,对多分辨率图像采用区域能量优化的加权融合。
具体的,定义如式(8)所示匹配度量参数。
Figure GDA0001623569480000154
其中,K为分辨率级别,C(i,j)表示像素位置为(i,j)的尺度变换系数,m,n为像素位置偏差,下标A、B分别为两幅背景抑制后的双波段图像。
定义一个阈值T,本发明取1.5,把Mab和阈值T相比较。若Mab小于阈值,选用能量特征较大的系数作为融合后的系数,不显著的系数则被忽略。
当Mab小于阈值T,按式(9)进行选择性的融合。
Figure GDA0001623569480000155
当Mab大于阈值T时,采用加权融合来计算变换系数,加权系数定义如式(10)和(11)所示。
Figure GDA0001623569480000161
Wmax(i,j,k)=1-Wmin(i,j,k) (11)
Wmin(i,j,k)用于特征值较低的系数,Wmax(i,j,k)用于具有较高特征值的系数,加权融合过程由式(12)给出。
Figure GDA0001623569480000162
步骤401:对经融合后双波段杂波抑制后的红外图像进行图切策略优化。
具体的,将优化问题转化为对像素x的标记问题,可通过式(13)最小化能量函数E(X)解决。
Figure GDA0001623569480000163
其中,
Figure GDA0001623569480000164
E1(ux)为局部能量,E2(ux,uy)为相邻像素间的能量,
Figure GDA0001623569480000165
Figure GDA0001623569480000166
分别表示像素ux到两个终结点之间的权值,mx,y表示相邻像素间的权值。
对图像I中目标与背景像素强度建模,假设像素强度服从高斯分布,局部能量可以转化为式(15)求解。
Figure GDA0001623569480000167
相邻像素间的能量可以转化为式(22)。
E2(ux,uy)=∞(ux,uy)exp(-β(Ix-Iy)2) (16)
最后,求解网络图的最小切,即能量函数的最小值,将图像分为前景和背景两部分。
本发明的有益效果通过仿真实验具体说明。
1.实验条件
实验所用的CPU为Intel Core(TM)i3-41703.70GHz内存8GB,编程平台为MATLABR2015b。实验采用的是三组包含小目标的真实双波段红外图像。实验一中的背景灰度与目标相近且起伏剧烈,实验二与实验三中目标信噪比低且湮没于背景云层中,其中红外图像的大小分别为220×220、153×105和90×90,如图2、图3、图4所示。
实验表明,本发明方法从主观视觉和客观评价指标均优于其他几种方法在不同波段的结果,解决了单一谱段红外图像背景抑制存在的准确度低的问题,同时采用图切优化多波段融合结果,无需引入“硬”阈值判决。图5~7给出了本发明方法及两种对比方法对图2~4的背景抑制结果,从结果图中可以看出,Top-hat与Max-Median方法未能较好地抑制背景杂波,尤其是长波红外图像,而本发明在不同实验中均能获得较好背景杂波抑制效果。表1给出了几种方法的评价指标对比结果,SCRz为信杂比,SCRGz为信杂比增益,BSFz为背景抑制因子(下标z可取m和l,分别代表同一场景的中波和长波图像)。其中,信杂比增益越高,表示处理后目标和背景差异越大,背景抑制因子越高表示背景抑制越完全。
表1为几种方法的评价指标对比表
Figure GDA0001623569480000171
Figure GDA0001623569480000181
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (5)

1.一种基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,其特征在于,该方法为:首先,分别对多谱段的红外图像进行局部Patch预处理获得预处理后的图像,其次,根据拓扑微分方法对所述预处理后的图像进行强起伏边缘的抑制获得非线性扩散的最优扩散系数,根据获得的最优扩散系数与梯度均值滤波相结合分别对单波段图像进行背景抑制获得若干个单波段杂波抑制后的目标图像;然后,根据尺度区域能量理论模型对所述若干个单波段杂波抑制后的目标图像进行融合获得多谱段融合的背景抑制结果图像;最后,对所述多谱段融合的背景抑制结果图像进行图切策略优化,消除融合后图像的局部轮廓效应,最终获得背景抑制后的图像;
所述对所述多谱段融合的背景抑制结果图像进行图切策略优化,最终获得背景抑制后的图像,具体通过以下步骤实现:
步骤301:将图像映射成带权的无向图,并建立标签,再根据此标签所反映的图像像素信息建立对应的能量函数;
设G=(V,E)为一个带有非负边的无向图,V是顶点集合,对应所有像素点以及附加的源节点s和汇节点t,E是图的边集,分为两类t连接和n连接,每个像素对之间都由n连接相连,记c为图中一条边的容量,x和y为两个不同像素点,得到式(16)代价函数;
Figure FDA0003143695830000011
公式(16)将含有源点和汇点的图分为两个顶点的集合S和T,源点s和汇点t分别位于S集合与T集合中;此时问题转化为二元标记问题,即点x满足ux∈{(T=1),(B=0)},其中B表示背景像素,T表示目标像素,用e表示图像中相邻的像素对的集合,v为所有像素的集合,因此,对像素u的标记问题可通过公式(17)所示最小化能量函数E(X)解决;
Figure FDA0003143695830000012
其中,
Figure FDA0003143695830000021
E1(ux)为局部能量,E2(ux,uy)为相邻像素间的能量,
Figure FDA0003143695830000022
Figure FDA0003143695830000023
分别表示像素ux到两个终结点之间的权值,mx,y表示相邻像素间的权值;
步骤302:对图像I中目标与背景像素强度建模,假设像素强度服从高斯分布,因此,背景强度模型如式(19)所示:
Figure FDA0003143695830000024
其中,(μBB)分别表示背景高斯模型的均值和标准差;
目标强度模型如式(20)所示:
Figure FDA0003143695830000025
其中,(μTT)分别表示目标高斯模型的均值和标准差;
因此,式(18)中的局部能量转化为式(21):
Figure FDA0003143695830000026
相邻像素间的能量转化为式(22):
E2(ux,uy)=∞(ux,uy)exp(-β(Ix-Iy)2) (22)
其中,β=(2<(Ix-Iy)2>)-1是一个权衡强度对比的参数,<·>表示期望操作;
步骤303:运用最大流最小切算法对上述建立的网络流图进行切割,从而得到网络图的最小切,即能量函数的最小值,最小切将图像分为前景和背景两部分,从而达到背景抑制和目标增强的目的。
2.根据权利要求1所述的基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,其特征在于,所述分别对多谱段的红外图像进行局部Patch预处理获得局部预处理像素区域,具体为:采用4-邻域算子求取多谱段的红外图像中局部极值点;预处理算法利用式(1)进行表示:
Figure FDA0003143695830000031
其中,u表示一个大小为M×N的图像,下标s表示图像u中的某一个像素,us则表示像素s的灰度值,集合ns={w,e,n,d}表示像素s相邻的四个像素,
Figure FDA0003143695830000032
则表示经过局部预处理后像素s的灰度值。
3.根据权利要求1或2所述的基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,其特征在于,所述根据拓扑微分方法对所述预处理后的图像进行强起伏边缘的抑制获得非线性扩散的最优扩散系数,具体通过以下步骤实现:
步骤101:根据所述预处理后的图像的代价泛函表达式及图像在相邻像素方向上的梯度值
Figure FDA0003143695830000033
获得像素扩散系数ks的所有组合;
所述所述预处理后的图像的代价泛函表达式具体表达式为式(2):
Figure FDA0003143695830000034
其中,u是一个大小为M×N图像,下标t≥1表示迭代的次数,
Figure FDA0003143695830000035
表示原始图像在像素s的灰度值,ks,p是像素s在相邻像素p方向上的扩散系数,集合ns={w,e,n,d}表示像素s相邻的四个像素,
Figure FDA0003143695830000036
表示像素p与像素s在迭代次数为t时的梯度值,
所述预处理后的图像在相邻像素方向上的梯度值
Figure FDA0003143695830000037
具体表达式为式(3):
Figure FDA0003143695830000038
公式(3)中的
Figure FDA0003143695830000039
利用式(4)进行求解:
Figure FDA00031436958300000310
其中,ks={ks,w,ks,e,ks,n,ks,d}表示像素s在四个相邻像素方向上的扩散系数,λ=Δt表示设定的时间步长;
若像素s与像素p之间的扩散系数ks,p=0,表示在像素s和像素p之间引入了一个间断带(没有扩散发生在这个边),设每个像素的扩散系数ks,p∈{0,k0},扩散系数ks所有可能集合可由公式(5)表示;
l(s):={ks=(ks,w,ks,e,ks,n,ks,d);ks,p∈{0,k0},p={w,e,n,d}} (5)
则ks通过15种组合表示像素s扩散系数的15种不同选择;
步骤102:确定图像中所有像素的扩散系数,对每个像素找到其最优扩散系数ks
对ks进行扰动,设
Figure FDA0003143695830000041
为扰动前的扩散系数,用
Figure FDA0003143695830000042
表示引入扰动后的扩散系数,则引入扰动后的代价泛函用公式(6)表示:
Figure FDA0003143695830000043
其中,DT(s,kε s)表示引入扰动后代价泛函的总变差,要极小化代价泛函,便是求解DT(s,kε s)的最小值;
引入扰动后的扩散系数
Figure FDA0003143695830000049
属于以上的15种组合,则代价泛函转化为公式(7):
Figure FDA0003143695830000044
其中
Figure FDA0003143695830000045
Figure FDA0003143695830000046
由公式(4)求得,
Figure FDA0003143695830000047
表示引入扰动后在迭代次数为t时像素p与像素s的梯度值;
由(6)式和(7)式可得代价泛函的总变差—拓扑微分,由公式(8)进行表示:
Figure FDA0003143695830000048
利用上述思路在15种扩散系数之中选择出像素s最合适的扩散系数,使得DT(s,kε s)的值最小;此时,kε s便是要求解的最优扩散系数。
4.根据权利要求3所述的基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,其特征在于,所述根据获得的最优扩散系数与梯度均值滤波相结合分别对单波段图像进行背景抑制获得若干个单波段杂波抑制后的目标图像,具体为:对图像的边缘处,其梯度较大,扩散系数为0,对图像的灰度均匀区域,其梯度较小,扩散系数为k0;根据所述利用最优扩散系数将图像分解为不同的区域并采用梯度均值滤波法对不同区域的内部进行处理,达到单波段图像目标增强和杂波抑制的目的;拓扑加权梯度均值处理的结果如式(9)所示:
Figure FDA0003143695830000051
根据式(9)对图像进行操作,获得单波段杂波抑制后的目标图像。
5.根据权利要求4所述的基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,其特征在于,所述根据尺度区域能量理论模型对若干单波段杂波抑制后的目标图像进行融合获得多谱段融合的背景抑制结果图像,具体为:
步骤201:根据尺度空间原理构造红外多谱段图像的多分辨率表示,图像分解完毕后,在不同的分解级别上的细节信息被组合起来形成新的已分解的图像;
在此引入匹配度量参数,用于适应不同分辨率级别上的融合方式,该值定义为式(10):
Figure FDA0003143695830000052
其中,K为分辨率级别,C(i,j)表示像素位置为(i,j)的尺度变换系数,m,n为像素位置偏差,下标A、B分别为两帧背景抑制后的不同波段红外图像;
步骤202:对多尺度低频系数采用基于区域能量优化的加权融合,定义一个阈值T,取1.5,把Mab和阈值T相比较;若Mab小于阈值,选用能量特征较大的系数作为融合后的系数,而不显著的系数将被忽略;
像素的显著特征定义为式(11):
Figure FDA0003143695830000061
当Mab小于阈值T,按公式(12)进行选择性的融合:
Figure FDA0003143695830000062
当Mab大于阈值T时,采用加权融合来计算变换系数,加权系数由公式(13)和(14)进行定义;
Figure FDA0003143695830000063
Wmax(i,j,k)=1-Wmin(i,j,k) (14)
Wmin(i,j,k)用于特征值较低的系数,Wmax(i,j,k)用于具有较高特征值的系数,加权融合过程由公式(15)给出:
Figure FDA0003143695830000064
步骤203:对尺度高频特征系数采用绝对值最大方法进行筛选;通过区域能量对融合方式的优化选取,对合成的新变换系数进行逆变换获得多谱段融合的背景抑制结果图像。
CN201810015843.7A 2018-01-08 2018-01-08 基于拓扑-图切融合优化的多谱段红外图像背景抑制方法 Active CN108665435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810015843.7A CN108665435B (zh) 2018-01-08 2018-01-08 基于拓扑-图切融合优化的多谱段红外图像背景抑制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810015843.7A CN108665435B (zh) 2018-01-08 2018-01-08 基于拓扑-图切融合优化的多谱段红外图像背景抑制方法

Publications (2)

Publication Number Publication Date
CN108665435A CN108665435A (zh) 2018-10-16
CN108665435B true CN108665435B (zh) 2021-11-02

Family

ID=63784788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810015843.7A Active CN108665435B (zh) 2018-01-08 2018-01-08 基于拓扑-图切融合优化的多谱段红外图像背景抑制方法

Country Status (1)

Country Link
CN (1) CN108665435B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034239A (zh) * 2010-12-07 2011-04-27 北京理工大学 一种基于局部灰度突变的红外小目标检测方法
CN102222322A (zh) * 2011-06-02 2011-10-19 西安电子科技大学 基于多尺度非局部均值的红外图像背景抑制方法
CN104766334A (zh) * 2015-04-21 2015-07-08 西安电子科技大学 红外弱小目标检测跟踪方法及其装置
CN105551054A (zh) * 2016-01-14 2016-05-04 辽宁师范大学 全局和局部信息自适应调整的图像分割活动轮廓方法
CN106447640A (zh) * 2016-08-26 2017-02-22 西安电子科技大学 基于字典学习、旋转引导滤波的多聚焦图像融合方法及装置
CN107403134A (zh) * 2017-05-27 2017-11-28 西安电子科技大学 基于局部梯度三边的图域多尺度红外弱小目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016202716A (ja) * 2015-04-24 2016-12-08 株式会社コーエーテクモゲームス プログラム及び記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034239A (zh) * 2010-12-07 2011-04-27 北京理工大学 一种基于局部灰度突变的红外小目标检测方法
CN102222322A (zh) * 2011-06-02 2011-10-19 西安电子科技大学 基于多尺度非局部均值的红外图像背景抑制方法
CN104766334A (zh) * 2015-04-21 2015-07-08 西安电子科技大学 红外弱小目标检测跟踪方法及其装置
CN105551054A (zh) * 2016-01-14 2016-05-04 辽宁师范大学 全局和局部信息自适应调整的图像分割活动轮廓方法
CN106447640A (zh) * 2016-08-26 2017-02-22 西安电子科技大学 基于字典学习、旋转引导滤波的多聚焦图像融合方法及装置
CN107403134A (zh) * 2017-05-27 2017-11-28 西安电子科技大学 基于局部梯度三边的图域多尺度红外弱小目标检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A modified topological derivative based background suppressing for infrared dim small target detection;Wenxiong CHENG et al;《Applied Optics and Photonics China (AOPC2017) Proc. SPIE》;20170630;1046256-1-7 *
High-order diffusion equation based infrared image background suppression;H Qin et al;《Proceedings of SPIE - The International Society for Optical Engineering》;20121015;第8419卷;1-6 *
Improved segmentation and change detection of multi-spectral satellite imagery using graph cut based clustering and multiclass SVM;Gandhimathi A et al;《Multimedia Tools and Applications》;20171004;15353–15383 *
基于拓扑导数的复扩散在图像去噪及边缘提取中的应用;张文娟等;《数据采集与处理》;20100713;第25卷(第3期);330-335 *
红外监视告警***中的复杂背景抑制算法研究;秦翰林;《中国博士学位论文全文数据库 信息科技辑》;20101015(第10期);I140-55 *

Also Published As

Publication number Publication date
CN108665435A (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
CN109145992B (zh) 协作生成对抗网络和空谱联合的高光谱图像分类方法
Nasiri et al. Infrared small target enhancement based on variance difference
CN108389188B (zh) 一种稀疏高光谱异常目标检测方法
Cao et al. Ship recognition method combined with image segmentation and deep learning feature extraction in video surveillance
CN107239759B (zh) 一种基于深度特征的高空间分辨率遥感图像迁移学习方法
Zhao et al. Real-time automatic small target detection using saliency extraction and morphological theory
CN104268833B (zh) 基于平移不变剪切波变换的图像融合方法
WO2019193702A1 (ja) 画像処理装置、画像処理方法、及び、画像処理プログラムが格納された記録媒体
CN109215025B (zh) 一种基于非凸秩逼近极小化的红外弱小目标检测方法
CN110619263A (zh) 低秩联合协同表示的高光谱遥感影像异常探测方法
CN110660065B (zh) 一种红外故障检测识别算法
Tahseen et al. Binarization Methods in Multimedia Systems when Recognizing License Plates of Cars
CN111489309A (zh) 一种稀疏解混的预处理装置及方法
Li et al. A small target detection algorithm in infrared image by combining multi-response fusion and local contrast enhancement
CN111967466A (zh) 一种利用多方向稀疏低秩分解的红外弱小目标检测方法
Lone et al. Object detection in hyperspectral images
CN114764801A (zh) 基于多视觉显著特征的弱小舰船目标融合检测方法及装置
Trongtirakul et al. Unsupervised and optimized thermal image quality enhancement and visual surveillance applications
Zhaohui et al. Water body extraction from multi-source satellite images
Liang et al. Robust infrared small target detection using Hough line suppression and rank-hierarchy in complex backgrounds
Ju et al. A novel fully convolutional network based on marker-controlled watershed segmentation algorithm for industrial soot robot target segmentation
CN108229426B (zh) 一种基于差分描述子的遥感图像变化向量变化检测法
CN108665435B (zh) 基于拓扑-图切融合优化的多谱段红外图像背景抑制方法
Zaveri et al. Novel hybrid multispectral image fusion method using fuzzy logic
CN114066815B (zh) 基于模糊c均值聚类的SAR图像变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant