CN108256519B - 一种基于全局和局部相互作用的红外图像显著检测方法 - Google Patents
一种基于全局和局部相互作用的红外图像显著检测方法 Download PDFInfo
- Publication number
- CN108256519B CN108256519B CN201711322406.1A CN201711322406A CN108256519B CN 108256519 B CN108256519 B CN 108256519B CN 201711322406 A CN201711322406 A CN 201711322406A CN 108256519 B CN108256519 B CN 108256519B
- Authority
- CN
- China
- Prior art keywords
- structural
- local
- global
- adaptive recursive
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明揭示了一种基于全局和局部相互作用的红外图像显著检测方法,包括计算结构性局部自适应递归核、构建仿射矩阵提升显著图性能、基于高斯混合模型建立全局约束、使用结构性滤波方法滤除噪声干扰、整合局部和全局的模型计算最终的显著图。本发明能够有效地估计视觉显著目标信息,为后期的目标跟踪和目标识别提高有效的后续区域,减少机器视觉算法的搜索消耗,提高了算法的运行效率,也可以减少硬件的运算功耗,提高图像信号的资源利用率,为后期的视觉任务提供有效的图像预处理支撑。
Description
技术领域
本发明涉及红外图像显著检测方法,尤其涉及一种基于全局和局部相互作用的红外图像显著检测方法,属于图像理解处理的技术领域。
背景技术
显著性检测在夜视图像(包括微光、红外图像)理解分析方法发挥着重要作用,它也在机器视觉应用中起着重要的作用。
文献一(X.Hou,L.Zhang,Dynamic visual attention:searching for codinglength increments,in:D.Koller,D.Schuurmans,Y.Bengio,L.Bottou(Eds.),Advancesin Neural Information Processing Systems 21,2009.)基于特征的稀有性提出一种动态视觉模型,并应用(ICL)估计每个特征的熵的增益。文献二(T.Liu,Z.Yuan,J.Sun,J.Wang,N.Zheng,X.Tang,H.-Y.Shum,Learning to detect a salient object,IEEETPAMI 33(2),2011.)提出一种通过训练有条件的随机域的二元显著性检测方法,该域结合了一组新颖的特征,例如多级对比度、中心围绕直方图和色彩空间分布。但是,上述方法是根据自然图像提出的,在红外图像上应用的效果欠佳。文献三(C.N.XinWang,L.Xu,Saliency detection using mutual consistency-guided spatial cues combination,Infrared Physics&Technology 72,2015.)利用红外图像的亮度对比度和轮廓特征,估计红外图像的显著性。但是,该方法可能导致错误的估算结果,使显著区域包含背景噪声。
发明内容
本发明的目的是解决上述现有技术的不足,提供一种基于全局和局部相互作用的红外图像显著检测方法。
为了达到上述目的,本发明所采用的技术方案为:
一种基于全局和局部相互作用的红外图像显著检测方法,包括以下步骤:
步骤一:计算结构性局部自适应递归核,
用F表示由输入图像I提取的特征图像,公式(1)为:
F(x,y)=Γ(I,x,y) (1)
其中,Γ()表示一种提取图像特征的多维函数,
用红外图像的位置、梯度、亮度、LBP和HOG信息作为图像的特征,在特征图像F中,每个像素可以被描述为一个7维的向量,公式(2)为:
特征图像中F的某一区域R,可以被描述为一个多维的协方差矩阵CR,公式(3)为:
其中,zi,(i=1,..,k)表示区域R中的所有特征点,μ表示zi的平均值,
结构性局部自适应递归核的计算方法,公式(4)为:
其中,l∈[1,...,P2],P2表示局部窗口内的像素总数,Δx表示窗口中心和周围像素的坐标关系,s={x1,x2,z(x1,x2)},z(x1,x2)是像素(x1,x2)的灰度值;
步骤二:构建仿射矩阵,提升显著图性能,
用两个区域的结构性局部自适应递归核的距离表示这两个区域之间的相似性,某区域m内结构性局部自适应递归核与另一区域n内结构性局部自适应递归核的关联性wmn,公式(5)为:
其中,slm,sln分别表示区域m、n的结构性局部自适应递归核的均值,Q(n)表示区域n的一组邻域,σ1是控制相似程度的参数,MCS()表示余弦相似度矩阵,
然后,构造一个行标准化的仿射矩阵,公式(6)为:
A=D-1·W (6)
其中,仿射矩阵W=[wmn]N×N被用来表示任意一对节点之间的相似性,角度矩阵D=diag{d1,d2,...,dN},其中dn=∑nwmn表示区域n与其他所有区域的关联度总和,
基于给定的仿射矩阵,用结构性局部自适应递归核的描述子来定义局部区域的显著性,公式(7)为:
其中,amn表示公式(6)中计算的关联度,SSLARK表示基于结构性局部自适应递归核的低质量的显著图,N表示结构性局部自适应递归核的数量;
步骤三:基于高斯混合模型,建立全局约束,
首先,定义一个全局条件,并最小化其代价,公式(8)为:
其中,b1,b2分别表示红外图像中前景和背景的高斯混合模型,
每一个结构性局部自适应递归核的描述子可以看作结合了高斯混合模型的权重,其属于邻域的概率,公式(9)为:
其中,Pn表示从红外图像中提取第n个结构性局部递归核区域的一种线性运算,wmn由公式(5)计算得到,∑m是协方差矩阵,Φ表示高斯分布;
步骤四:使用结构性滤波方法,滤除噪声干扰,
基于结构性局部自适应递归核,设计一种滤波方法,以进一步滤除高斯模型中包含的背景噪声,公式(10)为:
步骤五:整合局部和全局的模型,计算最终的显著图,
公式(11)为:
S*=αS1+(1-α)S2 (11)
其中,α是平衡因子,S1表示局部显著图,S2表示全局显著图。
本发明的有益效果主要体现在:
采用区域协方差能够有效地显著目标结构信息,可有效区别背景和目标的差异;考虑全局和局部信息,能够有效地挖掘显著目标信息,并通过一个有效的整合框架重新计算视觉显著性,提高了显著性检测的精确度。在计算全局显著图的同时,利用高斯混合模型,建立全局线索约束,通过结构性滤波来减少噪声的干扰。该方法能够有效地估计视觉显著目标信息,为后期的目标跟踪和目标识别提高有效的后续区域,减少机器视觉算法的搜索消耗,提高了算法的运行效率,也可以减少硬件的运算功耗,提高图像信号的资源利用率,为后期的视觉任务提供有效的图像预处理支撑。
附图说明
图1是本发明红外图像显著检测方法的原理图。
图2是本发明步骤二所获得的局部显著图。
图4是本发明全局模型的显著图。
图6是本发明的显著性检测结果图。
具体实施方式
本发明提供一种基于全局和局部相互作用的红外图像显著检测方法。以下结合附图对本发明技术方案进行详细描述,以使其更易于理解和掌握。
一种基于全局和局部相互作用的红外图像显著检测方法,如图1所示,包括以下步骤:
步骤一:计算结构性局部自适应递归核,
用F表示由输入图像I提取的特征图像,公式(1)为:
F(x,y)=Γ(I,x,y) (1)
其中,Γ()表示一种提取图像特征的多维函数,
用红外图像的位置、梯度、亮度、LBP和HOG信息作为图像的特征,在特征图像F中,每个像素可以被描述为一个7维的向量,公式(2)为:
特征图像中F的某一区域R,可以被描述为一个多维的协方差矩阵CR,公式(3)为:
其中,zi,(i=1,..,k)表示区域R中的所有特征点,μ表示zi的平均值,
结构性局部自适应递归核的计算方法,公式(4)为:
其中,l∈[1,...,P2],P2表示局部窗口内的像素总数,Δx表示窗口中心和周围像素的坐标关系,s={x1,x2,z(x1,x2)},z(x1,x2)是像素(x1,x2)的灰度值;
步骤二:构建仿射矩阵,提升显著图性能,
用两个区域的结构性局部自适应递归核的距离表示这两个区域之间的相似性,某区域m内结构性局部自适应递归核与另一区域n内结构性局部自适应递归核的关联性wmn,公式(5)为:
其中,slm,sln分别表示区域m、n的结构性局部自适应递归核的均值,Q(n)表示区域n的一组邻域,σ1是控制相似程度的参数,MCS()表示余弦相似度矩阵,
然后,构造一个行标准化的仿射矩阵,公式(6)为:
A=D-1·W (6)
其中,仿射矩阵W=[wmn]N×N被用来表示任意一对节点之间的相似性,角度矩阵D=diag{d1,d2,...,dN},其中dn=∑nwmn表示区域n与其他所有区域的关联度总和,
基于给定的仿射矩阵,用结构性局部自适应递归核的描述子来定义局部区域的显著性,公式(7)为:
其中,amn表示公式(6)中计算的关联度,SSLARK表示基于结构性局部自适应递归核的低质量的显著图,N表示结构性局部自适应递归核的数量;
步骤三:基于高斯混合模型,建立全局约束,
首先,定义一个全局条件,并最小化其代价,公式(8)为:
其中,b1,b2分别表示红外图像中前景和背景的高斯混合模型,
每一个结构性局部自适应递归核的描述子可以看作结合了高斯混合模型的权重,其属于邻域的概率,公式(9)为:
其中,Pn表示从红外图像中提取第n个结构性局部递归核区域的一种线性运算,wmn由公式(5)计算得到,∑m是协方差矩阵,Φ表示高斯分布;
步骤四:使用结构性滤波方法,滤除噪声干扰,
基于结构性局部自适应递归核,设计一种滤波方法,以进一步滤除高斯模型中包含的背景噪声,公式(10)为:
步骤五:整合局部和全局的模型,计算最终的显著图,
公式(11)为:
S*=αS1+(1-α)S2 (11)
其中,α是平衡因子,S1表示局部显著图,S2表示全局显著图。
如图2所示,为本发明中步骤二所获得的局部显著图,图2中的(a)为输入图像,图2中的(b)为局部显著图,图2中的(c)为加入仿射矩阵计算的局部显著图。增加了仿射矩阵的影响,使显著图更加精确,背景噪声得到很好的抑制。
如图4所示,全局模型的显著图。图4中的(a)为输入图像,图4中的(b)为全局显著图,图4中的(c)为加入结构性滤波计算的全局显著图。经过了结构性滤波的处理,既突出了目标,也抑制了背景噪声。
如图6所示,为发明的显著性检测结果图。
通过以上描述可以发现,本发明一种基于全局和局部相互作用的红外图像显著检测方法,能够有效地估计视觉显著目标信息,为后期的目标跟踪和目标识别提高有效的后续区域,减少机器视觉算法的搜索消耗,提高了算法的运行效率,也可以减少硬件的运算功耗,提高图像信号的资源利用率,为后期的视觉任务提供有效的图像预处理支撑。
以上对本发明的技术方案进行了充分描述,需要说明的是,本发明的具体实施方式并不受上述描述的限制,本领域的普通技术人员依据本发明的精神实质在结构、方法或功能等方面采用等同变换或者等效变换而形成的所有技术方案,均落在本发明的保护范围之内。
Claims (1)
1.一种基于全局和局部相互作用的红外图像显著检测方法,包括以下步骤:
步骤一:计算结构性局部自适应递归核,
用F表示由输入图像I提取的特征图像,公式(1)为:
F(x,y)=Γ(I,x,y) (1)
其中,Γ()表示一种提取图像特征的多维函数,
用红外图像的位置、梯度、亮度、LBP和HOG信息作为图像的特征,在特征图像F中,每个像素被描述为一个7维的向量,公式(2)为:
特征图像中F的某一区域R,被描述为一个多维的协方差矩阵CR,公式(3)为:
其中,zi表示区域R中的所有特征点,其中i=1,...,k,μ表示zi的平均值,
结构性局部自适应递归核的计算方法,公式(4)为:
其中,l∈[1,...,P2],P2表示局部窗口内的像素总数,Δx表示窗口中心和周围像素的坐标关系,s={x1,x2,z(x1,x2)},z(x1,x2)是像素(x1,x2)的灰度值;
步骤二:构建仿射矩阵,提升显著图性能,
用两个区域的结构性局部自适应递归核的距离表示这两个区域之间的相似性,某区域m内结构性局部自适应递归核与另一区域n内结构性局部自适应递归核的关联性wmn,公式(5)为:
其中,slm,sln分别表示区域m、n的结构性局部自适应递归核的均值,Ω(n)表示区域n的一组邻域,σ1是控制相似程度的参数,MCS()表示余弦相似度矩阵,
然后,构造一个行标准化的仿射矩阵,公式(6)为:
A=D-1·W (6)
其中,仿射矩阵W=[wmn]N×N被用来表示任意一对节点之间的相似性,角度矩阵D=diag{d1,d2,...,dN},其中dn=∑nwmn表示区域n与其他所有区域的关联度总和,
基于给定的仿射矩阵,用结构性局部自适应递归核的描述子来定义局部区域的显著性,公式(7)为:
其中,amn表示公式(6)中计算的关联度,SSLARK表示基于结构性局部自适应递归核的低质量的显著图,N表示结构性局部自适应递归核的数量;
步骤三:基于高斯混合模型,建立全局约束,
首先,定义一个全局条件,并最小化其代价,公式(8)为:
其中,b1,b2分别表示红外图像中前景和背景的高斯混合模型,
每一个结构性局部自适应递归核的描述子看作结合了高斯混合模型的权重,其属于邻域的概率,公式(9)为:
其中,Pn表示从红外图像中提取第n个结构性局部递归核区域的一种线性运算,wmn由公式(5)计算得到,Cm是协方差矩阵,Φ表示高斯分布;
步骤四:使用结构性滤波方法,滤除噪声干扰,
基于结构性局部自适应递归核,设计一种滤波方法,以进一步滤除高斯模型中包含的背景噪声,公式(10)为:
步骤五:整合局部和全局的模型,计算最终的显著图,
公式(11)为:
S*=αS1+(1-α)S2 (11)
其中,α是平衡因子,S1表示局部显著图,S2表示全局显著图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711322406.1A CN108256519B (zh) | 2017-12-13 | 2017-12-13 | 一种基于全局和局部相互作用的红外图像显著检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711322406.1A CN108256519B (zh) | 2017-12-13 | 2017-12-13 | 一种基于全局和局部相互作用的红外图像显著检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108256519A CN108256519A (zh) | 2018-07-06 |
CN108256519B true CN108256519B (zh) | 2022-06-17 |
Family
ID=62722584
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711322406.1A Active CN108256519B (zh) | 2017-12-13 | 2017-12-13 | 一种基于全局和局部相互作用的红外图像显著检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108256519B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113822352B (zh) * | 2021-09-15 | 2024-05-17 | 中北大学 | 基于多特征融合的红外弱小目标检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104599291A (zh) * | 2015-01-21 | 2015-05-06 | 内蒙古科技大学 | 基于结构相似度和显著性分析的红外运动目标检测方法 |
CN106295542A (zh) * | 2016-08-03 | 2017-01-04 | 江苏大学 | 一种夜视红外图像中的基于显著性的道路目标提取方法 |
CN106846331A (zh) * | 2016-12-22 | 2017-06-13 | 中国科学院文献情报中心 | 联合视觉显著性和图割优化的图像自动分割方法 |
CN107240096A (zh) * | 2017-06-01 | 2017-10-10 | 陕西学前师范学院 | 一种红外与可见光图像融合质量评价方法 |
-
2017
- 2017-12-13 CN CN201711322406.1A patent/CN108256519B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104599291A (zh) * | 2015-01-21 | 2015-05-06 | 内蒙古科技大学 | 基于结构相似度和显著性分析的红外运动目标检测方法 |
CN106295542A (zh) * | 2016-08-03 | 2017-01-04 | 江苏大学 | 一种夜视红外图像中的基于显著性的道路目标提取方法 |
CN106846331A (zh) * | 2016-12-22 | 2017-06-13 | 中国科学院文献情报中心 | 联合视觉显著性和图割优化的图像自动分割方法 |
CN107240096A (zh) * | 2017-06-01 | 2017-10-10 | 陕西学前师范学院 | 一种红外与可见光图像融合质量评价方法 |
Non-Patent Citations (1)
Title |
---|
《Saliency detection based on global and local short-term》;Qiang Fan 等;《Neurocomputing》;20151024;第81-89页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108256519A (zh) | 2018-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108256562B (zh) | 基于弱监督时空级联神经网络的显著目标检测方法及*** | |
CN110782477A (zh) | 基于序列图像的运动目标快速检测方法、计算机视觉*** | |
Xin et al. | A self-adaptive optical flow method for the moving object detection in the video sequences | |
Kim et al. | Background subtraction using illumination-invariant structural complexity | |
CN109993744B (zh) | 一种海上逆光环境下的红外目标检测方法 | |
CN115116132B (zh) | 一种物联网边缘服务环境下深度感知的人体行为分析方法 | |
CN112633294A (zh) | 基于感知哈希的显著性区域检测方法、设备及存储设备 | |
CN110135435B (zh) | 一种基于广度学习***的显著性检测方法及装置 | |
Alsanad et al. | Real-time fuel truck detection algorithm based on deep convolutional neural network | |
CN104715476A (zh) | 一种基于直方图幂函数拟合的显著目标检测方法 | |
Liu et al. | A shadow imaging bilinear model and three-branch residual network for shadow removal | |
Xu et al. | Extended non-local feature for visual saliency detection in low contrast images | |
CN108256519B (zh) | 一种基于全局和局部相互作用的红外图像显著检测方法 | |
CN108647605B (zh) | 一种结合全局颜色与局部结构特征的人眼凝视点提取方法 | |
Xie et al. | 3D surface segmentation from point clouds via quadric fits based on DBSCAN clustering | |
CN109410134A (zh) | 一种基于图像块分类的自适应去噪方法 | |
Hassan et al. | A hue preserving uniform illumination image enhancement via triangle similarity criterion in HSI color space | |
CN102129687B (zh) | 动态场景下基于局部背景剪除的自适应目标跟踪方法 | |
CN109117852B (zh) | 基于稀疏表示的无人机图像适配区自动提取方法及*** | |
CN114022520B (zh) | 一种基于卡尔曼滤波与孪生网络的机器人目标跟踪方法 | |
Wang et al. | Image haze removal using a hybrid of fuzzy inference system and weighted estimation | |
CN116109682A (zh) | 一种基于图像扩散特征的图像配准方法 | |
CN112329796B (zh) | 基于视觉显著性的红外成像卷云检测方法和装置 | |
CN115035397A (zh) | 一种基于水下移动目标识别方法、装置 | |
Lin et al. | Infrared small target detection based on YOLO v4 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |