CN111160300B - 一种结合全局先验的深度学习高光谱图像显著性检测算法 - Google Patents
一种结合全局先验的深度学习高光谱图像显著性检测算法 Download PDFInfo
- Publication number
- CN111160300B CN111160300B CN201911419512.0A CN201911419512A CN111160300B CN 111160300 B CN111160300 B CN 111160300B CN 201911419512 A CN201911419512 A CN 201911419512A CN 111160300 B CN111160300 B CN 111160300B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- spectral
- hyperspectral image
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及高光谱图像显著性目标检测算法领域,公开了一种结合全局先验的深度学习高光谱图像显著性检测算法。首先根据高光谱图像获取相应的光谱梯度图,将光谱梯度图进行超像素分割,计算每个超像素的光谱角距离特征图,作为全局先验图。采用VGG16作为基本网络结构,将全局先验图和分割图像合并作为网络的输入,将VGG16最后一层全连接层输出的特征重新排序成二维图像,得到显著性结果图。通过对网络参数的训练得到最终的高光谱图像显著性目标检测模型。本发明可以充分挖掘图像中蕴含的高级语义信息,以提高模型的检测精度。
Description
技术领域
本发明涉及高光谱图像显著性目标检测算法领域,尤其涉及一种结合全局先验的深度学习高光谱图像显著性检测算法。
背景技术
显著性目标检测技术主要用来寻找图像中引起人类视觉认知***兴趣的图像区域,是计算机视觉中各种任务的基础,例如图像裁剪、图像分类、目标识别等。而高光谱图像能够以纳米量级的分辨率记录场景物体中的反射光谱,使其广泛应用于食品工业,遥感,医疗保健等领域。在可见光谱中获得的高光谱图像包含可被人类视觉***利用的信息,而这些信息不能通过普通图像很好地表达。因此利用高光谱图像解决显著性目标检测问题具有重要意义。
目前,显著性目标检测方法大多数面向自然图像,在高光谱图像上应用较少。现有的方法多采用自底向上模型,以像元为基本单位,提取图像的强度,纹理,方向等低级视觉特征,计算中心-周围差异,得到像素显著性值。如文献“Jie Liang,Jun Zhou,Xiao Bai,and Yuntao Qian,"Salient object detection in hyperspectral imagery,"inImageProcessing(ICIP),2013 20th IEEE InternationalConference on,Sept 2013,pp.2393-2397.”采用传统的Itti模型,其中的强度显著图和方向显著图计算方法不变,将颜色特征用光谱特征取代,利用光谱向量的欧氏距离和角距离计算得到像元与其邻域的光谱差异。但自底向上模型仅利用了图像的底层特征,缺乏图像中蕴含的丰富语义信息,在低对比度和背景复杂的图像中检测精度不高。
近年来,伴随着人工智能技术的兴起和计算机硬件的不断升级,使得训练一个深层次的网络模型变得十分简便,深度卷积神经网络已成功应用到图像语义分割和图像识别等任务上,并取得了巨大的成功。深度神经网络从低层到高层,可以逐级学习到不同的语义特征,具备强大的学习、泛化能力,将其应用于显著性目标检测可以大大提高检测的准确率。由于高光谱图像数据的获取较为困难,目前卷积神经网络基本用于自然图像,未在高光谱图像上进行推广,将深度学习和高光谱图像显著性目标检测结合是一个重大挑战。
发明内容
本发明所要解决的技术问题是:针对上述存在的问题,提供了一种结合全局先验的深度学习高光谱图像显著性检测算法,用于解决传统高光谱图像显著性目标检测方法在低对比度和复杂场景下检测精度不高的问题。
本发明采用的技术方案如下:一种结合全局先验的深度学习高光谱图像显著性检测算法,包括:
S1:对高光谱图像进行数据扩充,增加训练样本数量;
S2:计算高光谱图像的每个像元的光谱梯度,生成光谱梯度图像;
S3:采用简单线性迭代聚类方法对光谱梯度图像进行超像素分割,生成超像素分割图;
S4:计算每个超像素的光谱角距离,对每个超像素生成光谱角距离特征图;
S5:将每个超像素的光谱角距离特征图分别与超像素分割图像合并输入卷积神经网络进行处理,生成最终显著性结果图。
进一步的,所述S1中,采用镜像和旋转的方式对高光谱图像进行数据扩充。
进一步的,所述S2中,首先采用光谱梯度特征消除亮度不均匀对数据的影响,然后再对每个像元计算光谱梯度,生成光谱梯度图像。
进一步的,所述S3具体包括:
S31:设定超像素个数为K,在光谱梯度图像上地均匀初始化相同个数的聚类中心{Ck},k=1,2,...K,相邻聚类中心的间隔为s;
S32:计算聚类中心3×3邻域中所有像素点的梯度值,将聚类中心移到该邻域内梯度最小的地方;
S33:在每个聚类中心的边长为2s的邻域内,为每个像素点分配与该中心相同的类标签,然后按照距离度量迭代地更新像素的标签和聚类中心;
S34:若像素点与当前聚类中心的距离度量小于像素点与之前所属聚类中心的距离,则将该像素点标记为属于当前聚类中心Ck,否则保持不变;
S35:重复步骤S33和S34,直至两次迭代间各聚类中心的变化小于设定的阈值。
进一步的,所述S4中,光谱角距离计算公式为:
进一步的,所述S5中,采用VGG16卷积神经网络作为基本网络结构,将每个超像素的光谱角距离特征图分别和超像素分割图像合并后输入网络,去掉VGG16卷积神经网络中的softmax层,将VGG16卷积神经网络中全连接层输出的一维向量重新排序成二维图像,作为显著性结果图。
与现有技术相比,采用上述技术方案的有益效果为:本发明中利用深度神经网络与高光谱图像相结合,充分挖掘高光谱图像中蕴含的高级语义信息,以提高模型的检测精度。
附图说明
图1是本发明的总体流程图。
图2是本发明采用的VGG16卷积神经网络结构图。
具体实施方式
下面结合附图对本发明做进一步描述。
如图1所示,本发明提出了一种结合全局先验的深度学习高光谱图像显著性检测方法,包括以下内容:
1、图像预处理:由于用于显著性检测的高光谱图像数据缺乏,不足以支撑深度网络的训练,所以采用镜像,旋转等方法对高光谱图像进行数据扩充,增加训练样本数量。
2、生成光谱梯度图像:采用光谱梯度特征消除亮度不均匀对数据的影响,对每个像元计算光谱梯度,生成光谱梯度图像。像元的光谱梯度向量表示为 是像元i的光谱梯度向量的第j个分量,是原始光谱向量的第j个分量,Δλ是相邻波段的间隔。
3、对高光谱图像进行超像素分割:采用简单线性迭代聚类方法对光谱梯度图像进行超像素分割,以保持图像中目标的边缘信息,减少检测过程的计算量。
分割步骤如下:
(1)基于设定的超像素个数K,在光谱梯度图像上地均匀初始化相同个数的聚类中心{Ck},k=1,2,...K,相邻聚类中心的间隔为s。
(2)计算聚类中心3×3邻域中所有像素点的梯度值,将聚类中心移到该邻域内梯度最小的地方。
(3)在每个聚类中心的边长为2s的邻域内,为每个像素点分配与该中心相同的类标签,然后按照距离度量迭代地更新像素的标签和聚类中心。像素点j与聚类中心Ck的距离度量为其中dg(j,k)是像素点与聚类中心光谱梯度的欧氏距离,ds(j,k)像素点与聚类中心空间位置的欧氏距离,α是两个距离之间的权重系数。
(4)若像素点j与当前聚类中心的D(j,k)小于像素点j与之前所属聚类中心的距离,则将该像素点j标记为属于当前聚类中心Ck,否则保持不变。
(5)重复步骤(3)和(4),直至两次迭代间各聚类中心的变化小于设定的阈值。
4、为了充分利用光谱信息,并加快后续网络的检测进程,对每个超像素计算光谱角距离特征图,将光谱角距离特征图作为该超像素的全局先验图。两个超像素pi和pj之间的光谱角距离计算公式其中和分别是pi和pj中所有像素点的平均光谱梯度向量。在超像素pi的全局先验图中,超像素pi与其他超像素的光谱角距离的加权和,表示为pi的特征值f(pi),其中K是超像素个数,ni是pi中的像素数,是空间距离权重,d(pi,pj)是超像素pi和pj的空间距离。除超像素pi外,其余超像素的特征值用相应超像素中的像素平均值表示。
5、采用VGG16作为基本网络结构,VGG16结构图如图2所示,将每个超像素的全局先验图和分割图像合并,作为网络输入,去掉最后的softmax层,将全连接层输出的一维向量重新排序成二维图像,作为显著性结果图。对网络参数进行训练得到最终的高光谱图像显著性目标检测模型。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。如果本领域技术人员,在不脱离本发明的精神所做的非实质性改变或改进,都应该属于本发明权利要求保护的范围。
Claims (6)
1.一种结合全局先验的深度学习高光谱图像显著性检测算法,其特征在于,包括:
S1:对高光谱图像进行数据扩充,增加训练样本数量;
S2:计算高光谱图像的每个像元的光谱梯度,生成光谱梯度图像;
S3:采用简单线性迭代聚类方法对光谱梯度图像进行超像素分割,生成超像素分割图;
S4:计算每个超像素的光谱角距离,对每个超像素生成光谱角距离特征图;
S5:将每个超像素的光谱角距离特征图分别与超像素分割图像合并输入卷积神经网络进行处理,生成最终显著性结果图。
2.根据权利要求1所述的一种结合全局先验的深度学习高光谱图像显著性检测算法,其特征在于,所述S1中,采用镜像和旋转的方式对高光谱图像进行数据扩充。
3.根据权利要求1所述的一种结合全局先验的深度学习高光谱图像显著性检测算法,其特征在于,所述S2中,首先采用光谱梯度特征消除亮度不均匀对数据的影响,然后再对每个像元计算光谱梯度,生成光谱梯度图像。
4.根据权利要求1-3任一所述的一种结合全局先验的深度学习高光谱图像显著性检测算法,其特征在于,所述S3具体包括:
S31:设定超像素个数为K,在光谱梯度图像上均匀地 初始化相同个数的聚类中心{Ck},k=1,2,...K,相邻聚类中心的间隔为s;
S32:计算聚类中心3×3邻域中所有像素点的梯度值,将聚类中心移到该邻域内梯度最小的地方;
S33:在每个聚类中心的边长为2s的邻域内,为每个像素点分配与该中心相同的类标签,然后按照距离度量迭代地更新像素的标签和聚类中心;
S34:若像素点与当前聚类中心的距离度量小于像素点与之前所属聚类中心的距离,则将该像素点标记为属于当前聚类中心Ck,否则保持不变;
S35:重复步骤S33和S34,直至两次迭代间各聚类中心的变化小于设定的阈值。
6.根据权利要求1-3任一所述的一种结合全局先验的深度学习高光谱图像显著性检测算法,其特征在于,所述S5中,采用VGG16卷积神经网络作为基本网络结构,将每个超像素的光谱角距离特征图分别和超像素分割图像合并后输入网络,去掉VGG16卷积神经网络中的softmax层,将VGG16卷积神经网络中全连接层输出的一维向量重新排序成二维图像,作为显著性结果图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911419512.0A CN111160300B (zh) | 2019-12-31 | 2019-12-31 | 一种结合全局先验的深度学习高光谱图像显著性检测算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911419512.0A CN111160300B (zh) | 2019-12-31 | 2019-12-31 | 一种结合全局先验的深度学习高光谱图像显著性检测算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111160300A CN111160300A (zh) | 2020-05-15 |
CN111160300B true CN111160300B (zh) | 2022-06-28 |
Family
ID=70560427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911419512.0A Active CN111160300B (zh) | 2019-12-31 | 2019-12-31 | 一种结合全局先验的深度学习高光谱图像显著性检测算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111160300B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112801881B (zh) * | 2021-04-13 | 2021-06-22 | 湖南大学 | 一种高分辨率高光谱计算成像方法、***及介质 |
CN116784075B (zh) * | 2023-06-12 | 2024-06-28 | 淮阴工学院 | 一种基于ros的多光谱无人机智能定点施肥方法及施肥装置 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102903116A (zh) * | 2012-10-20 | 2013-01-30 | 复旦大学 | 一类基于图像块距离的高光谱图像流形降维方法 |
CN103729848A (zh) * | 2013-12-28 | 2014-04-16 | 北京工业大学 | 基于光谱显著性的高光谱遥感图像小目标检测方法 |
CN104463203A (zh) * | 2014-12-03 | 2015-03-25 | 复旦大学 | 基于地物类别隶属度评分的高光谱遥感图像半监督分类方法 |
CN106097252A (zh) * | 2016-06-23 | 2016-11-09 | 哈尔滨工业大学 | 基于图Graph模型的高光谱图像超像素分割方法 |
CN106570874A (zh) * | 2016-11-10 | 2017-04-19 | 宁波大学 | 一种结合图像局部约束与对象全局约束的图像标记方法 |
CN107274419A (zh) * | 2017-07-10 | 2017-10-20 | 北京工业大学 | 一种基于全局先验和局部上下文的深度学习显著性检测方法 |
CN107274416A (zh) * | 2017-06-13 | 2017-10-20 | 西北工业大学 | 基于光谱梯度与层次结构的高光谱图像显著性目标检测方法 |
CN107316309A (zh) * | 2017-06-29 | 2017-11-03 | 西北工业大学 | 基于矩阵分解的高光谱图像显著性目标检测方法 |
CN107609552A (zh) * | 2017-08-23 | 2018-01-19 | 西安电子科技大学 | 基于马尔可夫吸收模型的显著性区域检测方法 |
CN109191482A (zh) * | 2018-10-18 | 2019-01-11 | 北京理工大学 | 一种基于区域自适应光谱角阈值的图像合并分割方法 |
CN109446894A (zh) * | 2018-09-18 | 2019-03-08 | 西安电子科技大学 | 基于概率分割及高斯混合聚类的多光谱图像变化检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107301651A (zh) * | 2016-04-13 | 2017-10-27 | 索尼公司 | 对象跟踪装置和方法 |
-
2019
- 2019-12-31 CN CN201911419512.0A patent/CN111160300B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102903116A (zh) * | 2012-10-20 | 2013-01-30 | 复旦大学 | 一类基于图像块距离的高光谱图像流形降维方法 |
CN103729848A (zh) * | 2013-12-28 | 2014-04-16 | 北京工业大学 | 基于光谱显著性的高光谱遥感图像小目标检测方法 |
CN104463203A (zh) * | 2014-12-03 | 2015-03-25 | 复旦大学 | 基于地物类别隶属度评分的高光谱遥感图像半监督分类方法 |
CN106097252A (zh) * | 2016-06-23 | 2016-11-09 | 哈尔滨工业大学 | 基于图Graph模型的高光谱图像超像素分割方法 |
CN106570874A (zh) * | 2016-11-10 | 2017-04-19 | 宁波大学 | 一种结合图像局部约束与对象全局约束的图像标记方法 |
CN107274416A (zh) * | 2017-06-13 | 2017-10-20 | 西北工业大学 | 基于光谱梯度与层次结构的高光谱图像显著性目标检测方法 |
CN107316309A (zh) * | 2017-06-29 | 2017-11-03 | 西北工业大学 | 基于矩阵分解的高光谱图像显著性目标检测方法 |
CN107274419A (zh) * | 2017-07-10 | 2017-10-20 | 北京工业大学 | 一种基于全局先验和局部上下文的深度学习显著性检测方法 |
CN107609552A (zh) * | 2017-08-23 | 2018-01-19 | 西安电子科技大学 | 基于马尔可夫吸收模型的显著性区域检测方法 |
CN109446894A (zh) * | 2018-09-18 | 2019-03-08 | 西安电子科技大学 | 基于概率分割及高斯混合聚类的多光谱图像变化检测方法 |
CN109191482A (zh) * | 2018-10-18 | 2019-01-11 | 北京理工大学 | 一种基于区域自适应光谱角阈值的图像合并分割方法 |
Non-Patent Citations (4)
Title |
---|
"Region Merging Method for Remote Sensing Spectral Image Aided by Inter-Segment and Boundary Homogeneities";Yuhan Zhang等;《remote sensing》;20190614;第1-22页 * |
"Spatial Group Sparsity Regularized Nonnegative Matrix Factorization for Hyperspectral Unmixing";Xinyu Wang等;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20170728;第1-18页 * |
"基于特征度量的高光谱遥感影像波段选择方法研究";谭雨蕾;《中国优秀硕士学位论文全文数据库 基础科学辑》;20171015;第A011-65页 * |
优化加权核K-means聚类初始中心点的SLIC算法;杨艳等;《计算机科学与探索》;20170823(第03期);第494-501页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111160300A (zh) | 2020-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9042648B2 (en) | Salient object segmentation | |
Wei et al. | Tensor voting guided mesh denoising | |
Jain et al. | Deformable template models: A review | |
Miao et al. | A semi-automatic method for road centerline extraction from VHR images | |
Babenko et al. | Robust object tracking with online multiple instance learning | |
Mukhopadhyay et al. | Fusion of 2D grayscale images using multiscale morphology | |
CN110610505A (zh) | 一种融合深度和色彩信息的图像分割方法 | |
Kong et al. | Intrinsic depth: Improving depth transfer with intrinsic images | |
Liu et al. | Interactive geospatial object extraction in high resolution remote sensing images using shape-based global minimization active contour model | |
Meng et al. | Image fusion with saliency map and interest points | |
CN111160300B (zh) | 一种结合全局先验的深度学习高光谱图像显著性检测算法 | |
CN106407978B (zh) | 一种结合似物度的无约束视频中显著物体检测方法 | |
CN113033432A (zh) | 一种基于渐进监督的遥感影像居民区提取方法 | |
Li et al. | Unsupervised road extraction via a Gaussian mixture model with object-based features | |
CN112686952A (zh) | 一种图像光流计算***、方法及应用 | |
Arulananth et al. | Edge detection using fast pixel based matching and contours mapping algorithms | |
Babu et al. | Robust tracking with interest points: A sparse representation approach | |
Parmehr et al. | Automatic parameter selection for intensity-based registration of imagery to LiDAR data | |
Quast et al. | Shape adaptive mean shift object tracking using gaussian mixture models | |
CN116129280B (zh) | 一种遥感影像雪检测的方法 | |
Schulz et al. | Object-class segmentation using deep convolutional neural networks | |
Schmidt et al. | Real-time rotated convolutional descriptor for surgical environments | |
Ghosh et al. | Robust simultaneous registration and segmentation with sparse error reconstruction | |
Poornima et al. | A method to align images using image segmentation | |
De La Vega et al. | Object segmentation in hyperspectral images using active contours and graph cuts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |