CN107563447B - 一种遥感图像中目标到目标部位的分级识别方法 - Google Patents
一种遥感图像中目标到目标部位的分级识别方法 Download PDFInfo
- Publication number
- CN107563447B CN107563447B CN201710805959.6A CN201710805959A CN107563447B CN 107563447 B CN107563447 B CN 107563447B CN 201710805959 A CN201710805959 A CN 201710805959A CN 107563447 B CN107563447 B CN 107563447B
- Authority
- CN
- China
- Prior art keywords
- target
- slices
- tensor
- identified
- slice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
- Image Analysis (AREA)
Abstract
一种遥感图像中目标到目标部位的分级识别方法,本发明涉及遥感图像中目标到目标部位的分级识别方法。本发明的目的是为了解决现有遥感影像目标识别方法不能在不同层级上对目标或目标部位进行识别的问题。过程为:一、根据待识别的光学遥感图像的要求,确定待识别的光学遥感图像的级数;二、对待识别的光学遥感图像进行目标识别;三、得到待识别区域切片上含有标记为目标的切片;四、获得最终含有目标标记的切片;五、对待识别的光学遥感图像进行目标部位识别;六、得到待识别区域切片上含有标记为目标部位的切片;七、获得最终含有目标部位标记的切片。本发明用于遥感图像中目标分级识别领域。
Description
技术领域
本发明涉及遥感图像中目标到目标部位的分级识别方法。
背景技术
近二十年来,遥感影像数据的产品数量和质量随着计算机技术、无线电通信技术、传感器技术、航天航空技术等相关领域的快速发展和不断创新得到了很大的提升。遥感影像的空间分辨率更是有着极为显著的提升——大量的空间分辨率很高的遥感卫星已经被成功发射并运行。其中比较著名的包括美国的Quickbird、Geoeye、WorldView系列卫星等,这些商业卫星为用户提供了许多高分辨率的数据,WorldView-Ⅲ系列卫星已经达到了0.3m分辨率,我国的高分系列卫星,德国的TerraSAR-X卫星等的空间分辨率也已经突破米级进入亚米级。
高分辨率的遥感图像蕴含着丰富的地物信息,目标检测识别是遥感技术的重要应用之一,在军事侦察、城市规划、地质勘测等领域意义重大,主要目的是在遥感图像中获取所需的目标知识和信息。随着遥感图像分辨率的提升,如何在现有的遥感影像目标识别的研究基础上,进一步地识别目标的细节,在不同层级上实现对目标或目标部位识别,从而得到更多、更准确的目标相关的信息,以满足不同的应用需求,是目前亟待研究解决的问题。另一方面,遥感技术各种分辨率都在提升,但是,这样却引起了遥感图像整体的数据量在增加。这些大数据量的遥感影像为科研工作者、国民生产部门以及商业机构提供了许多帮助。但是,传统的人工信息处理效率低,成为了遥感数据处理技术进一步发展的瓶颈。
发明内容
本发明的目的是为了解决现有遥感影像目标识别方法不能在不同层级上对目标或目标部位进行识别的问题,而提出一种遥感图像中目标到目标部位的分级识别方法。
一种遥感图像中目标到目标部位的分级识别方法具体过程为:
步骤一、根据待识别的光学遥感图像的要求,确定待识别的光学遥感图像的级数,即待识别的光学遥感图像目标与目标部位;
步骤二、对待识别的光学遥感图像进行目标识别;具体过程为:
步骤二一、在待识别的光学遥感图像上选取训练图像集合,根据训练图像上待识别的光学遥感图像目标的尺寸,在训练图像上选取待识别目标与背景样本的切片,切片大小与待识别的光学遥感图像目标的外接矩形大小比值为1.1-2;
步骤二二、提取切片的SURF特征,并构建特征张量或特征向量;过程为:
提取切片的SURF特征,根据切片的SURF特征构建特征张量;
特征张量的第一、二阶表示目标与背景样本的切片的空间维度,即分别代表切片的长和宽,第三阶表示目标与背景样本的切片的光谱维度,第四阶表示提取的SURF特征维度,共35维,第1维表示不同波段下图像的光谱信息,第2、3维储存特征点的尺度与方向的特征值,后32维为提取得到的SURF特征,最终构建一个四阶特征张量;
将特征张量展开为特征向量;
步骤二三、利用步骤二二构建的特征张量训练支持张量机或利用步骤二二构建的特征向量训练支持向量机,得到训练好的支持张量机或支持向量机;
步骤三、将步骤二二构建好的特征张量输入到步骤二三得到的训练好的支持张量机或将步骤二二构建好的特征向量输入到步骤二三得到的训练好的支持向量机,对待识别的光学遥感图像进行目标识别,得到待识别区域切片上含有标记为目标的切片;
步骤四、提取待识别区域切片上含有标记为目标的切片,进行切片合并,获得最终含有目标标记的切片;
步骤五、 对待识别的光学遥感图像进行目标部位(第2级待识别目标)识别;具体过程为:
步骤五一、在步骤四得到的含有目标标记的切片上选取训练图像集合,根据训练图像上待识别目标部位的尺寸,在训练图像上选取待识别目标部位与背景样本的切片,切片大小与待识别的光学遥感图像目标部位的外接矩形大小比值为1.1-2;
步骤五二、利用步骤二二的方式提取切片的SURF特征,并构建特征张量或特征向量;
步骤五三、利用步骤五二构建的特征张量或特征向量训练支持张量机,得到训练好的支持张量机;
步骤六、利用步骤五三得到的训练好的支持张量机,对步骤四得到的含有目标标记的切片进行目标部位识别,得到待识别区域切片上含有标记为目标部位的切片;
步骤七、提取待识别区域切片上含有标记为目标部位的切片,进行切片合并,获得最终含有目标部位标记的切片。
本发明的有益效果为:
目标分级识别的思想在应用领域越来越具有重要的意义,先通过在场景中识别目标,再面向目标识别它的细节部位,以此来获取更细节的目标描述,可以获得更完善的功能性。遥感图像的分级识别是建立在传统的目标识别基础上,进一步对目标细节部位所体现出来的特征进行提取和识别。目标的细节部位蕴含着极其丰富的信息,如果能够正确地辨认出关键的部位信息,对于确认目标的具体型号等应用具有非常重大的意义。分级的目的是通过对图像中是否包含目标的筛选,选取值得进行进一步特征提取和目标分级识别的遥感影像,减少不必要的目标识别过程的复杂运算,提高图像处理的效率。另一方面,分级的结果也更加适用于识别目标的部位等精细的细节,提供更多可靠的目标信息,为进一步确认目标提供依据。
本发明面向遥感应用对于目标到目标细节信息获取的需求,避免传统遥感图像传统目标检测识别算法仅针对单一目标进行检测识别的问题,提出了目标分级识别方法,采用统一的框架实现从目标到目标细节的识别。首先进行目标的识别,应用先验的目标和背景数据,对样本提取空间特征并表达,然后对分类器/学***面,并以此来实现目标层级的识别;然后针对识别出的目标,进一步地识别所需要的目标细节。本发明的目标分级识别方法流程图如图1所示,图中对于每1 级而言,标记斜线的部分为训练过程,无标记的部分为实际识别过程。解决了现有遥感影像目标识别方法不能在不同层级上对目标或目标上结构进行识别的问题。
对舰船目标部位的研究主要针对阿利·伯克级驱逐舰的飞行甲板进行,阿利·伯克级驱逐舰的飞行甲板位于舰船的尾部,外部轮廓为梯形,中有圆形标识和斜线,如图8a、图8b、图8c、图8d、图8e、图8f、图8g、图8h、图8i、图8j、图8k、图8l、图8m、图8n;由于舰船目标的表面情况比飞机目标复杂很多,在不同的部位可能存在不同的干扰,因此,为了保证训练得到的分类器的准确性,在进行训练样本的构建时我们增加了负样本的数量,共选取了15组样本,训练样本的尺寸为60×60像素,如图9a、图9b、图 9c、图9d、图9e、图9f、图9g、图9h、图9i、图9j、图9k、图9l、图9m、图9n、图 9o所示。
待测试图像如图10所示,识别窗口与训练样本尺寸一致为50×300像素,窗口移动步长为50×50像素,共产生80个窗口切片。
识别过程中会出现标记的目标切片相互重叠的情况,计算相互重叠的切片的中心,计算各识别切片中心到切片重叠中心的距离,保留距离重叠中心最近的切片,并舍弃其他切片,得到合并后的结果,合并后原本对同一目标多次识别的虚警得到了有效地去除。识别过程中会出现标记的目标切片相互重叠的情况,需要舍弃重复识别的目标。对重复识别的目标结果合并之前共得到22个结果,虚警率为20%,识别结果合并后虚警为0.48%,最终的识别结果如图11所示。
利用训练好的针对目标细节的支持张量机进行舰船目标细节的检测,同样对图3的阿利·伯克级驱逐舰目标影像进行处理,同样地,检测窗口大小为60×60像素,移动步长为 15×20像素。部分检测结果如图12a、图12b、图12c、图12d、图12e、图12f、图12g、图12h、图12i、图12j、图12k、图12l、图12m、图12n、图12o所示。实验对于全部5 幅图像图13a、图13b、图13c、图13d、图13e中的5个目标,全部都被准确地识别得到,虚警率为0.48%。
本实验识别级数为两级,分别为舰船目标、舰船甲板。通过实验结果可以看出本发明具有较高检测率与较低的虚警率。同时从目标到目标细节的分级识别方法充分利用了目标与目标细节的上下文信息,避免了在非目标区域搜索目标细节的过程,有效提高了算法的执行效率,还避免了目标细节部位在非目标区域的虚警的产生。因此本发明具有可靠性高的特点,丰富了目标识别的功能性,具有从目标到目标细节的识别能力以及较高的实用价值。
附图说明
图1为本发明遥感图像中目标到目标部位的分级识别方法流程图;
图2为诺福克海军基地示意图;
图3为阿利伯克级驱逐舰示意图;
图4a为舰船检测训练样本1示意图;图4b为舰船检测训练样本2示意图;图4c为舰船检测训练样本3示意图;图4d为舰船检测训练样本4示意图;图4e为舰船检测训练样本5示意图;图4f为舰船检测训练样本6示意图;图4g为舰船检测训练样本7示意图;图4h为舰船检测训练样本8示意图;图4i为舰船检测训练样本9示意图;图4j为舰船检测训练样本10示意图;
图5a是对舰船检测训练样本1进行SURF特征提取的结果图;图5b是对舰船检测训练样本2进行SURF特征提取的结果图;图5c是对舰船检测训练样本3进行SURF特征提取的结果图;图5d是对舰船检测训练样本4进行SURF特征提取的结果图;图5e是对舰船检测训练样本5进行SURF特征提取的结果图;图5f是对舰船检测训练样本6进行 SURF特征提取的结果图;图5g是对舰船检测训练样本7进行SURF特征提取的结果图;图5h是对舰船检测训练样本8进行SURF特征提取的结果图;图5i是对舰船检测训练样本9进行SURF特征提取的结果图;图5j是对舰船检测训练样本10进行SURF特征提取的结果图;
图6是待检测图像示意图;
图7是舰船检测结果示意图;
图8a是舰船目标正样本检测结果1示意图;图8b是舰船目标正样本检测结果2示意图;图8c是舰船目标正样本检测结果3示意图;图8d是舰船目标正样本检测结果4示意图;图8e是舰船目标负样本检测结果5示意图;图8f是舰船目标负样本检测结果6示意图;图8g是舰船目标负样本检测结果7示意图;图8h是舰船目标负样本检测结果8示意图;图8i是舰船目标负样本检测结果9示意图;图8j是舰船目标负样本检测结果10示意图;图8k是舰船目标负样本检测结果11示意图;图8l是舰船目标负样本检测结果12 示意图;图8m是舰船目标负样本检测结果13示意图;图8n是舰船目标负样本检测结果 14示意图;
图9a是舰船飞行甲板检测训练样本1示意图;图9b是舰船飞行甲板检测训练样本2示意图;图9c是舰船飞行甲板检测训练样本3示意图;图9d是舰船飞行甲板检测训练样本4示意图;图9e是舰船飞行甲板检测训练样本5示意图;图9f是舰船飞行甲板检测训练样本6示意图;图9g是舰船飞行甲板检测训练样本7示意图;图9h是舰船飞行甲板检测训练样本8示意图;图9i是舰船飞行甲板检测训练样本9示意图;图9j是舰船飞行甲板检测训练样本10示意图;图9k是舰船飞行甲板检测训练样本11示意图;图9l是舰船飞行甲板检测训练样本12示意图;图9m是舰船飞行甲板检测训练样本13示意图;图 9n是舰船飞行甲板检测训练样本14示意图;图9o是舰船飞行甲板检测训练样本15示意图;
图10是待检测舰船目标示意图;
图11是舰船飞行甲板检测结果示意图;
图12a是舰船细节部位目标SURF特征提取结果1示意图;图12b是舰船细节部位目标SURF特征提取结果2示意图;图12c是舰船细节部位目标SURF特征提取结果3示意图;图12d是舰船细节部位目标SURF特征提取结果4示意图;图12e是舰船细节部位目标SURF特征提取结果5示意图;图12f是舰船细节部位目标SURF特征提取结果6示意图;图12g是舰船细节部位目标SURF特征提取结果7示意图;图12h是舰船细节部位目标SURF特征提取结果8示意图;图12i是舰船细节部位目标SURF特征提取结果9示意图;图12j是舰船细节部位目标SURF特征提取结果10示意图;图12k是舰船细节部位目标SURF特征提取结果11示意图;图12l是舰船细节部位目标SURF特征提取结果12 示意图;图12m是舰船细节部位目标SURF特征提取结果13示意图;图12n是舰船细节部位目标SURF特征提取结果14示意图;图12o是舰船细节部位目标SURF特征提取结果15示意图;
图13a是舰船飞行甲板检测结果1示意图;图13b是舰船飞行甲板检测结果2示意图;图13c是舰船飞行甲板检测结果3示意图;图13d是舰船飞行甲板检测结果4示意图;图13e是舰船飞行甲板检测结果5示意图。
具体实施方式
具体实施方式一:本实施方式的一种遥感图像中目标到目标部位的分级识别方法具体过程为:
步骤一、根据待识别的光学遥感图像的要求(根据识别任务是飞机还是飞机上的发动机),确定待识别的光学遥感图像的级数(如果是飞机还和飞机上的发动机,待分级识别的级数就是2级),即待识别的光学遥感图像目标与目标部位(飞机就是待识别的光学遥感图像目标,飞机上的发动机就是待识别的光学遥感图像目标部位);
步骤二、对待识别的光学遥感图像进行目标(第1级待识别目标)识别;具体过程为:
步骤二一、在待识别的光学遥感图像上选取训练图像集合,根据训练图像上待识别的光学遥感图像目标的尺寸,在训练图像上选取待识别目标与背景样本的切片,切片大小与待识别的光学遥感图像目标的外接矩形大小比值为1.1-2;
步骤二二、提取切片的SURF特征,并构建特征张量或特征向量;过程为:
特征表达不局限于张量结构,还可以构建其他结构的特征,如向量结构的特征。
提取切片的SURF特征,根据切片的SURF特征构建特征张量;
特征张量的第一、二阶表示目标与背景样本的切片的空间维度,即分别代表切片的长和宽,第三阶表示目标与背景样本的切片的光谱维度,第四阶表示提取的SURF特征维度,共35维,第1维表示不同波段下图像的光谱信息,第2、3维储存特征点的尺度与方向的特征值,后32维为提取得到的SURF特征,最终构建一个四阶特征张量;
其中SURF算法具体步骤如下;
提取切片的SURF特征算法如下:
步骤1:获取目标与背景样本的切片的图像积分:
SURF特征提取时,通过近似高斯二阶微分模板的卷积过程变成对图像积分的一般加法和减法计算,并构建多尺度空间。
图像积分的取值是待处理图像的最左上角像素到其余任意点像素的矩形域内的亮度值求和,若I(x,y)表示切片像素点(x,y)的亮度值,则切片的图像积分值表达为:
其中,I∑(x,y)是切片I在像素点(x,y)处的图像积分相应值,I(i,j)为切片I在像素点(x,y)的响应值。
步骤2:计算Hessian矩阵:
Hessian矩阵是SURF算法的核心。若切片中一点的坐标为(x,y),若有其中的一点X=(x,y),那么对于尺度为σ的Hessian矩阵H(X,σ)表示成
表达式如下:
步骤3:构建尺度空间:
SURF特征提取模型在构造图像金字塔的时候因为不仅利用了图像积分方法,还采用了盒式滤波器,尺度空间的构造是通过一种不停地扩增滤波器模板的间接方法实现的。尺度空间需要建立成不同的组,每个组分别表示了相同的某个输入的图像在不断逐渐扩增的滤波样板下得到的一组响应图像。在每组中,又存在若干固定的层。因为积分图像像素是离散的,那么,我们所应用的高斯二阶微分滤波器在微分方向上对正负特征点的反响长度l0确定了在两个层次之中的最小尺度变化量,其值是盒子滤波器模板尺寸的1/3。如对于 9×9的模板,它的l0=3。若要确保每侧都有像素,则需要接下来的层的反响长度最小应当在l0的基本之上提高2个像素,即l0=5,这样模板尺寸就是15×15;
步骤4:找出特征点:
对切片中全部的像素都要通过Hessian矩阵,完成之后,将其与3维周边域的26个点对比取值,若经处理后的该点若是这26个点之间的最大值或最小值,则保留下来,作为初步的特征点,识别时,需要使用与该尺度层图像尺度一致的滤波器模板;
步骤5:确定特征点方向:
SURF算法中,因为要使特征向量具备旋转不变的性质,则必须给所有的特征点分拨一个主体方向即描述因子的方向。因此,需要把特征点作为圆心,划分一个圆形的切片,其半径的大小取值为6S(S为特征点所在的尺度值),再面向切片求算其Haar小波响应,在确定主方向的大小时,则选定一个扇形的移动区域,其圆心仍旧为该特征点的位置,扇形的圆心角取值设作π/3,扇形区的旋转间隔约为0.2,再面向移动区域内的数据的Haar 小波响应值dx、dy积分,获得向量(mw,θw):
其中mw和θw分别表示特征点(x,y)的梯度模值和梯度方向,若其中的某个Haar响应积分值最大,则其相应的方向即表示我们要确定的主方向,它同样也是模值最大的向量相应的方向,表达式为θ=θωmax{mω};
步骤6:生成特征点特征值:
生成特征点描述子求算Haar小波响应的时候采用的是一个矩形的窗。矩形窗的中心仍然是特征点,求算特征描述子的时候就在这个窗内进行,主方向是特征点到矩形窗边缘的线段,沿主方向将邻域划分为4×4个子部分,之后,对所有的子部分都采用大小为2S的Haar样板求算其响应的大小,分别对dx和dy求其高斯加权运算,再统计∑dx、∑|dx|、∑dy、∑|dy|的响应强度形成特征向量,得到各个子部分的向量为 V子块=[∑dx,∑|dx|,∑dy,∑|dy|]。
为了更好的利用特征的空间结构,本发明将SURF特征构建特征张量,该张量的第一、二阶表示图像的空间维度,即分别代表切片的长和宽,第三阶表示光谱维度,第四阶表示提取的SURF特征维度,共35维,第1维表示不同波段下图像的光谱信息,后2维储存特征点的尺度与方向的特征值,后32维为提取得到的SURF特征,最终构建一个四阶特征张量。
若要构建特征向量,可以将特征张量展开为特征向量;
步骤二三、利用步骤二二构建的特征张量训练支持张量机或利用步骤二二构建的特征向量训练支持向量机,得到训练好的支持张量机或支持向量机;
步骤三、将步骤二二构建好的特征张量输入到步骤二三得到的训练好的支持张量机或将步骤二二构建好的特征向量输入到步骤二三得到的训练好的支持向量机,对待识别的光学遥感图像进行目标识别,得到待识别区域切片中含有标记为目标的切片;
步骤四、提取待识别区域切片上含有标记为目标的切片,进行切片合并,获得最终含有目标标记的切片;
步骤五、 对待识别的光学遥感图像进行目标部位(第2级待识别目标)识别;具体过程为:
步骤五一、在步骤四得到的最终含有目标标记的切片上选取训练图像集合,根据训练图像上待识别目标部位的尺寸,在训练图像上选取待识别目标部位与背景样本的切片,切片大小与待识别的光学遥感图像目标部位的外接矩形大小比值为1.1-2;
步骤五二、利用步骤二二的方式提取切片的SURF特征,并构建特征张量或特征向量;
步骤五三、利用步骤五二构建的特征张量或特征向量训练支持张量机,得到训练好的支持张量机;具体过程按照步骤二三的方式。
步骤六、利用步骤五三得到的训练好的支持张量机,对步骤四得到的含有目标标记的切片进行目标部位识别,得到待识别区域切片上含有标记为目标部位的切片;
步骤七、提取待识别区域切片上含有标记为目标部位的切片,进行切片合并,获得最终含有目标部位标记的切片。
具体实施方式二:本实施方式与具体实施方式一不同的是:所述步骤二三中利用步骤二二构建的特征张量训练支持张量机或利用步骤二二构建的特征向量训练支持向量机,得到训练好的支持张量机或支持向量机;具体过程为:
式中sgn代表符号函数,wk为第k阶特征张量,k为特征张量阶数,取值范围为1~l,l取值为特征张量总阶数,取值为5,b为偏置量,X代表特征张量;×k代表张量运算的n-模积;w为wk的集合;
其中分类决策超平面中的第k阶特征张量wk和偏置量b通过优化目标函数得到,得到训练好的支持张量机w和b,w为wk的集合;
待优化的目标函数为:
其中,N为特征张量总数,取值为切片个数,为正整数;l为特征张量总阶数,取值为5;为张量运算中的外积,i的取值范围为1~N,c为惩罚因子,ξ为松弛变量,ξi为不同特征张量的松弛变量,yi取值为{1,-1}(1或-1);s.t.表示使服从,Xi为第i个特征张量;
二)、利用步骤二构建的特征向量训练支持向量机w'和b',求出分类决策超平面 y(x')=sgn(w'Tx'+b'),
式中sgn代表符号函数,w'为投影向量,b'为偏置量,x'代表特征向量;
其中分类决策超平面中的投影向量w',偏置量b'通过优化目标函数得到,得到训练好的支持向量机w'和b′;
待优化的目标函数为:
s.t.y'j(w'Tx'j+b')+ξ'j≥1j=1,2......J
其中,J为特征向量总数,取值为切片个数,为正整数;x'j为第j个特征向量,j的取值为1~J,C'为惩罚因子,ξ'为松弛变量,ξj′为不同特征向量的松弛变量,y'j取值为{1,-1}(1或-1);s.t.表示使服从。
其它步骤及参数与具体实施方式一相同。
具体实施方式三:本实施方式与具体实施方式一或二不同的是:所述一)中待优化的目标函数的优化过程为:
步骤1):首先进行待优化目标函数的参数的初始化Alpha[i]=0,i=1,2,…,N,b0=0,
步骤2):iter=1,ηiter=1/(iter+1);
其中iter为迭代次数,ηiter为学习率;
步骤3):从步骤二构建的特征张量中随机选择一个特征张量,设其下标为t,t代表第t个特征张量,t的取值为1~N,得到Xt,Xt为第t个特征张量;
步骤4):计算judge=yt(<witer-1,Xt>+biter-1);
judge为判断的类别,yt取值为{1,-1}(1或-1),witer-1为iter-1次迭代的投影向量, biter-1为iter-1次迭代的偏置量;
步骤5):如果judge≥1,则biter=biter-1(等号右边赋值给等号左边), Alpha[i]=(1-ηiter)Alpha[i],i∈I(等号右边赋值给等号左边);
如果judge<1,则biter=biter-1+cηiteryt(等号右边赋值给等号左边),Alpha的更新分为如下两种情况;
如果即t不在支持向量集合中,则支持张量内的所有Alpha[i]都要更新Alpha[i]=(1-ηiter)Alpha[i],i∈I(等号右边赋值给等号左边),i≠t,同时更新 Alpha[t]=cηiter,I=I∪{t};
其中c为惩罚因子;
如果t∈I,即t在支持向量集合中,则支持张量内的所有Alpha[i]都要更新 Alpha[i]=(1-ηiter)Alpha[i],i∈I,i≠t(等号右边赋值给等号左边),同时更新 Alpha[t]=(1-ηiter)Alpha[t]+cηiter(等号右边赋值给等号左边),I=I(I不变);
步骤6):置iter=iter+1,如果iter≤T,T代表最大迭代次数,则转步骤2;否则得到
根据SURF特征提取得到的特征值构建每个样本的特征张量,形成输入样本,包含舰船目标的输入样本对应的输出样本为+1,不包含的则为-1,用于支持张量机模型的训练。训练迭代次数为2000次,惩罚因子c=1。最终得到的训练分类平面参数中,b=-2.6739,权重参数为一个四阶张量,规模与训练输入样本一致。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四:本实施方式与具体实施方式一至三之一不同的是:所述二)中待优化的目标函数的优化过程为:
利用拉格朗日(Lagrange)常数构造拉格朗日(Lagrange)函数:
其中α'j,β'j为拉格朗日乘子,T为转置,对w',b',ξ'j分别求偏导数得
α'j1、α'j2为拉格朗日乘子,y'j1,y'j2为{1,-1},x'j1,x'j2为特征向量;
从而计算得到偏置量b':
其中,SV代表支持向量,NSV表示标准支持向量,即ξ'j=0时所对应的标准训练样例数据点;通常的时候,我们将上式计算的所有b'值求平均,使其更能够说明问题,即
其中,NNSV为标准支持向量的总数。这样一来,我们就获得了分类器方程的计算式,可以以此进行分类。即得到训练好的支持张量机w'和b′。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五:本实施方式与具体实施方式一至四之一不同的是:所述步骤三中将步骤二二构建好的特征张量输入到步骤二三得到的训练好的支持张量机或将步骤二二构建好的特征向量输入到步骤二三得到的训练好的支持向量机,对待识别的光学遥感图像进行目标识别,得到待识别区域切片上含有标记为目标的切片;具体过程为:
步骤三一、针对待识别的光学遥感图像,以待识别的光学遥感图像四个顶点中的任意一个为起点,划取和步骤二一得到的切片相同大小的切片,作为待识别区域切片;
步骤三二、提取待识别区域切片的SURF特征,并构建特征张量或特征向量;
步骤三三、将构建的特征张量输入到步骤二三训练好的支持张量机,将构建的特征向量输入到步骤三的支持张量机,判断步骤三一中待识别区域切片所属类别,并记录待识别区域切片位置;
步骤三四、选取步长s,以此步长s在待识别区域切片逐行滑动切片,获取新的待识别区域,重复步骤三二、步骤三三,直至产生的待识别区域切片滑过步骤三一选取顶点的对角线顶点,对每个待识别区域切片的所属类别识别结果进行统计,标记所有含有目标的切片,得到待识别区域切片上含有标记为目标的切片。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六:本实施方式与具体实施方式一至五之一不同的是:所述步骤四中提取待识别区域切片上含有标记为目标的切片,进行切片合并,获得最终含有目标标记的切片;过程为:
步骤四一、查找步骤三四得到的待识别区域切片上含有标记为目标的切片中相互重叠的切片;
步骤四二、计算相互重叠的切片的中心,计算各待识别区域切片上含有目标标记的切片中心到切片重叠中心的距离,保留距离重叠中心最近的切片,并舍弃其他切片,获得最终含有目标标记的切片。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七:本实施方式与具体实施方式一至六之一不同的是:所述步骤六中利用步骤五三得到的训练好的支持张量机,对步骤四得到的含有目标标记的切片进行目标部位识别,得到待识别区域切片上含有标记为目标部位的切片;
步骤六一、以步骤四得到的含有目标标记的切片四个顶点中的任意一个为起点,划取和步骤五一得到的切片相同大小的切片,作为待识别区域切片;
步骤六二、提取待识别区域切片的SURF特征,并构建特征张量或特征向量;
步骤六三、将构建的特征张量输入到步骤五三的支持张量机,或者将构建的特征向量输入到步骤五三的支持张量机,判断步骤六一中待识别区域切片所属类别,并记录待识别区域切片位置;
步骤六四、选取步长s,以此步长s在待识别区域切片逐行滑动切片,获取新的待识别区域,重复步骤六二、步骤六三,直至产生的待识别区域切片滑过步骤六一选取顶点的对角线顶点,对每个待识别区域切片的目标部位所属类别识别结果进行统计,标记所有含有目标部位的切片,得到待识别区域切片上含有标记为目标部位的切片。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八:本实施方式与具体实施方式一至七之一不同的是:所述步骤七中提取待识别区域切片上含有标记为目标部位的切片,进行切片合并,获得最终含有目标部位标记的切片;过程为:
步骤七一、查找步骤六四得到的待识别区域切片上含有标记为目标部位的切片中相互重叠的切片;
步骤七二、计算相互重叠的切片的中心,计算各待识别区域切片上含有目标部位标记的切片中心到切片重叠中心的距离,保留距离重叠中心最近的切片,并舍弃其他切片,获得最终含有目标部位标记的切片。
其它步骤及参数与具体实施方式一至七之一相同。
采用以下实施例验证本发明的有益效果:
实施例一:
本实施例一中遥感图像中目标到目标部位的分级识别方法具体是按照以下步骤制备的:
本发明实验采用的数据是由QucikbirdⅡ卫星拍摄的美国诺福克海军基地的全色遥感影像,如图2所示,分辨率0.61米,在这里进行分级识别的目标为阿利·伯克级驱逐舰,见图3。目标细节为驱逐舰上的甲板。识别总级数定为2级。
首先选取舰船目标的训练样本,选取了10组舰船和背景样本,尺寸大约为图像中阿利·伯克级驱逐舰的大小,为50×300像素,正样本如图4a、图4c、图4e、图4g、图4i 包括了图像中的一些驱逐舰、巡洋舰等舰船目标,负样本如图4b、图4d、图4f、图4h、图4j为海面、码头等区域。由于目标尺寸较大,导致切片尺寸较大,所以需要选择更高效的特征。SURF特征提取是针对大尺寸目标且实时性要求较高的情形操作的,是SIFT 的一种比较快速的改进形式,采用近似的高斯核,尽可能地提高效率。如图5a、图5b、图5c、图5d、图5e、图5f、图5g、图5h、图5i、图5j;
待测试图像如图6所示,识别窗口与训练样本尺寸一致为50×300像素,窗口移动步长为50×50像素,共产生80个窗口切片。
对重复识别的目标结果合并之前共得到22个结果,虚警率为20%,识别结果合并后虚警为0.48%,最终的识别结果如图7所示。
对舰船目标部位的研究主要针对阿利·伯克级驱逐舰的飞行甲板进行,阿利·伯克级驱逐舰的飞行甲板位于舰船的尾部,外部轮廓为梯形,中有圆形标识和斜线,如图8a、图8b、图8c、图8d、图8e、图8f、图8g、图8h、图8i、图8j、图8k、图8l、图8m、图8n;由于舰船目标的表面情况比飞机目标复杂很多,在不同的部位可能存在不同的干扰,因此,为了保证训练得到的分类器的准确性,在进行训练样本的构建时我们增加了负样本的数量,共选取了15组样本,训练样本的尺寸为60×60像素,如图9a、图9b、图 9c、图9d、图9e、图9f、图9g、图9h、图9i、图9j、图9k、图9l、图9m、图9n、图 9o所示。
待测试图像如图10所示,识别窗口与训练样本尺寸一致为50×300像素,窗口移动步长为50×50像素,共产生80个窗口切片。
识别过程中会出现标记的目标切片相互重叠的情况,计算相互重叠的切片的中心,计算各识别切片中心到切片重叠中心的距离,保留距离重叠中心最近的切片,并舍弃其他切片,得到合并后的结果,合并后原本对同一目标多次识别的虚警得到了有效地去除。识别过程中会出现标记的目标切片相互重叠的情况,需要舍弃重复识别的目标。对重复识别的目标结果合并之前共得到22个结果,虚警率为20%,识别结果合并后虚警为0.48%,最终的识别结果如图11所示。
利用训练好的针对目标细节的支持张量机进行舰船目标细节的检测,同样对图3的阿利·伯克级驱逐舰目标影像进行处理,同样地,检测窗口大小为60×60像素,移动步长为 15×20像素。部分检测结果如图12a、图12b、图12c、图12d、图12e、图12f、图12g、图12h、图12i、图12j、图12k、图12l、图12m、图12n、图12o所示。实验对于全部5 幅图像图13a、图13b、图13c、图13d、图13e中的5个目标,全部都被准确地识别得到,虚警率为0.48%。
本实验识别级数为两级,分别为舰船目标、舰船甲板。通过实验结果可以看出本发明具有较高检测率与较低的虚警率。同时从目标到目标细节的分级识别方法充分利用了目标与目标细节的上下文信息,避免了在非目标区域搜索目标细节的过程,有效提高了算法的执行效率,还避免了目标细节部位在非目标区域的虚警的产生。因此本发明具有可靠性高的特点,丰富了目标识别的功能性,具有从目标到目标细节的识别能力以及较高的实用价值。
本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,本领域技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (8)
1.一种遥感图像中目标到目标部位的分级识别方法,其特征在于:所述方法具体过程为:
步骤一、根据待识别的光学遥感图像的要求,确定待识别的光学遥感图像的级数,即待识别的光学遥感图像目标与目标部位;
步骤二、对待识别的光学遥感图像进行目标识别;具体过程为:
步骤二一、在待识别的光学遥感图像上选取训练图像集合,根据训练图像上待识别的光学遥感图像目标的尺寸,在训练图像上选取待识别目标与背景样本的切片,切片大小与待识别的光学遥感图像目标的外接矩形大小比值为[1.1,2];
步骤二二、提取切片的SURF特征,并构建特征张量或特征向量;过程为:
提取切片的SURF特征,根据切片的SURF特征构建特征张量;
特征张量的第一、二阶表示目标与背景样本的切片的空间维度,即分别代表切片的长和宽,第三阶表示目标与背景样本的切片的光谱维度,第四阶表示提取的SURF特征维度,共35维,第1维表示不同波段下图像的光谱信息,第2、3维储存特征点的尺度与方向的特征值,后32维为提取得到的SURF特征,最终构建一个四阶特征张量;
将特征张量展开为特征向量;
步骤二三、利用步骤二二构建的特征张量训练支持张量机或利用步骤二二构建的特征向量训练支持向量机,得到训练好的支持张量机或支持向量机;
步骤三、将步骤二二构建好的特征张量输入到步骤二三得到的训练好的支持张量机或将步骤二二构建好的特征向量输入到步骤二三得到的训练好的支持向量机,对待识别的光学遥感图像进行目标识别,得到待识别区域切片中含有标记为目标的切片;
步骤四、提取待识别区域切片上含有标记为目标的切片,进行切片合并,获得最终含有目标标记的切片;
步骤五、 对待识别的光学遥感图像进行目标部位识别;
步骤五一、在步骤四得到的最终含有目标标记的切片上选取训练图像集合,根据训练图像上待识别目标部位的尺寸,在训练图像上选取待识别目标部位与背景样本的切片,切片大小与待识别的光学遥感图像目标部位的外接矩形大小比值为1.1-2;
步骤五二、利用步骤二二的方式提取切片的SURF特征,并构建特征张量或特征向量;
步骤五三、利用步骤五二构建的特征张量训练支持张量机,利用步骤五二构建的特征向量训练支持向量机,得到训练好的支持张量机或支持向量机;
步骤六、利用步骤五三得到的训练好的支持张量机对步骤四得到的含有目标标记的切片进行目标部位识别,得到待识别区域切片上含有标记为目标部位的切片;
步骤七、提取待识别区域切片上含有标记为目标部位的切片,进行切片合并,获得最终含有目标部位标记的切片。
2.根据权利要求1所述一种遥感图像中目标到目标部位的分级识别方法,其特征在于:所述步骤二三中利用步骤二二构建的特征张量训练支持张量机或利用步骤二二构建的特征向量训练支持向量机,得到训练好的支持张量机或支持向量机;具体过程为:
式中sgn代表符号函数,wk为第k阶特征张量,k为特征张量阶数,取值范围为1~l,l取值为特征张量总阶数,取值为5,b为偏置量,X代表特征张量;×k代表张量运算的n-模积;
其中分类决策超平面中的第k阶特征张量wk和偏置量b通过优化目标函数得到,即得到训练好的支持张量机;
待优化的目标函数为:
其中,N为特征张量总数,取值为切片个数,为正整数;l为特征张量总阶数,取值为5;为张量运算中的外积,i的取值范围为1~N,c为惩罚因子,ξ为松弛变量,ξi为不同特征张量的松弛变量,yi取值为{1,-1};s.t.表示使服从,Xi为第i个特征张量;
二)、利用步骤二二构建的特征向量训练支持向量机,求出分类决策超平面y(x')=sgn(w'Tx'+b')
式中sgn代表符号函数,w'为投影向量,b'为偏置量,x'代表特征向量;
其中分类决策超平面中的投影向量w',偏置量b'通过优化目标函数得到,得到训练好的支持向量机;
待优化的目标函数为:
s.t.y'j(w'Tx'j+b')+ξ'j≥1j=1,2......J
其中,J为特征向量总数,取值为切片个数,为正整数;x'j为第j个特征向量,j的取值为1~J,C'为惩罚因子,ξ'为松弛变量,ξj′为不同特征向量的松弛变量,y'j取值为{1,-1};s.t.表示使服从。
3.根据权利要求2所述一种遥感图像中目标到目标部位的分级识别方法,其特征在于:所述一)中待优化的目标函数的优化过程为:
步骤1):首先进行待优化目标函数的参数的初始化Alpha[i]=0,i=1,2,…,N,b0=0,
步骤2):iter=1,ηiter=1/(iter+1);
其中iter为迭代次数,ηiter为学习率;
步骤3):从步骤二构建的特征张量中随机选择一个特征张量,设其下标为t,t代表第t个特征张量,t的取值为1~N,得到Xt,Xt为第t个特征张量;
步骤4):计算judge=yt(〈witer-1,Xt〉+biter-1);
judge为判断的类别,yt取值为{1,-1},witer-1为iter-1次迭代的投影向量,biter-1为iter-1次迭代的偏置量;
步骤5):如果judge≥1,则biter=biter-1,Alpha[i]=(1-ηiter)Alpha[i],i∈I;
如果judge<1,则biter=biter-1+cηiteryt,Alpha的更新分为如下两种情况:
其中c为惩罚因子;
如果t∈I,即t在支持向量集合中,则支持张量内的所有Alpha[i]都要更新Alpha[i]=(1-ηiter)Alpha[i],i∈I,i≠t,同时更新Alpha[t]=(1-ηiter)Alpha[t]+cηiter,I=I;
5.根据权利要求4所述一种遥感图像中目标到目标部位的分级识别方法,其特征在于:所述步骤三中将步骤二二构建好的特征张量输入到步骤二三得到的训练好的支持张量机或将步骤二二构建好的特征向量输入到步骤二三得到的训练好的支持向量机,对待识别的光学遥感图像进行目标识别,得到待识别区域切片上含有标记为目标的切片;具体过程为:
步骤三一、针对待识别的光学遥感图像,以待识别的光学遥感图像四个顶点中的任意一个为起点,划取和步骤二一得到的切片相同大小的切片,作为待识别区域切片;
步骤三二、提取待识别区域切片的SURF特征,并构建特征张量或特征向量;
步骤三三、将构建的特征张量输入到步骤二三训练好的支持张量机,将构建的特征向量输入到步骤三的支持向量机,判断步骤三一中待识别区域切片所属类别,并记录待识别区域切片位置;
步骤三四、选取步长s,以此步长s在待识别区域切片逐行滑动切片,获取新的待识别区域,重复步骤三二、步骤三三,直至产生的待识别区域切片滑过步骤三一选取顶点的对角线顶点,对每个待识别区域切片的所属类别识别结果进行统计,标记所有含有目标的切片,得到待识别区域切片上含有标记为目标的切片。
6.根据权利要求5所述一种遥感图像中目标到目标部位的分级识别方法,其特征在于:所述步骤四中提取待识别区域切片上含有标记为目标的切片,进行切片合并,获得最终含有目标标记的切片;具体过程为:
步骤四一、查找步骤三四得到的待识别区域切片上含有标记为目标的切片中相互重叠的切片;
步骤四二、计算相互重叠的切片的中心,计算各待识别区域切片上含有目标标记的切片中心到切片重叠中心的距离,保留距离重叠中心最近的切片,并舍弃其他切片,获得最终含有目标标记的切片。
7.根据权利要求6所述一种遥感图像中目标到目标部位的分级识别方法,其特征在于:所述步骤六中利用步骤五三得到的训练好的支持张量机和支持向量机对步骤四得到的含有目标标记的切片进行目标部位识别,得到待识别区域切片上含有标记为目标部位的切片;
步骤六一、以步骤四得到的含有目标标记的切片四个顶点中的任意一个为起点,划取和步骤五一得到的切片相同大小的切片,作为待识别区域切片;
步骤六二、提取待识别区域切片的SURF特征,并构建特征张量或特征向量;
步骤六三、将构建的特征张量输入到步骤五三的支持张量机,或者将构建的特征向量输入到步骤五三的支持向量机,判断步骤六一中待识别区域切片所属类别,并记录待识别区域切片位置;
步骤六四、选取步长s,以此步长s在待识别区域切片逐行滑动切片,获取新的待识别区域,重复步骤六二、步骤六三,直至产生的待识别区域切片滑过步骤六一选取顶点的对角线顶点,对每个待识别区域切片的目标部位所属类别识别结果进行统计,标记所有含有目标部位的切片,得到待识别区域切片上含有标记为目标部位的切片。
8.根据权利要求7所述一种遥感图像中目标到目标部位的分级识别方法,其特征在于:所述步骤七中提取待识别区域切片上含有标记为目标部位的切片,进行切片合并,获得最终含有目标部位标记的切片;具体过程为:
步骤七一、查找步骤六四得到的待识别区域切片上含有标记为目标部位的切片中相互重叠的切片;
步骤七二、计算相互重叠的切片的中心,计算各待识别区域切片上含有目标部位标记的切片中心到切片重叠中心的距离,保留距离重叠中心最近的切片,并舍弃其他切片,获得最终含有目标部位标记的切片。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710805959.6A CN107563447B (zh) | 2017-09-08 | 2017-09-08 | 一种遥感图像中目标到目标部位的分级识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710805959.6A CN107563447B (zh) | 2017-09-08 | 2017-09-08 | 一种遥感图像中目标到目标部位的分级识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107563447A CN107563447A (zh) | 2018-01-09 |
CN107563447B true CN107563447B (zh) | 2020-11-10 |
Family
ID=60979695
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710805959.6A Active CN107563447B (zh) | 2017-09-08 | 2017-09-08 | 一种遥感图像中目标到目标部位的分级识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107563447B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108256471B (zh) * | 2018-01-16 | 2020-08-14 | 北方工业大学 | 一种基于双层分类网的高分辨率合成孔径雷达船只识别方法 |
CN108806334A (zh) * | 2018-04-27 | 2018-11-13 | 中船重工鹏力(南京)大气海洋信息***有限公司 | 一种基于图像的智能船舶身份识别方法 |
CN110443207B (zh) * | 2019-08-07 | 2022-10-11 | 哈尔滨工业大学 | 一种基于分级特征张量的目标渐进式检测识别方法 |
CN111738236B (zh) * | 2020-08-14 | 2020-11-20 | 之江实验室 | 一种自适应层级的图像切分识别方法、装置及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140072209A1 (en) * | 2012-09-13 | 2014-03-13 | Los Alamos National Security, Llc | Image fusion using sparse overcomplete feature dictionaries |
CN103886329A (zh) * | 2014-03-21 | 2014-06-25 | 西安电子科技大学 | 基于张量分解降维的极化图像分类方法 |
CN104331706A (zh) * | 2014-10-29 | 2015-02-04 | 西安电子科技大学 | 基于rbm和svm的极化sar图像分类 |
CN106022280A (zh) * | 2016-05-26 | 2016-10-12 | 西安空间无线电技术研究所 | 一种基于分级不变性特征的典型舰船目标识别方法 |
-
2017
- 2017-09-08 CN CN201710805959.6A patent/CN107563447B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140072209A1 (en) * | 2012-09-13 | 2014-03-13 | Los Alamos National Security, Llc | Image fusion using sparse overcomplete feature dictionaries |
CN103886329A (zh) * | 2014-03-21 | 2014-06-25 | 西安电子科技大学 | 基于张量分解降维的极化图像分类方法 |
CN104331706A (zh) * | 2014-10-29 | 2015-02-04 | 西安电子科技大学 | 基于rbm和svm的极化sar图像分类 |
CN106022280A (zh) * | 2016-05-26 | 2016-10-12 | 西安空间无线电技术研究所 | 一种基于分级不变性特征的典型舰船目标识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107563447A (zh) | 2018-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Deng et al. | Multi-scale object detection in remote sensing imagery with convolutional neural networks | |
Li et al. | Adversarial examples for CNN-based SAR image classification: An experience study | |
CN105809198B (zh) | 基于深度置信网络的sar图像目标识别方法 | |
CN107563447B (zh) | 一种遥感图像中目标到目标部位的分级识别方法 | |
Wu et al. | A benchmark data set for aircraft type recognition from remote sensing images | |
CN103177458B (zh) | 一种基于频域分析的可见光遥感图像感兴趣区域检测方法 | |
CN105389550B (zh) | 一种基于稀疏指引与显著驱动的遥感目标检测方法 | |
Yu et al. | Rotation-and-scale-invariant airplane detection in high-resolution satellite images based on deep-Hough-forests | |
CN106485651B (zh) | 快速鲁棒性尺度不变的图像匹配方法 | |
CN108021890B (zh) | 一种基于plsa和bow的高分遥感影像港口检测方法 | |
CN104392228A (zh) | 基于条件随机场模型的无人机图像目标类检测方法 | |
CN110189304A (zh) | 基于人工智能的光学遥感图像目标在线快速检测方法 | |
CN108229551B (zh) | 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法 | |
CN108647695A (zh) | 基于协方差卷积神经网络的低对比度图像显著性检测方法 | |
CN101916379A (zh) | 一种基于对象积累视觉注意机制的目标搜索和识别方法 | |
CN112258523B (zh) | 一种中低分辨率遥感影像浒苔覆盖信息精细提取方法 | |
CN107609507B (zh) | 基于特征张量和支持张量机的遥感图像目标识别方法 | |
CN110569926B (zh) | 一种基于局部边缘特征增强的点云分类方法 | |
CN106991411A (zh) | 基于深度形状先验的遥感图像目标精细化提取方法 | |
CN105488541A (zh) | 增强现实***中基于机器学习的自然特征点识别方法 | |
CN108596952A (zh) | 基于候选区域筛选的快速深度学习遥感图像目标检测方法 | |
CN109034213B (zh) | 基于相关熵原则的高光谱图像分类方法和*** | |
CN111611960B (zh) | 一种基于多层感知神经网络大区域地表覆盖分类方法 | |
CN111738052B (zh) | 基于深度学习的多特征融合高光谱遥感地物分类方法 | |
CN107766810B (zh) | 一种云、影检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |