CN107563411B - 基于深度学习的在线sar目标检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学***移对训练样本切片进行扩充，用扩充后的训练样本训练基于端到端实时检测模型YOLO；3.对待测SAR图像进行双参数恒虚警CFAR检测得到待检测切片；4.用训练好的模型对各个待检测切片进行检测，将检测结果合并到原图得到SAR图像检测结果；5.用在线更新的SAR图像和样本库中的核心集Coreset对模型不断更新，提升模型的检测性能。本发明提升了在复杂SAR场景下对目标的检测性能，可用于灾害检测、环境检测以及资源勘查。

Description

基于深度学习的在线SAR目标检测方法

技术领域

本发明属于雷达技术领域，特别涉及一种深度学习中端到端的实时检测模型(YOLO)的在线SAR目标检测方法，可用于灾害检测、环境检测以及资源勘查等。

背景技术

合成孔径雷达SAR是一种高分辨率成像雷达，可以在能见度极低的气象条件下得到类似光学照相的高分辨雷达图像。利用雷达与目标的相对运动把尺寸较小的真实天线孔径用数据处理的方法合成较大的等效天线孔径的雷达。合成孔径雷达的特点是分辨率高，能全天时，全天候实时工作，广泛应用于军事侦察和遥感领域。随着SAR技术不断成熟，成像分辨率不断提高，使得通过SAR图像的目标检测技术受到越来越广泛的关注。

基于深度学***移、比例缩放、倾斜或者其他形式的变形具有高度不变性。目前卷积神经网络在目标检测中的研究十分活跃，先后出现基于区域卷积神经网络检测(R-CNN)、基于区域卷积神经网络的快速检测(Fast RCNN)、基于区域卷积神经网络的实时检测(FasterRCNN)、和基于端到端的实时检测(YOLO)等方法。这些方法都是将传统的视觉领域方法和卷积神经网络方法结合起来，在目标检测中取得巨大突破。

目前，已经发展出许多针对SAR图像的目标检测算法。其中，恒虚警率CFAR检测算法以其简单、快速、实时性强的特点而被广泛应用于合成孔径雷达SAR图像目标检测中。根据不同类型的目标在SAR图像上具有不同的表征形式，也相应的具有不同的检测方法。但这些现有SAR图像检测方法仅利用了SAR图像局部区域的统计特性，仅能做到像素级别的检测，要求目标与背景有较高的对比度，在简单场景下检测性能较好，但在复杂场景下检测性能较差。

发明内容

本发明目的在于针对现有技术的不足，提出一种基于深度学习的在线SAR目标检测方法，以提高复杂SAR场景下的检测性能。

本发明的技术思路是：通过微小合成孔径雷达数据集训练端到端的实时检测模型YOLO，用训练好的模型实现对SAR目标的检测，其实现方案包括如下：

(1)获取SAR图像样本：

(1A)从微小合成孔径雷达MiniSAR数据集中随机选取100张SAR图像，

其中20张作为初始训练SAR图像，60张作为在线更新时的SAR图像，20张作为测试SAR图像；

(1B)从每张训练SAR图像中获取样本切片，并对样本切片中SAR目标的坐标信息和类别信息进行标注，将所有获取到的SAR目标样本切片组成训练样本集；

(2)扩充训练样本集：

对训练样本集中每个SAR目标切片中的待识别目标区域进行多次的随机平移，并用每次平移后的训练样本切片和原始训练样本切片组成扩充后的训练样本集，再将所有的训练样本集放在一起组成训练样本库；

(3)训练端到端实时检测模型YOLO：

(3A)设置一个由三层卷积层和两层全连接层构成的网络结构；并用扩充后的训练样本对由该网络结构构成的端到端实时检测模型YOLO进行训练，得到训练好的网络模型；

(4)SAR图像的测试：

(4A)对待测SAR图像进行双参数恒虚警检测，以双参数恒虚警检测结果中各个目标质心为中心，提取对应的检测切片；

(4B)用端到端实时检测模型YOLO对各个检测切片进行目标检测，得到各个切片的目标检测结果；

(4C)对各个切片的目标检测结果，按照其在原始SAR图像的相对位置进行合并，得到待测SAR图像的目标检测结果；

(5)在线学习：

(5A)对于在线更新的SAR图像，每次更新时获取其中的10～30张作为新的训练SAR图像，重复步骤(1B)和步骤(2)，得到扩充后的样本；

(5B)将步骤3训练好的模型作为初始模型，用该初始模型的参数初始化端到端实时检测模型YOLO；

(5C)采用核心集方法从训练样本库中挑选m个样本作为核心集Coreset，m的范围为500～1000；再用扩充后的样本与核心集Coreset重新训练端到端实时检测模型YOLO，得到更新后的端到端实时检测模型YOLO，重复步骤(4)用该更新后的端到端实时检测模型YOLO对SAR图像进行检测；

(5D)重复步骤(5A)～(5C)，直到在线更新的SAR图像全部更新完。

本发明与现有技术相比具有如下优点：

1.鲁棒性强

本发明由于采用多层卷积神经网络结构，可以挖掘SAR图像目标的高层特征，如轮廓、阴影，使得对SAR图像的平移和形变有较好的鲁棒性，而传统的CFAR检测完全不具备这些特点。

2.检测性能高

传统CFAR检测方法是像素级检测，只能对单个像素点进行检测；而本发明是图像级检测，不仅能得到目标区域的检测概率，还可以回归出目标的位置信息，从而提高了对SAR图像的检测性能。

3.检测速度快

传统的CFAR检测方法要经过检测、鉴别两个步骤，而本发明将检测和鉴别集成于一体，从而实现端对端的检测，提高了检测速度。

附图说明

图1是本发明的实现流程图；

图2是本发明中端到端检测实时检测模型YOLO的训练子流程图；

图3是本发明中对SAR图像的测试子流程图；

图4是本发明中的被检测SAR图像示意图；

图5是用本发明对SAR图像的检测性能变化曲线图；

图6是用传统双参数恒虚警CFAR对SAR图像检测结果图；

图7是用本发明对SAR图像的检测结果图。

具体实施方式

参照图1，本发明的检测方法包括训练、测试和在线学习三个阶段，具体步骤如下：

一.训练阶段

参照图2，本阶段的实施步骤如下：

步骤1，获取SAR图像训练样本和测试样本。

本实例所用数据是从大量微小合成孔径雷达MiniSAR数据集中随机选取100张SAR图像，其中20张作为初始训练SAR图像，60张作为在线更新时的SAR图像，20张作为测试SAR图像；

对于20张作为初始训练SAR图像，从每张训练SAR图像中获取样本切片，并对样本切片中SAR目标的坐标信息和类别信息进行标注，将所有样本切片组成训练样本集。

步骤2，对训练样本集的扩充。

(2a)对训练样本集中每一个SAR目标切片的背景采用围绕边界进行镜像反射填充，即在matlab语言中用以下命令实现：

New_image＝padarray(image,padsize,‘symmetric’)；

其中New_image表示填充后的SAR图像，image表示原始图像，padsize表示填充的行数与列数；

(2b)将填充后的SAR图像中任一像素点坐标(x,y)经x轴平移t_x个单位，经y轴平移t_y个单位得到平移后坐标(x',y')，其中x'＝x+t_x，y'＝y+t_y，t_x和t_y分别是随机取区间[-width/2,width/2]和[-height/2,height/2]中的任一整数，height为待识别目标区域的长，width为待识别目标区域的宽；

(2c)以(width/2,height/2)为起点坐标，从填充、平移后的SAR图像中截取与原始SAR图像训练样本同样大小的区域，作为平移后的训练样本切片；

(2d)对每一个SAR图像切片进行100次平移，将平移后的训练样本与原始训练样本组成扩充后的训练样本。

步骤3，搭建端到端实时检测模型YOLO的网络结构。

该网络结构由三层卷积层和两层全连接层构成，其构建步骤如下：

(3a)构建第一层卷积层：该层用于对128*128*1*n的输入数据进行卷积，n表示输入样本个数，该卷积层的卷积核窗口大小为3*3，步长为2，输出96个特征图，再将得到的96个特征图输入到第二层，其中：

第一层中的卷积采用以下公式：

式中

表示第1层卷积层的第j个特征图，X⁰表示输入样本，

表示第1层第j个特征图的卷积核，

表示第1层的第j个特征图的偏置，*表示卷积操作，f()表示激活函数，

(3b)构建第二层卷积层：该层用于对第一层得到特征图进行卷积，该卷积层的卷积核窗口大小为3*3，步长为2，输出96个特征图，每个特征图经过一个下采样，下采样的核窗口大小为2*2，步长为2，经下采样得到降维后的特征图输入到第三层，其中：

第二层中的卷积采用以下公式：

式中

表示第2层的第j个特征图，

表示第1层第c个特征图，

表示由1层第c个特征图与第2层第j个特征图相连接的卷积核，

表示第2层的第j个特征图的偏置，*表示卷积操作，f()表示激活函数，

第二层中的下采样采用以下公式：

式中K(u,v)表示第(u,v)个大小为2*2的核窗口与输入特征图x^k的重合区域；

为第二层的第k个特征图在K(u,v)区域内第(i,j)个点，

为第k个特征图第(u,v)个核窗口中下采样的结果，下采样是取核窗口中x_ij的最大值；

(3c)构建第三层卷积层：该层用于对第二层得到特征图进行卷积，该卷积层的卷积核窗口大小为3*3，步长为2，输出256个特征图，每个特征图经过一个下采样，下采样的核窗口大小为2*2，步长为2，经下采样得到降维后的特征图，再将特征图变换成h维的列向量输入到第四层，其中：

第三层中的卷积采用以下公式：

式中

表示第3层的第j个特征图，

表示第2层第c个特征图，

表示由2层第c个特征图与第3层第j个特征图相连接的卷积核，

表示第3层的第j个特征图的偏置，*表示卷积操作，f()表示激活函数，

第三层中的下采样采用以下公式：

式中K(u,v)表示第(u,v)个大小为2*2的核窗口与输入特征图x^k的重合区域；

为第三层的第k个特征图在K(u,v)区域内第(i,j)个点，

为第k个特征图第(u,v)个核窗口中下采样的结果，下采样是取核窗口中x_ij的最大值；

(3d)构建第四层全连接层：该层有1000个神经元，用于将第三层输出的h维列向量与该全连接层的权值矩阵和偏置进行非线性变换，得到一个1000维列向量输入到第五层，其中：

第四层中的非线性变换采用以下公式：

式中

表示第4层的第j个神经元，

表示由3层第c个神经元与第4层第j个神经元相连接的权值，

表示第4层的第j个神经元的偏置，·表示相乘，f()表示激活函数，

(3e)构建第五层全连接层：用于将第四层全连接层输出的1000维列向量与该全连接层的权值矩阵和偏置进行线性变换，得到一个1100维特征向量，该1100维的向量反映对SAR图像的检测信息；将SAR图像划分为10*10个格子，其中前100维表示的是每个格子的类别信息，中间200维表示的是每个格子预测的框含有目标的置信度，每个格子预测两个框。最后800维是每个格子预测的框的坐标信息；

其中，第五层中的线性变换采用以下公式：

式中

表示第5层的第j个神经元，

表示由4层第c个神经元与第5层第j个神经元相连接的权值，

表示第5层的第j个神经元的偏置，·表示相乘，f()表示激活函数，

步骤4，将扩充的训练样本输入到基于端到端实时检测模型YOLO的网络结构中训练，最后得到训练好的端到端实时检测模型YOLO。

二.测试阶段

如图4所示，待测SAR图像由150个像素点组成，如图中黑色区域所示，其中白色区域为杂波区域，灰色区域为保护区域，该保护区域中间的点为第71个待测像素点x₇₁。

参照图3，本阶段的实施步骤如下：

步骤5，对待测SAR图像进行双参数恒虚警CFAR检测得到待检测切片。

以图中第71个待测像素点x₇₁为例来说明双参数恒虚警CFAR检测的检测过程；

(5a)对于待测SAR图像中的第71待测像素点x₇₁，计算其周围杂波区域像素的均值μ和标准差σ：

其中，N为杂波区域像素的个数，x_j为杂波区域第j个像素的值；

(5b)根据均值μ和标准差σ计算待测像素点x₇₁的检测统计量D：

(5c)将检测统计量D与检测阈值T＝1.5进行比较：若D≥T，则待测像素点x₇₁为目标；若D＜T，待测像素点x₇₁为杂波；

(5d)重复步骤(5a)～(5c)对SAR图像中每一个像素进行检测，得到二值检测结果，再以目标质心为中心提取各个待检测切片。

步骤6，将双参数恒虚警CFAR检测提取到的待检测切片输入到训练好的端到端实时检测模型YOLO中进行检测，得到各个目标的位置坐标信息和类别信息；

步骤7，将所有待检测切片中目标的位置信息和类别信息结果合并回原始SAR图像中，最终得到整个SAR图像的检测结果。

三.在线学习

在不断获得新的SAR图像过程中，原有模型对新的SAR图像检测性能很差，需要通过在线学习的方式来更新模型，从而提高模型的检测性能；

步骤8，从在线更新的SAR图像中获取训样本集

每次更新时从在线更新的SAR图像中获取10张作为新的训练SAR图像，从10张训练SAR图像中获取SAR目标切片作为训练样本集，再通过步骤2进行扩充，得到扩充后训练样本集；

步骤9，从训练样本库中选取核心集Coreset

为了减少训练时间和存储空间，不将样本库全部数据拿来作为训练样本，而是从训练样本库中挑选1000个样本作为训练数据，1000个样本就是训练样本库的核心集Coreset；

该核心集Coreset的构造步骤如下：

(9a)将训练样本库中的所有训练样本组成集合

R^d为d维向量空间；

(9b)从集合P中随机采一个点，得到初始点q₁；

(9c)从集合P中继续采样，并将已经采到的点组成集合C；再计算集合P中任意点s的采样概率：

其中d²(s,C)表示点s到集合C中离s最近的点的欧式距离平方；cost(P,C)表示对集合P中所有点s的d²(s,C)求和；

(9d)按采样概率f，从集合P中再采一个点q_i作为集合C中的下一个元素，i表示采样的次数，i取值范围为1～1000，当i取1时表示初始点q₁；

(9e)重复(9c)和(9d)，直到集合C中的点达到期望的数量1000，得到集合C＝{q₁,q₂,...q_i...,q₁₀₀₀}，该集合C即为构造得到的核心集Coreset。

步骤10，更新模型

将步骤4训练好的模型作为初始模型，用初始模型的参数初始化端到端实时检测模型YOLO；用扩充后的训练样本集和样本库中选取的核心集Coreset重新训练端到端实时检测模型YOLO，得到更新后的模型，重复步骤5～7用更新后模型对SAR图像进行测试；

步骤11，重复步骤8～10,直到在线更新的SAR图像全部更新完。

本发明的效果可以通过以下仿真实验说明：

1.实验条件

实验所用的数据是公开的微小合成孔径雷达MiniSAR数据集，MiniSAR数据集具有多个场景图，如机场、农田和居民区等；待检测目标主要有车辆和飞机；实验中通过对SAR图像中目标区域的随机平移来扩充数据；将扩充完的数据用于训练端到端实时检测模型YOLO，并实现在线学习；为了验证本发明在SAR目标检测中检测性能，一方面比较在线学习过程中端到端实时检测模型YOLO检测性能的变化，另一方面用端到端实时检测模型YOLO对测试数据集中SAR图像进行测试，将得到的检测结果与传统的双参数恒虚警CFAR检测结果进行比较。

2.实验内容与结果：

实验1：用本发明中的在线学习方法，不断更新端到端实时检测模型YOLO，对端到端实时检测模型YOLO的进行在线学习，并在每次更新完模型后，用更新后模型对待测SAR图像进行检测，结果如图5所示。

由图5的结果可知，不断更新模型时，模型对待测SAR图像的检测率不断提高，由此说明本发明的在线学习对模型的检测性能提升起作用，

实验2：用本发明中端到端实时检测模型YOLO对待测SAR图像进行检测，检测结果如图7所示，其检测率为90.7％，虚警个数78个。

实验3：传统双参数恒虚警CFAR方法对待测SAR图像进行检测，检测结果如图6所示，检测率为94.4％，虚警个数1个。

对比实验2与实验3的结果，可以得出本发明中的端到端实时检测模型YOLO的检测性能远远优于传统双参数恒虚警CFAR检测。

Claims (7)

1.基于深度学习的在线SAR目标检测方法，包括：

(1)获取SAR图像样本：

(1A)从微小合成孔径雷达MiniSAR数据集中随机选取100张SAR图像，其中20张作为初始训练SAR图像，60张作为在线更新时的SAR图像，20张作为测试SAR图像；

(1B)从每张训练SAR图像中获取样本切片，并对样本切片中SAR目标的坐标信息和类别信息进行标注，将所有获取到的SAR目标样本切片组成训练样本集；

(2)扩充训练样本集：

对训练样本集中每个SAR目标样本切片中的待识别目标区域进行多次的随机平移，并用每次平移后的训练样本切片和原始训练样本切片组成扩充后的训练样本集，再将所有的训练样本集放在一起组成训练样本库；

(3)训练端到端实时检测模型YOLO：

(3A)设置一个由三层卷积层和两层全连接层构成的网络结构，其自下而上包括如下5层结构：

第一层为卷积层，用于对128*128*1*n的输入数据进行卷积，n表示输入样本个数，该卷积层的卷积核窗口大小为3*3，步长为2，输出的96个特征图到第二层；

第二层为卷积层，用于对第一层得到特征图进行卷积，该卷积层的卷积核窗口大小为3*3，步长为2，输出96个特征图，每个特征图经过一个下采样，下采样的核窗口大小为2*2，步长为2，经下采样得到降维后的特征图输入到第三层；

第三层为卷积层，用于对第二层得到特征图进行卷积，该卷积层的卷积核窗口大小为3*3，步长为2，输出256个特征图，每个特征图经过一个下采样，下采样的核窗口大小为2*2，步长为2，经下采样得到降维后的特征图,再将特征图变换成h维的列向量输入到第四层；

第四层为全连接层，该层有1000个神经元，用于将第三层输出的h维列向量与该全连接层的权值矩阵和偏置进行非线性变换得到一个1000维列向量输入到第五层；

第五层为全连接层，该层有1100个神经元，用于将第四层全连接层输出的1000维列向量与本层连接层的权值矩阵和偏置进行非线性变换，得到一个1100维特征向量；

并用扩充后的训练样本对由该网络结构构成的端到端实时检测模型YOLO进行训练，得到训练好的网络模型；

(4)SAR图像的测试：

(4A)对待测SAR图像进行双参数恒虚警检测，以双参数恒虚警检测结果中各个目标质心为中心，提取对应的检测切片；

(4B)用端到端实时检测模型YOLO对各个检测切片进行目标检测，得到各个切片的目标检测结果；

(4C)对各个切片的目标检测结果，按照其在原始SAR图像的相对位置进行合并，得到待测SAR图像的目标检测结果；

(5)在线学习：

(5A)对于在线更新的SAR图像，每次更新时获取其中的10～30张作为新的训练SAR图像，重复步骤(1B)和步骤(2)，得到扩充后的样本；

(5B)将步骤3训练好的模型作为初始模型，用该初始模型的参数初始化端到端实时检测模型YOLO；

(5C)采用核心集方法从训练样本库中挑选m个样本作为核心集Coreset，m的范围为600～1200；再用扩充后的样本与核心集Coreset重新训练端到端实时检测模型YOLO，得到更新后的端到端实时检测模型YOLO，重复步骤(4)用该更新后的端到端实时检测模型YOLO对SAR图像进行检测；

(5D)重复步骤(5A)～(5C)，直到在线更新的SAR图像全部更新完。

2.根据权利要求1所述的方法，其中步骤(2)中对训练样本集中每个SAR目标切片中的待识别目标区域进行多次的随机平移，按如下步骤进行：

(2.1)对训练样本集中每一个SAR目标切片的背景采用围绕边界进行镜像反射填充，在matlab语言中用以下命令实现：

New_image＝padarray(image,padsize,‘symmetric’)；

其中New_image表示填充后的SAR图像，image表示原始图像，padsize表示填充的行数与列数；

(2.2)将填充后的SAR图像中任一像素点坐标(x,y)经x轴平移t_x个单位，经y轴平移t_y个单位得到平移后坐标(x',y')，其中x'＝x+t_x，y'＝y+t_y，t_x和t_y分别是随机取区间[-width/2,width/2]和[-height/2,height/2]中的任一整数，height为待识别目标区域的长，width为待识别目标区域的宽；

(2.3)以(width/2,height/2)为起点坐标，从填充、平移后的SAR图像中截取与原始SAR图像训练样本同样大小的区域，作为平移后的训练样本切片。

3.根据权利要求1所述的方法，其中所述第一、二、三层中的卷积采用以下公式：

式中L表示卷积层所在的层数，

表示第L层的第j个特征图，

表示第L层第j个特征图与第L-1层第c个特征图相连接的卷积核，

表示第L层的第j个特征图的偏置，*表示卷积，f()表示激活函数，

其中

4.根据权利要求1所述的方法，其中所述第二、三层中的下采样，采用以下公式：

式中K(u,v)表示第(u,v)个大小为2*2的核窗口与输入特征图x^k的重合区域；

为第二层的第k个特征图在K(u,v)区域内第(i,j)个点，

为第k个特征图第(u,v)个核窗口中下采样的结果，下采样是取核窗口中x_ij的最大值。

5.根据权利要求1所述的方法，其中所述第四、五层中的非线性变换采用以下公式：

式中L表示全连接层所在的层数，

表示第L层的第j个神经元，

表示由第L层第j个神经元与L-1层第c个神经元相连接的权值，

表示第L层的第j个神经元的偏置，·表示相乘，f()表示激活函数，

其中

6.根据权利要求1所述的方法，其中步骤(4A)中对待测SAR图像进行双参数恒虚警检测，按如下步骤进行：

(4A1)对待测像素点x，计算其周围杂波区域像素的均值μ和标准差σ：

其中，N为杂波区域像素的个数，x_j为杂波区域第j个像素的值；

(4A2)根据均值μ和标准差σ计算待测像素点x的检测统计量D：

(4A3)将检测统计量D与检测阈值T＝1.5进行比较：若D≥T，则待测像素点x为目标；若D＜T，待测像素点x为杂波。

7.根据权利要求1所述的方法，其中步骤(5)中采用核心集方法从样本库中挑选m个样本作为核心集Coreset，按如下步骤进行：

(5.1)将训练样本库中的所有训练样本组成集合

R^d为d维向量空间；

(5.2)从集合P中随机采一个点，得到初始点q₁；

(5.3)从集合P中继续采样，并将已经采到的点组成集合C；再计算集合P中任意点s的采样概率：

其中d²(s,C)表示点s到集合C中离s最近的点的欧式距离平方；cost(P,C)表示对集合P中所有点s的d²(s,C)求和；

(5.4)按采样概率f，从集合P中再采一个点q_i作为集合C中的下一个元素，i表示采样的次数，i取值范围为1～m，当i取1时表示初始点q₁；

(5.5)重复过程(5.3)和(5.4)，直到集合C中的点达到期望的数量m，得到集合C＝{q₁,q₂,...q_i...,q_m}，该集合C即为构造得到的核心集Coreset。

Images