CN110532914A - 基于精细特征学习的建筑物检测方法 - Google Patents

Abstract

本发明公开了一种基于精细特征学习的建筑物检测方法。其实现步骤为：构造稠密卷积网络，生成训练样本集和测试样本集，对样本集中的图像进行预处理，利用稠密卷积块提取光学遥感图像的精细特征图，使用自顶向下的方法融合特征图，用融合边缘的深监督损失训练稠密卷积网络，最后将测试样本送入训练好的稠密卷积网络得到最终检测结果。本发明利用构建的稠密卷积网络提取光学遥感图像的精细特征图，利用融合边缘的深监督损失训练稠密卷积网络，在保证建筑物特征丰富性的条件下减少了内存占用量，提高了建筑物检测准确率。

Description

基于精细特征学习的建筑物检测方法

技术领域

本发明属于图像处理技术领域，更进一步涉及建筑物检测技术领域中的一种基于精细特征学习的建筑物检测方法。本发明可用于从光学遥感图像中检测出建筑物。

背景技术

目检测技术是计算机视觉领域的核心问题之一，建筑物检测是以遥感卫星捕捉到的影像为数据源，采用图像处理技术对影像中的建筑物进行定位。光学遥感图像中的建筑物检测问题在城市规划和国土监控领域扮演着重要的角色。随着遥感技术的进一步发展，所获得的光学遥感数据也越来越丰富，但由于卫星拍摄的光学红外遥感图像易受到光照，云层等不起确定性天气状况的影响，高准确率的建筑物检测面临着巨大的挑战。

武汉大学在其申请的专利文献“基于多尺度多特征融合的遥感影像建筑物检测方法”(专利申请号：CN201710220588.5，公开号：CN107092871A)中提出了一种建筑物检测方法。该方法首先对遥感影像降采样，获得由不同尺度的影像构成的影像金字塔；计算影像金字塔的边缘影像；对不同尺度的边缘影像进行多组特征计算并进行融合建立特征模型；根据特征模型与邻域局部非极大值抑制进行窗口选取获得目标窗口；对目标窗口进行小范围内的膨胀/收缩计算获得矩形窗口；根据目标窗口的主方向旋转所述矩形窗口得到最优目标窗口，并根据最优目标窗口提取出建筑物。该方法重点关注了建筑物形状和大小尺寸不一的问题，运用多尺度方法检测建筑物。但是，该方法仍然存在的不足之处是，由于该方法只利用了建筑物的边缘特征检测建筑物，当背景纹理信息复杂时，其检测准确率偏低。

Huang Gao等人在其发表的论文“Densely connected convolutional networks”(Proceedings of the IEEE Conference on Computer Vision and PatternRecognition，2016)中提出了一种新的可用于检测目标的方法。该方法首先用稠密卷积块提取输入图片特征，稠密卷积块内每个卷积层的输入为稠密块中前几层卷积的输出和稠密块的输入。然后利用多个串联的稠密卷积块生成目标特征，每个稠密卷积块的输入是前几个稠密卷积块的输出的特征图在通道上的叠加，以此得到最后的检测结果。不同稠密块的特征图输出会层层递进，使得每一层的特征图对最终的损失都产生贡献。这样做的好处是实现了隐含的深监督，避免了梯度消失，在增强特征的传播和提取上取得了很好的效果，可以提取到图像精细的特征图。但是，该方法仍然存在的不足之处是，特征图的数量会随着网络深度不断成倍增加，造成计算复杂度过高，内存占用要求高。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于精细特征学习的建筑物检测方法，解决了从光学遥感图像中检测建筑物时计算复杂度过高的问题和背景纹理信息复杂的建筑物检测准确率低的问题。

实现本发明目的思路是：首先，构造稠密卷积网络，生成训练样本集和测试样本集，再利用稠密卷积块提取训练样本集的精细特征图，使用自顶向下的方法融合特征图，用融合边缘的深监督损失训练稠密卷积网络。最后将测试样本送入训练好的稠密卷积网络得到最终检测结果。

本发明的具体步骤如下，

步骤1，构造稠密卷积网络：

搭建一个由5个相同结构的稠密卷积块级联成稠密卷积网络，每个稠密卷积块结构由9层组成，其结构依次为：输入层→第一卷积层→第一融合层→第二卷积层→第二融合层→第三卷积层→第三融合层→第四卷积层→第四融合层；

设置输入层的通道个数为3个；将第一至第四卷积层中卷积核的个数依次设置为64、64、128、128，卷积核的尺度均设置为3×3个节点；

步骤2，生成训练样本集和测试样本集：

从光学遥感数据集中选取大小为960×960×3的至少16张光学遥感图片，将其中75％的图片组成训练集，其余25％的图片组成测试集；

将训练集中的每张光学遥感图片随机重叠切割成大小为480×480×3的训练样本，对每张图片切割150次后得到训练样本集；

将测试集中的每张光学遥感图片不重叠切割成大小为480×480×3的4张的测试样本组成测试样本集；

步骤3，对样本集中的图像进行预处理：

对训练样本集图像和测试样本集图像分别做灰度拉伸，对灰度拉伸后的图像中的每个像素在0到1之间做归一化处理，得到预处理后的训练样本集和测试样本集；

步骤4，利用稠密卷积块提取光学遥感图像的精细特征图：

第一步，将预处理后的训练样本集输入到第一个稠密卷积块中，将稠密卷积块中的第一卷积层输出的所有特征图与第二卷积层输出的所有特征图，在通道上进行叠加操作后输入到第三卷积层，得到第三卷积层输出的特征图，将第一至第三卷积层输出的所有特征图在通道上进行叠加操作后输入到第四卷积层，得到第四卷积层输出的特征图，将第一至第四卷积层输出的所有特征图在通道上进行叠加操作，得到低层语义信息的精细特征图；

第二步，将低层语义信息的精细特征图，按照与第一步相同的方法，通过第二个稠密卷积块，得到次低层语义信息精细特征图；

第三步，采用与第二步相同的方法，通过第三、第四、第五稠密卷积块后，得到高层语义信息的特征图；

步骤5，使用自顶向下方法融合特征图：

第一步，将高层语义信息的特征图，通过2倍上采样反卷积操作，得到上采样特征图；

第二步，将第四稠密卷积块的输出，通过一个核为1×1的卷积操作，得到通道缩减一半的特征图，将通道缩减一半的特征图与第一步中的上采样特征图在通道上进行叠加，得到第一个融合特征图；

第三步，对第一个融合的图像进行2倍上采样反卷积操作，得到第一个融合的图像的上采样特征图；对第三稠密卷积块的输出进行通道缩减一半的1×1的卷积操作，对经过卷积操作后的特征图和第一个融合的图像的上采样特征图在通道上进行叠加，得到第二个融合特征图，

第四步，采用与第三步相同的方法，对第二个融合的特征图和第二个稠密卷积块的输出进行处理，得到第三个融合特征图，对第三个融合特征图和第一个稠密卷积块的输出进行处理，得到第四个融合特征图；

步骤6，用融合边缘的深监督损失训练稠密卷积网络：

第一步，对每个融合特征图依次进行卷积和反卷积操作，对每个经过卷积和反卷积操作后的特征图计算交叉熵损失，对所有交叉熵损失相加得到融合交叉熵损失；

第二步，将第五稠密卷积块输出的高层语义信息的特征图，通过16倍上采样操作，得到logits图像，将logits图像经过sigmoid得到预测图，利用Sobel边缘检测算法，得到预测图和真值图的边缘图像，对两张边缘图像计算交叉熵损失得到边缘交叉熵损失；将融合交叉熵损失和边缘交叉熵损失相加，得到融合边缘的深监督损失；

第三步，分别求出融合边缘的深监督损失对稠密卷积网络中每个需要优化的参数的偏导数，将每个需要更新优化的参数和其偏导数相加，得到更新参数后的稠密卷积网络，将训练集输入更新过参数的稠密卷积网络求出融合边缘的深监督损失；

第四步，迭代执行第三步，直到求得前后两次融合边缘的深监督损失相差不超过0.01，得到训练好的稠密卷积网络；

步骤7，检测建筑物：

将测试样本集输入到训练好的稠密卷积网络中，输出测试样本集的检测结果。

本发明与现有的技术相比具有以下优点：

第一，由于本发明利用稠密卷积块提取光学遥感图像的精细特征图，即稠密卷积块中的第一至第四卷积层输出的特征图在通道上进行叠加操作，得到低层语义信息的精细特征图，再通过4个相同的稠密卷积块提取高层语义信息的特征图，克服了现有技术中特征图数量冗余，内存占用量大，计算复杂度高的问题，使得本发明在不减少准确率的同时减少了检测建筑物时的计算复杂度，提高了检测效率。

第二，由于本发明对每个使用自顶向下方法融合的特征图计算交叉熵损失，利用融合边缘的深监督损失训练稠密卷积网络，克服了背景纹理信息复杂的建筑物检测准确率低的问题，使得本发明能够保证建筑物特征精细性从而提高了建筑物检测的准确率。

附图说明

图1是本发明的流程图；

图2是本发明仿真图。

具体实施方式

下面结合附图对本发明做进一步的详细描述。

参照附图1，对本发明的步骤做进一步的详细描述。

步骤1，构造稠密卷积网络。

搭建一个由5个相同结构的稠密卷积块级联成稠密卷积网络，每个稠密卷积块结构由9层组成，其结构依次为：输入层→第一卷积层→第一融合层→第二卷积层→第二融合层→第三卷积层→第三融合层→第四卷积层→第四融合层

设置输入层的通道个数为3个；将第一至第四卷积层中卷积核的个数依次设置为64、64、128、128，卷积核的尺度均设置为3×3个节点。

步骤2，生成训练样本集和测试样本集。

从光学遥感数据集中选取大小为960×960×3的至少16张光学遥感图片，将其中75％的图片组成训练集，其余25％的图片组成测试集。

将训练集中的每张光学遥感图片随机重叠切割成大小为480×480×3的训练样本，对每张图片切割150次后得到训练样本集。

将测试集中的每张光学遥感图片不重叠切割成大小为480×480×3的4张的测试样本组成测试样本集。

步骤3，对样本集中的图像进行预处理。

对训练样本集图像和测试样本集图像分别做灰度拉伸，对灰度拉伸后的图像中的每个像素在0到1之间做归一化处理，得到预处理后的训练样本集和测试样本集。

步骤4，利用稠密卷积块提取光学遥感图像的精细特征图。

第一步，将预处理后的训练样本集输入到第一个稠密卷积块中，将稠密卷积块中的第一卷积层输出的所有特征图与第二卷积层输出的所有特征图，在通道上进行叠加操作后输入到第三卷积层，得到第三卷积层输出的特征图，将第一至第三卷积层输出的所有特征图在通道上进行叠加操作后输入到第四卷积层，得到第四卷积层输出的特征图，将第一至第四卷积层输出的所有特征图在通道上进行叠加操作，得到低层语义信息的精细特征图。

第二步，将低层语义信息的精细特征图，按照与第一步相同的方法，通过第二个稠密卷积块，得到次低层语义信息精细特征图。

第三步，采用与第二步相同的方法，通过第三、第四、第五稠密卷积块后，得到高层语义信息的特征图。

步骤5，使用自顶向下方法融合特征图。

第一步，将高层语义信息的特征图，通过2倍上采样反卷积操作，得到上采样特征图。

第二步，将第四稠密卷积块的输出，通过一个核为1×1的卷积操作，得到通道缩减一半的特征图，将通道缩减一半的特征图与第一步中的上采样特征图在通道上进行叠加，得到第一个融合特征图。

第三步，对第一个融合的图像进行2倍上采样反卷积操作，得到第一个融合的图像的上采样特征图；对第三稠密卷积块的输出进行通道缩减一半的1×1的卷积操作，对经过卷积操作后的特征图和第一个融合的图像的上采样特征图在通道上进行叠加，得到第二个融合特征图。

第四步，采用与第三步相同的方法，对第二个融合的特征图和第二个稠密卷积块的输出进行处理，得到第三个融合特征图，对第三个融合特征图和第一个稠密卷积块的输出进行处理，得到第四个融合特征图。

步骤6，用融合边缘的深监督损失训练稠密卷积网络。

第一步，对每个融合特征图依次进行卷积和反卷积操作，对每个经过卷积和反卷积操作后的特征图计算交叉熵损失，对所有交叉熵损失相加得到融合交叉熵损失。

第二步，将第五稠密卷积块输出的高层语义信息的特征图，通过16倍上采样操作，得到logits图像，将logits图像经过sigmoid得到预测图，利用Sobel边缘检测算法，得到预测图和真值图的边缘图像，对两张边缘图像计算交叉熵损失得到边缘交叉熵损失；将融合交叉熵损失和边缘交叉熵损失相加，得到融合边缘的深监督损失。

所述真值图是指，对每个训练样本中的每个区域进行标注，将含有建筑物的区域标注为1，未含有建筑物的区域标注为0，将每个标注后的训练样本中所有标注的区域组成一张真值图。

所述的Sobel边缘检测算法的步骤是，用Sobel算子对预测图或真值图分别在横向和纵向做卷积操作，得到预测图或真值图的横向和纵向的亮度差分近似图，并将两个图相加后取绝对值得到灰度近似图，对灰度近似图中所有的像素值求平均值，将灰度近似图中像素值大于平均值的像素组成预测图和真值图的边缘图像。

第三步，分别求出融合边缘的深监督损失对稠密卷积网络中每个需要优化的参数的偏导数，将每个需要更新优化的参数和其偏导数相加，得到更新参数后的稠密卷积网络，将训练集输入更新过参数的稠密卷积网络求出融合边缘的深监督损失。

第四步，迭代执行第三步，直到求得前后两次融合边缘的深监督损失相差不超过0.01，得到训练好的稠密卷积网络。

步骤7，检测建筑物。

将测试样本集输入到训练好的稠密卷积网络中，输出测试样本集的检测结果。

下面结合仿真对本发明的效果做进一步的说明：

1.仿真实验条件：

本发明的仿真实验的硬件平台为：戴尔计算机，CPU型号为Intel(R)E5-2603，频率1.60GHz，GPU型号为GeForce GTX 1080，显存8G。

本发明的仿真实验的软件平台为：ubuntu 16.0***，Python 3.5，pytorch-gpu1.1.0。

2.仿真内容及其结果分析：

本发明仿真实验是采用本发明和两个现有技术(FCN检测方法、U-Net检测方法)分别对输入的QuickBird光学遥感数据集进行建筑物检测，获得检测结果。

在仿真实验中，采用的两个现有技术是指：

现有技术FCN检测方法是指，DarrellT等人在,“Fullyconvolutional networksfor semantic segmentation[j],IEEE T PATTERN ANAL.,vol.39,no.4,2014.”中提出的建筑物检测方法，简称FCN检测方法。

现有技术U-Net检测方法是指，OlafRonneberger等人在“U-net:Convolutionalnetworks for biomedical image segmentation[c],International Conference onMedical Image Computing and Computer-Assisted Intervention.,pp.234–241,2015.”中提出的建筑物检测方法，简称U-Net检测方法。

本发明仿真实验所使用的输入图像为公开的QuickBird光学遥感数据集中的所有图像，该数据集由美国DigitalGlobe公司采集得到，共有16张960×960×3的图像，本发明仿真实验从中随机选取12张组成训练集，剩余4张组成测试集；

仿真实验1是采用本发明方法在上述仿真条件下进行实验，获得检测结果如图2所示。

仿真实验2是采用现有技术中的FCN方法在上述仿真条件下进行实验，获得检测结果。

仿真实验3是采用现有技术的U-Net方法在上述仿真条件下进行实验，获得检测结果。

为了验证本发明建筑物检测效果，利用两个评价指标(准确率、f分数)分别对三种方法的检测结果进行评价，准确率、f分数越高表明建筑物检测结果越准确。测试样本集中每张图片所有像素预测结果和真值图中对应像素对比，利用下式，分别计算的准确率、f分数，取测试样本集中所有图片的平均准确率、平均f分数，将计算结果绘制成表1：

表1.本发明仿真实验的结果对比表

方法	平均准确率	平均f分数
			FCN	0.6608	0.7619
U-Net	0.7140	0.7831
			本发明方法	0.8112	0.8307

其中，TP表示预测结果为建筑物区域真值图也为建筑物的区域的像素总数；TN表示预测结果非建筑物区域真值图也为非建筑物区域的像素总数；FP表示预测结果为非建筑物区域真值图为建筑物的区域的像素总数，FN表示预测结果为非建筑物区域真值图为建筑物的区域的像素总数。

结合表1可以看出，与现有的FCN和U-Net方法相比，本发明的平均准确率为0.8112，平均f分数为0.8307，两个指标均高于两种现有技术方法，证明本发明可以得到更高的建筑物检测准确率。

下面结合图2的仿真图对本发明的效果做进一步的描述。

图2为本发明在上述实验条件下获得的QuickBird光学遥感数据集检测结果图。由于本发明仿真实验的测试集图片有4张，图2(a)是第一张图片的检测结果图；图2(b)表示与图2(a)对应的第一张图片的真值图；图2(c)是第二张图片的检测结果图；图2(d)表示与图2(c)对应的第二张图片的真值图；图2(e)是第三张图片的检测结果图；图2(f)表示与图2(e)对应的第三张图片的真值图；图2(f)是第四张图片的检测结果图；图2(g)表示与图2(f)对应的第四张图片的真值图。从图2中检测结果图和其对应的真值图可以看出，检测结果图中的建筑物区域和真值图的建筑物区域较接近，检测结果图准确显示出了与真值图中建筑物接近的轮廓。

以上仿真实验表明：本发明方法利用搭建的稠密卷积网络，提取了精细的建筑物特征，解决了背景纹理信息复杂的建筑物检测准确率低的问题，在减少计算量的同时提升了建筑物检测精度，是一种准确率高的光学遥感图像建筑物检测方法。

Claims (3)

1.一种基于精细特征学习的建筑物检测方法，其特征在于，利用稠密卷积块提取光学遥感图像的精细特征图，使用自顶向下的方法融合特征图，用融合边缘的深监督损失训练稠密卷积网络，该方法的具体步骤包括如下：

步骤1，构造稠密卷积网络：

搭建一个由5个相同结构的稠密卷积块级联成稠密卷积网络，每个稠密卷积块结构由9层组成，其结构依次为：输入层→第一卷积层→第一融合层→第二卷积层→第二融合层→第三卷积层→第三融合层→第四卷积层→第四融合层；

设置输入层的通道个数为3个；将第一至第四卷积层中卷积核的个数依次设置为64、64、128、128，卷积核的尺度均设置为3×3个节点；

步骤2，生成训练样本集和测试样本集：

从光学遥感数据集中选取大小为960×960×3的至少16张光学遥感图片，将其中75％的图片组成训练集，其余25％的图片组成测试集；

将训练集中的每张光学遥感图片随机重叠切割成大小为480×480×3的训练样本，对每张图片切割150次后得到训练样本集；

将测试集中的每张光学遥感图片不重叠切割成大小为480×480×3的4张的测试样本组成测试样本集；

步骤3，对样本集中的图像进行预处理：

对训练样本集图像和测试样本集图像分别做灰度拉伸，对灰度拉伸后的图像中的每个像素在0到1之间做归一化处理，得到预处理后的训练样本集和测试样本集；

步骤4，利用稠密卷积块提取光学遥感图像的精细特征图：

第一步，将预处理后的训练样本集输入到第一个稠密卷积块中，将稠密卷积块中的第一卷积层输出的所有特征图与第二卷积层输出的所有特征图，在通道上进行叠加操作后输入到第三卷积层，得到第三卷积层输出的特征图，将第一至第三卷积层输出的所有特征图在通道上进行叠加操作后输入到第四卷积层，得到第四卷积层输出的特征图，将第一至第四卷积层输出的所有特征图在通道上进行叠加操作，得到低层语义信息的精细特征图；

第二步，将低层语义信息的精细特征图，按照与第一步相同的方法，通过第二个稠密卷积块，得到次低层语义信息精细特征图；

第三步，采用与第二步相同的方法，通过第三、第四、第五稠密卷积块后，得到高层语义信息的特征图；

步骤5，使用自顶向下方法融合特征图：

第一步，将高层语义信息的特征图，通过2倍上采样反卷积操作，得到上采样特征图；

第二步，将第四稠密卷积块的输出，通过一个核为1×1的卷积操作，得到通道缩减一半的特征图，将通道缩减一半的特征图与第一步中的上采样特征图在通道上进行叠加，得到第一个融合特征图；

第三步，对第一个融合的图像进行2倍上采样反卷积操作，得到第一个融合的图像的上采样特征图；对第三稠密卷积块的输出进行通道缩减一半的1×1的卷积操作，对经过卷积操作后的特征图和第一个融合的图像的上采样特征图在通道上进行叠加，得到第二个融合特征图，

第四步，采用与第三步相同的方法，对第二个融合的特征图和第二个稠密卷积块的输出进行处理，得到第三个融合特征图，对第三个融合特征图和第一个稠密卷积块的输出进行处理，得到第四个融合特征图；

步骤6，用融合边缘的深监督损失训练稠密卷积网络：

第一步，对每个融合特征图依次进行卷积和反卷积操作，对每个经过卷积和反卷积操作后的特征图计算交叉熵损失，对所有交叉熵损失相加得到融合交叉熵损失；

第二步，将第五稠密卷积块输出的高层语义信息的特征图，通过16倍上采样操作，得到logits图像，将logits图像经过sigmoid得到预测图，利用Sobel边缘检测算法，得到预测图和真值图的边缘图像，对两张边缘图像计算交叉熵损失得到边缘交叉熵损失；将融合交叉熵损失和边缘交叉熵损失相加，得到融合边缘的深监督损失；

第三步，分别求出融合边缘的深监督损失对稠密卷积网络中每个需要优化的参数的偏导数，将每个需要更新优化的参数和其偏导数相加，得到更新参数后的稠密卷积网络，将训练集输入更新过参数的稠密卷积网络求出融合边缘的深监督损失；

第四步，迭代执行第三步，直到求得前后两次融合边缘的深监督损失相差不超过0.01，得到训练好的稠密卷积网络；

步骤7，检测建筑物：

将测试样本集输入到训练好的稠密卷积网络中，输出测试样本集的检测结果。

2.根据权利要求1所述的基于精细特征学习的建筑物检测方法，其特征在于，步骤6第二步中所述的真值图是指，对每个训练样本中的每个区域进行标注，将含有建筑物的区域标注为1，未含有建筑物的区域标注为0，将每个标注后的训练样本中所有标注的区域组成一张真值图。

3.根据权利要求1所述的基于精细特征学***均值，将灰度近似图中像素值大于平均值的像素组成预测图和真值图的边缘图像。