CN108710863A - 基于深度学习的无人机航拍场景语义分割方法及*** - Google Patents

Abstract

本发明提供一种基于深度学习的无人机航拍场景语义分割方法及***。本发明包括：S1、无人机的摄像机进行图像采集并将采集的原始图像数据利用无线传输发送给地面设备，所述地面设备对采集的原始图像数据进行保存；S2、通过深度学习框架训练分割网络模型，其主要包括，深度学习框架通过采集到的原始样本图片训练卷积神经网络，将针对小目标检测的改进网络与传统VGG网络相结合得到最终的分割网络模型；S3、将采集的原始图像输入到分割网络模型中进行分割操作；S4、在分割完毕后实时将分割结果以图片的形式进行保存。本发明通过对样本数据的处理，利用深度学习方法训练分割模型，针对无人机实时航拍数据进行语义分割，实现航拍图像的像素级标注。

Description

基于深度学习的无人机航拍场景语义分割方法及***

技术领域

本发明涉及无人机航拍领域，尤其涉及一种基于深度学习的无人机航拍场景语义分割方法及***。

背景技术

无人机可以大量获取高分辨图像，主要作为测绘和地貌观测的基本数据，由于自动测绘的生成和更新仍然较慢，导致全自动方法现今存在的难点是：一方面观测数据空间分辨率较低；另一方面小目标和小尺度纹理特征难以分辨。因此，图像内部不同类型之间的分类因为差异减小而变得困难。目前航拍图像的像素级标注是遥感领域最具有挑战和重要的问题之一。像素级标注是对于给定图像的每一个像素给出具体的类别，该工作的难点在于建筑、街道、树木、汽车、河流等图像内部类型的变化较大。许多研究学者将机器学习技术应用于图像处理。然而，由于计算机性能的限制该技术只应用于地形分类，如森林、水域、农作物等。近几年，随着计算机硬件和传感器技术的发展，大量的高分辨航拍图像处理技术已经得到广泛应用，深度学习也依赖其强大的分析学习能力而被引入到图像处理当中。

语义分割、场景理解现在应用最广泛的属于自动驾驶领域，而在自动驾驶领域，各种目标检测算法，语义分割算法层出不穷。在传统的检测和分割算法的基础上，由于深度学***台。但是在无人方面，由于无人机小型化的特点，不能携带笨重的地面站设备，因此在无人机方面的应用就面临严重的问题。

发明内容

根据上述提出的技术问题，而提供一种针对无人机航拍距离远，小目标或者远目标不易分割而做出改进的无人机航拍场景语义分割方法及***。本发明采用的技术手段如下：

一种基于深度学习的无人机航拍场景语义分割方法，包括如下步骤：

S1、无人机的摄像机进行图像采集并将采集的原始图像数据利用无线传输发送给地面设备，所述地面设备对采集的原始图像数据进行保存；

S2、通过深度学习框架训练分割网络模型，其主要包括，深度学习框架通过采集到的原始样本图片训练卷积神经网络，将针对小目标检测的改进网络与传统VGG网络相结合得到最终的分割网络模型；

S3、将采集的原始图像输入到分割网络模型中进行分割操作；

S4、在分割完毕后实时将分割结果以图片的形式进行保存。

进一步地，S4后还设有步骤S5、将所有的分割结果保存为视频的形式。

进一步地，所述S2包括如下步骤：

S21、针对所采集到的原始样本图片进行去噪以及裁剪、数据增强等相关处理，同时保留有益于分割的高分辨率样本；

S22、将所述原始样本图片进行命名并统一放置，同时分为训练集、验证集和测试集，制作训练、验证以及测试的图片名文件；

S23、确定要分割的目标类别，设定每一目标类别固定的颜色，对目标类别进行标注，从而得到真实分割效果图；

S24、深度学习框架读取原始样本图片和真实分割效果图，对S202中的各文件和slover.prototxt文件进行训练学习，得到一个以.caffemodel为后缀的分割模型；

S25、将针对小目标检测的改进网络与分割网络相结合得到最终的分割网络模型。

进一步地，所述S3包括如下步骤：

S31、将采集到的原始图片输入到分割网络模型中；

S32、利用卷积操作对采集到的原始图片的像素值进行提取，即特征提取，卷积层的层数与传统VGG网络的层数相同；

S33、对特征提取后的特征图进行池化操作，用于进一步的提取更高层次的特征；

S34、对特征图反复进行卷积操作和池化操作，直到将所述卷积层和池化层的不同大小的特征图统一划分为3x3或6x6像素的模块，将特征图展开成为符合全连接层要求的目标向量，所述全连接层用于输出目标的类别信息；

S35、通过网络最后一层SoftMax分类器输出定性的正确分割结果以及Accuracy网络层输出定量的分割准确率。

进一步地，S3分割操作后，对分割不理想的分割结果使用条件随机场来进行边缘分优化处理，从而提高边缘的分割精度。

一种基于深度学习的无人机航拍场景语义分割***，其包括；

图像采集模块，用于无人机飞行过程中的图像采集；

图像传输模块，用于远程无线传输航拍图像；

样本数据存储模块，用于存储深度学习框架训练模型的样本数据；

图像处理模块，用于通过语义分割算法对采集到的图像进行分割操作；

分割结果显示模块，用于可视化分割结果，并利用此结果作为场景分析的依据；

分割结果保存模块，用于保存分割的结果，作为后续的各项实验以及应用分析。

本发明通过对样本数据的处理，利用深度学习方法训练分割模型，利用此分割模型针对无人机实时航拍数据进行语义分割，实现航拍图像的像素级标注，本发明将数据采集，数据处理，以及结果显示整合在一起，无人机自身也可携带小型的人工智能处理芯片，配合而地面站设备进行场景理解的所有操作，实时对航拍采集图像进行直观化的分析。基于上述理由本发明可在无人机航拍领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于深度学习的无人机航拍场景语义分割方法流程图。

图2为本发明基于深度学习的无人机航拍场景语义分割***模块图。

图3为本发明网络分割模型流程图。

图4为本发明条件随机场建立示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种无人机航拍场景语义分割方法，包括如下步骤：

S1、无人机的摄像机进行图像采集并将采集的数据利用无线传输发送给地面设备，所述地面设备对采集到的图像数据进行保存；依赖无人机的自身特点，可以采集到任意的场景信息。但是本发明所涉及的图像信息主要是城市、农村、山地等环境，由于无人机自身所能携带的内存还是相当有限，因此采取地面站设备保存采集到的数据。

S2、通过深度学习框架训练用于分割实验的分割模型；其主要包括：，深度学习框架通过采集到的原始样本图片训练卷积神经网络，将针对小目标检测的改进网络与传统VGG网络相结合得到最终的分割网络模型；采集样本数据，样本数据的来源方式很多，可以是自己采集，也可以是网上下载，也可以利用现有数据集，

由于在跑深度学习算法的时候需要用到各种的学习框架，而caffe作为在图像处理方向的接口简单、CPU与GPU间的任意转换、网络定义的便捷等等优点，因此，主要程序都在caffe框架内操作。

由于深度学习的最为关键点在于学习，本发明所采用的是有监督学习，分割模型就是本阶段需要事先训练得出的。所述深度学习框架的建立，即如何训练一个用于分割实验的分割模型，其主要包括如下步骤：

S21、针对所采集到的原始样本图片进行去噪以及裁剪、数据增强等相关处理，同时保留有益于分割的高分辨率样本；

S22、将所述原始样本图片进行命名并统一放置，同时按照6:3:1的比例分为训练集、验证集和测试集，制作训练、验证以及测试的图片名文件；

S23、确定要分割的目标类别，设定每一目标类别固定的颜色，对目标类别进行标注，从而得到真实分割效果图，即深度学习过程中主要学习的内容；

S24、深度学习框架读取原始样本图片和真实分割效果图，对S202中的各文件和slover.prototxt文件进行训练学习，得到一个以.caffemodel为后缀的分割模型，slover.prototxt文件是训练过程最重要的文件，关系到训练最终模型的优化过程，学习策略以及最终的模型迭代次数等等参数的设置；

S25、将针对小目标检测的改进网络与分割网络相结合得到最终的分割网络模型。

S3、将采集的原始图像输入到分割网络模型中进行分割操作，其主要包括如下步骤：

S31、将采集到的原始图片输入到分割网络模型中；数据的读取，可以使用ROS***，由于ROS***具有的图像传输方面的优势，发布话题，建立节点，比较适用于本发明的图像传输。

输入采集到的图片，无论其大小多少均可以输入到网络当中进行分割操作，原因在于，即使网络中存在全连接层，即FC(Fully Connected)层，而FC层的大小维度是在前期就已经固定设置的，因此，正常来说是需要大小一样的图片，而网络深层的ROI(Region ofInterest,感兴趣区域)层解决了这个问题，

S32、利用卷积操作对采集到的原始图片的像素值进行提取，即特征提取，其中，卷积层的层数与传统VGG网络的层数相同；

图片在人眼的视野中可看作一张“图片”，而在计算机的视野中只是一堆数字，因此，针对一张图片，可看作一个一个像素值组成的，因此可以利用类似数学上的卷积操作，来对像素值进行提取，卷积层的层数设置和VGG的一样，一共13层。每一层的参数设置除了输出特征图不一样之外，其他参数均一样。

S33、对特征提取后的特征图进行池化操作，用于进一步的提取更高层次的特征；池化层一共有5层，

S34、对特征图反复进行卷积操作和池化操作，直到将所述卷积层和池化层的不同大小的特征图统一划分为3x3或6x6像素的模块，将特征图展开成为符合全连接层要求的目标向量，所述全连接层用于输出目标的类别信息；

S35、通过网络最后一层SoftMax分类器输出定性的正确分割结果以及Accuracy网络层输出定量的分割准确率。

基于VGG网络制备分割网络模型，同时将目标检测中针对小目标检测的改进网络FPN(Feature Pyramid Network)加入到分割网络当中，从而使语义信息得到加强，并将浅层和处理过的深层信息进行累加，

因为浅层特征可以提供更加准确的位置信息，而多次的降维和采样操作使深层定位信息存在误差，因此将其结合起来使用，便构建了一个更深的特征金字塔，融合了多层特征信息，从而可以在不同的特征进行输出。

S3分割操作后，对分割不理想的分割结果使用条件随机场来进行边缘分优化处理，从而提高边缘的分割精度。

由于在分割过程中经过实验有些边缘的分割效果并不是很好，因此，考虑使用条件随机场来进行边缘分优化处理，具体的就是利用条件随机场针对上述网络分割出来的结果再进一步的进行概率计算，提高边缘的分割精度。详细的条件随机场操作如下：

对于每个像素i具有类别标签x_i还有对应的观测值y_i,这样每个像素点作为节点，像素与像素间的关系作为边，即构成了一个条件随机场。而且我们通过观测变量y_i来推测像素i对应的类别标签x_i。条件随机场如图4所示，

条件随机场符合吉布斯分布，其中x即是上面所说的观测到的值，即是观测到的类别，而类别概率可以采用条件概率模型，大致的类别概率值的计算方式写成联合概率分布，计算方式如下，：

其中E(x|I是能量函数，Z(I)是一种规范化因子，主要的作用是保证所有的类别输出的概率值的和为1，为了简便，以下省略全局观测I，能量函数的具体描述如下：

其中的一元势函数即来自于前端网络针对类别标签x_i获得的输出之和，p(x_i)指的是像素i的类别概率值，描述的是单个像素点。而二元势函数如下：

当像素i和像素j相等，即x_i＝x_j相等时，u(x_i,x_j)＝1，其他情况为0，指的是高斯核，取决于像素i和像素j提取到的特征，特征用f表示，高斯核的定义可以依据像素位置以及颜色密度来确定。ω^m指的是像素与像素间的权重值。

二元势函数就是描述像素点与像素点之间的关系，鼓励相似像素分配相同的标签，而相差较大的像素分配不同标签，而这个“距离”的定义与颜色值和实际相对距离有关。所以这样CRF能够使图片尽量在边界处分割。上述(3)式中的二元势函数正是描述了每一像素与其他所有像素之间的关系，这就是全连接所在。条件随机场分为稀疏与全连接两种，而一元势函数即代表稀疏过程，二元势函数便代表了全连接过程。

通过对能量函数优化求解，去除明显不符合事实的识别结果，替换成合理的判别结果，得到对图像语义预测结果的优化，生成最终的语义分割结果。

S4、在分割完毕后实时将分割结果以图片的形式进行保存。

S5、将所有的分割结果保存为视频的形式，能够更好的表现实时性的特点。

本发明还提出了一种基于深度学习的无人机航拍场景语义分割及***，其包括；

图像采集模块，用于无人机飞行过程中的图像采集，主要通过无人机在飞行过程中利用自带的高分辨率摄像头针对无人机飞行过的场景进行拍摄；

图像传输模块，用于远程无线传输航拍图像，主要指无人机采集到的图像信息可以利用无线传输方式传递给地面站，利用地面处理模块进行处理；

样本数据存储模块，用于存储深度学习框架训练模型的样本数据；

图像处理模块，用于通过语义分割算法对采集到的图像进行分割操作，主要利用深度学习模型进行像素级分割，也即图像理解，在大量图片帧的处理过程，便可以做到对场景的分析理解；

分割结果显示模块，用于可视化分割结果，并利用此结果作为场景分析的依据；

分割结果保存模块，用于保存分割的结果，作为后续的各项实验以及应用分析。

图像采集模块与图像处理模块之间采用无线远程传输的方式，图像处理模块由于需要相对大一些的空间，放置固定的位置，无论是在室内或者是携带到室外都可以运行。图像处理模块与图像显示模块之间采用有线连接的方式，因此图像处理模块和图像显示模块一般情况下放置在同一处空间位置即可。

这么做的目的是相对于无人机的大量程，远距离飞行以及灵活性，图像处理模块的所有硬件配置相对来说较笨重。因此有必要使得图像采集模块能够与图像处理模块实现分离使用，更能发挥无人机的优势。远程无线的传输方式大大增加了空间的自由性。

本发明的图像处理模块基于VGG16网络，利用加入FPN(Feature PyramidNetwork，特征金字塔网络)，锁定小目标的分割，后端加入CRF(Conditional RandomField，条件随机场)，对分割结果进行边缘的再处理。基于卷积神经网络，融合深层具有更好的像素级语义信息和浅层拥有的更精确的目标位置信息，提供更好的分割效果。基于无人机平台，很好的扩展对任意场景的语义分析。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于深度学习的无人机航拍场景语义分割方法，其特征在于，包括如下步骤：

S1、无人机的摄像机进行图像采集并将采集的原始图像数据利用无线传输发送给地面设备，所述地面设备对采集的原始图像数据进行保存；

S2、通过深度学习框架训练分割网络模型，其主要包括，深度学习框架通过采集到的原始样本图片训练卷积神经网络，将针对小目标检测的改进网络与传统VGG网络相结合得到最终的分割网络模型；

S3、将采集的原始图像输入到分割网络模型中进行分割操作；

S4、在分割完毕后实时将分割结果以图片的形式进行保存。

2.根据权利要求1所述的方法，其特征在于，S4后还设有步骤S5、将所有的分割结果保存为视频的形式。

3.根据权利要求1所述的方法，其特征在于，所述S2包括如下步骤：

S21、针对所采集到的原始样本图片进行去噪处理，同时保留有益于分割的高分辨率样本；

S22、将所述原始样本图片进行命名并统一放置，同时分为训练集、验证集和测试集，制作训练、验证以及测试的图片名文件；

S23、确定要分割的目标类别，设定每一目标类别固定的颜色，对目标类别进行标注，从而得到真实分割效果图；

S24、深度学习框架读取原始样本图片和真实分割效果图，对S202中的各文件和slover.prototxt文件进行训练学习，得到一个以.caffemodel为后缀的分割模型；

S25、将针对小目标检测的改进网络与分割网络相结合得到最终的分割网络模型。

4.根据权利要求1所述的方法，其特征在于，所述S3包括如下步骤：

S31、将采集到的原始图片输入到分割网络模型中；

S32、利用卷积操作对采集到的原始图片的像素值进行提取，即特征提取，其中，卷积层的层数与传统VGG网络的层数相同；

S33、对特征提取后的特征图进行池化操作，用于进一步的提取更高层次的特征；

S34、对特征图反复进行卷积操作和池化操作，直到将所述卷积层和池化层的不同大小的特征图统一划分为3x3或6x6像素的模块，将特征图展开成为符合全连接层要求的目标向量，所述全连接层用于输出目标的类别信息；

S35、通过网络最后一层SoftMax分类器输出定性的正确分割结果以及Accuracy网络层输出定量的分割准确率。

5.根据权利要求1或4所述的方法，其特征在于，S3分割操作后，对分割不理想的分割结果使用条件随机场来进行边缘分优化处理，从而提高边缘的分割精度。

6.一种基于深度学习的无人机航拍场景语义分割及***，其包括；

图像采集模块，用于无人机飞行过程中的图像采集；

图像传输模块，用于远程无线传输航拍图像；

样本数据存储模块，用于存储深度学习框架训练模型的样本数据；

图像处理模块，用于通过语义分割算法对采集到的图像进行分割操作；

分割结果显示模块，用于可视化分割结果，并利用此结果作为场景分析的依据；

分割结果保存模块，用于保存分割的结果，作为后续的各项实验以及应用分析。