CN112668662A - 基于改进YOLOv3网络的野外山林环境目标检测方法 - Google Patents

Abstract

本发明公开一种基于改进YOLOv3网络的野外山林环境目标检测方法，本发明制作野外山林环境的目标检测数据集，引入基于注意力机制的空间变换层嵌入到YOLOv3检测模型中，并在此基础上添加de‑STL层方便模型训练，最终设计出改进的YOLOv3检测网络，然后对网络进行fine‑tuning，得到最终用于野外山林环境中的目标检测模型；本发明能够在野外山林环境中对目标进行准确的检测，并提高了检测器在野外山林环境中进行目标检测的精度以及对小尺度目标的召回率。

Description

基于改进YOLOv3网络的野外山林环境目标检测方法

技术领域

本发明属于计算机视觉与机器学习技术领域，具体涉及一种基于改进YOLOv3网络的野外山林环境目标检测方法。

背景技术

随着科技发展，目标检测技术目前已经成为计算机视觉领域的一个热门方向与研究重点。目标检测技术在各种实际场景下得以应用，例如无人驾驶、无人机监控、场景识别等领域，但是野外山林环境中的目标检测算法仍存在诸多问题。由于野外山林环境具有很高的复杂性，存在着光照变化剧烈、气候变化无常、目标与非目标之间遮挡严重等情况，使得目标检测等基于视觉的任务难度增加，而且出于实际需求，检测速度也必须要满足实时性。

传统的目标检测算法主要依靠实际物体的表观特征。对于纹理丰富的目标，人工设计特征描述子，如SIFT、PCA-SIFT、SURF等，从图像上提取到表征性强的特征点，进而进行匹配检测。而对于纹理较少甚至无纹理的目标，模板匹配的方式则是首选的解决方法。模板匹配的核心问题是设计合理、普适的距离度量方式。然而，上述两种方法很容易受到环境的影响，如遮挡、易混淆的背景等，而且传统的方法对于环境的光照变化和噪声极为敏感。

近年来随着深度学习技术的发展，越来越多的工程技术开始应用深度卷积网络(CNN)来解决实际问题。使用深度学习的目标检测方法，将不需要人工设计的特征描述子，而是利用深度学习的特点，让网络自身去学习更高级别的语义信息。而且深度卷积网络(CNN)对于光照、尺度变化以及噪声等因素也更加鲁棒，极大地提高了模型的泛化能力和目标检测算法的精度。

文献(Girshick R,Donahue J,Darrell T,et al.Rich feature hierarchiesfor accurate object detection and semantic segmentation[C]//Proceedings ofthe IEEE conference on computer vision and pattern recognition.2014:580-587.)中最先提出了基于深度学***衡精度与速度两方面的要求，另一类基于回归思想的One Stage的目标检测模型受到了广泛关注，其中较为典型的是YOLO系列(Redmon J,Divvala S,Girshick R,et al.You only look once:Unified,real-time object detection[C]//Proceedings of the IEEE conference on computervision and pattern recognition.2016:779-788.)和SSD系列(Liu W,Anguelov D,ErhanD,et al.Ssd:Single shot multibox detector[C]//European conference on computervision.Springer,Cham,2016:21-37.)。SSD检测模型，是将包围框的输出空间离散为不同宽高比的一组默认框(default boxes)，在默认框的基础上进行微调，并在不同尺度的特征图上进行检测，虽然精度较高但是其实时性远不如YOLO。YOLO系列的实时性非常好，而且YOLOv3模型基本做到了速度和精度的相互平衡，且基于小目标和多目标的检测效果也得到了很大提升，相比于SSD模型，由于YOLO的高效性，得到了更广泛的应用。

发明内容

有鉴于此，本发明提供了一种基于改进YOLOv3网络的野外山林环境目标检测方法，能够有效地提高新的网络模型在野外山林环境中目标检测的准确性。

实现本发明的技术方案如下：

基于改进YOLOv3网络的野外山林环境目标检测方法，包括以下步骤：

步骤一、获取野外山林背景图片以及前景对象,预设检测目标种类为人和车辆；

步骤二、通过图像预处理将背景与前景叠加，生成数据集，并获取前景对象的包围框与类别数据，生成与PASCALVOC2012数据集相同格式的xml文件，即得到训练集、验证集和测试集；

步骤三、基于YOLOv3网络模型，在不同尺度的特征提取层之后添加空间变换层STL，以不同尺度的特征图作为输入，训练得到不同的仿射变换结果，再对STL层的输出特征，进行后续的分类和包围框回归操作，这种方法可以有效解决野外山林环境中目标发生旋转以及尺度变化时检测效果下降的问题；

步骤四、在网络最后添加de-STL变换层，使得最终计算结果与仿射变换之前的以feature map为坐标系的真值包围框的编码结果相匹配，得到与原图坐标系对应的x和y，再计算损失；

步骤五、利用步骤二所得的训练集、验证集和测试集对步骤四所得到的改进后的YOLOv3网络进行训练，得到性能最优模型。

进一步地，步骤一具体包括以下过程：利用python3+BeautifulSoup+requests+lxml在互联网上分别爬取forest(森林)、valley(谷地)、plain(草原)、wetland(湿地)四个关键字的图片，数量分别为700、600、600、600，人工剔除其中不合适的图片；选取COCO2014数据集中的人(person，category_id＝1)和车(car,category_id＝3)的数据作为前景对象，因为其包含的目标更加日常化，形变、遮挡情况较多，通过在背景图中随机***前景对象来构建野外山林环境数据集。

进一步地，步骤三具体包括以下过程：基于注意力机制的STL层的设计重点在于localization net，使其对于输入的特征图，输出6个参数来对原来的特征图进行仿射变换，以此来应对目标存在的旋转及尺度变化所导致的检测精度下降的问题；所以将STL嵌入到darknet-53的conv26，conv43和conv52特征图之后，既保证了通过STL层后，信息丢失量较小，又保证了对旋转变化的敏感性，之后再对输出结果进行分类和回归等损失计算。

进一步地，步骤四具体包括以下过程：de-STL层嵌入到图像目标位置卷积层之后，为的是方便计算location的损失；其中location的损失为：

其中，λ_coord为损失系数，S是feature网格单元的数量，B为预测的box数量，

定义为，如果网格单元i中存在目标，则第j个边界框预测值对该预测有效，此时为1；如果网格单元i中不存在目标，此时为0；

分别代表着检测网络输出的目标预测位置以及宽高值，

为目标在数据集中的位置以及宽高真值。

进一步地，步骤五具体为：

(1)YOLOv3模型中一共有9个anchor，3个不同尺度的输出，每个输出用3个anchor，所以输出的每个位置预测3个box；对于每个box来说，其输出的参数包括目标位置坐标以及宽高值，及该box有物体的置信分数和该box中为每类物体的概率；

(2)配置训练整个网络的损失函数为：

Loss＝λ₁Loss_loc+λ₂Loss_conf+λ₃Loss_cls

上式中，λ₁为目标位置损失系数，λ₂是目标置信度损失系数，λ₃为目标类别损失系数；

目标置信度损失Loss_conf采用的是二值交叉熵损失(Binary Cross Entropy)，用o_i∈{0,1}表示预测目标边界框i中是否真实存在目标，0表示不存在，1表示存在；

定义为，如果网格单元i中存在目标，则第j个边界框预测值对该预测有效，此时为1；如果网格单元i中不存在目标，此时为0，

与之相反，如果网格单元i中存在目标，则第j个边界框预测值对该预测有效，此时为0；如果网格单元i中不存在目标，此时为1；λ_noobj为当前网格无真实目标物的损失系数，λ_obj为当前网格有真实目标物的损失系数；

表示预测目标矩形框i内是否存在目标的Sigmoid概率，c_i代表真值，而目标置信度Loss_conf的公式为：

目标类别损失Loss_cls同样采用的是二值交叉熵损失，其中,o_ij∈{0,1}表示预测目标边界框i中是否真实存在第j类目标，0表示不存在，1表示存在；

表示网络预测目标边界框i内存在第j类目标的Sigmoid概率，Loss_cls的公式为：

(3)利用设计好的损失函数形式以及SGD(随机梯度下降)的方法进行训练，梯度更新方式采用Adam方式。

有益效果：

本发明在解决野外山林环境下的目标检测问题时，引入了基于注意力机制的STL空间变换层，连接到特征输入层之后，使得网络可以自行学习仿射变换参数，以应对不同尺度的目标所存在的旋转问题和遮挡问题，并且能够增加小目标检测的准确性，有效地提高了目标检测精度。最终结果显示，本发明在野外山林数据集上有着很高的目标检测效果。

附图说明

图1是本发明所制作的数据集；

图2是本发明的网络模型结构；

图3是空间变换层STL的具体结构；

图4是de-STL层的具体结构；

图5是本发明的实际效果图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明主要针对于野外山林环境中，由于物体的遮挡、旋转及尺度变化等情况较严重的情形下，现有目标检测方法很难应对的技术问题。本方法的核心是YOLOv3目标检测算法，其是一种平衡精度与速度的高效目标检测的方法，采用的是卷积网络结构，其具体结构如附图2所示。本发明能够在野外山林环境中对目标进行准确的检测，并提高了检测器在野外山林环境中进行目标检测的精度以及对小尺度目标的召回率。

本发明的详细步骤如下：

步骤1：获取野外山林背景图片以及前景对象,预设检测种类为人和车辆。本发明使用python3+BeautifulSoup+requests+lxml在互联网上分别爬取forest(森林)、valley(谷地)、plain(草原)、wetland(湿地)四个“关键字”的图片，数量分别为700、600、600、600，人工剔除其中不合适的图片(如已包含前景数据的图片、水印较多的图片。经统计，图片的平均大小为[600,400]，且均保存为‘.jpg’格式。选取COCO2014中人(person，category_id＝1)和车(car,category_id＝3)的数据作为前景对象，一方面因为其精确的segmentation标定允许前景对象的提取，另一方面也因为其包含的目标更加日常化，形变、遮挡情况较多，有利于增加检测器的鲁棒性。并且为了更完整地提取对象，在提取脚本中设置radius＝2，即将segmentation的轮廓向外延展2个像素。共提取1884张person图片与1352张car图片，每张图片中除前景数据外，其他位置像素值均为0，可以方便地与背景图片进行叠加。

步骤2：通过图像预处理，将背景图片与前景数据叠加，合成后图片效果如图1所示，生成数据集，并在脚本中自动获取对象的包围框与类别数据，生成与PASCALVOC2012数据集相同格式的xml文件，供后续训练使用。在合成图片时，遵循以下规则：

a)COCO数据集中已经存在很多形变与遮挡的情况，因此不再添加此方面的随机性；

b)为前景数据添加尺度变化，使(前景较大的边/背景较小的边)在0.2到0.45范围内；

c)为使合成的图片更加真实，使|前景像素均值-背景像素均值|<30；

d)每张图片按0.2,0.3,0.5的概率包含3,2,1个前景实例，每个实例属于人、车类别的概率相同；

e)包围框格式为(x_min，y_min)，(x_max，y_max)格式。

另外，在编写脚本时需要注意图片坐标系的方向(如cv2.imread函数默认图片的高为x方向，cv2.rectangle函数默认图片的宽为x方向，xml文件中也默认图片的宽为x方向)。共合成2500张图片，以4:1的比例随机分为训练集和测试集，按照PACALVOC2012的存储结构进行存储，为叙述方便，命名构建的数据集为Detection2500。

步骤3：设计STL层如图3所示，该空间变换网络主要具有如下特性：

(1)该网络可以作为一个模块简便地嵌入到任何网络中。(2)该网络需要学习的参数即为localization net的参数。换而言之，网络可以在训练的过程中自主地学习该进行怎样的仿射变换而使分类器或检测器的输出具有更高的置信度。另外由于目标检测任务与图像分类任务不同，除了需要准确知道目标的种类，还要得到目标的包围框。考虑到这一点，并且基于以下两点原因，将STL放到第一层，即输入图像之后，是不合理的：a)STL的训练会使输入U损失一部分信息，再经过卷积层提取特征的话，会丢失可观数量的特征，尤其在输入图像中同时包含多个物体的时候；b)YOLOv3结构的一大特性即是不同尺度的特征图“负责”检测不同尺度的目标。而相对于尺度类似的目标，尺度差异较大的目标需要的“合适”的仿射变换之间的差异也较大。因此，将特征图作为输入，为不同尺度的特征图训练不同的仿射变换才是比较合理的。将STL嵌入到不同尺度的特征图之后，对STL的输出再进行分类和包围框回归等操作。

步骤4：de-STL层的设计如图4所示，其中“de”为否定前缀，取“逆”的意思，定义de-STL为STL的逆操作。添加此操作的原因为，经过STL之后，location部分的输出是以仿射变换之后的feature map为坐标系的，这显然与以仿射变换之前的feature map为坐标系的真值包围框的编码结果不符，因此需要将location部分的输出经过逆变换，即de-STL，得到坐标系匹配的x和y，再计算损失，进而对网络进行训练。其中Loss_loc为：

其中，λ_coord为损失系数，S是feature网格单元的数量，B为预测的box数量，

定义为，如果网格单元i中存在目标，则第j个边界框预测值对该预测有效，此时为1；如果网格单元i中不存在目标，此时为0；

分别代表着检测网络输出的目标预测位置以及宽高值，

为目标在数据集中的位置以及宽高真值。这是根据网络输出的defaultbox的偏移量来进一步计算得到的。数据集中常用的图像中目标位置的表示方法为(x_min,y_min)、(x_max,y_max)，即用包围框的左上角和右下角的位置坐标来表示。为了使用上述的损失计算方式以及保持包围框的平移、缩放不变性，需要将其编码，即用中心点坐标和宽高表示包围框的形式。

步骤5：配置网络训练过程如下：

(1)YOLOv3模型中一共有9个anchor，3个不同尺度的输出，每个输出用3个anchor，所以输出的每个位置预测3个box。对于每个box来说，其输出的参数包括x,y,w,h，这是根据网络输出的default box的偏移量来进一步计算得到的，以及该box有物体的置信分数和该box中为每类物体的概率。因此，对于VOC数据集来说，其包含了20种类别，那么YOLOv3的输出3种尺寸的大小为：13×13×(3×(20+5))＝13×13×75,26×26×(3×(20+5))＝26×26×75,52×52×(3×(20+5))＝52×52×75。

(2)配置训练整个网络的损失函数为：

Loss＝λ₁Loss_loc+λ₂Loss_conf+λ₃Loss_cls

上式中，λ₁为目标位置损失系数，λ₂是目标置信度损失系数，λ₃为目标类别损失系数；

目标置信度损失Loss_conf采用的是二值交叉熵损失(Binary Cross Entropy)，用o_i∈{0,1}表示预测目标边界框i中是否真实存在目标，0表示不存在，1表示存在；

定义为，如果网格单元i中存在目标，则第j个边界框预测值对该预测有效，此时为1；如果网格单元i中不存在目标，此时为0，

与之相反，如果网格单元i中存在目标，则第j个边界框预测值对该预测有效，此时为0；如果网格单元i中不存在目标，此时为1；λ_noobj为当前网格无真实目标物的损失系数，λ_obj为当前网格有真实目标物的损失系数；

表示预测目标矩形框i内是否存在目标的Sigmoid概率，c_i代表真值，而目标置信度Loss_conf的公式为：

目标类别损失Loss_cls同样采用的是二值交叉熵损失，采用二值交叉熵损失的原因是，同一目标可同时归为多类，比如猫可归为猫类以及动物类，这样能够应对更加复杂的场景。其中,o_ij∈{0,1}表示预测目标边界框i中是否真实存在第j类目标，0表示不存在，1表示存在；

表示网络预测目标边界框i内存在第j类目标的Sigmoid概率，S是feature网格单元的数量，B为预测的box数量，Loss_cls的公式为：

(3)利用设计好的损失函数形式以及SGD(随机梯度下降)的方法进行训练，梯度更新方式采用Adam方式。

本发明所提出的模型与其他检测方法相比，对于野外山林环境的目标检测任务而言有着更高的检测精度与性能，并且针对于小目标检测有着更高的准确性，其具体检测效果如图5所示。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于改进YOLOv3网络的野外山林环境目标检测方法，其特征在于，包括以下步骤：

步骤一、获取野外山林背景图片以及前景对象,预设检测目标种类为人和车辆；

步骤二、通过图像预处理将背景与前景叠加，生成数据集，并获取前景对象的包围框与类别数据，生成与PASCALVOC2012数据集相同格式的xml文件，即得到训练集、验证集和测试集；

步骤三、基于YOLOv3网络模型，在不同尺度的特征提取层之后添加空间变换层STL，以不同尺度的特征图作为输入，训练得到不同的仿射变换结果，再对STL层的输出特征，进行后续的分类和包围框回归操作；

步骤四、在网络最后添加de-STL变换层，使得最终计算结果与仿射变换之前的以feature map为坐标系的真值包围框的编码结果相匹配，得到与原图坐标系对应的x和y，再计算损失；

步骤五、利用步骤二所得的训练集、验证集和测试集对步骤四所得到的改进后的YOLOv3网络进行训练，得到性能最优模型。

2.如权利要求1所述的基于改进YOLOv3网络的野外山林环境目标检测方法，其特征在于，步骤一具体包括以下过程：利用python3+BeautifulSoup+requests+lxml在互联网上分别爬取forest、valley、plain、wetland四个关键字的图片，数量分别为700、600、600、600，人工剔除其中不合适的图片；选取COCO2014数据集中的人和车的数据作为前景对象，因为其包含的目标更加日常化，形变、遮挡情况较多，通过在背景图中随机***前景对象来构建野外山林环境数据集。

3.如权利要求1所述的基于改进YOLOv3网络的野外山林环境目标检测方法，其特征在于，步骤三具体包括以下过程：基于注意力机制的STL层的设计重点在于localizationnet，使其对于输入的特征图，输出6个参数来对原来的特征图进行仿射变换，以此来应对目标存在的旋转及尺度变化所导致的检测精度下降的问题；所以将STL嵌入到darknet-53的conv26，conv43和conv52特征图之后，既保证了通过STL层后，信息丢失量较小，又保证了对旋转变化的敏感性，之后再对输出结果进行分类和回归等损失计算。

4.如权利要求1所述的基于改进YOLOv3网络的野外山林环境目标检测方法，其特征在于，步骤四具体包括以下过程：de-STL层嵌入到图像目标位置卷积层之后，为的是方便计算location的损失；其中location的损失为：

其中，λ_coord为损失系数，S是feature网格单元的数量，B为预测的box数量，

定义为，如果网格单元i中存在目标，则第j个边界框预测值对该预测有效，此时为1；如果网格单元i中不存在目标，此时为0；x_i,y_i,

分别代表着检测网络输出的目标预测位置以及宽高值，

为目标在数据集中的位置以及宽高真值。

5.如权利要求1所述的基于改进YOLOv3网络的野外山林环境目标检测方法，其特征在于，步骤五具体为：

(1)YOLOv3模型中一共有9个anchor，3个不同尺度的输出，每个输出用3个anchor，所以输出的每个位置预测3个box；对于每个box来说，其输出的参数包括目标位置坐标以及宽高值，及该box有物体的置信分数和该box中为每类物体的概率；

(2)配置训练整个网络的损失函数为：

Loss＝λ₁Loss_loc+λ₂Loss_conf+λ₃Loss_cls

上式中，λ₁为目标位置损失系数，λ₂是目标置信度损失系数，λ₃为目标类别损失系数；

目标置信度损失Loss_conf采用的是二值交叉熵损失(Binary Cross Entropy)，用o_i∈{0,1}表示预测目标边界框i中是否真实存在目标，0表示不存在，1表示存在；

定义为，如果网格单元i中存在目标，则第j个边界框预测值对该预测有效，此时为1；如果网格单元i中不存在目标，此时为0，

与之相反，如果网格单元i中存在目标，则第j个边界框预测值对该预测有效，此时为0；如果网格单元i中不存在目标，此时为1；λ_noobj为当前网格无真实目标物的损失系数，λ_obj为当前网格有真实目标物的损失系数；

表示预测目标矩形框i内是否存在目标的Sigmoid概率，c_i代表真值，而目标置信度Loss_conf的公式为：

目标类别损失Loss_cls同样采用的是二值交叉熵损失，其中,o_ij∈{0,1}表示预测目标边界框i中是否真实存在第j类目标，0表示不存在，1表示存在；

表示网络预测目标边界框i内存在第j类目标的Sigmoid概率，Loss_cls的公式为：

(3)利用设计好的损失函数形式以及SGD的方法进行训练，梯度更新方式采用Adam方式。

Images