CN115661786A - 一种区域预搜索的轨道障碍物小目标检测方法 - Google Patents

Abstract

本发明公开了一种区域预搜索的轨道障碍物小目标检测方法，包括以下步骤：S1.区域预搜索感兴趣区域划分阶段；S2.感兴趣区域算法重建阶段；S3.感兴趣区域检测小目标阶段。本发明提供了一种区域预搜索的轨道障碍物小目标检测方法，能够有效的检测在真实轨道场景下出现的远距离小目标障碍物的检测，并且避免由于复杂背景导致的检测误报行为，可以实时高精度的进行障碍物的检测，具有良好的应用价值。

Description

一种区域预搜索的轨道障碍物小目标检测方法

技术领域

本发明涉及障碍物实时检测技术领域，尤其涉及一种区域预搜索的轨道障碍物小目标检测方法。

背景技术

铁路运输作为我国最主要的交通运输方式，承载了大部分货物运输及人员输送的使命。由于铁路行车具有速度快、制动距离长的特点，导致行车安全问题一直难以避免。尤其是对于侵限行为的检测与预防，在现有技术条件下，难以进行有效的侵限行为的检测并联合列车制动的能力。

基于现有的不同硬件设施，轨道场景障碍物的研究方法可以分为基于激光雷达的障碍物检测与基于视觉图像的障碍物检测。基于激光雷达的障碍物检测依靠车载雷达获得列车前方目标体的数据，并构建区域模型进行障碍物的判别。在深度学习技术尚未普及之前，基于视觉图像的障碍物检测方法一般采用Hough变换、ViBe提取器等算法进行障碍物的检测，而随着深度学习技术的不断发展，一些优秀的目标检测算法替代传统的图像处理方法成为障碍物检测的主流方法。与基于激光雷达的障碍物检测方法相比，基于视觉图像的障碍物检测方法更能够兼顾检测的实时性与精准度，具有良好的应用前景。

但在实际的应用场景中仍然存在两个关键问题待以解决：(1)轨道交通的障碍物往往以中小目标的形式出现，由此中小目标的检测精度至关重要；(2)在算法检测精度较高的情况下，容易将非轨道区域的物体识别为轨道区域的障碍物而产生误报。

发明内容

本发明的目的在于提供一种区域预搜索的轨道障碍物小目标检测方法，用于解决轨道交通场景的小目标障碍物难以检测、检测背景容易干扰误报的问题。

本发明公开的一种区域预搜索的轨道障碍物小目标检测方法所采用的技术方案是:

一种区域预搜索的轨道障碍物小目标检测方法，包括以下步骤：

S1.区域预搜索感兴趣区域划分阶段:

感兴趣区域的确定:以列车前进方向轨道为中心的相关区域作为感兴趣区域，利用lableimage软件构建感兴趣区域，并形成最终的轨道感兴趣区域数据集，使用目标检测算法在此数据集上进行训练即可推理得到轨道感兴趣区域；

S2.感兴趣区域算法重建阶段：

半失真缩放重建算法：首先计算图像现有尺寸与期望尺寸的差值并取一半作为上采样扩张尺寸，同时通过使用K-Mean聚类生成的小目标代表性尺寸计算得到临界失真尺寸，临界失真尺寸取决于代表性小目标尺寸与裁切尺寸的比例关系，若上采样尺寸小于临界失真尺寸则选择先使用双线性插值进行失真扩张，再使用Letterbox算法的策略，否则直接使用Letterbox算法；

S3.感兴趣区域检测小目标阶段：

检测网络的选择及改进：检测网络选择使用YOLO系列精度最高的轻量化检测网络YOLOX-S作为基础，针对小目标物体的检测精度；

针对主干网络的改进：Dilated_Block结构将YOLOX-S主干网络中的所有残差结构进行改进，在YOLOX-S网络中共有4层残差结构，因Dilated_Block残差结构能够提供足够的感受野，所以改进后的网络中去除了最后一层残差结构。同时改进后的网络依靠单独的卷积进行降采样，残差结构不改变输入特征图的宽高；

各算法间适配：对于区域预搜索任务确定采用输入尺寸为416×416的图像作为输入，小尺寸的输入能够快速的进行网络的推理，考虑到轨道的分布具有宽高比例，所以采用半失真缩放算法将感兴趣区域尺寸重建为480×640尺寸，最后将重建后尺寸为480×640的图像输入小目标检测网络进行障碍物的检测，整个网络最终命名为RPSNet。

作为优选方案，在S1中为能够让检测网络更加快速的推理出轨道感兴趣区域，提出一种深度可分离卷积构成的一种高效率快速残差结构，该结构在主干边上使用升维结构将特征图卷积至高维通道，并使用深度可分离卷积进行特征提取，在残差边上使用1×1卷积通道调整后与主干边融合。首先利用此结构替换YOLOv4-Tiny主干网络中的残差结构，其次将YOLOv4-Tiny的解码预测改进为AnchorsFree解码预测，改进后的网络将输出图片改为输出四个参数，即检测目标的位置坐标重新定义为(x，y，w，h)，为后续进行图像重建奠定基础。

作为优选方案，根据感兴趣区域划分的要求利用Labimage软件构建了轨道感兴趣区域数据集，并在此基础上进行感兴趣区域的训练划分；根据深度可分离卷积提出一种高效率的残差特征提取结构，该结构通过将特征图卷积到高维通道，使用深度可分离卷积进行特征提取的形式实现了高效率的特征提取，并依据此结构实现了对于YOLOv4-Tiny主干网络的改进，该结构的输入特征图X∈R^C×H×W与输出特征图Y∈R^{C′×H′×W′}的关系，可用下列公式表示：

其中C_1×1(·)表示卷积核尺寸为1的标准卷积块，D_3×3(·)表示卷积核尺寸为3的深度可分离卷积块，

表示通道维度相加运算，MP(·)表示最大池化运算。

使用AnchorsFree解码网络对改进后的网络进行输出适配，同时将网络输出预测图片的形式更改为输出感兴趣区域坐标，形成YOLOv4-ASNet网络。

作为优选方案，引入一种图像半失真的概念，该算法在Letterbox算法的基础上加入半失真扩充，相比原算法能够在维持图片原始数据分布的前提下扩充更多的图像细节信息，该算法的计算公式如下列公式：

(lim_h,lim_w)＝(λ×clu_h,λ×clu_w)

其中，函数f(x)表示聚类算法。

作为优选方案，基于YOLOX-S改进的一种针对小目标的检测网络YOLOX-STDNet，通过设计重复堆叠的空洞卷积实现了一种可大幅度扩大特征图感受野的残差特征提取结构Dilated_Block，在该结构中使用HDC设计原则，设计重复堆叠的空洞卷积空洞率分别为1、2、4，避免重复堆叠空洞卷积出现的锯齿效应。在自适应特征融合结构ASFF的相同重缩放阶段引入空间通道自注意力机制CBAM，实现了一种自适应自注意力特征融合结构ASFF-CBAM，

利用上述两种结构分别针对YOLOX-S网络的主干网络与特征融合结构进行改进：使用Dilated_Block残差结构替换原算法中的残差结构，并去除最后一层的残差结构实现了对主干网络的改进，对于特征提取网络选择去除FPN结构直接使用ASFF-CBAM结构，设置其通道维度分为{256、512、1024}实现了对特征提取网络的改进。

本发明公开的一种区域预搜索的轨道障碍物小目标检测方法的有益效果是：通过对YOLOv4-Tiny网络改进残差结构使其能够更加快速的执行区域预搜索任务，并且根据构建的图像半失真缩放算法对搜索到的感兴趣区域进行提取并抑制非轨道区域，最终经过针对小目标检测改进的YOLOX-STDNet网络实现对于轨道小目标障碍物的检测。该发明能够有效的检测在真实轨道场景下出现的远距离小目标障碍物的检测，并且可以避免由于复杂背景导致的检测误报行为，可以实时高精度的进行障碍物的检测，具有良好的应用价值。

附图说明

图1是本发明一种区域预搜索的轨道障碍物小目标检测方法的不同轨道场景分析图。

图2是本发明一种区域预搜索的轨道障碍物小目标检测方法的轨道感兴趣区域划分尺寸图。

图3是本发明一种区域预搜索的轨道障碍物小目标检测方法的DS_Block残差结构框图。

图4是本发明一种区域预搜索的轨道障碍物小目标检测方法的Letterbox图片缩放算法框图。

图5是本发明一种区域预搜索的轨道障碍物小目标检测方法的半失真图片缩放算法框图。

图6是本发明一种区域预搜索的轨道障碍物小目标检测方法的Dilated_Block残差结构框图。

图7是本发明一种区域预搜索的轨道障碍物小目标检测方法的ASFF-CBAM网络结构图。

图8是本发明一种区域预搜索的轨道障碍物小目标检测方法的RPSNet算法总体架构框图。

图9是本发明一种区域预搜索的轨道障碍物小目标检测方法的YOLOv4-ASNet网络感兴趣区域划分及图像半失真缩放算法效果图。

图10是本发明一种区域预搜索的轨道障碍物小目标检测方法的数据集及感兴趣区域尺寸分布散点图。

图11是本发明一种区域预搜索的轨道障碍物小目标检测方法的YOLOX-STDNet网络与其他同类网络训练精度对比图。

图12是本发明一种区域预搜索的轨道障碍物小目标检测方法的改进YOLOX-STDNet小目标检测网络与经典网络对比实验图。

图13是本发明一种区域预搜索的轨道障碍物小目标检测方法的检测局部放大图。

图14是本发明一种区域预搜索的轨道障碍物小目标检测方法的视频帧检测效果图。

具体实施方式

下面结合具体实施例和说明书附图对本发明做进一步阐述和说明:

本发明采用如下技术方案为一种区域预搜索的轨道障碍物小目标检测算法，该方法的实现步骤如下：

区域预搜索感兴趣区域划分阶段：

S1.感兴趣区域的确定：通常情况下轨道交通场景障碍物的判定取决于：该物体是否处于以行驶轨道为中心的相关区域。为此本发明提出的区域预搜索方法将以此区域作为感兴趣区域，使用轨道场景图像及划分区域尺寸如图1、图2的事例所示。

S1-1.深度网络的改进：现有的目标检测算法可以根据检测方法的不同分为两种，两阶段目标检测网络与单阶段目标检测网络。两阶段检测目标网络将目标区域的定位及目标的种类确定分别进行，该类方法有较高的检测精度，但由于算法本身的特性导致该类方法实际检测应用中实时性较差，代表性方法有Fast-RCNN、Faster-RCNN等。单阶段的目标监测网络将目标的定位信息和目标的类别信息一起预测，并做解码构建，该类方法不仅检测速度快，并且检测精度较高，在近些年来成为目标检测领域的主流方法。代表性方法有YOLO(You Only Look Once,YOLO)系列及SSD(Single Shot MultiBox Detector,SSD)系列。考虑到区域预搜索的特性，选择使用目前检测速度最快的检测网络之一YOLOv4-Tiny作为基础的检测网络，改进后网络为YOLOv4-ASNet(YOLOv4 Area Search Network)。同时引入一种高效率的残差结构(Depthwise Separable Convolution Block,DS_Block)，对YOLOv4-Tiny中的主要残差结构进行改进，该残差结构如图3所示。

DS_Block主要由深度可分离卷积(Depthwise Separable Convolution)构成，分为主干通道与残差通道。对于输入尺寸为X∈R^C×H×W的输入特征图，首先在残差通道上使用1x1标准卷积将通道维度从C降至C'/2维度得到X₁∈R^C'/2×H×W等待与主干通道的融合。在主干通道上先使用1x1标准卷积将输入特征图通道维度从C升至λC得到X₂∈R^λC×H×W,其中λ为升维系数。随后利用深度可分离卷积对特征图X2进行特征提取，之后再次利用深度可分离卷积将通道维度从λC降至C'/2维度并与残差通道上的特征图进行融合得到X₃∈R^C′×H×W后使用最大池化层(Max Pooling，MP)调整输出特征图的宽高尺寸，得到输出尺寸为Y∈R^{C′×H′×W′}的特征图。

DS_Block残差结构输入特征图X∈R^C×H×W与输出特征图Y∈R^{C′×H′×W′}的关系，可用公式表示为：

其中C_1×1(·)表示卷积核尺寸为1的标准卷积块，D_3×3(·)表示卷积核尺寸为3的深度可分离卷积块，

表示通道维度相加运算，MP(·)表示最大池化运算。

S2.感兴趣区域算法重建阶段：

S2-1.图像半失真缩放算法：图片输入进YOLOv4-ASNet区域预搜索网络会划分出轨道相关的感兴趣区域，此时需要对感兴趣区域进行提取。提取得到的区域即为下一阶段小目标检测算法待检测的区域，但由于提取的区域尺寸较小且不统一，所以需要图片重建算法进行重建。为此，基于Letterbox算法提出一种图像半失真缩放算法，Letterbox算法是一种用于图像按比例缩放的重建算法，因重建后的图片具有信封(Letterbox)似的灰边所以命名为Letterbox算法，该算法流程图如图4所示，算法首先计算输入图片与缩放尺寸的比例系数，根据比例系数得到收缩比尺寸并使用双线性插值方法将图片缩放至收缩比尺寸，之后计算填充灰边的尺寸并最终将图片缩放至要求的图像尺寸。

S2-2.基于Letterbox算法提出的半失真图片缩放算法，在Letterbox算法的基础上提出半失真尺寸的概念，该算法流程图如图5所示。算法首先对区域预搜索网络输出结果获取区域尺寸(h，w)，通过公式(2)计算应上采样扩张的尺寸(dim_h,dim_w)，然后利用公式(3)根据小目标数据集尺寸

得到小目标代表性尺寸(clu_h,clu_w)，由于小目标代表性尺寸与裁切区域尺寸存在比例关系，最后将小目标代表性尺寸乘以比例系数λ得到临界失真尺寸(lim_h,lim_w)。当上采样扩张尺寸小于临界失真尺寸时，算法首先会采用双线性插值对提取的感兴趣区域进行扩充再使用Letterbox算法，否则直接使用Letterbox算法。

(lim_h,lim_w)＝(λ×clu_h,λ×clu_w)

其中，函数f(x)表示聚类算法。

S3.感兴趣区域检测小目标检测阶段：

S3-1.检测网络的确定：根据小目标检测的综合性能考虑，选择YOLOX系列的轻量化标准检测网络YOLOX-S作为基本的检测网络,改进后网络为YOLOX-STDNet(YOLOX SmallTarget Detection Network)。

S3-2.加强小目标上下文信息：感受野表示输出特征图上单位像素对应输入图像的空间范围，在YOLOX-S主干网络中高分辨率的特征图伴随着小尺寸的感受野，此时特征图虽然拥有较为完整的小目标细粒度信息，但受限于感受野的尺寸并不能完全表示，导致网络对于小目标物体的检测精度较低。因此学习具有大感受野高分辨率的特征表示有利于增强小目标的细粒度特征表示。空洞卷积是一种能够快速提升特征图感受野的卷积，依据向标准卷积中引入空洞率(Dilated rate)参数(该参数定义了卷积核处理数据时各值的间距)实现跳跃式的卷积。由此，构建一种空洞卷积构成的残差结构(Dilated ConvolutionBlock，Dilated_Block)，使用空洞卷积在保持高分辨率特征图的情况下扩大特征图的感受野，以提高小目标特征图的上下文信息，该残差结构如图6所示。

S3-3.加强小目标定位信息：YOLOX-S网络的特征融合部分采用PAFPN结构进行多尺度特征图的融合，但是这种金字塔式的特征融合方式在预测训练时会对小目标特征有一定的干扰性，这种不一致性会干扰训练过程中的梯度计算，降低特征金字塔的有效性。自适应特征融合结构(Adaptive Spatial Feature Fusion,ASFF)可以自适应的学习不同尺度的融合后的权重偏向，当小目标物体较多时ASFF结构将会产生较大的权重系数用于关注小目标特征图，这种自适应的特征融合方法更有利于小目标物体的检测。

ASFF自适应特征融合结构分为相同重缩放(identically rescaling)和自适应融合(adaptively fusing)两个步骤。相同重缩放首先将不同尺度的特征图缩放至相同尺度并进行拼接融合，形成初始的特征图；自适应融合将初始特征图经过softmax计算不同尺度的权重系数α,β,γ将其融入至初始特征图形成最终的融合输出。为了增强相同重缩放之后初始特征图的特征表示，可以在形成初始特征图之前加入通道空间注意力机制(Convolutional Block Attention Module,CBAM)，形成一种自适应注意力特征融合结构ASFF-CBAM，可充分利用CBAM分别学习通道和空间轴(spatial axes)上要重点关注的目标位置，实现增强各尺度目标定位信息的目的，该结构的算法框图如图7所示。

本发明主要使用Pytorch框架构建的深度神经网络及使用Ubuntu***搭建的深度学***台，配合自建轨道感兴趣区域数据集及自建轨道小目标障碍物数据集验证算法的有效性。其中轨道感兴趣区域数据集截取列车行车记录仪的行车图片进行制作，其中包含荒野、雪地、山区、城市等7种不同场景下的轨道区域共2117张图片；轨道小目标障碍物数据集一部分来自使用长焦相机在轨道2000米距离内拍摄的轨道行人数据，另一部分由网络搜集到的轨道相关的小目标数据组成，共包括5个类别5329张图片。两个数据集的训练集与验证集均按照0.9:0.1的比例进行划分。

本发明算法使用目标检测的通用评价指标平均检测精度(MeanAveragePrecision,MAP)衡量模型的检测性能，使用COCO数据集下定义的小目标平均检测精度MAP^small作为小目标物体检测的评价指标。使用每秒传输帧数FPS衡量模型的推理速度,计算见下式：

MAP^small＝area＜32²/px

AP代表某一类别的检测精度，MAP代表所有类别平均的检测精度。px为像素单位，MAPsmall表示在MAP指标的基础上，所有小于32*32像素大小物体的平均检测精度。FPS表示每秒内模型能够推理的图片数量，sec表示网络模型推理一张图片使用的时间。

本发明方法实现轨道障碍物小目标检测，主要包括感兴趣区域划分、图像算法重建以及小目标物体检测三个部分，如图8为该算法整体架构图，算法的具体实施过程如下：

感兴趣区域划分阶段：

S1：将制作的轨道感兴趣区域数据集按照训练集和测试集按照0.9:0.1的比例随机划分开，之后将训练集按照0.9：0.1的比例划分训练使用和验证使用。

S1-1：针对YOLOv4-Tiny网络对其主干网络的残差结构使用DS_Block残差结构进行改进，DS_Block残差结构如图3所示，该结构能够快速有效的提取特征图，之后为改进后的网络YOLOv4-ASNet设置训练参数，设置训练总循环为200次，batch size为16，初始学习率为0.0001，使用SGD优化策略对训练参数进行优化。

S1-1：对改进前后的网络进行实验验证及结果分析。首先通过实验确定网络性能基准，使用YOLOv4-Tiny网络在轨道感兴趣数据集上进行训练获得MAP为93.87％、每秒传输帧数为101.76FPS。基于YOLOv4-Tiny网络的性能基准，对本发明改进网络YOLOv4-ASNet中DS_Block残差结构的升维系数λ进行实验选择。

表1不同升维系数下的各项性能指标

升维系数λ	平均检测精度MAP/％	每秒传输帧数/FPS
			3C	91.53	121.2
4C	94.92(+3.39)	117.7(-3.5)
			5C	95.43(+0.51)	97.7(-20.0)
6C	95.62(+0.19)	84.7(-13.0)

表1列举了本发明改进网络YOLOv4-ASNet选取不同升维系数时的各项性能指标，实验发现当升维系数λ＝4C时(C为输入DS_Block残差结构的特征图通道维度)，YOLOv4-ASNet网络与改进前的YOLOv4-Tiny网络检测精度相似但检测速度更高。同时实验表明更高的升维系数在带来精度提升的同时，增加的参数量也导致模型的推理速度下降。于是选择升维系数λ＝4C构建YOLOv4-ASNet网络，平衡检测精度与速度。

表2 YOLOv4-ASNet网络与轻量化网络性能指标对比

表2为YOLOv4-ASNet网络与经典轻量化网络的对比实验，得益于YOLOv4-Tiny提供的强大推理速度，与其他同类网络相比改进后网络的检测速度最快，达到了快速划分感兴趣区域的目的。改进后的网络虽然检测精度略低于其余2个网络系列，但牺牲小部分精度带来推理速度的提升有利于整体算法的构建。

图9为本发明区域预搜索算法划分轨道感兴趣区域效果及本发明半失真算法重建效果图，从实验结果可以看出：对于不同路段的轨道区域，本发明方法均可以准确的划分出列车正在行驶轨道的感兴趣区域，并经过半失真算法重建后图像只保留感兴趣区域，减轻了下一阶段小目标检测网络的搜索负担。

S2.半失真缩放算法重建阶段：

S2-1：为得到小目标尺寸与裁切区域的关系，首先对数据集中的标定小目标框尺寸、YOLOv4-ASNet网络提取区域尺寸分别随机采样130组数据，如图10所示数据集中小目标尺寸大多在90x90像素以内，提取的感兴趣区域尺寸大多在500x350左右像素。之后使用k-mean聚类算法分别生成两组具有代表性的数据即小目标代表性尺寸(44，37)与裁切区域代表性尺寸(543，337)，通过两组数据可以发现小目标物体在裁切区域上的尺寸具有一定的比例关系。基于上述比例关系规定扩充的临界失真尺寸为小目标物体的一倍尺寸，并基于此设计了半失真算法。

S2-2:同样选取不同场景下的轨道区域测试半失真缩放算法的有效性，效果图如图4所示。

S3.小目标障碍物检测阶段：

S3-1：将制作的轨道小目标障碍物数据集按照训练集和测试集按照0.9:0.1的比例随机划分开，之后将训练集按照0.9：0.1的比例划分训练使用和验证使用。

S3-2：针对YOLOX-S网络的主干网络，使用Dilated_Block残差结构对第1、2、3次提取结构进行改进，去除第四次残差提取结构，改进前后主干网络所提供的各层的感受野如表3所示。

表3主干网络改进前后感受野对比

S3-3:使用ASFF-CBAM结构(如图7所示)在S3-1的基础上对YOLOX-S网络的特征融合部分进行改进。将最终基于YOLOX-S改进后YOLOX-STDNet网络设置训练参数进行训练，使用Mosaic+mixup方法增加训练时小目标的样本数量，采用Adam+SGD优化方法迭代300次的训练策略，其中Adam迭代前200次迭代动量为0.5，SGD迭代后100次迭代动量为0.9，学习率初始化为0.001。

S3-4：对改进前后的网络进行实验验证及结果分析。为检验本发明改进的小目标检测网络有效性，在相同的实验条件下与改进前YOLOX-S网络、YOLOX-L网络及FE-YOLO网络、YOLOv4-SE网络的列车障碍物检测方法进行对比，不同算法在相同实验环境下训练300次训练精度上升曲线的比较结果如图11所示。

由图8可见：YOLOX系列网络及其改进网络在训练收敛速度上表现最好，其次是FE-YOLO网络,其中YOLOX-L网络平均检测精度最高的，之后是本发明改进网络及FE-YOLO网络。YOLOX-L网络是YOLOX系列大型检测网络之一，网络参数量是YOLOX-S网络的6倍，由表4可知该网络平均检测精度最高达到82.81％，小目标检测精度也达到了24.6％，但检测速度仅有26.5FPS。FE-YOLO网络是基于YOLOv4网络改进的轨道障碍物检测算法，依据文献描述我们使用K-mean聚类及SE-Net注意力模块对网络进行改进。该网络在轨道小目标数据集上平均检测精度达到了80.10％，小目标检测精度达到了21.3％。YOLOv4-SE网络利用组卷积构成主干网络以及SSE-Net搭建的注意力模块构建起轨道障碍物检测网络，基于组卷积的计算优势该网络达到51.8FPS的检测速度，但平均检测精度仅有77.80％。

本发明改进前的YOLOX-S网络平均检测精度达到了79.61％，但小目标检测精度仅有20.3％，而本发明改进后的YOLOX-STDNet网络得益于改进后网络能够在小目标特征图上提供丰富的感受野，以及后续对于小目标特征图上的特征融合优化，将小目标检测精度提升至25.0％，同时残差结构残差边的减少，影响降低了网络训练收敛速度的同时，也将检测速度提升至47.8FPS。

表3-1本发明改进网络与同类检测网络性能指标对比

不同算法在不同距离轨道场景下侵限物体的检测结果如图12、图13所示。从实验结果可以看出：对于近距离内的轨道障碍物五种算法均可以正确检出，做到基本的检测功能，而对于中远距离的障碍物除去YOLOX-L网络与改进后的网络，其余各网络均出现了漏检的情况。YOLOX-S网络在道岔路口出现的行人以及远处的汽车均有未检出的情况，在第五幅中最远距离的轨道行人未检出；FE-YOLO网络检测效果稍好于YOLOX-S网络，但对于第四幅图像出现的汽车与行人重叠场景则只检出了汽车；YOLOv4-SE网络在对比实验中检测速度最快，对于大、中尺寸的轨道行人均可检出，但对于远距离的物体以及重叠场景物体的检测均出现了漏检；YOLOX-L网络与本发明改进网络检测效果相似，无论是远距离的小目标物体还是重叠场景的物体检测，均未出现漏检的情况，但本发明改进算法在保持与YOLOX-L网络相似检测精度的情况下实现了更快的检测速度。

在对不同检测网络对比性能分析之后，为验证本发明改进的YOLOX-STDNet网络各个模块的有效性，以YOLOX-S网络为基础，进行替换对比实验，实验结果见表4，实验过程及结果分析：

1)将YOLOX-S网络主干网络中的残差结构替换为具有空洞卷积的Dilated_Block残差模块，替换之后的网络小目标检测精度MAP^small上升了1.4％，平均检测精度MAP指标上升了1.47％；

2)将YOLOX-S网络中的PAFPN特征融合结构替换为ASFF自适应特征融合结构，此时网络能够根据小目标样本的数量产生偏向于小目标检测的权重参数，网络小目标检测精度上升0.9％，由于ASFF参数量较PAFPN结构较少，检测速度稍有上升；

3)在2)的基础上，将ASFF结构替换为ASFF-CBAM特征融合结构，此时网络的小目标检测精度较YOLOX-S提升了2.0％强于ASFF结构，说明加强特征融合的强度以及改善融合时的数据分布可以提升网络的检测效果，同时ASFF-CBAM结构增加的参数量也降低了网络的检测速度；

4)YOLOX-S网络采取1)+2)的构建方法，让主干网络输出具有大感受野的高分辨率特征图，同时使用自适应的特征融合结构ASFF，实验结果表明大感受野的特征图有利于特征融合结构融合出高效的输出特征图，网络此时平均检测精度达到81.59％，同时小目标检测精度达到了23.5％，接近于YOLOX-L网络；

5)YOLOX-S网络采用1)+3)的构建方法，与4)相比更强力的特征融合也将小目标检测精度提升至25.0％；

表4对照实验设计

为进一步验证本发明所提方法在现实场景中应用的有效性，选取一段使用长焦相机拍摄的视频进行检测，检测效果如图14所示。在相机焦距较小时(如图14(a))算法划分的轨道区域较大，随着相机焦距变大(如图14(d))及可视距离变长，网络划分的轨道区域逐渐聚焦于以铁轨为中心的感兴趣区域，同时能够检测到在此区域内的所有侵限物体。如视频第885～1 125帧之间出现的跨越轨道的行人，当行人不在轨道感兴趣区域内时，由于本发明算法的抑制作用未检出此物体，当行人正在跨越轨道时，算法检测出该物体在轨道感兴趣区域内，能够正确检出。同样依据实验得出每张图片的实际推理时间在0.0221s，计算得到每张推理速度约为45.1FPS，高于YOLOX-S每秒40.5FPS的检测速度，能够满足在实际场景中进行应用测试。

上述方案中，本发明提供一种区域预搜索的轨道障碍物小目标检测方法，通过对YOLOv4-Tiny网络改进残差结构使其能够更加快速的执行区域预搜索任务，并且根据构建的图像半失真缩放算法对搜索到的感兴趣区域进行提取并抑制非轨道区域，最终经过针对小目标检测改进的YOLOX-STDNet网络实现对于轨道小目标障碍物的检测。该发明能够有效的检测在真实轨道场景下出现的远距离小目标障碍物的检测，并且可以避免由于复杂背景导致的检测误报行为，可以实时高精度的进行障碍物的检测，具有良好的应用价值。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (5)

1.一种区域预搜索的轨道障碍物小目标检测方法，其特征在于，包括以下步骤：

S1.区域预搜索感兴趣区域划分阶段:

感兴趣区域的确定:以列车前进方向轨道为中心的相关区域作为感兴趣区域，利用lableimage软件构建感兴趣区域，并形成最终的轨道感兴趣区域数据集，使用目标检测算法在此数据集上进行训练即可推理得到轨道感兴趣区域；

S2.感兴趣区域算法重建阶段：

半失真缩放重建算法：首先计算图像现有尺寸与期望尺寸的差值并取一半作为上采样扩张尺寸，同时通过使用K-Mean聚类生成的小目标代表性尺寸计算得到临界失真尺寸，临界失真尺寸取决于代表性小目标尺寸与裁切尺寸的比例关系，若上采样尺寸小于临界失真尺寸则选择先使用双线性插值进行失真扩张，再使用Letterbox算法的策略，否则直接使用Letterbox算法；

S3.感兴趣区域检测小目标阶段：

检测网络的选择及改进：检测网络选择使用YOLO系列精度最高的轻量化检测网络YOLOX-S作为基础，改进网络以提高小目标物体的检测精度；

针对主干网络的改进：Dilated_Block结构将YOLOX-S主干网络中的所有残差结构进行改进，在YOLOX-S网络中共有4层残差结构，因Dilated_Block残差结构能够提供足够的感受野，所以改进后的网络中去除了最后一层残差结构。同时改进后的网络依靠单独的卷积进行降采样，残差结构不改变输入特征图的宽高；

各算法间适配：对于区域预搜索任务确定采用输入尺寸为416×416的图像作为输入，小尺寸的输入能够快速的进行网络的推理，考虑到轨道的分布具有宽高比例，所以采用半失真缩放算法将感兴趣区域尺寸重建为480×640尺寸，最后将重建后尺寸为480×640的图像输入小目标检测网络进行障碍物的检测，整个网络最终命名为RPSNet。

2.如权利要求1所述的一种区域预搜索的轨道障碍物小目标检测方法，其特征在于，在S1中为能够让检测网络更加快速的推理出轨道感兴趣区域，提出一种深度可分离卷积构成的一种高效率快速残差结构，该结构在主干边上使用升维结构将特征图卷积至高维通道，并使用深度可分离卷积进行特征提取，在残差边上使用1×1卷积通道调整后与主干边融合。首先利用此结构替换YOLOv4-Tiny主干网络中的残差结构，其次将YOLOv4-Tiny的解码预测改进为AnchorsFree解码预测，改进后的网络将输出图片改为输出四个参数，即检测目标的位置坐标重新定义为(x，y，w，h)，为后续进行图像重建奠定基础。

3.如权利要求2所述的一种区域预搜索的轨道障碍物小目标检测方法，其特征在于，根据感兴趣区域划分的要求利用Labimage软件构建了轨道感兴趣区域数据集，并在此基础上进行感兴趣区域的训练划分；根据深度可分离卷积提出一种高效率的残差特征提取结构，该结构通过将特征图卷积到高维通道，使用深度可分离卷积进行特征提取的形式实现了高效率的特征提取，并依据此结构实现了对于YOLOv4-Tiny主干网络的改进，该结构的输入特征图X∈R^C×H×W与输出特征图Y∈R^{C′×H′×W′}的关系，可用下列公式表示：

其中C_1×1(·)表示卷积核尺寸为1的标准卷积块，D_3×3(·)表示卷积核尺寸为3的深度可分离卷积块，

表示通道维度相加运算，MP(·)表示最大池化运算。

使用AnchorsFree解码预测进行输出适配，将网络输出感兴趣区域坐标，形成YOLOv4-ASNet网络。

4.如权利要求1所述的一种区域预搜索的轨道障碍物小目标检测方法，其特征在于，引入一种图像半失真的概念，该算法在Letterbox算法的基础上加入半失真扩充，相比原算法能够在维持图片原始数据分布的前提下扩充更多的图像细节信息，该算法的计算公式如下列公式：

(lim_h,lim_w)＝(λ×clu_h,λ×clu_w)

其中，函数f(x)表示聚类算法。

5.如权利要求1所述的一种区域预搜索的轨道障碍物小目标检测方法，其特征在于，基于YOLOX-S改进的一种针对小目标的检测网络YOLOX-STDNet，通过设计重复堆叠的空洞卷积实现了一种可大幅度扩大特征图感受野的残差特征提取结构Dilated_Block，在该结构中使用HDC设计原则，设计重复堆叠的空洞卷积空洞率分别为1、2、4，避免重复堆叠空洞卷积出现的锯齿效应。在自适应特征融合结构ASFF的相同重缩放阶段引入空间通道自注意力机制CBAM，设置CBAM通道数分别为{256、512、1024}，实现了一种自适应自注意力特征融合结构ASFF-CBAM，

利用上述两种结构分别针对YOLOX-S网络的主干网络与特征融合结构进行改进：使用Dilated_Block残差结构替换原算法中的残差结构，并去除最后一层的残差结构实现对主干网络的改进，对于特征提取网络选择去除FPN结构直接使用ASFF-CBAM结构，设置其通道维度分为{256、512、1024}实现了对特征提取网络的改进。

Images