CN109325911B - 一种基于注意力增强机制的空基铁轨检测方法 - Google Patents

Abstract

本发明公开了一种基于注意力增强机制的空基铁轨检测方法，属于航空监视领域。首先在临空飞行器上搭载高清阵列相机，获取铁轨原始图像并进行预处理，获得训练样本。将训练样本的图片输入卷积神经网络进行特征提取，得到16*16的编码图，并对其进行注意力增强，增加其特征表达能力。然后通过卷积神经网络对注意力增强后的编码图进行上采样，得到和原图同尺寸的判决图，对判决图进行分类判决，判决图中某点为铁轨上的点。最后根据判决结果，利用梯度下降算法，运用反向传播更新网络参数。本发明在精准检测的基础上，可以对铁轨周边环境及其自身安全状况进行监视，定位准确，效果显著，具有较强的工程价值和实践意义。

Description

一种基于注意力增强机制的空基铁轨检测方法

技术领域

本发明属于航空监视领域，具体是一种基于注意力增强机制的空基铁轨检测方法。

背景技术

中国是一个幅员辽阔的国家，拥有960万平方公里的广袤疆域。而巨大的国土面积也对我国的交通运输建设提出了很高的要求。为了满足国民经济建设和人民日常出行的需要，我国发展了多种交通工具体系。在这其中，铁路是最为重要且大众化的，在中国综合交通运输体系中处于骨干地位。其经济、快捷的特性使之成为一种受广泛使用和欢迎的运输方式。截至2016年年底，中国铁路营业总里程达12.4万公里，规模居世界第二；其中高速铁路2.5万公里，位居世界第一便捷的铁路网为国家发展提供了保障，更为人民生活提供了便利。

铁路交通是支撑我国国民经济发展的支柱，而铁路安全也是维系我国国家安全的重大问题。在铁路运营管理中，一个很重要的环节就是对铁路进行安全巡检，以确保火车可以安全行驶。安全巡检的项目包括铁路沿线是否有行人、牲畜闯入，铁轨上是否有异物，铁轨扣件是否正常，铁轨是否完好等，铁路周边是否有危险物。而要实现上述检测，很重要的一点就是要准确确定铁轨的位置。只有确定了铁轨的位置，才能进一步分析其自身状态和周边环境，以判断安全状况。

但是目前，我国的铁路巡检还基本依靠铁路工人进行人工检测。这种方法效率较低，而且成本较高。近几年，为了提高工作效率，人们开始尝试运用无人机对铁路进行自主巡检，该方法在一定程度上弥补了人工巡检的缺陷。但是，由于无人机飞行高度较低，监视视野有限，且滞空时间较短，续航能力有限，而铁路线又通常延伸较长距离，所以在工程实践中很难实现长时间、长距离、大范围巡检工作；实际效果会受到很大限制。

现有技术中，利用飞行高度在20km——100km之间的临近空间飞行器，对铁路进行安全监视；临近空间飞行器(临空飞行器)的飞行高度远高于一般无人机，因此“站得高，看得远”，可以对更大范围的区域进行监视。其体积也较一般无人机更大，因此可以携带更多能源，具有更强的续航能力。同时，其滞空时间比一般航空器长很多，载荷也比一般航空器更重，故而适合执行长时间的监视任务。基于以上特性，临空飞行器在情报收集、侦察监视、通信保障和导航定位等方面存在着特殊的应用价值，具有广阔的发展前景，特别适用于山区、沙漠等偏远地区的特殊工作。而由于铁路通常分布在较偏僻地区，且绵延纵深较长，因此临空飞行器的特性完美契合了铁路巡检的需求。但是，临空飞行器飞行高度较高，所以采集到的图片中目标物体可能比较小。

发明内容

本发明针对普通无人机平台下铁轨自动巡检的弊端提出了解决方案，具体是一种基于注意力增强机制的空基铁轨检测方法；利用临空飞行器对铁轨位置进行检测和定位，一方面在飞行器上搭载高清阵列相机，以提高铁轨图像清晰度；另一方面利用注意力增强机制，增加图片中重要区域的权重，以此增加目标物体的显著性。因此，本发明代替人工巡检，有效节省劳动力，提高工作效率，可以较好的适应临空条件下对铁轨的监视任务，有较强的工程意义。

具体步骤如下：

步骤一、在临空飞行器上搭载高清阵列相机，对铁路线进行巡检，获取铁轨原始图像；

步骤二、对获取的铁轨原始图像，运用图像处理技术，进行旋转变换与裁剪拼接变换预处理，获得训练样本。

首先，将每张图片的尺寸进行归一化，得到1024dpi*1024dpi的图片；

然后，运用以下公式对每张图片进行旋转变换；

针对某张图片中的某点，x，y是图片中该点旋转前的坐标；θ为旋转的角度；x′，y′是图片中该点旋转后的坐标；

x′＝x cosθ-y sinθ

y′＝x sinθ+y cosθ

最后，对每张图片进行裁剪拼接，首先，将每张图片进行十字分割，得到4组子图片；然后，对这4个子图片随机排列，得到新的组合，作为训练样本。

步骤三、将训练样本的图片输入卷积神经网络进行特征提取，得到16*16的编码图；

特征提取是指：卷积神经网络对训练样本的图片进行图像编码。

步骤四、对16*16编码图进行注意力增强，增加其特征表达能力；

具体为：首先，用1*1的卷积核，对16*16编码图进行卷积操作；然后，对卷积后的编码图进行归一化处理；最后，用归一化处理的编码图和16*16的编码图进行点乘，得到特征增强后的编码图。

步骤五、通过卷积神经网络对注意力增强后的编码图进行上采样，得到和原图同尺寸的判决图。

上采样是指过卷积神经网络对注意力增强后的编码图进行图像解码。

在判决图中，每个像素点的值表示原图中该点是铁轨的置信概率值。

步骤六、对判决图进行分类判决，判断判决图中某点的置信概率值是否大于预先设定的阈值，如果是，则该点为铁轨上的点；反之，若该点置信概率值小于或等于阈值，则该点不是铁轨上的点。

步骤七、根据判决结果，利用梯度下降算法，运用反向传播更新网络参数。

将判决图每个点的置信概率值与该点的真实值，运用交叉熵损失函数进行比较，进而通过反向传播更新特征网络参数，通过不断优化交叉熵损失函数的值，使得判决图的判决结果与真实值相差越来越小。

交叉熵损失函数如下所示：

式中y_i为图像中i点的真实值，a_i为判决图中i点对应的置信概率值。

本发明的优点在于：

1)、一种基于注意力增强机制的空基铁轨检测方法，可以有效检测并判定铁轨位置，是进一步实现铁轨安全检测的基础，对国家铁路安全有重大意义。

2)、一种基于注意力增强机制的空基铁轨检测方法，搭载了高清阵列相机的临近空间飞行器平台，运用注意力增强机制，对铁轨进行检测和定位，在精准检测的基础上，可以对铁轨周边环境及其自身安全状况进行监视。

3)、一种基于注意力增强机制的空基铁轨检测方法，经过训练，整个网络可以有效检测出图片中铁轨的位置，定位较准确，效果显著。

4)、一种基于注意力增强机制的空基铁轨检测方法，缓解了铁路工人人工巡检效率较低，同时弥补了普通无人机监视时视野小、滞空短的问题；为了确保从高空可以有效捕捉并检测铁轨，将高清阵列相机搭载在临近空间飞行器上以捕捉图像，并运用注意力增强机制增强算法对图片重要区域的辨识能力，具有较强的工程价值和实践意义。

附图说明

图1为本发明一种基于注意力增强机制的空基铁轨检测方法流程图；

图2为本发明图像预处理裁剪拼接示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明一种基于注意力增强机制的空基铁轨检测方法,重点解决了无人机巡检中铁轨检测的问题，只有检测出铁轨在图像中的位置，才能对其自身及周边环境和安全状况进行判断。为了提高检测准确率，本发明利用搭载高清阵列相机的临近空间飞行器作为平台采集地面的图像数据，并通过图像的旋转与裁剪拼接获得更多不同的训练样本，最后依次通过卷积神经网络下采样的图像编码，得到较小尺寸的编码图；通过注意力学习机制，对编码图中每个点赋予不同的权重，从而增强编码图中重要特征；通过卷积神经网络上采样的图像解码，对编码图还原得到和原图尺寸大小一样的判决图；以及分类判决中，根据判决图中每个像素点的值进行判断，最终确定图像中铁轨的自动检测和定位结果。注意力增强机制用以增加模型对于铁轨的显著性判断；是空基监视技术的重要应用，是国家大交通战略的重要组成部分，对铁路安全有着重大意义。

具体步骤如图1所示，包括：

步骤一、在临空飞行器上搭载高清阵列相机，对铁轨进行自主巡检，获取铁轨原始高清图像；

利用临空飞行器或上临近空间飞艇上搭载的高清阵列相机，对地面进行多角度拍摄，获取尽可能多的包含铁轨的高清的俯视图像，通过这些图像对地面状况进行监视。利用临近空间飞行器长续航能力的特点，可以增加***的工作时间。同时，其较高的飞行高度可以捕获到更大的拍摄视野。

步骤二、对获取的铁轨原始图像，运用图像处理技术进行预处理，获得训练样本。

预处理包括旋转变换与裁剪拼接变换；在训练时，对于采集到的原始数据，运用图像处理技术，进行旋转和裁剪拼接变换，以获取更多、更丰富的训练图像；这是得到一个较强表达能力的模型的基础。由于飞行器在空中会有漂移，所以拍摄视角通常不会固定。通过旋转和裁剪拼接可以得到更多不同角度的图片，增强模型的适应性。

具体为：首先，将每张图片的尺寸进行尺度归一化，将所有图片的大小统一到1024dpi*1024dpi的图片；

然后，运用以下公式对每张图片进行旋转变换；

针对某张图片中的每个点，x，y是图片中该点旋转前的坐标；θ为旋转的角度；x′，y′是图片中该点旋转后的坐标；

x′＝x cosθ-y sinθ

y′＝x sinθ+y cosθ

最后，对每张图片进行裁剪拼接，如图2所示，首先，将每张图片进行十字分割，得到4组子图片；然后，对这4个子图片随机排列，得到新的组合，通过这些变换，可以获得更多、更丰富的训练样本。由此训练出的分类器，可以在实际应用中应对多视角、多尺寸的场景。

步骤三、将预处理得到的图片输入卷积神经网络进行图像编码，得到16*16的编码图；

卷积神经网络将原图像尺寸进行下采样，提取训练样本的图片的特征，得到较小尺寸的16*16的具有特征编码信息的编码图；

步骤四、对16*16编码图进行注意力增强，增加其特征表达能力；

通过让模型学习、分析编码图不同位置的重要性，得到一组权重矩阵，并乘到编码图上。通过这种注意力机制，突出编码图中重要的点，以此增强模型的判别能力。

由于编码图是卷积神经网络提取特征之后的结果，里面包含了原图的很多基本特征。但是，在其256个像素点中，不同点对特征的表述是不同的，因此不同点的重要性也不同。通过注意力增强机制，对编码图内不同的像素点，根据其重要性赋予不同的权重，以此加强编码图特征的表达能力。

具体为：首先用1*1的卷积核，对16*16编码图进行卷积操作；然后，将卷积后的编码图进行归一化处理，使得其分布接近一个高斯分布；最后，用这个归一化处理后的编码图和步骤三图像编码后得到的16*16编码图进行点乘，得到特征增强后的编码图。

步骤五、通过卷积神经网络对特征增强后的编码图进行上采样图像解码，得到和原图同尺寸的判决图。

通过上采样，将编码图放大到和原图一样大小的决策图。通过这个操作，将编码信息释放，并得到和原图同尺寸的决策图。在最终得到的判决图中，每个像素点的值表示原图中该点是铁轨的置信概率值。

步骤六、对判决图进行分类判决，判断判决图中某点的置信概率值是否大于预先设定的阈值

如果是，则该点为铁轨上的点；反之，若该点置信概率小于或等于阈值，则认为该点不是铁轨上的点。

根据判决图的值得到最终判决结果，既将图中有铁轨和没有铁轨的部分分割开，检测出铁轨。

步骤七、根据判决结果，利用梯度下降算法，运用反向传播更新网络参数。

将判决图每个点的预测结果与该点的真实值，也就是该点是否是铁轨上的点，运用交叉熵损失函数进行比较，进而通过反向传播更新特征网络参数，通过不断优化交叉熵损失函数的值，使得判决图的判决结果与真实结果相差越来越小。

交叉熵损失函数如下所示：

式中y_i为图像中i点真实的标签，a_i为判决图中i点对应的置信概率。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于注意力增强机制的空基铁轨检测方法，其特征在于，具体步骤如下：

步骤一、在临空飞行器上搭载高清阵列相机，对铁路线进行巡检，获取铁轨原始图像；

步骤二、对获取的铁轨原始图像，运用图像处理技术，进行旋转变换与裁剪拼接变换预处理，获得训练样本；

步骤三、将训练样本的图片输入卷积神经网络进行特征提取，得到16*16的编码图；

步骤四、对16*16编码图进行注意力增强，增加其特征表达能力；

具体为：首先，用1*1的卷积核，对16*16编码图进行卷积操作；然后，对卷积后的编码图进行归一化处理；最后，用归一化处理的编码图和16*16的编码图进行点乘，得到特征增强后的编码图；

步骤五、通过卷积神经网络对注意力增强后的编码图进行上采样，得到和铁轨原始图像同尺寸的判决图；

在判决图中，每个像素点的值表示原图中该点是铁轨的置信概率值；

步骤六、对判决图进行分类判决，判断判决图中某点的置信概率值是否大于预先设定的阈值，如果是，则该点为铁轨上的点；反之，若该点置信概率值小于或等于阈值，则该点不是铁轨上的点；

步骤七、根据判决结果，利用梯度下降算法，运用反向传播更新网络参数；

将判决图每个点的置信概率值与该点的真实值，运用交叉熵损失函数进行比较，进而通过反向传播更新特征网络参数，通过不断优化交叉熵损失函数的值，使得判决图的判决结果与真实值相差越来越小。

2.如权利要求1所述的一种基于注意力增强机制的空基铁轨检测方法，其特征在于，所述的步骤二具体为：

首先，将每张图片的尺寸进行归一化，得到1024dpi*1024dpi的图片；

然后，运用以下公式对每张图片进行旋转变换；

针对某张图片中的某点，x，y是图片中该点旋转前的坐标；θ为旋转的角度；x′，y′是图片中该点旋转后的坐标；

x′＝xcosθ-ysinθ

y′＝xsinθ+ycosθ

最后，对每张图片进行裁剪拼接，首先，将每张图片进行十字分割，得到4组子图片；然后，对这4个子图片随机排列，得到新的组合，作为训练样本。

3.如权利要求1所述的一种基于注意力增强机制的空基铁轨检测方法，其特征在于，步骤三中所述的特征提取是指：卷积神经网络对训练样本的图片进行图像编码。

4.如权利要求1所述的一种基于注意力增强机制的空基铁轨检测方法，其特征在于，步骤五中所述的上采样是指过卷积神经网络对注意力增强后的编码图进行图像解码。

5.如权利要求1所述的一种基于注意力增强机制的空基铁轨检测方法，其特征在于，步骤七中所述的交叉熵损失函数如下所示：

式中y_i为图像中i点的真实值，a_i为判决图中i点对应的置信概率值。

Images