CN108846332B - 一种基于clsta的铁路司机行为识别方法 - Google Patents

Abstract

本发明公开一种基于CLSTA的铁路司机行为识别方法，提出了一种CLSTA神经网络模型，并将CLSTA网络移植到工控电脑中，利用司机室内的监控视频对机车司机的行为进行识别和理解，实时监测和智能评估机车司机的驾驶行为和驾驶状态；利用卷积神经网络CNN和长短记忆神经网络LSTM对机车司机行为的视频图像进行空间特征学习和时序特征学习，并考虑到司机室内环境单一，肢体动作对于整个场景而言变化甚微，针对这种现状，提出了改进的时空注意力方法STA，通过大量数据集训练得到神经网络模型，最后将该模型运用于工控电脑中，分析机车司机驾驶过程中的常见行为和异常行为，例如疲劳驾驶、玩手机、抽烟等，最后实现对机车司机行为理解的目的。

Description

一种基于CLSTA的铁路司机行为识别方法

技术领域

本发明涉及铁路行车安全检测技术领域，具体为一种基于CLSTA(ConvolutionalLSTM Networks With Spatial-Temporal Attention具有时空注意力的LSTM卷积神经网络))的铁路司机行为识别方法。

背景技术

我国铁路的建设事业正在进入以“跨越式发展”为特征的高速发展时期，机车运行安全保障技术提出了更高的要求。如何确保机车的平稳运行己经成为铁路运输部门工作的重中之重，进和提高铁路机务部门对机车运行安全的监控管理水平已经成为当务之急。

众所周知，突发性的设备故障例如机车车辆切轴、线路断轨等或自然灾害外，列车运行安全最大的威胁来自于列车运行信号是否正确指示和司机是否正确操纵机车。从以往发生的列车冲突、追尾、超速引起列车颠覆等重大行车事故的直接原因看，车信号显示错误或司机失去警惕导致错误操纵列车占主要比例。我国铁路***事故统计表明，车事故的人为因素中有相当一部分是由于司乘人员的操作不当引起。其中，驶员的驾驶行为不当，疲劳驾驶、睡觉、违规操作、不良驾驶习惯等是引起行车安全事故的重要原因之一。列车司机因运输生产任务繁重，工作环境艰苦，作息时间不规则，常年处于高强负荷、高度紧张、高速运转的状态中，在驾驶过程中也极易出现其他不正当操作。

我国铁路的行车安全监测近年来取得了长足的进步，但与发达国家相比还有较大的差距，主要体现在监测各类信息的准确性、实时性差，对司机个人的工作状态没有识别、报警，***功能不能满足要求等。实时监测和智能评估机车司机的驾驶行为和驾驶状态，有助于及早发现可能的操作失误，对减少安全事故及人员伤亡有着十分重要的现实意义。该***能够帮助司机更加专注于驾驶机车，测评出司机在驾驶过程中的驾驶行为，在其出现疲劳驾驶或者异常操作时能够发出警报，使其能够更加安全的操控机车。同时该***还可以为地面管理部门提供机车运行动态数据的实时监控，在异常发生的情况下对机车司机的工作状态进行实时的监督和全程的记录，时掌握非正常状况下整个机车的运行状况，提高对机车运行安全的监管能力。

发明内容

针对上述问题，本发明的目的在于提供一种利用司机室内的监控视频对机车司机的行为进行识别和理解，实时监测和智能评估机车司机的驾驶行为和驾驶状态的基于CLSTA的铁路司机行为识别方法。技术方案如下：

一种基于CLSTA的铁路司机行为识别方法，其特征在于，包括以下步骤：

步骤1：根据司机室内的环境和司机常见行为的特点，建立改进的时空注意力网络STA，并设计网络的拓扑结构；所述改进的时空注意力网络STA包括空间注意力子网络SA和时间注意力子网络TA；

步骤2：将空间注意力子网络SA和时间注意力子网络TA融合Main LSTM网络，得到新的CLSTA神经网络模型，并设计网络的拓扑结构；所述Main LSTM网络由Main CNN网络和两层LSTM网络级联组成；

步骤3：利用机车司机常见行为视频采集样本作为数据集，输入到所述CLSTA神经网络模型中，训练model；将得到的model运用于工控计算机中，进行机车司机行为的监测识别。

进一步的，所述空间注意力子网络SA通过基于AlexNet网络的卷积神经网络CNN实现空间特征的提取，所述AlexNet网络包括五个卷积层和一个全连接层fc6，共六个学习层；所述空间注意力子网络SA为双流CNN结构，分别是CNN1和CNN2，用于分别提取当前图片流的空间特征，CNN1、CNN2各有六个学习层；CNN1处理的是当前帧的图片流x_t，将当前图片帧x_t输入到CNN1中；CNN2处理上一帧的图片x_t-1，将上一帧的图片x_t-1输入到CNN2中；再通过一个eltwise进行减法操作，将CNN1输出的特征维度减去CNN2的输出特征维度，eltwise层的输出接一个全连接层Fc_layer1中。

更进一步的，所述时间注意力子网络TA中为双流CNN+LSTM结构，分别是CNN1+LSTM1和CNN2+LSTM2，用于分别提取当前图片流的时序特征；将当前图片流x_t输入到CNN1中进行空间特征学习，再将CNN1的输出输入到LSTM1中进行时序学习；将当前的图片的上一帧图片x_t-1输入到CNN2中进行空间特征学习，再将CNN2的输出输入到LSTM2中进行时序学习；再通过一个eltwise层进行减法操作，将LSTM1输出的特征维度减去LSTM2输出的特征维度，接着将eltwise层的输出接入到一个全连接层Fc_layer2中。

更进一步的，所述步骤2的具体步骤包括：

步骤21：将当前图片流x_t输入到Main CNN中，提取当前图片流的空间特征；

步骤22：将空间注意力子网络SA的输出与Main CNN的输出融合，融合的方式是通过eltwise层做加法运算；

步骤23：将步骤22融合后输出的特征维度输入到Main LSTM网络中进行时序特征学习，所述Main LSTM网络由2层LSTM网络级联而成，LSTM1的输入即是步骤22的输出；再将LSTM1输出的特征维度输入到LSTM2中；

步骤24：将时间注意力子网络TA的输出与步骤23中的Main LSTM网络的输出进行融合，融合的方式是通过eltwise层做加法；融合后再接Fc_layer3，最后进行分类。

更进一步的，所述步骤3的具体步骤包括：

步骤31：通过工业摄像机采集环境视频；

步骤32：工控计算机中的脚本程序分解视频为图片帧，FPS为5；

步骤33：将分解的每连续16帧送入model中测试；

步骤34：输出测试结果，并制作报表。

本发明的有益效果是：本发明针对这种现状，提出了一种改进的时空注意力方法STA(Spatial-Temporal Attention)用于解决这一问题，通过大量数据集训练得到神经网络模型，最后将该模型运用于工控电脑中，分析机车司机驾驶过程中的常见行为和异常行为，例如“正常驾驶”、“疲劳驾驶”、“玩手机”、“抽烟”等，最后达到实现对机车司机行为理解的目的。

附图说明

图1为一种基于CLSTA的铁路司机行为识别方法的流程示意图。

图2为LSTM网络单元内部的结构示意图。

图3为CLSTA网络拓扑结构框图。Fc_layer是全连接层，Relu是激活层(它不包含为主要学习层)。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细说明。摄像机可以收集空间密集的数据，并且提供了以较低精度为代价远程测量的机会，相对便宜并且可以快速监测。本发明的基本思想是在利用机车司机室内安装的摄像机，实时采集机车司机行为的视频，采集的视频会被***程序分解为连续的图片帧，然后将连续图片输入到已经训练好的CLSTA网络模型中进行测试识别，测试内容主要包含分析机车司机驾驶过程中的常见行为和异常行为，如“正常驾驶”、“疲劳驾驶”、“玩手机”、“抽烟”、“离职”等常见行为，并制作报表。CLSTA模型具有学习连续图片的空间特性和时序特性的能力，时序特性是通过连续的图片表现出来的，在本实施例中，模型每次处理连续的16张图片。虽然环境实际上是静止和刚性的，在相机视场内，连续的图片经过时序处理后，司机动作部分区域将是动态的。

详细包括以下步骤：

步骤1：提出一种改进的时空注意力网络STA(Spatial-Temporal Attention)，并设计网络的拓扑结构。STA网络主要由空间注意力子网络SA(Spatial Attention)和时间注意力子网络TA(Temporal Attention)组成。记T为CLSTA网络处理的时间步总数，在该实验中为输入CLSTA网络连续图片的帧数，本发明实验中取得是T＝16，即是每次处理16张连续的图片。附图3为CLSTA网络拓扑结构框图，Fc_layer是全连接层，Relu是激活层。

空间注意力子网络SA：子网络SA即是空间注意力，空间特征的提取主要通过卷积神经网络CNN实现，CNN网络是基于AlexNet网络，此处的采用AlexNet包含了五个卷积层(con1…con5)和一个全连接层fc6(原AlexNet网络有3个全连接层)，一共六个学习层。SA网络中是双流CNN结构，分别是CNN1和CNN2，用于分别提取当前图片流的空间特征，CNN1、CNN2各有六个学习层。CNN1处理的是当前帧的图片流x_t，将当前图片流x_t(16*227*227，16是每次处理连续的16张图片，227*227是图片尺寸)输入到CNN1中，CNN1的全连接层的输出维度是16*4096；CNN2处理的是上一流的图片x_t-1，将上一流图片x_t-1(16*227*227)输入到CNN2中，CNN的全连接层输出维度是16*4096；再通过一个eltwise层(该层主要是做加、减、乘法操作)，将CNN1全连接层输出的特征维度减去CNN2全连接层的输出特征维度，eltwise层的输出维度是16*4096，接着将eltwise的输出接入到全连接层中，该全连接的输出维度是16*4096。通过这种方法，SA子网络去除了静态的背景干扰，即保留了与上一帧不同的空间特征。

时间注意力子网络TA：TA网络中是双流CNN+LSTM结构，分别是CNN1+LSTM1和CNN2+LSTM2，用于分别提取当前图片流的时序特征。这里的CNN1和CNN2和子网络SA中的是一样的。同理，将当前图片流x_t(16*227*227)输入到CNN1中进行空间特征学习，CNN1的全连接层的输出维度是16*4096，再将CNN1的连接层的输出输入到LSTM1中进行时序学习，LSTM1的输出维度是16*256；将当前的图片的上一帧图片x_t-1(16*227*227)输入到CNN2中进行空间特征学习，CNN2的全连接层输出维度是16*4096，再将CNN2的连接层的输出输入到LSTM2中进行时序学习，LSTM2的输出维度是16*256；再通过一个eltwise层(该层主要是做加、减、乘法操作)，将LSTM1输出的特征维度减去LSTM2输出的特征维度，eltwise层的输出维度是16*256，接着将eltwise的输出接入到全连接层中，该全连接的输出维度是16*256。通过这种方法，TA子网络保留了运动部分的时序特征。

在STA网络中，SA网络包含的主要学习层有14个，分别是：CNN1的六个学习层(5个卷积层+1个全连接层)，CNN2的六个学习层(5个卷积层+1个全连接层)，1个eltwise层，1个全连接层。TA网络包含的主要学习层有4个，分别是：LSTM1，LSTM2，1个eltwise层，1个全连接层。所以STA网络中总共包含的主要学习层是18个。

步骤2：将STA子网络融合Main Convolutional-LSTM Networks，提出CLSTA网络。Main Convolutional-LSTM Networks网络由Main CNN网络和2层LSTM网络级联组成。主要由以下步骤组成：

步骤21：将当前图片流x_t(16*227*227)输入到Main CNN中，Main CNN全连接层的输出维度是16*4096，该步骤提取了当前图片流的空间特征。这里的Main CNN和SA中的CNN1以及TA中的CNN1都是都一个网络。这里Main CNN的主要学层的个数不计算(SA中包含了该计算层)。

步骤22：将SA的输出与Main CNN的输出融合，融合的方式是通过eltwise层(该层主要是做加、减、乘法操作)层做加法，融合后输出的维度也是16*4096。SA保留的是当前帧与上一帧不同的空间特征，SA与Main CNN输出的空间特征融合，突出了空间上不同的部分。所以这里只有eltwise一个学习层。

步骤23：将Step2融合后输出的特征维度输入到Main LSTM中进行时序特征学习，这里的Main LSTM由2层LSTM网络级联而成，LSTM1的输入即是Step2的输出，LSTM1的输出是16*256；再将LSTM1输出的特征维度输入到LSTM2中，LSTM2的输出维度是16*256。所以这里有2个学习层LSTM1和LSTM2。

步骤24：将TA的输出与Step3中的Main LSTM网络的输出进行融合，融合的方式是通过eltwise层做加法。融合后的输出维度是16*256，融合后再接全连接层，最后进行分类，全连接层的输出维度是16*6(16是连续的16张图片，6是分类的类别数，一共有“正常驾驶”、“疲劳驾驶”、“玩手机”、“抽烟”、“离职”、“其他”6类)。SA保留的是当前帧与上一帧不同的时序特征，TA与Main LSTM输出的空间特征融合，突出了时序上不同的部分。这里有eltwise层和全连接层一共2个学习层。

所以在CLSTA中包含的主要学习层有23个。分别是STA中包含的18个学习层，和STA与Main Convolutional-LSTM Networks融合时的5个学习层。

步骤3：通过摄像机提取视频，通过脚本程序将提取的视频分解为连续的RGB图像帧，每一秒分解5帧图片。

步骤4：将大量的机车司机行为数据集作为样本数据，输入到CLSTA网络中进行模型训练。其中训练集的图片有12000张，测试集图片4000张，分别包含“正常驾驶”、“疲劳驾驶”、“玩手机”、“抽烟”、“离职”、“其他”6类。CLSTA网络中CNN的权重是基于CaffeNet网络的权重，对于网络的收敛性有很大的帮助，通过训练得到Model。

步骤5：将步骤4训练得到CLSTA模型Model，嵌入到工控计算机中，通过该模型实现对机车司机行为识别和理解，在使用中主要由以下几个步骤实现：

步骤51：通过工业摄像机采集环境视频。

步骤52：工控计算机中的脚本程序分解视频为图片帧，FPS为5。

步骤53：将分解的每连续16帧送入model中测试。

步骤54：输出测试结果，并制作报表。

图1为一种基于CLSTN的铁路司机行为识别方法的流程示意图。它的流程包括：

A、计算机通过接口驱动CCD摄像机获取环境的影像；

B、将图片分解为RGB图片；

C、然后再把RGB图片送入到CLSTA网络中；

D、将CLSTA网络的最后结果融合取平均得到最终结果，总结检测结果，形成检测报告。

图2为LSTM网络结构示意图，主要计算公式为：

f_t＝σ(W_f.[h_t-1,x_t]+b_f)

i_t＝σ(W_i.[h_t-1,x_t]+b_i)

o_t＝σ(W_o·[h_t-1,x_t]+bo)

h_t＝o_t*tanh(C_t)

图3为CLSTA网络的拓扑结构示意图。左边的是Spatial Attention子网络，中间是Main CNN_LSTM Networks主网络，右边是Temporal Attention子网络。Data代表的是输入得数据，每次输入16张图片。图中标有CNN1的是同一个网络，标有CNN2的是也是同一个网络，都是基于Alexnet。Fc_layer是全连接层，Relu是激活层(它不包含为主要学习层).4096为AlexNet中全连接层的维度，即CNN特征的维度，256为LSTM中输出的维度。

Claims (3)

1.一种基于CLSTA的铁路司机行为识别方法，其特征在于，包括以下步骤：

步骤1：根据司机室内的环境和司机常见行为的特点，建立改进的时空注意力网络STA，并设计网络的拓扑结构；所述改进的时空注意力网络STA包括空间注意力子网络SA和时间注意力子网络TA；

步骤2：将空间注意力子网络SA和时间注意力子网络TA融合Main LSTM网络，得到新的CLSTA神经网络模型，并设计网络的拓扑结构；所述Main LSTM网络由Main CNN网络和两层LSTM网络级联组成；

步骤3：利用机车司机常见行为视频采集样本作为数据集，输入到所述CLSTA神经网络模型中，训练model；将得到的model运用于工控计算机中，进行机车司机行为的监测识别；

所述空间注意力子网络SA通过基于AlexNet网络的卷积神经网络CNN实现空间特征的提取，所述AlexNet网络包括五个卷积层和一个全连接层fc6，共六个学习层；所述空间注意力子网络SA为双流CNN结构，分别是CNN1和CNN2，用于分别提取当前图片流的空间特征，CNN1、CNN2各有六个学习层；CNN1处理的是当前帧的图片流x_t，将当前图片帧x_t输入到CNN1中；CNN2处理上一帧的图片x_t-1，将上一帧的图片x_t-1输入到CNN2中；再通过一个eltwise进行减法操作，将CNN1输出的特征维度减去CNN2的输出特征维度，eltwise层的输出接一个全连接层Fc_layer1中；

所述时间注意力子网络TA中为双流CNN+LSTM结构，分别是CNN1+LSTM1和CNN2+LSTM2，用于分别提取当前图片流的时序特征；将当前图片流x_t输入到CNN1中进行空间特征学习，再将CNN1的输出输入到LSTM1中进行时序学习；将当前的图片的上一帧图片x_t-1输入到CNN2中进行空间特征学习，再将CNN2的输出输入到LSTM2中进行时序学习；再通过一个eltwise层进行减法操作，将LSTM1输出的特征维度减去LSTM2输出的特征维度，接着将eltwise层的输出接入到一个全连接层Fc_layer2中。

2.根据权利要求1所述的基于CLSTA的铁路司机行为识别方法，其特征在于，所述步骤2的具体步骤包括：

步骤21：将当前图片流x_t输入到Main CNN中，提取当前图片流的空间特征；

步骤22：将空间注意力子网络SA的输出与Main CNN的输出融合，融合的方式是通过eltwise层做加法运算；

步骤23：将步骤22融合后输出的特征维度输入到Main LSTM网络中进行时序特征学习，所述Main LSTM网络由2层LSTM网络级联而成，LSTM1的输入即是步骤22的输出；再将LSTM1输出的特征维度输入到LSTM2中；

步骤24：将时间注意力子网络TA的输出与步骤23中的Main LSTM网络的输出进行融合，融合的方式是通过eltwise层做加法；融合后再接Fc_layer3，最后进行分类。

3.根据权利要求1所述的基于CLSTA的铁路司机行为识别方法，其特征在于，所述步骤3的具体步骤包括：

步骤31：通过工业摄像机采集环境视频；

步骤32：工控计算机中的脚本程序分解视频为图片帧，FPS为5；

步骤33：将分解的每连续16帧送入model中测试；

步骤34：输出测试结果，并制作报表。

Images