CN106709511A - 基于深度学习的城市轨道交通全景监控视频故障检测方法 - Google Patents

Abstract

一种基于深度学习的城市轨道交通全景监控视频故障检测方法，包括数据集构建过程和模型训练生成过程、图片分类识别过程，数据集构建过程对城市轨道交通全景监控视频中的清晰度异常视频、色偏异常视频以及正常视频进行处理，划分训练集和测试集；模型训练生成过程，包括模型训练和模型测试，所述模型训练包括对基于卷积神经网络的故障视频图像识别模型进行训练，所述卷积神经网络包括多个卷积层和多个全连接层；所述模型测试包括计算测试的准确率，如果没有达到预期，则优化故障视频图像识别模型；图片分类识别过程，包括将待识别的单帧图片输入模型，故障视频图像识别模型输出图片的分类结果，完成实现城市轨道交通全景监控视频故障图片检测。

Description

基于深度学习的城市轨道交通全景监控视频故障检测方法

技术领域

本发明属于深度学习领域，具体涉及基于深度学习的城市轨道交通全景监控视频故障检测方法。

背景技术

近几年随着私家汽车数量的增长，城市交通阻塞问题成为都市生活面临的大问题，而且交通事故的发生也越来越多，这些问题越来越影响到普通城市人民的正常生活。因此城市轨道交通全景监控视频的正常运行显得尤为重要，这就要求能够实时对城市轨道交通全景监控视频的运行状态进行检查，及时识别相应的故障并进行及时检修。其中全景指的是多个监控视频和区域三维模型融合拼接后的图像或者全景监控***中的单个监控视频，而城市轨道交通全景监控视频即指全景监控***中的单个监控视频。城市轨道交通全景监控的图片属于数字图像，具有数字图像的像素表示的特性，可以由计算机存储和处理的特点。而对城市轨道交通全景监控视频故障的检测可以转化为对视频质量的检测与诊断。对视频质量的检测与诊断即是对数字图像质量的评价，而数字图像质量的评价也即是对失真和降质图像的识别与诊断。图像质量下降通常表现为图像清晰度异常(图像模糊)、色偏、雪花(噪点)、画面出现条纹等情况。传统的故障图像客观评价方法主要思路都是依靠人工经验来提取和分析图像的特征，通过对比故障图片和正常图片之间的差异，特别是像素点的差异来确定是否为故障图片。这些算法在应用的过程中，图片特征的选择和定义的好坏决定了检测结果的优劣程度，具有很大的局限性。

发明内容

为了克服现有技术在实际应用中大量人工提取特征所造成的时间和精力上的浪费，本发明提出一种基于深度学习的城市轨道交通全景监控视频故障检测方法。该方法包括数据集构建、模型训练及生成、图片分类识别三个部分。首先将现有的视频转化为帧图像构建图像数据集，对图像数据进行训练获得卷积神经网络模型，然后利用训练得到的网络模型对图像进行分类，输出测试的图片类别以及识别的准确率。

本发明技术方案提供一种基于深度学习的城市轨道交通全景监控视频故障检测方法，包括数据集构建过程和模型训练生成过程、图片分类识别过程，

所述数据集构建过程，包括对城市轨道交通全景监控视频中的清晰度异常视频、色偏异常视频以及正常视频进行处理，将视频转化为单帧图像，并对图片尺寸进行归一化处理，构建清晰度异常图像数据集、偏色异常图像数据集和正常图像数据集，从中任意抽取图像划分为训练集和测试集，获取所需的图像数据集；

所述模型训练生成过程，包括模型训练和模型测试，

所述模型训练，包括对基于卷积神经网络的故障视频图像识别模型进行训练，所述卷积神经网络包括多个卷积层和多个全连接层；训练方式如下，

将训练集中的图片经过数据格式转换后作为底层数据输入到卷积神经网络，多个卷积层级联，对输入的图像数据进行卷积运算，抽取图像特征，生成多个特征图；

最后一个卷积层的输出作为输入，传入全连接层，经过各全连接层将特征完全转化成一维向量输出；确定实际输出值与期望值之间的误差，对网络进行反向传播，调整网络参数；

然后判断训练误差是否收敛，若否则返回训练起始端输入图片进行特征学习，若是则判断模型训练迭代次数是否达到预定的迭代次数，当达到预定的迭代次数时，模型训练结束，否则返回训练起始端输入图片继续训练；

训练结束后获得基于卷积神经网络的故障视频图像识别模型；

所述模型测试，包括将测试集中的图片输入模型训练所得故障视频图像识别模型的网络底层，故障视频图像识别模型输出图片的分类结果，包括有质量正常和质量异常两种类别，最后与测试集中已设置的相应标签进行比对，计算测试的准确率，如果没有达到预期，则优化故障视频图像识别模型，直到达到预期，得到最终的故障视频图像识别模型；

所述图片分类识别过程，包括将待识别的单帧图片输入模型训练生成过程得到的故障视频图像识别模型的网络底层，故障视频图像识别模型输出图片的分类结果，完成实现城市轨道交通全景监控视频故障图片检测。

而且，所述优化故障视频图像识别模型，包括进行图像数据集的扩展。

而且，所述优化故障视频图像识别模型，包括增加卷积层的个数，减少全连接层的个数。

而且，原始的故障视频图像识别模型，所述卷积神经网络包括3个卷积层和3个全连接层。

而且，原始的故障视频图像识别模型包括输入、卷积层C1、降采样层S1、卷积层C2、降采样层S2、卷积层C3、降采样层S3、全连接层fc4、全连接层fc5、全连接层fc6和输出层。

而且，优化故障视频图像识别模型时，所述将卷积神经网络改为包括4个卷积层和2个全连接层。

而且，优化故障视频图像识别模型时，将卷积神经网络改为包括输入、卷积层C1、降采样层S1、卷积层C2、降采样层S2、卷积层C3、降采样层S3、卷积层C4、降采样层S4、全连接层fc5、全连接层fc6和输出层。

而且，所述优化故障视频图像识别模型，包括进行模型网络参数的调整。

而且，所述判断训练误差是否收敛，基于误差损失函数实现。

本发明的优点在于：与原始方法相比，基于深度学习的城市轨道交通全景监控视频故障检测方法在图像分类识别时，是从大数据中自动学习特征，而非采用手工设计的特征模型。手工设计的特征主要依靠设计者的经验知识，很难利用大数据的优势，特征的设计中只允许出现少量参数，而深度学习可以包含成千上万的参数，用来训练深度学习的数据越多，深度学习算法的鲁棒性、泛化能力就越强。另一方面，深度学习不是显式的特征抽取，而是隐式地从训练样本学习特征，因此，除非要求无需关注每层权值和特征表示的变化。权值共享特性有效的减少权值的数量级，也降低了训练的难度。样本可以直接作为深度学习模型的输入，无需另外使用算法对样本图像进行复杂的特征选择和提取。因此，本发明在保证准确率的同时自动化程度高，具有重要的市场价值。

附图说明

图1是本发明实施例的总体处理流程图

图2是本发明实施例的模型训练过程流程图

图3是本发明实施例的模型测试过程流程图

图4是本发明实施例的故障视频图像识别的卷积神经网络网络模型

图5是本发明实施例的故障视频图像识别的卷积神经网络结构图

图6是本发明实施例的故障视频图像识别的卷积神经网络网络优化模型

图7是本发明实施例的故障视频图像识别的卷积神经网络网络优化结构图

图8是本发明实施例的优化后的卷积神经网络模型与基础卷积神经网络模型识别准确率比较图

图9是本发明实施例的故障视频图像识别的卷积神经网络的激活函数图

具体实施方法

以下结合附图和实施案例详细说明本发明的具体实施方法。

本发明所提供方法是通过对组成视频的单帧图像的质量进行检测而实现的。因为数字图像的质量检测与诊断是建立在对特征提取的基础上进行的，而对图像的特征提取与分类又可以归结到对构成图像的像素的提取和分析。因此深入学习图像分类识别相关的知识相当重要。深度学习(deep learning，即DL)算法是用来建立与模拟人脑进行分析学习的神经机制，构建多隐层的网络结构模型，通过对大量数据进行训练，获得具有代表性的特征信息，实现对图像、声音、文本等数据的解释和预测，提高分类和预测的准确性。而在图像识别领域，基于深度学习模型特别是卷积神经网络(convolution neural networks，简称CNN)模型，应用比较广泛。因此本发明首创提出将深度学习模型中的卷积神经网络模型应用于城市轨道交通全景监控视频故障图像识别领域检测，不仅大幅度提高了识别的准确性，同时也避免了传统方式中大量人工提取特征所造成的时间和精力上的浪费，降低了运算复杂性。

实施例所采用的操作***是Ubuntu14.04，CPU为Intel Core i3-4130，3.40GHZ，内存4G，GPU为NVIDIA Quadro K600。实施例基本流程如图1所示：

1.数据集构建

深度学习神经网络模型的训练和生成是建立在对大量图片特征进行学习的基础上实现的。本发明研究的是基于深度学习的城市轨道交通监控视频故障检测方法，该方法使用的模型建立的基础是大量故障视频图像以及正常图像。故障图像为清晰度异常图像和色偏异常图像两类，正常图像为人眼所接受的、可识别的清晰图像。对清晰度异常视频、色偏异常视频以及正常视频进行处理，将视频转化为单帧图像，并对图片尺寸进行归一化处理，构建清晰度异常图像数据集、偏色异常图像数据集和正常图像数据集。从中任意抽取图像划分为训练集、测试集两类，在模型训练的过程中，训练集用于进行特征的学习和网络参数的调整。测试集中的图片与训练集中不同，通过对训练集中未出现的数据进行测试，来描述网络模型的分类性能。可以根据测试结果调整模型的网络结构和参数，更改训练的循环次数，实现模型的优化。具体实施时，各集合中图像数目可结合实际需要选择。

2.模型训练及生成

模型的训练与生成主要包括训练及测试两个过程。

(1)模型训练

图片数据集构建以后，经过数据转化作为网络的底层数据输入，包括训练图片数据集经过数据格式转换为leveldb格式，实现leveldb数据库构建。卷积神经网络对数据进行卷积、池化等操作之后，实现网络模型输出。观察描述模型优劣的精确度值(accuracy)和误差损失函数结果值(loss)等结果，调整网络模型参数，直到输出的accuracy和loss收敛并且趋于一个稳定的状态，模型训练结束，提取到的图像特征存储于该模型中。该模型用于接下来的城市轨道交通全景监控视频故障检测。模型训练流程如图2。

首先，基于训练图片数据集，经过数据格式转换为leveldb格式作为底层数据输入到网络，多个卷积层级联(如图2中卷积1、卷积2…卷积n)，对输入的图像数据进行卷积运算，抽取图像特征，生成多个特征图。使用多层卷积是因为一层卷积学习到的特征往往是局部的，卷积层数越高，学到的特征就越全局化。训练网络模型的时候，前一个卷积层的输出作为这一个卷积层的输入，这一个卷积层的输出又将作为下一个卷积层的输入，直至最后一个卷积层。最后一个卷积层的输出会作为输入，传入全连接层(如图2中全连接层1、全连接层2…全连接层n)。全连接层将特征完全转化成一维向量输出。确定实际输出值与期望值之间的误差，对网络进行反向传播，调整网络参数。然后判定训练误差是否收敛，在本发明的网络模型中，选择现今卷积神经网络中常用的误差损失函数(softmax_loss)描述参数调整的优劣程度。当误差损失函数的值较小且达到收敛时(例如误差损失函数的值不再变化，取值在是1以下的时候，本领域技术人员可自行预设判断条件)，即可判断网络参数此时达到最优，此时可判断模型训练迭代次数是否达到预定的迭代次数，当达到预定的迭代次数时，模型训练结束，否则返回训练起始端输入图片继续训练。最终训练结束获得卷积神经网络模型，模型中存储的即为提取到的图像的种类及特征信息。若误差损失函数的值较大，则需要继续进行训练，返回训练起始端输入图片进行特征学习。

(2)模型测试

模型训练生成后，需要测试模型的应用性能。模型的测试过程如图3所示。首先，从测试图片集中提取图片，调用已经训练好的分类模型，将该图片数据输入模型的网络底层，然后图像数据在该网络模型中经过卷积层的特征提取与输出(如图3中卷积1、卷积2…卷积n)，传入全连接层。经过n个全连接层将特征转化成一维向量输出(如图3中全连接输出1、全连接输出2…全连接输出n)，与分类模型中已有的特征进行对比测试，输出图片的分类结果，也即图像的类别，有质量正常和质量异常两种类别，完成输入图片的分类。最后将该标签与测试集中已设置的标签进行比对，计算测试的准确率A，即在m个测试数据中有a的测试数据分类正确，则准确率A＝a(分类正确的测试数据数量)/m(测试数据总数)。若精度较低，说明训练得到的网络模型没有达到预期，即网络的参数并不是最优解，利用模型进行验证的过程中，对图片的分类结果也不理想。因此需要继续优化网络模型提高其测试准确率。本发明通过以下三个方法实现模型的优化。

方法1，图像数据集的扩展

图像数据集是卷积神经网络模型进行特征学习的基础，其大小对模型的训练有重要意义。图像数据集过小，提取到的特征不够充分，模型对于特征学习的抽象能力就会受到限制，进而会影响模型的测试准确率。因此，为了提高模型的准确率，需要在原始数据集的基础上，对图像数据集进行扩展。

由于图像和视频序列本身在时间和空间维度上具有显著的结构性和连续性特征，并且包含大量的冗余信息，对图像的平移、旋转、扭曲、高斯和椒盐噪声等图像处理操作，都能够产生有效的训练数据，作为扩展模型训练集的措施，而不会降低模型的鲁棒性。

方法2，模型网络结构的变动

模型的网络层次结构会影响模型的测试准确率，故而在原始卷积神经网络模型之上，采取一定措施优化其网络结构。图像数据集已经扩展的前提下，适当增加卷积层的个数，减少全连接层的个数，提高模型的测试准确率，降低误差损失函数的值，使其达到收敛状态。

方法3，模型网络参数的调整

由于卷积核数量和大小、迭代次数的多少都牵制着模型的测试准确率。对于网络模型参数，本发明进一步提出在已有的基础模型上，调整卷积核的个数和卷积核的大小以及迭代次数，提高模型的测试准确率，降低误差损失函数的大小。

实现模型的优化可以采用以上的一个方法或者多个方法结合。

3.图片分类识别

在图像分类过程，利用验证图像对训练过程中获得的网络模型进行测试。针对待识别的图片，调用训练生成的模型对图片进行分类识别。图片分类识别的具体步骤如和测试过程类似，基于识别模型和待识别单帧图片，实现城市轨道交通全景监控视频故障图片检测。

实施例一：

1.图像数据集的实施方法

本发明的最终目的是实现对城市轨道交通全景监控视频的故障识别，实质是实现故障视频图像的识别，图像清晰度和色偏是视频质量检测的两个极为重要的判断因素。本发明选择清晰度异常图片、偏色异常图片以及正常图片作为训练和测试的样本集，图像为RGB颜色模式。在此过程中，要对清晰度异常视频、色偏异常视频以及正常视频进行处理，将监控视频转化为单帧图像(即帧图片)，并对图片尺寸进行归一化处理，构建清晰度异常图像数据集、偏色异常图像数据集和正常图像数据集。按照分配比例从中抽取图像划分为训练集、测试集。其中清晰度异常的图片有500张，偏色异常的图片有500张，正常图片有500张。从中各随机抽取100张组成测试图片，剩余1200张则用在模型训练中。图片大小为256×256，格式为JPEG图像。图片数据集构建以后，把图片数据集转化成为leveldb数据库文件，作为网络的底层数据输入。

2.模型训练及生成的实施方法

本发明实施例一设计的基于卷积神经网络的故障视频图像识别模型有多层网络结构，其中包括3个卷积层、3个降采样层以及3个全连接层。输入到网络底层的图像数据的大小为60×60，网络模型如图4所示，其中依次有data(训练数据)、C1(CONVOLUTION LAYER,卷积层)、conv1(卷积层输出)、ReLU激活函数、S1(POOLING LAYER,池化层)、pool1(池化层输出)、C2(CONVOLUTION LAYER,卷积层)、conv2(卷积层输出)、ReLU激活函数、S2(POOLINGLAYER,池化层)、pool2(池化层输出)、C3(CONVOLUTION LAYER,卷积层)、conv3(卷积层输出)、ReLU激活函数、S3(POOLING LAYER,池化层)、pool3(池化层输出)、fc4(INNER_PRODUCT,全连接层)、f4(全连接层输出)、ReLU激活函数、fc5(INNER_PRODUCT,全连接层)、f5(全连接层输出)、ReLU激活函数、fc6(INNER_PRODUCT,全连接层)、f6(全连接层输出)、Accuracy(训练精度)和Loss(训练损失)。

每一个卷积层后面都连接一个池化层，即图像数据(data)由网络底层输入，首先经过卷积层(C1)进行卷积处理，处理后的数据选择ReLU函数作为激活函数，再将处理后的数据作为输入传入池化层(S1)进行降采样，降采样的方式是最大池化的方式，获得特征子区域的最大值。经过连续三个卷积层和降采样层处理后，数据转化成一维向量输入到全连接层(f4)，全连接层处理后的数据同样选择ReLU函数作为激活函数，经过连续两个全连接层处理后，最终输出模型的测试准确率和误差损失函数值。在此基础上设计的故障视频图像识别的卷积神经网络网络框架如图5所示。

■输入：将数据集构建过程中已经过尺寸归一化处理的图像数据集输入到网络模型中，在256×256大小的图像中心选取60×60的图像。设置网络一次迭代处理的图片批处理数目为60张。

■卷积层C1：选用16个4×4大小的卷积核对图像数据进行卷积，获得16个特征图(Feature map)。卷积核的大小和数量会影响特征提取的程度。在卷积层C1使用4×4大小的卷积核，作用于60×60大小的图像，通过遍历每一个4×4大小的区域，获得一个57×57大小的特征图。对于同一个特征图，卷积核的size都是4×4。在该网络模型中，对于图像块x，当选用激活函数ReLU时，输出y满足：

y＝ReLU(wx+b) 公式1

其中其中w为卷积核，b为偏置项，ReLU(z)＝max(0,z),其图像如图9所示，其效果是对自变量z(z＝wx+b)进行线性修正。当自变量z的值小于或者等于0时，经过ReLU函数处理后，输出的值均为0；当自变量大于0时，经过ReLU函数处理后，输出的值即为z。此时，卷积层C1上的数据个数为16×57×57×60＝3119040。

■降采样层S1：对卷积层C1上的数据进行降采样处理，采用最大池化的方式，以大小为3×3的卷积核对特征图像的相邻区域进行步幅为2的聚合统计，并取小区域中的最大值，以降低数据的个数，消除过拟合的影响。此时，S1层上的数据个数为16×28×28×60＝752640。

■卷积层C2：该层选用24个5×5大小的卷积核对输入的图像数据进行卷积，获得24个特征图(Feature map)。经过卷积处理的数据个数为24×28×28×60＝1128960。

■卷积层C3和降采样层S2、S3：C3、S2、S3对数据的处理流程与前面的卷积层和降采样层一致，只是随着层数的增加，用于特征提取的卷积核的大小和个数发生变化，对特征提取的抽象能力也发生了改变。

■全连接层：fc4是全连接层，将卷积层C3上的特征数据转换成一维向量输入，有32个神经元。此时数据的个数为32×1×1×60＝1920。余下的全连接层fc5、fc6与全连接层fc4的处理过程类似。

■输出层：输出层与全连接层fc6相连，对全连接层fc6的输出x使用softmax_loss进行处理，计算样本损失值，接下来就是根据损失值进行反向传播逐步对权重进行更新，反向传播的过程是通过计算每个需要变化的参数的梯度，然后通过一些优化算法进行更新。

设置网络的权重学习率base_lr为0.001，迭代次数为4800，任意选取120张图片作为验证图片集，其中清晰度异常图片、偏色图片和正常图片各选取了40张。通过调用训练所得模型对图片识别，获得其准确率Test-A。定义模型的准确率用分类结果无误的张数/验证总数来表示。训练结果如下表：

Test(模型对图片的分类精度)	75.4％
		loss(误差损失函数值)	0.76
Test-A(模型训练输出精度)	65.7％

由上标中显示的训练数据可知，此模型对图片的分类结果准确率为75.4％，且误差损失函数的值达到收敛时比较大，这说明寻找到的网络模型的参数并不是最优解，利用模型进行验证的过程中，对图片的分类结果也不理想。因此需要采取一定措施使之优化，从而提高其测试准确率。可以通过以下实施例二中的三个方法实现基于卷积神经网络的故障视频图像识别模型的优化，以提高模型识别的准确率。

实施例二：

基于卷积神经网络的故障视频图像识别模型的优化的具体步骤如下：

步骤1，扩展图像数据集

如果图像数据集过小，提取到的特征不够充分，模型对于特征学***衡的训练集也会导致训练结果的准确率降低。因此，为了获得准确率较高的模型，本发明将原本图像数据集的500张清晰度异常，500张偏色异常，500张正常图片，扩展至清晰度异常图片3700张，偏色异常图片4150张，正常图片4150张(二分类模型的训练需保证正负样本总数超过10000张，其中质量正常图像为正样本，质量异常图片为负样本)；将原本图像数据集中选择的包含400张清晰度异常图片、400张偏色异常图片和400张正常图片共1200张图片组成的训练数据集，扩展到3000张清晰度异常图片、3500张偏色异常图片和3500张正常图片共一万张图片组成训练数据集，控制正负样本训练集的比例为1/3～1；其余的作为测试数据集。对于整体数据集的划分，本方法采用“留出法”，即将整体数据集划分为两个互斥的集合，其中一个作为训练数据集，另一个作为测试数据集，控制训练数据集与测试数据集的比例为1/4～1/2。训练数据集与测试数据集的划分尽可能保持数据分布的一致性，避免图因数据划分过程引入额外的偏差而对最终结果产生影响，即样本类别的比例相似，例如训练数据集中清晰度异常图片、偏色异常图片及正常图片的比例为31:83:83；而测试数据集中清晰度异常图片、偏色异常图片及正常图片的比例也要近似31:83:83。图片大小为256×256，格式为JPEG图像。

步骤2，调整模型网络结构

调整后的故障视频图像识别的卷积神经网络模型包含4个卷积层、3个降采样层和2个全连接层。相较于基础卷积神经网络模型，增加了1个卷积层，减少了1个全连接层。并且对输入到网络底层的图像数据大小进行了调整，由原先的60×60调整为100×100。模型中激活函数和池化方式与基础模型中的一致，不作更改。调整后的网络模型如图6所示，其中依次有data(训练数据)、C1(CONVOLUTION LAYER,卷积层)、conv1(卷积层输出)、ReLU激活函数、S1(POOLING LAYER,池化层)、pool1(池化层输出)、C2(CONVOLUTION LAYER,卷积层)、conv2(卷积层输出)、ReLU激活函数、S2(POOLING LAYER,池化层)、pool2(池化层输出)、C3(CONVOLUTION LAYER,卷积层)、conv3(卷积层输出)、ReLU激活函数、C4(CONVOLUTIONLAYER,卷积层)、conv4(卷积层输出)、ReLU激活函数、S4(POOLING LAYER,池化层)、pool4(池化层输出)、fc5(INNER_PRODUCT,全连接层)、f5(全连接层输出)、ReLU激活函数、fc6(INNER_PRODUCT,全连接层)、f6(全连接层输出)、Accuracy(训练精度)和Loss(训练损失)。

图像数据(data)由网络底层输入，首先经过卷积层(C1)进行卷积处理，处理后的数据选择ReLU(Rectified Linear Units)函数作为激活函数，再将处理后的数据作为输入传入池化层(S1)进行降采样，降采样的方式是最大池化的方式，获得特征子区域的最大值。经过连续四个卷积层和三个降采样层处理后(其中卷积层3后面没有连接S3(POOLINGLAYER,池化层)、pool3(池化层输出))，数据转化成一维向量输入到全连接层(fc5)，全连接层处理后的数据同样选择ReLU函数作为激活函数，经过连续两个全连接层处理后，最终输出模型的测试准确率和误差损失函数值。故障视频图像识别的卷积神经网络网络优化结构如图7所示。关于故障视频图像识别模型的卷积神经网络优化框架，其具体建构如下：

■输入：将已经过尺寸归一化处理的图像数据集输入到网络模型中，在256×256大小的图像中心选取100×100的图像。设定网络一次迭代过程中处理的图片数目为50张。

■卷积层C1：相较于基础模型的16个4×4大小的卷积核，选用36个5×5大小的卷积核对图像数据进行步幅为2的卷积，获得36个49×49大小的特征图，记为36@49×49。将卷积所得数据与一个激活函数先运算，并为其添加一个偏置项，让其充当神经元的特征值存储到特征提取层C1层上。此时，C1层上的数据个数为36×49×49×50＝4321800。

■降采样层S1：对卷积层C1上的数据进行降采样处理，采用最大池化的方式，以大小为3×3的卷积核对特征图像的相邻区域进行步幅为2的聚合统计，然后获取子区域中的max值。此时，降采样层S1上的数据个数为36×24×24×50＝1036800。

■卷积层C2：主要是提取图像的特征，过程与卷积层C1类似。此时选用96个5×5大小的卷积核对图像数据进行卷积，获得96个特征图，卷积核的数目发生改变，获取的特征图的个数也相应增加。经过卷积处理的数据个数为96×12×12×50＝829440。

■卷积层C3、C4和降采样层S2、S4：这几个层的工作原理与前面的卷积层和降采样层一致，其中卷积层C3用128个卷积核大小为3×3的区域去对图像数据进行卷积，获得128个大小为12×12的特征图像。卷积层C4用96个卷积核大小为3×3的区域去对图像数据进行卷积，获得96个大小为12×12的特征图像。降采样层S2层连接在卷积层C2之后，对提取的特征图像进行最大池化处理，池化的方式与降采样层S1相同，此时输出的数据为96×12×12×50＝691200。卷积层C3后面没有连接降采样层，直接将数据输入到卷积层C4上。降采样层S4连接在卷积层C4后，也对卷积层C4进行池化操作，输出的数据为96×6×6×50＝127800。

■全连接层：fc5是全连接层，将降采样层S4上的特征数据转换成一维向量输入，有528个神经元。此时数据的个数为528×1×1×50＝26400。全连接层fc6上有3个神经元，相当于图片的3个种类。

■输出层：输出层与全连接层fc6相连，对全连接层fc6的输出x使用softmax_loss(损失函数)进行处理，计算样本损失值，接下来就是根据损失值进行反向传播逐步对权重进行更新，反向传播的过程是通过计算每个需要变化的参数的梯度，然后通过一些优化算法进行更新。。

步骤3，调整模型网络参数

权重学习速率base_lr用于设置基础学习率，常与调整策略lr_policy联合使用，如果基础学习率设置太大，容易跨过极值点，如果设置太小，又容易陷入局部最优，权重学习速率base_lr一般设置为0.001～0.01；由于神经网络计算并不能保证在各种参数配置下迭代结果收敛，当迭代结果不收敛时，允许最大的迭代次数max_iter，最大迭代次数设置太小，会导致没有收敛，精确度很低。设置太大，会导致震荡，浪费时间，优选的最大迭代次数范围是10000～20000。对于优化后的网络结构，设置其权重学习速率base_lr为0.001，最大迭代次数max_iter为10000。随机选取600张图片来进行验证，分为5组，每组120张，且这些图片区别于用来训练和测试的图片。其中每组清晰度异常图像、偏色图像和正常图像各有40张。调用训练所得模型对它们分类识别，通过计算获得该模型的准确率Test-A。优化后的卷积神经网络模型与基础卷积神经网络模型测试结果比较如下表所示。

优化后的CNN(卷积神经网络)模型与基础CNN(卷积神经网络)模型识别准确率比较如图8所示。

观察以上数据可以获知，经过图像数据集扩展、网络层次结构调整以及模型参数的更改等措施以后，与基础模型相比较，模型的测试准确率有显著提高。并且模型的误差损失函数收敛到一个极小的值，模型的网络参数获得最优解，说明该模型可以实现对异常图像的识别与分类。图8结果证明，该模型对图像分类识别的准确率可以达到90％左右，远高于基础模型的实验结果，模型实现了优化。

所述故障视频图像识别的卷积神经网络模型，通过将视频图像质量检测与深度学习相融合，将卷积神经网络应用到城市轨道交通监控故障视频检测当中。实验结果表明，该方法检测准确率高，易操作。通过构建网络结构，优化学习率、训练样本数及迭代次数等参数，可以有效保证模型的检测效果，该方法具有很大的研究价值和实践意义。具体实施时，可采用软件方式实现本发明技术方案。

Claims (9)

1.一种基于深度学习的城市轨道交通全景监控视频故障检测方法，其特征在于：包括数据集构建过程和模型训练生成过程、图片分类识别过程，

所述数据集构建过程，包括对城市轨道交通全景监控视频中的清晰度异常视频、色偏异常视频以及正常视频进行处理，将视频转化为单帧图像，并对图片尺寸进行归一化处理，构建清晰度异常图像数据集、偏色异常图像数据集和正常图像数据集，从中任意抽取图像划分为训练集和测试集，获取所需的图像数据集；

所述模型训练生成过程，包括模型训练和模型测试，

所述模型训练，包括对基于卷积神经网络的故障视频图像识别模型进行训练，所述卷积神经网络包括多个卷积层和多个全连接层；训练方式如下，

将训练集中的图片经过数据格式转换后作为底层数据输入到卷积神经网络，多个卷积层级联，对输入的图像数据进行卷积运算，抽取图像特征，生成多个特征图；

最后一个卷积层的输出作为输入，传入全连接层，经过各全连接层将特征完全转化成一维向量输出；确定实际输出值与期望值之间的误差，对网络进行反向传播，调整网络参数；

然后判断训练误差是否收敛，若否则返回训练起始端输入图片进行特征学习，若是则判断模型训练迭代次数是否达到预定的迭代次数，当达到预定的迭代次数时，模型训练结束，否则返回训练起始端输入图片继续训练；

训练结束后获得基于卷积神经网络的故障视频图像识别模型；

所述模型测试，包括将测试集中的图片输入模型训练所得故障视频图像识别模型的网络底层，故障视频图像识别模型输出图片的分类结果，包括有质量正常和质量异常两种类别，最后与测试集中已设置的相应标签进行比对，计算测试的准确率，如果没有达到预期，则优化故障视频图像识别模型，直到达到预期，得到最终的故障视频图像识别模型；

所述图片分类识别过程，包括将待识别的单帧图片输入模型训练生成过程得到的故障视频图像识别模型的网络底层，故障视频图像识别模型输出图片的分类结果，完成实现城市轨道交通全景监控视频故障图片检测。

2.根据权利要求1所述基于深度学习的城市轨道交通全景监控视频故障检测方法，其特征在于：所述优化故障视频图像识别模型，包括进行图像数据集的扩展。

3.根据权利要求1所述基于深度学习的城市轨道交通全景监控视频故障检测方法，其特征在于：所述优化故障视频图像识别模型，包括增加卷积层的个数，减少全连接层的个数。

4.根据权利要求3所述基于深度学习的城市轨道交通全景监控视频故障检测方法，其特征在于：原始的故障视频图像识别模型，所述卷积神经网络包括3个卷积层和3个全连接层。

5.根据权利要求4所述基于深度学习的城市轨道交通全景监控视频故障检测方法，其特征在于：原始的故障视频图像识别模型包括输入、卷积层C1、降采样层S1、卷积层C2、降采样层S2、卷积层C3、降采样层S3、全连接层fc4、全连接层fc5、全连接层fc6和输出层。

6.根据权利要求4所述基于深度学习的城市轨道交通全景监控视频故障检测方法，其特征在于：优化故障视频图像识别模型时，所述将卷积神经网络改为包括4个卷积层和2个全连接层。

7.根据权利要求6所述基于深度学习的城市轨道交通全景监控视频故障检测方法，其特征在于：优化故障视频图像识别模型时，将卷积神经网络改为包括输入、卷积层C1、降采样层S1、卷积层C2、降采样层S2、卷积层C3、降采样层S3、卷积层C4、降采样层S4、全连接层fc5、全连接层fc6和输出层。

8.根据权利要求1所述基于深度学习的城市轨道交通全景监控视频故障检测方法，其特征在于：所述优化故障视频图像识别模型，包括进行模型网络参数的调整。

9.根据权利要求1或2或3或4或5或6或7或8所述基于深度学习的城市轨道交通全景监控视频故障检测方法，其特征在于：所述判断训练误差是否收敛，基于误差损失函数实现。