CN118072227A - 基于知识蒸馏的轨道交通列车测速方法 - Google Patents
基于知识蒸馏的轨道交通列车测速方法 Download PDFInfo
- Publication number
- CN118072227A CN118072227A CN202410457964.2A CN202410457964A CN118072227A CN 118072227 A CN118072227 A CN 118072227A CN 202410457964 A CN202410457964 A CN 202410457964A CN 118072227 A CN118072227 A CN 118072227A
- Authority
- CN
- China
- Prior art keywords
- network
- yolo
- teacher
- student
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013140 knowledge distillation Methods 0.000 title claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 claims abstract description 68
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 12
- WYTGDNHDOZPMIW-RCBQFDQVSA-N alstonine Natural products C1=CC2=C3C=CC=CC3=NC2=C2N1C[C@H]1[C@H](C)OC=C(C(=O)OC)[C@H]1C2 WYTGDNHDOZPMIW-RCBQFDQVSA-N 0.000 claims abstract description 9
- 238000011176 pooling Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 12
- 238000000691 measurement method Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000008014 freezing Effects 0.000 claims description 4
- 238000007710 freezing Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 abstract description 13
- 238000004364 calculation method Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 abstract description 6
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 108091028732 Concatemer Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于视频理解技术领域，具体涉及基于知识蒸馏的轨道交通列车测速方法。本发明的方法将Transformer融合yolo使用多场景数据集先在教师神经网络上进行训练，再用不同的单一场景数据集单独训练参数量较小的学生神经网络，来解决Transformer需要计算量大实时性差的问题。考虑到数据集特点，本发明的方法还将蛇形卷积融合到yolo网络模型中来提高性能。本发明使用教师神经网络训练学生神经网络能使模型取得更好的泛化能力，消耗更少的训练时间，也能使模型取得更快的推理速度。除了能够处理固定视角的列车定位与测速，本发明的方法也能处理移动视角下的列车定位与测速，且具有较好的实时性。
Description
技术领域
本发明涉及视频理解、图像处理、深度学习、计算机视觉及列车测速等技术领域，具体涉及基于知识蒸馏的轨道交通列车测速方法。
背景技术
利用相机进行轨道测速是一种广泛应用且有效的方法，通过处理相机捕捉到的图像来获取列车的运行速度信息。借助计算机视觉技术，我们能够对实时捕捉到的轨道图像进行精密的分析和处理。诸如目标检测、轮廓提取和图像匹配等先进算法可被运用于准确识别图像中列车的位置，从而实现对列车位移的计算。这种方法不仅能够提供可靠的列车速度数据，还为轨道运输***的监控和管理提供了有力的工具。光流法是一种计算图像中运动物体速度的技术。通过分析相邻图像帧中像素的位移，可以推断出列车的运动速度。这种方法对于实时性要求较高的应用场景非常有效。相机的标定和校准是确保测速准确性的关键步骤。通过在相机捕捉到的图像中放置已知位置的标定物体，可以建立图像中像素与实际物理距离之间的映射关系，从而实现对图像中对象位置的精确测量。映射关系的建立需要对相机进行标定，标定之后就可以得到相机与测量物体之间的距离。同时，为了更准确地捕捉列车的运动，通常需要使用高帧率的摄像设备。高帧率使得相机能够以更短的时间间隔捕捉图像，从而提高速度测量的精度。但是这些问题依然面临着以下挑战。
（1） 这些方法针对不同场景数据集需要单独训练模型。
（2） 这些方法对模型处理数据的实时性要求较高。
深度学习技术，特别是卷积神经网络（CNN），在图像处理中得到了广泛应用。通过训练神经网络，可以使其具备识别和跟踪列车的能力，从而实现对列车运动的实时监测和速度估计。卷积神经网络可以在局部感受野获得图像的特征图，从而提取出图像的特征，在监督学习下学习到图像的特征信息，从而对未知数据进行预测。使用相机进行轨道测速的技术不仅能够提供实时的速度信息，而且相对成本较低且易于部署，因此在城市轨道交通***中得到了广泛的应用。对于列车测速来说，序列信息的提取是关键的一步，Transformer是一种深度学习模型结构，它的应用已经扩展到处理各种序列信息的任务。Transformer引入了自注意力机制，使得模型能够并行处理输入序列的不同位置，而不像循环神经网络（RNN）那样需要按顺序处理。这提高了训练和推理的效率，特别是对于长序列而言。自注意力机制允许模型在处理序列时更好地捕捉长距离的依赖关系，而不会受到传统循环神经网络中梯度消失或***的问题的影响。这使得Transformer在涉及长距离关系的任务中表现更好。但是它还存在这些问题。
（1）Transformer的自注意力机制引入了全连接的关系，导致模型的计算复杂度随着输入序列长度的增加而增加。这可能在处理非常长的序列时成为挑战，需要采用一些优化措施。
（2）Transformer模型的参数量通常较大，这可能导致对大量数据的需求，以及在资源受限的环境中的训练和推理挑战。小规模的任务可能无法从Transformer中充分受益。
发明内容
针对现有技术存在的不足，本发明提供基于知识蒸馏的轨道交通列车测速方法。
不同于以往传统的轨道测速方法只对固定场景的图像具有好的性能，本发明用多场景数据集训练教师神经网络，随后在不同的单一场景数据集上训练学生神经网络。一般使用yolo进行目标检测，将相邻帧之间的特征点匹配，再根据帧的时间间隔计算得到列车行驶速度。但是yolo直接进行关键点检测依赖于单帧信息的准确性，当原始数据出现噪声时，yolo会将噪声信息也当作特征点进行识别，从而影响测速。Transformer可以很好的提取序列信息的特征，但是Transformer需要的计算资源较大，并且在小数据集上容易过拟合。本发明将Transformer融合yolo先在教师神经网络上进行训练，再单独训练参数量较小的学生神经网络来解决Transformer需要计算量大实时性差的问题。考虑到数据集特点，本发明还将蛇形卷积融合到yolo网络模型中来提高性能。
本发明提供的基于知识蒸馏的轨道交通列车测速方法，包括以下步骤：
步骤S1：采集列车行进视频，将视频帧图像经过FFT算法得到特征点，将特征点和图像融合输入到学生神经网络中；学生神经网络包含yolo学生网络和Transformer网络；
步骤S2：步骤S1中的特征点和图像融合输入的数据经过yolo学生网络进行特征点检测；
步骤S3：将步骤S2中yolo学生网络检测到的特征点作为序列数据输入到Transformer网络中，经过Transformer网络得到序列匹配信息；
步骤S4：学生神经网络基于步骤S3中得到的序列匹配信息结合视频帧率，通过计算输出列车的速度；
所述学生神经网络基于教师神经网络训练得到；所述教师神经网络融合了yolo教师网络和Transformer网络，yolo教师网络中添加有自注意力机制以强化捕捉帧之间的光流信息；教师神经网络采用多场景数据集进行训练以提升泛化能力；
在教师神经网络的基础上冻结Transformer网络并将yolo教师网络简化为yolo学生网络，得到学生神经网络；学生神经网络使用单一场景数据集进行训练，并基于知识蒸馏将教师神经网络的知识传递给学生神经网络。
进一步地，在基于知识蒸馏的轨道交通列车测速方法中，所述yolo教师网络具有C2f结构。
进一步地，在基于知识蒸馏的轨道交通列车测速方法中，所述yolo教师网络共有26层，包含24个卷积层和2个全连接层；前12个卷积层后都有最大池化层以对数据进行降维。
进一步地，在基于知识蒸馏的轨道交通列车测速方法中，所述yolo教师网络具有蛇形卷积层，通过学习偏置信息强化对纵向特征匹配；每个蛇形卷积层之后使用最大池化层以降低空间维度和提取关键特征。
进一步地，在基于知识蒸馏的轨道交通列车测速方法中，yolo教师网络的自注意力机制，将特征图转化为Q（Query），K（Key），V（Value）三个形状相同的矩阵；Query表示查询矩阵，Key表示键矩阵，Value表示值矩阵。
进一步地，在基于知识蒸馏的轨道交通列车测速方法中，计算自注意力的输出为：
Attention（Q，K，V）= softmax((QKT)/(dk^0.5 )) V；
其中，Softmax为归一化指数函数，T表示转置，dk为K向量维度的平方根。
进一步地，在基于知识蒸馏的轨道交通列车测速方法中，训练yolo教师网络时，采用交叉熵损失作为目标函数度量预测结果与真实目标之间的匹配程度。
进一步地，在基于知识蒸馏的轨道交通列车测速方法中，通过减少yolo教师网络的卷积层层数将yolo教师网络简化为yolo学生网络。
进一步地，在基于知识蒸馏的轨道交通列车测速方法中，yolo学生网络的结构设置为含有八个卷积层和两个全连接层。
进一步地，在基于知识蒸馏的轨道交通列车测速方法中，在训练学生神经网络时，采用的监督信号为yolo教师网络在处理相同输入数据后所得到的速度预测值，以此作为真实标签对yolo学生网络进行有监督的学习和优化。
有益效果
本发明先通过融合改进版的yolo教师网络与Transformer网络构建了一个参数量较大且泛化性能好的教师神经网络，其改进版的yolo教师网络中添加了注意力机制，以更好的捕捉帧之间的光流信息。在得到一个泛化性能好的教师神经网络后，用教师神经网络监督训练一个简化的学生神经网络，其中的yolo学生网络相较于原有的yolo教师网络删除了部分卷积层，降低了模型的参数量。整个学生神经网络的训练不依赖于原始数据集，而依赖于教师神经网络。经实验验证，使用教师神经网络训练学生神经网络能使模型取得更好的泛化能力，消耗更少的训练时间，也能使模型取得更快的推理速度。此外，除了能够处理固定视角的列车定位与测速，本发明的方法也能处理移动视角下的列车定位与测速，且具有较好的实时性。
附图说明
图1为本发明的测速方法的整体流程图。
图2为yolo 教师网络的结构图。
图3为蛇形卷积结构图。
图4为最大池化层结构图。
图5为Transformer网络结构图。
图6为yolo学生网络结构图。
图7为网络流程图。
图8为视频帧图片。
图9为经过FFT算法得到特征点图片。
图10为经过yolo教师网络得到的特征点图片。
图11为经过Transformer网络得到的特征点图片。
图12为教师神经网络的相邻帧特征点匹配图。
图13为学生神经网络的相邻帧特征点匹配图。
具体实施方式
本发明提供的基于知识蒸馏的轨道交通列车测速方法，其整体流程图1所示，主要包括以下步骤：
步骤S1：采集列车行进视频，将视频帧图像经过FFT算法得到特征点，将特征点和图像融合输入到学生神经网络中；学生神经网络包含yolo（You Only Look Once）学生网络和Transformer网络；
步骤S2：步骤S1中的特征点和图像融合输入的数据经过yolo学生网络进行特征点检测；
步骤S3：将步骤S2中yolo学生网络检测到的特征点作为序列数据输入到Transformer网络中，经过Transformer网络得到序列匹配信息；
步骤S4：学生神经网络基于步骤S3中得到的序列匹配信息结合视频帧率，通过计算输出列车的速度。
如上所述，学生神经网络包含yolo学生网络和Transformer网络。学生神经网络基于教师神经网络训练得到。以下分别介绍教师神经网络和学生神经网络。
教师神经网络的构建和训练
教师神经网络包含yolo教师网络+Transformer网络的融合网络，采用多场景数据集进行训练。
采集列车行进视频，把视频中的每一帧图像经过FFT算法计算特征点位置并记录，将特征点和原图像融合输入教师神经网络中。另外，在图像经过FFT算法提取特征后，将数据分块，步长为1，以引入局部信息，并确保网络能够捕捉到数据中的动态变化，然后将图像原数据和特征点融合。
yolo教师网络对传统的yolo网络的基础模块进行了改进，将C3结构替换为C2f结构。
作为一种改进的yolo网络结构，如图2所示，yolo教师网络一共有26层，包含24个卷积层和2个全连接层，前12个卷积层后都有最大池化层，对数据进行降维。卷积使用蛇形卷积，蛇形卷积的偏置信息在预处理阶段学习。图中，DSConv为深度可分离卷积（DepthwiseSeparable Convolution），Maxpool 为最大池化层（Max Pooling Layer），ReLU为ReLU激活函数层，Conn指全连接层。
yolo教师网络的输入内容是将原始视频帧经过FFT处理后获得的特征图与未经处理的原始图像进行concat操作后的结果，这个concat后的结果构成了一个具有多个通道的新的数据表示，其中包含了原始图像的信息以及经过FFT分析提取出的特征信息。
输入yolo教师网络的新数据张量维度为256×6×480×480。批量大小（batchsize）为256，即一次送入网络进行计算的样本数量为256个。通道数（channels）为6，表示输入数据具有6个特征通道。网络接受特征点和原始图像两个张量的输入，480×480为图像的长和宽，在不同的数据集上可以有不同的值。之后经过蛇形卷积层和池化层，蛇形卷积能更好的匹配数据集特点，列车行驶的图像多为纵向特征，使用常规卷积效果不如蛇形卷积。
蛇形卷积结构如图3所示。其中，input fature表示输入特征，conv表示卷积，offset field表示偏置野，offsets表示偏置量，output feature map表示输出特征图。蛇形卷积input fature作为输入，先经过一个常规卷积，得到offset field，根据先前学习到的偏置信息，输出output feature map。网络的偏置信息是一次性学习到的，并且偏置只有一个范围约束，限定了偏置只存在input feature的范围内，控制所有的卷积发生偏置，取决于整个网络最终的损失约束。并且偏置信息之间也会互相影响，这称为偏置的连续性约束，这样保证了卷积的偏置和inputfeature之间具有较大的相关性。
每个蛇形卷积层后都含有一个最大池化层，最大池化层结构如图4所示。图中，input feature 表示输入特征，maxpool表示最大池化，outputfeature表示输出特征。最大池化层用于降低输入数据的空间维度。池化操作有助于减小模型的计算复杂度，并在一定程度上提取关键特征，同时保持空间信息的部分不变性，操作方式是在输入数据的局部区域内取最大值作为输出。具体而言，对于每个池化窗口，将窗口中的最大值作为输出值，通过移动窗口来扫描整个输入数据。这样可以有效地减小数据的空间尺寸，同时保留窗口内的最显著特征，用于逐渐减小数据的空间维度，从而在网络中引入平移不变性，并减少参数的数量。这有助于降低计算复杂度，防止模型过拟合，同时提取关键特征，使网络更具泛化能力。
为了确保在网络训练过程中输入数据经过卷积操作后分布的一致性，并进一步提升模型在城市轨道交通环境下的鲁棒性和收敛速度，在yolo网络中均采用了批量归一化（Batch Normalization, BN）技术。批量归一化通过规范化每一层的激活值，有效缓解了内部协变量偏移问题，使得模型在不同训练阶段都能保持稳定的表现，从而提高了整体***的适应性和准确性。
网络中使用的激活函数为ReLU（Rectified Linear Unit）函数，ReLU(x)={0,x<0;x ,x≥0}。ReLU的定义：对于输入x，ReLU 函数输出max(0, x)。当输入是正数时，输出就是输入值本身；当输入是负数时，输出为零。ReLU引入了非线性操作，使神经网络能够学习和表达更为复杂的函数关系。这对于处理实际问题中的非线性关系非常重要，因为多个线性操作的叠加仍然是线性的。相对于一些传统的激活函数，如sigmoid或tanh，ReLU的计算相对简单。由于它仅涉及取最大值和比较操作，计算速度较快，有助于加速训练过程。
网络的最后经过两个全连接层，全连接层的神经元与前一层的所有神经元相连接，每个连接都有一个权重，这使得全连接层能够捕捉输入数据中的复杂模式和特征，最后输出网络的特征图。该特征图作为序列数据送入后续的Transformer网络。
在教师神经网络中，Transformer网络的网络结构图如图5所示。图中，MatMul表示矩阵乘法，Scale表示缩放因子，Mask表示掩码，Softmax表示归一化指数函数。该网络使用了自注意力机制，将特征图转化为Q，K，V三个形状相同的矩阵，再提取视频帧之间的序列信息，最后输出列车的速度。引入自注意力机制主要作用是找到经过卷积操作的特征图之间的联系，排除经过yolo得到的噪声点，提高模型的准确性。
计算自注意力的输出为Attention（Q，K，V）= softmax((QKT)/(dk^0.5 )) V。
特征图经过三个矩阵， 对于每个输入元素，计算出三个向量：Query（查询）、Key（键）和 Value（值）。这些向量通常是通过对输入向量进行线性映射（通过学习的权重矩阵）获得的。再计算注意力分数，使用 Query 和 Key 的向量计算注意力分数。通常采用点积注意力机制，即将 Query 和 Key 的内积作为注意力分数。这个分数表示了在给定上下文下，模型应该关注输入序列的哪些部分。使用注意力分数对Value 进行加权和。这意味着模型对于输入序列中的每个元素都有一个权重，这个权重由注意力分数决定。将加权和作为最终的表示输出。这就是注意力机制为输入序列生成的新的表示，其中模型对不同元素的关注程度由注意力分数决定，得到的值与真实值之间计算交叉熵损失。
交叉熵损失，Hp=∑q(x) log2(1/p(x) )，它基于对预测概率分布和实际分布的比较，神经网络的输出通常通过 softmax 函数转换为类别概率分布，可以衡量模型对真实概率分布的拟合程度。
经过FFT处理后得到的特征图与原始图像按通道拼接在一起形成的拼接特征图经过yolo教师网络（改进的yolo网络），得到图像特征点，再通过Transformer网络，最后计算得到列车的运行速度，与列车实际运行速度计算损失值，再同时对Transformer网络和改进的yolo网络做梯度下降，优化模型参数。
学生神经网络的构建和训练
学生神经网络包含yolo学生网络+Transformer网络的融合网络，学生神经网络中的Transformer网络与教师神经网络中的Transformer网络是相同的神经网络，yolo学生网络是通过将yolo教师网络简化后训练得到。学生神经网络采用单一场景数据集进行训练。
将yolo教师网络进行简化，只保留8个卷积层和两个全连接层，构建yolo学生网络。再对yolo学生网络进行有监督的训练，采用的真实值为yolo教师网络得到的值，采用的数据集单一场景下的数据集。
yolo学生网络的结构如图6所示。在yolo学生网络中，只使用了8个蛇形卷积层，前两个蛇形卷积层后含有一个最大池化层，降低特征图尺寸，提取特征图关键特征，后6个蛇形卷积层含有一个RelU激活函数，最后通过一个全连接层，相比于教师网络减少了一半的参数量。
网络的流程图如图7所示。在实际场景应用中，先使用大量多场景数据集训练yolo教师网络+transfomer网络，使得模型有很好的泛化能力。再将模型的yolo教师网络部分修改为yolo学生网络，且冻结Transformer网络的参数，单独训练学生网络。学生网络接受单一场景数据集，并根据列车实际行驶速度做有监督训练，将训练好的网络封装，就可以使用模型预测列车速度。对于不同场景，只需要一组数据集在学生网络上训练，大大降低了模型的训练时间，网络的参数量较少，可以完成实时监控列车时速的任务。
上述方法融合yolo和Transformer的知识蒸馏网络，用于解决轨道交通测速问题。该方法能有效地提取视频帧之间的光流信息，降低噪声点对结果的影响，同时针对Transformer部署在实际场景参数量大和实时性差的问题减小模型的参数量。
如上所述，本发明提出一种基于知识蒸馏的轨道交通列车定位与测速方法，具体先将多场景数据集在yolo教师网络+Transformer融合网络上进行训练，之后冻结Transformer网络，用参数更少的学生网络代替教师网络，使用yolo学生网络+Transformer融合网络进行训练，相较于传统的列车轨道测速方法有更好的实时性。以地铁测速为例，图8显示的是地铁的视频帧，图9显示的是经过FFT算法得到特征点，图10显示的是将融合的图像经过yolo教师网络得到的特征点图像，图11显示的是经过Transformer网络后的图像特征点，图12显示的是教师神经网络的相邻帧特征点匹配；图13显示的是学生网络的相邻帧特征点匹配。
以上实施方式是示例性的，其目的是说明本发明的技术构思及特点，以便熟悉此领域技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。
Claims (10)
1.基于知识蒸馏的轨道交通列车测速方法，其特征在于，包括以下步骤：
步骤S1：采集列车行进视频，将视频帧图像经过FFT算法得到特征点，将特征点和图像融合输入到学生神经网络中；学生神经网络包含yolo学生网络和Transformer网络；
步骤S2：步骤S1中的特征点和图像融合输入的数据经过yolo学生网络进行特征点检测；
步骤S3：将步骤S2中yolo学生网络检测到的特征点作为序列数据输入到Transformer网络中，经过Transformer网络得到序列匹配信息；
步骤S4：学生神经网络基于步骤S3中得到的序列匹配信息结合视频帧率，通过计算输出列车的速度；
所述学生神经网络基于教师神经网络训练得到；所述教师神经网络融合了yolo教师网络和Transformer网络，yolo教师网络中添加有自注意力机制以强化捕捉帧之间的光流信息；教师神经网络采用多场景数据集进行训练以提升泛化能力；
在教师神经网络的基础上冻结Transformer网络并将yolo教师网络简化为yolo学生网络，得到学生神经网络；学生神经网络使用单一场景数据集进行训练，并基于知识蒸馏将教师神经网络的知识传递给学生神经网络。
2.根据权利要求1所述的基于知识蒸馏的轨道交通列车测速方法，其特征在于：所述yolo教师网络具有C2f结构。
3.根据权利要求2所述的基于知识蒸馏的轨道交通列车测速方法，其特征在于：所述yolo教师网络共有26层，包含24个卷积层和2个全连接层；前12个卷积层后都有最大池化层以对数据进行降维。
4.根据权利要求1所述的基于知识蒸馏的轨道交通列车测速方法，其特征在于：所述yolo教师网络具有蛇形卷积层，通过学习偏置信息强化对纵向特征匹配；每个蛇形卷积层之后使用最大池化层以降低空间维度和提取关键特征。
5.根据权利要求1所述的基于知识蒸馏的轨道交通列车测速方法，其特征在于：yolo教师网络的自注意力机制，将特征图转化为Q，K，V三个形状相同的矩阵；Query表示查询矩阵，Key表示键矩阵，Value表示值矩阵。
6.根据权利要求5所述的基于知识蒸馏的轨道交通列车测速方法，其特征在于：计算自注意力的输出为：
Attention（Q，K，V）= softmax((QKT)/(dk^0.5 )) V；
其中，Softmax为归一化指数函数，T表示转置，dk为K向量维度的平方根。
7.根据权利要求6所述的基于知识蒸馏的轨道交通列车测速方法，其特征在于：训练yolo教师网络时，采用交叉熵损失作为目标函数度量预测结果与真实目标之间的匹配程度。
8.根据权利要求1所述的基于知识蒸馏的轨道交通列车测速方法，其特征在于：通过减少yolo教师网络的卷积层层数将yolo教师网络简化为yolo学生网络。
9.根据权利要求8所述的基于知识蒸馏的轨道交通列车测速方法，其特征在于：yolo学生网络的结构设置为含有八个卷积层和两个全连接层。
10.根据权利要求9所述的基于知识蒸馏的轨道交通列车测速方法，其特征在于：在训练学生神经网络时，采用的监督信号为yolo教师网络在处理相同输入数据后所得到的速度预测值，以此作为真实标签对yolo学生网络进行有监督的学习和优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410457964.2A CN118072227B (zh) | 2024-04-17 | 2024-04-17 | 基于知识蒸馏的轨道交通列车测速方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410457964.2A CN118072227B (zh) | 2024-04-17 | 2024-04-17 | 基于知识蒸馏的轨道交通列车测速方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118072227A true CN118072227A (zh) | 2024-05-24 |
| CN118072227B CN118072227B (zh) | 2024-07-05 |
Family
ID=91100668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410457964.2A Active CN118072227B (zh) | 2024-04-17 | 2024-04-17 | 基于知识蒸馏的轨道交通列车测速方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118072227B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021023202A1 (zh) * | 2019-08-07 | 2021-02-11 | 交叉信息核心技术研究院(西安)有限公司 | 一种卷积神经网络的自蒸馏训练方法、设备和可伸缩动态预测方法 |
| CN116012635A (zh) * | 2022-10-31 | 2023-04-25 | 上海师范大学 | 一种基于知识蒸馏的煤矸石检测方法及装置 |
| CN116486391A (zh) * | 2023-03-01 | 2023-07-25 | 广东宜教通教育有限公司 | 场景文本识别方法、***、存储介质及计算设备 |
| CN116703819A (zh) * | 2023-04-14 | 2023-09-05 | 东南大学 | 一种基于知识蒸馏的铁路货车钢地板破损检测方法 |
| WO2023212997A1 (zh) * | 2022-05-05 | 2023-11-09 | 五邑大学 | 基于知识蒸馏的神经网络训练方法、设备及存储介质 |
-
2024
- 2024-04-17 CN CN202410457964.2A patent/CN118072227B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021023202A1 (zh) * | 2019-08-07 | 2021-02-11 | 交叉信息核心技术研究院(西安)有限公司 | 一种卷积神经网络的自蒸馏训练方法、设备和可伸缩动态预测方法 |
| WO2023212997A1 (zh) * | 2022-05-05 | 2023-11-09 | 五邑大学 | 基于知识蒸馏的神经网络训练方法、设备及存储介质 |
| CN116012635A (zh) * | 2022-10-31 | 2023-04-25 | 上海师范大学 | 一种基于知识蒸馏的煤矸石检测方法及装置 |
| CN116486391A (zh) * | 2023-03-01 | 2023-07-25 | 广东宜教通教育有限公司 | 场景文本识别方法、***、存储介质及计算设备 |
| CN116703819A (zh) * | 2023-04-14 | 2023-09-05 | 东南大学 | 一种基于知识蒸馏的铁路货车钢地板破损检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118072227B (zh) | 2024-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111160297B (zh) | 基于残差注意机制时空联合模型的行人重识别方法及装置 | |
| CN110097568B (zh) | 一种基于时空双分支网络的视频对象检测与分割方法 | |
| Wang et al. | Automated crack severity level detection and classification for ballastless track slab using deep convolutional neural network | |
| CN113436169B (zh) | 一种基于半监督语义分割的工业设备表面裂纹检测方法及*** | |
| Huang et al. | Development and validation of a deep learning algorithm for the recognition of plant disease | |
| CN110120064B (zh) | 一种基于互强化与多注意机制学习的深度相关目标跟踪算法 | |
| CN112949828B (zh) | 一种基于图学习的图卷积神经网络交通预测方法及*** | |
| CN111161315B (zh) | 一种基于图神经网络的多目标跟踪方法和*** | |
| CN112818969B (zh) | 一种基于知识蒸馏的人脸姿态估计方法及*** | |
| CN109743642B (zh) | 基于分层循环神经网络的视频摘要生成方法 | |
| CN113920170B (zh) | 结合场景上下文和行人社会关系的行人轨迹预测方法、***及存储介质 | |
| CN113313123B (zh) | 一种基于语义推断的扫视路径预测方法 | |
| CN113139468A (zh) | 融合局部目标特征与全局特征的视频摘要生成方法 | |
| WO2022116616A1 (zh) | 一种基于转换模块的行为识别方法 | |
| CN110569706A (zh) | 一种基于时间和空间网络的深度集成目标跟踪算法 | |
| CN116485839A (zh) | 一种基于注意力自适应选择Transformer的视觉跟踪方法 | |
| CN118072227B (zh) | 基于知识蒸馏的轨道交通列车测速方法 | |
| CN113222945A (zh) | 基于双目事件相机的深度信息测量方法 | |
| CN111652021B (zh) | 一种基于bp神经网络的人脸识别方法及*** | |
| CN115661539A (zh) | 一种嵌入不确定性信息的少样本图像识别方法 | |
| CN112487927A (zh) | 一种基于物体关联注意力的室内场景识别实现方法及*** | |
| CN116071825B (zh) | 一种动作行为识别方法、***、电子设备及存储介质 | |
| CN113658218B (zh) | 一种双模板密集孪生网络跟踪方法、装置及存储介质 | |
| CN117437575A (zh) | 基于强化学习及奖励机制的胃肠镜视频关键帧提取方法及*** | |
| Li et al. | A Weakly-Supervised Crowd Density Estimation Method Based on Two-Stage Linear Feature Calibration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |