CN117636057B - 基于多分支跨空间注意力模型的列车轴承损伤分类识别方法 - Google Patents

Abstract

本发明公开了一种基于多分支跨空间注意力模型的列车轴承损伤分类识别方法，包括如下步骤：获取列车轮对轴承元件表面图像；根据列车轮对轴承元件表面不同的损伤类型，分别建立图像样本集，并根据损伤类型不同对其进行标签划分；将样本集进行随机划分，确定训练样本集和验证样本集，将训练样本集和验证样本集输入网络模型中训练；使用完成网络模型训练的网络模型对待测的轮对轴承进行损伤识别。构建的网络模型既可以通过多分支模块提取不同语义下更丰富的图像特征信息，又利用跨空间通道连接突出增强重要特征信息，从而能够较为准确地扑捉图像中的关键特征，提升网络的分类识别性能。

Description

基于多分支跨空间注意力模型的列车轴承损伤分类识别方法

技术领域

本发明涉及列车轮对轴承损伤检测技术领域，特别涉及基于多分支跨空间注意力模型的列车轴承损伤分类识别方法。

背景技术

铁路交通运输具有运量大、成本低、占地少、绿色环保等诸多优点，对促进国民经济发展具有不可取代的关键作用。轮对轴承作为列车走行部核心部件之一，长时间在恶劣的工况环境下运行，极易发生划伤、剥离、凹痕等多类损伤。因此，开展有效的高速列车轮对轴承故障运维研究，对保障列车安全、平稳运营具有重要的学术价值与经济意义。

发明内容

为了解决以上问题，本发明提供了基于多分支跨空间注意力模型的列车轴承损伤分类识别方法。

为实现上述目的，本发明所采用的技术方案如下：

基于多分支跨空间注意力模型的列车轴承损伤分类识别方法，包括如下步骤：

获取列车轮对轴承元件表面图像；

根据列车轮对轴承元件表面不同的损伤类型，分别建立图像样本集，并根据损伤类型不同对其进行标签划分；

将样本集进行随机划分，确定训练样本集和验证样本集，将训练样本集和验证样本集输入网络模型中训练；

使用完成网络模型训练的网络模型对待测的轮对轴承进行损伤识别。

进一步的：所述将样本集进行随机划分，确定训练样本集和验证样本集，将训练样本集和验证样本集输入网络模型中训练，其中所述网络模型包括：

图像Patch生成模块：用于将训练样本集和验证样本集划分为Paches，并将每个Paches映射到一维向量中；

多分支跨空间注意力模块：包括多头注意力分支、跨空间连接分支和多尺度空洞卷积分支，通过空间连接特征图相乘分别将跨空间连接分支与多头注意力分支、跨空间连接分支与多尺度空洞卷积分支进行跨空间连接，三分支输出结果通过特征图相加进行特征图融合，通过展平层，实现维度匹配，再进行残差连接，经残差结构的多层感知器模块输出结果；

MLP分类识别模块；包括展平层、平均池化层、最大池化层和全连接层，其中，平均池化与最大池化并行操作。

进一步的：所述图像Patch生成模块包括：

缩放层、卷积层和线性映射层，其中缩放层利用resize()函数将不同尺寸大小的图像统一缩放为相同的尺寸；卷积层通过卷积操作将图像划分为给定大小的多个Paches；通过线性映射层将每个Patch映射到一维向量中。

进一步的：所述多头注意力分支包括：

层归一化、多头注意力以及与跨空间连接分支的空间连接，其特征输出结果表示为：

式中，表示特征图相乘，z₁′表示多头注意力分支跨空间连接前的特征，z′₂₁表示跨空间连接分支要与多头注意力分支跨空间连接的特征，z₁表示多头注意力分支最终输出特征，最终输出特征经reshape()函数处理后输出。

进一步的：所述跨空间连接分支包括：

经reshape()函数处理后，再经可分离卷积层、批归一化层以及非线性层输出得到的z₂，即跨空间连接分支最终输出特征；经reshape()函数处理后，再经分离卷积层、平均池化层、Softmax层、展平层输出得到的z′₂₁，即跨空间连接分支要与多头注意力分支跨空间连接的特征；以及经reshape()函数处理后，再经分离卷积层与Sigmoid层输出得到的z′₂₃，即跨空间连接分支要与多尺度空洞卷积分支跨空间连接的特征。

进一步的：所述多尺度空洞卷积分支包括：

reshape()函数层、并行的空洞卷积融合、与跨空间连接分支的空间连接，其特征输出结果表示为：

式中，表示特征图相乘，z₃′表示多尺度空洞卷积分支跨空间连接前的特征，z′₂₃表示跨空间连接分支要与多尺度空洞卷积分支跨空间连接的特征，z₃表示多尺度空洞卷积分支最终输出特征，z₃′是三个并行空洞卷积前后融合输出的结果，三个并行空洞卷积采用前后融合的特征图拼接方式，将多个特征图在通道维度上进行堆叠。

进一步的：所述多分支跨空间注意力模块还包括：

多头注意力分支、跨空间连接分支与多尺度空洞卷积分支最终输出的特征进行特征图相加进行融合：

式中，表示特征图相加，z′表示三个分支特征融合的特征，通过展平层，实现维度匹配，再进行残差连接，经残差结构的多层感知器模块输出，输出结果如下式：

式中，z表示多分支跨空间注意力子模块特征输出结果，z″表示输入多分支跨空间注意力子模块前的特征结果。

本发明与现有技术相比，所取得的技术进步在于：

本发明设计的多分类智能识别功能的多分支跨空间注意力网络模型采用了多分支的结构，包括多头注意力、跨空间连接和多尺度空洞卷积等分支，助于模型学***均池化和最大池化的并行操作，通过相加融合这两种池化的结果，有助于模型更全面地捕获特征信息，同时也可以提高对图像的多方面信息进行智能分类的能力。

总体而言，本发明既可以通过多分支模块提取不同语义下更丰富的图像特征信息，又利用跨空间通道连接突出增强重要特征信息，从而能够较为准确地捕捉图像中的关键特征，提升网络的分类识别性能。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

在附图中：

图1为本发明的一种基于多分支跨空间注意力模型的列车轴承损伤分类识别方法的流程图；

图2为本发明多分类网络模型的结构示意图；

图3为本发明图像Patch生成模块的结构示意图；

图4为本发明多分支跨空间注意力模块的结构示意图；

图5为本发明分类识别模块的结构示意图；

图6为本发明多分类网络模型训练及验证分析结果图；

图7为本发明列车轮对轴承损伤监测输出结果的混淆矩阵。

具体实施方式

下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

如图1所示的，本发明公开了一种基于多分支跨空间注意力模型的列车轴承损伤分类识别方法，包括如下步骤：

S01：获取列车轮对轴承元件表面图像；

S02：根据列车轮对轴承元件表面不同的损伤类型，分别建立图像样本集，并根据损伤类型不同对其进行标签划分；

S03：将样本集进行随机划分，确定训练样本集和验证样本集，将训练样本集和验证样本集输入网络模型中训练；

S04：使用完成网络模型训练的网络模型对待测的轮对轴承进行损伤识别。

具体的，在S01至S03中，可以通过工业摄像机拍摄列车轮对轴承内圈、外圈、滚子等不同元件表面不同类型损伤图像，根据不同图像的损伤类型分别建立图像样本数据集，将损伤类型作为对应样本数据集的样本标签，列车轴承图像样本集包括多个不同损伤类型轴承图像样本和样本标签。

具体的，S03中，网络模型为具有多分类智能识别功能的多分支跨空间注意力网络模型，该模型包括图像Patch生成模块、多分支跨空间注意力模块以及分类识别模块，其中多分支跨空间注意力模块有L个多分支跨空间注意力子模块顺序连接组成，所搭建的网络模型由这三个基本模块顺序连接构成，结构示意图如图2所示。

具体的，在图像Patch生成模块中，首先，通过是一个缩放层，利用resize()函数将不同尺寸大小的图像统一缩放为相同的尺寸，图像维度大小统一为：H×W×C(H高度，W宽度，C通道数)＝224×224×3；然后是一个标准卷积层，通过卷积操作将图像划分为给定大小的一堆Paches，卷积层中卷积核大小为16×16，步长(stride)为16，卷积核的个数为768，因此图片划分为Paches后，维度由[224×224×3]变化为[14×14×768]；最后，通过一个线性映射层，将每个Patch映射到一维向量中，具体操作是通过一个Flatten()函数，将图像的维度由[14×14×768]变化为[196×768]，图像Patch生成模块结构的示意图如图3。

具体的，如图4所示的，多分支跨空间注意力模块是多分支跨空间注意力网络模型的核心构成模块，有L个多分支跨空间注意力子模块顺序连接。包含三个分支，分别分支一多头注意力、分支二跨空间连接和分支三多尺度空洞卷积(Atrous convolution,AC)。通过特征图相乘(Multiplication)方式，分别把分支二与分支一、分支二与分支三进行跨空间连接。三个分支输出结果通过特征图相加(Addition)方式进行特征图融合，后面是一个残差连接和一个残差结构的多层感知器(Multilayer Perception,MLP)模块。

其中：

1)分支一多头注意力：该分支主要由层归一化(LayerNorm)、多头注意力及与分支二的空间连接共三部分构成，其特征输出结果可以表示：

式中，表示特征图相乘，z₁′表示分支一跨空间连接前的特征，z′₂₁表示分支二要与分支一跨空间连接的特征，z₁表示分支一最终输出特征。由于分支一输出特征维度与分支二、分支三特征维度不匹配，所以要进行reshape()函数处理，保证分支一与分支二、分支三特征维度匹配，从而进行后面三个分支输出的特征图相加(Addition)融合。分支一使用多头注意力机制来建立特征图中不同位置的关联，通过自注意力机制在全局范围内学习到图像的特征表示，能够在不依赖卷积操作的情况下有效地捕捉到图像中的全局信息。在此基础上，通过与分支二部分进行跨空间融合，将多个特征图逐元素相乘，融合它们的信息，增强共同出现的特征并减弱不重要的特征。

2)分支二跨空间连接：该分支有三个输出特征：z₂,z′₂₁,z′₂₃，分别代表分支二最终输出特征、分支二要与分支一跨空间连接的特征、分支二要与分支三跨空间连接的特征。z₂经reshape()函数处理后，再经可分离卷积层(DWC)、批归一化层(BatchNorm)及非线性层(Non-Linear)输出得到。z′₂₁经reshape()函数处理后，再经分离卷积层(DWC)、平均池化层(Avg Pooling)、Softmax层、展平层(Flatten)输出得到。z′₂₃经reshape()函数处理后，再经分离卷积层(DWC)与Sigmoid层输出得到。分支二一方面通过可分离卷积操作提取基本的图像细节特征信息，另一方面为分支一与分支三提供跨空间连接。

3)分支三多尺度空洞卷积：该分支由reshape()函数层、三个并行的空洞卷积融合、与分支二的空间连接三部分构成，其特征输出结果可以表示：

式中，表示特征图相乘，z₃′表示分支三跨空间连接前的特征，z′₂₃表示分支二要与分支三跨空间连接的特征，z₁表示分支三最终输出特征。在该模块中，z₃′是三个并行空洞卷积前后融合输出的结果，这三个空洞卷积的卷积核大小均为3×3，空洞率分别为2、3和4。空洞卷积相比普通卷积操作在不增加卷积计算量的基础上，可以有效扩大卷积感受野范围，但是单个空洞卷积操作会因存在“网格效应”，导致卷积过程中某些重要特征信息丢失。因此，三个并行空洞卷积采用前后融合的特征图拼接(Concatenation)方式，将多个特征图在通道维度上进行堆叠，来避免空洞卷积过程中重要特征信息的丢失。将分支二可分离卷积提取特征与多尺度空洞卷积提取的特征逐元素相乘，进一步融合信息后，可以增强共同出现的特征并减弱不重要的特征。

最后分支一、分支二与分支三最终输出的特征进行特征图相加(Addition)进行融合：

式中，表示特征图相加，z′表示三个分支特征融合的特征。通过一个展平层(Flatten)，实现维度匹配，再进行残差连接，然后是一个残差结构的多层感知器(Multilayer Perception,MLP)模块，输出结果如下式：

式中，z表示多分支跨空间注意力子模块特征输出结果，z″表示输入多分支跨空间注意力子模块前的特征结果。

具体的，如图5所示的，分类识别模块包括展平层(Flatten)、平均池化层(AvgPooling)、最大池化层(Max Pooling)、全连接层构成，其中，平均池化和最大池化是并行操作，结果进行相加(Addition)融合，通过该模块，输出对应图像的智能识别结果。

在使用时需要对多分支跨空间注意力网络模型的参数进行设置，设置结果如下表所示：

例如：通过摄像机拍摄采集列车轮对轴承外圈、内圈、滚子等各个元件表面图像，根据轴承元件表面不同的损伤类型，分别建立图像样本集，并根据损伤类型不同对其进行标签划分；图像样本集共包含4种类型轴承样本图像，每一类样本图像包含300张图像，对应的样本标签分别为剥落、电蚀、裂纹和正常，这些轴承损伤均是在列车长时间运行过程中所造成的；搭建具备多分类智能识别功能的多分支跨空间注意力网络，将每一类列车轮对轴承图像样本进行比例为9：1的随机划分，确定训练样本集和验证样本集，每一类训练样本集包含270张图像，每一类验证样本集包含30张图像；将训练样本集和验证样本集输入网络模型中训练，训练和验证的准确率分别为98.5％、95％。所述网络模型的训练及验证分析结果如图6所示。选取待测的剥落、电蚀、裂纹和正常四类样本图像，每一类各10张，不设置标签，全部输入至已训练好的网络模型，进行列车轮对轴承损伤监测，监测输出结果的混淆矩阵如图7所示，分类识别准确率为100％，这证实了所提网络模型用于列车轮对轴承损伤检测的有效性。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明权利要求保护的范围之内。

Claims (2)

1.基于多分支跨空间注意力模型的列车轴承损伤分类识别方法，其特征在于，包括如下步骤：

获取列车轮对轴承元件表面图像；

根据列车轮对轴承元件表面不同的损伤类型，分别建立图像样本集，并根据损伤类型不同对其进行标签划分；

将样本集进行随机划分，确定训练样本集和验证样本集，将训练样本集和验证样本集输入网络模型中训练；

使用完成网络模型训练的网络模型对待测的轮对轴承进行损伤识别；

其中，所述网络模型包括：

图像Patch生成模块：用于将训练样本集和验证样本集划分为Paches，并将每个Paches映射到一维向量中；

多分支跨空间注意力模块：包括多头注意力分支、跨空间连接分支和多尺度空洞卷积分支，通过空间连接特征图相乘分别将跨空间连接分支与多头注意力分支、跨空间连接分支与多尺度空洞卷积分支进行跨空间连接，三分支输出结果通过特征图相加进行特征图融合，通过展平层，实现维度匹配，再进行残差连接，经残差结构的多层感知器模块输出结果；

MLP分类识别模块；包括展平层、平均池化层、最大池化层和全连接层，其中，平均池化与最大池化并行操作；

所述图像Patch生成模块包括：

缩放层、卷积层和线性映射层，其中缩放层利用resize()函数将不同尺寸大小的图像统一缩放为相同的尺寸；卷积层通过卷积操作将图像划分为给定大小的多个Paches；通过线性映射层将每个Patch映射到一维向量中；

所述多头注意力分支包括：

层归一化、多头注意力以及与跨空间连接分支的空间连接，其特征输出结果表示为：

式中，表示特征图相乘，z′₁表示多头注意力分支跨空间连接前的特征，z′₂₁表示跨空间连接分支要与多头注意力分支跨空间连接的特征，z₁表示多头注意力分支最终输出特征，最终输出特征经reshape()函数处理后输出；

所述跨空间连接分支包括：

经reshape()函数处理后，再经可分离卷积层、批归一化层以及非线性层输出得到的z₂，即跨空间连接分支最终输出特征；经reshape()函数处理后，再经分离卷积层、平均池化层、Softmax层、展平层输出得到的z′₂₁，即跨空间连接分支要与多头注意力分支跨空间连接的特征；以及经reshape()函数处理后，再经分离卷积层与Sigmoid层输出得到的z′₂₃，即跨空间连接分支要与多尺度空洞卷积分支跨空间连接的特征；

所述多尺度空洞卷积分支包括：

reshape()函数层、并行的空洞卷积融合、与跨空间连接分支的空间连接，其特征输出结果表示为：

式中，表示特征图相乘，z′₃表示多尺度空洞卷积分支跨空间连接前的特征，z′₂₃表示跨空间连接分支要与多尺度空洞卷积分支跨空间连接的特征，z₃表示多尺度空洞卷积分支最终输出特征，z′₃是三个并行空洞卷积前后融合输出的结果，三个并行空洞卷积采用前后融合的特征图拼接方式，将多个特征图在通道维度上进行堆叠。

2.根据权利要求1所述的基于多分支跨空间注意力模型的列车轴承损伤分类识别方法，其特征在于，所述多分支跨空间注意力模块还包括：

多头注意力分支、跨空间连接分支与多尺度空洞卷积分支最终输出的特征进行特征图相加进行融合：

式中，表示特征图相加，z′表示三个分支特征融合的特征，通过展平层，实现维度匹配，再进行残差连接，经残差结构的多层感知器模块输出，输出结果如下式：

式中，z表示多分支跨空间注意力子模块特征输出结果，z″表示输入多分支跨空间注意力子模块前的特征结果。