CN115630278A - 基于通道-时空注意力机制的网络的振动损伤检测方法 - Google Patents

Abstract

本发明提供了基于通道‑时空注意力机制的网络的振动损伤检测方法，方法包括：通过加速度传感器收集桥梁的振动响应，并基于响应数据构建样本矩阵；将样本矩阵输入至已训练好的N层基于通道‑时空注意力机制的网络CSTA中，进行特征提取和通道、空间、时间维度上的特征学***均池化和全连接网络，得到桥梁的损伤分类结果。本发明基于通道‑时空注意力机制的网络的振动损伤检测方法，从而从根源上解决了现有的基于振动的损伤检测方法中时空特征信息提取不够丰富导致损伤识别精度不高的问题。

Description

基于通道-时空注意力机制的网络的振动损伤检测方法

技术领域

本发明属于结构损伤检测领域，具体涉及一种基于通道-时空注意力机制的网络的振动损伤检测方法。

背景技术

土木结构和基础设施在其生命周期中一直受到各种环境源的破坏。这些损伤，如腐蚀、裂纹和残余应力，将降低结构的稳定性和安全性，威胁到人们的生命和财产安全。结构健康监测(SHM)***作为一项很有前途的技术，已广泛应用于桥梁和高层建筑等民用基础设施的诊断和预测。作为SHM***的重要组成部分，基于振动的损伤检测(VBDD)方法已经引起了研究人员的兴趣，因为它们能够识别结构的整体特征，并且这些方法是非破坏性的。VBDD侧重于利用结构参数变化(如固有频率、刚度和振型)的响应数据对结构进行整体状态评估。

在过去的几十年里，许多机器学习(ML)算法，如主成分分析、支持向量机和随机森林被用于VBDD，这些方法的损伤识别结果在很大程度上取决于特征提取阶段提取到特征的重要性和深度，但没有统一的评估标准来判断特征提取过程的质量。另外，一些研究者将深度方法用于检测结构损伤，以便实现端到端的结构从而最大限度地提高分类精度。目前一维卷积神经网络(CNN)被广泛用于基于深度学习的损伤识别任务，出色的结果验证了深层CNN在VBDD领域的有效性。为了适应多传感器场景并降低输入信号的维数，一些研究人员在VBDD中引入了二维卷积，这些研究通常将传感器信号并行连接，或者将一维信号转化为二维灰度图像输入到二维卷积网络中；虽然CNN在短期依赖数据输入或低噪声环境中表现出优异的性能，但是很难捕捉到时序序列中复杂及长时序信息。目前大量研究将CNN与递归神经网络(RNN)串联以提取时空特征。在这些模型中，CNN通常用于捕捉传感器空间关系和振动数据的瞬时特征，而RNN或其变体则捕捉振动响应中瞬时特征表示(即长期相关性)的变化。同时，在VBDD最新研究中，提出了并行卷积神经网络和双向选通递归单元，以防止通过CNN后的时间信息丢失，此外，还利用双向GRU来考虑之前和后续状态。

然而，上述方法中均存在以下问题：这些基于振动的损伤检测都没有选择性地强调某些传感器响应的特征和信号的特定部分，然而这些信息对VBDD任务的执行至关重要；同时，裂缝的地理位置以及方向都对安装在桥梁的不同位置或者振动采集方向的传感器产生不同的影响，而CNN不能采集这种动态的空间关系；此外，时间序列最显著的特征是其时间相关性，时间步长对分类任务的贡献是不平等的，应该强调那些具有鉴别和敏感特征的时间步长。综上，现有的基于振动的损伤检测方法，存在时空特征信息提取不够丰富而造成损伤识别精度不高的问题。

因此，如何提高基于振动的损伤识别精度，是本领域亟待解决的问题。

发明内容

本发明的目的是针对现有技术的缺陷，提供一种基于通道-时空注意力机制的网络的振动损伤检测方法。本发明基于通道-时空注意力机制的网络的振动损伤检测方法，通过部署在桥梁或其他结构的关键位置的加速度传感器收集振动响应，并基于收集的响应数据构建样本矩阵；将所述样本矩阵输入至已训练好的N层基于通道-时空注意力机制的网络CSTA中，进行特征提取和通道、空间、时间维度上的特征学***均池化GAP和全连接网络FC，得到所述桥梁或其他结构的损伤分类结果，从而从根源上解决了现有的基于振动的损伤检测方法中时空特征信息提取不够丰富导致损伤识别精度不高的问题。

为了实现以上目的，本发明采用以下技术方案：

一种基于通道-时空注意力机制的网络的振动损伤检测方法，其特征在于，包括步骤：

S1、通过加速度传感器收集桥梁的振动响应，并基于收集的响应数据构建样本矩阵；其中，所述加速度传感器部署在桥梁的关键位置，所述振动响应由LMS软件收集和处理，通过LMS软件收集不同重量的车辆通过桥梁时产生的激励，并按照地理顺序连接从所有加速传感器收集的原始时间序列，并沿时间维度将其划分为样本X＝{x₁，x₂，...，x_N}；每个样本形成为矩阵

其中

表示在时间步j的第i个加速传感器上记录的值，m和n分别表示时间步和加速传感器的数量；

S2、将所述样本矩阵输入至己训练好的N层基于通道-时空注意力机制的网络CSTA中，进行特征提取和通道、空间、时间维度上的特征学习，得到第N层CSTA的特征图；所述得到第N层CSTA的特征图包括：将首次经过基本特征提取器后得到的原始三维样本特征图与经过第一层基于通道-时空注意力机制的网络CSTA得到的特征图连接作为下一层CSTA的特征图，依次进行迭代，直到输出第N层CSTA的特征图，特征图连接具体如下式所示：

F_k+1＝F_k+Atten(C(F_k))，

其中，F_k代表在第k层的特征图，k＝1，...，N-1，N代表基于通道-时空注意力机制的网络CSTA的个数，函数C代表基础特征提取器，以及Atten表示注意力模块函数；将第k层的原始的特征图与经过特征提取和细化后的特征图连接作为第k+1层的特征图F_k+1；

其中，每一层基于通道-时空注意力机制的网络CSTA包括基本特征提取器和注意力模块，所述经过第一层基于通道-时空注意力机制的网络得到特征图的具体步骤包括：

S21、将所述样本矩阵输入至所述基本特征提取器进行特征提取，实现二维到三维样本特征图U∈R^s×t×c的映射转换，s，t，c分别代表空间、时间、通道维度；其中，所述基本特征提取器包括CNN、批归一化BN、激活函数ReELU、最大池化；

S22、将所述三维样本特征图输入到所述注意力模块，依次学习通道、空间、时间维度上的特征，得到经过第一层基于通道-时空注意力机制的网络CSTA得到的特征图；其中，所述注意力模块包括依次连接的挤压-激励块SE、局部-全局注意力模块LGA、分组地自注意力模块GSA，通过所述挤压-激励块SE来计算通道注意力权重、所述局部-全局注意力模块LGA来计算空间注意力权重、所述分组地自注意力模块GSA来计算时间注意力权重；

具体地，步骤S22包括：

(1)采用所述挤压-激励块SE来计算通道注意力权重，得到经过通道注意力

权重缩放的三维样本特征图，包括：

首先，采用全局平均池化GAP来实现所述三维样本特征图U沿着时空维度s×t的压缩，得到压缩操作阶段的聚合信息，具体压缩函数F_sq如下式所示：

其中，z_k代表第k个通道对应的压缩通道信息，通道u_k(i，j)代表对应的CNN卷积核的响应激活，k＝1，2，...，c；

其次，将所述聚合信息传输至激励阶段，以压缩阶段的信息z为输入，所述激励阶段函数F_ex采用两层全连接网络FC和sigmoid激活函数来捕获通道间的关系，通道注意力权重的计算公式如下所示：

a_c＝F_ex(z，W)＝σ(g(z，W))＝σ(W₂δ(W₁z))

其中σ代表sigmoid函数，

表示非线性可学习参数，δ表示ReLU函数，W表示权值，r表示限制模型复杂度的缩减率；

最后，使用所述通道注意力权重将所述三维样本特征图U中的通道维度特征进行缩放，得到经过通道注意力权重缩放的三维样本特征图，缩放函数F_scale具体如下式所示：

其中，u_k代表原始三维样本特征图，a_k代表压缩阶段计算的通道注意力权值；

(2)基于所述经过通道注意力权重缩放的三维样本特征图，采用所述局部-全局注意力模块LGA来计算空间注意力权重，得到经过通道和空间注意力权重缩放的三维样本特征图，包括：

首先，通过压缩操作将步骤(1)中得到的所述经过通道注意力权重缩放的三维样本特征图的通道和时间维度通过函数F_sq压缩到向量z_x∈R^1×1×s，具体压缩方式如下式所示：

其中，向量的每个元素u_x(p，q)表示相应传感器的聚合信息，x＝1，2，...，s；

其次，所述向量后连接两个分支，所述两个分支分别提取所述向量的全局和局部特征；一个分支是局部特征学习，利用一维卷积层和ke核大小的滤波器，通过每个加速传感器及其ke邻居来捕获局部跨空间交互，其中ke表示局部跨空间交互的覆盖范围，即有多少邻居参与一个加速传感器的注意力预测，通过函数F_conv实现；另一个分支是全局特征学习，通过FC和激活函数捕捉全局关系，通过函数F_fc(z)实现；最后，基于两个分支权重计算所述空间注意力权重a_s，具体计算方式如下式：

a_s＝σ(F_fc(z)+F_conv(z))＝σ(W₂δ(W₁z)+V*z)

其中，W₁、W₂为FC的网络权值，V为卷积对应的卷积核权值，δ表示ReLU函数；

使用所述空间注意力权重将步骤(1)中得到的所述经过通道注意力权重缩放的三维样本特征图中的空间维度特征进行缩放，得到经过通道和空间注意力权重缩放的三维样本特征图；

(3)采用所述分组地自注意力模块GSA来计算时间注意力权重，得到经过时间注意力权重缩放的三维样本特征图，包括：

首先，将经过通道和空间注意力权重缩放的三维样本特征图沿空间维度为k组，g_i∈R^s×p×t，

每组的特征图共享共同的自注意权重；

然后，通过GAP将g_i空间轴上的分组空间信息聚合为矩阵a∈R^c×1×t，聚合方式如下式所示：

后续的时间权值放缩特征图操作将以组为单位，整合地理位置相近的传感器的空间信息；

最后，通过a的线性变换获得查询矩阵Q和密钥矩阵K，其对应的变换权值分别为W^q、W^k，将Q与K点乘并除以

进行缩放，并应用softmax激励函数计算Q和K的相似性作为时间注意力权重；再用所此注意力权重对g变换后的值矩阵V加权，得到经时间注意力机制细化后的特征映射；上述过程如函数Attention所示，具体如下：

Q＝W^qa

K＝W^ka

V＝W^vg；

其中Q、K、V分别代表查询、密钥、值矩阵，d_k代表密钥矩阵的维度，W^v为矩阵V的变换权值；

此外，引入多头注意力，它能够使模型关注来自不同表示子空间的信息，如下式所示：

MultiHead(Q，K，V)＝concat(head₁，head₂，...，head_h)W^o；

where head_i＝Attention(W_i ^q a，W_i ^ka，W_i ^vg)

其中，h代表引入头注意力个数，W^o代表融合多注意力信息后进行变化的权值；

S3、将所述第N层CSTA的特征图输入至依次连接的全局平均池化GAP和全连接网络FC，得到所述桥梁的损伤分类结果。

进一步地，步骤S1中，在桥梁主梁的1/4和3/4跨安装了多个加速度传感器。

进一步地，所述训练好的N层基于通道-时空注意力机制的网络CSTA的训练过程包括如下步骤：

(1)获取数据集，将所述数据集划分为训练集、验证集和测试集；

(2)基于所述训练集构建训练样本矩阵；

(3)将所述训练样本矩阵输入N层基于通道-时空注意力机制的网络CSTA中进行网络训练，第N层网络的后面接着GAP、FC，输出分类；其中，每一层CSTA包括特征提取器与注意力模块；

(4)通过验证集来调整模型的参数以及对网络模型的能力进行初步评估，当满足迭代训练停止条件时，停止网络的训练，得到己训练好的N层基于通道-时空注意力机制的网络CSTA。

进一步地，步骤S3中，所述损伤分类结果D＝{d₀，d₁，...，d_n}，其中d_n表示损坏类型。

一种基于通道-时空注意力机制的网络的振动损伤检测***，其特征在于，所述振动损伤检测***执行如权利要求1所述的基于通道-时空注意力机制的网络的振动损伤检测方法，包括：数据采集模块、CSTA的特征图构建模块、损伤检测模块；

数据采集模块，通过加速度传感器收集桥梁振动响应，并基于收集的响应数据构建样本矩阵；

CSTA的特征图构建模块，将所述样本矩阵输入至已训练好的N层基于通道-时空注意力机制的网络CSTA中，进行特征提取和通道、空间、时间维度上的特征学习，得到第N层CSTA的特征图；

损伤检测模块，将所述第N层CSTA的特征图连接全局平均池化GAP和全连接网络FC，得到所述桥梁的损伤分类结果。

本发明还提出一种计算机设备，所述设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。

本发明公开的一种基于通道-时空注意力机制的网络的振动损伤检测方法。本发明基于通道-时空注意力机制的网络的振动损伤检测方法，已训练好的N层基于通道-时空注意力机制的网络CSTA中，进行特征提取和通道、空间、时间维度上的特征学习，从而从根源上解决了现有的基于振动的损伤检测方法中时空特征信息提取不够丰富导致损伤识别精度不高的问题。

与现有技术相比，具有如下有益效果：

1.本发明的基于通道-时空注意力机制的网络的振动损伤检测方法，通过多层基于通道-时空注意力机制的网络CSTA，进行特征提取和通道、空间、时间维度上的特征学习，通过基于通道-时空注意力机制的网络CSTA中的CNN来提取基本特征，通过注意力模块中的挤压-激励块SE、局部-全局注意力模块LGA、分组地自注意力模块GSA来分别提取通道、空间、时间特征，丰富了损伤检测方法中时空特征信息的提取，进一步提升了基于振动的结构损伤识别精度。

2.本发明的基于通道-时空注意力机制的网络的振动损伤检测方法，通过局部-全局注意力模块LGA同时提取局部和全局空间关系，根据样本动态调整加速度传感器局部和全局空间关系，进一步丰富了损伤检测方法中空间特征信息的提取，进一步提升了基于振动的结构损伤识别精度。

3.本发明的基于通道-时空注意力机制的网络的振动损伤检测方法，通过分组地自注意力模块GSA来提取时间特征，考虑全局序列信息，突出关键时间序列片段，特征图按加速传感器空间位置大致分组，然后并行地计算自我注意并应用于每个分组，减少计算负担的同时有效地提取时间相关性。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于通道-时空注意力机制的网络的振动损伤检测方法示意图。

图2为本发明实施例提供的基于通道-时空注意力机制的网络的振动损伤检测方法流程图。

图3为本发明实施例提供的局部-全局注意力模块(LGA)示意图。

图4为本发明实施例提供的分组的自注意力模块(GSA)示意图。

图5为发明实施例提供的时间注意分数可视化示意图。

图6为发明实施例提供的不同网络层上的注意力得分示意图。

图7为本发明实施例提供的基于通道-时空注意力机制的网络的振动损伤检测***示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

本发明一种基于通道一时空注意力机制的网络的振动损伤检测方法。如图1所示，基于通道-时空注意力机制的网络的振动损伤检测方法包括以下步骤S1至S3。同时，基于通道-时空注意力机制的网络的振动损伤检测方法流程图如图2所示。

S1、通过加速度传感器收集桥梁的振动响应，并基于收集的响应数据构建样本矩阵；其中，所述加速度传感器部署在桥梁的关键位置，所述振动响应由LMS软件收集和处理，通过LMS软件收集不同重量的车辆通过桥梁时产生的激励，并按照地理顺序连接从所有加速传感器收集的原始时间序列，并沿时间维度将其划分为样本X＝{x₁，x₂，...，x_N}；每个样本形成为矩阵

其中

表示在时间步j的第i个加速传感器上记录的值，m和n分别表示时间步和加速传感器的数量。

步骤S1中还包括在桥梁主梁的1/4和3/4跨安装了多个加速度传感器。

S2、将所述样本矩阵输入至己训练好的N层基于通道-时空注意力机制的网络CSTA中，进行特征提取和通道、空间、时间维度上的特征学习，得到第N层CSTA的特征图；所述得到第N层CSTA的特征图包括：将首次经过基本特征提取器后得到的原始三维样本特征图与经过第一层基于通道-时空注意力机制的网络CSTA得到的特征图连接作为下一层CSTA的特征图，依次进行迭代，直到输出第N层CSTA的特征图，特征图连接具体如下式所示：

F_k+1＝F_k+Atten(C(F_k))，

其中，F_k代表在第k层的特征图，k＝1，...，N-1，N代表基于通道-时空注意力机制的网络CSTA的个数，函数C代表基础特征提取器，以及Atten表示注意力模块函数；将第k层的原始的特征图与经过特征提取和细化后的特征图连接作为第k+1层的特征图F_k+1；

其中，每一层基于通道-时空注意力机制的网络CSTA包括基本特征提取器和注意力模块，所述经过第一层基于通道-时空注意力机制的网络得到特征图的具体步骤包括：

S21、将所述样本矩阵输入至所述基本特征提取器进行特征提取，实现二维到三维样本特征图U∈R^s×t×c的映射转换，s，t，c分别代表空间、时间、通道维度；其中，所述基本特征提取器包括CNN、批归一化BN、激活函数ReELU、最大池化；

S22、将所述三维样本特征图输入到所述注意力模块，依次学习通道、空间、时间维度上的特征，得到经过第一层基于通道-时空注意力机制的网络CSTA得到的特征图；其中，所述注意力模块包括依次连接的挤压-激励块SE、局部-全局注意力模块LGA、分组地自注意力模块GSA，通过所述挤压-激励块SE来计算通道注意力权重、所述局部-全局注意力模块LGA来计算空间注意力权重、所述分组地自注意力模块GSA来计算时间注意力权重；

在注意模块的组成部分中，首先选择挤压-激励(SE)块，该块最初用于计算机图像领域，用于学习通道间注意，以自适应地增强重要通道。然后，提出了局部和全局注意模块(LGA)来计算空间注意力权重，它可以根据样本动态调整传感器局部和全局空间关系。最后，考虑全局序列信息，突出关键时间序列片段，设计分组的自注意力模块(GSA)提取时序关系；特征图按加速传感器空间位置大致分组，然后并行地计算自我注意并应用于每个分组。

每个卷积通道代表特定的时空特征，因此需要削弱无用特征通道，加强重要的特征通道。经过特征提取器后的图U∈R^s×t×c，每个通道u_k(k＝1，2，...，c)代表对应的CNN卷积核的响应激活，本发明引入SE块来计算通道间注意，以自适应地突出重要通道。

在学习空间关系的过程中，地理上相邻的传感器通常更紧密地联系在一起，因此也应该单独挖掘局部空间特征。基于此，本发明提出了LGA模块，以同时提取局部和全局空间关系。

受Transformer模型中自注意的启发，本发明设计了GSA来计算时间注意力权重，它可以并行处理序列，并自适应地捕获长-短期依赖关系。将这些信号按顺序分组，并对每组进行操作，以便减少计算负担的同时有效地提取时间相关性。

具体地，步骤S22包括：

(1)采用所述挤压-激励块SE来计算通道注意力权重，得到经过通道注意力

权重缩放的三维样本特征图，包括：

首先，采用全局平均池化GAP来实现所述三维样本特征图U沿着时空维度s×t的压缩，得到压缩操作阶段的聚合信息，具体压缩函数F_sq如下式所示：

其中，z_k代表第k个通道对应的压缩通道信息，通道u_k(i，j)代表对应的CNN卷积核的响应激活，k＝1，2，...，c；

其次，将所述聚合信息传输至激励阶段，以压缩阶段的信息z为输入，所述激励阶段函数F_ex采用两层全连接网络FC和sigmoid激活函数来捕获通道间的关系，通道注意力权重的计算公式如下所示：

a_c＝F_ex(z，W)＝σ(g(z，W))＝σ(W₂δ(W₁z))

其中σ代表sigmoid函数，

表示非线性可学习参数，δ表示ReLU函数，W表示权值，r表示限制模型复杂度的缩减率；

最后，使用所述通道注意力权重将所述三维样本特征图U中的通道维度特征进行缩放，得到经过通道注意力权重缩放的三维样本特征图，缩放函数F_scale具体如下式所示：

其中，u_k代表原始三维样本特征图，a_k代表压缩阶段计算的通道注意力权值；

(2)基于所述经过通道注意力权重缩放的三维样本特征图，采用所述局部-全局注意力模块LGA来计算空间注意力权重，得到经过通道和空间注意力权重缩放的三维样本特征图，其中，局部-全局注意力模块(LGA)示意图如图3所示，具体步骤包括：

首先，通过压缩操作将步骤(1)中得到的所述经过通道注意力权重缩放的三维样本特征图的通道和时间维度通过函数F_sq压缩到向量z_x∈R^1×1×s，具体压缩方式如下式所示：

其中，向量的每个元素u_x(p，q)表示相应传感器的聚合信息，x＝1,2，...，s；

其次，所述向量后连接两个分支，所述两个分支分别提取所述向量的全局和局部特征；一个分支是局部特征学习，利用一维卷积层和ke核大小的滤波器，通过每个加速传感器及其ke邻居来捕获局部跨空间交互，其中ke表示局部跨空间交互的覆盖范围，即有多少邻居参与一个加速传感器的注意力预测，通过函数F_conv实现；另一个分支是全局特征学习，通过FC和激活函数捕捉全局关系，通过函数F_fc(z)实现；最后，基于两个分支权重计算所述空间注意力权重a_s，具体计算方式如下式：

a_s＝σ(F_fc(z)+F_conv(z))＝σ(W₂δ(W₁z)+V*z)

其中，W₁、W₂为FC的网络权值，V为卷积对应的卷积核权值，δ表示ReLU函数；

使用所述空间注意力权重将步骤(1)中得到的所述经过通道注意力权重缩放的三维样本特征图中的空间维度特征进行缩放，得到经过通道和空间注意力权重缩放的三维样本特征图；

(3)采用所述分组地自注意力模块GSA来计算时间注意力权重，得到经过时间注意力权重缩放的三维样本特征图，其中，分组的自注意力模块(GSA)示意图如图4所示，具体步骤包括：

首先，将经过通道和空间注意力权重缩放的三维样本特征图沿空间维度为k组，g_i∈R^c×p×t，

每组的特征图共享共同的自注意权重；

然后，通过GAP将g_i空间轴上的分组空间信息聚合为矩阵a∈R^c×1×t，聚合方式如下式所示：

后续的时间权值放缩特征图操作将以组为单位，整合地理位置相近的传感器的空间信息；

最后，通过a的线性变换获得查询矩阵Q和密钥矩阵K，其对应的变换权值分别为W^q、W^k，将Q与K点乘并除以

进行缩放，并应用softmax激励函数计算Q和K的相似性作为时间注意力权重；再用所此注意力权重对g变换后的值矩阵V加权，得到经时间注意力机制细化后的特征映射；上述过程如函数Attention所示，具体如下：

Q＝W^qa

K＝W^ka

V＝W^vg；

其中Q、K、V分别代表查询、密钥、值矩阵，d_k代表密钥矩阵的维度，W^v为矩阵V的变换权值；

此外，引入多头注意力，它能够使模型关注来自不同表示子空间的信息，如下式所示：

MultiHead(Q，K，V)＝concat(head₁，head₂，...，head_h)W^o；

where head_i＝Attention(W_i ^q a，W_i ^ka，W_i ^vg)

其中，h代表引入头注意力个数，W^o代表融合多注意力信息后进行变化的权值；

S3、将所述第N层CSTA的特征图输入至依次连接的全局平均池化GAP和全连接网络FC，得到所述桥梁的损伤分类结果。

此外，步骤S2中所述训练好的N层基于通道-时空注意力机制的网络CSTA的训练过程包括如下步骤：

(1)获取数据集，将所述数据集划分为训练集、验证集和测试集；

(2)基于所述训练集构建训练样本矩阵；

(3)将所述训练样本矩阵输入N层基于通道-时空注意力机制的网络CSTA中进行网络训练，第N层网络的后面接着GAP、FC，输出分类；其中，每一层CSTA包括特征提取器与注意力模块；

(4)通过验证集来调整模型的参数以及对网络模型的能力进行初步评估，当满足迭代训练停止条件时，停止网络的训练，得到已训练好的N层基于通道-时空注意力机制的网络CSTA。

在一具体实施例中，数据集方面，本发明使用连续刚构缩尺模型(TCRF)和IASC-ASCE基准数据集(benckmark)进行实验。对于TCRF，我们使用实验室规模的模型，以20:1的比例缩放TCRF桥梁的主梁、桥墩、承台和其他结构。18个加速度传感器部署在缩放模型的不同重要位置，在梁底部有12个垂直测量点，在腹板上有6个水平测量点，通过LMS软件收集和模拟了不同重量的车辆在0.15、0.3和0.45kg通过桥梁时产生的激励。在主跨位置施加不同的外部荷载，以产生代表损伤类别的不同严重程度的裂缝。损伤0(D0)表示在量表中没有损伤，损伤1(D1)是指在向桥梁中跨施加2.65kg力后，底部出现宽度为0.06mm的横向裂缝。损伤2(D2)是指旧裂纹扩展至0.11-0.13mm，并且在施加6.097kg力后，330底板上出现宽度为0.02-0.04mm的新裂纹。损伤3(D3)是指两条裂纹在加载8.519kg后分别增加至0.12mm和0.06-0.08mm。Benchmark数据集通常在VBDD领域中被用于评判模型的优劣。该结构建于地震工程研究实验室，高度为3.6m，可拆除两个斜撑，以模拟每个外表面每层的损伤。在每层的x轴和y轴上安装了16个传感器。拆除不同位置的支架，以收集不同的损伤模式，其损伤类别共7种。我们将样本序列设置为250赫兹，每次数据采集的持续时间为40秒。阻尼比、噪声水平和力强度分别为0.01、10和350150。

在构建网络方面，本发明采用pytorch框架进行网络的搭建。以6:2:2的比例将数据随机分为训练集、验证集和测试集，网格搜索用于确定关键超参数。在数据准备阶段，训练集以256为窗口大小，64为步长分割原始数据作为样本。样本的每一列代表每一个传感器采集的时序数据，n个传感器并列表示样本矩阵，并将样本输入到3层CSAT模块的网络学习特征。每一层CSTA包括特征提取器与注意力模块，分别提取基础特征以及进一步细化特征。特征提取器的卷积核大小设为(5×5)，每层卷积核的数量设置为[32,64,32]，最大池化层步长设置为(2×1)。随后特征图被输入SE、LGA、GSA模块分别学习通道、空间、时间维度上的特征。我们将LGA中的卷积核大小设置为5，代表提取局部空间信息的视野为5，将GSA的分组数设为6，将SE中的缩减率r设置为8。第三层CSAT网络的后面接着GAP、FC输出分类。

在一具体实施例中，模型训练方面，我们将样本批次大小设为128，并对模型进行300次的迭代训练。优化器采用Adam，使用0.01为初始学习率，采用余弦退火学习率策略进行调节。通过交叉熵函数计算损失函数

其中y和

分别表示标注类别和预测类别，N表示样本的数量。

模型验证方面，将所提出的方法与目前先进的方法进行了公平的比较，考虑到深度学***均值。表1中显示，本发明的基于CSTA的振动损伤检测方法在所有评估指标上都优于比较的方法。与现有最先进的PCBG方法相比，本发明的基于CSTA的振动损伤检测方法实现了改进，其准确度和F-1分数分别比现有最先进的方法高1.49％和1.83％。与其他注意力模块相比，本发明的基于CSTA的振动损伤检测方法也优于主流注意力模块CBAM、Duala和EPSA，准确率分别高出3.4％、3.56％和4.47％。

表1

表2显示了基线和最新方法以及IASC-ASCE基准数据集上CSTA块的实验结果。结果表明，本发明的基于CSTA的振动损伤检测方法和在所有指标上均优于比较的方法，其中CSTA在F-1得分上分别比HCG、PCBG、CBAM和FCN高6.21％、3.16％、2.98％和0.46％。本发明的基于CSTA的振动损伤检测方法的准确度分别比PCBG、MLSTM_FCN和CBAM高1.76％、1.39％和3.21％。

表2

除了空间注意，我们还将时间注意分数可视化，如图5所示。

随机选择并绘制样本的注意力图，如图6所示，其中(a)、(b)和(c)是不同网络层上的注意力得分。我们可以很容易地观察到，随着网络层的加深，时间步长上的分数波动更大。在第一层，从0到4的时间步之间的分数差距并不显著，这表明注意力在低层有广泛的关注。在第二层，分数差距逐渐出现，例如在时间段37附近出现超过12的峰值。这种情况表明网络会逐渐捕获特定时间段的特征，从而为分类做出更多贡献。

图7是本发明实施例提供的一种基于通道-时空注意力机制的网络的振动损伤检测***。如图7所示，该基于通道-时空注意力机制的网络的振动损伤检测***包括：数据采集模块、CSTA的特征图构建模块、损伤检测模块；

数据采集模块，通过加速度传感器收集桥梁的振动响应，并基于收集的响应数据构建样本矩阵。

其中，所述加速度传感器部署在桥梁的关键位置，所述振动响应由LMS软件收集和处理，通过LMS软件收集不同重量的车辆通过桥梁时产生的激励，并按照地理顺序连接从所有加速传感器收集的原始时间序列，并沿时间维度将其划分为样本X＝{x₁，x₂，...，x_N}；每个样本形成为矩阵

其中

表示在时间步j的第i个加速传感器上记录的值，m和n分别表示时间步和加速传感器的数量。

CSTA的特征图构建模块，将所述样本矩阵输入至已训练好的N层基于通道-时空注意力机制的网络CSTA中，进行特征提取和通道、空间、时间维度上的特征学习，得到第N层CSTA的特征图。

损伤检测模块，将所述第N层CSTA的特征图连接全局平均池化GAP和全连接网络FC，得到所述桥梁损伤分类结果。

上述基于通道-时空注意力机制的网络的振动损伤检测***可以实现为一种计算机程序的形式，该计算机程序可以在计算机设备上运行。

该计算机设备可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

计算机设备包括通过***总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。

该非易失性存储介质可存储操作***和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行一种基于通道-时空注意力机制的网络的振动损伤检测方法。

该处理器用于提供计算和控制能力，以支撑整个计算机设备的运行。

该内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行一种基于通道-时空注意力机制的网络的振动损伤检测方法。

该网络接口用于与其它设备进行网络通信。本领域技术人员可以理解，上述计算机设备结构仅仅是与本申请方案相关的部分结构，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器用于运行存储在存储器中的计算机程序，该程序实现实施例一所述的基于通道-时空注意力机制的网络的振动损伤检测方法。

应当理解，在本申请实施例中，处理器可以是中央处理单元(Central ProcessingUnit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机***中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行实施例一所述的一种基于通道-时空注意力机制的网络的振动损伤检测方法。

所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (6)

1.一种基于通道-时空注意力机制的网络的振动损伤检测方法，其特征在于，包括步骤：

S1、通过加速度传感器收集桥梁的振动响应，并基于收集的响应数据构建样本矩阵；其中，所述加速度传感器部署在桥梁的关键位置，所述振动响应由LMS软件收集和处理，通过LMS软件收集不同重量的车辆通过桥梁时产生的激励，并按照地理顺序连接从所有加速传感器收集的原始时间序列，并沿时间维度将其划分为样本X＝{x₁，x₂，...，x_N}；每个样本形成为矩阵

其中

表示在时间步j的第i个加速传感器上记录的值，m和n分别表示时间步和加速传感器的数量；

S2、将所述样本矩阵输入至已训练好的N层基于通道-时空注意力机制的网络CSTA中，进行特征提取和通道、空间、时间维度上的特征学习，得到第N层CSTA的特征图；所述得到第N层CSTA的特征图包括：将首次经过基本特征提取器后得到的原始三维样本特征图与经过第一层基于通道-时空注意力机制的网络CSTA得到的特征图连接作为下一层CSTA的特征图，依次进行迭代，直到输出第N层CSTA的特征图，特征图连接具体如下式所示：

F_k+1＝F_k+Atten(C(F_k)),

其中，F_k代表在第k层的特征图，k＝1,…,N-1，N代表基于通道-时空注意力机制的网络CSTA的个数，函数C代表基础特征提取器，以及Atten表示注意力模块函数；将第k层的原始的特征图与经过特征提取和细化后的特征图连接作为第k+1层的特征图F_k+1；

其中，每一层基于通道-时空注意力机制的网络CSTA包括基本特征提取器和注意力模块，所述经过第一层基于通道-时空注意力机制的网络得到特征图的具体步骤包括：

S21、将所述样本矩阵输入至所述基本特征提取器进行特征提取，实现二维到三维样本特征图U∈R^s×t×c的映射转换，s，t，c分别代表空间、时间、通道维度；其中，所述基本特征提取器包括CNN、批归一化BN、激活函数ReELU、最大池化；

S22、将所述三维样本特征图输入到所述注意力模块，依次学习通道、空间、时间维度上的特征，得到经过第一层基于通道-时空注意力机制的网络CSTA得到的特征图；其中，所述注意力模块包括依次连接的挤压-激励块SE、局部-全局注意力模块LGA、分组地自注意力模块GSA，通过所述挤压-激励块SE来计算通道注意力权重、所述局部-全局注意力模块LGA来计算空间注意力权重、所述分组地自注意力模块GSA来计算时间注意力权重；

具体地，步骤S22包括：

(1)采用所述挤压-激励块SE来计算通道注意力权重，得到经过通道注意力权重缩放的三维样本特征图，包括：

首先，采用全局平均池化GAP来实现所述三维样本特征图U沿着时空维度s×t的压缩，得到压缩操作阶段的聚合信息，具体压缩函数F_sq如下式所示：

其中，z_k代表第k个通道对应的压缩通道信息，通道u_k(i，j)代表对应的CNN卷积核的响应激活，k＝1，2，...，c；

其次，将所述聚合信息传输至激励阶段，以压缩阶段的信息x为输入，所述激励阶段函数F_ex采用两层全连接网络FC和sigmoid激活函数来捕获通道间的关系，通道注意力权重的计算公式如下所示：

a_c＝F_ex(z，W)＝σ(g(z，W))＝σ(W₂δ(W₁z))其中σ代表sigmoid函数，

表示非线性可学习参数，δ表示ReLU函数，W表示权值，r表示限制模型复杂度的缩减率；

最后，使用所述通道注意力权重将所述三维样本特征图U中的通道维度特征进行缩放，得到经过通道注意力权重缩放的三维样本特征图，缩放函数F_scale具体如下式所示：

其中，u_k代表原始三维样本特征图，a_k代表压缩阶段计算的通道注意力权值；

(2)基于所述经过通道注意力权重缩放的三维样本特征图，采用所述局部-全局注意力模块LGA来计算空间注意力权重，得到经过通道和空间注意力权重缩放的三维样本特征图，包括：

首先，通过压缩操作将步骤(1)中得到的所述经过通道注意力权重缩放的三维样本特征图的通道和时间维度通过函数F_sq压缩到向量z_x∈R^1×1×s，具体压缩方式如下式所示：

其中，向量的每个元素u_x(p，q)表示相应传感器的聚合信息，x＝1，2，...，s；

其次，所述向量后连接两个分支，所述两个分支分别提取所述向量的全局和局部特征；一个分支是局部特征学习，利用一维卷积层和ke核大小的滤波器，通过每个加速传感器及其ke邻居来捕获局部跨空间交互，其中ke表示局部跨空间交互的覆盖范围，即有多少邻居参与一个加速传感器的注意力预测，通过函数F_conv实现；另一个分支是全局特征学习，通过FC和激活函数捕捉全局关系，通过函数F_fc(z)实现；最后，基于两个分支权重计算所述空间注意力权重a_s，具体计算方式如下式：

a_s＝σ(F_fc(z)+F_conv(z))＝σ(W₂δ(W₁z)+v*z)

其中，W₁、W₂为FC的网络权值，V为卷积对应的卷积核权值，δ表示ReLU函数；

使用所述空间注意力权重将步骤(1)中得到的所述经过通道注意力权重缩放的三维样本特征图中的空间维度特征进行缩放，得到经过通道和空间注意力权重缩放的三维样本特征图；

(3)采用所述分组地自注意力模块GSA来计算时间注意力权重，得到经过时间注意力权重缩放的三维样本特征图，包括：

首先，将经过通道和空间注意力权重缩放的三维样本特征图沿空间维度为k组，g_i∈R^{c ×p×t}，

每组的特征图共享共同的自注意权重；

然后，通过GAP将g_i空间轴上的分组空间信息聚合为矩阵a∈R^c×1×t，聚合方式如下式所示：

后续的时间权值放缩特征图操作将以组为单位，整合地理位置相近的传感器的空间信息；

最后，通过a的线性变换获得查询矩阵Q和密钥矩阵K，其对应的变换权值分别为W^q、W^k，将Q与K点乘并除以

进行缩放，并应用softmax激励函数计算Q和K的相似性作为时间注意力权重；再用所此注意力权重对g变换后的值矩阵V加权，得到经时间注意力机制细化后的特征映射；上述过程如函数Attention所示，具体如下：

Q＝W^qa

K＝W^ka

V＝W^vg；

其中Q、K、V分别代表查询、密钥、值矩阵，d_k代表密钥矩阵的维度，W^v为矩阵V的变换权值；

此外，引入多头注意力，它能够使模型关注来自不同表示子空间的信息，如下式所示：

MultiHead(Q，K，V)＝concat(head₁，head₂，...，head_h)W^o；

where head_i＝Attention(W_i ^qa，W_i ^ka，W_i ^vg)

其中，h代表引入头注意力个数，W^o代表融合多注意力信息后进行变化的权值；

S3、将所述第N层CSTA的特征图输入至依次连接的全局平均池化GAP和全连接网络FC，得到所述桥梁的损伤分类结果。

2.根据权利要求1所述的方法，其特征在于，步骤S1中，在桥梁主梁的1/4和3/4跨安装了多个加速度传感器。

3.根据权利要求1所述的方法，其特征在于，所述训练好的N层基于通道-时空注意力机制的网络CSTA的训练过程包括如下步骤：

(1)获取数据集，将所述数据集划分为训练集、验证集和测试集；

(2)基于所述训练集构建训练样本矩阵；

(3)将所述训练样本矩阵输入N层基于通道-时空注意力机制的网络CSTA中进行网络训练，第N层网络的后面接着GAP、FC，输出分类；其中，每一层CSTA包括特征提取器与注意力模块；

(4)通过验证集来调整模型的参数以及对网络模型的能力进行初步评估，当满足迭代训练停止条件时，停止网络的训练，得到已训练好的N层基于通道-时空注意力机制的网络CSTA。

4.根据权利要求1所述的方法，其特征在于，步骤S3中，所述损伤分类结果D＝{d₀，d₁，...，d_n}，其中d_n表示损坏类型。

5.一种基于通道-时空注意力机制的网络的振动损伤检测***，其特征在于，所述振动损伤检测***执行如权利要求1所述的基于通道-时空注意力机制的网络的振动损伤检测方法，包括：数据采集模块、CSTA的特征图构建模块、损伤检测模块；

数据采集模块，通过加速度传感器收集桥梁的振动响应，并基于收集的响应数据构建样本矩阵；

CSTA的特征图构建模块，将所述样本矩阵输入至已训练好的N层基于通道-时空注意力机制的网络CSTA中，进行特征提取和通道、空间、时间维度上的特征学习，得到第N层CSTA的特征图；

损伤检测模块，将所述第N层CSTA的特征图连接全局平均池化GAP和全连接网络FC，得到所述桥梁的损伤分类结果。

6.一种计算机设备，其特征在于，所述设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的方法。

Images