CN114897004A - 一种基于深度学习Transformer模型的梯形堆积核脉冲识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习Transformer模型的梯形堆积核脉冲识别方法，是对梯形成形后的上升沿变缓的堆积阶跃核脉冲进行识别。首先，将欲进行参数识别的梯形堆积核脉冲看成是由N个上升沿变缓的阶跃脉冲堆积后经过梯形成形后得到的。其次，制作含有多个样本的数据集，每个样本含有其对应梯形堆积核脉冲的采样值及脉冲的参数集。然后，各个样本对应的梯形堆积核脉冲的采样值以及相应的位置编码作为Transformer模型的输入数据。接着，用Transformer模型中的多层编码器与解码器提取特征，并对其内部的前馈神经网络进行训练。最后，用训练完成后的Transformer模型对欲进行参数识别的原始梯形堆积核脉冲进行参数识别。该方法大大降低了梯形堆积核脉冲的舍弃率，提高了放射性测量的准确度和可信度。

Description

一种基于深度学习Transformer模型的梯形堆积核脉冲识别 方法

技术领域

本发明涉及一种基于深度学习Transformer模型的梯形堆积核脉冲识别方法。

背景技术

数字成形技术已成为核脉冲信号的一种重要成形方法，这有利于采用数字信号处理的方法进行核信号的识别，大大提高了核仪器的性能。在高速计数时，无论采用何种成形方法，相邻核脉冲的堆积是难以避免的；所以，数字成形后堆积核脉冲的参数识别仍然是一个难题。以梯形成形方法为例，上升沿变缓的阶跃核脉冲成形为梯形脉冲后，信号得以展宽便于幅值的识别，但是与原始的核脉冲相比，梯形脉冲仍然会出现堆积的现象。近年来，国内外在梯形核脉冲的成形、采集、识别方面进行了较为深入的研究，但对于堆积较为严重的梯形核脉冲的参数识别仍然效果不佳。深度学习技术，自从提出之时便受到各领域学者的广泛关注，随着计算机科学与技术的不断发展，以及深度学习技术在理论上的不断突破，目前该项技术已成为非常热门的智能科学技术，被广泛地应用在众多领域并且取得了非常优秀的效果。目前将深度学习技术引入核脉冲的参数识别的相关研究还处于初步探索阶段，虽然已经有部分学者及研究团队利用循环神经网络(RNN)识别堆积脉冲的参数，但是由于RNN在面对长序列时无法完全消除梯度消失和梯度***的问题，且该模型中的每一个节点都依赖它前一步的节点，因此在训练过程中对于输入脉冲序列的计算是线性的，这就导致其处理大规模且复杂度较高的脉冲序列时效率不高。为了进一步提高堆积脉冲识别的准确率和效率，本发明专利采用了目前在自然语言处理(NLP)领域内非常先进的Transformer模型，并加以一定的改进，使其能够更好地适应和处理核脉冲数据。综上所述，本发明专利针对由多个上升沿变缓的阶跃信号经过梯形成形后的脉冲堆积信号，提出了基于深度学习Transformer模型的梯形堆积核脉冲的识别方法，用于识别梯形堆积核脉冲的参数。这对于成形算法的验证，以及后续核脉冲参数的获取等过程具有重要意义。

发明内容

本发明的目的在于公开一种基于深度学习Transformer模型的梯形堆积核脉冲的识别方法，用于识别由多个上升沿变缓的阶跃信号经过梯形成形后的梯形堆积核脉冲的参数。该方法在一定程度上解决了相邻核脉冲因梯形成形后脉冲信号堆积而难以准确识别相关信息的技术难题，这对于提高放射性测量的精度具有较大意义。

本发明对梯形成形后的堆积核脉冲进行识别是通过以下具体步骤①～⑤实现的。

步骤①将放射性测量中所获得的欲进行参数识别的梯形堆积核脉冲看成是由N个上升沿变缓的阶跃核脉冲叠加后经过梯形成形后得到的，这些核脉冲的个数N应根据欲进行参数识别的堆积核脉冲的具体情况而定。

步骤②制作含有多个样本的数据集，数据集中包含采样集V_o和参数集θ。其中采样集为每个样本的梯形堆积核脉冲的采样值集合。参数集包含成形前的上升沿变缓的阶跃核脉冲信号的参数以及相应的梯形成形参数。接着，将数据集按照一定比例划分为训练集(Train Set)、测试集(Test Set)、验证集(Validation Set)；其中，训练集用于Transformer模型的训练，测试集用于模型训练完成后检验模型的泛化能力，验证集用于检验训练完成的模型是否出现过拟合现象。

步骤③将步骤②划分出的训练集用于Transformer模型的训练，训练集中各个样本对应的梯形堆积核脉冲作为Transformer模型的输入数据，其中采样集V_o输入编码器(Encoder)，参数集θ输入解码器(Decoder)中。对于输入每个编码器(Encoder)中的V_o数据集，利用Encoder 的自注意力模块(Self-Attention，SA)得到一个加权特征向量Z。为了防止网络在训练过程中出现退化现象，需要利用残差模块对Z向量进行处理。此外，为了尽可能提高网络训练速度的稳定性还需要对输入数据进行归一化处理。接着，将该特征向量Z传入前馈神经网络 (Feed Forward Neural Network，FFN)；然后将FFN网络的输出值分别传向下一层Encoder 中，直到最后一层Encoder的输出作为Decoder的输入。对于Decoder中的输入数据则分为两种情况，在模型训练阶段输入参数集θ，而在模型预测阶段则输入上一次模型的输出序列。数据在进入Decoder后首先需要添加一个掩码(mask)模块对数据的某些特征值进行掩盖，以保证模型在参数更新过程中保持鲁棒性。接着，与Encoder中的SA模块同理，Decoder中的数据也需要经过该模块处理。然后，将处理过的数据输入FFN经过前向传播后输出，并将数据传向下一层Decoder。以此类推，直到最后一层Decoder运算完成。

步骤④在完成步骤③后，对Transformer中的神经网络进行反向传播。通过选择合适的损失函数，使得网络能够高效快速的迭代计算出最佳的权值参数。此外，鉴于Transformer 模型的规模较大，复杂程度较传统的RNN网络更高，因此还需要设计一套可变学习率模型来保证训练的精度和效果。

步骤⑤经过步骤③和④和相应反向传播后，当一个具有识别梯形堆积核脉冲参数集合能力的Transformer模型训练完成后，将训练完成的Transformer模型结构、权重、训练配置及优化器状态等重要信息保存；然后将步骤①中欲进行参数识别的原始梯形堆积核脉冲的采样值作为Transformer模型的输入,进而由Transformer模型的输出得到所需识别的脉冲参数集合θ。

通过以上步骤①～⑤即完成梯形堆积核脉冲的识别。

本发明的有益效果是：

在进行放射性测量中，相邻核脉冲的堆积是不可避免的，特别是在高速计数时，堆积现象更是屡见不鲜且更为严重，这给脉冲成形及核信号参数的识别带来困难。近年来，国内外在梯形核脉冲的采集、识别方面进行了较为深入的研究，但对于堆积较为严重的梯形核脉冲的参数识别却效果不佳，曾有针对由多个指数衰减信号经过梯形成形后的脉冲堆积核信号参数识别的报道。特别地，本发明专利针对由多个上升沿变缓的阶跃核脉冲经过梯形成形后的脉冲堆积核信号，通过对该脉冲信号离散化处理，使其具有时间序列的特征，并提出了基于深度学习Transformer模型的梯形堆积核脉冲的参数识别方法，相较于采用RNN(包含LSTM、 GRU)模型对于堆积脉冲的识别方法，使用本专利的方法由于采用了并行训练的机制并且能够较好的处理脉冲序列之间的依赖问题，因此据有识别精度高、速度快、效果好的优点。该发明将深度学习技术引入核脉冲参数识别，大大降低了梯形堆积核脉冲的舍弃率，提高了放射性测量的准确度和可信度；有利于分析由探测器及其后续电路响应特性的变化所导致的信号参数的波动，比如，上升沿变缓的阶跃脉冲信号时间常数的波动性；这对于核仪器波形成形算法及能谱漂移纠正算法的验证，电路响应特性的分析，参数随时间及外界条件的变化关系分析，以及后续核脉冲参数的获取等过程具有重要意义。

附图说明

图1为本发明方法的流程图。

具体实施方式

下面结合附图对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

设放射性测量中所获得的欲进行参数识别的原始梯形堆积核脉冲为V_o(mT_S)，采用本方法对脉冲V_o(mT_S)进行识别是按如下具体步骤①～⑤进行的。

步骤①将欲进行参数识别的原始梯形堆积核脉冲V_o(mT_S)看成是由N个上升沿变缓的阶跃核脉冲叠加后经过梯形成形后得到的，亦即将这N个上升沿变缓的阶跃核脉冲的叠加信号V_e(kT_S)作为梯形成形算法的输入信号；N个上升沿变缓的阶跃核脉冲的叠加信号V_e(kT_S)表示为：

所述梯形成形，是指将V_e(kT_S)作为如下梯形成形算法的输入信号进而得到输出信号 V_o(mT_s)：

公式(1)和(2)中,u(kTs-Ti)表示阶跃函数；k＝1,2,3,…,K；K为V_e(kT_S)的离散点数；τ为上升沿变缓的阶跃脉冲的衰减时间常数；T_S为采样周期；A_i和T_i分别表示第i个上升沿变缓的阶跃核脉冲的幅值及发生时间；p为梯形脉冲与阶跃脉冲的幅值比例系数 p＝Vo(mTs)/Ve(mTs)；n_a＝t_a/T_s，n_b＝(t_a+D)/T_s，n_c＝t_c/T_s，t_a为梯形脉冲的上升沿时间，D 为梯形脉冲的平顶宽度时间，整个梯形成形时间t_c＝2t_a+D；m＝1,2,3,…,K+2+n_c。

步骤②制作含有n个样本的数据集，数据集的矩阵表示形式如下：

表达式(3)中每一行代表一个样本的数据；每个样本的前K+2+n_c个数据为该样本对应的梯形堆积核脉冲的采样值，设该梯形堆积核脉冲按步骤①的成形方法进行成形前的输入信号V_e(kT_S)的参数为A_i(i＝1,2,...,N)、T_i(i＝1,2,...,N)和τ，并设梯形成形时的上升沿时间为t_a，平顶宽度时间为D，则将这些参数构成为该样本的参数集合θ，即θ＝[A₁,A₂,...,A_N,T₁,T₂,...,T_N,τ,t_a,D]；例如，第i个样本对应的梯形堆积核脉冲V_o(mT_S)的采样值为[V_o(T_S)]_i,[V_o(2T_S)]_i,[V_o(3T_S)]_i,…,[V_o((K+2+n_c)T_S)]_i；第i个样本的参数集合则变为θ_i。参数集合θ随机产生。

接着，将数据集按照一定比例划分为训练集(Train Set)、测试集(Test Set)、验证集 (Validation Set)。其中，训练集用于Transformer模型的训练；测试集用于模型训练完成后检验模型的泛化能力；验证集用于检验训练完成后的模型是否出现过拟合现象。

步骤③将训练集用于Transformer模型的训练；在训练Transformer时的前向传播过程中，将步骤②划分出的训练集中的各个样本对应的梯形堆积核脉冲V_o(mT_S)的采样值作为 Transformer模型的输入数据。不同于循环神经网络具有天然的时间有序性，Transformer模型需要引入位置编码参数PE(Position Encoding)，确立每个核脉冲的采样值在核脉冲序列中的相对位置，从而使得网络模型中的多头注意力机制能够充分识别维度更加丰富的核脉冲序列信息。而描述这种相对位置信息最好的方式就是利用函数周期性，因此采用正余弦位置编码的方式获取每个采样周期Ts内的脉冲序列位置信息，其数学模型为：

pos表示脉冲采样值在脉冲序列中的绝对位置，即pos＝0,1,…K+1+n_c。d_m为位置向量的维度，通常设定d_m＝K+2+n_c；2j和2j+1表示奇偶性；j为位置向量的某一维度，即j＝0,1,2…K+1+n_c。接着，将位置编码与核脉冲序列叠加后形成的脉冲序列向量V_p(mT_S)作为输入Transformer模型的数据。

V_p(mTs)＝[V_o(mTs)_pos PE_pos] (6)

Transformer模型一般包含6层Encoder和Decoder，其中Encoder层由多头注意力模型 MHA(Multi-HeadAttention)和全连接神经网络FFN(FeedForwardNetwork)组成。对于MHA模型，其在自注意力模型Self-Attention(SA)的基础上，对于添加完位置编码的脉冲序列向量 V_p(mT_S)采用了多组的权重矩阵进行变换得到多组的搜索向量Q(Query),关键词向量K(Keys), 价值向量V(Values)。对于Decoder模型，其相较于Encoder最大的区别在于引入了带掩码的注意力模型。整个Transformer模型按如下A、B、C、D环节实现。

A、注意力模型SA的计算

对于添加完位置编码的脉冲序列向量V_p(mT_S)，采用三个权值矩阵W^Q,W^K,W^V,分别将V_p(mT_S)转化为MHA模型所需的搜索向量Q(Query),关键词向量K(Keys),价值向量V(Values)。

因此，SA的数学模型为：

K＝V_p(mTs)K^Q (7)

Q＝V_p(mTs)W^Q (8)

V＝V_p(mTs)V^Q (9)

其中，d_k为K向量的维度。因此，对于有H个注意力机制的MHA，可以理解为其由H个SA 模型拼接后经过线性变换而成，其数学模型为：

MHA(K,Q,V)＝Concat[SA(K_h,Q_h,V_h)]W^o (11)

其中h＝1,2...H，

为变换矩阵。

B、残差模型的计算

对于输出残差模型的数据先进行归一化处理，其主要目的在于加快训练的速度和提高训练的稳定性。由于在设计一个神经网络时并不知道其层数的最佳值，因此实际上的神经网络层数往往会比理想的层数更多。然而，多余的层数会影响网络的训练效果，这就导致了神经网络的退化。为了解决该问题，业界通常引入残差神经网络ResNet来解决网络退化的问题。其数学模型为：

ResNet(K,Q,V)＝relu[MHA(K,Q,V)]+MHA(K,Q,V) (12)

C、全连接前馈神经网络模型的计算

对于B环节中归一化处理过后的脉冲序列数据，将其输入进全连接神经网络FCFFN(Fully ConnectedFeed-ForwardNetwork)，其数学模型为：

FCFFN(K,Q,V)＝max[0,ResNet(K,Q,V)W₁+b₁]W₂+b₂ (13)

其中W₁，W₂，b₁，b₂为神经网络的权重与偏置。

D、Decoder中掩码多头注意力模型的计算

核脉冲序列数据在经过多个Encoder模型后传入Decoder模型中，Decoder模型与Encoder 模型非常相似，二者之间最大的不同在于注意力模型。相较于Encoder的MHA模型，Decoder 的多头注意力模型增加了一个掩码，使其能够对某些值进行掩盖，使得网络在训练过程中某些参数在更新时不产生效果。因此，该模型也被称为掩码多头注意力模型MMHA(Masked Multi-Head Attention)。通常使用和QK^T同样维度的矩阵M作为mask矩阵，即：

接着在SA模型中用QK^T点乘M，由softmax函数的性质可知，当自变量趋近于-∞时，因变量为0，从而实现了对于注意力模型的遮掩效果。则MMHA模型可以表示为：

MMHA(K,Q,V)＝Concat[MSA(K_h,Q_h,V_h)]W^o (15)

其中：

接着，将输出注意力模型的数据经过环节B、C后前向传播结束。

步骤④梯形堆积核脉冲反向传播训练。因为在定义Transformer时，脉冲序列向量所对应的三个矩阵W^Q,W^K,W^V的初值是随机的。所以，单次前向传播迭代输出的预测脉冲参数集合θ_i'与训练集中的实际脉冲参数集合θ_i的误差可以通过损失函数计算。对于有q个样本的训练集，将参数集合θ_i的交叉熵(CE)值作为损失函数的函数值Loss_CE，即损失函数的计算式为：

此外，由于Transformer的模型规模较为庞大，其在训练的初始阶段，模型鲁棒性较差，采用较大的学习率会增加损失值的收敛难度。因此为了保证训练的效果和精度，本专利采用了带有预热机制的可变学习率，使得学习率的总体变化满足先增大后减小的趋势。其目的在于先让损失值下降到一定程度后，再逐渐恢复模型的学习率，故该学习率LR的数学模型为：

其中S_n为训练的步数，W_s为预热参数，且设置该参数值为4000。

将Loss_CE与损失函数的梯度一起反馈给网络来更新权重，实现减少后续迭代中误差的目的。

步骤⑤训练模型的保存与调用

当一个具有识别梯形堆积核脉冲参数集合θ能力的Transformer模型训练完成后，将训练完成的模型结构、权重、训练配置及优化器状态等重要信息保存为HDF5(Hierarchical Data Format 5，HDF5)文件；然后将步骤①中欲进行参数识别的原始梯形堆积核脉冲的采样值作为Transformer模型的输入,进而由Transformer模型的输出得到所需识别的脉冲参数集合θ。

通过以上步骤①～⑤完成梯形堆积核脉冲的识别。

如上所述基于深度学习技术对梯形成形后得到的梯形堆积核脉冲进行参数识别的方法，克服了传统循环神经网络固有的顺序属性带来的并行化训练困难以及算法受到数学模型规模限制无法对整个样本识别特征的局限，借用上升沿变缓的阶跃脉冲序列与梯形成形的参数作为样本集，从全局意义上让Transformer通过不断迭代训练建立起每种指数脉冲序列和与之对应的梯形成形后的参数之间的映射关系，从而实现梯形堆积核脉冲的参数识别，进而获取其中各个核脉冲的参数。本方法大大降低了梯形堆积核脉冲的舍弃率，提高了放射性测量的准确度和可信度；有利于分析由探测器及其后续电路响应特性的变化所导致的信号参数的波动，比如，上升沿变缓的阶跃脉冲信号时间常数的波动性；这对于核仪器波形成形算法及能谱漂移纠正算法的验证，参数随时间及外界条件的变化关系分析，以及后续核脉冲参数的获取等过程具有重要意义。同时，本发明将训练完成的模型以HDF5文件格式保存，可以让其它计算机设备直接加载该模型即可完成识别脉冲参数的工作。

在本发明上述的实施例中，对梯形成形后的堆积核脉冲的参数识别方法进行了详细说明，但需说明的是，以上所述仅为本发明的一个实施例而已，当其它类型的脉冲在涉及利用本文所提深度学习Transformer脉冲参数识别时，本发明仍有效，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于深度学习Transformer模型的梯形堆积核脉冲识别方法，用于对由多个上升沿变缓的阶跃信号经过梯形成形后的梯形堆积核脉冲进行识别，通过以下方法实现：

①梯形堆积核脉冲V_o(mT_S)看成是由N个上升沿变缓的阶跃核脉冲叠加后经过梯形成形后得到的，按如下方法实现：

N个上升沿变缓的阶跃核脉冲的叠加信号V_e(kT_S)表示为：

将V_e(kT_S)作为如下梯形成形算法的输入信号而实现输出信号V_o(mT_s)：

公式(1)和(2)中,u(kTs-Ti)表示阶跃函数；k＝1,2,3,…,K；K为V_e(kT_S)的离散点数；τ为上升沿变缓的阶跃脉冲的衰减时间常数；T_S为采样周期；A_i和T_i分别表示第i个上升沿变缓的阶跃核脉冲的幅值及发生时间；p为梯形脉冲与阶跃脉冲的幅值比例系数p＝Vo(mTs)/Ve(mTs)；n_a＝t_a/T_s，n_b＝(t_a+D)/T_s，n_c＝t_c/T_s，t_a为梯形脉冲的上升沿时间，D为梯形脉冲的平顶宽度时间，整个梯形成形时间t_c＝2t_a+D；m＝1,2,3,…,K+2+n_c；

②制作含有n个样本的数据集，数据集的矩阵表示形式如下：

表达式(3)中每一行代表一个样本的数据；每个样本的前K+2+n_c个数据为该样本对应的梯形堆积核脉冲的采样值，设该梯形堆积核脉冲按步骤①的成形方法进行成形前的输入信号V_e(kT_S)的参数为A_i(i＝1,2,...,N)、T_i(i＝1,2,...,N)和τ，并设梯形成形时的上升沿时间为t_a，平顶宽度时间为D，则将这些参数构成为该样本的参数集合θ，即θ＝[A₁,A₂,...,A_N,T₁,T₂,...,T_N,τ,t_a,D]；例如，第i个样本对应的梯形堆积核脉冲V_o(mT_S)的采样值为[V_o(T_S)]_i,[V_o(2T_S)]_i,[V_o(3T_S)]_i,…,[V_o((K+2+n_c)T_S)]_i；第i个样本的参数集合则变为θ_i。参数集合θ随机产生。并将数据集按照一定比例划分为训练集(Train Set)、测试集(TestSet)、验证集(Validation Set)；

③将训练集用于Transformer模型的训练；在训练Transformer时的前向传播过程中，训练集中的各个样本对应的梯形堆积核脉冲V_o(mT_S)与位置编码叠加后作为Transformer模型的输入数据；整个Transformer模型按如下A、B、C、D环节实现：

A、注意力模型SA的计算

对于添加完位置编码的脉冲序列向量V_p(mT_S)，采用三个权值矩阵W^Q,W^K,W^V,分别将V_p(mT_S)转化为MHA模型所需的搜索向量Q(Query),关键词向量K(Keys),价值向量V(Values)。因此，SA的数学模型为：

K＝V_p(mTs)K^Q (4)

Q＝V_p(mTs)W^Q (5)

V＝V_p(mTs)V^Q (6)

其中，d_k为K向量的维度。因此，对于有H个注意力机制的MHA，可以理解为其由H个SA模型拼接后经过线性变换而成，其数学模型为：

MHA(K,Q,V)＝Concat[SA(K_h,Q_h,V_h)]W^o (8)

其中h＝1,2...H，

为变换矩阵；

B、残差模型的计算

引入残差神经网络ResNet来解决网络退化的问题。其数学模型为：

ResNet(K,Q,V)＝relu[MHA(K,Q,V)]+MHA(K,Q,V) (9)

C、全连接前馈神经网络模型的计算

对于B环节中归一化处理过后的脉冲序列数据，将其输入进全连接神经网络FCFFN(Fully Connected Feed-Forward Network)，其数学模型为：

FCFFN(K,Q,V)＝max[0,ResNet(K,Q,V)W₁+b₁]W₂+b₂ (10)

其中W₁，W₂，b₁，b₂为神经网络的权重与偏置；

D、Decoder中掩码多头注意力模型的计算

核脉冲序列数据在经过多个Encoder模型后传入Decoder模型中，Decoder相较于Encoder的MHA模型，Decoder采用掩码多头注意力模型MMHA(Masked Multi-HeadAttention)。通常使用和QK^T同样维度的矩阵M作为mask矩阵，即：

接着在SA模型中用QK^T点乘M。MMHA模型可以表示为：

MMHA(K,Q,V)＝Concat[MSA(K_h,Q_h,V_h)]W^o (12)

其中：

接着，将输出注意力模型的数据经过环节B、C后前向传播结束；

④梯形堆积核脉冲反向传播训练。对于有q个样本的训练集，将参数集合θ_i的交叉熵(CE)值作为损失函数的函数值Loss_CE，即损失函数的计算式为：

为了让损失值下降到一定程度后，再逐渐恢复模型的学习率，采用带有预热机制的可变学习率，该学习率LR的数学模型为：

其中S_n为训练的步数，W_s为预热参数，且设置该参数值为4000；

将Loss_CE与损失函数的梯度一起反馈给网络来更新权重，实现减少后续迭代中误差的目的；

⑤当一个具有识别脉冲参数集合θ能力的Transformer模型训练完成后，将训练完成的模型结构、权重、训练配置及优化器状态等重要信息保存为HDF5(Hierarchical DataFormat 5，HDF5)文件；然后将步骤①中欲进行参数识别的原始梯形堆积核脉冲的采样值作为Transformer模型的输入，进而由Transformer模型的输出得到所需提取的脉冲参数集合θ；

通过以上步骤①～⑤完成梯形堆积核脉冲的识别。

Images