CN116541680B - 基于轻量化时间序列缩减的工业设备状态预测方法与装置 - Google Patents

基于轻量化时间序列缩减的工业设备状态预测方法与装置 Download PDF

Info

Publication number
CN116541680B
CN116541680B CN202310819842.9A CN202310819842A CN116541680B CN 116541680 B CN116541680 B CN 116541680B CN 202310819842 A CN202310819842 A CN 202310819842A CN 116541680 B CN116541680 B CN 116541680B
Authority
CN
China
Prior art keywords
data
layer
linear transformation
group
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310819842.9A
Other languages
English (en)
Other versions
CN116541680A (zh
Inventor
任磊
王海腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202310819842.9A priority Critical patent/CN116541680B/zh
Publication of CN116541680A publication Critical patent/CN116541680A/zh
Application granted granted Critical
Publication of CN116541680B publication Critical patent/CN116541680B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M15/00—Testing of engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00—Data types
    • G06F2123/02—Data types in the time domain, e.g. time-series data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例提供了一种基于轻量化时间序列缩减的工业设备状态预测方法与装置，方法包括：获取发动机的运行数据；将运行数据输入至预测模型的组线性变换嵌入层中的第一神经元组对运行数据进行线性变换处理，得到第一数据；将第一数据输入至注意力层，得到第二数据；将第二数据输入至时间序列缩减层进行重要性评分，并将第二数据中重要性评分低于第一预设值的数据去除，得到第三数据；将第三数据输入至组前馈网络层进行线性变换处理，得到第四数据；将第四数据输入至预测模型的学习层，在学习层中，根据多层次学习机制策略对第四数据进行学习，得到发动机的剩余寿命。这样，可以提升预测模型处理数据的速度。

Description

基于轻量化时间序列缩减的工业设备状态预测方法与装置
技术领域
本申请涉及设备状态预测技术领域，尤其涉及一种基于轻量化时间序列缩减的工业设备状态预测方法与装置。
背景技术
在工业场景中，工业设备的发动机在使用过程中会出现磨损等情况，可能对发动机的剩余寿命产生影响。因此，在发动机的使用过程中，需要对发动机的剩余寿命进行预测。
目前，通常使用包括transformer层、注意力层和前馈传播层的预测模型对发动机的剩余寿命进行预测。使用该模型对发动机的剩余寿命进行预测可以包括：采集发动机的实时数据，采集到的数据依次经过transformer层、注意力层和前馈传播层进行循环处理，得到最终数据，循环处理的循环的次数为预先设定的。通过对最终数据进行预测，得到发动机的剩余寿命。
但是，为了保证预测结果的精度，通过需要对大量的数据进行处理，然而某些数据与预测结果的相关性较低，使得处理过程中产生冗余计算，并且该部分数据在处理过程中可能会衍生出大量的数据，这些数据会占用大量的内存资源。因此，目前使用的预测模型的处理速度较慢。
发明内容
本申请实施例提供了一种基于轻量化时间序列缩减的工业设备状态预测方法与装置，使得在对预测结果的精度影响较小的情况下，减少预测模型处理过程中的数据量，可以提升预测模型运行的速度。
第一方面，本申请实施例提供了一种基于轻量化时间序列缩减的工业设备状态预测方法，所述基于轻量化时间序列缩减的工业设备状态预测方法包括：
获取发动机的运行数据；
将所述运行数据输入至预测模型的组线性变换嵌入层中的第一神经元组对所述运行数据进行线性变换处理，得到第一数据；所述组线性变换嵌入层包括多层组线性变换层，所述组线性变换嵌入层中的目标组线性变换层中包括L组第一神经元，所述目标组线性变换层的输入数据被划分为L组子数据，所述L组子数据与所述L组第一神经元一一对应，所述L为大于或等于1的自然数；
将所述第一数据输入至所述预测模型的注意力层，在所述注意力层中，采用注意力机制对所述第一数据进行处理，得到第二数据；
将所述第二数据输入至所述预测模型的时间序列缩减层进行重要性评分，并将所述第二数据中重要性评分低于第一预设值的数据去除，得到第三数据；
将所述第三数据输入至所述预测模型的组前馈网络层进行线性变换处理，得到第四数据；
将所述第四数据输入至所述预测模型的学习层，在所述学习层中，根据多层次学习机制策略对所述第四数据进行学习，得到所述发动机的剩余寿命。
一种可能的实现方式中，所述目标组线性变换层的输入数据为第一时间序列数据；
在所述目标组线性变换层中，所述第一时间序列数据被按照时间序列的维度预先划分为L组第一子时间序列数据，所述L组第一子时间序列数据与所述L组第一神经元一一对应。
一种可能的实现方式中，所述将所述运行数据输入至预测模型的组线性变换嵌入层中的神经元组对所述运行数据进行线性变换处理，得到第一数据，包括：
将所述第一时间序列数据输入至预测模型的组线性变换嵌入层；
针对所述目标组线性变换层，所述L组第一神经元分别对所述L组第一子时间序列数据中对应的第一子时间序列数据进行处理，得到的第一处理结果；
将所述第一处理结果输入所述目标组线性变换层的下一层组线性变换层进行处理；
经过所述组线性变换层中的最后一层组线性变换层的处理，得到所述第一数据。
一种可能的实现方式中，所述第二数据中包括多个时间步；
将所述第二数据输入至所述预测模型的时间序列缩减层进行重要性评分，并将所述第二数据中重要性评分低于第一预设值的数据去除，得到第三数据，包括：
将所述第二数据输入至所述预测模型的时间序列缩减层，通过所述时间序列缩减层中的重要性评分函数，对每个时间步进行评分处理，得到每个时间步的重要性评分；
其中，表示时间步/>的重要性评分，/>为所述注意力层输出矩阵的第i行第j列的值，表示时间步/>对时间步/>的关注程度，n表示时间步的数量；
将所述多个时间步中重要性评分低于所述第一预设值的时间步去除，得到第三数据。
一种可能的实现方式中，所述组前馈网络层中包括多层组前馈网络层，所述组前馈网络层中的目标组前馈网络层中包括Q组第二神经元，所述目标组前馈网络层的输入数据为第二时间序列数据，所述Q为大于或等于1的自然数；
在所述目标组前馈网络层中，所述第二时间序列数据被按照时间序列的维度预先划分为Q组第二子时间序列数据，所述Q组第二子时间序列数据与所述Q组第二神经元一一对应。
一种可能的实现方式中，所述将所述第三数据输入至所述预测模型的组前馈网络层进行线性变换处理，得到第四数据，包括：
将所述第二时间序列数据输入至所述预测模型的组前馈网络层；
针对所述目标组前馈网络层，所述Q组第二神经元分别对所述Q组第二子时间序列数据中对应的第二子时间序列数据进行处理，得到的第二处理结果；
将所述第二处理结果输入所述目标组前馈网络层的下一层组前馈网络层进行处理；
经过所述组前馈网络层中的最后一层组前馈网络层的处理，得到所述第四数据。
一种可能的实现方式中，所述将所述第四数据输入至所述预测模型的学习层，包括：
通过所述注意力层、所述时间序列缩减层和所述组前馈网络层对所述第四数据进行循环处理，得到目标数据，其中，所述注意力层的输出为所述时间序列缩减层的输入，所述时间序列缩减层的输出为所述组前馈网络层的输入，所述组前馈网络层的输出为所述注意力层的输入，所述循环处理的循环次数为第二预设值；
将所述目标数据输入至所述预测模型的学习层。
一种可能的实现方式中，所述在所述学习层中，根据多层次学习机制策略对所述第四数据进行学习，得到所述发动机的剩余寿命，包括：
在所述学***化处理，得到第一向量；
对所述目标数据进行扁平化处理，得到第二向量；
使用第一多层感知机并行向前传播所述第一向量和所述第二向量；
通过ReLU激活函数和Batchnorm归一化对所述第一多层感知机传播的所述第一向量进行处理，得到第三向量；
通过ReLU激活函数和Batchnorm归一化对所述第一多层感知机传播的所述第二向量进行处理，得到第四向量；
将所述第三向量和所述第四向量串联为第五向量；
通过第二多层感知机向前传播所述第五向量，得到发动机的剩余寿命。
第二方面，本申请实施例提供了一种基于轻量化时间序列缩减的工业设备状态预测装置，所述基于轻量化时间序列缩减的工业设备状态预测装置包括：
获取模块，用于获取发动机的运行数据；
处理模块，用于将所述运行数据输入至预测模型的组线性变换嵌入层中的第一神经元组对所述运行数据进行线性变换处理，得到第一数据；所述组线性变换嵌入层包括多层组线性变换层，所述组线性变换嵌入层中的目标组线性变换层中包括L组第一神经元，所述目标组线性变换层的输入数据被划分为L组子数据，所述L组子数据与所述L组第一神经元一一对应，所述L为大于或等于1的自然数；
所述处理模块，还用于将所述第一数据输入至所述预测模型的注意力层，在所述注意力层中，采用注意力机制对所述第一数据进行处理，得到第二数据；
所述处理模块，还用于将所述第二数据输入至所述预测模型的时间序列缩减层进行重要性评分，并将所述第二数据中重要性评分低于第一预设值的数据去除，得到第三数据；
所述处理模块，还用于将所述第三数据输入至所述预测模型的组前馈网络层进行线性变换处理，得到第四数据；
所述处理模块，还用于将所述第四数据输入至所述预测模型的学习层，在所述学习层中，根据多层次学习机制策略对所述第四数据进行学习，得到所述发动机的剩余寿命。
一种可能的实现方式中，所述目标组线性变换层的输入数据为第一时间序列数据；
在所述目标组线性变换层中，所述第一时间序列数据被按照时间序列的维度预先划分为L组第一子时间序列数据。
一种可能的实现方式中，所述处理模块，具体用于将所述第一时间序列数据输入至预测模型的组线性变换嵌入层；针对所述目标组线性变换层，所述L组第一神经元分别对所述L组第一子时间序列数据中对应的第一子时间序列数据进行处理，得到的第一处理结果；将所述第一处理结果输入所述目标组线性变换层的下一层组线性变换层进行处理；经过所述组线性变换层中的最后一层组线性变换层的处理，得到所述第一数据。
一种可能的实现方式中，所述第二数据中包括多个时间步；所述处理模块，具体用于将所述第二数据输入至所述预测模型的时间序列缩减层，通过所述时间序列缩减层中的重要性评分函数，对每个时间步进行评分处理，得到每个时间步的重要性评分；其中，/>表示时间步/>的重要性评分，/>为所述注意力层输出矩阵的第i行第j列的值，表示时间步/>对时间步/>的关注程度，n表示时间步的数量；将所述多个时间步中重要性评分低于所述第一预设值的时间步去除，得到第三数据。
一种可能的实现方式中，所述组前馈网络层中包括多层组前馈网络层，所述组前馈网络层中的目标组前馈网络层中包括Q组第二神经元，所述目标组前馈网络层的输入数据为第二时间序列数据，所述Q为大于或等于1的自然数；在所述目标组前馈网络层中，所述第二时间序列数据被按照时间序列的维度预先划分为Q组第二子时间序列数据，所述Q组第二子时间序列数据与所述Q组第二神经元一一对应。
一种可能的实现方式中，所述处理模块，具体用于将所述第二时间序列数据输入至所述预测模型的组前馈网络层；针对所述目标组前馈网络层，所述Q组第二神经元分别对所述Q组第二子时间序列数据中对应的第二子时间序列数据进行处理，得到的第二处理结果；将所述第二处理结果输入所述目标组前馈网络层的下一层组前馈网络层进行处理；经过所述组前馈网络层中的最后一层组前馈网络层的处理，得到所述第四数据。
一种可能的实现方式中，所述处理模块，具体用于通过所述注意力层、所述时间序列缩减层和所述组前馈网络层对所述第四数据进行循环处理，得到目标数据，其中，所述注意力层的输出为所述时间序列缩减层的输入，所述时间序列缩减层的输出为所述组前馈网络层的输入，所述组前馈网络层的输出为所述注意力层的输入，所述循环处理的循环次数为第二预设值；将所述目标数据输入至所述预测模型的学习层。
一种可能的实现方式中，所述处理模块，具体用于在所述学***化处理，得到第一向量；对所述目标数据进行扁平化处理，得到第二向量；使用第一多层感知机并行向前传播所述第一向量和所述第二向量；通过ReLU激活函数和Batchnorm归一化对所述第一多层感知机传播的所述第一向量进行处理，得到第三向量；通过ReLU激活函数和Batchnorm归一化对所述第一多层感知机传播的所述第二向量进行处理，得到第四向量；将所述第三向量和所述第四向量串联为第五向量；通过第二多层感知机向前传播所述第五向量，得到发动机的剩余寿命。
第三方面，本申请实施例还提供了一种电子设备，该电子设备包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现上述第一方面任一种可能的实现方式中所述的方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述第一方面任一种可能的实现方式中所述的方法。
第五方面，本申请实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，实现上述第一方面任一种可能的实现方式中所述的方法。
由此可见，本申请实施例提供了一种基于轻量化时间序列缩减的工业设备状态预测方法与装置，该方法包括：获取发动机的运行数据；将运行数据输入至预测模型的组线性变换嵌入层中的第一神经元组对运行数据进行线性变换处理，得到第一数据；组线性变换嵌入层包括多层组线性变换层，组线性变换嵌入层中的目标组线性变换层中包括L组第一神经元，目标组线性变换层的输入数据被划分为L组子数据，L组子数据与L组第一神经元一一对应；将第一数据输入至预测模型的注意力层，在注意力层中，采用注意力机制对第一数据进行处理，得到第二数据；将第二数据输入至预测模型的时间序列缩减层进行重要性评分，并将第二数据中重要性评分低于第一预设值的数据去除，得到第三数据；将第三数据输入至预测模型的组前馈网络层进行线性变换处理，得到第四数据；将第四数据输入至预测模型的学习层，在学习层中，根据多层次学习机制策略对第四数据进行学习，得到发动机的剩余寿命。本申请实施例提供的方法，输入组线性变换层的数据和其中的神经元被分组，每一组神经元都对其对应的数据分组进行处理，使得每个神经元只需要对一组数据进行处理，而不是每个神经元对所有的数据进行处理，可以减少每个神经元处理的数据量，降低数据处理的复杂度，提升处理速度。此外，还通过时间序列缩减层将重要性评分较低的数据去除，进一步减少预测模型中的数据量。因此，本申请实施例提供的方法可以提升预测模型处理数据的速度。
附图说明
图1为本申请实施例提供的一种预测模型的结构示意图；
图2为本申请实施例提供的一种基于轻量化时间序列缩减的工业设备状态预测方法的流程示意图；
图3为本申请实施例提供的一种组线性变换嵌入层的结构示意图；
图4为本申请实施例提供的一种时间序列缩减层的结构示意图；
图5为本申请实施例提供的一种学习层处理目标数据的方法流程示意图；
图6为本申请实施例提供的另一种预测模型的结构示意图；
图7为本申请实施例提供的另一种基于轻量化时间序列缩减的工业设备状态预测方法的流程示意图；
图8为本申请实施例提供的一种基于轻量化时间序列缩减的工业设备状态预测装置的结构示意图；
图9为本申请提供的一种电子设备结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本申请的实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A，B可以是单数或者复数。在本申请的文字描述中，字符“/”一般表示前后关联对象是一种“或”的关系。
通常的工业设备中都安装有发动机，设备的运行离不开发动机。因此，发动机的健康状态对设备是否能够正常运行具有关键性的作用。发动机的健康状态包括但不限于发动机的剩余寿命、发动机的磨损程度等。
一些实现中，为了使得预测的结果的精度更高，可以通过预测模型对设备发动机的剩余寿命进行预测。预测模型中包括transformer层、注意力层和前馈传播层。transformer层和前馈传播层中均包括多个神经元。使用预测模型对发动机的剩余寿命进行预测时，可以将采集到的发动机的运行数据输入至transformer层，transformer层可以对发动机的运行数据进行线性变换处理，处理后的数据输入到注意力层通过注意力机制进行处理，处理之后的数据输入到前馈传播层继续进行线性变换处理，循环执行上述步骤，直到循环次数达到预先设定的次数，得到最终输出的数据。通过对该最终输出的数据进行预测处理，得到发动机的剩余寿命。
其中，输入的数据中包含多个子数据，transformer层对输入的数据进行处理时，transformer层中的每个神经元对输入的数据中的每个子数据进行处理前馈传播层对输入的数据进行处理时，前馈传播层中的每个神经元对输入的数据中的每个子数据进行处理。
然而，上述实现中，transformer层和前馈传播层中的每个神经元均需要对大量的数据进行处理，使得模型处理过程中存在大量的线性转换处理。此外，输入到预测模型中数据可能包含对于预测发动机的剩余寿命的作用较小的数据，使得预测处理数据过程中产生大量的冗余计算。因此，上述实现中，预测模型在运行过程中可能需要占用大量的内存资源，运算速度较低。
基于此，本申请实施例提供了一种基于轻量化时间序列缩减的工业设备状态预测方法，对于组线性变换嵌入层中的任一层组线性变换层，其中的神经元和输入的数据均被划分成不同的组，并且神经元组和数据组一一对应，使得每一个神经元组中的神经元只需要对其对应的数据组中的数据进行处理，而不需要对其他数据进行处理，减轻了神经元的数据处理量。由于神经元对于处理处理的方式相同，因此通过分组的方式并不会降低预测结果的精度。此外，还通过时间序列缩减层将输入的数据中重要性评分较低的数据去除，使得预测模型在后续过程中不需要对重要性评分较低的数据进行处理。因此，本申请实施例提供的方法，在对预测的精度影响较小的情况下，减少了预测模型处理数据的数据量，可以减少预测模型处理数据过程中对内存资源的占用，提升预测模型的数据处理速度。
需要说明的是，本申请实施例中所述的发动机可以是工业领域的各种发动机，例如，飞机发动机等，本申请实施例对于发动机不做具体限定。
下面，将通过具体的实施例对本申请提供的基于轻量化时间序列缩减的工业设备状态预测方法进行详细地说明。可以理解的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
为了便于清楚描述本申请实施例的技术方案，下面对本申请实施例使用的模型结构进行说明。图1为本申请实施例提供的一种预测模型的结构示意图。
如图1所示，本申请实施例所述的预测模型中可以包括轻量化transformer层和学习层。其中，轻量化transformer层中可以包括组线性变换嵌入层、注意力层、时间序列缩减层、组前馈网络层。
组线性变换嵌入层可以用于对输入的数据进行线性变换处理。注意力层可以用于采用注意力机制对输入的数据进行处理。时间序列缩减层可以用于筛选输入的数据，将输入的数据中不满足条件的数据去除。组前馈网络层可以用于对输入的数据进行线性变换处理。
如图1所示，可以采集发动机的运行数据，将发动机的运行数据输入至预测模型的轻量化transformer层中的组线性变换嵌入层，组线性变换嵌入层可以对输入的数据进行线性变换处理，输出数据A。可以将数据A输入到轻量化transformer层的注意力层，注意力层可以采用注意力机制对数据A进行处理，输出数据B。可以将数据B输入到轻量化transformer层的时间序列缩减层，时间序列缩减层对数据B进行筛选处理，将重要性评分较低的数据去除，输出筛选后的数据C。可以将数据C输入到轻量化transformer层的组前馈网络层，组前馈网络层对数据C进行处理，输出数据D。可以将数据D可以输入到注意力层，注意力层对数据D进行处理，将注意力层输出的数据输入到时间序列缩减层进行处理，时间序列缩减层输出的数据输入到组前馈网络层，循环执行注意力层、时间序列缩减层和组前馈网络层对数据的处理过程，循环的次数达到预设次数时，组前馈网络层输出数据E，可以将数据E输入到预测模型的学习层，学习层对数据E进行处理，得到发动机的剩余寿命。
因此，当使用图1所示的预测模型对发动机的剩余寿命进行预测时，预测模型中的时间序列缩减层可以将重要性评分较低的数据去除，这样，就可以在对预测结果的精度影响较小的情况下，减少预测模型处理数据的数据量，减少数据处理过程中占用的内存资源，提升预测模型数据处理的速度。
基于图1所示的预测模型的结构，图2为本申请实施例提供的一种基于轻量化时间序列缩减的工业设备状态预测方法的流程示意图。该基于轻量化时间序列缩减的工业设备状态预测方法可以由软件和/或硬件装置执行，例如，该硬件装置可以为基于轻量化时间序列缩减的工业设备状态预测装置，该基于轻量化时间序列缩减的工业设备状态预测装置可以为电子设备或者电子设备中的处理芯片。示例的，请参见图2所示，该基于轻量化时间序列缩减的工业设备状态预测方法可以包括：
S201、获取发动机的运行数据。
发动机的运行数据可以是与发动机所在的设备相关的数据，当发动机为飞机上的发动机时，发动机的运行数据可以包括飞机的飞行速度、压力、海拔等数据。本申请实施例对于发动机的运行数据不做具体限定。
发动机的运行数据可以是通过多个传感器采集的，也可以是通过其他设备采集的，本申请实施例对于采集发动机的方式不做限定。
示例性的，电子设备获取到发动机的运行数据之后，可以对发动机的运行数据进行归一化处理，将归一化处理之后的数据执行下述步骤S202。本申请实施例对于归一化处理的具体方法不做限定。
S202、将运行数据输入至预测模型的组线性变换嵌入层中的第一神经元组对运行数据进行线性变换处理，得到第一数据。
其中，组线性变换嵌入层包括多层组线性变换层，组线性变换嵌入层中的目标组线性变换层中包括L组第一神经元，目标组线性变换层的输入数据被划分为L组子数据，L组子数据与L组第一神经元一一对应，L为大于或等于1的自然数。本申请实施例对于组线性变换层的层数，以及组线性变换层中第一神经元的组数不做限定。
例如，组线性变换嵌入层包括3组线性变换层，组线性变换嵌入层中的第一层组线性变换层中包括1组第一神经元，第二层组线性变换层中包括2组第一神经元，第三层组线性变换层中包括2组第一神经元。
这样，在第一层组线性变换层中，输入的数据为1组，即输入数据并没有被划分。在第二层组线性变换层中，输入的数据为2组，即输入数据被划分为2组。在第三层组线性变换层中，输入的数据为2组，即输入数据被划分为2组。
示例性的，预测模型的组线性变换嵌入层中的第一神经元组对运行数据进行线性变换处理时，组线性变换嵌入层中的第一层组线性变换层中的第一神经元组先对运行数据进行线性变换处理，处理后的数据被输入到第二层组线性变换层中，第二层组线性变换层中的第一神经元组先对输入的数据进行线性变换处理，依次进行，直到组线性变换嵌入层中的最后一层组线性变换层中的第一神经元组先对输入的数据进行线性变换处理，得到第一数据。
当组线性变换嵌入层中的组线性变换层如上述示例性的情况时，在第一层组线性变换层中，1组第一神经元对所有的运行数据进行线性变换处理。在第二层组线性变换层中，2组第一神经元分别对2组输入的数据进行线性变换处理，例如，第一组神经元对第一组输入的数据进行线性变换处理，第二组神经元对第二组输入的数据进行线性变换处理，或者，第一组神经元对第二组输入的数据进行线性变换处理，第二组神经元对第一组输入的数据进行线性变换处理。在第三层组线性变换层中，2组第一神经元分别对2组输入的数据进行线性变换处理，例如，第一组神经元对第一组输入的数据进行线性变换处理，第二组神经元对第二组输入的数据进行线性变换处理，或者，第一组神经元对第二组输入的数据进行线性变换处理，第二组神经元对第一组输入的数据进行线性变换处理。
S203、将第一数据输入至预测模型的注意力层，在注意力层中，采用注意力机制对第一数据进行处理，得到第二数据。
示例性的，在注意力层中，可以采用自我注意力机制对第一数据进行处理，得到第二数据，也可以采用多头注意力机制对第一数据进行处理，得到第二数据。
自我注意力机制和多头注意力机制是根据发动机的使用场景的复杂度确定的，当发动机的使用场景的复杂度较高时，采用多头注意力机制，当发动机的使用场景的复杂度较低时，采用自我注意力机制。本申请实施例对于注意力机制不做具体限定。
S204、将第二数据输入至预测模型的时间序列缩减层进行重要性评分，并将第二数据中重要性评分低于第一预设值的数据去除，得到第三数据。
重要性评分可以表示第二数据中各个子数据对预测结果的重要性的高低，重要性评分越高，表示该子数据对预测结果的重要性越高，重要性评分越低，表示该子数据对预测结果的重要性越低。
第一预设值为表示重要性评分的值，对于不同发动机或者同一发动机的不同使用场景，第一预设值可以是不同的，也可以是相同的，本申请实施例对于第一预设值的大小不做限定。
S205、将第三数据输入至预测模型的组前馈网络层进行线性变换处理，得到第四数据。
在本申请实施例中，组前馈网络层的结构与组线性变换嵌入层的结构类似，因此，组前馈网络层可以对第三数据进行线性变换处理，得到第四数据。
组前馈网络层的结构可参见上述对于组线性变换嵌入层的结构的描述，并且组前馈网络层可以对第三数据进行处理的过程与上述步骤S202中组线性变换嵌入层对运行数据进行线性变换处理的过程类似，因此，该部分的内容可参见上述步骤所述，在此不再赘述。
S206、将第四数据输入至预测模型的学习层，在学习层中，根据多层次学习机制策略对第四数据进行学习，得到发动机的剩余寿命。
学习层又可以称为多层次学习层，多层次学习机制可以是通过多层次感知机实现的，本申请实施例对此不做限定。
由此可见，本申请实施例提供的基于轻量化时间序列缩减的工业设备状态预测方法，通过将组线性变换嵌入层中的任一个组线性变换层中的第一神经元以及输入到该组线性变换层的数据进行分组，使得每一组第一神经元组中的第一神经元仅需要对与其对应的数据组中的数据进行处理，而不需要对输入的每个数据进行处理，减少了预测模型进行线性变换的次数，降低了预测模型数据处理的复杂度，可以减少数据对内存资源的占用。并且在预测模型中设置时间序列缩减层，通过时间序列缩减层对数据进行筛选，去除不重要的数据，可以减少预测模型处理的数据量。因此，本申请实施例提供的基于轻量化时间序列缩减的工业设备状态预测方法可以提升预测模型对发动机的剩余寿命进行预测的速度。
为了便于理解本申请实施例提供的基于轻量化时间序列缩减的工业设备状态预测方法，下面，分别对预测模型中的组线性变换嵌入层、注意力层、时间序列缩减层、组前馈网络层以及学习层对数据的处理方法进行描述。
在本申请实施例中，获取的发动机的运行数据可以是时间序列数据，因此，目标组线性变换层的输入数据为第一时间序列数据。
上述步骤S202中，L组子数据可以是L组第一子时间序列数据。这样，在目标组线性变换层中，第一时间序列数据可以被按照时间序列的维度预先划分为L组第一子时间序列数据。
这样，通过将时间序列数据按照时间序列的维度进行划分，可以使得不同的神经元组对不同维度的时间序列数据进行处理。
在本申请实施例中，以组线性变换嵌入层包括3组线性变换层为例，对组线性变换嵌入层的结构以及组线性变换嵌入层进行数据处理的方法进行描述。
图3为本申请实施例提供的一种组线性变换嵌入层的结构示意图。
如图3所示，组线性变换嵌入层包括3组线性变换层，组线性变换嵌入层中的第一层组线性变换层为组=1，即第一层组线性变换层中包括1组第一神经元，第二层组线性变换层为组=2，即第二层组线性变换层中包括2组第一神经元，第三层组线性变换层为组=2，即第三层组线性变换层中包括2组第一神经元。
相应的，在图3中，输入第一层组线性变换层的数据为1组，即输入数据并没有被划分。输入第二层组线性变换层的数据为2组，即输入数据被划分为2组。输入第三层组线性变换层的数据为2组，即输入数据被划分为2组。
基于图3所述的目标组线性变换层的结构，将运行数据输入至预测模型的组线性变换嵌入层中的神经元组对运行数据进行线性变换处理，得到第一数据，可以包括下述步骤：
将第一时间序列数据输入至预测模型的组线性变换嵌入层；针对目标组线性变换层，L组第一神经元分别对L组第一子时间序列数据中对应的第一子时间序列数据进行处理，得到的第一处理结果；将第一处理结果输入目标组线性变换层的下一层组线性变换层进行处理；经过组线性变换层中的最后一层组线性变换层的处理，得到第一数据。
目标组线性变换层可以是组线性变换嵌入层中的任一层。
目标组线性变换层的下一层组线性变换层对第一处理结果进行处理时，可以通过该下一层组线性变换层中的各组第一神经元对与对应的子时间序列数据进行处理。目标组线性变换层的最后一层组线性变换层对输入的数据进行处理时，可以通过该最后一层组线性变换层中的各组第一神经元对与对应的子时间序列数据进行处理。
需要说明的是，当组线性变换嵌入层的结构为图3所示的结构时，组线性变换嵌入层对输入的运行数据进行处理的过程可参见上述实施例中步骤S202中的相关描述，在此不再赘述。
示例性的，假设输入的时间序列为，T为时间序列的长度，d为时间序列的维度。组线性变换可以将X分为g组为/>。其中，/>是划分后的向量。划分后的向量可以通过g个学习矩阵/>变换为组输出/>。经过多个组线性变换层的处理之后，将最后一个组线性变换层的输出合并为/>，得到组线性变换最终的输出。
这样，组线性变换嵌入层对输入的运行数据进行处理的过程中，由于在任一层组线性变换层，该组线性变换层中的任一组第一神经元可以对其对应的子时间序列数据进行处理，而不需要对其他子时间序列数据进行处理，降低了组线性变换嵌入层线性变换的次数，减少处理过程中产生的数据量，减少设备的内存占用情况。
进一步的，将第一数据输入至预测模型的注意力层，在注意力层中，采用注意力机制对第一数据进行处理，得到第二数据。
示例性的，采用注意力机制对第一数据进行处理时，可以包括以下两种可能的实现。
一种可能的实现中，可以通过自我注意力机制对第一数据进行处理，自我注意力机制可以包括下述公式（1）和公式（2）：
（1）
（2）
其中，是第i层组线性变换层的输出，/>是学习矩阵，Q，K，V是经过经过学习矩阵变换后的矩阵。softmax是激活函数，KT是转置后的K矩阵。dk是缩放系数。
可以理解的是，当组线性变换嵌入层的结构如图3所示，包括3层组线性变换层时，上述公式（1）中的为/>。
另一种可能的实现中，可以通过多头注意力机制对第一数据进行处理，多头注意力机制可以包括下述公式（3）和公式（4）：
（3）
（4）
其中，，/>是参数矩阵（又称为学习矩阵），/>是自我注意力。我们采用h=1，h是多头注意力中头的个数。/>，/>是学习矩阵Q，K，V的维度。
需要说明的是，自我注意力机制和多头注意力机制均是通过注意力编码器实现的。
在本申请实施例中，预测模型中输出的注意力层输出的第二数据，可以被输入到时间序列缩减层中进行筛选，时间序列缩减层对第二数据进行筛选的可以包括：
将第二数据输入至预测模型的时间序列缩减层，通过时间序列缩减层中的重要性评分函数，对每个时间步进行评分处理，得到每个时间步的重要性评分；其中，第二数据中包括多个时间步。
其中，表示时间步/>的重要性评分，/>为所述注意力层输出矩阵的第i行第j列的值，表示时间步/>对时间步/>的关注程度，n表示时间步的数量。
将多个时间步中重要性评分低于第一预设值的时间步去除，得到第三数据。
这样，可以通过时间序列缩减层将重要性评分较低的时间序列数据去除，减少预测模型处理数据的数据量，进一步减少预测模型处理数据过程中对内存资源的占用情况，提升预测模型数据处理的速度。
基于上述时间序列缩减层对数据进行处理的方法，图4为本申请实施例提供的一种时间序列缩减层的结构示意图。
如图4所示，输入到时间序列缩减层的多个时间步可以通过重要性评分函数对各个时间步进行处理，得到各个时间步的重要性评分。例如，可以得到时间步的重要性评分为0.3、0.2、0.1……0.4等，将重要性评分为0.1的时间步消除，得到消除后的时间步。将消除后得到的时间序列数据输入组前馈网络层进行处理。
需要说明的是，本申请实施例仅以图4为例进行说明，但对时间序列缩减层并不构成任何限定。
进一步的，时间序列缩减层输出的第三数据可以被输入到组前馈网络层进行处理。组前馈网络层中可以包括多层组前馈网络层，组前馈网络层中的目标组前馈网络层中包括Q组第二神经元，目标组前馈网络层的输入数据为第二时间序列数据。其中，Q为大于或等于1的自然数。在目标组前馈网络层中，第二时间序列数据可以被按照时间序列的维度预先划分为Q组第二子时间序列数据，Q组第二子时间序列数据与Q组第二神经元一一对应。
目标组前馈网络层可以是组前馈网络层中的任一层，本申请实施例对于目标组前馈网络层不做限定。
在本申请实施例中，对于组前馈网络层中包括的组前馈网络层的层数，以及组前馈网络层中包括的第二神经元的组数不做具体限定。
基于上述描述，组前馈网络层的结构与上述实施例所述的组线性变换嵌入层的结构类似，可参见上述实施例对于组线性变换嵌入层的描述，在此不再赘述。
本申请实施例中，将第三数据输入至预测模型的组前馈网络层进行线性变换处理，得到第四数据，可以包括：将第二时间序列数据输入至预测模型的组前馈网络层；针对目标组前馈网络层，Q组第二神经元分别对所述Q组第二子时间序列数据中对应的第二子时间序列数据进行处理，得到的第二处理结果；将第二处理结果输入目标组前馈网络层的下一层组前馈网络层进行处理；经过组前馈网络层中的最后一层组前馈网络层的处理，得到第四数据。
示例性的，目标组前馈网络层的下一层组前馈网络层对第二处理结果进行处理时，可以通过该下一层组前馈网络层中的各组第二神经元对与对应的子时间序列数据进行处理。目标组前馈网络层的最后一层组前馈网络层对输入的数据进行处理时，可以通过该最后一层组前馈网络层中的各组第二神经元对与对应的子时间序列数据进行处理。
这样，组前馈网络层对输入的第三数据进行处理的过程中，由于在任一层组前馈网络层，该组前馈网络层中的任一组第二神经元可以对其对应的子时间序列数据进行处理，而不需要对其他子时间序列数据进行处理，降低了组前馈网络层线性变换的次数，减少处理过程中产生的数据量，减少设备的内存占用情况。
在本申请实施例中，将组前馈网络层输出的第四数据输入至预测模型的学习层中，可以包括：通过注意力层、时间序列缩减层和组前馈网络层对第四数据进行循环处理，得到目标数据；将目标数据输入至预测模型的学习层。
其中，注意力层的输出为时间序列缩减层的输入，时间序列缩减层的输出为组前馈网络层的输入，组前馈网络层的输出为注意力层的输入，循环处理的循环次数为第二预设值。
示例性的，循环处理的次数可以为transformer层的次数减1之后的数值，本申请实施例对此不做限定。
循环处理的过程可参见上述注意力层、时间序列缩减层和组前馈网络层的描述，在此不再赘述。
结合上述实施例所述，经过注意力层、时间序列缩减层和组前馈网络层的循环处理之后，可以得到目标数据，并可以将该目标数据输入到学习层中进行处理。图5为本申请实施例提供的一种学习层处理目标数据的方法流程示意图。
如图5所示，学习层处理目标数据的方法可以包括下述步骤：
S501、在学***化处理，得到第一向量。
示例性的，第二数据为未剪枝的特征数据，对未剪枝的特征数据进行扁平化处理，得到第一向量a1。
S502、对目标数据进行扁平化处理，得到第二向量。
示例性的，目标数据为完全剪枝的特征数据，对完全剪枝的特征数据进行扁平化处理，得到第二向量aN。
S503、使用第一多层感知机并行向前传播第一向量和第二向量。
示例性的，第一多层感知机的层数可以为2，也可以为3，或者其他值，本申请实施例对于第一多层感知机的层数不做限定。
S504、通过ReLU激活函数和Batchnorm归一化对第一多层感知机传播的第一向量进行处理，得到第三向量。
示例性的，对第一向量a1进行处理，得到第三向量。
S505、通过ReLU激活函数和Batchnorm归一化对第一多层感知机传播的第二向量进行处理，得到第四向量。
示例性的，对第二向量aN进行处理，得到第四向量。
S506、将第三向量和第四向量串联为第五向量。
示例性的，串联上述第三向量和第四向量两个特征得到第五向量。
S507、通过第二多层感知机向前传播第五向量，得到发动机的剩余寿命。
本申请实施例中，第二多层感知机的层数可以为2，也可以为3，或者其他值。第二多层感知机的层数和第一多层感知机的层数可以相同，也可以不相同。本申请实施例对于第二多层感知机的层数不做限定。
示例性的，通过第二多层感知机向前传播第五向量，得到发动机的剩余寿命。
由于时间序列缩减层可以去除一部分数据，但是，时间序列缩减层去除的部分数据可能并不是多余的数据。因此，通过学习层可以将未通过时间序列缩减层去除的数据和经过时间序列缩减层去除的数据，共同得到发动机的剩余寿命，能够减少由于时间序列缩减层对数据进行筛选而造成预测结果的精度下降的情况。
结合上述实施例所述，图6为本申请实施例提供的另一种预测模型的结构示意图。
示例性的，图6所示的预测模型的结果与图1类似，在此不再赘述。
基于图6所示，基于轻量化时间序列缩减的工业设备状态预测方法可以参见图7所示，图7为本申请实施例提供的另一种基于轻量化时间序列缩减的工业设备状态预测方法的流程示意图。
如图7所示，基于轻量化时间序列缩减的工业设备状态预测方法可以包括下述步骤：
S701、多传感器采集数据，对采集的数据进行归一化处理。
S702、归一化处理后的数据经过轻量化transformer层中的组线性变换嵌入层。
S703、组线性变换嵌入层输出的数据经过轻量化transformer层中的注意力层。
S704、注意力层输出的数据经过时间序列缩减层，得到不同时间步骤的重要性评分，对排名靠后的时间步进行消除。
S705、时间序列缩减层输出的数据经过轻量化transformer层中的组前馈网络层。
S706、重复步骤S703- S705共N-1次，N为transformer网络的层数，将循环处理后的数据输入多层次学习层。
S707、在多层次学习层中，根据第一个transformer层中未被缩减的时间序列数据和最后一个transformer层循环处理后的数据，得到剩余使用寿命预测。
综上所述，本申请实施例提供的基于轻量化时间序列缩减的工业设备状态预测方法，在预测模型中通过调整维度和使用分组变换，建立了一个轻量级的transformer结构，减少参数量。通过时间序列缩减层自适应地消除冗余的时间步骤来减少工业时间序列的计算成本。此外，还提出了一种多层次的学习机制，以稳定在各种操作条件下的时间序列缩减性能。
图8为本申请实施例提供的一种基于轻量化时间序列缩减的工业设备状态预测装置80的结构示意图，示例的，请参见图8所示，该基于轻量化时间序列缩减的工业设备状态预测装置80可以包括：
获取模块801，用于获取发动机的运行数据。
处理模块802，用于将运行数据输入至预测模型的组线性变换嵌入层中的第一神经元组对运行数据进行线性变换处理，得到第一数据；组线性变换嵌入层包括多层组线性变换层，组线性变换嵌入层中的目标组线性变换层中包括L组第一神经元，目标组线性变换层的输入数据被划分为L组子数据，L组子数据与L组第一神经元一一对应，L为大于或等于1的自然数。
处理模块802，还用于将第一数据输入至预测模型的注意力层，在注意力层中，采用注意力机制对第一数据进行处理，得到第二数据。
处理模块802，还用于将第二数据输入至预测模型的时间序列缩减层进行重要性评分，并将第二数据中重要性评分低于第一预设值的数据去除，得到第三数据。
处理模块802，还用于将第三数据输入至预测模型的组前馈网络层进行线性变换处理，得到第四数据。
处理模块802，还用于将第四数据输入至预测模型的学习层，在学习层中，根据多层次学习机制策略对第四数据进行学习，得到发动机的剩余寿命。
一种可能的实现方式中，目标组线性变换层的输入数据为第一时间序列数据；在目标组线性变换层中，第一时间序列数据被按照时间序列的维度预先划分为L组第一子时间序列数据。
一种可能的实现方式中，处理模块802，具体用于将第一时间序列数据输入至预测模型的组线性变换嵌入层；针对目标组线性变换层，L组第一神经元分别对L组第一子时间序列数据中对应的第一子时间序列数据进行处理，得到的第一处理结果；将第一处理结果输入目标组线性变换层的下一层组线性变换层进行处理；经过组线性变换层中的最后一层组线性变换层的处理，得到第一数据。
一种可能的实现方式中，第二数据中包括多个时间步；处理模块802，具体用于将第二数据输入至预测模型的时间序列缩减层，通过时间序列缩减层中的重要性评分函数，对每个时间步进行评分处理，得到每个时间步的重要性评分；其中，表示时间步/>的重要性评分，/>为注意力层输出矩阵的第i行第j列的值，表示时间步/>对时间步/>的关注程度，n表示时间步的数量；将多个时间步中重要性评分低于第一预设值的时间步去除，得到第三数据。
一种可能的实现方式中，组前馈网络层中包括多层组前馈网络层，组前馈网络层中的目标组前馈网络层中包括Q组第二神经元，目标组前馈网络层的输入数据为第二时间序列数据，Q为大于或等于1的自然数；在目标组前馈网络层中，第二时间序列数据被按照时间序列的维度预先划分为Q组第二子时间序列数据，Q组第二子时间序列数据与Q组第二神经元一一对应。
一种可能的实现方式中，处理模块802，具体用于将第二时间序列数据输入至预测模型的组前馈网络层；针对目标组前馈网络层，Q组第二神经元分别对Q组第二子时间序列数据中对应的第二子时间序列数据进行处理，得到的第二处理结果；将第二处理结果输入目标组前馈网络层的下一层组前馈网络层进行处理；经过组前馈网络层中的最后一层组前馈网络层的处理，得到第四数据。
一种可能的实现方式中，处理模块802，具体用于通过注意力层、时间序列缩减层和组前馈网络层对第四数据进行循环处理，得到目标数据，其中，注意力层的输出为时间序列缩减层的输入，时间序列缩减层的输出为组前馈网络层的输入，组前馈网络层的输出为注意力层的输入，循环处理的循环次数为第二预设值；将目标数据输入至预测模型的学习层。
一种可能的实现方式中，处理模块802，具体用于在学***化处理，得到第一向量；对目标数据进行扁平化处理，得到第二向量；使用第一多层感知机并行向前传播第一向量和第二向量；通过ReLU激活函数和Batchnorm归一化对第一多层感知机传播的第一向量进行处理，得到第三向量；通过ReLU激活函数和Batchnorm归一化对第一多层感知机传播的第二向量进行处理，得到第四向量；将第三向量和第四向量串联为第五向量；通过第二多层感知机向前传播第五向量，得到发动机的剩余寿命。
本申请实施例提供的基于轻量化时间序列缩减的工业设备状态预测装置，可以执行上述任一实施例中的基于轻量化时间序列缩减的工业设备状态预测方法的技术方案，其实现原理以及有益效果与基于轻量化时间序列缩减的工业设备状态预测方法的实现原理及有益效果类似，可参见基于轻量化时间序列缩减的工业设备状态预测方法的实现原理及有益效果，此处不再进行赘述。
图9为本申请提供的一种电子设备结构示意图。如图9所示，该电子设备900可以包括：至少一个处理器901和存储器902。
存储器902，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。
存储器902可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
处理器901用于执行存储器902存储的计算机执行指令，以实现前述方法实施例所描述的基于轻量化时间序列缩减的工业设备状态预测方法。其中，处理器901可能是一个中央处理器（Central Processing Unit，简称为CPU），或者是特定集成电路（ApplicationSpecific Integrated Circuit，简称为ASIC），或者是被配置成实施本申请实施例的一个或多个集成电路。具体的，在实现前述方法实施例所描述的基于轻量化时间序列缩减的工业设备状态预测方法时，该电子设备例如可以是终端、服务器等具有处理功能的电子设备。
可选的，该电子设备900还可以包括通信接口903。在具体实现上，如果通信接口903、存储器902和处理器901独立实现，则通信接口903、存储器902和处理器901可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构（Industry StandardArchitecture，简称为ISA）总线、外部设备互连（Peripheral Component，简称为PCI）总线或扩展工业标准体系结构（Extended Industry Standard Architecture，简称为EISA）总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果通信接口903、存储器902和处理器901集成在一块芯片上实现，则通信接口903、存储器902和处理器901可以通过内部接口完成通信。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random AccessMemory）、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有程序指令，程序指令用于上述实施例中的方法。
本申请还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得电子设备实施上述的各种实施方式提供的基于轻量化时间序列缩减的工业设备状态预测方法。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种基于轻量化时间序列缩减的工业设备状态预测方法，其特征在于，包括：
获取发动机的运行数据；
将所述运行数据输入至预测模型的组线性变换嵌入层中的第一神经元组对所述运行数据进行线性变换处理，得到第一数据；所述组线性变换嵌入层包括多层组线性变换层，所述组线性变换嵌入层中的目标组线性变换层中包括L组第一神经元，所述目标组线性变换层的输入数据被划分为L组子数据，所述L组子数据与所述L组第一神经元一一对应，所述L为大于或等于1的自然数；
将所述第一数据输入至所述预测模型的注意力层，在所述注意力层中，采用注意力机制对所述第一数据进行处理，得到第二数据；
将所述第二数据输入至所述预测模型的时间序列缩减层进行重要性评分，并将所述第二数据中重要性评分低于第一预设值的数据去除，得到第三数据；
将所述第三数据输入至所述预测模型的组前馈网络层进行线性变换处理，得到第四数据；
将所述第四数据输入至所述预测模型的学习层，在所述学习层中，根据多层次学习机制策略对所述第四数据进行学习，得到所述发动机的剩余寿命；
所述第二数据中包括多个时间步；
将所述第二数据输入至所述预测模型的时间序列缩减层进行重要性评分，并将所述第二数据中重要性评分低于第一预设值的数据去除，得到第三数据，包括：
将所述第二数据输入至所述预测模型的时间序列缩减层，通过所述时间序列缩减层中的重要性评分函数，对每个时间步进行评分处理，得到每个时间步的重要性评分；
其中，表示时间步/>的重要性评分，/>为所述注意力层输出矩阵的第i行第j列的值，表示时间步/>对时间步/>的关注程度，n表示时间步的数量；
将所述多个时间步中重要性评分低于所述第一预设值的时间步去除，得到第三数据。
2.根据权利要求1所述的方法，其特征在于，所述目标组线性变换层的输入数据为第一时间序列数据；
在所述目标组线性变换层中，所述第一时间序列数据被按照时间序列的维度预先划分为L组第一子时间序列数据。
3.根据权利要求2所述的方法，其特征在于，所述将所述运行数据输入至预测模型的组线性变换嵌入层中的神经元组对所述运行数据进行线性变换处理，得到第一数据，包括：
将所述第一时间序列数据输入至所述预测模型的组线性变换嵌入层；
针对所述目标组线性变换层，所述L组第一神经元分别对所述L组第一子时间序列数据中对应的第一子时间序列数据进行处理，得到的第一处理结果；
将所述第一处理结果输入所述目标组线性变换层的下一层组线性变换层进行处理；
经过所述组线性变换层中的最后一层组线性变换层的处理，得到所述第一数据。
4.根据权利要求3所述的方法，其特征在于，所述组前馈网络层中包括多层组前馈网络层，所述组前馈网络层中的目标组前馈网络层中包括Q组第二神经元，所述目标组前馈网络层的输入数据为第二时间序列数据，所述Q为大于或等于1的自然数；
在所述目标组前馈网络层中，所述第二时间序列数据被按照时间序列的维度预先划分为Q组第二子时间序列数据，所述Q组第二子时间序列数据与所述Q组第二神经元一一对应。
5.根据权利要求4所述的方法，其特征在于，所述将所述第三数据输入至所述预测模型的组前馈网络层进行线性变换处理，得到第四数据，包括：
将所述第二时间序列数据输入至所述预测模型的组前馈网络层；
针对所述目标组前馈网络层，所述Q组第二神经元分别对所述Q组第二子时间序列数据中对应的第二子时间序列数据进行处理，得到的第二处理结果；
将所述第二处理结果输入所述目标组前馈网络层的下一层组前馈网络层进行处理；
经过所述组前馈网络层中的最后一层组前馈网络层的处理，得到所述第四数据。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述将所述第四数据输入至所述预测模型的学习层，包括：
通过所述注意力层、所述时间序列缩减层和所述组前馈网络层对所述第四数据进行循环处理，得到目标数据，其中，所述注意力层的输出为所述时间序列缩减层的输入，所述时间序列缩减层的输出为所述组前馈网络层的输入，所述组前馈网络层的输出为所述注意力层的输入，所述循环处理的循环次数为第二预设值；
将所述目标数据输入至所述预测模型的学习层。
7.根据权利要求6所述的方法，其特征在于，所述在所述学习层中，根据多层次学习机制策略对所述第四数据进行学习，得到所述发动机的剩余寿命，包括：
在所述学***化处理，得到第一向量；
对所述目标数据进行扁平化处理，得到第二向量；
使用第一多层感知机并行向前传播所述第一向量和所述第二向量；
通过ReLU激活函数和Batchnorm归一化对所述第一多层感知机传播的所述第一向量进行处理，得到第三向量；
通过ReLU激活函数和Batchnorm归一化对所述第一多层感知机传播的所述第二向量进行处理，得到第四向量；
将所述第三向量和所述第四向量串联为第五向量；
通过第二多层感知机向前传播所述第五向量，得到发动机的剩余寿命。
8.一种基于轻量化时间序列缩减的工业设备状态预测装置，其特征在于，包括：
获取模块，用于获取发动机的运行数据；
处理模块，用于将所述运行数据输入至预测模型的组线性变换嵌入层中的第一神经元组对所述运行数据进行线性变换处理，得到第一数据；所述组线性变换嵌入层中的目标组线性变换层中包括L组第一神经元，所述目标组线性变换层的输入数据被划分为L组子数据，所述L组子数据与所述L组第一神经元一一对应；
所述处理模块，还用于将所述第一数据输入至所述预测模型的注意力层，在所述注意力层中，采用注意力机制对所述第一数据进行处理，得到第二数据；
所述处理模块，还用于将所述第二数据输入至所述预测模型的时间序列缩减层进行重要性评分，并将所述第二数据中重要性评分低于第一预设值的数据去除，得到第三数据；
所述处理模块，还用于将所述第三数据输入至所述预测模型的组前馈网络层进行线性变换处理，得到第四数据；
所述处理模块，还用于将所述第四数据输入至所述预测模型的学习层，在所述学习层中，根据多层次学习机制策略对所述第四数据进行学习，得到所述发动机的剩余寿命；
所述第二数据中包括多个时间步；所述处理模块，具体用于将所述第二数据输入至所述预测模型的时间序列缩减层，通过所述时间序列缩减层中的重要性评分函数，对每个时间步进行评分处理，得到每个时间步的重要性评分；其中，/>表示时间步/>的重要性评分，/>为所述注意力层输出矩阵的第i行第j列的值，表示时间步/>对时间步/>的关注程度，n表示时间步的数量；将所述多个时间步中重要性评分低于所述第一预设值的时间步去除，得到第三数据。
9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-7中任一项所述的一种基于轻量化时间序列缩减的工业设备状态预测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述权利要求1-7任一项所述的一种基于轻量化时间序列缩减的工业设备状态预测方法。
CN202310819842.9A 2023-07-06 2023-07-06 基于轻量化时间序列缩减的工业设备状态预测方法与装置 Active CN116541680B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310819842.9A CN116541680B (zh) 2023-07-06 2023-07-06 基于轻量化时间序列缩减的工业设备状态预测方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310819842.9A CN116541680B (zh) 2023-07-06 2023-07-06 基于轻量化时间序列缩减的工业设备状态预测方法与装置

Publications (2)

Publication Number Publication Date
CN116541680A CN116541680A (zh) 2023-08-04
CN116541680B true CN116541680B (zh) 2023-09-12

Family

ID=87452856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310819842.9A Active CN116541680B (zh) 2023-07-06 2023-07-06 基于轻量化时间序列缩减的工业设备状态预测方法与装置

Country Status (1)

Country Link
CN (1) CN116541680B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845541A (zh) * 2017-01-17 2017-06-13 杭州电子科技大学 一种基于生物视觉与精确脉冲驱动神经网络的图像识别方法
CN110285976A (zh) * 2019-07-09 2019-09-27 哈尔滨工业大学（威海） 基于dbn的多维时序信息驱动航空发动机故障诊断方法
CN115953900A (zh) * 2022-12-30 2023-04-11 湖北武荆高速公路发展有限公司 一种基于多维度时间和空间依赖挖掘的交通流量预测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10940863B2 (en) * 2018-11-01 2021-03-09 GM Global Technology Operations LLC Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle
CA3171156A1 (en) * 2021-08-25 2023-02-25 Applied Brain Research Inc. Methods and systems for learning online to predict time-series data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845541A (zh) * 2017-01-17 2017-06-13 杭州电子科技大学 一种基于生物视觉与精确脉冲驱动神经网络的图像识别方法
CN110285976A (zh) * 2019-07-09 2019-09-27 哈尔滨工业大学（威海） 基于dbn的多维时序信息驱动航空发动机故障诊断方法
CN115953900A (zh) * 2022-12-30 2023-04-11 湖北武荆高速公路发展有限公司 一种基于多维度时间和空间依赖挖掘的交通流量预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DLformer: A Dynamic Length Transformer-Based Network for Efficient Feature Representation in Remaining Useful Life Prediction;Lei Ren等;IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS;1-11 *

Also Published As

Publication number Publication date
CN116541680A (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
US10832133B2 (en) System and method of executing neural networks
Li et al. Towards compact cnns via collaborative compression
US11574195B2 (en) Operation method
US20180260709A1 (en) Calculating device and method for a sparsely connected artificial neural network
JP6965690B2 (ja) ニューラルネットワークの処理速度を向上させるための装置及び方法、並びにその応用
Xia et al. Fully dynamic inference with deep neural networks
CN109543029B (zh) 基于卷积神经网络的文本分类方法、装置、介质和设备
US20200110988A1 (en) Computing device and method
US11775832B2 (en) Device and method for artificial neural network operation
JP6891626B2 (ja) 情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法
CN111368988B (zh) 一种利用稀疏性的深度学习训练硬件加速器
CN112597610B (zh) 机械臂结构轻量化设计的优化方法、装置及设备
CN113762493A (zh) 神经网络模型的压缩方法、装置、加速单元和计算***
CN111860801A (zh) 神经网络方法、神经网络***和计算机可读介质
CN113222102A (zh) 用于神经网络模型量化的优化方法
Abdelsalam et al. An efficient FPGA-based overlay inference architecture for fully connected DNNs
Shirahata et al. Memory reduction method for deep neural network training
Fu et al. DepthShrinker: a new compression paradigm towards boosting real-hardware efficiency of compact neural networks
CN116541680B (zh) 基于轻量化时间序列缩减的工业设备状态预测方法与装置
Yu et al. Paramixer: Parameterizing mixing links in sparse factors works better than dot-product self-attention
Yamada et al. Weight Features for Predicting Future Model Performance of Deep Neural Networks.
US20220253709A1 (en) Compressing a Set of Coefficients for Subsequent Use in a Neural Network
CN112836793B (zh) 浮点可分离卷积计算加速装置、***以及图像处理方法
CN114496068A (zh) 蛋白质二级结构预测方法、装置、设备及存储介质
EP4052188B1 (en) Neural network instruction streaming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant