CN112926016A - 一种多变量时间序列变化点检测方法 - Google Patents

一种多变量时间序列变化点检测方法 Download PDF

Info

Publication number
CN112926016A
CN112926016A CN202110461187.5A CN202110461187A CN112926016A CN 112926016 A CN112926016 A CN 112926016A CN 202110461187 A CN202110461187 A CN 202110461187A CN 112926016 A CN112926016 A CN 112926016A
Authority
CN
China
Prior art keywords
change point
target sequence
time series
point detection
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110461187.5A
Other languages
English (en)
Inventor
杜海舟
段子怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Electric Power
Original Assignee
Shanghai University of Electric Power
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Electric Power filed Critical Shanghai University of Electric Power
Priority to CN202110461187.5A priority Critical patent/CN112926016A/zh
Publication of CN112926016A publication Critical patent/CN112926016A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种多变量时间序列变化点检测方法,包括:将原始多元时间序列数据集中目标序列的数据信息输入时间序列预测模块,预测目标序列,并输出目标序列预测值及评估预测性能;将目标序列预测值、人工进行异常标记后的目标序列实际值输入变化点检测模块,计算每个点对应的异常分数;通过深度学习分类器进行分类并检测变化点,输出检测到的变化点位置集合;根据检测出的变化点位置和实际目标序列中变化点的标签,输出变化点检测结果并可视化,并评估检测性能,实现多变量时间序列变化点检测。本发明准确捕获目标序列与多个相关变量及历史数据之间的动态相关性的同时,实现对外部因素进行特征提取和融合,以提高整体的精度和性能。

Description

一种多变量时间序列变化点检测方法
技术领域
本发明涉及计算机时间序列分析的技术领域,尤其涉及一种多变量时间序列变化点检测方法。
背景技术
多变量时间序列是指同时表示多个变量或指标的时间序列,通常包含复杂的混合输入,包括目标序列的历史数据、相关变量和外部因素等。它们与目标序列之间具有复杂动态的相关性,且与相关性有关的先验信息非常有限。
综合考虑变化点检测的准确性、稳定性和效率等方面的指标,当前对于多变量时间序列变化点检测问题,采用基于深度学习的预测方法是最合适的选择。通过深度学习模型预测目标序列,根据目标序列预测值和实际值之差检测变化点。但是,由于多变量时间序列数据中,相关变量与目标序列之间具有复杂的相关性和依赖性,而且是高度动态、随时间非线性变化的。此外,外部因素也对目标序列有着间接但重要的影响。现有方法无法有效实现不同类型的输入之间的特征提取和融合,会对最终结果的准确性造成影响。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题,提出了本发明。
因此,本发明解决的技术问题是:多变量时间序列变化点检测中,由于目标序列与其它相关变量之间具有复杂的动态相关性,且受外部因素影响从而导致的检测效率低下、准确性不佳。
为解决上述技术问题,本发明提供如下技术方案:将原始多元时间序列数据集中目标序列的历史数据、相关变量、外部因素及目标序列真实值输入时间序列预测模块,预测目标序列,并输出目标序列预测值,利用评估指标评估预测性能;将所述目标序列预测值、人工进行异常标记后的目标序列实际值输入变化点检测模块,计算每个点对应的异常分数;基于所述异常分数,通过深度学习分类器—卷积神经网络进行分类并检测变化点,输出检测到的变化点位置集合;根据检测出的变化点位置和实际目标序列中变化点的标签,输出变化点检测结果并可视化,根据评估指标评估检测性能,实现多变量时间序列变化点检测。
作为本发明所述的多变量时间序列变化点检测方法的一种优选方案,其中:在所述时间序列预测模块采用多元融合注意力网络以预测目标序列包括,编码阶段采用两个输入注意力分别处理目标序列的历史数据和相关变量,每个输入注意力之后结合LSTM,以自适应地选择相关序列、进行特征提取。
作为本发明所述的多变量时间序列变化点检测方法的一种优选方案,其中:对于所述历史数据,计算注意力权重包括,
Figure BDA0003042339410000021
Figure BDA0003042339410000022
其中,
Figure BDA0003042339410000023
表示矩阵,ωe
Figure BDA0003042339410000024
表示向量,p表示编码器隐藏状态大小,均属于要学习的参数。
作为本发明所述的多变量时间序列变化点检测方法的一种优选方案,其中:对于所述相关变量,计算注意力权重包括,
Figure BDA0003042339410000025
Figure BDA0003042339410000026
其中,
Figure BDA0003042339410000027
表示矩阵,ωg
Figure BDA0003042339410000028
表示向量,均属于要学习的参数。
作为本发明所述的多变量时间序列变化点检测方法的一种优选方案,其中:基于所述注意力权重,计算时间步长t处的Iuput Attn 1的输出向量包括,
Figure BDA0003042339410000029
Iuput Attn 2的输出向量为:
Figure BDA00030423394100000210
作为本发明所述的多变量时间序列变化点检测方法的一种优选方案,其中:采用基于门控残差网络的门控机制将学习到的外部因素特征融合到所述多级注意力网络中,包括,利用所述门控残差网络接收所述Input attn 2的输出
Figure BDA0003042339410000031
和外部因素融合组件的输出ext
Figure BDA0003042339410000032
η1=W1η2+b1
Figure BDA0003042339410000033
其中,ELU表示数线性单位激活函数,η1
Figure BDA0003042339410000034
表示中间层,LayerNorm表示标准层归一化;
基于门控线性单元的组件门控层来提供灵活性,包括:
GLU(η1)=σ(W4η1+b4)⊙(W5η1+b5)
其中,σ(.)表示Sigmoid激活函数,
Figure BDA0003042339410000035
分别表示权重和偏差,⊙表示逐元素乘法。
作为本发明所述的多变量时间序列变化点检测方法的一种优选方案,其中:在所述时间序列预测模块采用多元融合注意力网络以预测目标序列还包括,在解码阶段,通过多头注意力机制捕获长期时间依赖性:利用所述多头注意力机制的分类模型接收生成的输出向量,将其分组为单个矩阵,记作Θt=[θt-m,...,θt+τ]T;所述多头注意力机制根据K和Q之间的关系来缩放V:
Figure BDA0003042339410000036
定义
Figure BDA0003042339410000037
得:
Figure BDA0003042339410000038
Figure BDA0003042339410000039
其中,h表示头的个数,
Figure BDA00030423394100000310
表示Q和K对于头的特定权重,
Figure BDA00030423394100000311
表示在所有头之间共享的值权重,
Figure BDA00030423394100000312
用于最终线性映射。
作为本发明所述的多变量时间序列变化点检测方法的一种优选方案,其中:所述外部因素特征的学习包括,通过外部因素融合组件,学习外部因素特征;所述外部因素包括:分类因素:通过实体嵌入策略将每个分类属性转换为低维实向量;连续因素:采用线性变换将其转换为低维向量;将获得的两类向量串联作为所述外部因素融合组件的输出,记作ext
作为本发明所述的多变量时间序列变化点检测方法的一种优选方案,其中:所述异常分数的计算包括,计算目标序列实际值与预测值之差:
Figure BDA0003042339410000041
其中,yt表示实际值,
Figure BDA0003042339410000042
表示预测值,et的绝对值表示异常分数,记作lt
本发明的有益效果:准确捕获目标序列与多个相关变量及历史数据之间的动态相关性的同时,实现对外部因素进行特征提取和融合,以提高整体的精度和性能。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1为本发明一个实施例提供的一种多变量时间序列变化点检测方法的基本流程示意图;
图2为本发明一个实施例提供的一种多变量时间序列变化点检测方法的时间序列预测模块的结构示意图;
图3为本发明一个实施例提供的一种多变量时间序列变化点检测方法的中门控残差网络(GRN)的结构示意图;
图4为本发明一个实施例提供的一种多变量时间序列变化点检测方法的在负荷预测数据集上的预测曲线示意图;
图5为本发明一个实施例提供的一种多变量时间序列变化点检测方法的在负荷预测数据集上的变化点检测结果示意图;
图6为本发明一个实施例提供的一种多变量时间序列变化点检测方法的在空气质量数据集上的预测曲线示意图;
图7为本发明一个实施例提供的一种多变量时间序列变化点检测方法的在空气质量数据集上的变化点检测结果示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明,显然所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述,在详述本发明实施例时,为便于说明,表示器件结构的剖面图会不依一般比例作局部放大,而且所述示意图只是示例,其在此不应限制本发明保护的范围。此外,在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中,需要说明的是,术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一、第二或第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定,术语“安装、相连、连接”应做广义理解,例如:可以是固定连接、可拆卸连接或一体式连接;同样可以是机械连接、电连接或直接连接,也可以通过中间媒介间接相连,也可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1~3,为本发明的一个实施例,提供了一种多变量时间序列变化点检测方法,包括:
S1:将原始多元时间序列数据集中目标序列的历史数据、相关变量、外部因素及目标序列真实值输入时间序列预测模块,预测目标序列,并输出目标序列预测值,利用评估指标评估预测性能;需要说明的是,
利用均方根误差(RMSE)、平均绝对误差(MAE)、平均绝对百分比误差(MAPE)三个指标评估预测性能;其中,目标序列真实值用于模型训练及评估指标计算。
其中,如图2所示,在时间序列预测模块采用多元融合注意力网络以预测目标序列包括:
编码阶段采用两个输入注意力分别处理目标序列的历史数据和相关变量,每个输入注意力之后结合LSTM(编码器),以自适应地选择相关序列、进行特征提取。
对于历史数据,计算注意力权重包括,
Figure BDA0003042339410000061
Figure BDA0003042339410000062
其中,
Figure BDA0003042339410000063
表示矩阵,ωe
Figure BDA0003042339410000064
表示向量,p表示编码器隐藏状态大小,均属于要学习的参数。
基于注意力权重,计算时间步长t处的Iuput Attn 1的输出向量包括,
Figure BDA0003042339410000065
对于相关变量,计算注意力权重包括,
Figure BDA0003042339410000066
Figure BDA0003042339410000067
其中,
Figure BDA0003042339410000068
表示矩阵,ωg
Figure BDA0003042339410000069
表示向量,均属于要学习的参数。
Iuput Attn 2的输出向量为:
Figure BDA00030423394100000610
进一步的,通过外部因素融合组件,学习外部因素特征。其中,外部因素分为两类:对于分类因素,由于它们无法直接输入神经网络,因此通过实体嵌入(entity embedding)方法将每个分类属性转换为低维(p维)实向量;对于连续因素,采用线性变换将其转换为低维向量。将获得的两类向量串联作为该组件的输出,记作ext
更进一步的,采用基于门控残差网络(Gated Residual Network,GRN)的门控机制将学习到的外部因素特征融合到多级注意力网络中,以最大程度地提高这些因素的重要性,其结构如图3所示。
具体的,利用门控残差网络接收Input attn 2的输出
Figure BDA0003042339410000071
和外部因素融合组件的输出ext
Figure BDA0003042339410000072
η1=W1η2+b1
Figure BDA0003042339410000073
其中,ELU表示数线性单位激活函数,η1
Figure BDA0003042339410000074
表示中间层,LayerNorm表示标准层归一化;
基于门控线性单元的组件门控层来提供灵活性,包括:
GLU(η1)=σ(W4η1+b4)⊙(W5η1+b5)
其中,σ(.)表示Sigmoid激活函数,
Figure BDA0003042339410000075
分别表示权重和偏差,⊙表示逐元素乘法。
由此实现了相关变量和外部因素的融合,并增强其重要性,其输出记作
Figure BDA0003042339410000076
在解码阶段,通过多头注意力机制捕获长期时间依赖性:
利用多头注意力机制的分类模型接收生成的输出向量,将其分组为单个矩阵,记作Θt=[θt-m,...,θt+τ]T
多头注意力机制根据keys(K)和queries(Q)之间的关系来缩放values(V):
Figure BDA0003042339410000077
定义
Figure BDA0003042339410000078
得:
Figure BDA0003042339410000079
Figure BDA00030423394100000710
其中,h表示头的个数,
Figure BDA00030423394100000711
表示Q和K对于头的特定权重,
Figure BDA00030423394100000712
表示在所有头之间共享的值权重,
Figure BDA00030423394100000713
用于最终线性映射。
因此,多头注意力通过对不同位置的不同表示子空间采用不同的头,学习不同的时间模式以整合全局信息,进而提高模型的学习能力,然后,在每个时间步应用多头注意力,生成最终预测结果
Figure BDA0003042339410000083
S2:将目标序列预测值、人工进行异常标记后的目标序列实际值输入变化点检测模块,计算每个点对应的异常分数;需要说明的是,
异常分数的计算包括,
计算目标序列实际值与预测值之差:
Figure BDA0003042339410000081
其中,yt表示实际值,
Figure BDA0003042339410000082
表示预测值,et的绝对值表示异常分数,记作lt
其中,异常分数越大,表明在当前时刻存在异常的可能性越大。
S3:基于异常分数,通过深度学习分类器-卷积神经网络进行分类并检测变化点,输出检测到的变化点位置集合。
S4:根据检测出的变化点位置和实际目标序列中变化点的标签,输出变化点检测结果并可视化,根据评估指标评估检测性能,实现多变量时间序列变化点检测;需要说明的是,
根据精确率(Precision)、召回率(Recall)、F1分数(F1 Score)三个指标评估检测性能,最终实现多变量时间序列变化点检测。
本发明是在同一基于深度学习的框架中,结合预测(时间序列预测模块)和分类(变化点检测模块)的思想,用于多变量时间序列的变化点检测任务;在时间序列预测模块中,将多级注意力和多头注意力结合,实现对多元数据的特征提取和融合;通过外部因素融合组件,以整合来自不同领域的外部因素,同时,利用门控机制并将学习到的潜在表示形式融合到多级注意力网络中,以增强这些外部因素的重要性;在变化点检测模块中,基于实际值和预测值的差,使用深度学习分类器检测变化点,减少了人为因素的干扰以及对参数(即阈值)选择的依赖性,提高了运行效率和结果的准确性。
实施例2
参照图4~7为本发明另一个实施例,为对本方法中采用的技术效果加以验证说明,本实施例采用传统技术方案与本发明方法进行对比测试,以科学论证的手段对比试验结果,以验证本方法所具有的真实效果。
传统技术方案无法处理具有复杂混合输入的多变量时间序列,造成结果准确性较差,模型效率较低。本发明方法相对传统方法具有较高的精度和效率,能够准确捕获目标序列与多个相关变量及历史数据之间的动态相关性的同时,实现对外部因素进行特征提取和融合。本实施例中将本方法和其它对比方法分别就时间序列预测性能、变化点检测性能进行对比。
测试环境:所有实验均在同一计算机上执行,实验环境及配置的详细信息如下:硬件配置:3.1GHz Intel Core i5 CPU,16GB 2133 MHz LPDDR3,Intel Iris Plus Graphics650 1536MB;软件信息:模型基于Python 3.7.0,在框架TensorFlow 1.13.2中实现,调用深度学习库Keras 2.1.0,操作***为macOS Catalina 10.15.3。
对于负荷预测数据集,其详细信息如表1所示:
表1:负荷预测数据集详细信息表。
Figure BDA0003042339410000091
具体实验过程如下:
将原始多元时间序列数据集中目标序列的历史数据、相关变量、外部因素及目标序列真实值输入本发明时间序列预测模块,预测目标序列,其预测结果曲线如图4所示。此外,为了衡量本发明的预测性能,将其和其它对比方法进行实验,结果如表2所示:
表2:实验结果对比表。
Figure BDA0003042339410000092
Figure BDA0003042339410000101
其中,由于LSTM、Seq2seq和Attention无法处理多个输入序列,也没有外部因素融合的功能,因此,对于这三种方法,分别使用历史数据和相关变量作为输入。
计算异常分数之后,根据异常分数进行变化点检测,输出检测到的变化点位置集合,再根据变化点位置和实际目标序列中变化点的标签,输出检测结果,如图5所示。此外,为了衡量本发明的变化点检测性能,将其和其它对比方法进行实验,结果如表3所示:
表3:实验结果表。
Figure BDA0003042339410000102
上述实验结果表明,本发明在变化点检测性能方面表现良好,在负荷预测数据集上可以准确、及时地检测出变化点,并且其性能优于其它对比方法。
对于空气质量数据集,其详细信息如表4所示:
Figure BDA0003042339410000111
具体实验过程如下:
将原始多元时间序列数据集中目标序列的历史数据、相关变量、外部因素及目标序列真实值输入本发明时间序列预测模块,预测目标序列,其预测结果曲线如图6所示。此外,为了衡量本发明的预测性能,将其和其它对比方法进行实验,结果如表5所示:
表5:实验结果表。
Figure BDA0003042339410000112
Figure BDA0003042339410000121
其中,由于LSTM、Seq2seq和Attention无法处理多个输入序列,也没有外部因素融合的功能,因此,对于这三种方法,分别使用历史数据和相关变量作为输入。
计算异常分数之后,根据异常分数进行变化点检测,输出检测到的变化点位置集合,再根据变化点位置和实际目标序列中变化点的标签,输出检测结果,如图7所示。此外,为了衡量本发明的变化点检测性能,将其和其它对比方法进行实验,结果如表6所示:
表6:实验结果对比表。
Figure BDA0003042339410000122
上述实验结果表明,本发明在变化点检测性能方面表现良好,在空气质量数据集上可以准确、及时地检测出变化点,并且其性能优于其它对比方法。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种多变量时间序列变化点检测方法,其特性在于,包括:
将原始多元时间序列数据集中目标序列的历史数据、相关变量、外部因素及目标序列真实值输入时间序列预测模块,预测目标序列,并输出目标序列预测值,利用评估指标评估预测性能;
将所述目标序列预测值、人工进行异常标记后的目标序列实际值输入变化点检测模块,计算每个点对应的异常分数;
基于所述异常分数,通过深度学习分类器—卷积神经网络进行分类并检测变化点,输出检测到的变化点位置集合;
根据检测出的变化点位置和实际目标序列中变化点的标签,输出变化点检测结果并可视化,根据评估指标评估检测性能,实现多变量时间序列变化点检测。
2.如权利要求1所述的多变量时间序列变化点检测方法,其特征在于:在所述时间序列预测模块采用多元融合注意力网络以预测目标序列包括,
编码阶段采用两个输入注意力分别处理目标序列的历史数据和相关变量,每个输入注意力之后结合LSTM,以自适应地选择相关序列、进行特征提取。
3.如权利要求2所述的多变量时间序列变化点检测方法,其特征在于:对于所述历史数据,计算注意力权重包括,
Figure FDA0003042339400000011
Figure FDA0003042339400000012
其中,
Figure FDA0003042339400000013
表示矩阵,ωe,
Figure FDA0003042339400000014
表示向量,p表示编码器隐藏状态大小,均属于要学习的参数。
4.如权利要求2所述的多变量时间序列变化点检测方法,其特征在于:对于所述相关变量,计算注意力权重包括,
Figure FDA0003042339400000015
Figure FDA0003042339400000016
其中,
Figure FDA0003042339400000017
表示矩阵,ωg,
Figure FDA0003042339400000018
表示向量,均属于要学习的参数。
5.如权利要求3或4所述的多变量时间序列变化点检测方法,其特征在于:基于所述注意力权重,计算时间步长t处的Iuput Attn 1的输出向量包括,
Figure FDA0003042339400000021
Iuput Attn 2的输出向量为:
Figure FDA0003042339400000022
6.如权利要求5所述的多变量时间序列变化点检测方法,其特征在于:采用基于门控残差网络的门控机制将学习到的外部因素特征融合到所述多级注意力网络中,包括,
利用所述门控残差网络接收所述Input attn 2的输出
Figure FDA0003042339400000023
和外部因素融合组件的输出ext
Figure FDA0003042339400000024
η1=W1η2+b1
Figure FDA0003042339400000025
其中,ELU表示数线性单位激活函数,η1,
Figure FDA0003042339400000026
表示中间层,LayerNorm表示标准层归一化;
基于门控线性单元的组件门控层来提供灵活性,包括:
Figure FDA0003042339400000027
其中,σ(.)表示Sigmoid激活函数,
Figure FDA0003042339400000028
Figure FDA0003042339400000029
分别表示权重和偏差,⊙表示逐元素乘法。
7.如权利要求2所述的多变量时间序列变化点检测方法,其特征在于:在所述时间序列预测模块采用多元融合注意力网络以预测目标序列还包括,
在解码阶段,通过多头注意力机制捕获长期时间依赖性:
利用所述多头注意力机制的分类模型接收生成的输出向量,将其分组为单个矩阵,记作Θt=[θt-m,…,θt+τ]T
所述多头注意力机制根据K和Q之间的关系来缩放V:
Figure FDA00030423394000000210
定义
Figure FDA00030423394000000211
得:
Figure FDA00030423394000000212
Figure FDA0003042339400000031
其中,h表示头的个数,
Figure FDA0003042339400000032
Figure FDA0003042339400000033
表示Q和K对于头的特定权重,
Figure FDA0003042339400000034
表示在所有头之间共享的值权重,
Figure FDA0003042339400000035
用于最终线性映射。
8.如权利要求6所述的多变量时间序列变化点检测方法,其特征在于:所述外部因素特征的学习包括,
通过外部因素融合组件,学习外部因素特征;所述外部因素包括:
分类因素:通过实体嵌入策略将每个分类属性转换为低维实向量;
连续因素:采用线性变换将其转换为低维向量;
将获得的两类向量串联作为所述外部因素融合组件的输出,记作ext
9.如权利要求8所述的多变量时间序列变化点检测方法,其特征在于:所述异常分数的计算包括,
计算目标序列实际值与预测值之差:
Figure FDA0003042339400000036
其中,yt表示实际值,
Figure FDA0003042339400000037
表示预测值,et的绝对值表示异常分数,记作lt
CN202110461187.5A 2021-04-27 2021-04-27 一种多变量时间序列变化点检测方法 Pending CN112926016A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110461187.5A CN112926016A (zh) 2021-04-27 2021-04-27 一种多变量时间序列变化点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110461187.5A CN112926016A (zh) 2021-04-27 2021-04-27 一种多变量时间序列变化点检测方法

Publications (1)

Publication Number Publication Date
CN112926016A true CN112926016A (zh) 2021-06-08

Family

ID=76174789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110461187.5A Pending CN112926016A (zh) 2021-04-27 2021-04-27 一种多变量时间序列变化点检测方法

Country Status (1)

Country Link
CN (1) CN112926016A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850418A (zh) * 2021-09-02 2021-12-28 支付宝(杭州)信息技术有限公司 时间序列中异常数据的检测方法和装置
WO2023089678A1 (ja) * 2021-11-17 2023-05-25 日本電気株式会社 分類装置、分類方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850418A (zh) * 2021-09-02 2021-12-28 支付宝(杭州)信息技术有限公司 时间序列中异常数据的检测方法和装置
WO2023089678A1 (ja) * 2021-11-17 2023-05-25 日本電気株式会社 分類装置、分類方法及びプログラム

Similar Documents

Publication Publication Date Title
CN112101426B (zh) 基于自编码器的无监督学习图像异常检测方法
CN113191215B (zh) 融合注意力机制与孪生网络结构的滚动轴承故障诊断方法
CN111914883B (zh) 一种基于深度融合网络的主轴轴承状态评估方法及装置
CN111079836B (zh) 基于伪标签方法和弱监督学习的过程数据故障分类方法
CN109783879B (zh) 一种雷达辐射源信号识别效能评估方法及***
CN114509266B (zh) 一种基于故障特征融合的轴承健康监测方法
CN103714148B (zh) 基于稀疏编码分类的sar图像检索方法
Jin et al. Position encoding based convolutional neural networks for machine remaining useful life prediction
CN111046961B (zh) 基于双向长短时记忆单元和胶囊网络的故障分类方法
CN112926016A (zh) 一种多变量时间序列变化点检测方法
Shao et al. A Multichannel LSTM‐CNN Method for Fault Diagnosis of Chemical Process
CN116453438B (zh) 一种显示屏参数检测方法、装置、设备及存储介质
CN111860446A (zh) 一种卫星遥测时序数据未知模式的检测***与方法
CN112507479B (zh) 一种基于流形学习和softmax的石油钻机健康状态评估方法
CN115757103A (zh) 基于树结构的神经网络测试用例生成方法
CN112883227A (zh) 一种基于多尺度时序特征的视频摘要生成方法和装置
CN109324595B (zh) 一种基于增量pca的工业监测数据分类方法
CN113987910A (zh) 一种耦合神经网络与动态时间规划的居民负荷辨识方法及装置
CN117036781A (zh) 一种基于树综合多样性深度森林的图像分类方法
CN116702005A (zh) 一种基于神经网络的数据异常诊断方法和电子设备
CN116720095A (zh) 一种基于遗传算法优化模糊c均值的电特性信号聚类方法
CN116738355A (zh) 一种考虑数据差异性的电力多模态特征级融合方法
CN113010687B (zh) 一种习题标签预测方法、装置、存储介质以及计算机设备
Liu et al. A multisensory time-frequency features fusion method for rotating machinery fault diagnosis under nonstationary case
CN117544021B (zh) 无刷直流电机的转速控制方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination