CN113592308A - 一种基于常态模型的监测数据告警阈值提取方法 - Google Patents

Abstract

本发明公开了一种基于常态模型的监测数据告警阈值提取方法，包括：利用频谱分析方法获得监测数据中的显著性周期集，采用时间序列分解法，分离出周期分量集；利用直线拟合方法，将分离周期分量集后剩余的监测数据拟合为长期趋势；采用相应的累计概率拟合函数，对第一监测数据，显著性周期集进行拟合，对累积概率分布模型进行K‑S拟合优度检验，基于检验结果得到最优累计概率分布模型；分别根据获得的监测数据，周期分量集，长期趋势的最小概率值，构建监测数据的外推概率区间，选取外推区间的小概率值，基于小概率值构建告警阈值。该方法能够对文物的监测数据的长期变化趋势与变化周期进行准确告警。

Description

一种基于常态模型的监测数据告警阈值提取方法

技术领域

本发明属于数据挖掘领域，具体涉及一种基于常态模型的监测数据告警阈值提取方法。

背景技术

不可移动文物是指在历史、文化、建筑、艺术上具有重要科学价值并实际存在的文物实体，包括古建筑物、聚落等传统历史古迹，涵盖政治、军事、生产活动、祭祀、艺术、社会、建筑、教育等许多方面。

不可移动文物保护是指采取各种手段使具有重要的历史、艺术、科学价值的文物避免被损坏的过程，近年来，我国开展了大量有针对性的研究和实施工作，在不可移动文物的保护方面取得了一定的成绩，一批重点文物的风化情况得到了明显的遏制、缓解。

然而不可移动文物受环境影响最大，自然及人为环境因素造成的渐变风化仍在不知不觉中进行着，而且随着当今环境变化与污染的加重，损害范围和破坏速度持续加剧着，成为影响不可移动文物安全保管的一个至关重要的因素。大多数不可移动文物存在病害，有的甚至处于濒危状态。因此，通过提升不可移动文物保护手段的科技含量进而提升整个文物保护体系的效率，是现如今急需解决的问题。

传统的文物保护中由于缺少实时采集文物信息的渠道，致使无法获取全面充分的文物相关信息，产生文物实体与保存环境之间的关系模糊、应对异常情况不及时等问题。除此之外，因为许多文物实***于地理位置偏僻、环境恶劣的保护环境中，现有的科技手段在电力、网络等基础设施匮乏的情形下无法彻底应用于文物保护当中。

近年来，随着物联网的发展，不可移动文物监测工作日益增多，已成为分析文物保存现状和评估风险因素的重要手段。目前国内不可移动文物监测实践在数据采集和存储上已取得较多突破，但在体系化、合理化数据利用上仍存在短板。由于劣化机理定量化溯源预测、预防性保护普适性环境参数阈值等研究基础尚不成熟，在面对海量传感器监测数据时人们不知道哪些是异常数据，数据较难发挥指导、辅助当下保护实践的时效作用，亟需面向实际应用开展基于常态条件的传感器监测数据实时分级告警体系构建方法研究。

目前已有的一种文物传感器监测数据告警阈值提取方法是基于正态分布的3σ准则与外推法结合的阈值确定和告警体系构建方法。这种方法存在两个问题：一是该方法是建立在常态条件下传感器监测数据服从正态分布这一假设下的，然而实际上大多数传感器监测数据并不符合正态分布；二是只针对传感器监测数据本身进行告警，没有对其长期趋势与变化周期进行深入分析告警。

发明内容

本发明提供一种基于常态模型的监测数据告警阈值提取方法，该方法能够对文物的监测数据的长期变化趋势与变化周期进行准确告警。

一种基于常态模型的监测数据告警阈值提取方法，包括：

S1：利用频谱分析方法获得第一监测数据中的显著性周期集，基于显著性周期集，采用时间序列分解法，从第一监测数据中分离出周期分量集；

S2：利用直线拟合方法，将步骤S1中的分离周期分量集后剩余的监测数据拟合为长期趋势；

S3：基于多种累计概率分布，采用相应的累计概率拟合函数，对第一监测数据，周期分量集进行拟合，基于拟合结果得到多种累计概率分布模型，对累积概率分布模型进行K-S拟合优度检验，基于检验结果得到最优累计概率分布模型；

S4：基于最优累计概率分布模型，得到的第一监测数据、周期分量集的最小概率值，根据第一监测数据、周期分量集的最小概率值，分别构建第一监测数据的第一外推概率区间，周期分量集的第二外推概率区间，基于长期趋势斜率构建长期趋势的第三外推概率区间，根据需要，分别选取第一、二、三外推区间的第一、二、三小概率值，基于第一、二、三小概率值构建告警阈值。

首先利用频谱分析方法获得监测数据中的显著性周期集，即为监测数据的变化周期。接着利用时间序列分解法，根据显著性周期集，对监测数据进行分解得到周期分量集和长期趋势。然后基于得到的周期分量集，长期趋势和监测数据构建最优累积概率分布模型，并通过外推概率区间得到告警阈值。基于告警阈值和最优累积概率分布模型，能够对文物的监测数据的长期趋势与变化周期进行准确告警。

所述的利用频谱分析方法获得第一监测数据中的的显著性周期集，包括：

利用频谱分析方法将获得的第一监测数据进行傅里叶变换得到由时间从短到长排序的第一到第N显著性周期，所述的第一到第N显著性周期构建显著性周期集。

对第一监测数据进行傅里叶变换之前，先基于先验知识预先确定一部分显著性周期，所述先验知识为温度、湿度、游客参观行为、景区开放行为、生产线的生产计划安排具有稳定变化周期的监测数据影响因素，将上述的稳定变化周期作为第一监测数据的一部分显著性周期，后续的傅里叶变换也可以对先验知识得到的结果进行验证，以达到快速准确分离第一监测数据得到显著性周期集的目的。

所述的从第一监测数据中分离出周期分量集，包括：

采用时间序列法中的移动平均法，基于显著性周期集，从第一监测数据分离出多个周期分量，并通过高斯噪声平均化消除方法，对多个周期分量进行去噪，得到的多个去噪周期分量构建周期分量集。

所述的从第一监测数据分离出多个周期分量，包括：

S11：将第一监测数据以第一显著性周期为单位，利用时间序列分解法，从第一监测数据中分离出第一周期分量；

S12：从第一监测数据中剔除第一周期分量得到第二监测数据，将第二监测数据以第二显著性周期为单位，再次利用时间序列分解法，从第二监测数据中分离出第二周期分量；

S13：按照步骤S12依次进行，直到从第N-1监测数据中剔除第N-1周期分量得到第N监测数据，将第N监测数据以第N显著性周期为单位，再次利用时间序列分解法，从第N监测数据中分离出第N周期分量；所述的多个周期分量为所述的第一到第N周期分量。

利用多个累积概率分布对第一监测数据，第一周期分量进行拟合，得到多个累积概率分布的参数，通过所述参数构建多个累积概率分布模型，所述多个累积概率分布包括：正态分布、Gumbel分布、Weibull分布、Frechet分布。

所述的基于检验结果得到最优累计概率分布模型，包括：

对多个累积概率分布模型进行K-S拟合优度检验得到累积概率分布模型和被拟合数据相似的概率，将相似概率最大的累积概率分布模型作为最优累计概率分布模型。

所述的第一外推概率区间为：

L₁＝(0％,α)&(1-α,100％)

所述的第二外推概率区间为：

所述的第三外推概率区间为：

L₃＝χ*(100％,∞)

其中，α为第一监测数据最小概率值(第一监测数据分布在(α，1-α)之间)，β_i为周期分量集中的第i周期分量最小概率值(第i周期分量是一个绝对值，分布在(0，β_i)之间)，χ为长期趋势的斜率。

第一外推概率区间，是确定第一监测数据分布的上下限分布概率，其目的是在上下限分布概率之外的范围选择第一小概率值，将超出第一小概率值的情况视为异常，对第一监测数据进行预警；第二外推概率区间，是确定每个周期分量的上限值分布概率，从上限值分布概率之外的范围中选择第二小概率值，对变化周期进行预警；第三外推概率区间，是确定长期趋势的变化上限分布概率，从上限分布概率之外的范围中选择第三小概率值，对长期趋势进行预警。

所述的基于第一、二、三小概率值计算构建告警阈值，包括：

计算第一、二、三小概率值对应的最优累计概率分布模型的一、二、三参数值，所述第一、二、三参数值构建告警阈值。

本发明与现有技术相比，有益效果为：

1、使用概率拟合方法得到常态模型进而得出告警阈值，可以根据传感器监测数据/周期分量/长期趋势的实际常态分布来选择合适的分布模型，并且可以根据不同的给定概率调整告警阈值。

2、使用时间序列分解法将传感器监测数据进行分解，不仅能对传感器监测数据本身进行告警，也能对其长期变化趋势与周期性变化波动进行告警。

3、本方法适用于多种类型的传感器监测数据，可迁移性强。

附图说明

图1为本发明具体实施方式提供的一种基于常态模型的监测数据告警阈值提取方法流程图；

图2为本发明具体实施方式提供的得到周期分量方法流程图；

图3为本发明具体实施方式提供的对周期分量去噪流程图；

图4为本发明具体实施方式提供的选择概率分布模型的流程图；

图5是本发明实施例提供的频谱分析图片；

图6是本发明实施例提供的分解综合图片；

图7是本发明实施例提供的概率拟合图片。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

如图1所示，本发明的具体实施方式的基于常态模型的传感器监测数据告警阈值提取方法包括以下步骤：

首先分离周期分量，如图2所示，具体步骤为：

具体运用频谱分析的方法找出传感器监测数据中的显著性周期。根据先验知识，即每日的温度变化规律，我们可以预先确定第一监测数据中存在以日为周期的变化规律，从图5的频谱分析图中可以看出频率为一天以及接近一个月的某个周期的位置有明显的峰，进一步分析结果表明26天周期最具显著性，由此得到以日和26天的显著性周期集。运用时间序列分解法将传感器监测数据的显著性周期性因素分离出来，先以日为第一显著性周期对传感器监测数据进行分解，分离出日周期分量；再以26天为第二显著性周期对分离日周期的剩余数据进行再次分解，分离出26天周期分量，所述的日周期分量，26天周期分量，长期趋势分解综合图如图6所示，从图中可以更清晰地看出不同周期分量对传感器监测数据的影响大小，以及反映传感器监测数据的变化趋势。

同时去除周期分量的噪音，如图3所示，根据显著性周期使用移动平均法将传感器监测数据分成两部分，一部分包含周期分量和噪声分量，另一部分为剩余数据。然后对于包含周期分量和噪声分量的部分，利用高斯噪声平均化消除的方法去除噪声分量，即可分离出去噪的日周期分量和26天周期分量，所述的去噪的日周期分量和26天周期分量构建周期分量集；

然后概率拟合得到常态模型，如图4所示，具体步骤为：

运用多种累积概率分布模型对第一监测数据，周期分量集的常态模型的各项分别进行拟合，拟合模型进行K-S拟合优度检验对比。从图7可以看出传感器监测数据在正态分布、Gumbel分布、Weibull分布模型的拟合曲线，K-S拟合优度检验结果如表1所示，Gumbel分布通过K-S拟合优度检验的概率最大，故选择Gumbel分布模型作为传感器监测数据的最优累计概率分布模型。

表1 K-S拟合优度检验结果

分别根据最优累计概率分布模型获得的监测数据，周期分量集，长期趋势的最小概率值，构建监测数据的第一外推概率区间，周期分量集的第二外推概率区间，长期趋势的第三外推概率区间，根据需要，分别选取第一、二、三外推区间的第一、二、三小概率值，所述的第一外推概率区间为：

L₁＝(0％,α)&(1-α,100％)

所述的第二外推概率区间为：

所述的第三外推概率区间为：

L₃＝χ*(100％,∞)

其中，α为第一监测数据最小概率值(第一监测数据分布在(α，1-α)之间)，β为第一周期分量的最小概率值(第i周期分量是一个绝对值，分布在(0，β_i)之间)，χ为长期趋势的斜率。

最后计算小概率条件下的最优累计概率分布模型参数值。根据最优累计概率分布模型参数值分别计算出0.0001概率下传感器监测数据的预警阈值和0.00005概率下的告警阈值，见表2。同理，可以得出周期分量和长期趋势在给定概率下的预警/告警阈值。

表2 0.0001概率和0.00005概率下传感器监测数据的预警/告警阈值

Claims (8)

1.一种基于常态模型的监测数据告警阈值提取方法，其特征在于，包括：

S1：利用频谱分析方法获得第一监测数据中的显著性周期集，基于显著性周期集，采用时间序列分解法，从第一监测数据中分离出周期分量集；

S2：利用直线拟合方法，将步骤S1中的分离周期分量集剩余的监测数据拟合为长期趋势；

S3：基于多种累计概率分布，采用相应的累计概率拟合函数，对第一监测数据，周期分量集进行拟合，基于拟合结果得到多种累计概率分布模型，对累积概率分布模型进行K-S拟合优度检验，基于检验结果得到最优累计概率分布模型；

S4：基于最优累计概率分布模型，得到的第一监测数据、周期分量集的最小概率值，根据第一监测数据、周期分量集的最小概率值，分别构建第一监测数据的第一外推概率区间，周期分量集的第二外推概率区间，基于长期趋势斜率构建长期趋势的第三外推概率区间，根据需要，分别选取第一、二、三外推区间的第一、二、三小概率值，基于第一、二、三小概率值构建告警阈值。

2.根据权利要求1所述的基于常态模型的监测数据告警阈值提取方法，其特征在于，所述的利用频谱分析方法获得第一监测数据中的显著性周期集，包括：

利用频谱分析方法将获得的第一监测数据进行傅里叶变换得到由时间从短到长排序的第一到第N显著性周期，所述的第一到第N显著性周期构建显著性周期集。

3.根据权利要求2所述的基于常态模型的监测数据告警阈值提取方法，其特征在于，所述的从第一监测数据中分离出周期分量集，包括：

采用时间序列数据的移动平均法，基于显著性周期集，从第一监测数据分离出多个周期分量，并通过高斯噪声平均化消除方法，对多个周期分量进行去噪，得到的多个去噪周期分量构建周期分量集。

4.根据权利要求3所述的基于常态模型的监测数据告警阈值提取方法，其特征在于，所述的从第一监测数据分离出多个周期分量，包括：

S11：将第一监测数据以第一显著性周期为单位，利用时间序列分解法，从第一监测数据中分离出第一周期分量；

S12：从第一监测数据中剔除第一周期分量得到第二监测数据，将第二监测数据以第二显著性周期为单位，再次利用时间序列分解法，从第二监测数据中分离出第二周期分量；

S13：按照步骤S12依次进行，直到从第N-1监测数据中剔除第N-1周期分量得到第N监测数据，将第N监测数据以第N显著性周期为单位，再次利用时间序列分解法，从第N监测数据中分离出第N周期分量；所述的多个周期分量为所述的第一到第N周期分量。

5.根据权利要求1所述的基于常态模型的监测数据告警阈值提取方法，其特征在于，利用多个累积概率分布对第一监测数据，周期分量集进行拟合，得到多个累积概率分布的参数，通过所述参数构建多个累积概率分布模型，所述多个累积概率分布包括：正态分布、Gumbel分布、Weibull分布、Frechet分布。

6.根据权利要求1或5所述的基于常态模型的监测数据告警阈值提取方法，其特征在于，所述的基于检验结果得到最优累计概率分布模型，包括：

对多个累积概率分布模型进行K-S拟合优度检验得到累积概率分布模型和被拟合数据相似的概率，将相似概率最大的累积概率分布模型作为最优累计概率分布模型。

7.根据权利要求1所述的基于常态模型的监测数据告警阈值提取方法，其特征在于，所述的第一外推概率区间为：

L₁＝(0％,α)&(1-α,100％)

所述的第二外推概率区间为：

所述的第三外推概率区间为：

L₃＝χ*(100％,∞)

其中，α为第一监测数据最小概率值，β_i为周期分量集中的第i周期分量的最小概率值，χ为长期趋势的斜率。

8.根据权利要求1所述的基于常态模型的监测数据告警阈值提取方法，其特征在于，所述的基于第一、二、三小概率值计算构建告警阈值，包括：

计算第一、二、三小概率值对应的最优累计概率分布模型的一、二、三参数值，所述第一、二、三参数值构建告警阈值。

Images