CN108920429A - 一种水位动态监测的异常数据分析方法 - Google Patents

Abstract

本发明公开了一种水位动态监测的异常数据分析方法。本发明首先记录某水体某段长期时间内，以较短时间间隔记录水压数据，再换算成相对水深数据；先从中剔除明显异常数据，再计算相邻两个时刻的相对水深数据的增量形成增量序列，利用随机统计模型(如正态分布曲线)估计特定置信水平下增量序列中增量的置信区间，然后筛选出超出置信区间的异常增量，最后结合这些异常增量所处时刻的降雨、水温情况，分析判断这些异常增量是否可以被接受，从而完成异常数据的分析识别。本发明提供的水位异常数据分析方法简单、科学、合理、高效，全程采用电子设备计算，能够有效降低数据校核耗费的时间，提高监测数据的准确性。

Description

一种水位动态监测的异常数据分析方法

技术领域

本发明属于水文数据处理技术领域，特别是一种水位动态监测的异常数据分析方法。

背景技术

在水文观测试验过程中，所得水位数据结果对水文过程中人类活动及***变化十分敏感，往往存在一定数量的异常值。这些异常值产生的原因大部分是人为地将测量仪器从水中拿起，致使水压、相对水深等数据出现异常。这些异常值都不能如实反映水文变化过程，需要采用合理技术手段将其剔除。

现有技术中，对监测异常数据的分析判定仅仅停留在筛查剔除非常明显的异常数据阶段，对于局部不易识别的异常数据，往往是在数据使用过程中逐步识别、剔除，工作量大，耗时长，效率低，不确定性强，对于大批量监测数据异常值的集中分析处理，尚未出现相应的分析和剔除的科学方法或类似方法。

发明内容

为了发明一种针对某水体的水位异常数据分析剔除的方法，且既要保证分析方法的科学性、判断的准确性，也要便于操作，提高数据校核效率，本发明提供一种水位动态监测的异常数据分析方法，通过以下技术方案实现。

一种水位动态监测的异常数据分析方法，包括以下步骤：

S1、连续记录待测流域水下某采样点在某长期时段内的降水过程；在该长期时段内以特定时长的时间间隔Δt，连续记录采样点的水压和水温数据，分别得到该采样点在该长期时段的连续水压、水温数据序列；

S2、将所述连续水压数据序列中每个水压数据换算成水面至采样点的相对水深数据，得到采样点在所述长期时段的连续相对水深数据序列；

S3、结合步骤S1所得待测流域采样点在长期时段内的降水过程，去掉所述连续相对水深数据序列中的明显异常数据，得到若干个相对水深数据子序列A；每个所述相对水深数据子序列A中包含若干个具有相同时间间隔Δt的相对水深数据a；

S4、计算每个相对水深数据子序列A中，每2个相邻时刻的相对水深数据a的增量x，得到若干个增量子序列X，再将所有增量子序列X合并得到增量序列XX；

S5、估计特定置信水平下增量序列XX中增量x的置信区间，确定该置信区间的上下限阈值，即每个增量被接受的上下限阈值；

S6、以该置信区间的上下限阈值为基准，筛选出所述增量序列XX内所有超出该置信区间的异常增量；

S7、结合步骤S1所得待测流域采样点在长期时段内的降水过程、水温数据序列，进一步分析每个异常增量的合理性，剔除不合理的异常增量。

通过选用特定仪器测得待测水域的某个采样点在长期时段(例如1个月、半年、1年、3年等)内大量的动态水压数据，这些数据都是在相同的很短时间间隔(例如5min、10min等)内测得。在此基础上，本发明采用水位增量控制法完成异常数据的筛选剔除：第一步是通过判断降雨时水位的升降，预先剔除明显异常的数据，即步骤S1至S3，这是最容易采用的常规手段；第二步是通过去掉异常数据后得到的相对水深数据子序列，计算相邻时刻的相对水深数据的增量(即水位差值)，合并形成该采样点在该长期时段以特定时间间隔的增量序列，假定这些增量符合某个随机分布函数，估计增量在特定置信水平下的置信区间，确定增量能够被接受的区间范围，筛选出每一个不在该范围的异常增量，最后根据每个异常增量所处时刻的降水、水温等实际情况，判断该异常增量是否可以被接受。

优选地，步骤S2中，所述连续水压数据序列中每个水压数据换算成水面至采样点的相对水深数据的计算公式为：

H＝(P-P₀)/9.8；

其中，H为采样点在该时刻的相对水深数据，单位为m；P为采样点水面上方大气压，单位为kPa；P₀为采样点水压，单位为kPa。

优选地，步骤S3中，所述连续相对水深数据序列中的明显异常数据的具体判断方法为：当某时刻的相对水深数据为0或负值时，则该时刻的相对水深数据为明显异常数据；

去除所述明显异常数据后得到n个相对水深数据子序列A，每个相对水深数据子序列A中包含m个具有相同时间间隔Δt的相对水深数据a，即

A_i＝{a_i,1,a_i,2,…,a_i,m}，1≤i≤n，

其中，A_i是指第i个相对水深数据子序列，包含m个相对水深数据，分别为a_i,1,a_i,2,…,a_im,。

优选地，步骤S4具体为：针对每个相对水深数据子序列A_i＝{a_i,1,a_i,2,…,a_i,m}，计算a_i,m和a_i,m-1之间的增量x，得到增量子序列X_i，每个增量子序列包含m-1个增量x，即

X_i＝{x_i,1,x_i,2,…,x_i,m-1}，x_i,m-1＝a_i,m-a_i,m-1，

其中，x_i,m-1为相对水深数据子序列A_i中相邻2个相对水深数据a_i,m和a_i,m-1的增量；

再将所有增量子序列X_i合并得到增量序列XX，XX＝{X₁,X₂,…,X_n}，即增量序列XX包含了采样点处在长期时段内以特定时间间隔Δt的所有相对水深数据的增量。

优选地，步骤S5具体为：假定所述增量序列XX所含的增量x符合特定的分布函数，估计在特定置信水平下增量x的置信区间，确定在所述特定置信水平下增量x被接受的上下限阈值。

更优选地，步骤S5中，所述特定的分布函数为正态分布、Gumbel分布或t分布。

更优选地，步骤S5中，所述特定置信水平为90％、95％或99％。

更优选地，步骤S5中，所述特定置信水平为95％。

优选地，步骤S7中，进一步分析步骤S6所得每个异常增量的合理性的具体方法为：

结结合步骤S1所得待测流域采样点在长期时段内的降水过程及水温数据，当某异常增量小于特定置信水平下的增量x被接受的下限阈值，且此刻水温变化明显；或者当某异常增量大于特定水平下的增量x被接受的上限阈值，且此刻水温变化明显且未发生降雨时，则判定该异常增量应剔除，进而判定对应记录的水压、相对水深数据也应剔除；当某异常增量大于特定水平下的增量x被接受的上限阈值，且水温恒定或小幅变化，且发生降雨时，则判定该异常增量是降雨所致，进而认为对应记录的水压、相对水深数据可以被接受。

与现有技术相比，本发明的有益效果是：

1、发明了一种适用于任意水体的水位动态变化时，异常波动的识别、筛选、剔除的方法，该方法能够适用于长时间、大批量的数据分析处理，且全程均可在监测设备或电脑中直接得出计算结果，有效降低数据校核耗费的时间，降低了人工处理异常数据的不确定性；

2、采用水位增量作为控制变量，利用特定的统计模型(例如正态分布曲线)估计特定置信水平下(例如95％)水位增量的置信区间，判断的原理和依据相对更科学合理；

3、针对数据读取、高强度降水、水温变化等人类活动及***变化可能导致的水位异常变化，对具体问题进行具体分析，提高了监测数据的可靠性。

附图说明

图1为实施例1所述一种水位动态监测的异常数据分析方法的流程图；

图2为实施例1某流域某采样点在2017年7月1日-7月31日监测记录的降水过程图，记录时间间隔5min；

图3为实施例1某流域某采样点在2017年7月1日-7月31日监测记录的相对水深数据图，记录时间间隔5min；

图4为实施例1根据图3的相对水深数据，计算生成的增量数据图，记录时间间隔5min；

图5为实施例1根据图2、图4的数据，剔除异常增量对应的异常相对水深数据后，生成的可接受的相对水深数据图。

具体实施方式

以下将结合附图对本专利中实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本专利的一部分实施例，而不是全部的实施例。基于本专利的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本专利所保护的范围。

实施例1

本实施例是针对某水域某一采样点在2017年7月1日至7月31日进行的水位动态监测异常数据分析，具体采用以下步骤：

S1、使用HOBO压力水位计,连续记录待测流域在2017年7月1日至7月31日(7月一整月)的降水过程；并在该时段内以5min(Δt)为时间间隔，连续记录采样点的水压和水温数据，分别得到该采样点在该时段的连续水压、水温数据序列；

S2、将步骤S1的连续水压数据序列中的每个水压数据通过计算公式

H＝(P-P₀)/9.8

换算成水面至采样点的相对水深数据，得到采样点在7月份的连续相对水深数据序列，其中，H为采样点在该时刻的相对水深数据，单位为m；P为采样点水面上方大气压，单位为kPa；P₀为采样点水压，单位为kPa。

S3、结合步骤S1所得待测流域采样点在7月份的降水过程，当7月份的某时刻的相对水深数据为0或负值时，则该时刻的相对水深数据为明显异常数据。

去除这些明显异常数据后得到n个相对水深数据子序列A，每个相对水深数据子序列A中包含m个相对水深数据a，每个子序列A中的每个相对水深数据a之间记录的时间间隔为5min，即

A_i＝{a_i,1,a_i,2,…,a_i,m}，1≤i≤n，

其中，A_i是指第i个相对水深数据子序列，包含m个相对水深数据，分别为a_i,1,a_i,2,…,a_i,m；

S4、计算每个相对水深数据子序列A中，每2个相邻时刻的相对水深数据a的增量x，得到增量子序列X，再将所有增量子序列X合并得到增量序列XX，具体步骤如下：

针对每个相对水深数据子序列A_i＝{a_i,1,a_i,2,…,a_i,m}，计算a_i,m和a_i,m-1之间的增量x，得到增量子序列X_i，每个增量子序列包含m-1个增量x，即

X_i＝x_i,1,x_i,2,…,x_i,m-1}，x_i,m-1＝a_i,m-a_i,m-1，

其中，x_i,m-1为相对水深数据子序列A_i中相邻2个相对水深数据a_i,m和a_i,m-1的增量；

再将所有增量子序列X_i合并得到增量序列XX，XX＝{X₁,X₂,…,X_n}，即增量序列XX包含了采样点处在长期时段内以特定时间间隔Δt的所有相对水深数据的增量。

S5、假定所述增量序列XX所含的增量x均符合正态分布，估计在95％置信水平下增量x的置信区间，确定在95％置信水平下增量x被接受的上下限阈值；

S6、以所述置信区间的上下限阈值为基准，筛选出步骤S4的所述增量序列内所有超出置信区间的异常增量；

S7、结合步骤S1所得待测流域采样点在长期时段内的降水过程及水温数据，当某异常增量小于95％置信水平下的增量x被接受的下限阈值，且此刻水温变化明显；或者当某异常增量大于95％置信水平下的增量x被接受的上限阈值，且此刻水温变化明显且未发生降雨时，则判定该异常增量应剔除，进而判定对应记录的水压、相对水深数据也应剔除；当某异常增量大于95％置信水平下的增量x被接受的上限阈值，且水温恒定或小幅变化，且发生降雨时，则判定该异常增量是降雨所致，进而认为对应记录的水压、相对水深数据可以被接受。

本实施例的分析方法流程图如图1所示；然后记录形成的降水过程图、相对水深数据图、增量数据图，以及剔除异常增量所处时刻相应的异常相对水深数据后，生成的可接受的相对水深数据图如图2～图5所示。

由图2可知，由于降雨的影响，在降雨时间段内存在多个陡增陡降的变化，这些时刻的观测值可能为异常值。但经过图2～图4的结合对比发现，图3、图4的水位变化中没有与图2降水过程不匹配的异常相对水深数据。

根据步骤S5，使用Matlab中的normfit函数，获得每5min间隔内水位增量的平均值和方差，本实施例每5min内的增量平均值miu为-1.2mm，标准差sigma为158.6；因此95％置信区间为(miu-1.96*sigma,miu+1.96*sigma)，即(-312.1，309.7)。

最终通过对比95％置信区间，分析判断7月1日至7月31日在每5min内超出95％置信区间的所有异常增量的合理性，列举并汇总异常相对水深数据，制成下表1。

表1实施例1的异常相对水深数据汇总表

表1中包含的6个异常时段都是在没有降雨的情况下，水位在短时间内发生大幅跌落后又在短时间内迅速上涨，温度也表现为短时间内大幅上涨之后迅速跌落，可以分析断定这些时段的增量、相对水深深度为异常值，需要剔除。

Claims (9)

1.一种水位动态监测的异常数据分析方法，其特征在于，包括以下步骤：

S1、连续记录待测流域水下某采样点在某长期时段内的降水过程；在该长期时段内以特定时长的时间间隔Δt，连续记录采样点的水压和水温数据，分别得到该采样点在该长期时段的连续水压、水温数据序列；

S2、将所述连续水压数据序列中每个水压数据换算成水面至该采样点的相对水深数据，得到该采样点在所述长期时段的连续相对水深数据序列；

S3、结合步骤S1所得待测流域采样点在长期时段内的降水过程，去掉所述连续相对水深数据序列中的明显异常数据，得到若干个相对水深数据子序列A；每个所述相对水深数据子序列A中包含若干个具有相同时间间隔Δt的相对水深数据a；

S4、计算每个相对水深数据子序列A中，每2个相邻时刻的相对水深数据a的增量x，得到若干个增量子序列X，再将所有增量子序列X合并得到增量序列XX；

S5、估计特定置信水平下增量序列XX中增量x的置信区间，确定该置信区间的上下限阈值，即每个增量被接受的上下限阈值；

S6、以该置信区间的上下限阈值为基准，筛选出所述增量序列XX内所有超出该置信区间的异常增量；

S7、结合步骤S1所得待测流域采样点在长期时段内的降水过程、水温数据序列，进一步分析每个异常增量的合理性，剔除不合理的异常增量。

2.根据权利要求1所述的一种水位动态监测的异常数据分析方法，其特征在于，步骤S2中，所述连续水压数据序列中每个水压数据换算成水面至采样点的相对水深数据的计算公式为：

H＝(P-P₀)/9.8；

其中，H为采样点在该时刻的相对水深数据，单位为m；P为采样点水面上方大气压，单位为kPa；P₀为采样点水压，单位为kPa。

3.根据权利要求2所述的一种水位动态监测的异常数据分析方法，其特征在于，步骤S3中，所述连续相对水深数据序列中的明显异常数据的具体判断方法为：当某时刻的相对水深数据为0或负值时，则该时刻的相对水深数据为明显异常数据；

去除所述明显异常数据后得到n个相对水深数据子序列A，每个相对水深数据子序列A中包含m个具有相同时间间隔Δt的相对水深数据a，即

A_i＝{a_i，1，a_i，2，...，a_i，m}，1≤i≤n，

其中，A_i是指第i个相对水深数据子序列，包含m个相对水深数据，分别为a_i，1，a_i，2，...，a_i，m。

4.根据权利要求3所述的一种水位动态监测的异常数据分析方法，其特征在于，步骤S4具体为：针对每个相对水深数据子序列A_i＝{a_i，1，a_i，2，...，a_i，m}，计算a_i，m和a_i，m-1之间的增量x，得到增量子序列X_i，每个增量子序列包含m-1个增量x，即

X_i＝{x_i，1，x_i，2，...，x_i，m-1}，x_i，m-1＝a_i，m-a_i，m-1，

其中，x_i，m-1为相对水深数据子序列A_i中相邻2个相对水深数据a_i，m和a_i，m-1的增量；

再将所有增量子序列X_i合并得到增量序列XX，XX＝{X₁，X₂，...，X_n}，即增量序列XX包含了采样点处在长期时段内以特定时间间隔Δt的所有相对水深数据的增量。

5.根据权利要求4所述的一种水位动态监测的异常数据分析方法，其特征在于，步骤S5具体为：假定所述增量序列XX所含的增量x符合特定的分布函数，估计在特定置信水平下增量x的置信区间，确定在所述特定置信水平下增量x被接受的上下限阈值。

6.根据权利要求5所述的一种水位动态监测的异常数据分析方法，其特征在于，步骤S5中，所述特定的分布函数为正态分布、Gumbel分布或t分布。

7.根据权利要求5所述的一种水位动态监测的异常数据分析方法，其特征在于，步骤S5中，所述特定置信水平为90％、95％或99％。

8.根据权利要求7所述的一种水位动态监测的异常数据分析方法，其特征在于，步骤S5中，所述特定置信水平为95％。

9.根据权利要求5、6或7所述的一种水位动态监测的异常数据分析方法，其特征在于，步骤S7中，进一步分析步骤S6所得每个异常增量的合理性的具体方法为：

结合步骤S1所得待测流域采样点在长期时段内的降水过程及水温数据，当某异常增量小于特定置信水平下的增量x被接受的下限阈值，且此刻水温变化明显；或者当某异常增量大于特定水平下的增量x被接受的上限阈值，且此刻水温变化明显且未发生降雨时，则判定该异常增量应剔除，进而判定对应记录的水压、相对水深数据也应剔除；当某异常增量大于特定水平下的增量x被接受的上限阈值，且水温恒定或小幅变化，且发生降雨时，则判定该异常增量是降雨所致，进而认为对应记录的水压、相对水深数据可以被接受。