CN115931055A - 一种基于大数据分析的农村供水运行诊断方法及*** - Google Patents

Abstract

本发明涉及供水监测领域，提供一种基于大数据分析的农村供水运行诊断方法及***，包括：将监测日的前T天的流量数据和压力数据作为原始流量压力数据集，获得剔除后的流量压力数据集；将各个时刻的流量压力数据集分为各个时刻的流量数据集和各个时刻的压力数据集；通过各个时刻的压力标准差判断对应时刻的压力监测值是否异常；通过改进优化后的卡尔曼滤波模型计算各个时刻的流量数据集的流量估计值，通过各个时刻的流量估计值判断对应时刻的流量监测值是否异常；若压力监测值和流量监测值均异常，则判断监测点数据异常。本发明充分考虑到了历史监测数据对于爆管判断的影响；通过改进优化后的卡尔曼滤波模型能使流量估计值的计算结果更加精确。

Description

一种基于大数据分析的农村供水运行诊断方法及***

技术领域

本发明涉及供水监测领域，尤其涉及一种基于大数据分析的农村供水运行诊断方法及***。

背景技术

现有的爆管分析方法有很多种，但往往是单独根据管道压力或流量监测值在一段连续时间的变化进行分析判断。由于监测设备上报的数据存在误差或异常且难以避免，现有方法大多并未考虑对异常数据的处理，少数方法对异常数据的处理也较为简单，通常采用直接删除异常数据、删除后补零、删除后补上个正常数据等方式，会对数据的趋势产生影响，进而降低爆管判断的准确率。

并且，一段连续时间的监测值变化波动较大，易将正常的用水变化识别为爆管，单独对压力或流量进行分析并不够全面，因此易导致对爆管的判断和定位存在一定的误差。

此外，随着管线的使用管线会出现老化等现象，因此随着管线的使用对于爆管的判断标准也会产生变化，因此爆管的判断标准与历史监测数据有着直接关系；然而现有的爆管分析方法往往没有考虑到历史监测数据对于爆管判断的影响，导致爆管判断的准确率不高。

发明内容

为解决上述技术问题，本发明提供一种基于大数据分析的农村供水运行诊断方法，包括：

S1：将监测日的前T天的流量数据和压力数据作为原始流量压力数据集，剔除所述原始流量压力数据集中的异常数据，获得剔除后的流量压力数据集；

S2：通过SARIMA模型对所述剔除后的流量压力数据集进行补充，获得待分析流量压力数据集，根据不同的时刻将所述待分析流量压力数据集分为各个时刻的流量压力数据集，将所述各个时刻的流量压力数据集分为各个时刻的流量数据集和各个时刻的压力数据集；

S3：计算所述各个时刻的压力数据集的压力标准差，通过各个时刻的压力标准差判断对应时刻的压力监测值是否异常；

S4：通过改进优化后的卡尔曼滤波模型计算所述各个时刻的流量数据集的流量估计值，通过各个时刻的流量估计值判断对应时刻的流量监测值是否异常；

S5：若所述压力监测值和所述流量监测值均异常，则判断监测点数据异常，发生爆管。

优选的，步骤S1具体为：

S11：获取供水管道的管径d，d的单位为毫米；该供水管道的正常状态水流速度最大监测值为v，v的单位为m/s，m为米，s为秒；则该供水管道的流量值异常判定阈值为，流量值异常判定阈值的单位为m³/s；

S12：设置压力值异常判定阈值；

S13：将大于流量值异常判定阈值的流量数据和大于压力值异常判定阈值的压力数据从所述原始流量压力数据集中剔除，获得剔除后的流量压力数据集。

优选的，步骤S2具体为：

S21：通过SARIMA模型对所述剔除后的流量压力数据集进行补充，获得待分析流量压力数据集；

S22：将一天分为U个时刻，获得共U个时刻的流量压力数据集，各个时刻的流量压力数据集表示为P_t；t为时刻的编号，t的最小值为1，t的最大值为U，U为大于1的正整数；

S23：将所述待分析流量压力数据集中每天U个时刻的流量数据放入对应时刻的流量数据集中，各个时刻的流量数据集表示为Z^t；将所述待分析流量压力数据集中每天U个时刻的压力数据放入对应时刻的压力数据集中，各个时刻的压力数据集表示为F^t。

优选的，步骤S3具体为：

S31：获取t时刻的压力数据集F^t，计算获得t时刻的压力标准差，计算公式为：

其中，为t时刻的压力标准差，i为天数的编号，i的初始值为1最大值为T，i的值越大表示距离监测日越近，f^t _i为第i天t时刻的压力数据集中的压力数据，为t时刻的压力数据集中的压力数据的平均值；

S32：压力数据的正常范围为；

S33：获取监测日t时刻的压力监测值f^t _now，若f^t _now在压力数据的正常范围内则判断压力监测值为正常，否则判断压力监测值为异常。

优选的，步骤S4具体为：

S41：获取t时刻的流量数据集Z^t和监测日t时刻的流量监测值z^t _now；

S42：计算获得t时刻的流量标准差，计算公式为：

其中，为t时刻的流量标准差，i为天数的编号，i的初始值为1最大值为T，i的值越大表示距离监测日越近，z^t _i为第i天t时刻的流量数据集中的流量数据，为t时刻的流量数据集中的流量数据的平均值；

S43：通过所述改进优化后的卡尔曼滤波模型计算获得第i天t时刻的卡尔曼增益，计算公式为：

其中，为优化参数，为标准差倍数，Q为过程噪声，R为测量噪声，为第i天t时刻的卡尔曼增益，为第i天t时刻的后验估计协方差，为第i天t时刻的先验估计协方差，为第i-1天t时刻的后验估计协方差；

S44：计算获得第i天t时刻的流量估计值，计算公式为：

其中，为第i天t时刻的流量估计值，为第i天t时刻的流量先验估计值，为第i-1天t时刻的流量估计值；

令i=i+1；

S45：重复步骤S43-S44共T次，获得第T天t时刻的流量估计值，若则判断流量监测值为异常，否则判断流量监测值为正常。

一种基于大数据分析的农村供水运行诊断***，包括：

剔除模块，用于将监测日的前T天的流量数据和压力数据作为原始流量压力数据集，剔除所述原始流量压力数据集中的异常数据，获得剔除后的流量压力数据集；

分配模块，用于通过SARIMA模型对所述剔除后的流量压力数据集进行补充，获得待分析流量压力数据集，根据不同的时刻将所述待分析流量压力数据集分为各个时刻的流量压力数据集，将所述各个时刻的流量压力数据集分为各个时刻的流量数据集和各个时刻的压力数据集；

压力监测值判断模块，用于计算所述各个时刻的压力数据集的压力标准差，通过各个时刻的压力标准差判断对应时刻的压力监测值是否异常；

流量监测值判断模块，用于通过改进优化后的卡尔曼滤波模型计算所述各个时刻的流量数据集的流量估计值，通过各个时刻的流量估计值判断对应时刻的流量监测值是否异常；

爆管诊断模块，若所述压力监测值和所述流量监测值均异常，则判断监测点数据异常，发生爆管。

本发明具有以下有益效果：

1、对于监测值中被剔除的异常数据和未按时上报的缺失数据使用SARIMA模型进行预测及补充，保持监测数据变化趋势且有效降低异常数据对爆管分析的影响；

2、通过监测日的前T天的监测数据进行爆管判断分析，充分考虑到了历史监测数据对于爆管判断的影响，能有效消除用水波动对爆管判断的影响，有效提高了爆管判断的准确度；

3、根据农村供水特点对卡尔曼滤波模型进行改进优化，通过改进优化后的卡尔曼滤波模型能使流量估计值的计算结果更加精确。

附图说明

图1为本发明实施例方法流程图；

图2为本发明实施例***结构图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，本发明提供一种基于大数据分析的农村供水运行诊断方法，包括：

S1：将监测日的前T天的流量数据和压力数据作为原始流量压力数据集，剔除所述原始流量压力数据集中的异常数据，获得剔除后的流量压力数据集；

具体的，优选的将T设置为30天，原始流量压力数据集的收集不包括监测日当天，例如监测日为本月的2号，则取2号之前30天的流量数据和压力数据；

S2：通过SARIMA模型对所述剔除后的流量压力数据集进行补充，获得待分析流量压力数据集，根据不同的时刻将所述待分析流量压力数据集分为各个时刻的流量压力数据集，将所述各个时刻的流量压力数据集分为各个时刻的流量数据集和各个时刻的压力数据集；

S3：计算所述各个时刻的压力数据集的压力标准差，通过各个时刻的压力标准差判断对应时刻的压力监测值是否异常；

S4：通过改进优化后的卡尔曼滤波模型计算所述各个时刻的流量数据集的流量估计值，通过各个时刻的流量估计值判断对应时刻的流量监测值是否异常；

S5：若所述压力监测值和所述流量监测值均异常，则判断监测点数据异常，发生爆管。

本实施例的步骤S1中，监测设备上报的流量数据和压力数据往往存在异常波动、缺数等问题，需要对监测获取数据进行分析和处理；例如对于监测值的突变，需要分析是否是由正常用水波动导致还是设备上报的数据存在异常，若是正常用水波动一般会在合理范围内增加并在一段内恢复，数据具备一定的规律性，若是数据上报异常通常表现为无规律性，数据突变幅度过大并且可能在下次上报周期就恢复正常，每个管道的流量值上限都可以根据管道的管径进行计算；如果用于管网运行诊断分析的数据中存在异常值，势必会对爆管分析结果产生不良影响，因此对于原始数据中的异常值，需要将其剔除；

步骤S1具体为：

S11：获取供水管道的管径d，d的单位为毫米；该供水管道的正常状态水流速度最大监测值为v，v的单位为m/s，m为米，s为秒；则该供水管道的流量值异常判定阈值为，流量值异常判定阈值的单位为m³/s；

S12：设置压力值异常判定阈值；

S13：将大于流量值异常判定阈值的流量数据和大于压力值异常判定阈值的压力数据从所述原始流量压力数据集中剔除，获得剔除后的流量压力数据集。

本实施例中，步骤S2具体为：

S21：通过SARIMA模型对所述剔除后的流量压力数据集进行补充，获得待分析流量压力数据集；

具体的，监测值中被剔除的异常数据和未按时上报的数据均使用季节性差分自回归滑动平均模型(SARIMA)进行补充；

监测值中因为异常被剔除的数据以及未按时上报导致的缺数，均需要进行补充，补充的原则是不能影响数据原来的整体变化趋势，否则会影响对管网爆管分析判断的准确性；

季节性差分自回归滑动平均模型（SARIMA），可以为具备周期性的时间序列建模，建模方法是：

首先用季节差分的方法消除周期性变化，设季节性时间序列的变化周期是s，季节单位根为，则季节差分u_t=y_t-y_t-s，t为时刻，季节差分算子为，其中L^s 为滞后算子，对进行一次季节差分表示为，对于存在D个季节单位根的非平稳季节性时间序列，则需要进行D次季节差分后才能转为平稳序列：，可以建立关于变化周期s的P阶自回归Q阶滑动平均季节时间序列模型：，其中A_P（L^s）中为大写P，A_P（L^s）为季节自回归算子，B_Q(L^s)为季节移动平均算子，s为单季节周期长度，P为季节性自回归的阶数，D为季节性差分计算的阶数，Q为季节性滑动平均的阶数，可将u_t描述为，即；其中中为小写p，为非季节自回归算子，为非季节移动平均算子，v_t为白噪声；p为非季节自回归的最大阶数；q为滑动平均算子的最大阶数；d为u_t的一阶差分次数。由于，因此；

上式用SARIMA(p, d, q) × (P, D, Q)s 表示；

对于具备季节周期性的农村供水管网流量数据和压力数据，通过季节性差分自回归滑动平均模型（SARIMA）进行建模，进而对缺失数据进行预测和补充，能保留流量和压力的变化趋势，避免数据的缺失对供水诊断的影响；

S22：将一天分为U个时刻，获得共U个时刻的流量压力数据集，各个时刻的流量压力数据集表示为P_t；t为时刻的编号，t的最小值为1，t的最大值为U，U为大于1的正整数；

具体的，由于用户的用水量在每天的不同时段存在正常的变化，会导致农村供水管网的流量数据和压力数据在每天的对应时段也产生相应的波动，如果直接对流量数据和压力数据进行分析，需要将正常的用水波动和爆管导致的波动做出明显区分，易影响爆管分析的准确率；考虑到用户在每天相同时刻的用水习惯通常会比较一致，取每天相同时刻的监测值进行对比分析能减少正常用水波动的干扰，因此对于待分析流量压力数据集进行划分，取每天相同时刻上报的数据形成新的流量数据集和压力数据集；

优选的将一天分为24个时刻，每个时刻之间相隔一小时；

S23：将所述待分析流量压力数据集中每天U个时刻的流量数据放入对应时刻的流量数据集中，各个时刻的流量数据集表示为Z^t；将所述待分析流量压力数据集中每天U个时刻的压力数据放入对应时刻的压力数据集中，各个时刻的压力数据集表示为F^t。

本实施例中，步骤S3具体为：

S31：获取t时刻的压力数据集F^t，计算获得t时刻的压力标准差，计算公式为：

其中，为t时刻的压力标准差，i为天数的编号，i的初始值为1最大值为T，i的值越大表示距离监测日越近，f^t _i为第i天t时刻的压力数据集中的压力数据，为t时刻的压力数据集中的压力数据的平均值；

具体的，例如需要分析监测日8点的压力监测值是否异常，则t的值为8；

S32：压力数据的正常范围为；

S33：获取监测日t时刻的压力监测值f^t _now，若f^t _now在压力数据的正常范围内则判断压力监测值为正常，否则判断压力监测值为异常。

卡尔曼滤波（Kalman filtering）是一种递推预测滤波算法，根据当前的监测值和上一时刻模型计算结果及噪声计算当前时刻的最优估计，同时进行下一时刻的模型结果计算，本质是把通过模型计算的结果和设备上报的监测值进行加权平均，不断迭代实现最优估计；可以在含有不确定因素的动态***中使用卡尔曼滤波，对***下一步的走向做出有根据的预测，常用于通信，导航，制导与控制等多领域，尤其在目标追踪等算法中有很好的效果；

若直接使用上述原始的卡尔曼滤波法进行农村供水管网的爆管诊断，会存在参数难以设定且误报率高的问题，主要原因是因为农村供水存在用水波动，同时监测设备本身的测量精确度也可能存在波动；因此本发明将卡尔曼滤波根据农村供水特点进行了改进和优化，在计算卡尔曼增益时，改进权重更新方程，新增优化参数；

本实施例中，步骤S4具体为：

S41：获取t时刻的流量数据集Z^t和监测日t时刻的流量监测值z^t _now；

S42：计算获得t时刻的流量标准差，计算公式为：

其中，为t时刻的流量标准差，i为天数的编号，i的初始值为1最大值为T，i的值越大表示距离监测日越近，z^t _i为第i天t时刻的流量数据集中的流量数据，为t时刻的流量数据集中的流量数据的平均值；

S43：通过所述改进优化后的卡尔曼滤波模型计算获得第i天t时刻的卡尔曼增益，计算公式为：

其中，为优化参数，为标准差倍数，取大于3的整数，Q为过程噪声，R为测量噪声，为第i天t时刻的卡尔曼增益，为第i天t时刻的后验估计协方差，为第i天t时刻的先验估计协方差，为第i-1天t时刻的后验估计协方差；

S44：计算获得第i天t时刻的流量估计值，计算公式为：

其中，为第i天t时刻的流量估计值，为第i天t时刻的流量先验估计值，为第i-1天t时刻的流量估计值；

令i=i+1；

S45：重复步骤S43-S44共T次，获得第T天t时刻的流量估计值，若则判断流量监测值为异常，否则判断流量监测值为正常。

具体的，在进行步骤S43-S44的循环计算时，初始参数可以做如下定义，=1，=0，后续根据卡尔曼滤波的多次迭代，可较快的收敛到最佳值；而对于过程噪声Q和测量噪声R的设定，由于改进优化后的卡尔曼增益公式新增了优化参数，每次计算都会基于监测值和历史监测值共同优化卡尔曼增益的计算结果，进而对卡尔曼最优估计产生积极影响，过程噪声Q和测量噪声R的取值可取经验值Q=0.1，R=0.05，后续可根据计算结果进行Q和R的参数调整。

参考图2，本发明提供一种基于大数据分析的农村供水运行诊断***，包括：

剔除模块，用于将监测日的前T天的流量数据和压力数据作为原始流量压力数据集，剔除所述原始流量压力数据集中的异常数据，获得剔除后的流量压力数据集；

分配模块，用于通过SARIMA模型对所述剔除后的流量压力数据集进行补充，获得待分析流量压力数据集，根据不同的时刻将所述待分析流量压力数据集分为各个时刻的流量压力数据集，将所述各个时刻的流量压力数据集分为各个时刻的流量数据集和各个时刻的压力数据集；

压力监测值判断模块，用于计算所述各个时刻的压力数据集的压力标准差，通过各个时刻的压力标准差判断对应时刻的压力监测值是否异常；

流量监测值判断模块，用于通过改进优化后的卡尔曼滤波模型计算所述各个时刻的流量数据集的流量估计值，通过各个时刻的流量估计值判断对应时刻的流量监测值是否异常；

爆管诊断模块，若所述压力监测值和所述流量监测值均异常，则判断监测点数据异常，发生爆管。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于大数据分析的农村供水运行诊断方法，其特征在于，包括：

S1：将监测日的前T天的流量数据和压力数据作为原始流量压力数据集，剔除所述原始流量压力数据集中的异常数据，获得剔除后的流量压力数据集；

S2：通过SARIMA模型对所述剔除后的流量压力数据集进行补充，获得待分析流量压力数据集，根据不同的时刻将所述待分析流量压力数据集分为各个时刻的流量压力数据集，将所述各个时刻的流量压力数据集分为各个时刻的流量数据集和各个时刻的压力数据集；

S3：计算所述各个时刻的压力数据集的压力标准差，通过各个时刻的压力标准差判断对应时刻的压力监测值是否异常；

S4：通过改进优化后的卡尔曼滤波模型计算所述各个时刻的流量数据集的流量估计值，通过各个时刻的流量估计值判断对应时刻的流量监测值是否异常；

S5：若所述压力监测值和所述流量监测值均异常，则判断监测点数据异常，发生爆管。

2.根据权利要求1所述的基于大数据分析的农村供水运行诊断方法，其特征在于，步骤S1具体为：

S11：获取供水管道的管径d，d的单位为毫米；该供水管道的正常状态水流速度最大监测值为v，v的单位为m/s，m为米，s为秒；则该供水管道的流量值异常判定阈值为，流量值异常判定阈值的单位为m³/s；

S12：设置压力值异常判定阈值；

S13：将大于流量值异常判定阈值的流量数据和大于压力值异常判定阈值的压力数据从所述原始流量压力数据集中剔除，获得剔除后的流量压力数据集。

3.根据权利要求1所述的基于大数据分析的农村供水运行诊断方法，其特征在于，步骤S2具体为：

S21：通过SARIMA模型对所述剔除后的流量压力数据集进行补充，获得待分析流量压力数据集；

S22：将一天分为U个时刻，获得共U个时刻的流量压力数据集，各个时刻的流量压力数据集表示为P_t；t为时刻的编号，t的最小值为1，t的最大值为U，U为大于1的正整数；

S23：将所述待分析流量压力数据集中每天U个时刻的流量数据放入对应时刻的流量数据集中，各个时刻的流量数据集表示为Z^t；将所述待分析流量压力数据集中每天U个时刻的压力数据放入对应时刻的压力数据集中，各个时刻的压力数据集表示为F^t。

4.根据权利要求1所述的基于大数据分析的农村供水运行诊断方法，其特征在于，步骤S3具体为：

S31：获取t时刻的压力数据集F^t，计算获得t时刻的压力标准差，计算公式为：

其中，为t时刻的压力标准差，i为天数的编号，i的初始值为1最大值为T，i的值越大表示距离监测日越近，f^t _i为第i天t时刻的压力数据集中的压力数据，为t时刻的压力数据集中的压力数据的平均值；

S32：压力数据的正常范围为；

S33：获取监测日t时刻的压力监测值f^t _now，若f^t _now在压力数据的正常范围内则判断压力监测值为正常，否则判断压力监测值为异常。

5.根据权利要求1所述的基于大数据分析的农村供水运行诊断方法，其特征在于，步骤S4具体为：

S41：获取t时刻的流量数据集Z^t和监测日t时刻的流量监测值z^t _now；

S42：计算获得t时刻的流量标准差，计算公式为：

其中，为t时刻的流量标准差，i为天数的编号，i的初始值为1最大值为T，i的值越大表示距离监测日越近，z^t _i为第i天t时刻的流量数据集中的流量数据，为t时刻的流量数据集中的流量数据的平均值；

S43：通过所述改进优化后的卡尔曼滤波模型计算获得第i天t时刻的卡尔曼增益，计算公式为：

其中，为优化参数，为标准差倍数，Q为过程噪声，R为测量噪声，为第i天t时刻的卡尔曼增益，为第i天t时刻的后验估计协方差，为第i天t时刻的先验估计协方差，为第i-1天t时刻的后验估计协方差；

S44：计算获得第i天t时刻的流量估计值，计算公式为：

其中，为第i天t时刻的流量估计值，为第i天t时刻的流量先验估计值，为第i-1天t时刻的流量估计值；

令i=i+1；

S45：重复步骤S43-S44共T次，获得第T天t时刻的流量估计值，若则判断流量监测值为异常，否则判断流量监测值为正常。

6.一种基于大数据分析的农村供水运行诊断***，其特征在于，包括：

剔除模块，用于将监测日的前T天的流量数据和压力数据作为原始流量压力数据集，剔除所述原始流量压力数据集中的异常数据，获得剔除后的流量压力数据集；

分配模块，用于通过SARIMA模型对所述剔除后的流量压力数据集进行补充，获得待分析流量压力数据集，根据不同的时刻将所述待分析流量压力数据集分为各个时刻的流量压力数据集，将所述各个时刻的流量压力数据集分为各个时刻的流量数据集和各个时刻的压力数据集；

压力监测值判断模块，用于计算所述各个时刻的压力数据集的压力标准差，通过各个时刻的压力标准差判断对应时刻的压力监测值是否异常；

流量监测值判断模块，用于通过改进优化后的卡尔曼滤波模型计算所述各个时刻的流量数据集的流量估计值，通过各个时刻的流量估计值判断对应时刻的流量监测值是否异常；

爆管诊断模块，若所述压力监测值和所述流量监测值均异常，则判断监测点数据异常，发生爆管。

Images