CN117997353B - 一种水利工程水位数据处理方法 - Google Patents

Abstract

本发明涉及数据处理技术领域，具体涉及一种水利工程水位数据处理方法，包括：获取所有水位数据，对所有水位数据分类处理得到多个水位数据集合；计算每个水位数据集合的异常程度，根据异常程度得到压缩水位数据集合；计算每个压缩水位数据集合的压缩权重，获取每个压缩水位数据集合的取值范围，根据压缩权重和取值范围得到每个压缩水位数据集合的调整后取值范围；根据调整后取值范围得到每个压缩水位数据集合的最佳压缩值；根据最佳压缩值进行压缩存储处理。从而有效节约存储成本。

Description

一种水利工程水位数据处理方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种水利工程水位数据处理方法。

背景技术

水位数据变化的监测以及管理对于水库运营以及水资源管理具有重要意义。通过监测水位变化，可以了解水库储水量的变化情况，根据实时需求合理调整水库的蓄水方案，确保供水的稳定性和灵活性。同时实时地监测和管理水库内水位变化可以提高水库的运行效率，确保水库的安全稳定运营，并且最大程度地满足人们的用水需求。

现有的对大规模水位数据的存储方法一般都使用时间序列数据库，将水位的完整数据进行无损存储。但其存在需要大量的存储空间，成本较高，且查询的灵活性会受到限制的缺点，因此本方案对于特定水位数据进行有损压缩，在不改变水位数据的变化趋势及特征的情况下提高存储效率，节省存储空间，从而达到对水位数据高效的管理。

发明内容

本发明提供一种水利工程水位数据处理方法，以解决现有的问题：如何保障水位数据的变化特征的同时还能够降低水位数据的存储量。

本发明的一种水利工程水位数据处理方法采用如下技术方案：

本发明一个实施例提供了一种水利工程水位数据处理方法，该方法包括以下步骤：

获取所有水位数据，对所有水位数据分类处理得到多个水位数据集合；

计算每个水位数据集合的异常程度，根据异常程度得到压缩水位数据集合；

计算每个压缩水位数据集合的压缩权重，获取每个压缩水位数据集合的取值范围，根据压缩权重和取值范围得到每个压缩水位数据集合的调整后取值范围；

根据调整后取值范围得到每个压缩水位数据集合的最佳压缩值；

根据最佳压缩值进行压缩存储处理。

优选的，所述对所有水位数据分类处理得到多个水位数据集合，包括的具体方法为：

利用区域生长法对所有水位数据进行处理，将属于一个区域的所有水位数据构成水位数据集合，得到多个水位数据集合。

优选的，所述计算每个水位数据集合的异常程度，包括的具体方法为：

根据水位数据集合中所有水位数据的均值以及水位数据集合中所有水位数据的标准差，获得水位数据集合的第一参数；

将第i个水位数据集合中水位数据的数据量与所有水位数据集合中水位数据的数据量的比值，记为第i个水位数据集合的第一比值，将/>记为第i个水位数据集合的第二参数；

将第i个水位数据集合的第一参数和第二参数的比值，记为第i个水位数据集合的异常程度，其中表示以自然常数为底的指数函数。

优选的，所述根据水位数据集合中所有水位数据的均值以及水位数据集合中所有水位数据的标准差，获得水位数据集合的第一参数，包括的具体方法为：

将第i个水位数据集合中所有水位数据的均值与所有水位数据集合中所有水位数据的均值的比值，记为第i个水位数据集合的第二比值；

将第i个水位数据集合中所有水位数据的标准差与第i个水位数据集合中所有水位数据的均值的比值，记为第i个水位数据集合的第三比值；

将记为第i个水位数据集合的第一参数，其中/>表示获取绝对值。

优选的，所述根据异常程度得到压缩水位数据集合，包括的具体方法为：

将异常程度小于预设异常程度阈值Y1的水位数据集合作为压缩水位数据集合。

优选的，所述计算每个压缩水位数据集合的压缩权重，包括的具体方法为：

其中，表示第i个压缩水位数据集合的压缩权重，/>表示所有压缩水位数据集合的异常程度最小值，/>表示所有压缩水位数据集合的异常程度最大值，/>表示第i个压缩水位数据集合中最大水位数据与最小水位数据的差值，/>表示第i个水位数据集合的异常程度。

优选的，所述获取每个压缩水位数据集合的取值范围，包括的具体方法为：

获取每个压缩水位数据集合中最大水位数据和最小水位数据，将最小水位数据和最大水位数据构成每个压缩水位数据集合的取值范围。

优选的，所述根据压缩权重和取值范围得到每个压缩水位数据集合的调整后取值范围，包括的具体方法为：

其中，表示第i个压缩水位数据集合的取值范围的上限值，/>表示第i个压缩水位数据集合的取值范围的下限值，/>表示第i个压缩水位数据集合的调整后取值范围的上限值，/>表示第i个压缩水位数据集合的调整后取值范围的下限值，/>表示向下取整符号，/>表示第i个压缩水位数据集合的压缩权。

优选的，所述根据调整后取值范围得到每个压缩水位数据集合的最佳压缩值，包括的具体方法为：

对于每个压缩水位数据集合，将调整后取值范围内的任意一个整数记为目标值，将压缩水位数据集合中每个水位数据与目标值的差值绝对值作为每个水位数据与目标值的第一差值，将所有水位数据与目标值的第一差值的累加和与压缩水位数据集合中所有水位数据的方差的比值作为目标值的损失值，在调整后取值范围内所有整数中获取损失值最小的整数作为每个压缩水位数据集合的最佳压缩值。

优选的，所述根据最佳压缩值进行压缩存储，包括的具体方法为：

每个压缩数位数据集合只存最佳压缩值，对于其他水位数据集合，需存水位数据集合中每个水位数据。

本发明的技术方案的有益效果是：获取所有水位数据，对所有水位数据分类处理得到多个水位数据集合；计算每个水位数据集合的异常程度，根据异常程度得到压缩水位数据集合；压缩水位数据集合中存在正常的水位数据，从而后续只对正常水位数据进行有损压缩，保留异常的水位数据，防止数据压缩将异常的水位数据的信息损失，影响后续的水位分析。计算每个压缩水位数据集合的压缩权重，获取每个压缩水位数据集合的取值范围，根据压缩权重和取值范围得到每个压缩水位数据集合的调整后取值范围；根据调整后取值范围得到每个压缩水位数据集合的最佳压缩值；最佳压缩值为损失量最小的压缩值，通过该值对水位数据进行压缩，能够降低压缩损失。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种水利工程水位数据处理方法的步骤流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种水利工程水位数据处理方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种水利工程水位数据处理方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种水利工程水位数据处理方法的步骤流程图，该方法包括以下步骤：

步骤S001：获取水位数据区域。

需要说明的是，为了防止水位异常引发的自然灾害，需对水库中的水位进行实时检测，而实时检测过程中会采集大量的水位数据，这些水位数据对研究自然灾害等方面具有重要作用，因而需对实时采集的水位数据进行存储，需要较大的存储空间才能将实时采集的水位数据存储下，为了节约存储空间，需对采集的水位数据进行压缩处理。

具体的，为了实现本实施例提出的一种水利工程水位数据处理方法，首先需要获取水库的所有水位数据。利用区域生长法对所有水位数据进行处理，将属于一个区域的所有水位数据构成水位数据集合，得到多个水位数据集合。

至此，通过上述方法得到多个水位数据集合。

步骤S002：计算每个水位数据集合的异常程度，根据异常程度得到压缩水位数据集合。

需要说明的是，一般水位数据波动较大时，水位数据为异常数据的可能性较大，而异常水位数据一般对自然灾害研究等方面具有重要作用，因而应该不对异常水位数据进行压缩处理，防止压缩会导致异常数据特征丢失。因而需根据数据的波动情况来筛选出需要压缩的数据集合。

具体的，获取每个水位数据集合的异常程度的方法为：

其中，表示第i个水位数据集合的异常程度，/>表示第i个水位数据集合中所有水位数据的标准差，/>表示第i个水位数据集合中所有水位数据的均值，/>表示所有水位数据集合中所有水位数据的均值，/>表示第i个水位数据集合中水位数据的数据量，/>表示所有水位数据集合中水位数据的数据量。

反映了第i个水位数据集合中水位数据均值与所有水位数据均值的偏离程度，该值越大则代表了第i个水位数据集合中水位数据越偏离整体水位数据，即该水位数据集合中的水位数据越有可能为异常的水位数据。 />反映了第i个水位数据集合的变异系数，用来度量数据波动的幅度，其值越大表示该水位数据集合中数据波动幅度越大，数据越离散，则该水位数据集合中的水位数据越有可能是异常水位数据。/>反映了第i个水位数据集合中数据量与整体数据量的占比，该集合中数据量越大即比值越大，表示该水位数据集合中水位数据越有可能是正常的水位数据，/>表示以自然常数为底的指数函数。

进一步的，将异常程度小于预设异常程度阈值Y1的水位数据集合作为压缩水位数据集合，本实施例以Y1取0.6为例进行叙述，其他实施例可以取其他值，本实施例不进行具体限制。

步骤S003：计算每个压缩水位数据集合的压缩权重，根据压缩权重对每个压缩水位数据集合的取值范围进行调整得到每个压缩水位数据集合的调整后取值范围，根据调整后取值范围得到每个压缩水位数据集合的最佳压缩值。

需要说明的是，上述过程中得到压缩水位数据集合，下面需对压缩水位数据集合中水位数据进行压缩处理。通过区域生长法得到的每个水位数据集合的水位数据之间的差异较小，并且通过上述过程筛选出的压缩水位数据集合中水位数据的波动量较小。因而压缩水位数据集合处于波动中心处的水位数据与其他水位数据的差异较小，因而可以将压缩水位数据集合中选取波动中心处的水位数据作为每个压缩水位数据集合的压缩后数据，从而实现数据压缩。

具体的，根据每个压缩数位数据集合的异常程度得到每个压缩水位数据集合的压缩权重的方法为：

其中，表示第i个压缩水位数据集合的压缩权重，/>表示所有压缩水位数据集合的异常程度最小值，/>表示所有压缩水位数据集合的异常程度最大值，/>表示第i个压缩水位数据集合中最大水位数据与最小水位数据的差值，/>反映了第i个压缩水位数据集合的异常程度的影响因子，该值越大说明该压缩水位数据集合内数据更离散，则调整该压缩水位数据集合取值范围的压缩权重应该越大。/>反映了第i个压缩水位数据集合的波动程度的影响因子，该值越大说明该压缩水位数据集合内数据极差值越大，则调整该压缩水位数据集合取值范围的压缩权重应该越大。

进一步的，获取每个压缩水位数据集合中最大水位数据和最小水位数据，将最小水位数据和最大水位数据构成每个压缩水位数据集合的取值范围。

获取每个压缩水位数据集合的调整后取值范围的方法为：

其中，表示第i个压缩水位数据集合的取值范围的上限值，也是第i个压缩水位数据集合的最小水位数据，/>表示第i个压缩水位数据集合的取值范围的下限值，也是第i个压缩水位数据集合的最大水位数据，/>表示第i个压缩水位数据集合的调整后取值范围的上限值，/>表示第i个压缩水位数据集合的调整后取值范围的下限值，/>表示第i个压缩水位数据集合的调整后取值范围，/>表示向下取整符号。权值越大则取值下限提升程度越小，权值越大则取值上限下降程度越小。整体来说即权值越大，压缩值的取值范围缩减程度越小，反之越大。因此通过此方法达到对某一压缩区域获得独特压缩值范围的目的。

进一步的，获取每个压缩水位数据集合的最佳压缩值的方法为：

对于每个压缩水位数据集合，将调整后取值范围内的任意一个整数记为目标值，将压缩水位数据集合中每个水位数据与目标值的差值绝对值作为每个水位数据与目标值的第一差值，将所有水位数据与目标值的第一差值的累加和与压缩水位数据集合中所有水位数据的方差的比值作为目标值的损失值。在调整后取值范围内所有整数中获取损失值最小的整数作为每个压缩水位数据集合的最佳压缩值。

步骤S004：根据每个压缩水位数据集合的最佳压缩值进行压缩存储。

具体的，每个压缩数位数据集合只存最佳压缩值，对于其他水位数据集合，需村水位数据集合中每个水位数据。

至此，本实施例完成。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种水利工程水位数据处理方法，其特征在于，该方法包括以下步骤：

获取所有水位数据，对所有水位数据分类处理得到多个水位数据集合；

计算每个水位数据集合的异常程度，根据异常程度得到压缩水位数据集合；

所述计算每个水位数据集合的异常程度，包括的具体方法为：

其中，表示第i个水位数据集合的异常程度，/>表示第i个水位数据集合中所有水位数据的标准差，/>表示第i个水位数据集合中所有水位数据的均值，/>表示所有水位数据集合中所有水位数据的均值，/>表示第i个水位数据集合中水位数据的数据量，/>表示所有水位数据集合中水位数据的数据量；

所述根据异常程度得到压缩水位数据集合，包括的具体方法为：

将异常程度小于预设异常程度阈值Y1的水位数据集合作为压缩水位数据集合；

计算每个压缩水位数据集合的压缩权重，获取每个压缩水位数据集合的取值范围，根据压缩权重和取值范围得到每个压缩水位数据集合的调整后取值范围；

所述计算每个压缩水位数据集合的压缩权重，包括的具体方法为：

其中，表示第i个压缩水位数据集合的压缩权重，/>表示所有压缩水位数据集合的异常程度最小值，/>表示所有压缩水位数据集合的异常程度最大值，/>表示第i个压缩水位数据集合中最大水位数据与最小水位数据的差值；

所述根据压缩权重和取值范围得到每个压缩水位数据集合的调整后取值范围，包括的具体方法为：

其中，表示第i个压缩水位数据集合的取值范围的上限值，/>表示第i个压缩水位数据集合的取值范围的下限值，/>表示第i个压缩水位数据集合的调整后取值范围的上限值，/>表示第i个压缩水位数据集合的调整后取值范围的下限值，/>表示向下取整符号；

根据调整后取值范围得到每个压缩水位数据集合的最佳压缩值；

所述根据调整后取值范围得到每个压缩水位数据集合的最佳压缩值，包括的具体方法为：

对于每个压缩水位数据集合，将调整后取值范围内的任意一个整数记为目标值，将压缩水位数据集合中每个水位数据与目标值的差值绝对值作为每个水位数据与目标值的第一差值，将所有水位数据与目标值的第一差值的累加和与压缩水位数据集合中所有水位数据的方差的比值作为目标值的损失值，在调整后取值范围内所有整数中获取损失值最小的整数作为每个压缩水位数据集合的最佳压缩值；

根据最佳压缩值进行压缩存储处理。

2.根据权利要求1所述一种水利工程水位数据处理方法，其特征在于，所述对所有水位数据分类处理得到多个水位数据集合，包括的具体方法为：

利用区域生长法对所有水位数据进行处理，将属于一个区域的所有水位数据构成水位数据集合，得到多个水位数据集合。

3.根据权利要求1所述一种水利工程水位数据处理方法，其特征在于，所述获取每个压缩水位数据集合的取值范围，包括的具体方法为：

获取每个压缩水位数据集合中最大水位数据和最小水位数据，将最小水位数据和最大水位数据构成每个压缩水位数据集合的取值范围。

4.根据权利要求1所述一种水利工程水位数据处理方法，其特征在于，所述根据最佳压缩值进行压缩存储，包括的具体方法为：

每个压缩数位数据集合只存最佳压缩值，对于其他水位数据集合，需存水位数据集合中每个水位数据。