CN108228819A - 基于大数据平台的大坝变形预测方法 - Google Patents

Abstract

本发明提供了一种基于大数据平台的大坝变形预测方法，包括以下步骤：针对大坝变形监测的离线历史数据和实时在线数据，采用Flume‑Kafka‑Storm分布式数据采集处理机制对数据进行采集和汇总；将数据源中的数据抽取到临时中间层，对数据进行清洗和转换，然后将清洗和转换后的数据加载至HDFS分布式文件***；根据具体大坝变形预测需求，从影响大坝变形的特征集合中选取一组最有效的特征子集；基于大数据人工智能算法建立MapReduce或者Spark大数据并行计算框架之上的KNN并行化算法预测模型并对大坝变形进行预测。本发明建立基于大数据人工智能算法的大坝变形预测模型，实现大数据平台下一种新的大坝变形预测方法，提高大坝变形预测效率和精度。

Description

基于大数据平台的大坝变形预测方法

技术领域

本发明涉及大坝变形预测领域，尤其涉及一种基于大数据平台的大坝变形预测方法。

背景技术

大坝是调度水利资源时空分布、合理配置水资源重要的工程措施，也是防洪工程体系的关键组成部分，大多建造在水文、工程地质条件复杂环境中，且承受着巨大荷载。大坝安全监测是掌控大坝运行性态的重要手段，且为判断大坝安全与否的科学依据。对其进行实时监测，利用大量的变形观测资料，进行及时分析和处理，建立变形预测模型，分析评价大坝安全状态是确保大坝安全运行的重要手段。

大坝的变形监测工作是借助一些传统或现代的安全监测仪器，遵循一定的测量方法和测量技术规范，获取大坝安全性态的实时动态的数据资料，并进行分析处理、模型预测和安全评价的工作。由于大坝受诸多类似水压力、扬压力、温度、时间以及许多其他不确定性因素的影响，传统数学物理模型都是建立在一定假设的基础之上，即假定每次观测都相互独立，观测误差的数学期望为零且呈正太分布；大坝变形与影响特征呈现很强的非线性关系，使得大坝变形预测成为一种复杂的非线性动力***，传统预测模型难以描述此类复杂的非线性关系，拟合效果欠佳；预测模型泛化能力和鲁棒性也较弱。

大坝变形监测数据种类多、体量大，且数据资源蕴含丰富价值，传统的理论、方法及工具已越来越难以存储和计算如此超大规模数据集，面对当前海量、异构、多源数据，大坝变形预测方法对技术处理能力提出了更高的要求，现有数据处理以单节点计算为主，缺乏并行计算处理能力；以传统离线处理为主，缺乏实时在线处理。

发明内容

本发明的目的在于提供一种基于大数据平台的大坝变形预测方法，旨在用于解决现有的大坝变形预测方法的数据处理以单节点计算为主，缺乏并行计算处理能力，以传统离线处理为主，缺乏实时在线处理的问题。

本发明是这样实现的：

本发明提供一种基于大数据平台的大坝变形预测方法，包括以下步骤：

S1，针对大坝变形监测的离线历史数据和实时在线数据，包括结构化数据、半结构化数据和非结构化数据，采用Flume-Kafka-Storm分布式数据采集处理机制对数据进行采集和汇总；

S2，将数据源中的数据抽取到临时中间层，对数据进行清洗和转换，然后将清洗和转换后的数据加载至HDFS分布式文件***；

S3，根据具体大坝变形预测需求，从影响大坝变形的特征集合中选取一组最有效的特征子集；

S4，基于大数据人工智能算法建立MapReduce或者Spark大数据并行计算框架之上的KNN并行化算法预测模型并对大坝变形进行预测。

进一步地，所述步骤S2中对数据进行清洗和转换具体包括：对数据的解析、去重、筛选、清洗、合并、分类、转换和增强操作。

进一步地，所述步骤S2中将数据加载至HDFS分布式文件***具体包括：对于结构化数据，以文本文件形式加载至HDFS或迁移至HBase，并设置相应的一级索引和二级索引；对于非结构化数据，以二进制的方式加载至HDFS，并将其路径存储于HBase。

进一步地，所述步骤S3具体包括：对原始特征数据集通过搜索策略得到特征子集，然后通过评估准则对特征子集中的特征进行筛选，判断是否停止条件，若是则通过验证方法进行验证，若不是，则通过搜索策略继续搜索。

进一步地，所述步骤S3中最终选取的特征包括：、、、、、；

其中：为观测当日库水深；为超前个天的温度；时效因子；为观测当天至建模时段的累积天数。

进一步地，所述步骤S4中建立Spark大数据并行计算框架之上的KNN并行化算法预测模型并对大坝变形进行预测的步骤如下：

S4.1，将HDFS文件***中的样本数据读取至Spark集群，并对数据进行加载与预处理操作；

S4.2，将样本数据集分片成多份并分发至 Spark 集群中的各个计算节点；

S4.3，根据所述步骤S3中选取的一组最有效的特征子集，生成样本数据集特征集合；

S4.4，在各个计算节点中，并行计算历史数据与样本数据集特征集合间的相似度；

S4.5，将各个计算节点特征向量相似度的计算结果汇总并排序，取出与样本数据集特征集合最接近的K个近邻历史数据；

S4.6，将K个近邻历史数据的平均值或基于权重的计算值作为样本数据集的预测值。

与现有技术相比，本发明具有以下有益效果：

本发明提供的这种基于大数据平台的大坝变形预测方法，针对日益增长的大坝变形监测海量数据，建立大数据分析平台，融合各类结构化、半结构化变形监测数据，对传统预测方法进行大数据平台下的并行化设计，建立基于大数据人工智能算法的大坝变形预测模型，实现大数据平台下一种新的大坝变形预测方法，转变以往随机抽样和单一数据分析模式，建立多粒度、多层次、多渠道的分析模型对全量数据样本进行总体数据挖掘分析，提高大坝变形预测效率和精度。

附图说明

图1为本发明实施例提供的基于大数据平台的大坝变形预测方法的流程图；

图2为本发明实施例提供的特征选择算法框架图；

图3为本发明实施例提供的特征相关性矩阵图；

图4为本发明实施例提供的建立Spark大数据并行计算框架之上的KNN并行化算法预测模型并对大坝变形进行预测的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供一种基于大数据平台的大坝变形预测方法，包括以下步骤：

S1，针对大坝变形监测的离线历史数据和实时在线数据，包括结构化数据、半结构化数据和非结构化数据，采用Flume-Kafka-Storm分布式数据采集处理机制对数据进行采集和汇总。

大坝变形量受到环境量（水位、库水温、气温、降雨量）、物理量（泥沙压力、扬压力、渗流量、徐变、裂缝等）以及一些无法明确的因素影响。

影响大坝变形的特征众多，从成因上分析，混凝土大坝任意一点产生的位移主要分为水压、温度和时效三部分，其模型为：

（1）

式中：为大坝某一点的位移值（mm），、 、分别为大坝位移的压力、温度和时效分量。

因此，大坝变形监测数据包括大坝变形量的各种影响因素的监测数据以及分析得出的大坝某一点的位移值和相应的大坝位移的压力、温度和时效分量数据，通过长期的积累已经形成海量的监测数据。

S2，将数据源中的数据抽取到临时中间层，对数据进行清洗和转换，然后将清洗和转换后的数据加载至HDFS分布式文件***。

所述步骤S2为ETL过程，具体为将分散的、异构数据源中的数据如MySQL、Oracle等关系型数据、平面数据文件等抽取到临时中间层后，进行清洗和转换。其中数据清洗指的是及时发现并纠正存在于数据文件中可识别错误的方法，以维持数据的一致性，从而对数据录入后的缺失值、无效值等进行处理，去除其中不符合需求的信息。对数据进行清洗和转换具体包括：对数据的解析、去重、筛选、清洗、合并、分类、转换和增强操作。然后将清洗和转换后的数据加载至HDFS分布式文件***。

S3，根据具体大坝变形预测需求，从影响大坝变形的特征集合中选取一组最有效的特征子集。

该过程是一个从多到少逐步淘汰的过程，通过对不同特征的评价，淘汰掉分类效果不好的特征，筛选出比较好的特征。

S4，基于大数据人工智能算法建立MapReduce或者Spark大数据并行计算框架之上的KNN并行化算法预测模型并对大坝变形进行预测。

通过大数据分析平台和KNN并行化算法，建立大数据平台下的大坝变形预测模型，实现数据资源集成共享、知识发现、业务的高效处理，将大数据技术应用到大坝安全监测。

本发明提供的这种基于大数据平台的大坝变形预测方法，针对日益增长的大坝变形监测海量数据，建立大数据分析平台，融合各类结构化、半结构化变形监测数据，对传统预测方法进行大数据平台下的并行化设计，建立基于大数据人工智能算法的大坝变形预测模型，实现大数据平台下一种新的大坝变形预测方法，转变以往随机抽样和单一数据分析模式，建立多粒度、多层次、多渠道的分析模型对全量数据样本进行总体数据挖掘分析，提高大坝变形预测效率和精度。

优选地，所述步骤S2中将数据加载至HDFS分布式文件***具体包括：对于结构化数据，以文本文件形式加载至HDFS或迁移至HBase，并设置相应的一级索引和二级索引；对于非结构化数据，以二进制的方式加载至HDFS，并将其路径存储于HBase。

优选地，如图2所示，所述步骤S3具体包括：对原始特征数据集通过搜索策略得到特征子集，然后通过评估准则对特征子集中的特征进行筛选，判断是否停止条件，若是则通过验证方法进行验证，若不是，则通过搜索策略继续搜索。通过该方法可以逐步淘汰掉分类效果不好的特征，筛选出比较好的特征。

如图3所示，本发明依据特征列与目标列之间的统计信息，选用相关性分析方法，从原始特征集合中选择与目标变量具有较强相关性的特征。通过了解大坝变形过程和大坝位移的生成机制，结合相关背景知识，针对影响大坝变形的特征作出初步定性分析后，采用R语言绘制相关性矩阵图，计算相关系数进行显著性检验等定量分析，选择与目标变量相关性较强的特征。

根据工程经验可知，大坝变形具有按季节、年周期变化的特征。数据样本特征的选择，基于不同的实际现状，可以有不同的选择。本发明根据相关性分析结果，以及结合工程力学和坝工学相关理论，最终确定影响大坝变形的6个特征包括：：、、、、、；

其中：为观测当日库水深；为超前个天的温度；时效因子；为观测当天至建模时段的累积天数。

本发明针对单节点环境下处理海量数据时的计算性能低、扩展性能差等问题，设计Spark大数据并行计算框架之上的KNN算法（K-NearestNeighbor，k最近邻算法）并行化大坝变形预测模型。

优选地，如图4所示，所述步骤S4中建立Spark大数据并行计算框架之上的KNN并行化算法预测模型并对大坝变形进行预测的步骤如下：

S4.1，将HDFS文件***中的样本数据读取至Spark集群，并对数据进行加载与预处理操作；

S4.2，将样本数据集分片成多份并分发至 Spark 集群中的各个计算节点；

S4.3，根据所述步骤S3中选取的一组最有效的特征子集，生成样本数据集特征集合；

S4.4，在各个计算节点中，并行计算历史数据与样本数据集特征集合间的相似度；

S4.5，将各个计算节点特征向量相似度的计算结果汇总并排序，取出与样本数据集特征集合最接近的K个近邻历史数据；

S4.6，将K个近邻历史数据的平均值或基于权重的计算值作为样本数据集的预测值。

此外，还可以建立MapReduce大数据并行计算框架之上的KNN并行化算法预测模型并对大坝变形进行预测，步骤与以上步骤是相类似的。

大数据平台上的KNN算法并行化预测模型建立后，可以采用以下指标来评价KNN大坝变形预测模型的精度：

（1）平均绝对误差（Mean Absolute Error，MAE）

（2）

（2）平均相对误差（Mean Relative Error，MRE）

（3）

（3）均方百分比误差（Mean Square Percent Error，MSPE）

（4）

（4）均等系数（Equal Coefficient，EC）

（5）

其中，表示大坝位移量实测值，表示预测值，表示样本数量；

根据以上计算的指标判断大坝变形预测模型的预测效果，MAE 表示预测值与实际值偏差的绝对值的平均值，值越小说明模型的预测效果越好；MRE 表示预测值与实际值的偏离程度，值越小说明模型的预测效果越好；MSPE表示误差的分布情况，值越小说明模型的预测效果越好；EC 表示预测值与实际值的拟合程度，若 EC>0.9，说明模型的预测效果较好。

通过上述评价方法，可以对Spark大数据并行计算框架之上的KNN并行化算法预测模型的预测效果和精度进行评价，方便对预测模型及时进行改进。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于大数据平台的大坝变形预测方法，其特征在于：包括以下步骤：

S1，针对大坝变形监测的离线历史数据和实时在线数据，包括结构化数据、半结构化数据和非结构化数据，采用Flume-Kafka-Storm分布式数据采集处理机制对数据进行采集和汇总；

S2，将数据源中的数据抽取到临时中间层，对数据进行清洗和转换，然后将清洗和转换后的数据加载至HDFS分布式文件***；

S3，根据具体大坝变形预测需求，从影响大坝变形的特征集合中选取一组最有效的特征子集；

S4，基于大数据人工智能算法建立MapReduce或者Spark大数据并行计算框架之上的KNN并行化算法预测模型并对大坝变形进行预测。

2.如权利要求1所述的基于大数据平台的大坝变形预测方法，其特征在于：

所述步骤S2中对数据进行清洗和转换具体包括：对数据的解析、去重、筛选、清洗、合并、分类、转换和增强操作。

3.如权利要求1所述的基于大数据平台的大坝变形预测方法，其特征在于：

所述步骤S2中将数据加载至HDFS分布式文件***具体包括：对于结构化数据，以文本文件形式加载至HDFS或迁移至HBase，并设置相应的一级索引和二级索引；对于非结构化数据，以二进制的方式加载至HDFS，并将其路径存储于HBase。

4.如权利要求1所述的基于大数据平台的大坝变形预测方法，其特征在于：

所述步骤S3具体包括：对原始特征数据集通过搜索策略得到特征子集，然后通过评估准则对特征子集中的特征进行筛选，判断是否停止条件，若是则通过验证方法进行验证，若不是，则通过搜索策略继续搜索。

5.如权利要求1所述的基于大数据平台的大坝变形预测方法，其特征在于：

所述步骤S3中最终选取的特征包括：、、、、、；

其中：为观测当日库水深；为超前个天的温度；时效因子；为观测当天至建模时段的累积天数。

6.如权利要求1所述的基于大数据平台的大坝变形预测方法，其特征在于：

所述步骤S4中建立Spark大数据并行计算框架之上的KNN并行化算法预测模型并对大坝变形进行预测的步骤如下：

S4.1，将HDFS文件***中的样本数据读取至Spark集群，并对数据进行加载与预处理操作；

S4.2，将样本数据集分片成多份并分发至 Spark 集群中的各个计算节点；

S4.3，根据所述步骤S3中选取的一组最有效的特征子集，生成样本数据集特征集合；

S4.4，在各个计算节点中，并行计算历史数据与样本数据集特征集合间的相似度；

S4.5，将各个计算节点特征向量相似度的计算结果汇总并排序，取出与样本数据集特征集合最接近的K个近邻历史数据；

S4.6，将K个近邻历史数据的平均值或基于权重的计算值作为样本数据集的预测值。