CN112925673A - 一种用于电力监控的大数据存储管理方法和*** - Google Patents

Abstract

本发明提出了一种用于电力监控的大数据存储管理方法和***，所述方法包括：数据管理终端实时接收电力监控***发送的电力监控数据，并将电力监控***获取的电力监控数据，以数据类型为标准进行分类存储；实时监控每一类数据类型对应的数据存储量，并判断数据存储量是否达到预设的存储量阈值；当数据存储量超过预设的存储量阈值时，数据管理终端指示超出存储量阈值的数据类型对应的数据中，涉及数据调取及应用的单位部门终端进行数据备份处理；向数据管理终端调取需要进行备份的数据，将需要备份的数据进行整理备份，并在数据完成备份后，向数据管理终端发送备份完成回执；对已完成备份的数据予以删除。所述***包括与所述方法步骤对应的模块。

Description

一种用于电力监控的大数据存储管理方法和***

技术领域

本发明提出了一种用于电力监控的大数据存储管理方法和***，属于数据管理技术领域。

背景技术

电力监控***以计算机、通讯设备、测控单元为基本工具，为变配电***的实时数据采集、开关状态检测及远程控制提供了基础平台，它可以和检测、控制设备构成任意复杂的监控***，在变配电监控中发挥了核心作用，可以帮助企业消除孤岛、降低运作成本，提高生产效率，加快变配电过程中异常的反应速度。现有电力监控***由于产生的数据量越来越大，常出现电力监控***的大数据存储存在资源不足的问题。

发明内容

本发明提供了一种用于电力监控的大数据存储管理方法，用以解决现有大数据电力监控***的大数据存储量不足的问题：

一种用于电力监控的大数据存储管理方法，所述方法包括：

数据管理终端实时接收电力监控***发送的电力监控数据，并将电力监控***获取的电力监控数据，以数据类型为标准进行分类存储；

实时监控每一类数据类型对应的数据存储量，并判断所述数据存储量是否达到预设的存储量阈值；

当所述数据存储量超过预设的存储量阈值时，数据管理终端指示超出所述存储量阈值的数据类型对应的数据中，涉及数据调取及应用的单位部门终端进行数据备份处理；

所述单位部门终端在接收到数据管理终端进行备份数据的指示后，向所述数据管理终端调取需要进行备份的数据，将需要备份的数据进行整理备份，并在数据完成备份后，向数据管理终端发送备份完成回执；

当所述数据管理终端接收到超出所述存储量阈值的数据类型对应的数据中涉及的所有单位部门终端的回执之后，对已完成备份的数据予以删除。

进一步地，所述数据管理终端实时接收电力监控***发送的电力监控数据，并将电力监控***获取的电力监控数据，以数据类型为标准进行分类存储，包括：

数据管理终端在接收到所述电力监控***发送的电力监控数据时，将数据接收时间标记在电力监控数据中，并确定电力监控数据类型；

将电力监控数据以数据类型为标准依次存储至所述数据类型对应的数据存储区域。

进一步地，所述当所述数据存储量超过预设的存储量阈值时，数据管理终端指示超出所述存储量阈值的数据类型对应的数据中，涉及数据调取及应用的单位部门终端进行数据备份处理，包括：

当所述数据存储量超过预设的存储量阈值时，数据管理终端根据当前超出所述存储量阈值的数据类型对应的数据存储量确定需要备份的备份数据量；

根据需要备份的数据量按照存储是时间由先到后的顺序依次扫描当前超出所述存储量阈值的数据类型对应的数据存储区域中的电力监控该数据，并在扫描过程中计算扫描过的电力监控数据对应的扫描数据量；当所述扫描数据量与所述备份数据量相等时，获取当前电力监控数据中标记的数据接收时间，并将所述数据接收时间对应的未被扫描到的所有电力监控数据和已被扫描的数据一并标记为待备份数据；

确定所述待备份数据中对应的数据调取及应用的单位部门终端，并将所述数据接收时间对应的时间点、数据备份规定时间以及数据备份提示发送至各所述单位部门终端；

如果所述单位部门终端没有在所述数据备份规定时间内发送备份完成回执，则所述数据管理终端再次向单位部门终端发出数据备份提示，并重新设置数据备份规定时间；

如果所述单位部门终端在重新设置的数据备份规定时间内仍然没有发送备份完成回执，则所述数据管理终端直接控制所述单位部门终端进行单位部门终端的被动数据备份。

进一步地，所述重新设置数据备份规定时间的具体过程包括：

扫描单位部门终端的数据备份状态，如果所述单位部门终端处于数据备份状态，则通过如下公式重新设置数据备份规定时间：

其中，T₁表示所述单位部门终端处于数据备份状态时，重新设置后的数据备份规定时间；C_s表示尚未完成数据备份的电力监控数据对应的数据量；C_w表示已完成数据备份的电力监控数据对应的数据量，T_i表示所述单位部门终端在第i次进行数据备份时所消耗的数据备份时间；n表示所述单位部门终端目前已完成的主动进行数据备份次数，即所述单位部门终端目前已完成的主动进行数据备份次数中不包含被动进行数据备份的次数；T₀表示所述单位部门终端当前进行数据备份已消耗的数据备份时间；v表示所述单位部门终端当前为止数据上传至网盘的数据上传平均速度；

如果单位部门终端没有处于数据备份状态，则通过如下公式重新设置数据备份规定时间：

其中，T₂表示所述单位部门终端没有处于数据备份状态时，重新设置后的数据备份规定时间；C表示所述单位部门终端当前所要进行备份数据对应的数据总量；C_i表示所述单位部门终端第i次进行数据备份对应的数据总量；m表示所述单位部门终端目前已完成的数据备份总次数；k表示所述单位部门终端进行数据备份规定时间重新设置的次数；T_j表示所述单位部门终端进行第j次进行数据备份规定时间重新设置时，对应的重新设置后的规定时间；V_l表示所述单位部门终端第l次进行数据备份时对应的数据上传至网盘的平均上传速度；V_lmax表示所述单位部门终端在m次数据备份过程中，进行数据备份时对应的数据上传至网盘的最大平均上传速度；V_lmin表示所述单位部门终端在m次数据备份过程中，进行数据备份时对应的数据上传至网盘的最小平均上传速度；T_l表示所述单位部门终端第l次进行数据备份时，从接收到数据管理总端发送的数据备份指示至完成数据备份所消耗的总时间；α表示时间调整系数，α取值范围为0.38-0.51。

进一步地，所述如果所述单位部门终端在重新设置的数据备份规定时间内仍然没有发送备份完成回执，则所述数据管理终端直接控制所述单位部门终端进行单位部门终端的被动数据备份，包括：

如果所述单位部门终端在重新设置的数据备份规定时间内仍然没有发送备份完成回执，则所述数据管理终端对所述单位部门终端进行扫描，确定单位部门终端的是否处于数据备份状态；

当所述单位部门终端处于数据备份状态时，实时监控单位部门终端的数据备份进度，并在所述单位部门终端完成数据备份之后，立即生成与所述单位部门终端对应的数据备份完成记录单，并标记所述单位部门终端已完成数据备份；当所述单位部门终端内部在数据备份完后，生成对应的备份完成回执并将所述备份完成回执发送至数据管理终端时，所述数据管理终端将所述备份完成回执对所述记录单进行替换；

当所述单位部门终端没有处于数据备份状态时，则启动所述单位部门终端对应的网盘***，并将所述单位部门终端对应的调取或应用的电力监控数据发送至单位部门终端，并上传至网盘备份直至数据备份完成；生成与所述单位部门终端对应的数据备份完成记录单，并标记所述单位部门终端已完成数据备份；

所述数据管理终端将当前进行被动数据备份的单位部门终端进行标记，并将当前单位部门终端未主动进行数据备份处理的情况上报至与单位部门终端对应的上级管理部门。

一种用于电力监控的大数据存储管理***，所述***包括：

接收存储模块，用于数据管理终端实时接收电力监控***发送的电力监控数据，并将电力监控***获取的电力监控数据，以数据类型为标准进行分类存储；

监控判断模块，用于实时监控每一类数据类型对应的数据存储量，并判断所述数据存储量是否达到预设的存储量阈值；

指示模块，用于当所述数据存储量超过预设的存储量阈值时，数据管理终端指示超出所述存储量阈值的数据类型对应的数据中，涉及数据调取及应用的单位部门终端进行数据备份处理；

调取模块，用于所述单位部门终端在接收到数据管理终端进行备份数据的指示后，向所述数据管理终端调取需要进行备份的数据，将需要备份的数据进行整理备份，并在数据完成备份后，向数据管理终端发送备份完成回执；

删除模块，用于当所述数据管理终端接收到超出所述存储量阈值的数据类型对应的数据中涉及的所有单位部门终端的回执之后，对已完成备份的数据予以删除。

进一步地，所述接收存储模块包括：

标记模块，用于数据管理终端在接收到所述电力监控***发送的电力监控数据时，将数据接收时间标记在电力监控数据中，并确定电力监控数据类型；

存储模块，用于将电力监控数据以数据类型为标准依次存储至所述数据类型对应的数据存储区域。

进一步地，所述指示模块包括：

备份模块，用于当所述数据存储量超过预设的存储量阈值时，数据管理终端根据当前超出所述存储量阈值的数据类型对应的数据存储量确定需要备份的备份数据量；

扫描模块，用于根据需要备份的数据量按照存储是时间由先到后的顺序依次扫描当前超出所述存储量阈值的数据类型对应的数据存储区域中的电力监控该数据，并在扫描过程中计算扫描过的电力监控数据对应的扫描数据量；当所述扫描数据量与所述备份数据量相等时，获取当前电力监控数据中标记的数据接收时间，并将所述数据接收时间对应的未被扫描到的所有电力监控数据和已被扫描的数据一并标记为待备份数据；

确定模块，用于确定所述待备份数据中对应的数据调取及应用的单位部门终端，并将所述数据接收时间对应的时间点、数据备份规定时间以及数据备份提示发送至各所述单位部门终端；

重设模块，用于如果所述单位部门终端没有在所述数据备份规定时间内发送备份完成回执，则所述数据管理终端再次向单位部门终端发出数据备份提示，并重新设置数据备份规定时间；

被动控制模块，用于如果所述单位部门终端在重新设置的数据备份规定时间内仍然没有发送备份完成回执，则所述数据管理终端直接控制所述单位部门终端进行单位部门终端的被动数据备份。

进一步地，所述重设模块包括：

时间重设模块一，用于扫描单位部门终端的数据备份状态，如果所述单位部门终端处于数据备份状态，则通过如下公式重新设置数据备份规定时间：

其中，T₁表示所述单位部门终端处于数据备份状态时，重新设置后的数据备份规定时间；C_s表示尚未完成数据备份的电力监控数据对应的数据量；C_w表示已完成数据备份的电力监控数据对应的数据量，T_i表示所述单位部门终端在第i次进行数据备份时所消耗的数据备份时间；n表示所述单位部门终端目前已完成的主动进行数据备份次数，即所述单位部门终端目前已完成的主动进行数据备份次数中不包含被动进行数据备份的次数；T₀表示所述单位部门终端当前进行数据备份已消耗的数据备份时间；v表示所述单位部门终端当前为止数据上传至网盘的数据上传平均速度；

时间重设模块二，用于如果单位部门终端没有处于数据备份状态，则通过如下公式重新设置数据备份规定时间：

其中，T₂表示所述单位部门终端没有处于数据备份状态时，重新设置后的数据备份规定时间；C表示所述单位部门终端当前所要进行备份数据对应的数据总量；C_i表示所述单位部门终端第i次进行数据备份对应的数据总量；m表示所述单位部门终端目前已完成的数据备份总次数；k表示所述单位部门终端进行数据备份规定时间重新设置的次数；T_j表示所述单位部门终端进行第j次进行数据备份规定时间重新设置时，对应的重新设置后的规定时间；V_l表示所述单位部门终端第l次进行数据备份时对应的数据上传至网盘的平均上传速度；V_lmax表示所述单位部门终端在m次数据备份过程中，进行数据备份时对应的数据上传至网盘的最大平均上传速度；V_lmin表示所述单位部门终端在m次数据备份过程中，进行数据备份时对应的数据上传至网盘的最小平均上传速度；T_l表示所述单位部门终端第l次进行数据备份时，从接收到数据管理总端发送的数据备份指示至完成数据备份所消耗的总时间；α表示时间调整系数，α取值范围为0.38-0.51。

进一步地，所述被动控制模块包括：

终端扫描模块，用于如果所述单位部门终端在重新设置的数据备份规定时间内仍然没有发送备份完成回执，则所述数据管理终端对所述单位部门终端进行扫描，确定单位部门终端的是否处于数据备份状态；

实时监控模块，用于当所述单位部门终端处于数据备份状态时，实时监控单位部门终端的数据备份进度，并在所述单位部门终端完成数据备份之后，立即生成与所述单位部门终端对应的数据备份完成记录单，并标记所述单位部门终端已完成数据备份；当所述单位部门终端内部在数据备份完后，生成对应的备份完成回执并将所述备份完成回执发送至数据管理终端时，所述数据管理终端将所述备份完成回执对所述记录单进行替换；

启动模块，用于当所述单位部门终端没有处于数据备份状态时，则启动所述单位部门终端对应的网盘***，并将所述单位部门终端对应的调取或应用的电力监控数据发送至单位部门终端，并上传至网盘备份直至数据备份完成；生成与所述单位部门终端对应的数据备份完成记录单，并标记所述单位部门终端已完成数据备份；

上报模块，用于所述数据管理终端将当前进行被动数据备份的单位部门终端进行标记，并将当前单位部门终端未主动进行数据备份处理的情况上报至与单位部门终端对应的上级管理部门。

本发明有益效果：

本发明提出的一种用于电力监控的大数据存储管理方法和***，能够有效解决电力监控***的大数据存储量不足的问题。本发明提出的方用于电力监控的大数据存储管理方法和***，通过在下级单位部门终端处设置网盘云存储区域的方式，分担总数据存储超量时的历史电力监控数据的存储任务；防止数据管理终端因为总数据的存储量过大，导致数据存储饱和，进而造成管理运行效率和速度降低的问题发生。同时，通过将历史数据存储权限下放至于电力监控数据应用对应的单位部门终端，能够在增大数据存储区域的同时，由于是本地数据调用，能够有效提高后续对应的单位部门终端对所用历史电力监控数据应用的调用速度和效率，进而提高单位部门终端部分业务运行操作的便利性和处理效率。

附图说明

图1为本发明所述方法的流程图；

图2为本发明所述***的结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明实施例提出一种用于电力监控的大数据存储管理方法，如图1所示，所述方法包括：

S1、数据管理终端实时接收电力监控***发送的电力监控数据，并将电力监控***获取的电力监控数据，以数据类型为标准进行分类存储；

S2、实时监控每一类数据类型对应的数据存储量，并判断所述数据存储量是否达到预设的存储量阈值；

S3、当所述数据存储量超过预设的存储量阈值时，数据管理终端指示超出所述存储量阈值的数据类型对应的数据中，涉及数据调取及应用的单位部门终端进行数据备份处理；

S4、所述单位部门终端在接收到数据管理终端进行备份数据的指示后，向所述数据管理终端调取需要进行备份的数据，将需要备份的数据进行整理备份，并在数据完成备份后，向数据管理终端发送备份完成回执；

S5、当所述数据管理终端接收到超出所述存储量阈值的数据类型对应的数据中涉及的所有单位部门终端的回执之后，对已完成备份的数据予以删除。

上述技术方案的效果：能够有效解决电力监控***的大数据存储量不足的问题。本发明提出的方用于电力监控的大数据存储管理方法和***，通过在下级单位部门终端处设置网盘云存储区域的方式，分担总数据存储超量时的历史电力监控数据的存储任务；防止数据管理终端因为总数据的存储量过大，导致数据存储饱和，进而造成管理运行效率和速度降低的问题发生。同时，通过将历史数据存储权限下放至于电力监控数据应用对应的单位部门终端，能够在增大数据存储区域的同时，由于是本地数据调用，能够有效提高后续对应的单位部门终端对所用历史电力监控数据应用的调用速度和效率，进而提高单位部门终端部分业务运行操作的便利性和处理效率。

本发明的一个实施例，所述数据管理终端实时接收电力监控***发送的电力监控数据，并将电力监控***获取的电力监控数据，以数据类型为标准进行分类存储，包括：

S101、数据管理终端在接收到所述电力监控***发送的电力监控数据时，将数据接收时间标记在电力监控数据中，并确定电力监控数据类型；

S102、将电力监控数据以数据类型为标准依次存储至所述数据类型对应的数据存储区域。

上述技术方案的效果：根据数据类型对电力监控数据进行分类，能够有效提高数据存储合理性，以及，提高后续数据备份，查找相应单位部门终端的便利性。

本发明的一个实施例，所述当所述数据存储量超过预设的存储量阈值时，数据管理终端指示超出所述存储量阈值的数据类型对应的数据中，涉及数据调取及应用的单位部门终端进行数据备份处理，包括：

S301、当所述数据存储量超过预设的存储量阈值时，数据管理终端根据当前超出所述存储量阈值的数据类型对应的数据存储量确定需要备份的备份数据量；

S302、根据需要备份的数据量按照存储是时间由先到后的顺序依次扫描当前超出所述存储量阈值的数据类型对应的数据存储区域中的电力监控该数据，并在扫描过程中计算扫描过的电力监控数据对应的扫描数据量；当所述扫描数据量与所述备份数据量相等时，获取当前电力监控数据中标记的数据接收时间，并将所述数据接收时间对应的未被扫描到的所有电力监控数据和已被扫描的数据一并标记为待备份数据；

S303、确定所述待备份数据中对应的数据调取及应用的单位部门终端，并将所述数据接收时间对应的时间点、数据备份规定时间以及数据备份提示发送至各所述单位部门终端；

S304、如果所述单位部门终端没有在所述数据备份规定时间内发送备份完成回执，则所述数据管理终端再次向单位部门终端发出数据备份提示，并重新设置数据备份规定时间；

S305、如果所述单位部门终端在重新设置的数据备份规定时间内仍然没有发送备份完成回执，则所述数据管理终端直接控制所述单位部门终端进行单位部门终端的被动数据备份。

其中，所述重新设置数据备份规定时间的具体过程包括：

扫描单位部门终端的数据备份状态，如果所述单位部门终端处于数据备份状态，则通过如下公式重新设置数据备份规定时间：

其中，T₁表示所述单位部门终端处于数据备份状态时，重新设置后的数据备份规定时间；C_s表示尚未完成数据备份的电力监控数据对应的数据量；C_w表示已完成数据备份的电力监控数据对应的数据量，T_i表示所述单位部门终端在第i次进行数据备份时所消耗的数据备份时间；n表示所述单位部门终端目前已完成的主动进行数据备份次数，即所述单位部门终端目前已完成的主动进行数据备份次数中不包含被动进行数据备份的次数；T₀表示所述单位部门终端当前进行数据备份已消耗的数据备份时间；v表示所述单位部门终端当前为止数据上传至网盘的数据上传平均速度；

如果单位部门终端没有处于数据备份状态，则通过如下公式重新设置数据备份规定时间：

其中，T₂表示所述单位部门终端没有处于数据备份状态时，重新设置后的数据备份规定时间；C表示所述单位部门终端当前所要进行备份数据对应的数据总量；C_i表示所述单位部门终端第i次进行数据备份对应的数据总量；m表示所述单位部门终端目前已完成的数据备份总次数；k表示所述单位部门终端进行数据备份规定时间重新设置的次数；T_j表示所述单位部门终端进行第j次进行数据备份规定时间重新设置时，对应的重新设置后的规定时间；V_l表示所述单位部门终端第l次进行数据备份时对应的数据上传至网盘的平均上传速度；V_lmax表示所述单位部门终端在m次数据备份过程中，进行数据备份时对应的数据上传至网盘的最大平均上传速度；V_lmin表示所述单位部门终端在m次数据备份过程中，进行数据备份时对应的数据上传至网盘的最小平均上传速度；T_l表示所述单位部门终端第l次进行数据备份时，从接收到数据管理总端发送的数据备份指示至完成数据备份所消耗的总时间；α表示时间调整系数，α取值范围为0.38-0.51。

上述技术方案的效果：通过上述过程，能够针对现有数据管理终端的数据存储情况，快速有效的查找到需要单位部门终端进行备份，并且在所述数据管理终端中能够进行删除的历史电力监控数据，同时，能够准确获取能够进行删除的历史电力监控数据界限对应的数据存储时间节点。以数据存储时间节点为标准能够有效提高单位部门终端查找和调取需要备份的数据的速度和效率。

同时，通过上述公式重新设置数据备份规定时间，使重新设置的数据备份时间能够充分考虑到单位部门终端的实际工作运行情况，提高重新设置的数据备份时间与单位部门终端实际运行的匹配度，在为所述单位部门终端的实际备份存储提供充足的数据备份时间的情况下，有效防止整体数据备份时间过长导致的数据管理终端的整体电力监控数据备份效率降低，导致整体电力监控数据积累过多的超出预设的存储量阈值的问题发生。同时，上述公式进行规定时间重新设置过程中，充分考虑了单位部门终端以往数据备份的多个因素数据，通过综合重新设置获取的规定时间与单位部门终端的数据备份运行能力具有高度匹配性，防止因规定时间设置不合理而造成的针对所述单位部门终端的不必要的过多的执行粗操作，例如被动数据备份操作和向上级管理部门进行情况上报操作。

本发明的一个实施例，所述如果所述单位部门终端在重新设置的数据备份规定时间内仍然没有发送备份完成回执，则所述数据管理终端直接控制所述单位部门终端进行单位部门终端的被动数据备份，包括：

S3051、如果所述单位部门终端在重新设置的数据备份规定时间内仍然没有发送备份完成回执，则所述数据管理终端对所述单位部门终端进行扫描，确定单位部门终端的是否处于数据备份状态；

S3052、当所述单位部门终端处于数据备份状态时，实时监控单位部门终端的数据备份进度，并在所述单位部门终端完成数据备份之后，立即生成与所述单位部门终端对应的数据备份完成记录单，并标记所述单位部门终端已完成数据备份；当所述单位部门终端内部在数据备份完后，生成对应的备份完成回执并将所述备份完成回执发送至数据管理终端时，所述数据管理终端将所述备份完成回执对所述记录单进行替换；

S3053、当所述单位部门终端没有处于数据备份状态时，则启动所述单位部门终端对应的网盘***，并将所述单位部门终端对应的调取或应用的电力监控数据发送至单位部门终端，并上传至网盘备份直至数据备份完成；生成与所述单位部门终端对应的数据备份完成记录单，并标记所述单位部门终端已完成数据备份；

S3054、所述数据管理终端将当前进行被动数据备份的单位部门终端进行标记，并将当前单位部门终端未主动进行数据备份处理的情况上报至与单位部门终端对应的上级管理部门。

上述技术方案的效果：通过上述被动数据存储的方式，尽快对没有实施数据备份的单位部门终端，由数据管理终端直接进行数据备份控制，通过针对没有进行数据备份的单位部门终端进行直接数据备份控制的方式，有效提高因单位部门终端暂无操作人员在岗实施数据备份操作情况下的数据备份能力，防止因单位部门终端暂无操作人员在岗实施数据备份操作造成数据管理终端整体数据备份和数据清除运行的中断的问题发生。

本发明实施例提出了一种用于电力监控的大数据存储管理***，如图2所示，所述***包括：

接收存储模块，用于数据管理终端实时接收电力监控***发送的电力监控数据，并将电力监控***获取的电力监控数据，以数据类型为标准进行分类存储；

监控判断模块，用于实时监控每一类数据类型对应的数据存储量，并判断所述数据存储量是否达到预设的存储量阈值；

指示模块，用于当所述数据存储量超过预设的存储量阈值时，数据管理终端指示超出所述存储量阈值的数据类型对应的数据中，涉及数据调取及应用的单位部门终端进行数据备份处理；

调取模块，用于所述单位部门终端在接收到数据管理终端进行备份数据的指示后，向所述数据管理终端调取需要进行备份的数据，将需要备份的数据进行整理备份，并在数据完成备份后，向数据管理终端发送备份完成回执；

删除模块，用于当所述数据管理终端接收到超出所述存储量阈值的数据类型对应的数据中涉及的所有单位部门终端的回执之后，对已完成备份的数据予以删除。

其中，所述接收存储模块包括：

标记模块，用于数据管理终端在接收到所述电力监控***发送的电力监控数据时，将数据接收时间标记在电力监控数据中，并确定电力监控数据类型；

存储模块，用于将电力监控数据以数据类型为标准依次存储至所述数据类型对应的数据存储区域。

进一步地，所述指示模块包括：

备份模块，用于当所述数据存储量超过预设的存储量阈值时，数据管理终端根据当前超出所述存储量阈值的数据类型对应的数据存储量确定需要备份的备份数据量；

扫描模块，用于根据需要备份的数据量按照存储是时间由先到后的顺序依次扫描当前超出所述存储量阈值的数据类型对应的数据存储区域中的电力监控该数据，并在扫描过程中计算扫描过的电力监控数据对应的扫描数据量；当所述扫描数据量与所述备份数据量相等时，获取当前电力监控数据中标记的数据接收时间，并将所述数据接收时间对应的未被扫描到的所有电力监控数据和已被扫描的数据一并标记为待备份数据；

确定模块，用于确定所述待备份数据中对应的数据调取及应用的单位部门终端，并将所述数据接收时间对应的时间点、数据备份规定时间以及数据备份提示发送至各所述单位部门终端；

重设模块，用于如果所述单位部门终端没有在所述数据备份规定时间内发送备份完成回执，则所述数据管理终端再次向单位部门终端发出数据备份提示，并重新设置数据备份规定时间；

被动控制模块，用于如果所述单位部门终端在重新设置的数据备份规定时间内仍然没有发送备份完成回执，则所述数据管理终端直接控制所述单位部门终端进行单位部门终端的被动数据备份。

所述重设模块包括：

时间重设模块一，用于扫描单位部门终端的数据备份状态，如果所述单位部门终端处于数据备份状态，则通过如下公式重新设置数据备份规定时间：

其中，T₁表示所述单位部门终端处于数据备份状态时，重新设置后的数据备份规定时间；C_s表示尚未完成数据备份的电力监控数据对应的数据量；C_w表示已完成数据备份的电力监控数据对应的数据量，T_i表示所述单位部门终端在第i次进行数据备份时所消耗的数据备份时间；n表示所述单位部门终端目前已完成的主动进行数据备份次数，即所述单位部门终端目前已完成的主动进行数据备份次数中不包含被动进行数据备份的次数；T₀表示所述单位部门终端当前进行数据备份已消耗的数据备份时间；v表示所述单位部门终端当前为止数据上传至网盘的数据上传平均速度；

时间重设模块二，用于如果单位部门终端没有处于数据备份状态，则通过如下公式重新设置数据备份规定时间：

其中，T₂表示所述单位部门终端没有处于数据备份状态时，重新设置后的数据备份规定时间；C表示所述单位部门终端当前所要进行备份数据对应的数据总量；C_i表示所述单位部门终端第i次进行数据备份对应的数据总量；m表示所述单位部门终端目前已完成的数据备份总次数；k表示所述单位部门终端进行数据备份规定时间重新设置的次数；T_j表示所述单位部门终端进行第j次进行数据备份规定时间重新设置时，对应的重新设置后的规定时间；V_l表示所述单位部门终端第l次进行数据备份时对应的数据上传至网盘的平均上传速度；V_lmax表示所述单位部门终端在m次数据备份过程中，进行数据备份时对应的数据上传至网盘的最大平均上传速度；V_lmin表示所述单位部门终端在m次数据备份过程中，进行数据备份时对应的数据上传至网盘的最小平均上传速度；T_l表示所述单位部门终端第l次进行数据备份时，从接收到数据管理总端发送的数据备份指示至完成数据备份所消耗的总时间；α表示时间调整系数，α取值范围为0.38-0.51。

所述被动控制模块包括：

终端扫描模块，用于如果所述单位部门终端在重新设置的数据备份规定时间内仍然没有发送备份完成回执，则所述数据管理终端对所述单位部门终端进行扫描，确定单位部门终端的是否处于数据备份状态；

实时监控模块，用于当所述单位部门终端处于数据备份状态时，实时监控单位部门终端的数据备份进度，并在所述单位部门终端完成数据备份之后，立即生成与所述单位部门终端对应的数据备份完成记录单，并标记所述单位部门终端已完成数据备份；当所述单位部门终端内部在数据备份完后，生成对应的备份完成回执并将所述备份完成回执发送至数据管理终端时，所述数据管理终端将所述备份完成回执对所述记录单进行替换；

启动模块，用于当所述单位部门终端没有处于数据备份状态时，则启动所述单位部门终端对应的网盘***，并将所述单位部门终端对应的调取或应用的电力监控数据发送至单位部门终端，并上传至网盘备份直至数据备份完成；生成与所述单位部门终端对应的数据备份完成记录单，并标记所述单位部门终端已完成数据备份；

上报模块，用于所述数据管理终端将当前进行被动数据备份的单位部门终端进行标记，并将当前单位部门终端未主动进行数据备份处理的情况上报至与单位部门终端对应的上级管理部门。

上述技术方案的效果：本发明所述的用于电力监控的大数据存储管理***，能够有效解决电力监控***的大数据存储量不足的问题。本发明提出的方用于电力监控的大数据存储管理方法和***，通过在下级单位部门终端处设置网盘云存储区域的方式，分担总数据存储超量时的历史电力监控数据的存储任务；防止数据管理终端因为总数据的存储量过大，导致数据存储饱和，进而造成管理运行效率和速度降低的问题发生。同时，通过将历史数据存储权限下放至于电力监控数据应用对应的单位部门终端，能够在增大数据存储区域的同时，由于是本地数据调用，能够有效提高后续对应的单位部门终端对所用历史电力监控数据应用的调用速度和效率，进而提高单位部门终端部分业务运行操作的便利性和处理效率。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种用于电力监控的大数据存储管理方法，其特征在于，所述方法包括：

数据管理终端实时接收电力监控***发送的电力监控数据，并将电力监控***获取的电力监控数据，以数据类型为标准进行分类存储；

实时监控每一类数据类型对应的数据存储量，并判断所述数据存储量是否达到预设的存储量阈值；

当所述数据存储量超过预设的存储量阈值时，数据管理终端指示超出所述存储量阈值的数据类型对应的数据中，涉及数据调取及应用的单位部门终端进行数据备份处理；

所述单位部门终端在接收到数据管理终端进行备份数据的指示后，向所述数据管理终端调取需要进行备份的数据，将需要备份的数据进行整理备份，并在数据完成备份后，向数据管理终端发送备份完成回执；

当所述数据管理终端接收到超出所述存储量阈值的数据类型对应的数据中涉及的所有单位部门终端的回执之后，对已完成备份的数据予以删除。

2.根据权利要求1所述方法，其特征在于，所述数据管理终端实时接收电力监控***发送的电力监控数据，并将电力监控***获取的电力监控数据，以数据类型为标准进行分类存储，包括：

数据管理终端在接收到所述电力监控***发送的电力监控数据时，将数据接收时间标记在电力监控数据中，并确定电力监控数据类型；

将电力监控数据以数据类型为标准依次存储至所述数据类型对应的数据存储区域。

3.根据权利要求1所述方法，其特征在于，所述当所述数据存储量超过预设的存储量阈值时，数据管理终端指示超出所述存储量阈值的数据类型对应的数据中，涉及数据调取及应用的单位部门终端进行数据备份处理，包括：

当所述数据存储量超过预设的存储量阈值时，数据管理终端根据当前超出所述存储量阈值的数据类型对应的数据存储量确定需要备份的备份数据量；

根据需要备份的数据量按照存储是时间由先到后的顺序依次扫描当前超出所述存储量阈值的数据类型对应的数据存储区域中的电力监控该数据，并在扫描过程中计算扫描过的电力监控数据对应的扫描数据量；当所述扫描数据量与所述备份数据量相等时，获取当前电力监控数据中标记的数据接收时间，并将所述数据接收时间对应的未被扫描到的所有电力监控数据和已被扫描的数据一并标记为待备份数据；

确定所述待备份数据中对应的数据调取及应用的单位部门终端，并将所述数据接收时间对应的时间点、数据备份规定时间以及数据备份提示发送至各所述单位部门终端；

如果所述单位部门终端没有在所述数据备份规定时间内发送备份完成回执，则所述数据管理终端再次向单位部门终端发出数据备份提示，并重新设置数据备份规定时间；

如果所述单位部门终端在重新设置的数据备份规定时间内仍然没有发送备份完成回执，则所述数据管理终端直接控制所述单位部门终端进行单位部门终端的被动数据备份。

4.根据权利要求3所述方法，其特征在于，所述重新设置数据备份规定时间的具体过程包括：

扫描单位部门终端的数据备份状态，如果所述单位部门终端处于数据备份状态，则通过如下公式重新设置数据备份规定时间：

其中，T₁表示所述单位部门终端处于数据备份状态时，重新设置后的数据备份规定时间；C_s表示尚未完成数据备份的电力监控数据对应的数据量；C_w表示已完成数据备份的电力监控数据对应的数据量，T_i表示所述单位部门终端在第i次进行数据备份时所消耗的数据备份时间；n表示所述单位部门终端目前已完成的主动进行数据备份次数，即所述单位部门终端目前已完成的主动进行数据备份次数中不包含被动进行数据备份的次数；T₀表示所述单位部门终端当前进行数据备份已消耗的数据备份时间；v表示所述单位部门终端当前为止数据上传至网盘的数据上传平均速度；

如果单位部门终端没有处于数据备份状态，则通过如下公式重新设置数据备份规定时间：

其中，T₂表示所述单位部门终端没有处于数据备份状态时，重新设置后的数据备份规定时间；C表示所述单位部门终端当前所要进行备份数据对应的数据总量；C_i表示所述单位部门终端第i次进行数据备份对应的数据总量；m表示所述单位部门终端目前已完成的数据备份总次数；k表示所述单位部门终端进行数据备份规定时间重新设置的次数；T_j表示所述单位部门终端进行第j次进行数据备份规定时间重新设置时，对应的重新设置后的规定时间；V_l表示所述单位部门终端第l次进行数据备份时对应的数据上传至网盘的平均上传速度；V_lmax表示所述单位部门终端在m次数据备份过程中，进行数据备份时对应的数据上传至网盘的最大平均上传速度；V_lmin表示所述单位部门终端在m次数据备份过程中，进行数据备份时对应的数据上传至网盘的最小平均上传速度；T_l表示所述单位部门终端第l次进行数据备份时，从接收到数据管理总端发送的数据备份指示至完成数据备份所消耗的总时间；α表示时间调整系数，α取值范围为0.38-0.51。

5.根据权利要求3所述方法，其特征在于，所述如果所述单位部门终端在重新设置的数据备份规定时间内仍然没有发送备份完成回执，则所述数据管理终端直接控制所述单位部门终端进行单位部门终端的被动数据备份，包括：

如果所述单位部门终端在重新设置的数据备份规定时间内仍然没有发送备份完成回执，则所述数据管理终端对所述单位部门终端进行扫描，确定单位部门终端的是否处于数据备份状态；

当所述单位部门终端处于数据备份状态时，实时监控单位部门终端的数据备份进度，并在所述单位部门终端完成数据备份之后，立即生成与所述单位部门终端对应的数据备份完成记录单，并标记所述单位部门终端已完成数据备份；当所述单位部门终端内部在数据备份完后，生成对应的备份完成回执并将所述备份完成回执发送至数据管理终端时，所述数据管理终端将所述备份完成回执对所述记录单进行替换；

当所述单位部门终端没有处于数据备份状态时，则启动所述单位部门终端对应的网盘***，并将所述单位部门终端对应的调取或应用的电力监控数据发送至单位部门终端，并上传至网盘备份直至数据备份完成；生成与所述单位部门终端对应的数据备份完成记录单，并标记所述单位部门终端已完成数据备份；

所述数据管理终端将当前进行被动数据备份的单位部门终端进行标记，并将当前单位部门终端未主动进行数据备份处理的情况上报至与单位部门终端对应的上级管理部门。

6.一种用于电力监控的大数据存储管理***，其特征在于，所述***包括：

接收存储模块，用于数据管理终端实时接收电力监控***发送的电力监控数据，并将电力监控***获取的电力监控数据，以数据类型为标准进行分类存储；

监控判断模块，用于实时监控每一类数据类型对应的数据存储量，并判断所述数据存储量是否达到预设的存储量阈值；

指示模块，用于当所述数据存储量超过预设的存储量阈值时，数据管理终端指示超出所述存储量阈值的数据类型对应的数据中，涉及数据调取及应用的单位部门终端进行数据备份处理；

调取模块，用于所述单位部门终端在接收到数据管理终端进行备份数据的指示后，向所述数据管理终端调取需要进行备份的数据，将需要备份的数据进行整理备份，并在数据完成备份后，向数据管理终端发送备份完成回执；

删除模块，用于当所述数据管理终端接收到超出所述存储量阈值的数据类型对应的数据中涉及的所有单位部门终端的回执之后，对已完成备份的数据予以删除。

7.根据权利要求6所述***，其特征在于，所述接收存储模块包括：

标记模块，用于数据管理终端在接收到所述电力监控***发送的电力监控数据时，将数据接收时间标记在电力监控数据中，并确定电力监控数据类型；

存储模块，用于将电力监控数据以数据类型为标准依次存储至所述数据类型对应的数据存储区域。

8.根据权利要求6所述***，其特征在于，所述指示模块包括：

备份模块，用于当所述数据存储量超过预设的存储量阈值时，数据管理终端根据当前超出所述存储量阈值的数据类型对应的数据存储量确定需要备份的备份数据量；

扫描模块，用于根据需要备份的数据量按照存储是时间由先到后的顺序依次扫描当前超出所述存储量阈值的数据类型对应的数据存储区域中的电力监控该数据，并在扫描过程中计算扫描过的电力监控数据对应的扫描数据量；当所述扫描数据量与所述备份数据量相等时，获取当前电力监控数据中标记的数据接收时间，并将所述数据接收时间对应的未被扫描到的所有电力监控数据和已被扫描的数据一并标记为待备份数据；

确定模块，用于确定所述待备份数据中对应的数据调取及应用的单位部门终端，并将所述数据接收时间对应的时间点、数据备份规定时间以及数据备份提示发送至各所述单位部门终端；

重设模块，用于如果所述单位部门终端没有在所述数据备份规定时间内发送备份完成回执，则所述数据管理终端再次向单位部门终端发出数据备份提示，并重新设置数据备份规定时间；

被动控制模块，用于如果所述单位部门终端在重新设置的数据备份规定时间内仍然没有发送备份完成回执，则所述数据管理终端直接控制所述单位部门终端进行单位部门终端的被动数据备份。

9.根据权利要求8所述***，其特征在于，所述重设模块包括：

时间重设模块一，用于扫描单位部门终端的数据备份状态，如果所述单位部门终端处于数据备份状态，则通过如下公式重新设置数据备份规定时间：

其中，T₁表示所述单位部门终端处于数据备份状态时，重新设置后的数据备份规定时间；C_s表示尚未完成数据备份的电力监控数据对应的数据量；C_w表示已完成数据备份的电力监控数据对应的数据量，T_i表示所述单位部门终端在第i次进行数据备份时所消耗的数据备份时间；n表示所述单位部门终端目前已完成的主动进行数据备份次数，即所述单位部门终端目前已完成的主动进行数据备份次数中不包含被动进行数据备份的次数；T₀表示所述单位部门终端当前进行数据备份已消耗的数据备份时间；v表示所述单位部门终端当前为止数据上传至网盘的数据上传平均速度；

时间重设模块二，用于如果单位部门终端没有处于数据备份状态，则通过如下公式重新设置数据备份规定时间：

其中，T₂表示所述单位部门终端没有处于数据备份状态时，重新设置后的数据备份规定时间；C表示所述单位部门终端当前所要进行备份数据对应的数据总量；C_i表示所述单位部门终端第i次进行数据备份对应的数据总量；m表示所述单位部门终端目前已完成的数据备份总次数；k表示所述单位部门终端进行数据备份规定时间重新设置的次数；T_j表示所述单位部门终端进行第j次进行数据备份规定时间重新设置时，对应的重新设置后的规定时间；V_l表示所述单位部门终端第l次进行数据备份时对应的数据上传至网盘的平均上传速度；V_lmax表示所述单位部门终端在m次数据备份过程中，进行数据备份时对应的数据上传至网盘的最大平均上传速度；V_lmin表示所述单位部门终端在m次数据备份过程中，进行数据备份时对应的数据上传至网盘的最小平均上传速度；T_l表示所述单位部门终端第l次进行数据备份时，从接收到数据管理总端发送的数据备份指示至完成数据备份所消耗的总时间；α表示时间调整系数，α取值范围为0.38-0.51。

10.根据权利要求8所述***，其特征在于，所述被动控制模块包括：

终端扫描模块，用于如果所述单位部门终端在重新设置的数据备份规定时间内仍然没有发送备份完成回执，则所述数据管理终端对所述单位部门终端进行扫描，确定单位部门终端的是否处于数据备份状态；

实时监控模块，用于当所述单位部门终端处于数据备份状态时，实时监控单位部门终端的数据备份进度，并在所述单位部门终端完成数据备份之后，立即生成与所述单位部门终端对应的数据备份完成记录单，并标记所述单位部门终端已完成数据备份；当所述单位部门终端内部在数据备份完后，生成对应的备份完成回执并将所述备份完成回执发送至数据管理终端时，所述数据管理终端将所述备份完成回执对所述记录单进行替换；

启动模块，用于当所述单位部门终端没有处于数据备份状态时，则启动所述单位部门终端对应的网盘***，并将所述单位部门终端对应的调取或应用的电力监控数据发送至单位部门终端，并上传至网盘备份直至数据备份完成；生成与所述单位部门终端对应的数据备份完成记录单，并标记所述单位部门终端已完成数据备份；

上报模块，用于所述数据管理终端将当前进行被动数据备份的单位部门终端进行标记，并将当前单位部门终端未主动进行数据备份处理的情况上报至与单位部门终端对应的上级管理部门。

Images