CN105260401A - 电力数据查询存储方法及装置 - Google Patents

Abstract

本发明公开了一种电力数据查询存储方法及装置。该方法包括：获取电力***中存储的历史数据；对电力***执行检测，得到实时数据；以及将历史数据和实时数据存储至分布式存储服务器，其中，在分布式存储服务器中，历史数据和实时数据以统一的格式存储。通过本发明，解决了相关技术中电力数据查询存储效率较低的问题。

Description

电力数据查询存储方法及装置

技术领域

本发明涉及电力***数据处理领域，具体而言，涉及一种电力数据查询存储方法及装置。

背景技术

由于电力***公司的历史数据量大、业务种类多以及采集测点多等特点，传统技术在电力***公司的采集、存储与查询上存在难点。为适应商业应用水平，需要提升海量数据处理能力，研究和应用大数据关键技术。现有的电力***中业务种类繁多，可达几十种，每种业务的数据格式不同，为存储与管理带来难题。而采集数据测点的数量可达数百万个，实时数据量大，需要电力***具备高性能的存储能力。用户对电力***的数据进行查询或统计时，面对着在海量数据中查找出与用户查询信息相关的数据的难题，这对电力***的查询处理能力提出了巨大的挑战。相关技术中，电力***采集的实时数据在存入存储服务器时数据类型不统一，传统的集中式存储方式无法满足海量数据的存储需求，也会造成查询数据时的实时性较差等问题。

针对相关技术中电力数据查询存储效率较低的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种电力数据查询存储方法及装置，以解决相关技术中大数据存储与查询效率较低的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种电力数据查询存储方法。该方法包括：获取电力***中存储的历史数据；对电力***执行检测，得到实时数据；以及将历史数据和实时数据存储至分布式存储服务器，其中，在分布式存储服务器中，历史数据和实时数据以统一的格式存储。

进一步地，在将历史数据和实时数据存储至分布式存储服务器之后，该方法还包括：接收查询请求；根据查询请求在分布式存储服务器中查询与查询请求所请求的数据，得到查询结果；以及输出查询结果。

进一步地，对电力***执行检测，得到实时数据包括：对电力***中预先布置的监测点执行数据采集，得到实时数据，将历史数据和实时数据存储至分布式存储服务器包括：将历史数据和实时数据转换为预设格式的数据；以及将预设格式的历史数据和实时数据存储至分布式存储服务器。

进一步地，将历史数据和实时数据存储至分布式存储服务器包括：对历史数据和实时数据进行分组，得到多组数据，其中，多组数据分别对应不同的组别编号；将多组数据分别存储至与组别编号对应的分布式存储服务器；以及对多组数据建立索引。

进一步地，在对多组数据建立索引之后，该方法还包括：接收查询指令；解析查询指令，得到查询指令对应的索引信息；以及通过索引信息在分布式存储服务器中执行查询。

进一步地，在通过索引信息在分布式存储服务器中执行查询之后，该方法还包括：根据预设条件将查询的结果转换为显示结果；以及输出显示结果。

为了实现上述目的，根据本发明的另一方面，提供了一种电力数据查询存储装置。该装置包括：获取单元，用于获取电力***中存储的历史数据；检测单元，用于对电力***执行检测，得到实时数据；以及存储单元，用于将历史数据和实时数据存储至分布式存储服务器，其中，在分布式存储服务器中，历史数据和实时数据以统一的格式存储。

进一步地，该装置还包括：接收单元，用于在将历史数据和实时数据存储至分布式存储服务器之后，接收查询请求；查询单元，用于根据查询请求在分布式存储服务器中查询与查询请求所请求的数据，得到查询结果；以及输出单元，用于输出查询结果。

进一步地，检测单元包括：采集模块，用于对电力***中预先布置的监测点执行数据采集，得到实时数据，存储单元包括：转换模块，用于将历史数据和实时数据转换为预设格式的数据；以及第一存储模块，用于将预设格式的历史数据和实时数据存储分布式存储至服务器。

进一步地，存储单元包括：分组模块，用于对历史数据和实时数据进行分组，得到多组数据，其中，多组数据分别对应不同的组别编号；第二存储模块，用于将多组数据分别存储至与组别编号对应的分布式存储服务器；以及索引模块，用于对多组数据建立索引。

通过本发明，通过获取电力***中存储的历史数据；对电力***执行检测，得到实时数据；以及将历史数据和实时数据存储至分布式存储服务器，其中，在分布式存储服务器中，历史数据和实时数据以统一的格式存储，解决了相关技术中电力数据查询存储效率较低的问题，进而达到了提高电力数据查询存储效率的效果。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的电力数据查询存储方法的流程图；以及

图2是本发明实施例的电力数据查询存储装置的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明的实施例提供了一种电力数据查询存储方法。

图1是根据本发明实施例的电力数据查询存储方法的流程图。如图1所示，该方法包括以下步骤：

步骤S101，获取电力***中存储的历史数据。

电力***结构复杂，业务种类繁多，数据量庞大，在对采集的实时数据进行处理与存储的过程中，经常会出现由于某些原因发生异常的情况。当发生异常时，当前处理的实时数据被搁置，若异常处理不及时或本次异常不能处理，则会导致出现实时数据未存储进存储服务器中就开始下一次采集、处理和存储的流程的情况。这些未能及时处理与存储的实时数据可以看作电力***中存储的历史数据。

数据中心是电力***用于对所有数据进行处理的平台，可以包括多个模块，一般来说，数据中心包括数据采集模块，海量数据平台模块，电网地理信息服务(GeographicInformationService，简称为GIS)平台模块和业务提升模块。其中，海量数据平台模块可以存储和接入厂站电量采集数据，用电信息采集数据，配电自动化数据和调度自动化数据等实时数据或历史数据。在交互式应用时，通常要调用这些类型数据的历史数据来执行某些应用或业务，此时，就需要将这些电力***中存储的历史数据一次性导入海量数据平台中，等待后面的操作流程。

步骤S102，对电力***执行检测，得到实时数据。

电力数据涉及到发电、输电、变电、配电、用电和调度等各个环节，不同的业务需要数据采集的频率不同，采集得到的实时数据的时间频度也不同。例如，居民用户的日用电量、当前剩余电费采集和购电状态等数据的采集频率为每日，大用户和公变平台的三相电流、三相电压和三相功率的读数为每隔15分钟，配网抢修的数据更新频率为每天，电网运行数据的更新频率为每5分钟，停电信息的数据更新频率为实时。对电力***的不同数据执行检测，根据各数据的采集频率得到实时数据。

步骤S103，将历史数据和实时数据存储至分布式存储服务器。

其中，在分布式存储服务器中，历史数据和实时数据以统一的格式存储。

在获取电力***的历史数据和实时数据之后，存储历史数据和实时数据至分布式存储服务器。分布式存储服务器是将文件或数据存储在分散的低成本存储介质上，存储介质可以是客户机模式，也可以是服务器模式，在对文件或数据进行管理时，并不是从本地节点读取文件数据，而是通过计算机网络与分布式存储服务器节点相连接，分布式存储服务器可以对外提供统一的文件访问接口，其他节点可以通过此访问接口进行数据管理。优选地，在存储历史数据和实时数据至分布式存储服务器之前，对历史数据与实时数据执行格式转换，将所有数据以统一的格式进行存储。优选地，选用国际电工协会(InternationalElectroTechnicalCommission，简称IEC)的相关标准设计数据存储的数据模型，在设计数据模型时，可以对相关的国际标准进行本地化，结合电力***的实际需求和业务***的建设情况进行裁剪和扩展，并保持核心内容的稳定性，设计出包含对设备、拓扑、客户、资产等业务对象的描述，以及调度、生产、营销等核心业务的公共信息模型。以统一的数据模型进行存储可以更方便的对海量数据进行处理，包括存储、调用和查找等。

本发明实施例提供的电力数据查询存储方法，通过获取电力***中存储的历史数据；对电力***执行检测，得到实时数据；以及将历史数据和实时数据存储至分布式存储服务器，其中，在分布式存储服务器中，历史数据和实时数据以统一的格式存储，解决了相关技术中电力数据查询存储效率较低的问题，进而达到了提高电力数据查询存储效率的效果。

优选地，在将历史数据和实时数据存储至分布式存储服务器之后，该方法还包括：接收查询请求；根据查询请求在分布式存储服务器中查询与查询请求所请求的数据，得到查询结果；以及输出查询结果。

在获取电力***的历史数据和实时数据，并将历史数据和实时数据存储至分布式存储服务器之后，用户或调用程序可以对分布式存储服务器中的所有数据进行查询访问。当用户或调用程序对电力***的数据中心发出查询请求时，查询请求通过统一的数据访问接口发送到数据中心平台，数据中心平台在分布式存储服务器中查找出对应的数据信息后，通过数据访问接口输出需要查询的历史数据或实时数据。查询结果可以显示在终端的屏幕上，也可以通过打印等方式进行输出，也可以作为参数被调用程序调用，完成调用程序的流程。

优选地，对电力***执行检测，得到实时数据包括：对电力***中预先布置的监测点执行数据采集，得到实时数据，将历史数据和实时数据存储至分布式存储服务器包括：将历史数据和实时数据转换为预设格式的数据；以及将预设格式的历史数据和实时数据存储至分布式存储服务器。

电力数据涉及到发电、输电、变电、配电、用电和调度等各个环节，业务种类繁多，采集数据测点的数量可达数百万个。不同的业务需要数据采集的频率不同，因此测点采集的时间频度也不同。例如，居民用户的日用电量、当前剩余电费采集和购电状态等数据的采集频率为每日，大用户和公变平台的三相电流、三相电压和三相功率的读数为每隔15分钟，配网抢修的数据更新频率为每天，电网运行数据的更新频率为每5分钟，停电信息的数据更新频率为实时。对电力***的不同数据执行检测，根据各数据的采集频率得到实时数据。采集测点在得到实时数据之后，可以将测量数据实时发送到消息队列集群中，数据中心的消息组件会调用实时数据库应用程序编程接口(ApplicationProgrammingInterface，简称API)，实时读取队列中测量数据并保存到实时数据库中。在存储历史数据和实时数据至分布式存储服务器之前，转换历史数据与实时数据的格式，将所有数据以统一的格式进行存储。优选地，选用IEC的相关标准设计数据存储的数据模型。将历史数据与实时数据库中的实时数据转换为设计的数据模型格式，存储至分布式存储服务器。通过格式转换，分布式存储器中存储的数据均使用统一的结构进行存储，提高了数据接入的效率，方便了数据的访问。

优选地，将历史数据和实时数据存储至分布式存储服务器包括：对历史数据和实时数据进行分组，得到多组数据，其中，多组数据分别对应不同的组别编号；将多组数据分别存储至与组别编号对应的分布式存储服务器；以及对多组数据建立索引。

在将历史数据和实时数据存储至分布式存储服务器时，根据预设的分组规则得到多组数据，多组数据分别对应不同的组别编号。分布式存储服务器中的每个存储介质也被预先编号，在对历史数据和实时数据分组后，按照每组数据的组别编号存储至分布式存储服务器中的对应存储介质中。当用户或外接程序对分布式存储服务器中的数据有查询请求时，也可以通过此分组规则对要查询的数据分组，到对应的单个存储介质中进行查找，提高了查询效率。数据存至存储介质中后，对数据建立索引，方便在存储介质中查询与查询请求相应的数据。

优选地，在对多组数据建立索引之后，该方法还包括：接收查询指令；解析查询指令，得到查询指令对应的索引信息；以及通过索引信息在分布式存储服务器中执行查询。

当用户或调用程序对电力***的数据中心发出查询请求时，对查询指令进行解析，可以根据预设的分组规则和索引对查询指令进行解析，得到该查询指令对应的数据的索引信息，通过该索引信息在分布式存储服务器中对应的存储介质中查询需要的数据。

优选地，在通过索引信息在分布式存储服务器中执行查询之后，该方法还包括：根据预设条件将查询的结果转换为显示结果；以及输出显示结果。

在得到查询结果之后，可以根据预先设置规则将查询的结果转换为显示界面或打印格式，根据需要对查询结果显示或打印。其中，预先设置规则包括对查询到的数据的统计信息。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明的实施例还提供了一种电力数据查询存储装置。需要说明的是，本发明实施例的电力数据查询存储装置可以用于执行本发明的电力数据查询存储方法。

图2是本发明实施例的电力数据查询存储装置的示意图。如图2所示，该装置包括：获取单元10，检测单元20和存储单元30。

获取单元10，用于获取电力***中存储的历史数据。

电力***在对采集的实时数据进行处理与存储的过程中，经常会出现由于某些原因发生异常的情况。当发生异常时，当前处理的实时数据被搁置，未能及时处理与存储的实时数据可以看作电力***中存储的历史数据。在交互式应用时，通常要调用这些类型数据的历史数据来执行某些应用或业务，此时，就需要将这些电力***中存储的历史数据一次性导入海量数据平台中，等待后面的操作流程。

检测单元20，用于对电力***执行检测，得到实时数据。

电力数据涉及到发电、输电、变电、配电、用电和调度等各个环节，不同的业务需要数据采集的频率不同，采集得到的实时数据的时间频度也不同。例如，居民用户的日用电量、当前剩余电费采集和购电状态等数据的采集频率为每日，大用户和公变平台的三相电流、三相电压和三相功率的读数为每隔15分钟，配网抢修的数据更新频率为每天，电网运行数据的更新频率为每5分钟，停电信息的数据更新频率为实时。对电力***的不同数据执行检测，根据各数据的采集频率得到实时数据。

存储单元30，用于将历史数据和实时数据存储至分布式存储服务器。其中，在分布式存储服务器中，历史数据和实时数据以统一的格式存储。

在获取电力***的历史数据和实时数据之后，存储历史数据和实时数据至分布式存储服务器。优选地，在存储历史数据和实时数据至分布式存储服务器之前，对历史数据与实时数据执行格式转换，将所有数据以统一的格式进行存储。统一格式可以选用IEC的相关标准对数据存储的数据模型进行设计，在设计数据模型时，可以对相关的国际标准进行本地化，结合电力***的实际需求和业务***的建设情况进行裁剪和扩展，并保持核心内容的稳定性。以统一的数据模型进行存储可以更方便的对海量数据进行处理，包括存储、调用和查找等。

本发明实施例提供的电力数据查询存储装置，通过获取单元10获取电力***中存储的历史数据；检测单元20对电力***执行检测，得到实时数据；以及存储单元30将历史数据和实时数据存储至分布式存储服务器，解决了相关技术中电力数据查询存储效率较低的问题，进而达到了提高电力数据查询存储效率的效果。

优选地，该装置还包括：接收单元，用于在将历史数据和实时数据存储至分布式存储服务器之后，接收查询请求；查询单元，用于根据查询请求在分布式存储服务器中查询与查询请求所请求的数据，得到查询结果；以及输出单元，用于输出查询结果。

优选地，检测单元包括：采集模块，用于对电力***中预先布置的监测点执行数据采集，得到实时数据，存储单元包括：转换模块，用于将历史数据和实时数据转换为预设格式的数据；以及第一存储模块，用于将预设格式的历史数据和实时数据存储分布式存储至服务器。

优选地，存储单元包括：分组模块，用于对历史数据和实时数据进行分组，得到多组数据，其中，多组数据分别对应不同的组别编号；第二存储模块，用于将多组数据分别存储至与组别编号对应的分布式存储服务器；以及索引模块，用于对多组数据建立索引。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种电力数据查询存储方法，其特征在于，包括：

获取电力***中存储的历史数据；

对所述电力***执行检测，得到实时数据；以及

将所述历史数据和所述实时数据存储至分布式存储服务器，其中，在所述分布式存储服务器中，所述历史数据和所述实时数据以统一的格式存储。

2.根据权利要求1所述的方法，其特征在于，在将所述历史数据和所述实时数据存储至分布式存储服务器之后，所述方法还包括：

接收查询请求；

根据所述查询请求在所述分布式存储服务器中查询与所述查询请求所请求的数据，得到查询结果；以及

输出所述查询结果。

3.根据权利要求1所述的方法，其特征在于，

对所述电力***执行检测，得到实时数据包括：对所述电力***中预先布置的监测点执行数据采集，得到实时数据，

将所述历史数据和所述实时数据存储至分布式存储服务器包括：将所述历史数据和所述实时数据转换为预设格式的数据；以及将所述预设格式的历史数据和实时数据存储至所述分布式存储服务器。

4.根据权利要求1所述的方法，其特征在于，将所述历史数据和所述实时数据存储至分布式存储服务器包括：

对所述历史数据和所述实时数据进行分组，得到多组数据，其中，所述多组数据分别对应不同的组别编号；

将所述多组数据分别存储至与所述组别编号对应的分布式存储服务器；以及

对所述多组数据建立索引。

5.根据权利要求4所述的方法，其特征在于，在对所述多组数据建立索引之后，所述方法还包括：

接收查询指令；

解析所述查询指令，得到所述查询指令对应的索引信息；以及

通过所述索引信息在所述分布式存储服务器中执行查询。

6.根据权利要求5所述的方法，其特征在于，在通过所述索引信息在所述分布式存储服务器中执行查询之后，所述方法还包括：

根据预设条件将查询的结果转换为显示结果；以及

输出显示结果。

7.一种电力数据查询存储装置，其特征在于，包括：

获取单元，用于获取电力***中存储的历史数据；

检测单元，用于对所述电力***执行检测，得到实时数据；以及

存储单元，用于将所述历史数据和所述实时数据存储至分布式存储服务器，其中，在所述分布式存储服务器中，所述历史数据和所述实时数据以统一的格式存储。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

接收单元，用于在将所述历史数据和所述实时数据存储至分布式存储服务器之后，接收查询请求；

查询单元，用于根据所述查询请求在所述分布式存储服务器中查询与所述查询请求所请求的数据，得到查询结果；以及

输出单元，用于输出所述查询结果。

9.根据权利要求7所述的装置，其特征在于，

所述检测单元包括：采集模块，用于对所述电力***中预先布置的监测点执行数据采集，得到实时数据，

所述存储单元包括：转换模块，用于将所述历史数据和所述实时数据转换为预设格式的数据；以及第一存储模块，用于将所述预设格式的历史数据和实时数据存储所述分布式存储至服务器。

10.根据权利要求7所述的装置，其特征在于，所述存储单元包括：

分组模块，用于对所述历史数据和所述实时数据进行分组，得到多组数据，其中，所述多组数据分别对应不同的组别编号；

第二存储模块，用于将所述多组数据分别存储至与所述组别编号对应的分布式存储服务器；以及

索引模块，用于对所述多组数据建立索引。