CN104599032A - 一种面向资源管理的分布式内存电网构建方法及*** - Google Patents

Abstract

本发明公开了一种面向资源管理的分布式内存电网构建方法及***，属于电网资源数据处理技术领域。本发明通过面向资源管理的分布式构建分布式内存电网，首先建立内存电网资源模型，接着水平切割电网资源数据和加载电网资源数据，并创建电网资源地址索引，最后执行并行任务计算和建立电网数据断面，完成内存电网访问接口的建立。该分布式内存电网***包括电网资源数据缓存及计算服务模块、电网资源数据地址索引管理服务模块和客户端代理组件模块，能够全面支撑电力业务信息***对电网资源数据的处理，大幅提升处理效率。

Description

一种面向资源管理的分布式内存电网构建方法及***

技术领域

本发明属于电网资源数据处理技术领域，更准确地说，本发明涉及一种电网资源数据的分布式计算、内存计算的方法。

背景技术

随着电力信息***集成度逐步加大，管理范围进一步延伸至低压，由此带来的复杂资源模型和海量资源数据，使得基于关系数据库的传统电网模型和存储方式，在电网资源访问效率、数据计算能力、电网历史断面管理等多个方面均无法满足发展需求。

为解决大数据的存储、计算及分析问题，Google公司提出了分布式文件***、面向列的分布式数据库、MapReduce分布式编程模型。Google公司的分布式存储、分布式计算技术为大型互联网站***大数据量的存储和分析提出了解决方案，提升了性能。

在大数据实时分析方面， SAP推出了 HANA内存计算平台，它通过内存计算技术以及软硬件结合的一体机技术 ，实现高性能的数据查询与分析，满足用户对大数据处理的实时性需求。

在大容量、高速存储方面，Oracle 推出了Exadata数据库一体机，它通过高性能硬件、高速网络接口，采用智能扫描、智能存储、智能索引、混合列压缩等技术，提高大数据和多并发应场景下的***处理效率。Exadata 数据库一体机能够使得基于oracle数据库的已有***的性能得到10倍左右性能提升。

另外，也有一些内存数据库技术，如：为应用程序提供即时响应和高吞吐量的Oracle TimesTen产品；将基于内存和磁盘的全事务处理数据库引擎，可用性强的数据复制功能紧密地融为一体的IBM SolidDB产品；用于各种需要高性能、小尺寸、紧密存储、零内存分配的eXtremeDB；占用资源低、能够跟很多程序语言相结合、轻量级的SQLite内存数据库；采用高性能的键-值存储、内存数据集方式的开源Redis内存数据库，都提出了数据的实时存储方案，避免解决频繁的磁盘I/O操作，使得数据存取效率提高。

上述分布式和内存计算产品由于其通用性设计，使得其直接应用于国家电网公司业务***时，无法发挥最大优势，甚至存在无法解决的工程应用问题。

发明内容

本发明目的是：针对现有技术中电网资源数据访问效率低的不足，提供一种面向资源管理的分布式内存电网构建方法及***。该方法能够在内存计算、分布式计算等前沿技术基础上，通过深度融合国网业务，构建一套满足电网资源处理需求，高可靠、扩展性强、符合国网业务特点的分布式、内存计算技术及产品，即分布式内存电网。该***能够全面支撑电力业务信息***对电网资源数据的处理，大幅提升处理效率。

具体地说，本发明提供的面向资源管理的分布式内存电网构建方法，是采用以下技术方案实现的，包括以下步骤：

1）建立内存电网资源模型，建模时采用面向对象的方式，建模包括站内一次设备资源建模、站外一次设备资源建模和低压设备资源建模；

2）水平切割电网资源数据，采用基于业务属性的哈希散列方式，将具有不同业务属性值的电网资源数据映射到不同的数据块，具有相同业务属性值的电网资源数据映射到一同数据块，采用区域属性作为第一业务属性、电压等级作为第二属性进行哈希散列；

3）加载电网资源数据，在第一次启动时，根据数据的水平划分方式，将电网资源数据库中的数据按照步骤1）建立的模型进行加载，然后分布式缓存到集群中多个服务器内存中；当数据加载完成后，将缓存中的电网资源数据进行序列化，形成二进制文件保存在本地磁盘；当再次启动时，从本地文件直接读取电网数据，并从电网资源数据库读取从上次序列化到目前的增量数据；

4）创建电网资源地址索引，电网资源分布式缓存后，将缓存服务器IP地址、电网资源的区域属性值、电网资源电压等级值、占用空间和缓存所用时间信息发送到电网资源地址管理服务器中，管理服务器收集信息后创建索引表，进行缓存；

5）执行并行任务计算，将电网资源查询、计算任务按照区域属性和电压等级属性拆分成多级树形子任务，所有子任务根据区域属性和电压等级属性被调度到数据所在的缓存服务器并发执行；执行完毕后将结果返回给上级父任务，由父任务收集汇总所有子任务结果，并返回给其父节点，直至最顶层节点；

6）建立电网数据断面，通过定时和人工触犯方式，在指定的时间，对缓存服务中所有电网资源模型和数据进行快速序列化处理，生成多个二进制文件，利用HDFS分布式文件***进行永久、可靠存储，最终形成某一时刻的数据断面；

7）建立内存电网访问接口，内存电网接口用于向电网业务信息***提供数据物理位置无关的电网资源访问方式，包括电网断面接口、电网数据统计分析接口、数据查询接口，电网资源数据访问接口采用PRC远程调用协议，传输的数据为资源对象序列化后的二进制流。

上述技术方案的进一步特征在于：所述步骤1）中，在建模时采用基于BSON的弱对象建模和数据存储方式，以对象化的方式表征电网资源的继承、从属和关联关系。

上述技术方案的进一步特征在于：所述步骤1）中，对于BSON存储的资源属性标签，采用统一的内存映射机制，将资源属性标签与简化标签进行一一映射。

上述技术方案的进一步特征在于：所述步骤3）中，在第二次启动时，采用增量加载的方式，让每台缓存服务器定期对内存数据进行快速序列化处理，并将序列化后的数据和当前时间戳保存到本地磁盘，在下次加载时通过读取本地磁盘文件获取上次序列化时的电网资源数据，然后根据时间戳，从数据库查询并加载上次序列化到目前的增量数据。

上述技术方案的进一步特征在于：所述步骤4）中，采用分布式排序算法来处理用户的分页查询请求，通过堆排序和归并排序算法分别处理分级查询和汇总排序，以完成检索。

本发明提供的面向资源管理的分布式内存电网***，包括电网资源数据缓存及计算服务模块、电网资源数据地址索引管理服务模块和客户端代理组件模块，其中电网资源数据缓存及计算服务模块包括分布式缓存与计算核心框架模块、电网资源缓存管理模块、电网断面管理及内存电网展示模块、数据同步模块、数据加载与持久化模块、内存电网应用接口服务模块；各模块的功能如下：

分布式缓存与计算核心框架模块，用于负责资源数据的哈希散列划分，同时负责将计算任务根据数据划分情况进行子任务拆分和调度，负责执行分配到本地的子任务，负责收集汇总其下属子任务的执行结果；

电网资源缓存管理模块，用于负责根据业务资源数据模型，分配加载数据所需的内存空间，同时对内存的释放和碎片进行管理；

电网断面管理及内存电网展现模块，用于提供断面快速创建、多断面快速载入功能，同时提供对载入内存的断面数据进行对比分析展现功能；

数据同步模块，用于提供数据库电网资源数据到内存电网资源数据的准实时同步，使得两者能够保持一致；

数据加载及持久化模块，用于读取数据库中的电网资源数据，并按照事先设计的电网资源模型进行缓存，同时负责将缓存中的电网资源数据快速序列化到磁盘，以便下次能够从持久化文件快速加载电网资源数据；

内存电网应用接口服务模块，用于接收业务信息***的电网资源访问请并进行处理；

电网资源数据地址索引管理服务模块，用于缓存所有电网资源对象所在的缓存服务器地址，并提供实时查询功能；

客户端代理组件模块，用于提供给业务***进行分布式内存电网资源访问接口调用的本地代理，包括电网资源查询统计接口代理、电网资源统计分析接口代理、电网断面管理接口代理。

本发明的有益效果如下：本发明构建方法能够在内存计算、分布式计算等前沿技术基础上，通过深度融合国网业务，构建一套满足电网资源处理需求，高可靠、扩展性强、符合国网业务特点的分布式、内存计算技术及产品，即分布式内存电网。因此，通过该方法构建的分布式内存电网***能够全面支撑电力业务信息***对电网资源数据的处理，大幅提升处理效率，能够解决电网资源数据访问效率低的问题。

附图说明

图1 为本发明构建方法的流程图。

图2为全网查询统计任务树示意图。

图3 为本发明分布式内存电网***的框架图。

具体实施方式

下面参照附图对本发明作进一步详细描述。

请参阅图1，该图为本发明中分布式内存电网构建的流程图，其主要包括以下步骤：

步骤一，建立内存电网资源模型，建模时引入面向对象的思想，能够更加客观的表述多样、复杂的电网资源，使得对电网资源的处理更加接近于日常生活和自然的思考方式，可理解强。电力设备/设施建模主要包括站内一次设备资源建模、站外一次设备资源建模和低压设备资源建模。

步骤二，水平切割电网资源数据，采用基于业务属性的哈希散列方式，将具有不同业务属性值的电网资源数据映射到不同的数据块，具有相同业务属性值的电网资源数据映射到一同数据块。由于电力资源都存在明显区域性特征，并且区域之间的数据关联性小，一般会不对区域之间的资源数据做关联查询，此外，电压等级也是电网资源的重要属性，同一个电压等级的资源数据之间的关联性强，相邻电压等级的资源数据关联性较弱，而跨一个或以上电压等级的资源数据一般不存在关联。因此采用区域属性作为第一业务属性、电压等级作为第二属性进行哈希散列。

步骤三，加载电网资源数据，***第一次启动时，根据数据的水平划分方式，将电网资源数据库中的数据按照步骤一设计的模型进行加载，然后分布式缓存到集群中多个服务器内存中。数据加载完成后，将缓存中的电网资源数据进行序列化，形成二进制文件保存在本地磁盘，当再次启动***时，从本地文件直接读取电网数据，并从电网资源数据库读取从上次序列化到目前的增量数据。

步骤四，创建电网资源地址索引，电网资源分布式缓存后，将缓存服务器IP地址、电网资源的区域属性值、电网资源电压等级值、占用空间、缓存所用时间等信息发送到电网资源地址管理服务器中，管理服务器收集信息后创建索引表，进行缓存。

步骤五，执行并行任务计算，将电网资源查询、计算任务按照区域属性和电压等级属性拆分成多级树形子任务，所有子任务根据区域属性和电压等级属性被调度到数据所在的缓存服务器并发执行。执行完毕后将结果返回给上级父任务，父任务收集汇总所有子任务结果，并返回给其父节点，直至最顶层节点。由于数据的区域特性和电压等级特性，子任务之间无耦合或者耦合度很低，因此子任务之间的数据传输很少，任务执行效率很好。

步骤六，建立电网数据断面，通过定时和人工触犯方式，在指定的时间，对缓存服务中所有电网资源模型和数据进行快速序列化处理，生成多个二进制文件，利用HDFS分布式文件***进行永久、可靠存储，最终形成某一时刻的数据断面。上述快速序列化方法采用开源的Hession组件实现，该组件的特点是序列化效率高，序列化后的字节流短。

步骤七，建立内存电网访问接口，内存电网接口用于向电网业务信息***提供数据物理位置无关的电网资源访问方式，包括电网断面接口、电网数据统计分析接口、数据查询接口，电网资源数据访问接口采用PRC远程调用协议，传输的数据为资源对象序列化后的二进制流。

在步骤一中，采用了一种基于BSON的弱对象建模和数据存储方式，其特点是能够以对象化的方式表征电网资源的继承、从属、关联等关系，易于理解，同时数据遍历时能够跳转到指定节点，访问效率高。此外采用BSON的弱对象方式与传统的基于JAVA类的对象方式相比，BSON弱对象能够根据用户指定的标签进行属性的定位，避免JAVA 类在属性匹配时候的反射操作，提高效率。

同时，对BSON存储的资源属性标签，采用一种统一的内存映射机制。其特点是将资源属性标签与自定义的简化标签进行一一映射，来减少每个资源对象属性标签的内存占用空间。若采用3个字符的数字与大小写字母组合的自定义标签，可映射62³（23.8万）个资源属性，这对于电网资源来说一般已经足够了。下面举例说明映射过程：

假设一个变电站资源对象，其BSON数据如下：

{

StationId: "19349a2bc32918d234a31332"

StationName:"东善桥变",

VoltageLevel:"220",

RegionId: "025"

RegionName:"南京"

GroupDeveice:[

{DeviceID:" 11234a2bd634513d265a38c75",DeviceName: "组合电器1"},

{DeviceID:" 32345a2bd32113d264a38375",DeviceName: "组合电器1"}

]

}

假设将上述的StationId映射为A00，StationName映射为A01,VoltageLevel映射为A02，RegionId映射为A03，RegionName映射为A04，DeviceID 映射为A05，DeveiceName映射为A06，则经过映射后的BSON数据，如下：

{

A00: "19349a2bc32918d234a31332"

A01:"东善桥变",

A02:"220",

A03: "025"

A04:"南京"

GroupDeveice:[

{ A05:" 11234a2bd634513d265a38c75",DeviceName: "组合电器1"},

{A06:" 32345a2bd32113d264a38375",DeviceName: "组合电器1"}

]

}

可以看出，映射后的对于属性标签的存储空间大大减少了，当用户提交查询请求时，首先将用户指定的资源属性映射为简化的标签，利用简化便签访问内存中的数据对象。

在步骤三中，对于***第二次启动，采用了一种增量加载的方式，其特点是每台缓存服务器会定期对内存数据进行快速序列化处理，并将序列化后的数据和当前时间戳保存到本地磁盘，下次加载时通过读取本地磁盘文件可获取上次序列化时的电网资源数据，然后根据时间戳，从数据库查询并加载上次序列化到目前的增量数据。对于百万级的数据，该方法与从数据库全量加载相比，能够提升几百倍的加载效率。

在步骤四中，采用一种高效的分布式排序算法来处理用户的分页查询请求，其特点是采用堆排序和归并排序算法分别处理分级查询和汇总排序，能够快速检索符合条件的记录，算法流程举例说明如下。

假设要查询全网的变压器数据，要求按投运年限进行降序排序，返回前100条数据，点下一页返回下100条数据。假设全国有m个省，每个省n个地市。

首先，按照步骤2中的数据划分方式，全网的查询统计任务被划分成如图2所示的一颗任务树，任务树上的每个节点，作为子任务被调度到数据所在的服务器运行。

每个省下面的n个地市查询，均采用堆排序方式，对本地市的变压器数据按照投运年限进行降序排序，取前100条数据，返回给各自的省任务。

每个省收到n个地市的100条查询结果后，由省任务采用归并排序算法，对n×100条记录进行排序，取前100条数据，返回给总部任务。

总部受到m个省的100条查询结果后，由总部任务采用归并排序算法，对m×100条记录进行排序，取前100条数据，返回给用户。

当用户点击下一页时，处理流程与上述基本相同，只是需要将当前100条记录中投运年限的最小值，作为查询任务的一部分进行提交，各地市公司查询前100条数据前，首先要滤除比该最小值大的数据记录。

因此，根据以上方法，可以构建本发明的面向资源管理的分布式内存电网***。该***的主要结构如图3所示，包括电网资源数据缓存及计算服务、电网资源数据地址索引管理服务、客户端代理组件：

（1）电网资源数据缓存及计算服务是核心，由分布式缓存与计算核心框架、电网资源缓存管理、电网断面管理及内存电网展示、数据同步、数据加载与持久化、内存电网应用接口服务等功能组成。

分布式缓存与计算核心框架，负责资源数据的哈希散列划分，同时负责将计算任务根据数据划分情况进行子任务拆分和调度，负责执行分配到本地的子任务，负责收集汇总其下属子任务的执行结果。

电网资源缓存管理负责根据业务资源数据模型，分配加载数据所需的内存空间，同时对内存的释放和碎片进行管理。

电网断面管理及内存电网展现，提供断面快速创建、多断面快速载入等功能，同时提供对载入内存的断面数据进行对比分析展现功能。

数据同步模块，提供数据库电网资源数据到内存电网资源数据的准实时同步，使得两者能够保持一致。

数据加载及持久化模块用于读取数据库中的电网资源数据，并按照事先设计的电网资源模型进行缓存，同时负责将缓存中的电网资源数据快速序列化到磁盘，以便下次能够从持久化文件快速加载电网资源数据。

内存电网应用接口服务用于接收业务信息***的电网资源访问请并进行处理。

（2）电网资源数据地址索引管理服务用于缓存所有电网资源对象所在的缓存服务器地址，并提供实时查询功能。

（3）客户端代理组件用于提供给业务***进行分布式内存电网资源访问接口调用的本地代理，主要包括电网资源查询统计接口代理、电网资源统计分析接口代理、电网断面管理接口代理。

虽然本发明已以较佳实施例公开如上，但实施例并不是用来限定本发明的。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰，同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

Claims (6)

1. 一种面向资源管理的分布式内存电网构建方法，其特征在于，包括以下步骤：

1）建立内存电网资源模型，建模时采用面向对象的方式，建模包括站内一次设备资源建模、站外一次设备资源建模和低压设备资源建模；

2）水平切割电网资源数据，采用基于业务属性的哈希散列方式，将具有不同业务属性值的电网资源数据映射到不同的数据块，具有相同业务属性值的电网资源数据映射到一同数据块，采用区域属性作为第一业务属性、电压等级作为第二属性进行哈希散列；

3）加载电网资源数据，在第一次启动时，根据数据的水平划分方式，将电网资源数据库中的数据按照步骤1）建立的模型进行加载，然后分布式缓存到集群中多个服务器内存中；当数据加载完成后，将缓存中的电网资源数据进行序列化，形成二进制文件保存在本地磁盘；当再次启动时，从本地文件直接读取电网数据，并从电网资源数据库读取从上次序列化到目前的增量数据；

4）创建电网资源地址索引，电网资源分布式缓存后，将缓存服务器IP地址、电网资源的区域属性值、电网资源电压等级值、占用空间和缓存所用时间信息发送到电网资源地址管理服务器中，管理服务器收集信息后创建索引表，进行缓存；

5）执行并行任务计算，将电网资源查询、计算任务按照区域属性和电压等级属性拆分成多级树形子任务，所有子任务根据区域属性和电压等级属性被调度到数据所在的缓存服务器并发执行；执行完毕后将结果返回给上级父任务，由父任务收集汇总所有子任务结果，并返回给其父节点，直至最顶层节点；

6）建立电网数据断面，通过定时和人工触犯方式，在指定的时间，对缓存服务中所有电网资源模型和数据进行快速序列化处理，生成多个二进制文件，利用HDFS分布式文件***进行永久、可靠存储，最终形成某一时刻的数据断面；

7）建立内存电网访问接口，内存电网接口用于向电网业务信息***提供数据物理位置无关的电网资源访问方式，包括电网断面接口、电网数据统计分析接口、数据查询接口，电网资源数据访问接口采用PRC远程调用协议，传输的数据为资源对象序列化后的二进制流。

2.根据权利要求1所述的面向资源管理的分布式内存电网构建方法，其特征在于，所述步骤1）中，在建模时采用基于BSON的弱对象建模和数据存储方式，以对象化的方式表征电网资源的继承、从属和关联关系。

3.根据权利要求2所述的面向资源管理的分布式内存电网构建方法，其特征在于，所述步骤1）中，对于BSON存储的资源属性标签，采用统一的内存映射机制，将资源属性标签与简化标签进行一一映射。

4.根据权利要求1所述的面向资源管理的分布式内存电网构建方法，其特征在于，所述步骤3）中，在第二次启动时，采用增量加载的方式，让每台缓存服务器定期对内存数据进行快速序列化处理，并将序列化后的数据和当前时间戳保存到本地磁盘，在下次加载时通过读取本地磁盘文件获取上次序列化时的电网资源数据，然后根据时间戳，从数据库查询并加载上次序列化到目前的增量数据。

5.根据权利要求1所述的面向资源管理的分布式内存电网构建方法，其特征在于，所述步骤4）中，采用分布式排序算法来处理用户的分页查询请求，通过堆排序和归并排序算法分别处理分级查询和汇总排序，以完成检索。

6.一种面向资源管理的分布式内存电网***，其特征在于，该***包括电网资源数据缓存及计算服务模块、电网资源数据地址索引管理服务模块和客户端代理组件模块，其中电网资源数据缓存及计算服务模块包括分布式缓存与计算核心框架模块、电网资源缓存管理模块、电网断面管理及内存电网展示模块、数据同步模块、数据加载与持久化模块、内存电网应用接口服务模块；各模块的功能如下：

分布式缓存与计算核心框架模块，用于负责资源数据的哈希散列划分，同时负责将计算任务根据数据划分情况进行子任务拆分和调度，负责执行分配到本地的子任务，负责收集汇总其下属子任务的执行结果；

电网资源缓存管理模块，用于负责根据业务资源数据模型，分配加载数据所需的内存空间，同时对内存的释放和碎片进行管理；

电网断面管理及内存电网展现模块，用于提供断面快速创建、多断面快速载入功能，同时提供对载入内存的断面数据进行对比分析展现功能；

数据同步模块，用于提供数据库电网资源数据到内存电网资源数据的准实时同步，使得两者能够保持一致；

数据加载及持久化模块，用于读取数据库中的电网资源数据，并按照事先设计的电网资源模型进行缓存，同时负责将缓存中的电网资源数据快速序列化到磁盘，以便下次能够从持久化文件快速加载电网资源数据；

内存电网应用接口服务模块，用于接收业务信息***的电网资源访问请并进行处理；

电网资源数据地址索引管理服务模块，用于缓存所有电网资源对象所在的缓存服务器地址，并提供实时查询功能；

客户端代理组件模块，用于提供给业务***进行分布式内存电网资源访问接口调用的本地代理，包括电网资源查询统计接口代理、电网资源统计分析接口代理、电网断面管理接口代理。