CN104394209A - 一种用于分布式能源管理的实时库数据传输方法 - Google Patents

Abstract

本发明公开了一种用于分布式能源管理的实时库数据传输方法，基于分布式实时库实现，整个分布式实时库由多个单机实时库节点组成。每个节点既可独立运行也可共同组成一个分布式实时库。多个实时库节点相互通讯，通过消息中心使用发布/订阅模型提供访问接口，组成一个物理上分布式运行，逻辑上单一的分布式实时库***。每个实时库节点的地位都是相同的，不存在关键节点，从而提高了整个实时库的可靠性，某个节点故障不影响整个实时库，从而解决了大规模的分布式能源管理***中的智能设备多、采集数据量大、单台监控***实时库不易部署造成的通讯不便问题。

Description

一种用于分布式能源管理的实时库数据传输方法

技术领域

本发明属于分布式能源管理领域，具体涉及一种用于分布式能源管理的实时库数据传输方法。

背景技术

随着分布式能源的大力发展，分布式能源的管理也变得日趋重要。分布式能源管理***中各种智能设备的使用也越来越多，大量的智能设备接入到***中，给实时库带来了巨大压力。为了提高实时库的处理性能，一类方法是通过提升硬件性能来提高单机实时库的处理能力，另一类方法是通过多个节点来分散单机实时库压力。前者在数据量规模一定时，性能上优势较好，但扩容时则会造成不便，所以设计时需要考虑扩容、冗余等因素，因此硬件成本较大。后者则较易于扩容，但由于通过网络等方式进行分布式部署，所以处理速度上相对于前者有一定的劣势，但硬件成本低。

由于分布式能源管理***的管理对象相对于变电站来说比较分散，且***扩容的可能性也较大，同时分布式能量管理***的实时性相对于变电站***来说要求较低，因此本发明提供一种采用分布式实时库的数据传输方法。

发明内容

本发明的目的是提供一种用于分布式能源管理的实时库数据传输方法，以解决大规模的分布式能源管理***中的智能设备多、采集数据量大、单台监控***实时库不易部署造成的通讯不便问题。

为了实现以上目的，本发明所采用的技术方案是：一种用于分布式能源管理的实时库数据传输方法，该方法包括上行数据传输和下行数据传输：

上行数据传输包括如下步骤：

(1)智能设备访问服务收到来自具体智能设备的实时数据，并将解析后的实时数据封装为消息发送到消息中心；

(2)消息中心将消息转发到订阅者：内存实时库收到实时数据更新的消息，更新内存实时库；消息中心适配器收到实时数据更新的消息，将消息包装后发送到网络；

(3)其他节点的消息中心适配器收到实时数据更新消息，解析后发送到该节点本地的消息中心，由本地的消息中心将消息转发到其订阅者；

下行数据传输包括如下步骤：

ⅰ、实时库客户端产生了下发到智能设备的命令，将命令封装为消息发送到消息中心；

ⅱ、消息中心将消息转发到订阅者：内存实时库收到下发命令的消息，更新内存实时库；本地智能设备访问服务收到下发命令的消息，将其转换为具体智能设备支持的协议格式，下发到具体的设备；消息中心适配器收到下发命令的消息，将消息包装后发送到网络；

ⅲ、其他节点的消息中心适配器收到下发命令的消息，解析后发送到该节点本地的消息中心，由本地的消息中心将消息转发到其订阅者。

该方法还包括报警数据传输，包括如下步骤：

①、在实时库节点配置报警服务，报警服务根据配置订阅相关的本地实时数据；

②、报警服务收到相应数据更新的消息时，检查报警规则，如果触发报警规则，则产生一个报警消息发送到消息中心；

③、消息中心将消息转发到订阅者：消息中心适配器收到报警消息后，将消息包装后发送到网络；

④、其他节点的消息中心适配器收到报警消息，解析后发送到该节点本地的消息中心，由本地的消息中心将消息转发到其订阅者。

该方法还包括动态扩展实时库节点，包括如下步骤：

Ⅰ、使用配置工具同步已有节点配置，同时新增节点及其相关配置；

Ⅱ、保存配置到新节点后，自动修改配置文件，配置同步服务检测到配置文件变化自动将配置文件拆分成N个消息发送到消息中心；

Ⅲ、消息中心将消息转发到订阅者：消息中心适配器收到配置同步消息后，将消息包装后发送到网络；

Ⅳ、其他节点的消息中心适配器收到配置同步消息，解析后发送到该节点本地的消息中心，由本地的消息中心将消息转发到其订阅者；

Ⅴ、其他节点的配置同步服务收到消息后，检查配置文件消息是否完整，当所有消息都已正确接收后，将配置文件还原到本地。

该方法还包括历史数据传输存储，包括如下步骤：

㈠、在实时库节点配置历史存储服务，历史存储服务根据配置订阅存储的测点、逻辑组和报警；

㈡、历史数据存储服务通过消息中心收到所订阅的数据，根据存储规则进行持久化处理。

消息中心适配器作为消息中心的代理，将本地消息包装后发送到网络，实时库节点之间采用链路层组播或UDP组播进行通讯。

实时库节点通过配置工具管理和维护实时库节点的所有配置，包括服务配置、数据模型配置、设备模型配置、报警模型配置。

实时库节点通过配置同步服务来实现各节点间配置的同步，配置同步服务将实时监测本地配置，一旦发生改变则立即通过消息中心发布配置信息，通知其他节点配置发生改变。

实时库节点配置智能缓存服务，提供直接访问该实时库节点的接口，当访问的数据本地实时库已存在，则直接返回本地实时库的值，若不存在则在磁盘缓存中查找，若找到则返回磁盘缓存中的值，如果磁盘缓存也不存在，智能缓存服务将在本地实时库中添加该数据的信息点并进行初始化，检查是否已订阅该数据所在的分组，如果未订阅则进行自动订阅，如果已订阅但未更新，则发送召唤命令消息，要求立即将数据上送。

本地内存实时库不订阅其他节点的实时数据、下发命令消息和报警消息；智能缓存服务不订阅其他节点的下发命令消息。

本发明用于分布式能源管理的实时库数据传输方法基于分布式实时库实现，整个分布式实时库由多个单机实时库节点组成。每个节点既可独立运行也可共同组成一个分布式实时库。多个实时库节点相互通讯，通过消息中心使用发布/订阅模型提供访问接口，组成一个物理上分布式运行，逻辑上单一的分布式实时库***。每个实时库节点的地位都是相同的，不存在关键节点，从而提高了整个实时库的可靠性，某个节点故障不影响整个实时库，从而解决了大规模的分布式能源管理***中的智能设备多、采集数据量大、单台监控***实时库不易部署造成的通讯不便问题。

该方法采用链路层组播和UDP组播技术提高网络传送的效率，通过特有的消息发送方式来保障数据传输的可靠性，减少了TCP通讯的资源消耗，提高了数据网络传输的速度，降低了访问网络节点数据的延迟。

访问网络实时库节点的数据时，通过智能缓存技术加速访问网络数据，提高从本地访问其他节点网络数据的速度，既降低了客户端获取数据的延迟，也因此不需要把所有数据都放入到本机内存中，降低了单机节点的硬件成本。

实时库节点的扩展十分方便，当有新的实时库节点增加或配置改变时，都能够主动在线通知其他节点，以达到配置同步的目的，并且不影响***正常运行。

通过在实时库节点布置报警服务和历史存储服务，实现报警信息的传输，同时每个实时库节点部署了历史数据存储服务后都可以成为历史库节点，如果每个实时库节点都变成历史库节点，则可以再部署分布式实时库的同时进行分布式历史存储，进一步节约历史存储的成本。

附图说明

图1为分布式实时库单个节点内部模块及数据流示意图。

具体实施方式

下面结合附图及具体的实施例对本发明进行进一步介绍。

如图1所示为本发明分布式实时库单个节点内部模块及数据流示意图，由图可知，整个分布式实时库由多个单机实时库节点组成。每个节点既可独立运行也可共同组成一个分布式实时库。多个实时库节点通过链路层组播技术和UDP组播技术实现节点间的通讯，通过消息中心使用发布/订阅模型提供访问接口，通过智能缓存技术加速访问网络数据，从而组成一个物理上分布式运行，逻辑上单一的分布式实时库***。每个实时库节点上包括内存实时库、消息中心、消息中心适配器、智能缓存服务、配置同步服务、报警服务、智能设备访问服务、历史数据存储服务、服务管理器、配置工具和监视工具(图中未示出)等几个组成部分，根据节点所担当的角色可以配置运行不同的服务。

首先，通过配置工具进行建模。配置工具用于管理和维护实时库节点的所有配置，包括服务配置、数据模型配置、设备模型配置、报警模型配置等。使用配置工具搜索已存在的实时库节点，并主动下载它们的配置，然后使用配置工具添加实时库节点，为每个节点配置需要运行的服务，在每个实时库节点上建立数据访问模型，建立报警模型和规则，需要进行历史存储的节点需要建立存储模型和规则，将配置写入到各个节点的配置库中。

其次，通过服务管理器启动其他服务。服务管理器是实时库节点管理自身服务进程的基础服务，负责启动、守护和监视其他服务进程。每个节点首先启动服务管理器，服务管理器根据配置启动相应的服务。内存实时库、消息中心和消息中心适配器及配置同步服务是基础服务，每个节点都需要运行；智能设备访问服务、报警服务、智能缓存服务和历史存储服务是可选服务。

每个实时库节点拥有独立的内存实时库和消息中心服务，内存实时库通过本地的消息中心使用发布/订阅模型提供访问接口，并且每个节点都可以作为独立的实时库工作。

各实时库节点提供内部及外部访问接口。消息中心使用订阅/发布模型提供访问接口，内存实时库则通过API直接提供访问接口，实时库内部服务通过这两种接口方式访问本机的实时数据，高级应用则通过分布式实时库API库统一提供访问接口。

实时库节点通过消息中心适配器实现各个节点之间的消息通讯。消息中心适配器作为消息中心的代理，会订阅所有类型的消息，并根据网络环境将本地消息包装后选择使用链路层组播驱动或传输层UDP组播驱动来向网络发送本地消息。在网络结构简单时，使用链路层组播技术，在网络结构较复杂时(有多个不同的网络组成)使用UDP组播技术。消息中心适配器在订阅并接收到其他节点的消息后，会根据配置的本地节点的订阅规则，首先过滤消息，将符合订阅规则的消息转发到本地消息中心。

实时库节点通过配置同步服务来实现各节点间配置的同步。配置同步服务将实时监测本地配置，一旦发生改变则立即通过消息中心发布配置信息，从而通知其他节点配置发生改变。配置同步服务将负责把其它节点的配置同步到本地节点，并把每个节点的配置整合，以供客户端通过本节点访问实时库时能够了解整个分布式实时库所有信息。

实时库节点通过智能缓存技术提高从本地访问其他节点网络数据的速度。智能缓存服务提供直接访问分布式实时库的接口，当访问的数据本地实时库已存在，则直接返回本地实时库的值，若不存在则在磁盘缓存中查找，若找到则返回磁盘缓存中的值，如果磁盘缓存也不存在，智能缓存服务将在本地实时库中添加该数据的信息点并进行初始化，检查是否已订阅该数据所在的分组，如果未订阅则进行自动订阅，如果已订阅但未更新，则发送召唤命令消息，要求立即将数据上送。智能缓存服务通过智能分析数据访问频率，自动决定哪些数据缓存在内存实时库中，哪些数据缓存在磁盘中，并根据频率变化自动动态改变数据缓存的分布。

智能设备访问服务用于与具体的智能设备通讯，将获取的实时数据通过消息中心发布，并订阅相关的命令消息，将接收到的各种命令转发给具体的智能设备来执行。

实时库节点也可以提供报警和历史存储服务。报警服务是报警生产者，根据所配置的模型和规则产生报警消息。历史存储服务是根据配置的存储模型选择订阅相关的数据(历史数据存储服务不使用智能缓存服务来访问消息中心)，并将订阅的数据进行持久化。每个实时库节点部署了历史数据存储服务后都可以成为历史库节点，如果每个实时库节点都变成历史库节点，则可以再部署分布式实时库的同时进行分布式历史存储，进一步节约历史存储的成本。

本发明中的监视工具用于管理和监视实时库节点的所有服务。

实时库的数据模型中，每个测点除了隶属于实际设备外，还可以同时隶属于多个逻辑组，每个逻辑组是可嵌套的定义的，逻辑组是跨节点的，在整个分布式实时库全局有效，并不局限在单个节点内。

实时库节点的上行数据流程的步骤为：

(1)智能设备访问服务收到来自具体智能设备的实时数据(只读测点)，并将解析后的实时数据封装为消息发送到消息中心；

(2)消息中心将消息转发到订阅者：内存实时库收到实时数据更新的消息，更新内存实时库；消息中心适配器收到实时数据更新的消息，将消息包装后发送到多播组；

(3)其他节点的消息中心适配器通过多播组收到实时数据更新消息，解析后发送到该节点本地的消息中心，由本地的消息中心将消息转发到其订阅者，但本地内存实时库并不订阅其他节点的实时数据消息。

另外，智能缓存服务收到订阅到的其他节点的实时数据更新消息，查找测点数据当前的存储规则，将其更新到内存实时库或者磁盘缓存中。

下行数据传输包括如下步骤：

ⅰ、实时库客户端产生了下发到智能设备的命令(可写的测点)，将命令封装为消息发送到消息中心；

ⅱ、消息中心将消息转发到订阅者：内存实时库收到下发命令的消息，更新内存实时库；本地智能设备访问服务收到下发命令的消息，将其转换为具体智能设备支持的协议格式，下发到具体的设备；消息中心适配器收到下发命令的消息，将消息包装后发送到多播组；

ⅲ、其他节点的消息中心适配器收到下发命令的消息，解析后发送到该节点本地的消息中心，由本地的消息中心将消息转发到其订阅者，通过智能设备访问服务将命令转发到具体执行的设备上；但本地内存实时库与智能缓存服务并不订阅其他节点的下发命令的消息。

实时库节点的报警流程的步骤为：

①、在实时库节点配置报警服务，报警服务根据配置订阅相关的本地实时数据(包括只读与可写)；

②、报警服务收到相应数据更新的消息时，检查报警规则，如果触发报警规则，则产生一个报警消息发送到消息中心；

③、消息中心将消息转发到订阅者：消息中心适配器收到报警消息后，将消息包装后发送到网络；

④、其他节点的消息中心适配器收到报警消息，解析后发送到该节点本地的消息中心，由本地的消息中心将消息转发到其订阅者；该报警消息不更新到内存实时库中，只通过消息中心发布和订阅。

动态扩展实时库节点的步骤为：

Ⅰ、使用配置工具同步已有节点配置(若是第一个节点则同步不到任何配置)，同时新增节点及其相关配置，包括数据访问模型(智能设备、测点和逻辑组)、报警模型等；

Ⅱ、保存配置到新节点后，自动修改配置文件，配置同步服务检测到配置文件变化自动将配置文件拆分成N个消息发送到消息中心；

Ⅲ、消息中心将消息转发到订阅者：消息中心适配器收到配置同步消息后，将消息包装后发送到网络；

Ⅳ、其他节点的消息中心适配器收到配置同步消息，解析后发送到该节点本地的消息中心，由本地的消息中心将消息转发到其订阅者；

Ⅴ、其他节点的配置同步服务收到消息后，检查配置文件消息是否完整，当所有消息都已正确接收后，将配置文件还原到本地。

历史数据存储流程具的步骤为：

㈠、在实时库节点配置历史存储服务，历史存储服务根据配置订阅存储的测点、逻辑组和报警；

㈡、历史数据存储服务通过消息中心收到所订阅的数据，根据存储规则进行持久化处理。

以上实施例仅用于帮助理解本发明的核心思想，不能以此限制本发明，对于本领域的技术人员，凡是依据本发明的思想，对本发明进行修改或者等同替换，在具体实施方式及应用范围上所做的任何改动，均应包含在本发明的保护范围之内。

Claims (9)

1.一种用于分布式能源管理的实时库数据传输方法，其特征在于：该方法包括上行数据传输和下行数据传输：

上行数据传输包括如下步骤：

(1)智能设备访问服务收到来自具体智能设备的实时数据，并将解析后的实时数据封装为消息发送到消息中心；

(2)消息中心将消息转发到订阅者：内存实时库收到实时数据更新的消息，更新内存实时库；消息中心适配器收到实时数据更新的消息，将消息包装后发送到网络；

(3)其他节点的消息中心适配器收到实时数据更新消息，解析后发送到该节点本地的消息中心，由本地的消息中心将消息转发到其订阅者；

下行数据传输包括如下步骤：

ⅰ、实时库客户端产生了下发到智能设备的命令，将命令封装为消息发送到消息中心；

ⅱ、消息中心将消息转发到订阅者：内存实时库收到下发命令的消息，更新内存实时库；本地智能设备访问服务收到下发命令的消息，将其转换为具体智能设备支持的协议格式，下发到具体的设备；消息中心适配器收到下发命令的消息，将消息包装后发送到网络；

ⅲ、其他节点的消息中心适配器收到下发命令的消息，解析后发送到该节点本地的消息中心，由本地的消息中心将消息转发到其订阅者。

2.根据权利要求1所述的用于分布式能源管理的实时库数据传输方法，其特征在于：该方法还包括报警数据传输，包括如下步骤：

①、在实时库节点配置报警服务，报警服务根据配置订阅相关的本地实时数据；

②、报警服务收到相应数据更新的消息时，检查报警规则，如果触发报警规则，则产生一个报警消息发送到消息中心；

③、消息中心将消息转发到订阅者：消息中心适配器收到报警消息后，将消息包装后发送到网络；

④、其他节点的消息中心适配器收到报警消息，解析后发送到该节点本地的消息中心，由本地的消息中心将消息转发到其订阅者。

3.根据权利要求1所述的用于分布式能源管理的实时库数据传输方法，其特征在于：该方法还包括动态扩展实时库节点，包括如下步骤：

Ⅰ、使用配置工具同步已有节点配置，同时新增节点及其相关配置；

Ⅱ、保存配置到新节点后，自动修改配置文件，配置同步服务检测到配置文件变化自动将配置文件拆分成N个消息发送到消息中心；

Ⅲ、消息中心将消息转发到订阅者：消息中心适配器收到配置同步消息后，将消息包装后发送到网络；

Ⅳ、其他节点的消息中心适配器收到配置同步消息，解析后发送到该节点本地的消息中心，由本地的消息中心将消息转发到其订阅者；

Ⅴ、其他节点的配置同步服务收到消息后，检查配置文件消息是否完整，当所有消息都已正确接收后，将配置文件还原到本地。

4.根据权利要求1所述的用于分布式能源管理的实时库数据传输方法，其特征在于：该方法还包括历史数据传输存储，包括如下步骤：

㈠、在实时库节点配置历史存储服务，历史存储服务根据配置订阅存储的测点、逻辑组和报警；

㈡、历史数据存储服务通过消息中心收到所订阅的数据，根据存储规则进行持久化处理。

5.根据权利要求1所述的用于分布式能源管理的实时库数据传输方法，其特征在于：消息中心适配器作为消息中心的代理，将本地消息包装后发送到网络，实时库节点之间采用链路层组播或UDP组播进行通讯。

6.根据权利要求1所述的用于分布式能源管理的实时库数据传输方法，其特征在于：实时库节点通过配置工具管理和维护实时库节点的所有配置，包括服务配置、数据模型配置、设备模型配置、报警模型配置。

7.根据权利要求1所述的用于分布式能源管理的实时库数据传输方法，其特征在于：实时库节点通过配置同步服务来实现各节点间配置的同步，配置同步服务将实时监测本地配置，一旦发生改变则立即通过消息中心发布配置信息，通知其他节点配置发生改变。

8.根据权利要求1所述的用于分布式能源管理的实时库数据传输方法，其特征在于：实时库节点配置智能缓存服务，提供直接访问该实时库节点的接口，当访问的数据本地实时库已存在，则直接返回本地实时库的值，若不存在则在磁盘缓存中查找，若找到则返回磁盘缓存中的值，如果磁盘缓存也不存在，智能缓存服务将在本地实时库中添加该数据的信息点并进行初始化，检查是否已订阅该数据所在的分组，如果未订阅则进行自动订阅，如果已订阅但未更新，则发送召唤命令消息，要求立即将数据上送。

9.根据权利要求8所述的用于分布式能源管理的实时库数据传输方法，其特征在于：本地内存实时库不订阅其他节点的实时数据、下发命令消息和报警消息；智能缓存服务不订阅其他节点的下发命令消息。