CN110022226B - 一种基于面向对象的数据采集***及采集方法 - Google Patents

Abstract

本发明公开了一种基于面向对象的数据采集***及采集方法，涉及电力***数据采集领域。目前，电能采集过程中出现的拓展性、复用性和灵活性方面不足。本发明包括网关集群、通信前置集群、业务处理器集群、数据总线、入库服务模块、海量数据分析模块、数据存储模块；本技术方案采用分布式弹性架构设计，运用流处理、消息中间件、分布式存储与并行计算等技术，重构电力数据采集***，从存储能力、计算性能、数据处理速度和智能分析等方面进行极大地提升，为支撑用电营销智能分析、服务业务创新、拓展专业应用和提高供电服务水平等方面提供了有力保障。

Description

一种基于面向对象的数据采集***及采集方法

技术领域

本发明涉及电力***数据采集领域，尤其涉及一种基于面向对象的数据采集***及采集方法。

背景技术

目前采集***的通信协议因各种拓展而很不统一，导致电能采集通信过程中增加了大量不必要的规约转换工作，对实现互操作带来了困难，严重制约了未来智能电网下电量信息的高度智能化应用。同时，传统的通信协议主要是面向业务的数据型协议，对于电能采集中日趋多样化的采集任务需求，在其拓展性、复用性和灵活性方面逐渐显现出一些不足。

在采集数据时，传统1376.1规约下只允许按照已有规则进行数据采集，例如日冻结正向有功总电能量，必须通过规定的0DF005编码去采集，电能采集过程中出现的拓展性、复用性和灵活性方面不足。

发明内容

本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供一种基于面向对象的数据采集***及采集方法，以达到提高拓展性、复用性和灵活性的目的。为此，本发明采取以下技术方案。

一种基于面向对象的数据采集***，包括网关集群、通信前置集群、业务处理器集群、数据总线、入库服务模块、海量数据分析模块、数据存储模块；

网关集群，用于将采集设备接入电力数据采集***，并维护终端通讯链路和原始报文的收发，所述的采集设备包括专变负控终端、配变监测终端、低压集中器；

通信前置集群，与网关集群相连，用于原始数据报文的分发调度，并将原始数据报文推送至分布式消息队列中；通信前置集群对报文的分发调度基于设备地址域算法实现策略分发，通过监控业务处理器集群各节点的运行状况实现分发策略的动态调整；通过心跳握手机制监控前置业务处理器各节点的运行状况，针对节点新增、节点故障及故障节点恢复三种场景分别按照“新增节点分发策略”、“节点故障时分发策略”和“故障节点恢复时分发策略进行动态调整，并把本节点上的终端地址按地址域算法分发给指定业务处理器节点，以减少且均衡加载***档案，降低程序对服务器内存配置要求；

业务处理器集群，与通信前置模块相连，用于通讯规约解析，并与分布式消息队列进行交互；即从消息队列获取下行请求并组成下行帧，将通信前置的原始数据报文进行规约解析并将解析结果推送至分布式消息队列中，

数据总线模块，用于支撑上下行通信交互信息的时序化和持久化；采用高吞吐量的分布式Kafka消息队列，充分利用Kafka服务的主题和主题分区，将发布者主题和主站应用集群、业务处理器集群相关联，统一管理主站应用产生的下行请求数据和终端上行数据的收/发；

入库服务模块，用于从消息队列获取数据批量存入关系型数据库；采用分布式大数据框架Hadoop和传统关系型数据库Oracle结合的方式以适应海量数据的分析和存储；

海量数据分析模块，通过基于分布式文件***的大数据框架实现业务数据的实时计算、离线分析，为进一步深度挖掘提供技术支撑；

数据存储模块，用于存储全部业务数据、档案数据、原始数据，为***提供基本数据支持和计算服务；其分为主生产库、灾备库、历史库、数据发布库，并按业务和存储时限做分库策略以降低单点数据库的访问压力。

对海量数据的存储，根据不同的数据使用属性将关系型数据库划分为主生产库、灾备库、历史库、数据发布库，保障采集数据安全稳定、降低生产库的数据访问压力、提升数据发布效率，并按业务和存储时限做分库策略以降低单点数据库的访问压力。

作为优选技术手段：通信前置机把现场所有终端设备地址域划按一定规则划分为多个区间，设备地址按下行Topic的数量取模得到对应组地址域区间；下行Topic与地址域区间之间存在映射关系，前置业务处理器节点对地址域区间的管理，也即对下行Topic的管理；初始化地址域分配策略按业务前置处理服务节点数量取模，节点新增、节点故障及故障节点恢复时分别按照“新增节点分发策略”、“节点故障时分发策略”和“故障节点恢复时分发策略”实现动态调整，将分配信息及时更新至Zookeeper分布式服务***，以降低程序内存加载，提高程序集群扩展能力。

作为优选技术手段：A)节点新增/扩容时的分发策略为：

A01)对每个业务处理器节点所分配的Topic按照Topic编码进行排序，并计算该节点当前处理的Topic总数；

A02)对业务处理器节点根据Topic总数进行排序；

A03)计算每个业务处理器节点能处理Topic的平均值，Topic总数除以业务处理器节点总数；

A04)将节点中Topic数量大于AvgTopic的所有业务处理器节点的多余Topic取出，取出规则：A05)优先选择步骤A02)排序较大的业务处理器节点中Topic编码较大的Topic；

A06)将步骤A04)中取出的Topic优先分配给新增的业务处理器节点，使新增节点的Topic数约平均值；若仍有未分配的Topic则对所有节点进行取模分配；

A07)其他节点中删除被分配走的Topic信息。

作为优选技术手段：B)节点故障时的分发策略为：

B01)对前置业务处理器节点按照Topic数量进行排序；

B02)Topic总数除以当前运行的前置业务处理器节点总数，得到当前运行的每个业务处理器节点处理Topic的平均值；

B03)根据平均值计算当前运行的每个业务处理器节点可新增的Topic数量：由b计算得的均值-现有的Topic数；

B04)将因节点故障引起的待分发Topic按照节点新增/扩容时的分发策略的计算值依次分发给排序小的业务处理器节点。

作为优选技术手段：C)故障节点恢复时分发策略为：

C01)恢复的业务处理器节点按照初始化时的分配策略加载对应的Topic；

C02)从其他业务处理器节点定时删除这些被归还给恢复节点的Topic信息。

作为优选技术手段：入库服务模块对采集数据进行即采即校、实时修复的方式，运用流处理技术，实现对采集负荷、电能示值数据进行实时检查、校验，并对问题数据进行标记，对异常负荷数据进行修复；针对问题数据通过功率估值、ARIMA算法和营销发行电量进行修复，保证数据的合理性、一致性、逻辑性，通过及时发现、标注无效和失真数据，提高***数据质量；运用流处理技术实现电能量数据、告警事件的实时监测与分析；所述流处理技术采用实时计算的框架，采用Hbase+Storm，Storm实时计算框架负责从消息队列中获取原始数据和报文数据入HBase分布式数据库。

作为优选技术手段：海量数据分析模块通过大数据分布式内存并行计算框架，实现按小时对采集成功率指标、各类用户电量和负荷、线损计算、配变运行监测、移动运营商信道质量监测、终端在线率进行统计，以满足各级单位业务管控需求；准实时分析框架采用Hive+Spark，Spark离线计算框架实现将原始数据导入Hive数据仓库执行海量数据的统计分析业务及数据挖掘。

本发明的另一个发明目的为提供一种基于面向对象的数据采集方法，其特征在于：

1)当采集主站需要对终端、测量点进行设置、召测操作时，包括以下步骤：

101)Oracle主生产库从营销***同步基础数据，主要存储全部业务数据、档案数据、原始数据，为采集主站提供数据查询；

102)采集主站发起下行请求，可根据不同操作类型设置不同Key发布到Kafka服务的下行Topic中，并将操作命令id存入Redis缓存中；

103)下行Topic内的消息按照Key和算法被分区存储，不同的分区可定义不同的优先级，如配置优先级最高的分区处理控制类下行请求、优先级次之的分区处理设置类下行请求、其他优先级的分区处理召测/中继类下行请求；

104)业务处理器节点从Redis缓存服务器中加载和同步指定终端的档案信息，从Kafka服务订阅下行队列的消息，根据不同的Partition优先级执行，组成下行请求报文帧，分发给通信前置集群，并将下行报文推送至Kafka中的报文Topic中；

105)通信前置集群按调度分发策略发送给通信网关集群；

106)通信网关将下行请求发送给终端设备；

107)终端返回操作结果，经通信网关、通信前置集群由业务处理器进行报文解析并将操作结果返回给Redis中该终端对应的操作命令id；

108)采集主站从Redis中根据该终端对应的操作命令id获取操作结果；

2)当需要电能量数据采集时，包括以下步骤：

201)将任务类数据、异常事件数据以报文的形式上送至网关集群；

202网关集群按负载均衡策略分发给通信前置集群；

203)按照调度分发策略将原始报文数据分发至业务处理器集群；

204)器节点从Redis缓存服务器中加载和同步指定终端的档案信息，解析上行原始报文数据，并将解析结果、原始报文数据等信息推送至相应的Kafka消息队列中；即，解析结果推送至上报数据Topic中，原始报文数据推送至报文Topic；

205)库服务从Kafka服务订阅消息，Storm实时计算框架从Kafka消息队列获取原始报文数据、电能量数据等存入HBase分布式数据库；Spark离线计算框架将原始数据导入Hive数据仓库执行复杂的统计分析和数据挖掘；数据入库服务将原始报文数据、电能量数据批量存入关系型数据库；

206)从云平台快速查询电能量数据采集明细、采集成功率等；

207)le主生产库从营销***同步基础数据，主要存储全部业务数据、档案数据、原始数据，为采集主站提供数据查询；

3)要进行电能量数据补全时，包括以下步骤

301)通过多种通讯方式将电能量数据以报文形式上送至通信网关集群；

302)通信网关集群按照负载均衡分发策略发送给通信前置集群；

303)前置集群通过调度分发策略分发至业务处理器集群；

304)业务处理器节点从Redis缓存服务器中加载和同步指定终端的档案信息，解析上行原始报文数据，并将解析结果、原始报文数据等信息推送至相应的Kafka消息队列中；即，解析结果推送至上报数据Topic中，原始报文数据推送至报文Topic；

305)流计算服务Storm从Kafka服务订阅消息，实时获取电能量数据，实时存入HBase分布式数据中的任务数据打点表；

306)当为实时漏点补招时，Spark RDD定时执行漏点审计任务，即根据漏点补招策略对HBase中打点表进行漏点审计，并根据终端通讯状态形成相应漏点请求，推送至Kafka服务的下行Topic中供业务处理器获取下发，从而实现实时漏点补招；

307)当为手工漏点补招时，Spark RDD定时任务从Oracle数据库中读取到补招策略后执行漏点审计任务，并根据终端通讯状况形成相应漏点请求，推送至Kafka消息服务供业务处理器获取下发，实现漏点补招。

作为优选技术手段：在对于终端事件的采集时，根据事件的轻重缓急定义不同级别的采集模板，指定不同的上报频率；不仅能够更合理的分配信道资源，降低终端处理器不必要的开销，同时可以协助管理人员分析、处理异常事件、提升管理效率。

作为优选技术手段：数据采集包括对专变数据的采集、低压I型集中器数据采集、低压II型集中器数据采集；

一)专变数据采集：

专变采集日冻结有功电能时，终端采集电表执行频率为1日，终端上报数据的频率为12小时，数据分类为日冻结数据，数据项包括当前一象限无功电能示值数据块，当前四象限无功电能示值数据块，当前正向有功电能示值数据块，当前反向有功电能示值数据块；

专变采集96点负荷曲线时，终端采集电表和上报数据的执行频率为15分钟，数据分类为实时数据，数据项包括电压数据块，电流数据块，有功功率，当前一象限无功电能示值数据块，当前四象限无功电能示值数据块，正向有功总电能量，功率因数；

二)低压I型集中器数据采集：

低压I型集中器采集日冻结有功电能时，终端采集电表执行频率为1日，终端上报数据的频率为12小时，数据分类为日冻结数据，采集和上报数据项包括当前正向有功电能示值数据块，当前反向有功电能示值数据块；

低压I型集中器采集96点负荷曲线时，终端采集电表和上报数据的执行频率为6小时，数据分类为分钟冻结数据，若安装的是三相电能表，则数据项为电压数据块、电流数据块、功率因素、有功功率、正向有功总电能量，若安装的是单相电能表，则数据项为A相电压、A相电流、功率因素、正向有功总电能量、有功功率、N线电流；

三)低压II型集中器数据采集：

低压II型集中器采集日冻结有功电能时，与I型集中器同，即下发同样的采集方案模板和上报方案模板；

低压II型集中器采集96点负荷曲线时，终端采集电表和上报数据的执行频率为15分钟，数据分类为实时数据，若安装的是三相电能表，则数据项为电压数据块、电流数据块、功率因素、有功功率、正向有功总电能量，若安装的是单相电能表，则数据项为A相电压、A相电流、功率因素、正向有功总电能量、有功功率、N线电流。

有益效果：

一、本技术方案采用分布式弹性架构设计，运用流处理、消息中间件、分布式存储与并行计算等技术，重构电力数据采集***，从存储能力、计算性能、数据处理速度和智能分析等方面进行极大地提升，为支撑用电营销智能分析、服务业务创新、拓展专业应用和提高供电服务水平等方面提供了有力保障。

二、本技术方案基于面向对象通讯协议特性，可设多套数据采集方法，相对于传统的采集模式，在数据采集的效率、灵活性以及损耗方面，都有显著的提升效果：

1、当将基础数据的采集方案划分为采集方案和上报方案，分别定义终端采集电表的规则和终端数据上报的规则，具有如下二方面的优点：

(1)实现了灵活的数据采集方式(实时采、打包采)、上报数据的周期和频率，实现本地通信流量错峰、减少采集漏点有着显著的作用；

(2)可选择性配置数据采集和数据上报，对于支撑设备本地业务的部分数据项(例如时钟巡测、本地补抄)，可做到只采不报，有效提升了现场设备服务的多样性和数据采集质量。

2、针对电能表类型可配置不同的采集数据项，例如三相表采集电流数据块和电压数据块(A、B、C)，单相表仅采集A相电流和A相电压，相对于传统所有表都采集A、B、C三相电压和电流，有效的降低了流量的损耗。

3、对于终端事件的采集，可根据事件的轻重缓急定义不同级别的采集模板，指定不同的上报频率，不仅能够更合理的分配信道资源，降低终端处理器不必要的开销，同时可以协助管理人员分析、处理异常事件、提升管理效率。

本技术方案实现动态调整，以减少且均衡加载***档案，降低程序对服务器内存配置要求。

海量数据存储架构重在“内存化、云化、分工专业化”，实现电能量数据集成融合和高效管理。

对海量数据的分析，采用大数据云平台通过基于分布式文件***的大数据框架实现业务数据的实时计算、离线分析。

离线分析框架优选的采用Hive+Spark，Spark离线计算框架实现将原始数据导入Hive数据仓库执行海量数据的统计分析业务及数据挖掘。

对海量数据的存储，根据不同的数据使用属性将关系型数据库划分为主生产库、灾备库、历史库、数据发布库，保障采集数据安全稳定、降低生产库的数据访问压力、提升数据发布效率，并按业务和存储时限做分库策略以降低单点数据库的访问压力。

附图说明

图1为本发明结构框图；

图2为本发明的主站设置、召测的流程图；

图3为本发明的电能量数据采集的流程图；

图4为本发明的对电能量数据补全的流程图；

具体实施方式

以下结合说明书附图对本发明的技术方案做进一步的详细说明。

如图1所示，一种基于面向对象的数据采集***包括网关集群、通信前置集群、业务处理器集群、数据总线、入库服务模块、海量数据分析模块、数据存储模块。

本技术方案采用分布式弹性架构设计，运用流处理、消息中间件、分布式存储与并行计算等技术，重构电力数据采集***，从存储能力、计算性能、数据处理速度和智能分析等方面进行极大地提升，为支撑用电营销智能分析、服务业务创新、拓展专业应用和提高供电服务水平等方面提供了有力保障。

本技术方案具有以下特点：

1.采用弹性架构重构通信程序，满足不断增长用户规模和采集需求：运用大数据技术对用电信息采集***的架构进行重新设计，采用分布式弹性架构设计：一是通信网关与采集前置机利用消息缓存作为总线，进行报文通信；二是前置机业务处理器仅对报文进行规约解析，并将数据写入消息缓存；三是存储架构重在“内存化、云化、分工专业化”，引入NOSQL存储、数据量大、存储管理能力多样，云平台流式计算和离线分析服务集群进行事件分析、数据校验、修复等操作，关系数据库根据不同的数据使用属性划分为主生产库、灾备库、历史库、数据发布库。四是所有采集数据由入库服务集群统一入库。

通信网关服务主要负责专变负控终端、配变监测终端、低压集中器等采集设备接入电力数据采集***，并维护终端通讯链路和原始报文的收发。

通信前置服务负责原始数据报文的分发调度。

通信前置服务对报文的分发调度基于设备地址域算法实现策略分发，通过监控前置业务处理器各节点的运行状况实现分发策略的动态调整。其具体算法如下：

a.把现场所有终端设备地址域划按一定规则划分为若干区间，比如设备地址按下行Topic的数量(100个)取模得到100组地址域区间。如此，下行Topic与地址域区间之间也存在映射关系，前置业务处理器节点对地址域区间的管理也即对下行Topic的管理。

b.初始化地址域分配策略按业务前置处理服务节点数量取模，节点新增、节点故障及故障节点恢复时分别按照“新增节点分发策略”、“节点故障时分发策略”和“故障节点恢复时分发策略”实现动态调整，并将分配信息及时更新至Zookeeper分布式服务***。此分发策略目的在于降低程序内存加载，提高程序集群扩展能力。

c.“节点新增(扩容)时分发策略”：

1)对每个业务处理器节点所分配的Topic按照Topic编码进行排序(如：由大到小)，并计算该节点当前处理的Topic总数。

2)对业务处理器节点(不含新增节点)根据Topic总数进行排序(如：由大到小)；

3)计算每个业务处理器节点能处理Topic的平均值(假设该值标记为AvgTopic)：Topic总数除以业务处理器节点总数(含新增节点)，小数位舍去。

4)将节点中Topic数量大于AvgTopic的所有业务处理器节点的多余Topic取出，取出规则：优先选择步骤2排序较大的业务处理器节点中Topic编码较大的Topic。

5)将步骤4中取出的Topic优先分配给新增的业务处理器节点，使新增节点的Topic数约平均值；若仍有未分配的Topic则对所有节点进行取模分配。

6)其他节点中删除被分配走的Topic信息。

d.“节点故障时分发策略”：

1)对前置业务处理器节点按照Topic数量进行排序(如由大到小)。

2)Topic总数除以当前运行的前置业务处理器节点总数，得到当前运行的每个业务处理器节点处理Topic的平均值；

3)根据平均值计算当前运行的每个业务处理器节点可新增的Topic数量：由b计算得的均值-现有的Topic数；

4)将因节点故障引起的待分发Topic按照步骤c的计算值依次分发给排序小的业务处理器节点；

e.“故障节点恢复时分发策略”：

1)恢复的业务处理器节点按照初始化时的分配策略加载对应的Topic；

2)从其他业务处理器节点定时删除这些被归还给恢复节点的Topic信息。

前置业务处理服务负责通讯规约解析，并与分布式消息队列进行交互。即从消息队列获取下行请求并组成下行帧，将通信前置的原始数据报文进行规约解析并将解析结果推送至分布式消息队列中。

通信前置服务节点通过与业务处理器节点间定时心跳握手来获取所有业务处理器节点的运行状态，并把本节点上的终端地址按地址域算法分发给指定业务处理器节点。

分布式消息队列作为数据总线负责支撑上下行通信交互信息的时序化和持久化。具体的采用高吞吐量的分布式Kafka消息队列，充分利用Kafka服务的主题和主题分区，将发布者主题和主站应用服务集群、业务处理器服务集群相关联，统一管理主站应用产生的下行请求数据和终端上行数据的收/发。

入库服务集群负责从消息队列获取数据批量存入关系型数据库。

实时处理集群采用大数据云平台通过基于分布式文件***的大数据框架实现业务数据的实时计算、离线分析，为进一步深度挖掘提供技术支撑。

2、对采集数据进行“即采即校”、实时修复，提升数据质量：运用流处理技术，实现对采集负荷、电能示值数据进行实时检查、校验，并对问题数据进行标记，对异常负荷数据进行修复；针对问题数据通过功率估值、ARIMA算法和营销发行电量进行修复，保证数据的合理性、一致性、逻辑性，通过及时发现、标注无效和失真数据，提高***数据质量。同时，运用流处理技术实现电能量数据、告警事件的实时监测与分析。所述流处理技术即实时计算的框架，优选的采用Hbase+Storm，Storm实时计算框架负责从消息队列中获取原始数据和报文数据入HBase分布式数据库；

3、通过分布式并行计算框架，实现海量数据准实时统计：通过大数据分布式内存并行计算框架，实现按小时对采集成功率指标、各类用户电量和负荷、线损计算、配变运行监测、移动运营商信道质量监测、终端在线率等进行统计，满足各级单位业务管控需求。准实时分析框架优选的采用Hive+Spark，Spark离线计算框架实现将原始数据导入Hive数据仓库执行海量数据的统计分析业务及数据挖掘。

4、构建灵活的数据存储策略，实现“按需存储”，满足多维度查询需求：分析不同业务数据应用需求，发挥商用数据库(Oracle)、缓存数据库(Redis)、分布式数据库(HBase)和数据仓库(Hive)长处，设计多级存储机制，提高查询性能，提升数据应用效率。

商用数据库采用Oracle12c数据库版本，结合InfiniBand高速网络和SSD(固态硬盘)存储搭建支撑高吞吐量高并发的OLTP(联机事务处理)业务的数据存储平台，主要负责存储全部业务数据、档案数据、原始数据，为***提供基本数据支持和计算服务。关系型数据库可细分为主生产库、灾备库、历史库、数据发布库，保障采集数据安全稳定、降低生产库的数据访问压力、提升数据发布效率，并按业务和存储时限做分库策略以降低单点数据库的访问压力。

缓存数据库(Redis)是一个高性能的Key-Value数据库，性能极高–Redis能支持超过100K+每秒的读写频率。不仅仅支持简单的Key-Value类型的数据，同时还提供list、set、zset、hash等数据结构的存储。

分布式数据库HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储***。

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，十分适合数据仓库的统计分析。

云数据平台和关系型数据库之间的数据同步优选的采用Sqoop数据转移工具实现。

5、基于面向对象通讯协议特性，可设计了多套数据采集方法，相对于传统的采集模式，在数据采集的效率、灵活性以及损耗方面，都有显著的提升效果，具体如下所述：

a将基础数据的采集方案划分为采集方案和上报方案，分别定义终端采集电表的规则和终端数据上报的规则，具有如下二方面的优点：

(1)实现了灵活的数据采集方式(实时采、打包采)、上报数据的周期和频率，实现本地通信流量错峰、减少采集漏点有着显著的作用；

(2)可选择性配置数据采集和数据上报，对于支撑设备本地业务的部分数据项(例如时钟巡测、本地补抄)，可做到只采不报，有效提升了现场设备服务的多样性和数据采集质量。

b针对电能表类型可配置不同的采集数据项，例如三相表采集电流数据块和电压数据块(A、B、C)，单相表仅采集A相电流和A相电压，相对于传统所有表都采集A、B、C三相电压和电流，有效的降低了流量的损耗。

c对于终端事件的采集，可根据事件的轻重缓急定义不同级别的采集模板，指定不同的上报频率，不仅能够更合理的分配信道资源，降低终端处理器不必要的开销，同时可以协助管理人员分析、处理异常事件、提升管理效率。

面向对象协议终端的数据采集方式可分为采集方案和上报方案，采集方案定义了终端采集电表的规则，上报方案定义了终端上报数据的规则，模板样例下表所示。

表1

面向对象终端事件根据事件重要程度划分成各个级别，每个级别定义各自的采集频率和上报数据项，模板样例如下表所示。

基于面向对象的数据采集***的数据采集方法，包括：

一：采集主站对终端、测量点进行设置、召测操作的流程，如图2所示。

1).Oracle主生产库从营销***同步基础数据，主要存储全部业务数据、档案数据、原始数据，为采集主站提供数据查询。

2).采集主站发起下行请求，可根据不同操作类型设置不同Key发布到Kafka服务的下行Topic中，并将操作命令id存入Redis缓存中。

3).下行Topic内的消息按照Key和算法被分区存储，不同的分区可定义不同的优先级，如配置优先级最高的分区处理控制类下行请求、优先级次之的分区处理设置类下行请求、其他优先级的分区处理召测/中继类下行请求。

4).业务处理器节点从Redis缓存服务器中加载和同步指定终端的档案信息，从Kafka服务订阅下行队列的消息，根据不同的Partition优先级执行，组成下行请求报文帧，分发给通信前置集群，并将下行报文推送至Kafka中的报文Topic中。

5).通信前置集群按调度分发策略发送给通信网关集群。

6).通信网关将下行请求发送给终端设备。

7).终端返回操作结果，经通信网关、通信前置集群由业务处理器进行报文解析并将操作结果返回给Redis中该终端对应的操作命令id。

8).采集主站从Redis中根据该终端对应的操作命令id获取操作结果。

二：电能量数据采集的流程，如图3所示；

1).采集终端将任务类数据、异常事件数据以报文的形式上送至网关集群；

2).网关集群按负载均衡策略分发给通信前置集群；

3).通信前置按照调度分发策略将原始报文数据分发至业务处理器集群；

4).业务处理器节点从Redis缓存服务器中加载和同步指定终端的档案信息，解析上行原始报文数据，并将解析结果、原始报文数据等信息推送至相应的Kafka消息队列中；即，解析结果推送至上报数据Topic中，原始报文数据推送至报文Topic。

5).流处理入库服务从Kafka服务订阅消息，Storm实时计算框架从Kafka消息队列获取原始报文数据、电能量数据等存入HBase分布式数据库。Spark离线计算框架将原始数据导入Hive数据仓库执行复杂的统计分析和数据挖掘。数据入库服务将原始报文数据、电能量数据批量存入关系型数据库。

6).采集主站从云平台快速查询电能量数据采集明细、采集成功率等。

7).Oracle主生产库从营销***同步基础数据，主要存储全部业务数据、档案数据、原始数据，为采集主站提供数据查询。

性能指标：

计算耗时指标：大数据云平台各类离线计算业务在半小时内完成(如采集质量分析、行业负荷趋势分析等典型业务)；各类实时流计算业务每秒处理规模达到2万笔(如负荷特性分析、终端通信状态维护等典型业务)。

通信处理指标，通信前置集群单节点TCP链路接入量最高达40万台；采集前置集群单节点每秒分发处理报文达3万条；数据存储服务整体数据入库效率达每秒6万条。

对于电能量数据缺失可通过补招的策略进行数据补全，提高采集成功率；借助大数据云平台可实现漏点的快速补全。补招可分为实时漏点补招和主站手动漏点补招两部分，具体如对电能量数据补全的流程。

三：对电能量数据补全的流程图，如图4所示。

1).采集终端通过多种通讯方式将电能量数据以报文形式上送至通信网关集群。

2).通信网关集群按照负载均衡分发策略发送给通信前置集群。

3).通信前置集群通过调度分发策略分发至业务处理器集群。

4).业务处理器节点从Redis缓存服务器中加载和同步指定终端的档案信息，解析上行原始报文数据，并将解析结果、原始报文数据等信息推送至相应的Kafka消息队列中；即，解析结果推送至上报数据Topic中，原始报文数据推送至报文Topic。

5).流计算服务Storm从Kafka服务订阅消息，实时获取电能量数据，实时存入HBase分布式数据中的任务数据打点表。

6).Spark RDD定时执行漏点审计任务，即根据漏点补招策略对HBase中打点表进行漏点审计，并根据终端通讯状态形成相应漏点请求，推送至Kafka服务的下行Topic中供业务处理器获取下发，从而实现实时漏点补招。

另一方面，采集主站亦可触发手工漏点补招。

1).将补招策略(如地市单位、用户类型、数据类型等)存入Oracle数据库中。

2).Spark RDD定时任务从Oracle数据库中读取到补招策略后执行漏点审计任务，并根据终端通讯状况形成相应漏点请求，推送至Kafka消息服务供业务处理器获取下发，实现漏点补招。

四：本技术方案可根据终端类型、设备类型、采集数据的类型(电量、负荷等)、电能表类型的不同，实施时我们需要选择不同的采集方法。

1)专变数据采集方法

专变采集日冻结有功电能时，终端采集电表执行频率为1日，终端上报数据的频率为12小时，数据分类为日冻结数据，数据项包括当前一象限无功电能示值数据块，当前四象限无功电能示值数据块，当前正向有功电能示值数据块，当前反向有功电能示值数据块。

专变采集96点负荷曲线时，终端采集电表和上报数据的执行频率为15分钟，数据分类为实时数据，数据项包括电压数据块，电流数据块，有功功率，当前一象限无功电能示值数据块，当前四象限无功电能示值数据块，正向有功总电能量，功率因数。

2)低压I型集中器数据采集方法

低压I型集中器采集日冻结有功电能时，终端采集电表执行频率为1日，终端上报数据的频率为12小时，数据分类为日冻结数据，采集和上报数据项包括当前正向有功电能示值数据块，当前反向有功电能示值数据块。

低压I型集中器采集96点负荷曲线时，终端采集电表和上报数据的执行频率为6小时，数据分类为分钟冻结数据，若安装的是三相电能表，则数据项为电压数据块、电流数据块、功率因素、有功功率、正向有功总电能量，若安装的是单相电能表，则数据项为A相电压、A相电流、功率因素、正向有功总电能量、有功功率、N线电流。

3)低压II型集中器数据采集方法

低压II型集中器采集日冻结有功电能时，与I型集中器完全一致，即下发同样的采集方案模板和上报方案模板。

低压II型集中器采集96点负荷曲线时，终端采集电表和上报数据的执行频率为15分钟，数据分类为实时数据，若安装的是三相电能表，则数据项为电压数据块、电流数据块、功率因素、有功功率、正向有功总电能量，若安装的是单相电能表，则数据项为A相电压、A相电流、功率因素、正向有功总电能量、有功功率、N线电流。

4)事件方案设计

本发明中设计的事件方案可几乎涵盖所有终端事件，在本实施例中选择三个事件作为案例：

以上图1-4所示的一种基于面向对象的数据采集方法是本发明的具体实施例，已经体现出本发明实质性特点和进步，可根据实际的使用需要，在本发明的启示下，对其进行形状、结构等方面的等同修改，均在本方案的保护范围之列。

Claims (7)

1.一种基于面向对象的数据采集***，其特征在于：包括网关集群、通信前置集群、业务处理器集群、数据总线、入库服务模块、海量数据分析模块、数据存储模块；

网关集群，用于将采集设备接入电力数据采集***，并维护终端通讯链路和原始报文的收发，所述的采集设备包括专变负控终端、配变监测终端、低压集中器；

通信前置集群，与网关集群相连，用于原始数据报文的分发调度，并将原始数据报文推送至分布式消息队列中；通信前置集群对报文的分发调度基于设备地址域算法实现策略分发，通过监控业务处理器集群各节点的运行状况实现分发策略的动态调整；通过心跳握手机制监控前置业务处理器各节点的运行状况，针对节点新增、节点故障及故障节点恢复三种场景分别按照“新增节点分发策略”、“节点故障时分发策略”和“故障节点恢复时分发策略进行动态调整，并把本节点上的终端地址按地址域算法分发给指定业务处理器节点，以减少且均衡加载***档案，降低程序对服务器内存配置要求；

业务处理器集群，与通信前置模块相连，用于通讯规约解析，并与分布式消息队列进行交互；即从消息队列获取下行请求并组成下行帧，将通信前置的原始数据报文进行规约解析并将解析结果推送至分布式消息队列中，

数据总线模块，用于支撑上下行通信交互信息的时序化和持久化；采用高吞吐量的分布式Kafka消息队列，充分利用Kafka服务的主题和主题分区，将发布者主题和主站应用集群、业务处理器集群相关联，统一管理主站应用产生的下行请求数据和终端上行数据的收/发；

入库服务模块，用于从消息队列获取数据批量存入关系型数据库；采用分布式大数据框架Hadoop和传统关系型数据库Oracle结合的方式以适应海量数据的分析和存储；

海量数据分析模块，通过基于分布式文件***的大数据框架实现业务数据的实时计算、离线分析，为进一步深度挖掘提供技术支撑；

数据存储模块，用于存储全部业务数据、档案数据、原始数据，为***提供基本数据支持和计算服务；其分为主生产库、灾备库、历史库、数据发布库，并按业务和存储时限做分库策略以降低单点数据库的访问压力；

A)节点新增/扩容时的分发策略为：

A01)对每个业务处理器节点所分配的Topic按照Topic编码进行排序，并计算该节点当前处理的Topic总数；

A02)对业务处理器节点根据Topic总数进行排序；

A03)计算每个业务处理器节点能处理Topic的平均值，Topic总数除以业务处理器节点总数；

A04)将节点中Topic数量大于AvgTopic的所有业务处理器节点的多余Topic取出，取出规则：A05)优先选择步骤A02）排序较大的业务处理器节点中Topic编码较大的Topic；

A06)将步骤A04）中取出的Topic优先分配给新增的业务处理器节点，使新增节点的Topic数约平均值；若仍有未分配的Topic则对所有节点进行取模分配；

A07)其他节点中删除被分配走的Topic信息；

B)节点故障时的分发策略为：

B01)对前置业务处理器节点按照Topic数量进行排序；

B02)Topic总数除以当前运行的前置业务处理器节点总数，得到当前运行的每个业务处理器节点处理Topic的平均值；

B03)根据平均值计算当前运行的每个业务处理器节点可新增的Topic数量：由b计算得的均值-现有的Topic数；

B04)将因节点故障引起的待分发Topic按照节点新增/扩容时的分发策略的计算值依次分发给排序小的业务处理器节点；

C)故障节点恢复时分发策略为：

C01)恢复的业务处理器节点按照初始化时的分配策略加载对应的Topic；

C02)从其他业务处理器节点定时删除这些被归还给恢复节点的Topic信息。

2.根据权利要求1所述的一种基于面向对象的数据采集***，其特征在于：通信前置机把现场所有终端设备地址域划按一定规则划分为多个区间，设备地址按下行Topic的数量取模得到对应组地址域区间；下行Topic与地址域区间之间存在映射关系，前置业务处理器节点对地址域区间的管理，也即对下行Topic的管理；初始化地址域分配策略按业务前置处理服务节点数量取模，节点新增、节点故障及故障节点恢复时分别按照“新增节点分发策略”、“节点故障时分发策略”和“故障节点恢复时分发策略”实现动态调整，将分配信息及时更新至Zookeeper分布式服务***，以降低程序内存加载，提高程序集群扩展能力。

3.根据权利要求2所述的一种基于面向对象的数据采集***，其特征在于：入库服务模块对采集数据进行即采即校、实时修复的方式，运用流处理技术，实现对采集负荷、电能示值数据进行实时检查、校验，并对问题数据进行标记，对异常负荷数据进行修复；针对问题数据通过功率估值、ARIMA算法和营销发行电量进行修复，保证数据的合理性、一致性、逻辑性，通过及时发现、标注无效和失真数据，提高***数据质量；运用流处理技术实现电能量数据、告警事件的实时监测与分析；所述流处理技术采用实时计算的框架，采用Hbase+Storm，Storm实时计算框架负责从消息队列中获取原始数据和报文数据入HBase分布式数据库。

4.根据权利要求3所述的一种基于面向对象的数据采集***，其特征在于：海量数据分析模块通过大数据分布式内存并行计算框架，实现按小时对采集成功率指标、各类用户电量和负荷、线损计算、配变运行监测、移动运营商信道质量监测、终端在线率进行统计，以满足各级单位业务管控需求；准实时分析框架采用Hive+Spark，Spark离线计算框架实现将原始数据导入Hive数据仓库执行海量数据的统计分析业务及数据挖掘。

5.根据权利要求1-4任一权利要求所述的一种基于面向对象的数据采集***的数据采集方法，其特征在于：

1）当采集主站需要对终端、测量点进行设置、召测操作时，包括以下步骤：

101） Oracle主生产库从营销***同步基础数据，主要存储全部业务数据、档案数据、原始数据，为采集主站提供数据查询；

102）采集主站发起下行请求，可根据不同操作类型设置不同Key发布到Kafka服务的下行Topic中，并将操作命令id存入Redis缓存中；

103）下行Topic内的消息按照Key和算法被分区存储，不同的分区可定义不同的优先级，如配置优先级最高的分区处理控制类下行请求、优先级次之的分区处理设置类下行请求、其他优先级的分区处理召测/中继类下行请求；

104）业务处理器节点从Redis缓存服务器中加载和同步指定终端的档案信息，从Kafka服务订阅下行队列的消息，根据不同的Partition优先级执行，组成下行请求报文帧，分发给通信前置集群，并将下行报文推送至Kafka中的报文Topic中；

105）通信前置集群按调度分发策略发送给通信网关集群；

106）通信网关将下行请求发送给终端设备；

107）终端返回操作结果，经通信网关、通信前置集群由业务处理器进行报文解析并将操作结果返回给Redis中该终端对应的操作命令id；

108）采集主站从Redis中根据该终端对应的操作命令id获取操作结果；

2）当需要电能量数据采集时，包括以下步骤：

201）将任务类数据、异常事件数据以报文的形式上送至网关集群；

202网关集群按负载均衡策略分发给通信前置集群；

203）按照调度分发策略将原始报文数据分发至业务处理器集群；

204）器节点从Redis缓存服务器中加载和同步指定终端的档案信息，解析上行原始报文数据，并将解析结果、原始报文数据等信息推送至相应的Kafka消息队列中；即，解析结果推送至上报数据Topic中，原始报文数据推送至报文Topic；

205）库服务从Kafka服务订阅消息，Storm实时计算框架从Kafka消息队列获取原始报文数据、电能量数据等存入HBase分布式数据库；Spark离线计算框架将原始数据导入Hive数据仓库执行复杂的统计分析和数据挖掘；数据入库服务将原始报文数据、电能量数据批量存入关系型数据库；

206）从云平台快速查询电能量数据采集明细、采集成功率等；

207）le主生产库从营销***同步基础数据，主要存储全部业务数据、档案数据、原始数据，为采集主站提供数据查询；

3）要进行电能量数据补全时，包括以下步骤

301）通过多种通讯方式将电能量数据以报文形式上送至通信网关集群；

302）通信网关集群按照负载均衡分发策略发送给通信前置集群；

303）前置集群通过调度分发策略分发至业务处理器集群；

304） 业务处理器节点从Redis缓存服务器中加载和同步指定终端的档案信息，解析上行原始报文数据，并将解析结果、原始报文数据等信息推送至相应的Kafka消息队列中；即，解析结果推送至上报数据Topic中，原始报文数据推送至报文Topic；

305）流计算服务Storm从Kafka服务订阅消息，实时获取电能量数据，实时存入HBase分布式数据中的任务数据打点表；

306）当为实时漏点补招时，Spark RDD定时执行漏点审计任务，即根据漏点补招策略对HBase中打点表进行漏点审计，并根据终端通讯状态形成相应漏点请求，推送至Kafka服务的下行Topic中供业务处理器获取下发，从而实现实时漏点补招；

307）当为手工漏点补招时，Spark RDD定时任务从Oracle数据库中读取到补招策略后执行漏点审计任务，并根据终端通讯状况形成相应漏点请求，推送至Kafka消息服务供业务处理器获取下发，实现漏点补招。

6.根据权利要求5所述的一种基于面向对象的数据采集方法，其特征在于：在对于终端事件的采集时，根据事件的轻重缓急定义不同级别的采集模板，指定不同的上报频率。

7.根据权利要求5所述的一种基于面向对象的数据采集方法，其特征在于：数据采集包括对专变数据的采集、低压I型集中器数据采集、低压II型集中器数据采集；

一）专变数据采集：

专变采集日冻结有功电能时，终端采集电表执行频率为1日，终端上报数据的频率为12小时，数据分类为日冻结数据，数据项包括当前一象限无功电能示值数据块，当前四象限无功电能示值数据块，当前正向有功电能示值数据块，当前反向有功电能示值数据块；

专变采集96点负荷曲线时，终端采集电表和上报数据的执行频率为15分钟，数据分类为实时数据，数据项包括电压数据块，电流数据块，有功功率，当前一象限无功电能示值数据块，当前四象限无功电能示值数据块，正向有功总电能量，功率因数；

二）低压I型集中器数据采集：

低压I型集中器采集日冻结有功电能时，终端采集电表执行频率为1日，终端上报数据的频率为12小时，数据分类为日冻结数据，采集和上报数据项包括当前正向有功电能示值数据块，当前反向有功电能示值数据块；

低压I型集中器采集96点负荷曲线时，终端采集电表和上报数据的执行频率为6小时，数据分类为分钟冻结数据，若安装的是三相电能表，则数据项为电压数据块、电流数据块、功率因素、有功功率、正向有功总电能量，若安装的是单相电能表，则数据项为A相电压、A相电流、功率因素、正向有功总电能量、有功功率、N线电流；

三）低压II型集中器数据采集：

低压II型集中器采集日冻结有功电能时，与I型集中器同，即下发同样的采集方案模板和上报方案模板；

低压II型集中器采集96点负荷曲线时，终端采集电表和上报数据的执行频率为15分钟，数据分类为实时数据，若安装的是三相电能表，则数据项为电压数据块、电流数据块、功率因素、有功功率、正向有功总电能量，若安装的是单相电能表，则数据项为A相电压、A相电流、功率因素、正向有功总电能量、有功功率、N线电流。

Images