CN109508354A - 一种并行处理*** - Google Patents

一种并行处理*** Download PDF

Info

Publication number
CN109508354A
CN109508354A CN201811115764.XA CN201811115764A CN109508354A CN 109508354 A CN109508354 A CN 109508354A CN 201811115764 A CN201811115764 A CN 201811115764A CN 109508354 A CN109508354 A CN 109508354A
Authority
CN
China
Prior art keywords
data
cluster
software
model
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811115764.XA
Other languages
English (en)
Inventor
廖福玮
张新坡
罗开明
刘岩
马莉莉
崔丽君
万静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Xuji Group Co Ltd
Xuchang XJ Software Technology Co Ltd
Original Assignee
State Grid Corp of China SGCC
Xuji Group Co Ltd
Xuchang XJ Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Xuji Group Co Ltd, Xuchang XJ Software Technology Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201811115764.XA priority Critical patent/CN109508354A/zh
Publication of CN109508354A publication Critical patent/CN109508354A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种并行处理***，能够根据模型实现并行采集数据的实时高效并行处理，并写入实时库。本发明架构主要包括分组并行采集，基于kafka的高性能总线，scada处理集群，模型服务及实时库集群。利用kafka分组、复制，弹性架构等技术实现了scada集群的天然负载均衡，scada集群依据模型信息对分组并行采集数据进行实时高速处理，模型服务采用完整数据对等服务集群模式，通过Haproxy实现软件负载均衡，使得scada集群可以动态、均衡获取模型信息，实时库采用redis集群，实现实时数据的高效写入。

Description

一种并行处理***
技术领域
本发明属于软件工程技术领域，特别涉及一种并行处理***。
背景技术
随着大数据时代的来临，无论学术界、商界还是政府，各行各业对处理大规模数据的需求日益增长。作为全球第二大经济体的基础能源支撑体系，中国电力企业概莫能外，随着电力***信息化程度的不断提升，需要处理的数据量越来越大，若布置353个采集点，采集1.2万个参数，包括频率、电压、电流等，15分钟采集一次，一天就能产生34GB的数据，国家电网在全国采集获得的计量数据总量能够达到10PB，日益增大的数据量使得无法高效快捷地获取和访问所需的信息。一方面，数据量的急剧增加使得业务应用***响应变慢，影响业务应用***生产效率。另一方面，海量数据统计分析性能低下，管理者无法及时了解业务生产总体状况，动态监管滞后，再者，在现有技术基础上难以开展覆盖更多数据的深层次智能分析和辅助决策支持处理，无法满足决策层和管理层快速智能分析和辅助决策的要求，传统架构的实时数据处理***无法适应数据量***式增长情况，数据不能实时高速的接收，不能实时高性能的处理，也不能快速写入实时库。
发明内容
本发明的目的在于提供一种并行处理***，用于解决现有技术中电网监控数据的接收、处理速度慢及不能快速存储的问题。
为实现上述目的，本发明提供了一种并行处理***，包括数据采集服务器集群、数据处理服务器集群及数据存储服务器集群，所述数据采集服务器集群包括至少一台数据采集服务器，所述数据处理服务器集群包括至少一个数据处理服务器，所述数据存储服务器集群包括至少一个数据存储服务器，所述数据总线与各数据处理服务器集群连接，各数据处理服务器通过数据总线采集并行分组数据，数据处理服务器集群与数据存储服务器集群连接，所述数据采集服务器中配置有kafka软件，各数据处理服务器中配置有scada数据处理软件，各数据存储服务器中配置有redis软件。
作为对并行处理***的进一步限定，并行处理***还包括模型服务器集群，所述模型服务器集群与所述数据处理服务器集群连接，所述模型服务器集群包括至少一个模型服务器，各模型服务器包括模型服务软件及kafka软件，所述模型服务软件用于为scada软件提供模型配置信息，kafka软件用于实现软件负载均衡。
作为对数据采集服务器的进一步限定，所述数据采集服务器集群包括三个数据采集服务器。
本发明的有益效果是：
本发明提供的并行处理***，解决了配电网监控数据爆发式增长条件下数据的实时高性能并行处理，提高了海量数据实时高性能并行处理，通过并行分组采集及高速数据总线实现数据的高速接收和转发，通过scada集群实现数据的实时高性能处理，通过模型服务器提供***运行的配置信息，实时数据库服务器包括redis软件，提供实时数据的存储和查询功能。
附图说明
图1为本发明的实时高性能并行处理架构构成图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的说明：
一种并行处理***，包括数据采集服务器集群、数据处理服务器集群(scadacluster)及数据存储服务器集群(redis cluster)，数据采集服务器集群包括至少一台数据采集服务器，数据处理服务器集群包括至少一个数据处理服务器及，数据存储服务器集群包括至少一个数据存储服务器，数据总线与数据处理服务器集群连接，各数据处理服务器通过数据总线采集并行分组数据，数据处理服务器集群与数据存储服务器集群连接，数据采集服务器中配置有kafka软件，各数据处理服务器中配置有scada数据处理软件，各数据存储服务器中配置有redis软件；还包括模型服务器集群，模型服务器集群与数据处理服务器集群连接，模型服务器集群包括至少一个模型服务器，各模型服务器包括模型服务软件及kafka软件，模型服务软件用于为scada软件提供模型配置信息，kafka软件用于实现软件负载均衡。
如图1所示，高速数据总线采用kafka集群，在scada集群安装E8000软件包，在模型服务集群安装模型服务程序及Haproxy，在实时库集群安装redis集群。
基于实时高性能并行处理架构的典型应用过程如下：
(a)如图1所示，部署3台数据采集服务器并行采集，3台kafka集群服务器，3台scada集群服务器作为高速实时数据总线，2台模型服务器，2台redis集群服务作为实时库。
(b)首先上传采集数据。
(c)在3台kafka集群服务器设置IP地址202.99.232.1、202.99.232.2及202.99.232.3，分别启动kafka服务，开始实时数据转发。
(d)在2台模型服务器中启动模型服务。
(e)在2台实时库服务器中启动redis集群。
(f)分别启动3台scada服务器。
下面对本实施例的并行处理***的各个子结构进行详细的说明：
1)根据所需配置机器的操作***，在奇数(如3台)台服务器安装kafka，配置为集群模式，作为高速实时数据总线；kafka是一种高吞吐量的分布式发布订阅消息***，主要特点通过复杂度为1的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能；高吞吐量，即使是非常普通的硬件kafka也可以支持每秒数百万的消息，支持通过kafka服务器和消费机集群来分区消息；在奇数台服务器安装kafka并配置为集群模式，从而利用kafka分组、复制、弹性架构等技术特性实现scada集群的天然负载均衡。
2)在scada软件中安装E8000软件包，根据分组并行采集数据量的多少，启动对应的服务器数量；E8000软件包主要包括scada数据处理软件，模型服务接口软件，实时库接口软件，数据总线接口软件等。
E8000软件包中的scada数据处理软件，主要是对并行分组采集的数据，依据模型信息进行实时高速处理，同时通过实时库接口写入实时数据存储库中。
E8000软件包中的模型服务接口软件用于scada处理软件获取模型信息，同时模型服务Haproxy实现软件负载均衡。
scada处理软件通过加载数据总线接口，从kafka集群接收并行分组数据，数据总线接口为scada集群提供了天然的主备管理及负载均衡。
数据库接口软件为scada处理软件提供实时数据写入实时数据存储库功能，同时屏蔽了scada处理软件对具体的实时库操作，scada处理软件只负责数据的写入，而对于写入redis集群的哪个实时数据库则由数据库接口软件控制。
3)在模型服务器安装模型服务软件及Haproxy软件，模型服务提供***运行，scada处理所需的模型配置信息，模型动态更新信息及负载动态均衡；模型服务集群为多活的集群模型，每个启动的模型服务器同时工作，提供一致的服务，保证了模型服务的可靠。模型服务集群的Haproxy实现软件负载均衡，确保单个模型服务器负载不会压力过大，能够提供及时可靠的服务。
4)在实时库服务器安装redis软件，并配置为集群模式，提供实时数据的存储和查询功能。redis是一个开源(BSD许可)的，内存中的数据结构存储***可以用作数据库、缓存和消息中间件，支持多种类型的数据结构。为了实现scada处理软件处理完的数据能够实时高性能的存储，在设计上，将高频数据进行结构化，即将多个字段写入一个结构体中，再将结构体序列化后写入实时库，该设计方式能够有效的降低实时数据的写入量和写入频度。
本发明的并行处理***，解决了配电网监控数据爆发式增长条件下数据的实时高性能并行处理。本发明从根本上提高了海量数据实时高性能并行处理，通过并行分组采集加高速数据总线实现数据的高速接收和转发，通过scada集群实现数据的实时高性能处理，通过多活模型服务和Haproxy实现模型数据一致性及软件负载均衡，通过基于redis的实时库集群实现实时数据的高速存储。
以上给出了具体的实施方式，但本发明不局限于以上所描述的实施方式。本发明的基本思路在于上述基本方案，对本领域普通技术人员而言，根据本发明的教导，设计出各种变形的模型、公式、参数并不需要花费创造性劳动。在不脱离本发明的原理和精神的情况下对实施方式进行的变化、修改、替换和变形仍落入本发明的保护范围内。

Claims (3)

1.一种并行处理***，其特征在于，包括数据采集服务器集群、数据处理服务器集群及数据存储服务器集群，所述数据采集服务器集群包括至少一台数据采集服务器，所述数据处理服务器集群包括至少一个数据处理服务器，所述数据存储服务器集群包括至少一个数据存储服务器，所述数据总线与各数据处理服务器集群连接，各数据处理服务器通过数据总线采集并行分组数据，数据处理服务器集群与数据存储服务器集群连接，所述数据采集服务器中配置有kafka软件，各数据处理服务器中配置有scada数据处理软件，各数据存储服务器中配置有redis软件。
2.根据权利要求1所述的并行处理***，其特征在于，还包括模型服务器集群，所述模型服务器集群与所述数据处理服务器集群连接，所述模型服务器集群包括至少一个模型服务器，各模型服务器包括模型服务软件及kafka软件，所述模型服务软件用于为scada软件提供模型配置信息，kafka软件用于实现软件负载均衡。
3.根据权利要求1或2所述的并行处理***，其特征在于，所述数据采集服务器集群包括三个数据采集服务器。
CN201811115764.XA 2018-09-25 2018-09-25 一种并行处理*** Pending CN109508354A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811115764.XA CN109508354A (zh) 2018-09-25 2018-09-25 一种并行处理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811115764.XA CN109508354A (zh) 2018-09-25 2018-09-25 一种并行处理***

Publications (1)

Publication Number Publication Date
CN109508354A true CN109508354A (zh) 2019-03-22

Family

ID=65746032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811115764.XA Pending CN109508354A (zh) 2018-09-25 2018-09-25 一种并行处理***

Country Status (1)

Country Link
CN (1) CN109508354A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110908956A (zh) * 2019-11-19 2020-03-24 许继集团有限公司 一种保信主站***及其故障信息归档方法
CN111598694A (zh) * 2020-05-12 2020-08-28 广东电力交易中心有限责任公司 电力交易方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140372533A1 (en) * 2011-02-09 2014-12-18 Cliqr Technologies, Inc. Apparatus, systems, and methods for cloud agnostic multi-tier application modeling and deployment
CN105071994A (zh) * 2015-08-27 2015-11-18 许继集团有限公司 一种海量数据监控***
CN107656995A (zh) * 2017-09-20 2018-02-02 温州市鹿城区中津先进科技研究院 面向大数据的数据管理***
CN108134814A (zh) * 2017-11-27 2018-06-08 海尔优家智能科技（北京）有限公司 一种业务数据处理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140372533A1 (en) * 2011-02-09 2014-12-18 Cliqr Technologies, Inc. Apparatus, systems, and methods for cloud agnostic multi-tier application modeling and deployment
CN105071994A (zh) * 2015-08-27 2015-11-18 许继集团有限公司 一种海量数据监控***
CN107656995A (zh) * 2017-09-20 2018-02-02 温州市鹿城区中津先进科技研究院 面向大数据的数据管理***
CN108134814A (zh) * 2017-11-27 2018-06-08 海尔优家智能科技（北京）有限公司 一种业务数据处理方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
VIKTOR FARCIC: "《微服务运维实战（第一卷）》", 30 June 2018, 华中科技大学出版社 *
李德毅 等: "《不确定性人工智能（第2版）》", 31 May 2014, 国防工业出版社 *
王春海 等: "《企业网络应用解决方案——从需求分析到配置管理》", 31 October 2006, 兵器工业出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110908956A (zh) * 2019-11-19 2020-03-24 许继集团有限公司 一种保信主站***及其故障信息归档方法
CN111598694A (zh) * 2020-05-12 2020-08-28 广东电力交易中心有限责任公司 电力交易方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN110022226B (zh) 一种基于面向对象的数据采集***及采集方法
CN107330056B (zh) 基于大数据云计算平台的风电场scada***及其运行方法
CN112698953A (zh) 一种基于微服务的电网智能运检平台
CN109739919B (zh) 一种用于电力***的前置机和采集***
CN107070890A (zh) 一种通信网优***中的流数据处理装置及通信网优***
CN105071994B (zh) 一种海量数据监控***
CN110659180A (zh) 基于集群技术的数据中心基础设施管理***
CN109508354A (zh) 一种并行处理***
CN103530335B (zh) 电力计量采集***的入库操作方法及装置
CN103117878A (zh) 一种基于Nagios的分布式监控***的设计方法
CN116231860A (zh) 一种基于云边端协同的电力负荷智能识别***、方法及设备
CN111984611A (zh) 电网信息模型在线自动处理及共享方法及应用端
CN105677858A (zh) 一种基于大数据技术框架的数据采集方法及装置
CN105516317B (zh) 一种用电信息多层级负载均摊高效采集方法
CN108111578B (zh) 基于nio的配电终端数据采集平台接入终端设备的方法
CN113824801B (zh) 一种智能融合终端统一接入管理组件***
CN115858672A (zh) 电力终端管理方法、装置、电子设备及存储介质
CN113886065A (zh) 一种在分布式环境下基于NB-lot物联网表采集海量数据的存储与计算方法
CN114003602A (zh) 电网监测数据处理***
CN113886472A (zh) 一种数据接入***、接入方法、计算机设备和存储介质
CN110995464A (zh) 一种集中分布式低压台区监控部署方法及***
CN111881885A (zh) 一种开放式的电力ai应用平台
CN110990382A (zh) 一种信息运营监测用数据溯源管理***
CN113821896B (zh) 一种配电网拓扑数据动态加载方法及***
Hu et al. Research on Key technologies of Internet of Things Data Terminal and Integrated Management System for Power mobile devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190322