CN113283999B - 电力监控***网省两级数据同步方法、装置、计算机设备 - Google Patents
电力监控***网省两级数据同步方法、装置、计算机设备 Download PDFInfo
- Publication number
- CN113283999B CN113283999B CN202110373719.XA CN202110373719A CN113283999B CN 113283999 B CN113283999 B CN 113283999B CN 202110373719 A CN202110373719 A CN 202110373719A CN 113283999 B CN113283999 B CN 113283999B
- Authority
- CN
- China
- Prior art keywords
- server
- service type
- channel
- data
- communication machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000004891 communication Methods 0.000 claims abstract description 252
- 230000004044 response Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 17
- 230000006837 decompression Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 description 23
- 238000012545 processing Methods 0.000 description 10
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Water Supply & Treatment (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Computing Systems (AREA)
- Human Resources & Organizations (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请涉及一种电力监控***网省两级数据同步方法、装置、计算机设备和存储介质。所述方法包括:网服务器的通讯机从网服务器的数据库中获取第一数据文件;网服务器的通讯机通过业务类型通道发送所述第一数据文件至省服务器的通讯机,所述业务类型通道根据配置文件建立;网服务器的通讯机接收省服务器的通讯机通过所述业务类型通道发送的第二数据文件。采用本方法能够在不开放固定端口情况下,通过设置读写通道可以实现网省数据同步,从而减少安全隐患。
Description
技术领域
本申请涉及电力监控***数据通信技术领域,特别是涉及一种电力监控***网省两级数据同步方法、装置、计算机设备和存储介质。
背景技术
随着电力监控***的发展,出现了电力监控***态势感知平台,这个态势感知平台是由平台基础模块、大数据模块、前置机模块、采集装置、第三方应用模块等构成。其中,前置机使网采集到相关装置的数据信息,从而主站展示处理数据信息。在网省进行数据通信时,网通过前置机能采集到省的装置数据,但网省之间无法数据同步。
在相关技术中,网省数据同步需要开放固定端口。然而,开放固定端口会存在安全隐患。
发明内容
基于此,有必要针对上述技术问题,提供一种电力监控***网省两级数据同步方法、装置、计算机设备和存储介质。
第一方面,一种电力监控***网省两级数据同步方法,用于网服务器的通讯机中,该方法包括:
网服务器的通讯机从网服务器的数据库中获取第一数据文件;网服务器的通讯机通过业务类型通道发送该第一数据文件至省服务器的通讯机,该业务类型通道根据配置文件建立;网服务器的通讯机接收省服务器的通讯机通过该业务类型通道发送的第二数据文件。
在其中一个实施例中,在该网服务器的通讯机从网服务器的数据库中获取第一数据文件之前,该方法还包括:
网服务器的通讯机根据配置文件中的业务类型请求省服务器的通讯机建立与该业务类型相应的业务类型通道;当接收到该省服务器的通讯机发送的建立业务类型通道的响应信息时,发送建立通道类型报文至该省服务器的通讯机,以与该省服务器的通讯机建立业务类型通道。
在其中一个实施例中,该网服务器的通讯机从网服务器的数据库中获取第一数据文件,包括:
网服务器的通讯机接收网服务器的Logstash传输的压缩后的第一数据文件,该压缩后的第一数据文件是网服务器的Logstash从该网服务器的数据库中获取第一数据文件并压缩得到。
在其中一个实施例中,在该网服务器的通讯机接收省服务器的通讯机通过该业务类型通道发送的第二数据文件之后,该方法还包括:
将该第二数据文件写入到该网服务器的数据库中。
在其中一个实施例中,该第二数据文件为压缩文件;将该第二数据文件写入到该网服务器的数据库中,包括:
通过网服务器的Logstash对该压缩的第二数据文件进行解压,并将解压后的第二数据文件写入到该网服务器的数据库中。
第二方面,一种电力监控***网省两级数据同步方法,用于省服务器的通讯机中,该方法包括:
省服务器的通讯机接收从网服务器的通讯机通过业务类型通道发送的第一数据文件,该业务类型通道根据配置文件建立;省服务器的通讯机从省服务器的数据库中获取第二数据文件;省服务器的通讯机通过业务类型通道发送所述第二数据文件至网服务器的通讯机。
在其中一个实施例中,该省服务器的通讯机接收从网服务器的通讯机通过业务类型通道发送的第一数据文件之前,包括:
省服务器的通讯机接受网服务器的通讯机建立与所述业务类型相应的业务类型通道的请求;省服务器的通讯机发送建立业务类型通道的响应信息至网服务器的通讯机;省服务器的通讯机接受网服务器的通讯机发送建立通道类型报文;当查找配置文件存在省服务器的通讯机对应的通道类型时,网服务器的通讯机建立所述业务类型相应的业务类型通道。
第三方面,提供了一种电力监控***网省两级数据同步装置,应用于网服务器的通讯机中,该装置包括:
第一数据获取模块,用于从网服务器的数据库中获取第一数据文件;
第一数据发送模块,用于通过业务类型通道发送该第一数据文件至省服务器的通讯机,该业务类型通道根据配置文件建立;
第二数据接收模块,用于接收省服务器的通讯机通过该业务类型通道发送的第二数据文件。
在其中一个实施例中,该装置还包括:
请求模块,用于根据配置文件中的业务类型请求省服务器的通讯机建立与该业务类型相应的业务类型通道;
第一接收模块,用于接收到该省服务器的通讯机发送的建立业务类型通道的响应信息;
第一发送模块,用于发送建立通道类型报文至所述省服务器的通讯机,以与该省服务器的通讯机建立业务类型通道。
在其中一个实施例中,
第一数据获取模块,用于网服务器的通讯机接收网服务器的Logstash传输的压缩后的第一数据文件,该压缩后的第一数据文件是网服务器的Logstash从该网服务器的数据库中获取第一数据文件并压缩得到。
在其中一个实施例中,在该网服务器的通讯机接收省服务器的通讯机通过该业务类型通道发送的第二数据文件之后,该装置还包括:
第二数据写入模块,用于将该第二数据文件写入到该网服务器的数据库中。
在其中一个实施例中,该装置还包括:
第二数据解压模块,用于通过网服务器的Logstash对该压缩的第二数据文件进行解压;
第二数据写入模块,用于将解压后的第二数据文件写入到该网服务器的数据库中。
第四方面,提供了一种电力监控***网省两级数据同步装置,应用于省服务器的通讯机中,该装置包括:
第一数据接收模块,用于接收从网服务器的通讯机通过业务类型通道发送的第一数据文件,该业务类型通道根据配置文件建立;
第二数据获取模块,用于从省服务器的数据库中获取第二数据文件;
第二数据发送模块,用于通过业务类型通道发送该第二数据文件至网服务器的通讯机。
在其中一个实施例中,该装置还包括:
第一接受模块,用于接受网服务器的通讯机建立与该业务类型相应的业务类型通道的请求;
第二发送模块,用于发送建立业务类型通道的响应信息至网服务器的通讯机;
第二接受模块,用于接受网服务器的通讯机发送建立通道类型报文;
查找模块,用于查找配置文件存在省服务器的通讯机对应的通道类型。
第五方面,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行时实现如上述第一方面任一该的网省两级数据同步方法,或者,该计算机程序被处理器执行时实现如上述第二方面任一该的网省两级数据同步方法。
第六方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述第一方面任一该的网省两级数据同步方法,或者,该计算机程序被处理器执行时实现如上述第二方面任一该的网省两级数据同步方法。
上述电力监控***网省两级数据同步方法、装置、计算机设备和存储介质,网服务器的通讯机从网服务器的数据库中获取第一数据文件,然后,网服务器的通讯机通过业务类型通道发送该第一数据文件至省服务器的通讯机,其中,该业务类型通道根据配置文件建立,然后,网服务器的通讯机接收省服务器的通讯机通过该业务类型通道发送的第二数据文件。这样,在电力监控***中,网省之间要实现数据同步,只需要配置文件建立业务类型通道,即设置读写通道。因此,在不开放固定端口情况下,通过设置读写通道可以实现网省数据同步,从而减少安全隐患。
附图说明
图1为一个实施例中电力监控***网省两级数据同步方法的应用环境图;
图2为一个实施例中电力监控***网省两级数据同步方法流程图;
图3为一个实施例中电力监控***网省两级数据同步方法的建立业务通道类型流程图;
图4为另一个实施例中电力监控***网省两级数据同步方法流程图;
图5为一个实施例中电力监控***网省两级数据同步方法的建立业务通道类型流程图;
图6为一个实施例中电力监控***网省两级数据同步实现流程图;
图7为一个实施例中电力监控***网省两级数据同步方法的业务类型通道的读通道实现流程图;
图8为一个实施例中电力监控***网省两级数据同步方法的业务类型通道的写通道实现流程图;
图9为一个实施例中电力监控***网省两级数据同步方法的监控通道实现流程图;
图10为另一个实施例中电力监控***网省两级数据同步方法的监控通道实现流程图;
图11为一个实施例中电力监控***网省两级数据同步装置的结构框图;
图12为另一个实施例中电力监控***网省两级数据同步装置的结构框图;
图13为另一个实施例中电力监控***网省两级数据同步装置的结构框图;
图14为另一个实施例中电力监控***网省两级数据同步装置的结构框图;
图15为一个实施例中电力监控***网省两级数据同步装置的结构框图;
图16为另一个实施例中电力监控***网省两级数据同步装置的结构框图;
图17为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,该实施环境可以包括网服务器102、省主站104、网服务器的通讯机106、省服务器的通讯机108。其中,网服务器的通讯机106和省服务器的通讯机108建立业务类型通道,网服务器102和省主站104通过业务通道类型进行数据同步。通讯机即为图1中的通信模块。
在实际应用中,网服务器102和省主站104均包括应用层、服务层、存储层、前置模块,其中,存储层中包含服务器的数据库。网服务器102和省主站104可为服务器或服务器集群或云服务器等。网服务器102为网服务器,省主站104为省服务器。网服务器是指电力监控***中总服务器。省服务器是指电力监控***中部署在各个省的分服务器。
在一个实施例中,如图2所示,提供了一种电力监控***网省两级数据同步方法,该方法应用于如图1所示的网服务器的通讯机106中,包括以下步骤:
步骤202,网服务器的通讯机106从网服务器的数据库中获取第一数据文件。
其中,第一数据可以为网服务器中的事件、资产、配置、装置、未知资产、恶意IP、恶意DNS(Domain Name System,计算机域名***)、恶意MDS(Microarchitecture DataSampling,微架构数据采样)、指标、事件文件。
在本申请的一个可选实施例中,网服务器的通讯机106从网服务器的数据库中获取第一数据,该数据库位于服务器的存储层。
步骤204,网服务器的通讯机106通过业务类型通道发送该第一数据文件至省服务器的通讯机108,该业务类型通道根据配置文件建立。
配置文件是指一种计算机文件,该文件可以为一些计算机程序配置参数和初始设置。配置文件中包括省服务器IP及端口号、网的定义描述信息、对传输数据文件通道配置,该通道配置可以是读取文件路径、备份路径、临时存放传输数据文件块路径。
业务类型通道可以是通过TCP(Transmission Control Protocol,传输控制协议)连接。例如,当省服务器的通讯机108开放端口号为13000,网服务器的通讯机106主动与省服务器的通讯机108建立TCP连接。
通讯机能够根据配置文件建立通道,将双方数据文件互相传输。通讯机作为网服务器和省服务器的通讯桥梁,传输结果会通过回调推送给服务器,服务器监控做出相应处理,比如服务器记录每个分片的执行结果。
第一数据文件为网服务器的数据库中的数据文件,例如,该数据文件为数据库中事件的数据文件。第一数据文件可为各种类型的数据文件,如多媒体文件、文本文件、图像文件等。
在本申请的一个可选实施例中,根据配置文件中对传输数据文件通道配置信息建立该信息对应的业务类型通道,网服务器的通讯机106通过该业务类型通道发送第一数据至省服务器的通讯机108。
步骤206,网服务器的通讯机106接收省服务器的通讯机108通过该业务类型通道发送的第二数据文件。
其中,第二数据文件为省服务器的通讯机108从省服务器的数据库获取的数据文件。第二数据文件可为各种类型的数据文件,如多媒体文件、文本文件、图像文件等。
在本申请的一个可选实施例中,网服务器的通讯机106接收省服务器的通讯机108通过业务类型通道发送第二数据文件。
上述电力监控***网省两级数据同步方法,网服务器的通讯机106从网服务器的数据库中获取第一数据文件,然后,网服务器的通讯机106通过业务类型通道发送该第一数据文件至省服务器的通讯机108,其中,该业务类型通道根据配置文件建立,然后,网服务器的通讯机106接收省服务器的通讯机108通过该业务类型通道发送的第二数据文件。这样,在电力监控***中,网省之间要实现数据同步,只需要配置文件建立业务类型通道,即设置读写通道。因此,在不开放固定端口情况下,通过设置读写通道可以实现网省数据同步,从而减少安全隐患。
在一个实施例中,如图3所示,在网服务器的通讯机106从网服务器的数据库中获取第一数据文件之前,还包括以下步骤:
步骤302,网服务器的通讯机106根据配置文件中的业务类型请求省服务器的通讯机108建立与该业务类型相应的业务类型通道。
其中,配置文件中的业务类型可以为事件、资产、配置、装置、未知资产、恶意IP、恶意DNS、恶意MDS、指标、事件文件。例如,当配置文件的业务类型为事件时,网服务器的通讯机106请求省服务器的通讯机108建立事件类型通道,用于读取事件。在实际应用中,能够根据实际需求设置相应的配置文件建立其他业务类型通道。
在本申请的一个可选实施例中,网服务器的通讯机106根据配置文件的业务类型发出请求,请求省服务器的通讯机108建立与该业务通道类型相应的业务通道类型。
步骤304,当接收到该省服务器的通讯机108发送的建立业务类型通道的响应信息时,网服务器的通讯机106发送建立通道类型报文至该省服务器的通讯机108,以与该省服务器的通讯机108建立业务类型通道。
其中,报文是指网络中交换与传输的数据单元,报文包含了将要发送的完整的数据信息。网服务器的通讯机106根据业务类型发送建立相应业务类型通道报文。此外,在建立业务通道类型时,通过使用国密算法实现通道认证,其中,国密算法为国家密码局认定的国产密码算法,常用的国密算法有非对称加密算法、摘要算法及对称加密算法,例如对称加密算法法的分组长度和密钥长度都为128比特,算法安全保密强度及相关软硬件实现性能与高级加密标准相当,为相关用户消除了安全方面的担忧。然后,通道认证通过后接收省服务器的公钥加密的报文体,然后网服务器使用私钥解密,从而实现数据加密,保障数据同步的安全。
根据不同的业务类型建立对应的业务类型通道,各个业务类型通道相互独立,互不影响,确保了数据传输的稳定性。
在本申请的一个可选实施例中,省服务器的通讯机108发送建立业务类型通道的响应信息至网服务器的通讯机106,网服务器的通讯机106发送建立通道类型的报文至省服务器的通讯机108,与该省服务器的通讯机108建立业务类型通道。通过发送报文建立业务类型通道,确保双方能够及时获知通道建立信息。
在本申请的一个可选实施例中,网服务器的通讯机106接收网服务器的Logstash传输的压缩后的第一数据文件,该压缩后的第一数据文件是网服务器的Logstash从该网服务器的数据库中获取第一数据文件并压缩得到。其中,Logstash是一个开源数据收集引擎,用于采集不同数据源的数据,并对数据处理后输出到多种输出源。压缩方式可为winrar压缩,也可以zip压缩等。将数据文件进行压缩,可以减少数据量,节省数据传输通道资源。
在本申请的一个可选实施例中,在该网服务器的通讯机106接收省服务器的通讯机108通过该业务类型通道发送的第二数据文件之后,通过网服务器的Logstash对该压缩的第二数据文件进行解压,并将解压后的第二数据文件写入到该网服务器的数据库中。将压缩的第二数据文件进行解压,方便写入到网服务器的数据库中存储,并方便后续进行查询。
在本申请的一个可选实施例中,通过网服务器的Logstash对该压缩的第二数据文件进行解压,并将解压后的第二数据文件写入到该网服务器的数据库中。将第二数据文件进行压缩,可以减少在传输数据过程中的数据量,从而节省数据传输通道资源。
在一个实施例中,如图4所示,提供了一种电力监控***网省两级数据同步方法,该方法应用于如图1所示的省服务器的通讯机108中,包括以下步骤:
步骤402,省服务器的通讯机108接收网服务器的通讯机106通过业务类型通道发送的第一数据文件。
其中,第一数据文件为网服务器的通讯机106从网服务器的网服务器的数据库获取的数据文件,例如,该数据文件为数据库中事件的数据文件。
在本申请的一个可选实施例中,省服务器的通讯机108接收网服务器的通讯机106通过业务类型通道发送第一数据文件。
步骤404,省服务器的通讯机108从省服务器的数据库中获取第二数据文件。
在本申请的一个可选实施例中,省服务器的通讯机108从省服务器的数据库中获取数据,该数据库位于省服务器的存储层。
步骤406,省服务器的通讯机108通过业务类型通道发送该第二数据文件至网服务器的通讯机106。
其中,业务类型通道是根据配置文件建立,业务类型通道可以是通过TCP(Transmission Control Protocol,传输控制协议)连接。例如,当省服务器的通讯机108开放端口号为13002,网服务器的通讯机106主动与省服务器的通讯机108建立TCP连接。
通讯机根据配置文件建立通道,将双方数据文件互相传输,通讯机作为网服务器和省服务器的通讯桥梁,传输结果会通过回调推送给服务器,服务器监控做出相应处理,比如服务器记录每个分片的执行结果。
第二数据文件为省主站数据库中的数据文件,例如,该数据文件作为数据库中事件的数据文件。第二数据文件可为各种类型的数据文件,如多媒体文件、文本文件、图像文件等。
在本申请的一个可选实施例中,根据配置文件建立对应业务类型通道,省服务器的通讯机108通过该业务类型通道发送第二数据至网服务器的通讯机106。
在一个实施例中,如图5所示,该省服务器的通讯机108接收网服务器的通讯机106通过业务类型通道发送的第一数据文件,该业务类型通道根据配置文件建立之前,还包括以下步骤:
步骤502,省服务器的通讯机108接受网服务器的通讯机106建立与该业务类型相应的业务类型通道的请求。
步骤504,省服务器的通讯机108发送建立业务类型通道的响应信息至网服务器的通讯机106。
其中,该响应信息为建立与配置文件的业务类型对应的业务类型通道。
步骤506,省服务器的通讯机108接受网服务器的通讯机106发送建立通道类型报文。
其中,建立通道类型报文包括建立业务通道的类型,该业务通道类型可以是事件、资产、配置、装置、未知资产、恶意IP、恶意DNS、恶意MDS、指标、事件文件。
步骤508,当查找配置文件存在省服务器的通讯机108对应的通道类型时,网服务器的通讯机106建立该业务类型相应的业务类型通道。
其中,配置文件包括省服务器IP地址及端口号、网的定义描述信息、对传输数据文件通道信息配置,该对传输数据文件通道信息配置包括读取文件路径、备份路径、临时存放传输数据文件路径等。
在本申请的一个可选实施例中,省服务器的通讯机108接受建立通道类型报文,然后查找配置文件中对传输数据文件通道信息配置,当查找配置文件存在省服务器的通讯机108对应的通道类型时,网服务器的通讯机106建立该业务类型相应的业务类型通道。根据不同的业务类型建立对应的业务类型通道,各个业务类型通道相互独立,互不影响,确保了数据传输的稳定性。
请参考图6,其为一种电力监控***网省两级数据同步实现流程图,如图6所示,电力监控***网省两级数据同步具体实现过程包括:
步骤602,网服务器的Logstash向网服务器请求接口。
其中,Logstash是一个开源数据收集引擎,用于采集不同数据源的数据,并对数据处理后输出到多种输出源。Logstash事件有输入数据、处理数据、输出数据三个处理阶段,即是一个接收、处理、转发日志的工具。Logstash应用在电力监控***中,负责获取数据然后将压缩数据,并且读取数据文件将数据推送给对应的主站。压缩方式可为winrar压缩,也可以zip压缩等。将数据文件进行压缩,可以减少数据量,节省数据传输通道资源。
具体地,网服务器的Logstash向网服务器请求数据接口。
步骤604,网服务器查询网服务器的数据库。
具体地,网服务器根据网服务器的Logstash的请求查询网服务器的数据库的数据。
步骤606,网服务器响应网服务器的Logstash的请求,发送第一数据给网服务器的Logstash。
具体地,网服务器查询数据后响应网服务器的Logstash的请求,发送第一数据给网服务器的Logstash,其中,第一数据可以是事件、资产、配置、装置、未知资产、恶意IP、恶意DNS、恶意MDS、指标、事件文件。
步骤608,网服务器的Logstash接收第一数据,并将第一数据压缩生成第一数据文件。
具体地,网服务器的Logstash接收第一数据,然后通过网服务器的Logstash的压缩功能将第一数据压缩生成第一数据文件。该压缩的第一数据文件可以减少数据量,从而节省第一数据文件传输通道资源。
步骤610,网服务器的通讯机106调度获取压缩第一数据文件。
其中,该调度为电力调度,为了保证电网安全稳定运行、对外可靠供电、各类电力生产工作有序进行而采用的一种有效的管理手段。调度依据各类信息采集设备反馈回来的数据信息或监控人员提供的信息,结合电网实际运行参数,综合考虑各项生产工作开展情况,对电网安全、经济运行状态进行判断,通过电话或自动***发布操作指令,指挥现场操作人员或自动控制***进行调整,从而确保电网持续安全稳定运行。
步骤612,网服务器的通讯机106通过业务类型通道发送该第一数据文件至省服务器的通讯机108,该业务类型通道根据配置文件建立。
步骤614,省服务器的通讯机108接收网服务器的通讯机106通过业务类型通道发送的第一数据文件,该业务类型通道根据配置文件建立。
步骤616,省服务器的通讯机108保存第一数据文件。
步骤618,省服务器的Logstash读取第一数据文件并且解压第一数据文件保存入库。
Kafka是一种高吞吐量的分布式发布订阅消息***,用于处理消费者在网站中的所有动作流数据。在接收到省服务器的Logstash发送的解压缩数据文件后,Kafka对数据文件进行处理。
ES库是一个分布式文档数据库,该数据库用于保存通过Kafka处理的数据文件。
具体地,省服务器的Logstash用于读取从业务类型通道发送的第一数据文件,并且解压该第一数据文件,将解压的第一数据文件转给Kafka处理后保存至ES(Elasticsearch)库。
步骤620,省服务器的Logstash向省服务器调度请求接口。
具体地,省服务器的Logstash向省服务器调度请求数据接口。
步骤622,省服务器查询省服务器的数据库。
具体地,省服务器根据省服务器的Logstash的请求查询网服务器的数据库的数据。
步骤624,省服务器响应省服务器的Logstash的请求,发送第二数据给省服务器的Logstash。
具体地,省服务器查询数据后响应省服务器的Logstash的请求,发送第二数据给省服务器的Logstash,其中,第二数据可以是事件、资产、配置、装置、未知资产、恶意IP、恶意DNS、恶意MDS、指标、事件文件。
步骤626,省服务器的Logstash接收第二数据,并将第二数据压缩生成第二数据文件。
具体地,省服务器的Logstash接收第二数据,然后通过省服务器的Logstash的压缩功能将第二数据压缩生成第二数据文件。该压缩的第二数据文件可以减少数据量,从而节省第二数据文件传输通道资源。
步骤628,省服务器的通讯机108调度获取压缩第二数据文件。
步骤630,省服务器的通讯机108通过业务类型通道发送第二数据文件至网服务器的通讯机106。
步骤632,网服务器的通讯机106接收省服务器的通讯机108通过业务类型通道发送的第二数据文件。
步骤634,网服务器的通讯机106保存第二数据文件。
步骤636,网服务器的Logstash读取第二数据文件并且解压第二数据文件保存入库。
具体地,网服务器的Logstash用于读取从业务类型通道发送的第二数据文件,并且解压该第二数据文件,将解压的第二数据文件转给Kafka处理后保存至ES库。
上述电力监控***网省两级数据同步实现过程,网服务器的Logstash向网服务器请求接口,网服务器通过查询网服务器的数据库响应网服务器的Logstash的请求,发送第一数据给网服务器的Logstash,网服务器的Logstash接收并压缩生成第一数据文件,网服务器的通讯机106调度获取压缩第一数据文件并通过业务类型通道发送该第一数据文件至省服务器的通讯机108,省服务器的通讯机108接收并保存第一数据文件,省服务器的Logstash读取第一数据文件并且解压第一数据文件保存入库,然后,省服务器的Logstash向省服务器调度请求接口,省服务器通过查询省服务器的数据库响应省服务器的Logstash的请求,发送第二数据给省服务器的Logstash,省服务器的Logstash接收并压缩生成第二数据文件,省服务器的通讯机108调度获取压缩第二数据文件并通过业务类型通道发送第二数据文件至网服务器的通讯机106,网服务器的通讯机106接收并保存第二数据文件,网服务器的Logstash读取第二数据文件并且解压第二数据文件保存入库。上述电力监控***网省两级数据同步过程可以根据特定业务类型配置对应的业务类型通道实现,相对于数据集成工具而言,降低了特定业务传输时成本费用且不需要开放固定端口。因此,电力监控***网省两级数据同步方法可以在不开放固定端口情况下,通过设置读写通道可以实现网省数据同步,不仅成本低而且能够减少安全隐患。
为方便理解上述电力监控***网省两级数据同步方法实现流程中业务类型通道的读取和写入数据文件的过程,下面将分别对电力监控***网省两级数据同步方法的业务类型通道的读通道实现过程和电力监控***网省两级数据同步方法的业务类型通道的写通道实现过程进行简要说明。
请参考图7,其为一种电力监控***网省两级数据同步方法的业务类型通道的读通道实现流程图,如图7所示,电力监控***网省两级数据同步方法的业务类型通道的读通道实现的具体过程包括:
步骤702,网服务器的通讯机106根据配置文件请求建立相应业务类型的通道。
具体地,网服务器的通讯机106根据配置文件向省服务器的通讯机108请求建立相应的业务类型通道,比如建立处理事件的业务类型通道。
步骤704,省服务器的通讯机108接受请求。
具体地,省服务器的通讯机108接受网服务器的通讯机106建立相应业务类型通道的请求。
步骤706,省服务器的通讯机108返回请求响应。
具体地,省服务器的通讯机108接受建立相应业务类型通道的请求后,向网服务器的通讯机106返回请求响应。
步骤708,网服务器的通讯机106发送建立业务类型通道报文。
具体地,网服务器的通讯机106发送建立业务类型通道报文至省服务器的通讯机108,通过发送报文建立业务类型通道,确保网服务器的通讯机106和省服务器的通讯机108能够及时获知通道建立信息。
步骤710,省服务器的通讯机108接受报文并查找配置文件是否存在对应的通道类型。
具体地,省服务器的通讯机108接受报文后,根据配置文件提供的省IP地址及端口号、网的定义描述信息和对传输数据文件通道信息配置查找是否存在对应的通道类型。
步骤712,省服务器的通讯机108返回响应报文
其中,当省服务器的通讯机108查找存在对应的通道类型,省服务器的通讯机108返回响应建立相应业务类型通道报文至网服务器的通讯机106。该业务类型通道为从网服务器中网服务器的数据库读取数据文件传输到省服务器的数据库的通道,即该业务类型通道为读通道。
步骤714,网服务器的通讯机106调度定时获取配置指定位置下的文件数据。
其中,调度定时获取文件数据为每隔一段时间获取文件数据,该调度是按照秒、分钟、小时进行设置。
具体地,网服务器的通讯机106调度每隔一段时间探测是否有符合条件的文件,若存在符合条件的文件,则网服务器的通讯机106能够从网服务器的数据库中获取配置指定位置下的第一数据。
步骤716,网服务器的通讯机106发送文件数据。
具体地,网服务器的通讯机106通过业务类型通道的读通道发送第一数据至省服务器的通讯机108。
步骤718,省服务器的通讯机108接收文件数据。
具体地,省服务器的通讯机108通过业务类型通道的读通道接收第一数据。
步骤720,省服务器的通讯机108保存文件到配置指定的位置。
具体地,省服务器的通讯机108保存第一数据到配置指定的位置,等待省的Logstash读取入库。
请参考图8,其为一种电力监控***网省两级数据同步方法的业务类型通道的写通道实现流程图,如图8所示,电力监控***网省两级数据同步方法的业务类型通道的写通道实现的具体过程包括:
步骤702,网服务器的通讯机106根据配置文件请求建立相应业务类型的通道。
具体地,网服务器的通讯机106根据配置文件向省服务器的通讯机108请求建立相应的业务类型通道,比如建立处理事件的业务类型通道。
步骤704,省服务器的通讯机108接受请求。
具体地,省服务器的通讯机108接受网服务器的通讯机106建立相应业务类型通道的请求。
步骤706,省服务器的通讯机108返回请求响应。
具体地,省服务器的通讯机108接受建立相应业务类型通道的请求后,向网服务器的通讯机106返回请求响应。
步骤708,网服务器的通讯机106发送建立业务类型通道报文。
具体地,网服务器的通讯机106发送建立业务类型通道报文至省服务器的通讯机108。
步骤710,省服务器的通讯机108接受报文并查找配置文件是否存在对应的通道类型。
具体地,省服务器的通讯机108接受报文后,根据配置文件提供的省IP地址及端口号、网的定义描述信息和对传输数据文件通道信息配置查找是否存在对应的通道类型。
步骤802,省服务器的通讯机108调度定时获取配置指定位置下的文件数据。
其中,当省服务器的通讯机108查找存在对应的通道类型,该业务类型通道为网服务器的通讯机106接收省服务器的通讯机108发送的文件数据通道,即该业务类型通道为写通道。
具体地,省服务器的通讯机108调度每隔一段时间探测是否有符合条件的文件,若存在符合条件的文件,则省服务器的通讯机108能够从省服务器的数据库中获取配置指定位置下的第二数据。
步骤804,省服务器的通讯机108发送文件数据。
具体地,省服务器的通讯机108通过业务类型通道的写通道发送第二数据至网服务器的通讯机106。
步骤806,网服务器的通讯机106接收文件数据。
具体地,网服务器的通讯机106通过业务类型通道的写通道接收第二数据。
步骤808,网服务器的通讯机106保存文件到配置指定的位置。
具体地,网服务器的通讯机106保存第二数据到配置指定的位置,等待网的Logstash读取入库。
上述电力监控***网省两级数据同步方法实现流程中业务类型通道的读取和写入数据文件的过程中,读通道和写通道为独立的通道,读写通道是一对处理同样的业务类型,该业务类型可以是事件、资产、配置、装置、未知资产、恶意IP、恶意DNS、恶意MDS、指标、事件文件。此外,通讯机可以根据配置文件建立读写上下行的数据通道,服务端和客户端可以按照实际场景或带宽启动一个或多个,具体地,客户端通道以线程的方式建立多条业务连接进行数据传输。例如,当事件业务的文件数据比较多时,不断切换线程(连接业务通道)会影响性能,此时可以通过单独部署配置占用更多的资源。具体的场景因素包括:物理带宽是否达到上限、CPU、网卡是否支持多队列、服务器是否有其它连接占用带宽、服务器策略连接速度限制等等。网省两级数据同步可以根据配置启动一个或多个连接通道灵活应对不同的环境,并且在增加扩展功能模块时能够增强网省两级数据同步的高可用性、高并发性及可容灾性。
为确保网省两级数据同步过程中数据文件成功入库,电力监控***网省两级数据同步过程设置监控通道以监控数据传输结果。下面将分别对监控通道应用于网服务器向省主站传输数据的情况和监控通道应用于省主站向网服务器传输数据的情况进行简要说明。
请参考图9,其为一种电力监控***网省两级数据同步方法的监控通道实现流程图,该监控通道应用于网服务器向省主站传输数据的情况中,如图9所示,电力监控***网省两级数据同步方法的监控通道实现的具体过程包括:
步骤902,网服务器的通讯机106调度每隔一段时间请求API(ApplicationProgramming Interface,应用程序接口)数据。
其中,请求参数有省服务器的IP地址。
具体地,网服务器的通讯机106调度每隔一段时间向网服务器请求API数据。
步骤904,网服务器查询相关数据。
其中,网服务器采用轮询调度获取当前CIS告警数据同步到网服务器的通讯机106。
步骤906,网服务器响应请求。
具体地,网服务器响应网服务器的通讯机106的请求,发送数据至网服务器的通讯机106。
步骤908,网服务器的通讯机106接收数据。
具体地,网服务器的通讯机106获取网的Logstash压缩的第一数据文件。
步骤910,网服务器的通讯机106查询是否存在数据。具体地,网的Logstash将生成的第一数据文件放置到网服务器中,网服务器的通讯机106通过查询该网服务器的目录来监控该生成的第一数据文件是否存在。若不存在数据,则该第一数据文件传输至省服务器的通讯机108,若存在数据,则该第一数据文件没有传输至省服务器的通讯机108。
步骤912,网服务器的通讯机106获取数据并组装成报文。
具体地,若存在第一数据文件,网服务器的通讯机106获取第一数据文件,并将该文件组装成报文。
步骤914,网服务器的通讯机106发送报文。
步骤916,省服务器的通讯机108接收报文。
具体地,省服务器的通讯机108通过业务通道类型接收第一数据文件的报文,并将第一数据文件存储到省服务器的目录中。
步骤918,省服务器的通讯机108查询是否存在数据。
具体地,省服务器的通讯机108通过查询该省服务器的目录来监控是否接收到第一数据文件。
步骤920,解析报文并转给Kafka。
具体地,若省服务器的通讯机108接收到第一数据文件,则省服务器的通讯机108将第一数据文件发送至省的Logstash,通过将第一数据文件解压缩后转至Kafka处理。通过监控通道可以获知省服务器的通讯机108是否接收到第一数据文件以及是否成功入库,从而动态调整数据策略,例如,接收第一数据文件不完整,从而调整数据策略重新传输,最终保证数据文件的完整性。
请参考图10,其为一种电力监控***网省两级数据同步方法的监控通道实现流程图,该监控通道应用于省主站向网服务器传输数据的情况中,如图10所示,电力监控***网省两级数据同步方法的监控通道实现的具体过程包括:
步骤1002,省服务器的通讯机108调度每隔一段时间请求API(ApplicationProgramming Interface,应用程序接口)数据。
其中,请求参数有网服务器的IP地址。
具体地,省服务器的通讯机108调度每隔一段时间向省主站请求API数据。
步骤1004,省主站查询相关数据。
其中,省主站采用轮询调度获取当前CIS告警数据同步到省服务器的通讯机108。
步骤1006,省主站响应请求。
具体地,省主站响应省服务器的通讯机108的请求,发送数据至省服务器的通讯机108。
步骤1008,省服务器的通讯机108接收数据。
具体地,省服务器的通讯机108获取省服务器的Logstash压缩的第二数据文件。
步骤1010,省服务器的通讯机108查询是否存在数据。
具体地,省的Logstash将生成的第二数据文件放置到省服务器中,省服务器的通讯机108通过查询该省服务器的目录来监控该生成的第二数据文件是否存在。若不存在数据,则该第二数据文件传输至网服务器的通讯机106,若存在数据,则该第二数据文件没有传输至网服务器的通讯机106。
步骤1012,省服务器的通讯机108获取数据并组装成报文。
具体地,若存在第二数据文件,省服务器的通讯机108获取第二数据文件,并将该文件组装成报文。
步骤1014,省服务器的通讯机108发送报文。
步骤1016,网服务器的通讯机106接收报文。
具体地,网服务器的通讯机106通过业务通道类型接收第二数据文件的报文,并将第二数据文件存储到网服务器的目录中。
步骤1018,网服务器的通讯机106查询是否存在数据。
具体地,网服务器的通讯机106通过查询该网服务器的目录来监控是否接收到第二数据文件。
步骤1020,解析报文并转给Kafka。
具体地,若网服务器的通讯机106接收到第二数据文件,则网服务器的通讯机106将第二数据文件发送至网的Logstash,通过将第二数据文件解压缩后转至Kafka处理。通过监控通道可以获知网服务器的通讯机106是否接收到第二数据文件以及是否成功入库,从而动态调整数据策略,例如,接收第二数据文件不完整,从而调整数据策略重新传输,最终保证数据文件的完整性。
上述在电力监控***网省两级数据同步过程中,通过监控通道可以得知数据源或目的地是否得到传输的数据文件(例如,传输的数据是否完整或入库是否成功),从而才能动态调整数据策略(重新传输、发出异常告警等),最终保证数据文件的安全性、完整性、一致性。相对于一般工具而言,本方案能够通过监控通道监控数据传输的结果。
应该理解的是,虽然图1-10的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-10中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图11所示,提供了一种电力监控***网省两级数据同步装置,该装置1100可以配置于图1所示网服务器的通讯机106中,该装置1100包括:第一数据获取模块1102、第一数据发送模块1104和第一数据接收模块1106,其中:
第一数据获取模块1102,用于从网服务器的数据库中获取第一数据文件。
第一数据发送模块1104,用于通过业务类型通道发送该第一数据文件至省服务器的通讯机108,该业务类型通道根据配置文件建立。
第二数据接收模块1106,用于接收省服务器的通讯机108通过该业务类型通道发送的第二数据文件。
在一个实施例中,如图12所示,提供了本申请实施例另外一种电力监控***网省两级数据同步装置,该装置1100还包括请求模块1108、第一接收模块1110、第一发送模块1112。
请求模块1108,用于根据配置文件中的业务类型请求省服务器的通讯机108建立与该业务类型相应的业务类型通道。
第一接收模块1110,用于接收到该省服务器的通讯机108发送的建立业务类型通道的响应信息。
第一发送模块1112,用于发送建立通道类型报文至所述省服务器的通讯机108,以与该省服务器的通讯机108建立业务类型通道。
在一个实施例中,第一数据获取模块1102还用于网服务器的通讯机106接收网服务器的Logstash传输的压缩后的第一数据文件。该压缩后的第一数据文件是网服务器的Logstash从该网服务器的数据库中获取第一数据文件并压缩得到。
在一个实施例中,如图13所示,在该网服务器的通讯机106接收省服务器的通讯机108通过该业务类型通道发送的第二数据文件之后,该装置1100还包括第二数据写入模块1114。
第二数据写入模块1114,用于将该第二数据文件写入到该网服务器的数据库中。
在一个实施例中,如图14所示,该装置1100还包括第二数据解压模块1116。
第二数据解压模块1116,用于通过网服务器的Logstash对该压缩的第二数据文件进行解压;
第二数据写入模块1114,用于将解压后的第二数据文件写入到该网服务器的数据库中。
本申请实施例提供的电力监控***网省两级数据同步装置,可以实现上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
关于电力监控***网省两级数据同步装置的具体限定可以参见上文中对于电力监控***网省两级数据同步方法的限定,在此不再赘述。上述电力监控***网省两级数据同步装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,如图15所示,提供了一种电力监控***网省两级数据同步装置,该装置1500可以配置于图1所示省服务器的通讯机108中,该装置1500包括:第一数据接收模块1502、第二数据获取模块1504和第二数据发送模块1506,其中:
第一数据接收模块1502,用于接收从网服务器的通讯机106通过业务类型通道发送的第一数据文件,该业务类型通道根据配置文件建立;
第二数据获取模块1504,用于从省服务器的数据库中获取第二数据文件;
第二数据发送模块1506,用于通过业务类型通道发送该第二数据文件至网服务器的通讯机106。
在一个实施例中,如图16所示,该省服务器的通讯机108接收网服务器的通讯机106通过业务类型通道发送的第一数据文件,该业务类型通道根据配置文件建立之前,该装置1500还包括第一接受模块1508、第二发送模块1510、第二接受模块1512、查找模块1514。
第一接受模块1508,用于接受网服务器的通讯机106建立与该业务类型相应的业务类型通道的请求;
第二发送模块1510,用于发送建立业务类型通道的响应信息至网服务器的通讯机106;
第二接受模块1512,用于接受网服务器的通讯机106发送建立通道类型报文;
查找模块1514,用于查找配置文件存在省服务器的通讯机108对应的通道类型。
本申请实施例提供的电力监控***网省两级数据同步装置,可以实现上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
关于电力监控***网省两级数据同步装置的具体限定可以参见上文中对于电力监控***网省两级数据同步方法的限定,在此不再赘述。上述电力监控***网省两级数据同步装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在本申请的一个实施例中,提供了一种计算机设备,该计算机设备可以为主站或者前置机,其内部结构图可以如图17所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于电力监控***网省两级数据同步数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种电力监控***网省两级数据同步方法。
本领域技术人员可以理解,图17中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供给了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现电力监控***网省两级数据同步方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现电力监控***网省两级数据同步方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种电力监控***网省两级数据同步方法,其特征在于,用于网服务器的通讯机中,所述方法包括:
网服务器的通讯机根据配置文件中的业务类型请求省服务器的通讯机建立与所述业务类型相应的业务类型通道;所述配置文件是根据实际需求设置的;所述业务类型为事件、资产、配置、装置、未知资产、恶意IP、恶意DNS、恶意MDS、指标、事件文件中的一种;所述网服务器为电力监控***中总服务器;
当接收到所述省服务器的通讯机发送的建立业务类型通道的响应信息时,网服务器的通讯机发送建立通道类型报文至所述省服务器的通讯机,以与所述省服务器的通讯机建立业务类型通道;所述省服务器为所述电力监控***中部署在各个省的分服务器;
网服务器的通讯机调度获取网服务器的Logstash传输的压缩后的第一数据文件,所述压缩后的第一数据文件是网服务器的Logstash从所述网服务器的数据库中获取第一数据文件并压缩得到;所述调度为电力调度;
网服务器的通讯机通过所述业务类型通道的读通道发送所述压缩后的第一数据文件至省服务器的通讯机;
网服务器的通讯机接收省服务器的通讯机通过所述业务类型通道的写通道发送的第二数据文件,所述业务类型通道的写通道和读通道是处理同样的业务类型的;
网服务器的通讯机将所述第二数据文件写入到所述网服务器的数据库中;所述第二数据文件为压缩文件;
通过网服务器的Logstash对所述压缩的第二数据文件进行解压,并将解压后的第二数据文件写入到所述网服务器的数据库中。
2.一种电力监控***网省两级数据同步方法,其特征在于,用于省服务器的通讯机中,所述方法包括:
省服务器的通讯机接受网服务器的通讯机建立与业务类型相应的业务类型通道的请求;所述业务类型为事件、资产、配置、装置、未知资产、恶意IP、恶意DNS、恶意MDS、指标、事件文件中的一种;所述网服务器为电力监控***中总服务器;所述省服务器为所述电力监控***中部署在各个省的分服务器;
省服务器的通讯机发送建立业务类型通道的响应信息至网服务器的通讯机;
省服务器的通讯机接受网服务器的通讯机发送建立通道类型报文;
当查找配置文件存在省服务器的通讯机对应的通道类型时,通过网服务器的通讯机建立所述业务类型相应的业务类型通道;
省服务器的通讯机接收从网服务器的通讯机通过业务类型通道的读通道发送的第一数据文件,所述业务类型通道根据配置文件建立;所述配置文件是根据实际需求设置的;
省服务器的通讯机从省服务器的数据库中获取第二数据文件;所述第二数据文件为压缩文件;
省服务器的通讯机通过业务类型通道的写通道发送所述第二数据文件至网服务器的通讯机,所述业务类型通道的写通道和读通道是处理同样的业务类型的。
3.一种电力监控***网省两级数据同步装置,其特征在于,应用于网服务器的通讯机,所述装置包括:
请求模块,用于根据配置文件中的业务类型请求省服务器的通讯机建立与该业务类型相应的业务类型通道;所述配置文件是根据实际需求设置的;所述业务类型为事件、资产、配置、装置、未知资产、恶意IP、恶意DNS、恶意MDS、指标、事件文件中的一种;所述网服务器为电力监控***中总服务器;
第一发送模块,用于当接收到所述省服务器的通讯机发送的建立业务类型通道的响应信息时,发送建立通道类型报文至所述省服务器的通讯机,以与所述省服务器的通讯机建立业务类型通道;所述省服务器为所述电力监控***中部署在各个省的分服务器;
第一数据获取模块,用于调度获取网服务器的Logstash传输的压缩后的第一数据文件,所述压缩后的第一数据文件是网服务器的Logstash从所述网服务器的数据库中获取第一数据文件并压缩得到;所述调度为电力调度;
第一数据发送模块,用于通过所述业务类型通道的读通道发送所述压缩后的第一数据文件至省服务器的通讯机;
第二数据接收模块,用于接收省服务器的通讯机通过所述业务类型通道的写通道发送的第二数据文件,所述业务类型通道的写通道和读通道是处理同样的业务类型的;
第二数据解压模块,用于将所述第二数据文件写入到所述网服务器的数据库中;所述第二数据文件为压缩文件;
第二数据写入模块,用于通过网服务器的Logstash对所述压缩的第二数据文件进行解压,并将解压后的第二数据文件写入到所述网服务器的数据库中。
4.一种电力监控***网省两级数据同步装置,其特征在于,应用于省服务器的通讯机,所述装置包括:
第一接受模块,用于接受网服务器的通讯机建立与业务类型相应的业务类型通道的请求;所述业务类型为事件、资产、配置、装置、未知资产、恶意IP、恶意DNS、恶意MDS、指标、事件文件中的一种;所述网服务器为电力监控***中总服务器;所述省服务器为所述电力监控***中部署在各个省的分服务器;
第二发送模块,用于发送建立业务类型通道的响应信息至网服务器的通讯机;
第二接受模块,用于接受网服务器的通讯机发送建立通道类型报文;
查找模块,用于当查找配置文件存在省服务器的通讯机对应的通道类型时,通过网服务器的通讯机建立所述业务类型相应的业务类型通道;
第一数据接收模块,用于接收从网服务器的通讯机通过业务类型通道的读通道发送的第一数据文件,所述业务类型通道根据配置文件建立;所述配置文件是根据实际需求设置的;
第二数据获取模块,用于从省服务器的数据库中获取第二数据文件;所述第二数据文件为压缩文件;
第二数据发送模块,用于通过业务类型通道的写通道发送所述第二数据文件至网服务器的通讯机,所述业务类型通道的写通道和读通道是处理同样的业务类型的。
5.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1所述的方法的步骤。
6.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求2所述的方法的步骤。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1所述的方法的步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求2所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110373719.XA CN113283999B (zh) | 2021-04-07 | 2021-04-07 | 电力监控***网省两级数据同步方法、装置、计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110373719.XA CN113283999B (zh) | 2021-04-07 | 2021-04-07 | 电力监控***网省两级数据同步方法、装置、计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113283999A CN113283999A (zh) | 2021-08-20 |
CN113283999B true CN113283999B (zh) | 2024-01-23 |
Family
ID=77276407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110373719.XA Active CN113283999B (zh) | 2021-04-07 | 2021-04-07 | 电力监控***网省两级数据同步方法、装置、计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113283999B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102724356A (zh) * | 2012-05-25 | 2012-10-10 | 中兴通讯股份有限公司 | 接入设备的信息同步方法及装置 |
CN109522364A (zh) * | 2018-10-18 | 2019-03-26 | 恒峰信息技术有限公司 | 一种异地数据双向同步方法及*** |
CN111352993A (zh) * | 2019-03-20 | 2020-06-30 | 深圳市鸿合创新信息技术有限责任公司 | 一种跨平台数据同步方法及装置、电子设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10140350B2 (en) * | 2015-11-09 | 2018-11-27 | Dassault Systemes Americas Corp. | Bi-directional synchronization of data between a product lifecycle management (PLM) system and a source code management (SCM) system |
-
2021
- 2021-04-07 CN CN202110373719.XA patent/CN113283999B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102724356A (zh) * | 2012-05-25 | 2012-10-10 | 中兴通讯股份有限公司 | 接入设备的信息同步方法及装置 |
CN109522364A (zh) * | 2018-10-18 | 2019-03-26 | 恒峰信息技术有限公司 | 一种异地数据双向同步方法及*** |
CN111352993A (zh) * | 2019-03-20 | 2020-06-30 | 深圳市鸿合创新信息技术有限责任公司 | 一种跨平台数据同步方法及装置、电子设备 |
Non-Patent Citations (1)
Title |
---|
SQL Server CE 在野外采集***中的应用;蔡子昭等;《微计算机信息》;20110415;第64-66页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113283999A (zh) | 2021-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11178225B2 (en) | Data files synchronization with cloud storage service | |
US10237333B2 (en) | Network transfer of large files in unstable network environments | |
CN110009201B (zh) | 一种基于区块链技术的电力数据链接***及方法 | |
CN106549933B (zh) | 区块链的数据传输***及方法 | |
CN103532754A (zh) | 一种通过高速内存、分布式处理海量日志的***及方法 | |
US20150237113A1 (en) | Method and system for file transmission | |
US10783121B2 (en) | Techniques for optimizing data flows in hybrid cloud storage systems | |
EP3364310A1 (en) | Data processing method and device | |
CN112087490A (zh) | 一种高性能移动端应用软件日志收集*** | |
CN110837423A (zh) | 一种自动导引运输车数据采集的方法和装置 | |
WO2017174013A1 (zh) | 数据存储管理方法、装置及数据存储*** | |
CN114598749B (zh) | 一种服务访问方法及装置 | |
CN101771548A (zh) | 文件同步方法及*** | |
CN112351068A (zh) | 信息同步方法、***、装置、计算机设备和存储介质 | |
CN105677494A (zh) | 一种消息分发的方法和装置 | |
CN112052227A (zh) | 数据变更日志的处理方法、装置和电子设备 | |
CN114827171B (zh) | 信息同步方法、装置、计算机设备和存储介质 | |
CN113486095A (zh) | 一种民航空管跨网安全数据交换管理平台 | |
CN114579664A (zh) | 一种SQLite数据库远程实时增量同步方法及*** | |
CN116980475B (zh) | 一种基于binlog与双环形缓冲区的数据推送*** | |
CN113283999B (zh) | 电力监控***网省两级数据同步方法、装置、计算机设备 | |
CN117194562A (zh) | 数据同步方法和装置、电子设备和计算机可读介质 | |
CN113612811B (zh) | 一种在多通道中客户端挂载的方法、***、设备及介质 | |
CN104702578A (zh) | 一种终端间进行通信的方法及终端 | |
CN104753990A (zh) | 一种数据同步方法、装置和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20230804 Address after: 518000 building 501, 502, 601, 602, building D, wisdom Plaza, Qiaoxiang Road, Gaofa community, Shahe street, Nanshan District, Shenzhen City, Guangdong Province Applicant after: China Southern Power Grid Digital Platform Technology (Guangdong) Co.,Ltd. Address before: Room 86, room 406, No.1, Yichuang street, Zhongxin Guangzhou Knowledge City, Huangpu District, Guangzhou City, Guangdong Province Applicant before: Southern Power Grid Digital Grid Research Institute Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |