CN108805741B - 一种电能质量数据的融合方法、装置及*** - Google Patents
一种电能质量数据的融合方法、装置及*** Download PDFInfo
- Publication number
- CN108805741B CN108805741B CN201810368579.5A CN201810368579A CN108805741B CN 108805741 B CN108805741 B CN 108805741B CN 201810368579 A CN201810368579 A CN 201810368579A CN 108805741 B CN108805741 B CN 108805741B
- Authority
- CN
- China
- Prior art keywords
- power quality
- quality data
- data
- offset
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims description 6
- 238000012544 monitoring process Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000005192 partition Methods 0.000 claims description 35
- 230000004927 fusion Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 20
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Remote Monitoring And Control Of Power-Distribution Networks (AREA)
Abstract
一种电能质量数据的融合方法包括：电能质量监测点采集电能质量数据，根据订阅指令将所述电能质量数据实时发送至kafka服务器；Kafka服务器接收数据WEB客户端的数据消费请求；所述kafka服务器根据所述WEB客户端的数据消费记录，查找所述WEB客户端的数据消费请求所对应的偏移量，从所述kafka服务器获取所述偏移量对应的电能质量数据，并发送给所述WEB客户端。通过kafka服务器进行数据的中转，使得不同***的电能质量数据能够得到有效的融合，并且通过kafka服务器响应偏移量，能够更为实时的响应WEB客户端的电能质量数据请求。
Description
技术领域
本发明属于电能质量数据处理领域，尤其涉及一种电能质量数据的融合方法、装置及***。
背景技术
随着智能电网的不断发展，以及人们对电能质量越来越重视，使得现今的电能质量数据海量增加。由于电能质量数据的迅速增长，对所述电能质量数据进行监测的电能质量监测***也不断增加。
由于不同的监测***通常采用不同的数据库来存储数据，不同***在运行环境(例如计算机操作***、数据库***、信息安全分区等)、网络结构和协议、数据模型、物理模型、数据语义等方面均存在显著差异。因此，对于海量的电能质量数据，不能有效的在不同的监测***之间进行管理和传输，电能监测数据融合的难度较大。
发明内容
有鉴于此，本发明实施例提供了一种电能质量数据的融合方法、装置及***，以解决现有技术中对于海量的电能质量数据，不能有效的在不同的监测***之间进行管理和传输，电能监测数据融合的难度较大的问题。
本发明实施例的第一方面提供了一种电能质量数据的融合方法，所述电能质量数据的融合方法包括：
电能质量监测点采集电能质量数据，根据订阅指令将所述电能质量数据实时发送至kafka服务器；
Kafka服务器接收数据WEB客户端的数据消费请求；
所述kafka服务器根据所述WEB客户端的数据消费记录，查找所述WEB客户端的数据消费请求所对应的偏移量，从所述kafka服务器获取所述偏移量对应的电能质量数据，并发送给所述WEB客户端。
结合第一方面，在第一方面的第一种可能实现方式中，所述电能质量监测终端采集电能质量数据，根据订阅指令将所述电能质量数据实时发送至kafka服务器的步骤包括：
通过电能质量监测点实时采集电能质量数据；
通过WEB服务接口接收到kafka服务器发送的订阅指令；
将电能质量数据封装到消息中并实时发送至kafka服务器，所述kafka服务器接收到消息进行解封装得到电能质量数据，并确定所接收的电能质量数据的偏移量。
结合第一方面，在第一方面的第二种可能实现方式中，所述确定所接收的电能质量数据的偏移量的步骤包括：
将所述电能质量数据发送到指定主题和分区；
以指定主题和分区的末尾的偏移量为基础，确定所述电能质量数据的偏移量。
结合第一方面、第一方面的第一种可能实现方式、第一方面的第二种可能实现方式，在第一方面的第三种可能实现方式中，所述方法还包括：
通过kafka服务器集群的方式，将所电能质量数据以及对应的偏移量进行冗余备份；
根据kafka服务器中的分区的服务状态，确定kafka服务器集群中的kafka服务器为WEB客户端提供服务。
结合第一方面，在第一方面的第四种可能实现方式中，所述方法还包括：
所述kafka服务器根据预定的缓存策略，按照电能质量数据的存储顺序，将较先存储的电能质量数据删除。
本发明实施例的第二方面提供了一种电能质量数据的融合装置，所述电能质量数据的融合装置包括：
订阅数据发送单元，用于由电能质量监测点采集电能质量数据，根据订阅指令将所述电能质量数据实时发送至kafka服务器；
消费请求接收单元，用于由Kafka服务器接收数据WEB客户端的数据消费请求；
偏移数据发送单元，用于由所述kafka服务器根据所述WEB客户端的数据消费记录，查找所述WEB客户端的数据消费请求所对应的偏移量，从所述kafka服务器获取所述偏移量对应的电能质量数据，并发送给所述WEB客户端。
结合第二方面，在第二方面的第一种可能实现方式中，所述订阅数据发送单元包括：
采集子单元，用于通过电能质量监测点实时采集电能质量数据；
指令发送子单元，用于通过WEB服务接口接收到kafka服务器发送的订阅指令；
订阅消息发送子单元，用于将电能质量数据封装到消息中并实时发送至kafka服务器，所述kafka服务器接收到消息进行解封装得到电能质量数据，并确定所接收的电能质量数据的偏移量。
结合第二方面，在第二方面的第二种可能实现方式中，所述订阅消息发送子单元包括：
分区确定模块，用于将所述电能质量数据发送到指定主题和分区；
偏移量确定模块，用于以指定主题和分区的末尾的偏移量为基础，确定所述电能质量数据的偏移量。
本发明实施例的第三方面提供了一种电能质量数据的融合***，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如第一方面任一项所述电能质量数据的融合方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如第一方面任一项所述电能质量数据的融合方法的步骤。
本发明实施例与现有技术相比存在的有益效果是：本申请将电能质量监测点所采集的电能质量数据，根据订阅指令将电能质量数据实时发送给kafka服务器，当所述kafka服务器接收到WEB客户端发送的数据消费请求时，根据所述WEB客户端的消费记录，查找所述WEB客户端对应的偏移量，以及所述偏移量对应的电能质量数据，将查找的电能质量数据发送给WEB客户端。通过kafka服务器进行数据的中转，使得不同***的电能质量数据能够得到有效的融合，并且通过kafka服务器响应偏移量，能够更为实时的响应WEB客户端的电能质量数据请求。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的电能质量数据的融合***的示意图；
图2是本发明实施例提供的电能质量数据的融合方法的实现流程示意图；
图3是本发明实施例提供的装置的示意图；
图4是本发明实施例提供的电能质量数据的融合***的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
图1为本申请实施例提供的一种电能质量数据的融合***的示意图，所述电能质量数据的融合***包括kafka(卡夫卡)服务器、WEB客户端和电能质量监测点，其中：
所述kafka服务器可以为多个，通过多个服务器构成服务器集群。多个服务器可以包括主服务器和备份服务器。其中，对于每个服务器可以分为多个类别和分区，对于每个类别中的分区，可以为不同的WEB客户端提供访问服务。所述主服务器和备份服务器可以根据类别和分区中的内容进行设置。比如，对于类别X1中的某个分区Y1，服务器A为主服务器，服务器B为备份服务器，而对于类别X2中的分区Y2，服务器B为主服务器，服务器A为备份服务器。对于同一电能质量数据，可以在服务器集群中同步备份，当WEB客户端访问所述电能质量数据时，可以根据服务器的服务状态，自动的平衡各个服务器的负载，从而方便为WEB客户端提供更为快捷的访问速度。
所述kafka服务器是由Apache软件基金会开发的一个开源流处理平台的服务器。Kafka平台是一种高吞吐量的分布式发布订阅消息***，它可以处理消费者规模的网站中的所有动作流数据。
所述电能质量数据由电能质量监测点采集后发送给kafka服务器，所述kafka服务器根据将所述电能质量数据存储在指定的类别和分区，并为所述电能质量数据为配相应的偏移量。通过所述偏移量，可以使得WEB客户端对任意数据的访问操作。当然，所述kafka服务器也可记录所述WEB客户端的访问或消费记录，从而使得WEB客户端访问时，直接获取所需要发送的数据。
所述kafka服务器可以通过订阅消息的方式，获取各个电能质量监测点所采集的电能质量数据。当kafka服务器通过WEB服务接口向电能质量监测点发出订阅指令时，电能监测点将所述电能质量数据封装到消息中，发送给kafka服务器，所述kafka服务器可实时的接收由所述电能质量监测点所采集的电能质量数据。当所述kafka服务器取消订阅时，则不会接收到指定的电能质量监测点所采集的电能质量数据，并同步至kafka服务器集群中的各个服务器中，并且在用户访问时，也将访问的记录同步至各个服务器。
所述WEB客户端为可对监测数据进行查看的终端，可以为智能手机、平板电脑、台式计算机等。所述WEB客户端可以通过发送数据查看请求的方式向kafka服务器发送请求。所述kafka服务器在接收到访问请求时，可以根据记录的WEB客户端对应的偏移量，查找对应的访问数据。
当然，所述请求中也可以携带所需要访问的数据所对应的偏移量，所述kafka服务器可以根据所述偏移量查找对应的数据，发送给所述WEB客户端。
或者，当所述WEB客户端第一次访问量，可以由kafka服务器向所述WEB客户端发送偏移量数据，使得所述WEB客户端能够查找所需要的数据所对应的偏移量。
所述电能质量监测点，可以直接采集所需要监测的数据，将采集的数据存储在本地***中，或者可以根据订阅指令，将电能质量数据封装到消息中，实时将所述消息传送至kafka服务器，由kafka服务器对消息进行解封装，得到电能质量数据。
图2为本申请实施例提供的一种电能质量数据的融合方法的实现流程示意图，详述如下：
在步骤S201中，电能质量监测点采集电能质量数据，根据订阅指令将所述电能质量数据实时发送至kafka服务器；
具体的，所述电能质量监测点可以实时的对电能质量数据进行采集，对于采集的电能质量数据，可以将采集的电能质量数据存储在电能质量监测点，或者也可以根据由WEB服务接口传送的订阅指令，实时的将采集的电能质量数据封装为消息，返回至kafka服务器进行解封装。
所述电能监测点设置WEB服务订阅接口，可以接收由kafka服务器发送的订阅指令。当接收到订阅指令时，可以由电能监测点实时的将电能监测数据发送至所述kafka服务器，当取消订阅时，则停止发布实时的电能质量数据。
优选的，所述电能质量监测终端采集电能质量数据，根据订阅指令将所述电能质量数据实时发送至kafka服务器的步骤可以包括：
A1，通过电能质量监测点实时采集电能质量数据；
A2，通过WEB服务接口接收到kafka服务器发送的订阅指令；
A3，将电能质量数据封装到消息中并实时发送至kafka服务器，所述kafka服务器接收到消息进行解封装得到电能质量数据，并确定所接收的电能质量数据的偏移量。
可以将电能质量数据存储在kafka服务器的指定类别和指定分区，并且确定每份电能质量数据的偏移量。所述偏移量根据所述电能质量数据的先后顺序确定，即在先的电能质量数据的偏移量较小，在后的电能质量数据的偏移量较大。在发送电能质量数据时，可以选择合适的序列化方法，对消息内容进行编码，通过修改配置参数实现批量消息发送，所述编码可以采用四元组的方式传递电能质量数据，并且为了避免计算识别错误，在编码过程中，对于所有元素在运行环境中表示为字面值。
比如，在先的电能质量数据的偏移量为n，当接收到新的电能质量数据时，则偏移量在之前的基础上累积编号，从n+1开始对新接收的电能质量数据进行编号，确定新的电能质量数据的偏移量。
在步骤S202中，Kafka服务器接收数据WEB客户端的数据消费请求；
所述kafka服务器可以通过API接口接收WEB客户端发送数据需求的消费请求。
对于新的WEB客户端，由于之前没有获取过电能质量数据，因此，在kafka服务器上没有访问记录，所述kafka服务器没有记录其访问的历史信息，因此，可以向所述WEB客户端发送电能质量数据与偏移量的对应表至WEB客户端，从而使得WEB客户端向所述kafka服务器发送所需要请求的数据对应的偏移，kafka服务器根据所述WEB客户端发送的偏移量，查找对应的数据发送给所述WEB客户端。
当然，对于新的WEB客户端，所述kafka服务器也可以从开始的位置，对电能质量数据进行发送。
所述kafka服务器可以包括不同的类别和分区，对于同一个分区，在同一时间一般只向一个WEB客户端提供数据传输服务，从而可以有效的保证WEB客户端能够实时高效的访问电能质量数据。当所述WEB客户端访问完毕后，可以由kafka服务器记录所述访问记录，并同步至kafka服务器集群，以便于WEB客户端的下次访问。或者，也可以由WEB客户端记录自己的访问记录，在下次访问时，将该访问记录通过请求发送至kafka服务器。
在步骤S203中，所述kafka服务器根据所述WEB客户端的数据消费记录，查找所述WEB客户端的数据消费请求所对应的偏移量，从所述kafka服务器获取所述偏移量对应的电能质量数据，并发送给所述WEB客户端。
所述kafka服务器根据查找的偏移量，对电能质量数据进行查找，当查找到相应的数据时，可以根据资源配置策略，在kafka服务器集群中查找较佳的资源配置方式，为WEB客户端传送所需要的数据。
其中，所述kafka服务器可以包括主服务器和备份服务器，可以通过kafka服务器集群的方式，将所电能质量数据以及对应的偏移量进行冗余备份；根据kafka服务器中的分区的服务状态，确定kafka服务器集群中的kafka服务器为WEB客户端提供服务。
在不同的服务器上备份有相同的电能质量数据以及电能捏数据对应的偏移量，当kafka服务器接收到数据需求时，可以根据偏移量查找到对应的类别和分区，判断该分区是否正在提供数据传输服务，通过空闲状态的类别和分区，为WEB客户端提供高效的数据传输服务。
另外，所述主服务器和备份服务器可以根据不同的数据进行区别，比如，对于数据X，服务器A为主服务器，服务器B为备份服务器，对于数据B，服务器B为主服务器，服务器A为备份服务器，这样可以有效的避免WEB客户端对于数据访问时，造成其中某个服务器的访问堵塞，进一步提高数据访问的效率。
另外，为了保证kafka服务器能够正常有序的工作，还可以预先设定数据缓存策略，对于新采集的数据，即使已发送至WEB客户端后也并不会立即删除，而是保存在kafka服务器一段时间。当达到预定的缓存策略的删除条件时，则将kafka服务器中存储的一部分较早的数据删除，达到释放磁盘空间的目的，使得kafka服务器可持续使用。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图3为本申请实施例提供的一种电能质量数据的融合装置的结构示意图，所述电能质量数据的融合装置包括：
订阅数据发送单元301，用于由电能质量监测点采集电能质量数据，根据订阅指令将所述电能质量数据实时发送至kafka服务器；
消费请求接收单元302，用于由Kafka服务器接收数据WEB客户端的数据消费请求；
偏移数据发送单元303，用于由所述kafka服务器根据所述WEB客户端的数据消费记录，查找所述WEB客户端的数据消费请求所对应的偏移量，从所述kafka服务器获取所述偏移量对应的电能质量数据，并发送给所述WEB客户端。
优选的，所述订阅数据发送单元包括：
采集子单元，用于通过电能质量监测点实时采集电能质量数据；
指令发送子单元，用于通过WEB服务接口接收到kafka服务器发送的订阅指令；
订阅消息发送子单元，用于将电能质量数据封装到消息中并实时发送至kafka服务器，所述kafka服务器接收到消息进行解封装得到电能质量数据，并确定所接收的电能质量数据的偏移量。
优选的，所述订阅消息发送子单元包括：
分区确定模块，用于将所述电能质量数据发送到指定主题和分区；
偏移量确定模块，用于以指定主题和分区的末尾的偏移量为基础，确定所述电能质量数据的偏移量。
所述电能质量数据的融合装置，与图2所述的电能质量数据融合方法对应。
图4是本发明一实施例提供的电能质量数据的融合***的示意图。如图4所示，该实施例的电能质量数据的融合***4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42，例如电能质量数据的融合程序。所述处理器40执行所述计算机程序42时实现上述各个电能质量数据的融合方法实施例中的步骤，例如图2所示的步骤201至203。或者，所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能，例如图3所示模块301至303的功能。
示例性的，所述计算机程序42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述电能质量数据的融合***4中的执行过程。例如，所述计算机程序42可以被分割成订阅数据发送单元、数据请求接收单元和偏移数据发送单元，各单元具体功能如下：
订阅数据发送单元，用于由电能质量监测点采集电能质量数据，根据订阅指令将所述电能质量数据实时发送至kafka服务器；
消费请求接收单元，用于由Kafka服务器接收数据WEB客户端的数据消费请求；
偏移数据发送单元，用于由所述kafka服务器根据所述WEB客户端的数据消费记录，查找所述WEB客户端的数据消费请求所对应的偏移量，从所述kafka服务器获取所述偏移量对应的电能质量数据，并发送给所述WEB客户端。
所述电能质量数据的融合***可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是电能质量数据的融合***4的示例，并不构成对电能质量数据的融合***4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电能质量数据的融合***还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述电能质量数据的融合***4的内部存储单元，例如电能质量数据的融合***4的硬盘或内存。所述存储器41也可以是所述电能质量数据的融合***4的外部存储设备，例如所述电能质量数据的融合***4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述电能质量数据的融合***4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述电能质量数据的融合***所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种电能质量数据的融合方法，其特征在于，所述电能质量数据的融合方法包括：
电能质量监测点采集电能质量数据，根据订阅指令将所述电能质量数据实时发送至kafka服务器；
Kafka服务器接收数据WEB客户端的数据消费请求；
所述kafka服务器根据所述WEB客户端的数据消费记录，查找所述WEB客户端的数据消费请求所对应的偏移量，从所述kafka服务器获取所述偏移量对应的电能质量数据，并发送给所述WEB客户端；
其中，所述kafka服务器包括多个服务器构成的服务器集群，多个服务器包括主服务器和备用服务器，在不同的服务器上备份有相同的电能质量数据以及电能质量数据对应的偏移量，当kafka服务器接收到数据需求时，根据偏移量查找对应的类别和分区，判断该分区是否正在提供数据传输服务，通过空闲状态的类别和分区，为WEB客户端提供数据传输服务。
2.根据权利要求1所述的电能质量数据的融合方法，其特征在于，所述电能质量监测点采集电能质量数据，根据订阅指令将所述电能质量数据实时发送至kafka服务器的步骤包括：
通过电能质量监测点实时采集电能质量数据；
通过WEB服务接口接收到kafka服务器发送的订阅指令；
将电能质量数据封装到消息中并实时发送至kafka服务器，所述kafka服务器接收到消息进行解封装得到电能质量数据，并确定所接收的电能质量数据的偏移量。
3.根据权利要求2所述的电能质量数据的融合方法，其特征在于，所述确定所接收的电能质量数据的偏移量的步骤包括：
将所述电能质量数据发送到指定类别和分区；
以指定类别和分区的末尾的偏移量为基础，确定所述电能质量数据的偏移量。
4.根据权利要求1-3任一项所述的电能质量数据的融合方法，其特征在于，所述方法还包括：
通过kafka服务器集群的方式，将所电能质量数据以及对应的偏移量进行冗余备份；
根据kafka服务器中的分区的服务状态，确定kafka服务器集群中的kafka服务器为WEB客户端提供服务。
5.根据权利要求1所述的电能质量数据的融合方法，其特征在于，所述方法还包括：
所述kafka服务器根据预定的缓存策略，按照电能质量数据的存储顺序，将较先存储的电能质量数据删除。
6.一种电能质量数据的融合装置，其特征在于，所述电能质量数据的融合装置包括：
订阅数据发送单元，用于由电能质量监测点采集电能质量数据，根据订阅指令将所述电能质量数据实时发送至kafka服务器；
消费请求接收单元，用于由Kafka服务器接收数据WEB客户端的数据消费请求；
偏移数据发送单元，用于由所述kafka服务器根据所述WEB客户端的数据消费记录，查找所述WEB客户端的数据消费请求所对应的偏移量，从所述kafka服务器获取所述偏移量对应的电能质量数据，并发送给所述WEB客户端；
其中，所述kafka服务器包括多个服务器构成的服务器集群，多个服务器包括主服务器和备用服务器，在不同的服务器上备份有相同的电能质量数据以及电能质量数据对应的偏移量，当kafka服务器接收到数据需求时，根据偏移量查找对应的类别和分区，判断该分区是否正在提供数据传输服务，通过空闲状态的类别和分区，为WEB客户端提供数据传输服务。
7.根据权利要求6所述的电能质量数据的融合装置，其特征在于，所述订阅数据发送单元包括：
采集子单元，用于通过电能质量监测点实时采集电能质量数据；
指令发送子单元，用于通过WEB服务接口接收到kafka服务器发送的订阅指令；
订阅消息发送子单元，用于将电能质量数据封装到消息中并实时发送至kafka服务器，所述kafka服务器接收到消息进行解封装得到电能质量数据，并确定所接收的电能质量数据的偏移量。
8.根据权利要求7所述的电能质量数据的融合装置，其特征在于，所述订阅消息发送子单元包括：
分区确定模块，用于将所述电能质量数据发送到指定类别和分区；
偏移量确定模块，用于以指定类别和分区的末尾的偏移量为基础，确定所述电能质量数据的偏移量。
9.一种电能质量数据的融合***，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述电能质量数据的融合方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述电能质量数据的融合方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810368579.5A CN108805741B (zh) | 2018-04-23 | 2018-04-23 | 一种电能质量数据的融合方法、装置及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810368579.5A CN108805741B (zh) | 2018-04-23 | 2018-04-23 | 一种电能质量数据的融合方法、装置及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108805741A CN108805741A (zh) | 2018-11-13 |
| CN108805741B true CN108805741B (zh) | 2022-02-11 |
Family
ID=64093921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810368579.5A Active CN108805741B (zh) | 2018-04-23 | 2018-04-23 | 一种电能质量数据的融合方法、装置及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108805741B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723160B (zh) * | 2020-08-24 | 2021-03-23 | 国网浙江省电力有限公司 | 一种多源异构增量数据同步方法及*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201540592U (zh) * | 2009-11-13 | 2010-08-04 | 上海市电力公司 | 一种电能质量监测管理***结构 |
| CN102435868A (zh) * | 2010-09-29 | 2012-05-02 | 上海联能仪表有限公司 | 电能质量监测*** |
| CN102882274A (zh) * | 2012-09-07 | 2013-01-16 | 中国电力科学研究院 | 一种应用于配电网的终端融合*** |
| CN103366311A (zh) * | 2013-07-11 | 2013-10-23 | 昆明能讯科技有限责任公司 | 一种基于变电站多***的数据融合处理方法 |
| CN104092767A (zh) * | 2014-07-21 | 2014-10-08 | 北京邮电大学 | 一种增加消息队列模型的发布/订阅***及其工作方法 |
| CN106651633A (zh) * | 2016-10-09 | 2017-05-10 | 国网浙江省电力公司信息通信分公司 | 一种基于大数据技术的用电信息采集***及其采集方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11005933B2 (en) * | 2016-03-17 | 2021-05-11 | International Business Machines Corporation | Providing queueing in a log streaming messaging system |
-
2018
- 2018-04-23 CN CN201810368579.5A patent/CN108805741B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201540592U (zh) * | 2009-11-13 | 2010-08-04 | 上海市电力公司 | 一种电能质量监测管理***结构 |
| CN102435868A (zh) * | 2010-09-29 | 2012-05-02 | 上海联能仪表有限公司 | 电能质量监测*** |
| CN102882274A (zh) * | 2012-09-07 | 2013-01-16 | 中国电力科学研究院 | 一种应用于配电网的终端融合*** |
| CN103366311A (zh) * | 2013-07-11 | 2013-10-23 | 昆明能讯科技有限责任公司 | 一种基于变电站多***的数据融合处理方法 |
| CN104092767A (zh) * | 2014-07-21 | 2014-10-08 | 北京邮电大学 | 一种增加消息队列模型的发布/订阅***及其工作方法 |
| CN106651633A (zh) * | 2016-10-09 | 2017-05-10 | 国网浙江省电力公司信息通信分公司 | 一种基于大数据技术的用电信息采集***及其采集方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于Hadoop的海量电能质量监测数据云平台的研究;周艳玲;《中国优秀硕士学位论文全文数据库-工程科技Ⅱ辑》;20180115;摘要，第8-46页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108805741A (zh) | 2018-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111752799A (zh) | 一种业务链路跟踪方法、装置、设备及储存介质 | |
| CN111258978B (zh) | 一种数据存储的方法 | |
| WO2021151312A1 (zh) | 一种确定服务间依赖关系的方法及相关装置 | |
| CN102957622B (zh) | 一种数据处理的方法、装置及*** | |
| CN111212135A (zh) | 消息订阅方法、装置、***、电子设备及存储介质 | |
| CN110928681A (zh) | 数据的处理方法和装置、存储介质及电子装置 | |
| CN105373563B (zh) | 数据库切换方法及装置 | |
| CN109788251B (zh) | 视频处理方法、装置及存储介质 | |
| CN108805741B (zh) | 一种电能质量数据的融合方法、装置及*** | |
| CN112417050A (zh) | 数据同步方法和装置、***、存储介质及电子装置 | |
| CN104731660A (zh) | 数据分配方法、装置和*** | |
| CN111376255B (zh) | 机器人数据采集方法、装置及终端设备 | |
| CN111309693A (zh) | 一种数据同步方法、装置、***、电子设备及存储介质 | |
| CN116132625A (zh) | 交易流程的监管方法和装置 | |
| CN111291127B (zh) | 一种数据同步方法、装置、服务器及存储介质 | |
| CN114676205A (zh) | 事件信息的处理方法及装置 | |
| CN114219109A (zh) | 一种会议室巡检记录管理方法、装置和电子设备 | |
| CN114490718A (zh) | 数据输出方法、装置、电子设备和计算机可读介质 | |
| CN112055058A (zh) | 数据的存储方法、装置及计算机可读存储介质 | |
| CN113515425A (zh) | 数据动态上报的方法和装置 | |
| CN103856359A (zh) | 获取信息的方法和*** | |
| CN116610643B (zh) | 目录压缩下载过程的监控方法、装置及程序产品 | |
| CN112311833B (zh) | 数据更新方法和装置 | |
| CN103107991B (zh) | 一种多nvt事件处理方法、nvc及安防监控平台 | |
| CN115829521A (zh) | 业务流程管理方法、装置、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |