CN112988740B - 一种基于多个数据源的配电网数据收纳方法 - Google Patents

一种基于多个数据源的配电网数据收纳方法 Download PDF

Info

Publication number
CN112988740B
CN112988740B CN202011360790.6A CN202011360790A CN112988740B CN 112988740 B CN112988740 B CN 112988740B CN 202011360790 A CN202011360790 A CN 202011360790A CN 112988740 B CN112988740 B CN 112988740B
Authority
CN
China
Prior art keywords
data
equipment
public key
storage
updating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011360790.6A
Other languages
English (en)
Other versions
CN112988740A (zh
Inventor
沈桂城
钟盛
柯政亭
杨帆
陈刚
郑榕
李宽宏
江云辉
方毅
许鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of State Grid Fujian Electric Power Co Ltd
State Grid Fujian Electric Power Co Ltd
Original Assignee
Electric Power Research Institute of State Grid Fujian Electric Power Co Ltd
State Grid Fujian Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of State Grid Fujian Electric Power Co Ltd, State Grid Fujian Electric Power Co Ltd filed Critical Electric Power Research Institute of State Grid Fujian Electric Power Co Ltd
Priority to CN202011360790.6A priority Critical patent/CN112988740B/zh
Publication of CN112988740A publication Critical patent/CN112988740A/zh
Application granted granted Critical
Publication of CN112988740B publication Critical patent/CN112988740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Remote Sensing (AREA)
  • Storage Device Security (AREA)

Abstract

本发明涉及一种基于多个数据源的配电网数据收纳方法，是基于多数据源数据，通过数据的获取、解析、存储、加密与迭代实现多数据源的收纳功能。基于多个数据源进行数据获取，分别对多种类型数据进行解析，对多类型数据进行统一格式的存储，应用加密算法对数据进行加密，最后对更新数据进行迭代。这一整套服务准确地、高效地、安全地完成了对多数据源数据的收纳。

Description

一种基于多个数据源的配电网数据收纳方法
技术领域
本发明涉及地理信息***领域，特别是一种基于多个数据源的配电网数据收纳方法。
背景技术
目前，大多电力***基于多数据源获取及存储数据，是将对应数据分别以不同的入口获取，没有统一的数据处理服务，没有统一的数据存储格式，获取到数据之后直接存入数据库，数据库中存储的数据分散不集中，数据库中数据以明文形式存储，数据结构和内容容易暴露，安全系数不高。
发明内容
有鉴于此，本发明的目的是提供一种基于多个数据源的配电网数据收纳方法，解决配电网数据采录及保存时，由于存在多个数据源，数据入口、格式、结构等不一致造成的数据兼容性问题。
本发明采用以下方案实现：一种基于多个数据源的配电网数据收纳方法，包括以下步骤：
步骤S1：进行数据获取：通过对接多数据源接口，实现多数据源数据获取即接口能够绑定多个硬件终端，用于获取监测设备的数据；所述接口遵循W3C Web Service架构，通过数据获取服务的发布-发现-访问机制，实现数据源数据的共享；所述数据获取服务使用WSDL语言来描述，用来获取多数据源数据；
步骤S2：进行多数据源数据解析：根据不同的数据格式和含义，定义不同的解析规则，将读取到的数据进行内部格式解析；
步骤S3：对存储数据格式进行统一：数据解析后存储成基于SG-CIM的模型存储格式；CIM的形式化描述采用XML实现，字符编码采用UTF-8格式；基于CIM模型实现的文档数据由文件头和根元素内的主体构成；电网设备资源及拓扑元素按设备类型采用并列结构，在CIM数据容器标签中定义；所有元素间的逻辑结构、层次关系由元素的引用属性来实现；
步骤S4：对数据进行安全加密存储；
步骤S5：进行数据迭代更新。
进一步地，步骤S2中所述不同的解析规则具体为：
解析规则一：若是设备属性，从数据源中将设备属性对应的值读取出来；
解析规则二：若是设备拓扑，解析时需要从数据源中将设备的多个端子对应的端子号和连接点读取出来，并解析出连接点对应其他设备的端子号；解析数据后，根据DataType字段定义内容定义解析出对应数据的含义。
进一步地，所述步骤S4具体包括以下步骤：
步骤S41：使用开源库提供的RSA算法库生成一对RSA密钥SKa和公钥PKa；
步骤S42：将公钥PKa通过AES加密算法生成公钥密文AES（PKa）；
步骤S43：写脚本将公钥密文AES（PKa）写入数据库中；
步骤S44：数据加密服务读数据库中的公钥密文AES（PKa），通过步骤S42中对应的AES解密算法还原得到公钥PKa；
步骤S45：用RSA加密算法通过公钥PKa将数据进行加密并进行存储。
进一步地， 所述步骤S5的具体内容为：数据更新时，通过迭代技术将获取到的新数据迭代更新的部分，同时保证原有数据的完整性，替换后新数据和原有数据仍然是一个数据块整体；
所述的迭代技术具体为：每次更新数据时，更新服务从数据库中将对应的大馈线或台区的加密数据块取出，进行RSA解密，需要修改的根据设备唯一标识进行属性更新，需要新增的设备根据所属大馈线或台区加入对应的数据块，需要删除的设备根据所属大馈线或台区找到对应数据块后删除对应设备；更新结束后将操作后的数据块再次进行加密，存入对应位置。
与现有技术相比，本发明具有以下有益效果：
（1）由于采录实时数据更新频繁，数据保存时存在迭代问题；存储数据时存在安全性问题。本发明能够实现数据接口兼容多数据源及硬件的数据接入，实现数据迭代技术支持实时数据更新，实现数据的统一加密存储，高效地、兼容性地、安全地实现配电网数据的收纳。
（2）多数据源数据采录及迭代：基于多数据源的数据采录过程中，由于多个数据源的数据入口、格式等不同，如果使用人工录入则工作效率低，易出错。采用本发明后，通过多入口接兼容多种数据源的数据，采录数据后整合成统一数据块存储，提高了数据接入准确率，提升了数据接入效率。当数据源数据更新时，数据的迭代管理是数据准确的关键。通过本发明，将数据整合后进行迭代，提高了工作效率和数据准确性。
（3）数据存储安全性：实现数据加密存储。传统数据存储方式数据暴露在外面，容易被窃取或盗用，安全性较低，本发明的数据加密块存储方式，可有效的解决数据存储安全性问题。
附图说明
图1为本发明实施例的 WSDL文档结构简图。
图2为本发明实施例的数据架存储构图。
图3为本发明实施例的架构图。
图4为本发明实施例的流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图4所示，本实施例提供一种基于多个数据源的配电网数据收纳方法，包括以下步骤：
步骤S1：进行数据获取：通过对接多数据源接口，实现多数据源数据获取即接口能够绑定多个硬件终端，用于获取监测设备的数据；所述接口遵循W3C Web Service架构，通过数据获取服务的发布-发现-访问机制，实现数据源数据的共享；所述数据获取服务使用WSDL语言来描述，用来获取多数据源数据；根据WSDL规范，WSDL可描述Web服务的三个基本属性：如图1所示，
（1）服务做些什么——服务所提供的操作，操作可理解为函数、方法，一个服务包含多个操作；
（2）如何访问服务——和服务交互的数据格式以及必要协议；
（3）服务位于何处——协议相关的地址，如URL。
本服务调用规范主要用于规范服务操作层次、操作的输入参数和返回参数格式等。
接口可绑定多个硬件终端，用于获取监测设备的数据，接口通过以下定义的数据格式获取。
Figure 879025DEST_PATH_IMAGE001
Figure DEST_PATH_IMAGE002
注：消息头说明
RequestQueueName-----请求消息队列名称，存放设备唯一标识名的消息
ResponseQueueName-----应答消息队列名称，存放设备唯一标识名的消息
MessageId-----消息ID号,用机器的MAC地址+时间TICK组成，具体.Net编码为：string messageID = Utility.GetMACAddress() + DateTime.Now.Ticks.ToString();
消息体说明：
mRID--------------设备GlobeID
SubGeographicalRegion----区域范围
StartTime---------开始时间
EndTime-----------结束时间
DataType----------请求数据类型：IA-A相电流、IB-B相电流、IC-C相电流、UA-A相电压、UB-B相电压、UC-C相电压、P-有功、Q-无功
ValueType---------数值类型：0-采样值、1-统计值<就是平均值>
Description-------设备名称
DateTime----------消息发送时间
步骤S2：进行多数据源数据解析：根据不同的数据格式和含义，定义不同的解析规则，将读取到的数据进行内部格式解析；（见下表1所示）；
步骤S3：定义统一的数据格式，将解析后的数据形成统一数据格式。如图2所示，对存储数据格式进行统一：数据解析后存储成基于SG-CIM的模型存储格式；CIM的形式化描述采用XML实现，字符编码采用UTF-8格式；基于CIM模型实现的文档数据由文件头和根元素内的主体构成；电网设备资源及拓扑元素按设备类型采用并列结构，在CIM数据容器标签中定义；所有元素间的逻辑结构、层次关系由元素的引用属性来实现；
步骤S4：对数据进行安全加密存储；
步骤S5：进行数据迭代更新。
Figure 601692DEST_PATH_IMAGE003
在本实施例中，步骤S2中所述不同的解析规则具体为：
解析规则一：若是设备属性，从数据源中将设备属性对应的值读取出来；
例如解析电流数据时根据ABC三项电流的时候，将对应字段的对应值分别解析出来即可。
解析规则二：若是设备拓扑，解析时需要从数据源中将设备的多个端子对应的端子号和连接点读取出来，并解析出连接点对应其他设备的端子号；解析数据后，根据DataType字段定义内容定义解析出对应数据的含义。
在本实施例中，所述步骤S4具体包括以下步骤：
步骤S41：使用开源库提供的RSA算法库生成一对RSA密钥SKa和公钥PKa；
（使用非对称密码，密钥密码只有开发手中有，更安全）
步骤S42：将公钥PKa通过AES加密算法生成公钥密文AES（PKa）；（双重加密，更安全）
步骤S43：写脚本将公钥密文AES（PKa）写入数据库中；
Figure DEST_PATH_IMAGE004
步骤S44：数据加密服务读数据库中的公钥密文AES（PKa），通过步骤S42中对应的AES解密算法还原得到公钥PKa；
步骤S45：用RSA加密算法通过公钥PKa将数据进行加密并进行存储。
在本实施例中， 所述步骤S5的具体内容为：数据更新时，通过迭代技术将获取到的新数据迭代更新的部分，同时保证原有数据的完整性，替换后新数据和原有数据仍然是一个数据块整体；
所述的迭代技术具体为：每次更新数据时，更新服务从数据库中将对应的大馈线或台区的加密数据块取出，进行解密，需要修改的根据设备唯一标识进行属性更新，需要新增的设备根据所属大馈线或台区加入对应的数据块，需要删除的设备根据所属大馈线或台区找到对应数据块后删除对应设备；更新结束后将操作后的数据块再次进行RSA加密，存入对应位置。
较佳的，本实施例是基于多数据源数据，通过数据的获取、解析、存储、加密与迭代实现多数据源的收纳功能。基于多个数据源进行数据获取，分别对多种类型数据进行解析，对多类型数据进行统一格式的存储，应用加密算法对数据进行加密，最后对更新数据进行迭代。这一整套服务准确地、高效地、安全地完成了对多数据源数据的收纳。
较佳的，本实施例的具体应用场景为：配电设备类型繁多，各类设备的规格、型号也各不相同。对于配电设备的数据采录，为了满足设备采录数据的适用性，保证采录数据的准确，本实施例提供的技术服务，可满足多种类型数据源数据的接入，满足数据源的多样性。针对多种类型的数据进行融合处理，保证数据可兼容性的同时保证数据的准确性。将数据整合完成后将数据块以密文的形式存储在本地，保证数据的安全性。当数据源获取到对应更新的数据时，将通过数据迭代的方式更新数据块，保证数据的实时性。
在低压配电网数据录入工作时，通过终端硬件采录回来的数据通过应用APP软件录入数据库，在录入过程中，由于设备种类多、终端硬件型号多，数据采录时，通过本专利技术可实现多数据源数据录入，录入解析后的数据，统一加工处理，整合成一个数据块，加密后存储至数据库中。
较佳的，在本实施例中，（1）多数据源数据采录及迭代：基于多数据源的数据采录过程中，由于多个数据源的数据入口、格式等不同，如果使用人工录入则工作效率低，易出错。采用本方案后，通过多入口接兼容多种数据源的数据，采录数据后整合成统一数据块存储，提高了数据接入准确率，提升了数据接入效率。当数据源数据更新时，数据的迭代管理是数据准确的关键。通过本方案，将数据整合后进行迭代，提高了工作效率和数据准确性。
（2）数据存储安全性：实现数据加密存储。传统数据存储方式数据暴露在外面，容易被窃取或盗用，安全性较低，本方案设计的数据加密块存储方式，可有效的解决数据存储安全性问题。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (2)

1.一种基于多个数据源的配电网数据收纳方法，其特征在于：包括以下步骤：
步骤S1：进行数据获取：通过对接多数据源接口，实现多数据源数据获取，接口能够绑定多个硬件终端，用于获取监测设备的数据；所述接口遵循W3C Web Service架构，通过数据获取服务的发布-发现-访问机制，实现数据源数据的共享；所述数据获取服务使用WSDL语言来描述，用来获取多数据源数据；
步骤S2：进行多数据源数据解析：根据不同的数据格式和含义，定义不同的解析规则，将读取到的数据进行内部格式解析；
步骤S3：对存储数据格式进行统一：数据解析后存储成基于SG-CIM的模型存储格式；CIM的形式化描述采用XML实现，字符编码采用UTF-8格式；基于CIM模型实现的文档数据由文件头和根元素内的主体构成；电网设备资源及拓扑元素按设备类型采用并列结构，在CIM数据容器标签中定义；所有元素间的逻辑结构、层次关系由元素的引用属性来实现；
步骤S4：对数据进行安全加密存储；
步骤S5：进行数据迭代更新；
步骤S2中所述不同的解析规则具体为：
解析规则一：若是设备属性，从数据源中将设备属性对应的值读取出来；
解析规则二：若是设备拓扑，解析时需要从数据源中将设备的多个端子对应的端子号和连接点读取出来，并解析出连接点对应其他设备的端子号；解析数据后，根据DataType字段定义内容定义解析出对应数据的含义；
所述步骤S5的具体内容为：数据更新时，通过迭代技术将获取到的新数据迭代更新的部分，同时保证原有数据的完整性，替换后新数据和原有数据仍然是一个数据块整体；
所述的迭代技术具体为：每次更新数据时，更新服务从数据库中将对应的大馈线或台区的加密数据块取出，进行RSA解密，需要修改的根据设备唯一标识进行属性更新，需要新增的设备根据所属大馈线或台区加入对应的数据块，需要删除的设备根据所属大馈线或台区找到对应数据块后删除对应设备；更新结束后将操作后的数据块再次进行RSA加密，存入对应位置。
2.根据权利要求1所述的一种基于多个数据源的配电网数据收纳方法，其特征在于：所述步骤S4具体包括以下步骤：
步骤S41：使用开源库提供的RSA算法库生成一对RSA密钥SKa和公钥PKa；
步骤S42：将公钥PKa通过AES加密算法生成公钥密文；
步骤S43：写脚本将公钥密文写入数据库中；
步骤S44：数据加密服务读数据库中的公钥密文，通过步骤S42中对应的AES解密算法还原得到公钥PKa；
步骤S45：用RSA加密算法通过公钥PKa将数据进行加密并进行存储。
CN202011360790.6A 2020-11-27 2020-11-27 一种基于多个数据源的配电网数据收纳方法 Active CN112988740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011360790.6A CN112988740B (zh) 2020-11-27 2020-11-27 一种基于多个数据源的配电网数据收纳方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011360790.6A CN112988740B (zh) 2020-11-27 2020-11-27 一种基于多个数据源的配电网数据收纳方法

Publications (2)

Publication Number Publication Date
CN112988740A CN112988740A (zh) 2021-06-18
CN112988740B true CN112988740B (zh) 2022-08-05

Family

ID=76344842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011360790.6A Active CN112988740B (zh) 2020-11-27 2020-11-27 一种基于多个数据源的配电网数据收纳方法

Country Status (1)

Country Link
CN (1) CN112988740B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113672947A (zh) * 2021-07-16 2021-11-19 国网浙江省电力有限公司杭州供电公司 一种基于主题模型的电力***图模交换数据加密方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232087A (zh) * 2019-05-30 2019-09-13 湖南大学 大数据增量迭代方法、装置、计算机设备和存储介质
CN110413673A (zh) * 2019-07-08 2019-11-05 中国人民银行清算总中心 数据库数据统一采集与分发方法及***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6909388B1 (en) * 2004-06-23 2005-06-21 Microchip Technology Incorporated Fractal sequencing schemes for offset cancellation in sampled data acquisition systems
CN107194533B (zh) * 2017-04-07 2023-04-11 中国电力科学研究院 一种配电网全信息模型构建方法及***
CN110988517B (zh) * 2019-11-11 2022-06-14 珠海许继电气有限公司 一种配电台区拓扑自识别***及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232087A (zh) * 2019-05-30 2019-09-13 湖南大学 大数据增量迭代方法、装置、计算机设备和存储介质
CN110413673A (zh) * 2019-07-08 2019-11-05 中国人民银行清算总中心 数据库数据统一采集与分发方法及***

Also Published As

Publication number Publication date
CN112988740A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN108512666A (zh) Api请求的加密方法、数据交互方法及***
CN104798052B (zh) 消费者匹配的方法和装置
CN110781230A (zh) 一种数据接入方法、装置及设备
WO2021164462A1 (zh) 一种数据加密方法、数据解密方法、计算机设备和介质
CN112988740B (zh) 一种基于多个数据源的配电网数据收纳方法
CN114363412A (zh) 报文数据处理方法、装置、计算机设备和存储介质
CN113556359A (zh) 一种通讯协议转换方法、设备、***及网关设备
CN110598193B (zh) 一种审计离线文档管理***
CN107948242A (zh) 多服务号模板消息发送方法及***
CN113987530A (zh) 一种基于区块链的数据传输方法及***
CN104317817B (zh) 一种组态文件的版本兼容方法及装置
CN110048833A (zh) 基于量子卫星密钥网络的电力业务加密方法及装置
CN113783860A (zh) 一种基于可视化配置的报文处理方法、装置及设备
CN111739190A (zh) 车辆诊断文件加密方法、装置、设备及存储介质
CN111367686A (zh) 业务接口的调用方法及装置、计算机设备、存储介质
CN116910820A (zh) 数据报表处理方法、装置、计算机设备以及存储介质
CN111143310A (zh) 日志记录方法及装置、可读存储介质
CN111414341B (zh) 一种物联网环境下的数据归一化描述方法
CN116166640A (zh) 全球导航卫星观测数据实时采集与管理方法及***
CN111756836A (zh) 一种基于事件管理模型的信息发送方法及装置
CN111770189A (zh) 一种联网式医疗大数据分级传输方法及***
US10511720B2 (en) Method and apparatus for data mediation
CN116781256B (zh) 机构数据的兼容交互方法、装置、设备及存储介质
CN112559458B (zh) 一种缩减日志大小的方法及***
Schönwälder Simple network management protocol (snmp) traffic measurements and trace exchange formats

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant