CN112905573A - 一种海量电网数据管理存储*** - Google Patents
一种海量电网数据管理存储*** Download PDFInfo
- Publication number
- CN112905573A CN112905573A CN202110128824.7A CN202110128824A CN112905573A CN 112905573 A CN112905573 A CN 112905573A CN 202110128824 A CN202110128824 A CN 202110128824A CN 112905573 A CN112905573 A CN 112905573A
- Authority
- CN
- China
- Prior art keywords
- data
- power grid
- grid data
- module
- storage system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 45
- 238000013523 data management Methods 0.000 title claims abstract description 19
- 238000007418 data mining Methods 0.000 claims abstract description 14
- 230000005540 biological transmission Effects 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000005065 mining Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000012544 monitoring process Methods 0.000 claims description 17
- 238000012795 verification Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 9
- 230000001276 controlling effect Effects 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 7
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Probability & Statistics with Applications (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Fuzzy Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Remote Monitoring And Control Of Power-Distribution Networks (AREA)
Abstract
本发明涉及电网数据储存技术领域，具体涉及一种海量电网数据管理存储***，该***包括：数据挖掘模块，用于基于Hadoop运行预设的第一数据挖掘模型实现电网数据的定向挖取；数据预处理模块，用于基于信源编码为不同类型的电网数据分配不同的数据标识；数据整理模块，用于根据数据标识为电网数据匹配对应的数据传输通道、数据储存节点和数据计算节点；数据存储模块，由若干个互不重叠数据储存节点构成，且每一个数据储存节点均配置独立的逻辑编号。本发明在可以显著减少电网数据库内载的亢余数据量的同时，实现了电网数据的分布处理，大大提高了***的数据处理效率。
Description
技术领域
本发明涉及电网数据储存技术领域，具体涉及一种海量电网数据管理存储***。
背景技术
现有的电力信息管理***对电网数据的采集过程中会录入大量的无效和无用数据，从而导致电网数据库积累了大量的冗余数据，在占用了大量的存储空间的同时影响了***的数据处理效果，使得工作人员不能及时发现电力设备存在的异常情况，同时也大大影响了工作人员对电网数据的分析利用。
发明内容
本发明的目的是提供一种海量电网数据管理存储***，提高了***的数据处理效率，可以及时发现电网数据内载的危险因素，所有的数据的来源均可追溯。
为解决上述技术问题，本发明提供了一种海量电网数据管理存储***，包括：
数据挖掘模块，用于基于Hadoop运行预设的第一数据挖掘模型实现电网数据的定向挖取；
数据预处理模块，用于基于信源编码为不同类型的电网数据分配不同的数据标识；
数据整理模块，用于根据数据标识为电网数据匹配对应的数据传输通道、数据储存节点和数据计算节点；
数据存储模块，由若干个互不重叠数据储存节点构成，且每一个数据储存节点均配置独立的逻辑编号。
进一步地，还包括：
数据定位模块，用于为电网数据在数据储存节点内找到合适的位置，并为其找到相关联的电网数据，建立其与相关联电网数据之间的关系。
进一步地，还包括：还包括：
数据监控模块，用于根据勾选/录入的数据监控规则实现电网数据的监控，当发现存在落入数据监控规则内的电网数据时，将该电网数据以弹出对话框的模式进行反馈，同时为这些电网数据配置独立的数据传输通道和数据储存节点。
进一步地，所述数据整理模块采用SparkR的并行化k-means算法根据数据标识实现电网数据的分类，并根据分类结果为电网数据匹配对应的数据传输通道、数据储存节点和数据计算节点。
进一步地，还包括：
权限分配模块，用于根据数据标识为电网数据匹配对应的数据操作权限验证模型；
数据权限调控模块，用于根据数据权限验证模型的验证结果通过加密解密的方式实现数据操作权限的锁定和释放。
进一步地，所述数据权限调控模块通过随机加密模块实现电网数据的加密，数据权限调控模块与客户端通过相互独立的双通道连接，在任意一个通道进行通讯时，另一个备用通道进行密钥更新。
进一步地，还包括：
数据调用模块，用于根据勾选/录入的数据调用规则在权限范围内基于第二数据挖掘模型实现目标电网数据的调用。
进一步地，还包括：
数据标记模块，用于根据电网数据的来源和产生时间为每一个电网数据配置一不可编辑的隐藏式身份标识，需录入特定的算法方可唤醒身份标识，从而实现身份标识的可读。
本发明具有以下有益效果：
在可以显著减少电网数据库内载的亢余数据量的同时，实现了电网数据的分布处理，大大提高了***的数据处理效率。
***自带数据监控功能，可以及时发现电网数据内载的危险因素，从而及时发现电力设备存在的异常情况。
所有的数据的来源均可追溯，进一步方便了工作人员对电网数据的分析利用。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1一种海量电网数据管理存储***的***框图。
图2为本发明实施例2一种海量电网数据管理存储***的***框图。
具体实施方式
本发明的核心是提供一种海量电网数据管理存储***，提高了***的数据处理效率，可以及时发现电网数据内载的危险因素，所有的数据的来源均可追溯。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1所示，本发明实施例提供了一种海量电网数据管理存储***,包括：
数据挖掘模块1，用于基于Hadoop运行预设的第一数据挖掘模型实现电网数据的定向挖取；
数据预处理模块2，用于基于信源编码为不同类型的电网数据分配不同的数据标识；
数据整理模块3，用于根据数据标识为电网数据匹配对应的数据传输通道、数据储存节点和数据计算节点；
数据存储模块5，由若干个互不重叠数据储存节点构成，且每一个数据储存节点均配置独立的逻辑编号；
数据定位模块4，用于为电网数据在数据储存节点内找到合适的位置，并为其找到相关联的电网数据，建立其与相关联电网数据之间的关系；
数据调用模块6，用于根据勾选/录入的数据调用规则在权限范围内基于第二数据挖掘模型实现目标电网数据的调用。
数据监控模块7，用于根据勾选/录入的数据监控规则实现电网数据的监控，当发现存在落入数据监控规则内的电网数据时，将该电网数据以弹出对话框的模式进行反馈，同时为这些电网数据配置独立的数据传输通道和数据储存节点。
需要说明的是，上述存储节点互不重叠指的是相互独立。
本实施例中，所述数据整理模块3采用SparkR的并行化k-means算法根据数据标识实现电网数据的分类，并根据分类结果为电网数据匹配对应的数据传输通道、数据储存节点和数据计算节点。
实施例2
如图2所示，本发明实施例提供了一种海量电网数据管理存储***,包括：
数据挖掘模块1，用于基于Hadoop运行预设的第一数据挖掘模型实现电网数据的定向挖取；
数据标记模块，用于根据电网数据的来源和产生时间为每一个电网数据配置一不可编辑的隐藏式身份标识，需录入特定的算法方可唤醒身份标识，从而实现身份标识的可读；
这里的隐藏式身份标识的作用是为了后续数据的调用和查询，实现全追溯。
数据预处理模块2，用于基于信源编码为不同类型的电网数据分配不同的数据标识；
数据整理模块3，用于根据数据标识为电网数据匹配对应的数据传输通道、数据储存节点和数据计算节点；
数据存储模块5，由若干个互不重叠数据储存节点构成，且每一个数据储存节点均配置独立的逻辑编号；
数据定位模块4，用于为电网数据在数据储存节点内找到合适的位置，并为其找到相关联的电网数据，建立其与相关联电网数据之间的关系；
需要说明的是，这里的合适的位置可以为对应的文件夹等，本申请在此不作特别的限定。此外，相关联电网数据指的是与当前电网数据存在关联关系的，且目前已经在数据存储节点内的。
数据调用模块6，用于根据勾选/录入的数据调用规则在权限范围内基于第二数据挖掘模型实现目标电网数据的调用。
数据监控模块7，用于根据勾选/录入的数据监控规则实现电网数据的监控，当发现存在落入数据监控规则内的电网数据时，将该电网数据以弹出对话框的模式进行反馈，同时为这些电网数据配置独立的数据传输通道和数据储存节点。
权限分配模块8，用于根据数据标识为电网数据匹配对应的数据操作权限验证模型；
数据权限调控模块9，用于根据数据权限验证模型的验证结果通过加密解密的方式实现数据操作权限的锁定和释放。
具体地，这里的数据权限验证模型用来实现用户是否具有数据操作权限的审核。
本实施例中，所述数据整理模块3采用SparkR的并行化k-means算法根据数据标识实现电网数据的分类，并根据分类结果为电网数据匹配对应的数据传输通道、数据储存节点和数据计算节点。
本实施例中，所述数据权限调控模块9通过随机加密模块实现电网数据的加密，数据权限调控模块9与客户端通过相互独立的双通道连接，在任意一个通道进行通讯时，另一个备用通道进行密钥更新。
需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种海量电网数据管理存储***，其特征在于：包括：
数据挖掘模块，用于基于Hadoop运行预设的第一数据挖掘模型实现电网数据的定向挖取；
数据预处理模块，用于基于信源编码为不同类型的电网数据分配不同的数据标识；
数据整理模块，用于根据数据标识为电网数据匹配对应的数据传输通道、数据储存节点和数据计算节点；
数据存储模块，由若干个互不重叠数据储存节点构成，且每一个数据储存节点均配置独立的逻辑编号。
2.如权利要求1所述的一种海量电网数据管理存储***，其特征在于：还包括：
数据定位模块，用于为电网数据在数据储存节点内找到合适的位置，并为其找到相关联的电网数据，建立其与相关联电网数据之间的关系。
3.如权利要求1所述的一种海量电网数据管理存储***，其特征在于：还包括：还包括：
数据监控模块，用于根据勾选/录入的数据监控规则实现电网数据的监控，当发现存在落入数据监控规则内的电网数据时，将该电网数据以弹出对话框的模式进行反馈，同时为这些电网数据配置独立的数据传输通道和数据储存节点。
4.如权利要求1所述的一种海量电网数据管理存储***，其特征在于：所述数据整理模块具体用于采用SparkR的并行化k-means算法根据数据标识实现电网数据的分类，并根据分类结果为电网数据匹配对应的数据传输通道、数据储存节点和数据计算节点。
5.如权利要求1所述的一种海量电网数据管理存储***，其特征在于：还包括：
权限分配模块，用于根据数据标识为电网数据匹配对应的数据操作权限验证模型；
数据权限调控模块，用于根据数据权限验证模型的验证结果通过加密解密的方式实现数据操作权限的锁定和释放。
6.如权利要求5所述的一种海量电网数据管理存储***，其特征在于：所述数据权限调控模块具体用于通过随机加密模块实现电网数据的加密，数据权限调控模块与客户端通过相互独立的双通道连接，在任意一个通道进行通讯时，另一个备用通道进行密钥更新。
7.如权利要求1所述的一种海量电网数据管理存储***，其特征在于：还包括：
数据调用模块，用于根据勾选/录入的数据调用规则在权限范围内基于第二数据挖掘模型实现目标电网数据的调用。
8.如权利要求1所述的一种海量电网数据管理存储***，其特征在于：还包括：
数据标记模块，用于根据电网数据的来源和产生时间为每一个电网数据配置一不可编辑的隐藏式身份标识，需录入特定的算法方可唤醒身份标识，从而实现身份标识的可读。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110128824.7A CN112905573A (zh) | 2021-01-29 | 2021-01-29 | 一种海量电网数据管理存储*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110128824.7A CN112905573A (zh) | 2021-01-29 | 2021-01-29 | 一种海量电网数据管理存储*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112905573A true CN112905573A (zh) | 2021-06-04 |
Family
ID=76121313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110128824.7A Pending CN112905573A (zh) | 2021-01-29 | 2021-01-29 | 一种海量电网数据管理存储*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112905573A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113343300A (zh) * | 2021-06-21 | 2021-09-03 | 杭州市电力设计院有限公司余杭分公司 | 电网数据安全防护方法和分布式电网数据安全防护*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105069703A (zh) * | 2015-08-10 | 2015-11-18 | 国家电网公司 | 一种电网海量数据管理方法 |
| CN105405070A (zh) * | 2015-12-03 | 2016-03-16 | 国家电网公司 | 一种分布式内存电网***构建方法 |
| CN105005570B (zh) * | 2014-04-23 | 2018-02-16 | 国家电网公司 | 基于云计算的海量智能用电数据挖掘方法及装置 |
| US20180268291A1 (en) * | 2017-03-14 | 2018-09-20 | Wipro Limited | System and method for data mining to generate actionable insights |
| CN111597271A (zh) * | 2020-05-25 | 2020-08-28 | 东北电力大学 | 一种通信信息储存*** |
-
2021
- 2021-01-29 CN CN202110128824.7A patent/CN112905573A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105005570B (zh) * | 2014-04-23 | 2018-02-16 | 国家电网公司 | 基于云计算的海量智能用电数据挖掘方法及装置 |
| CN105069703A (zh) * | 2015-08-10 | 2015-11-18 | 国家电网公司 | 一种电网海量数据管理方法 |
| CN105405070A (zh) * | 2015-12-03 | 2016-03-16 | 国家电网公司 | 一种分布式内存电网***构建方法 |
| US20180268291A1 (en) * | 2017-03-14 | 2018-09-20 | Wipro Limited | System and method for data mining to generate actionable insights |
| CN111597271A (zh) * | 2020-05-25 | 2020-08-28 | 东北电力大学 | 一种通信信息储存*** |
Non-Patent Citations (1)
| Title |
|---|
| 艾叔, 机械工业出版社 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113343300A (zh) * | 2021-06-21 | 2021-09-03 | 杭州市电力设计院有限公司余杭分公司 | 电网数据安全防护方法和分布式电网数据安全防护*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI666902B (zh) | 基於區塊鏈技術的強健的ａｔｍ網路系統及其資訊處理方法 | |
| CN103297428B (zh) | 一种云存储***数据保护方法 | |
| CA2571241C (en) | Access control over multicast | |
| US20200177385A1 (en) | System and method for protection of multipart system applications using a cryptographically protected package, a package map and a package object store for decryption and verification at runtime on the target device platform | |
| CN108881203A (zh) | 基于区块链的数据管理方法、电子设备、存储介质及*** | |
| CN109271798A (zh) | 敏感数据处理方法及*** | |
| CN103051641A (zh) | 多客户端密钥更新方法和***及信息安全传输方法 | |
| CN102693597B (zh) | 基于远程票据信息的本地打印方法和装置 | |
| CN109063498A (zh) | 数字资产存储方法、装置、恢复方法及装置 | |
| CN112269790A (zh) | 区块链大数据安全处理***及方法 | |
| CN111340483A (zh) | 一种基于区块链的数据管理方法及相关设备 | |
| CN110995419A (zh) | 一种基于链上数据对称加密解密方法及设备、介质 | |
| CN102542645B (zh) | 一种门禁认证方法及认证*** | |
| CN112905573A (zh) | 一种海量电网数据管理存储*** | |
| CN115796871A (zh) | 基于区块链的资源数据处理方法、装置和服务器 | |
| US20200044838A1 (en) | Data encryption method and system using device authentication key | |
| CN109903046A (zh) | 基于区块链的用户数据管理方法及装置 | |
| CN105872013A (zh) | 一种云计算*** | |
| CN116560863A (zh) | 基于区块链的任务管理方法、装置和计算机设备 | |
| CN115766064A (zh) | 一种密码应用方法、装置、设备及存储介质 | |
| CN105025007A (zh) | 基于cpk的手机应用间及与服务器间的安全通信方式 | |
| CN112528338A (zh) | 一种基于智能合约的数据存储和权限管理方法和*** | |
| CN106230856A (zh) | 一种基于物联网的工业设备监控*** | |
| CN111526014A (zh) | 集群化部署应用密码统一管理***和方法 | |
| CN104579644A (zh) | 一种密钥生成与恢复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230410 Address after: Room 1503-1506, Unit 1, No. 168 Century Avenue, Nanyuan Street, Hangzhou City, Zhejiang Province, 311100 Applicant after: Yuhang branch of Hangzhou Electric Power Design Institute Co.,Ltd. Applicant after: State Grid Zhejiang Electric Power Co., Ltd. Hangzhou Yuhang District Power Supply Co. Applicant after: HANGZHOU POWER SUPPLY COMPANY, STATE GRID ZHEJIANG ELECTRIC POWER Co.,Ltd. Address before: 311100 18F, ideal building, 168 Century Avenue, Nanyuan street, Yuhang District, Hangzhou City, Zhejiang Province Applicant before: Yuhang branch of Hangzhou Electric Power Design Institute Co.,Ltd. Applicant before: STATE GRID ZHEJIANG HANGZHOU YUHANG POWER SUPPLY Co. Applicant before: HANGZHOU POWER SUPPLY COMPANY, STATE GRID ZHEJIANG ELECTRIC POWER Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210604 |
|
| RJ01 | Rejection of invention patent application after publication |