CN106055590A - 基于大数据及图数据库的电力网络数据处理方法和*** - Google Patents
基于大数据及图数据库的电力网络数据处理方法和*** Download PDFInfo
- Publication number
- CN106055590A CN106055590A CN201610343953.7A CN201610343953A CN106055590A CN 106055590 A CN106055590 A CN 106055590A CN 201610343953 A CN201610343953 A CN 201610343953A CN 106055590 A CN106055590 A CN 106055590A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- service request
- database
- file system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims description 34
- 238000003860 storage Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 13
- 230000003068 static effect Effects 0.000 claims description 12
- 230000005012 migration Effects 0.000 claims description 11
- 238000013508 migration Methods 0.000 claims description 11
- 230000035945 sensitivity Effects 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 abstract description 2
- 238000004220 aggregation Methods 0.000 abstract 1
- 230000002776 aggregation Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 13
- 230000009897 systematic effect Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000001105 regulatory effect Effects 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Water Supply & Treatment (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及数据库应用技术领域，公开了一种新型的基于大数据及图数据库的电力网络数据处理***及方法，包括步骤：通过统一的接口接收数据操作服务请求；对数据操作服务请求进行数据路由；根据数据路由的策略，由图数据库、缓存数据库和内存文件***中的一个或多个执行数据操作，并获得对应的一个或多个执行结果；对一个或多个执行结果进行数据汇聚，获得数据操作服务请求对应的最终结果；通过统一的接口输出最终结果。本发明实施例的技术方案针对电力网络的数据特点及性能要求，通过多种数据处理手段对电力网络进行优化建模，充分利用多种数据处理手段的优势，满足了真实电力网络中的各种不同数据类型的业务需求，从而使***的整体性能得到极大地提升。
Description
技术领域
本发明涉及数据库应用技术领域，尤其涉及一种基于大数据及图数据库的电力网络数据处理方法和***。
背景技术
在数据库技术发展的长期历史中，关系型数据库一直占据着主导地位，但关系型数据库在应对海量和高并发的大数据请求时往往力不从心，暴露了很多难以克服的问题。在此基础上，为了解决大规模数据集合及多重数据种类带来的挑战，尤其是大数据应用的难题，各种非关系型的数据库(NoSQL)迅速出现并飞速发展。
当前，传统行业的大型数据库主要以关系型数据库为主，已经不能适应***扩展及用户需求增长的需要，严重阻碍了行业的发展。
典型地，以现有技术中的电力***为例，当其采用现有的关系型数据库管理电力网络数据并完成全部数据处理时，主要存在如下问题：
1.传统的关系型数据库的事务处理一般只能支持千万级的数据量，数据量越大、性能越差，已经完全无法适应大型电力网络的发展；
2.受传统关系型数据库数据存贮总量及性能的影响，现有电力网络难以全量保存运营数据(一般只保存30％的运营数据)，且存储时间有限(二年左右)；
3.传统的关系型数据库没有针对电力网络数据的特点进行描述、管理、分类和优化，数据处理形式有限，不能满足多样的业务需求，很多特殊业务响应速度极慢，效率低下。
发明内容
针对现有技术中关系型数据库的缺陷，本发明的主要目的在于提供一种基于大数据及图数据库的电力网络数据处理***和方法，通过混合类型的数据库来增强***的数据处理能力。
为达到上述目的，一方面，本发明提供了一种基于大数据及图数据库的电力网络数据处理方法，包括步骤：
通过统一的接口接收数据操作服务请求；
对所述数据操作服务请求进行数据路由；
根据所述数据路由的策略，由图数据库、缓存数据库和内存文件***中的一个或多个执行所述数据操作，并获得对应的一个或多个执行结果；
对所述一个或多个执行结果进行数据汇聚，获得所述数据操作服务请求对应的最终结果；
通过所述统一的接口输出所述最终结果。
优选地，所述对所述数据操作服务请求进行数据路由包括：将所述数据操作服务请求中的数据内容按数据类型进行拆分并路由给相应的数据处理手段。
优选地，所述方法中：所述图数据库、所述缓存数据库和所述内存文件***分别对电力网络中的静态数据、实时数据和历史数据执行所述数据操作并获得对应的执行结果。
优选地，所述方法还包括：按照可配置的时间敏感度将所述历史数据划分为冷热数据，其中，热数据保存在内存文件***中，冷数据保存在云存贮***中。
优选地，所述方法还包括：根据迁移规则自动判定所述历史数据的冷热程度，所述冷数据自动迁移至所述云存贮***中，所述热数据从云存贮***中自动加载至所述内存文件***中；其中，始终在所述内存文件***中对所述历史数据执行所述数据操作。
另一方面，本发明还同时提供了一种基于大数据及图数据库的电力网络数据处理***，包括服务代理模块、数据路由模块和数据处理模块，所述服务代理模块包括接收模块和输出模块，所述数据路由模块包括请求拆分模块和结果汇聚模块，其中：
所述接收模块，用于通过统一的接口接收数据操作服务请求；
所述请求路由模块，用于对所述数据操作服务请求进行数据路由；
所述数据处理模块，用于根据所述数据路由的策略，由图数据库、缓存数据库和内存文件***中的一个或多个执行所述数据操作，并获得对应的一个或多个执行结果；
所述结果汇聚模块，用于对所述一个或多个执行结果进行数据汇聚，获得所述数据操作服务请求对应的最终结果；
所述输出模块，用于通过所述统一的接口输出所述最终结果。
优选地，所述请求路由模块中包括：拆分路由模块，用于将所述数据操作服务请求中的数据内容按数据类型进行拆分并路由给相应的数据处理手段。
优选地，所述数据处理模块中包括图数据库模块、缓存数据库模块和内存文件***模块，其中：所述图数据库模块、所述缓存数据库模块和所述内存文件***模块用于分别对电力网络中的静态数据、实时数据和历史数据执行所述数据操作并获得对应的执行结果。
优选地，所述数据处理模块中还包括：历史数据划分模块，用于按照可配置的时间敏感度将所述历史数据划分为冷热数据，其中，热数据保存在内存文件***中，冷数据保存在云存贮***中。
优选地，所述数据处理模块中还包括：数据迁移模块，用于根据迁移规则自动判定所述历史数据的冷热程度，所述冷数据自动迁移至所述云存贮***中，所述热数据从云存贮***中自动加载至所述内存文件***中。
本发明实施例的技术方案提供了一种基于大数据及图数据库的电力网络数据处理***及方法，通过多种数据处理手段对电力网络进行优化建模，充分利用多种数据处理手段的特长，满足了真实电力网络中的各种不同数据类型的业务需求，从而达到***整体性能的极大提升。
附图说明
图1为本发明一个实施例中基于大数据及图数据库的电力网络数据处理方法的流程示意图；
图2为本发明另一实施例中基于大数据及图数据库的电力网络数据处理***的模块结构示意图；
图3为本发明再一实施例中基于大数据及图数据库的电力网络数据处理***的全功能结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
传统的关系型数据库仅在基础事务处理(增、删、改等)方面性能较好，其他诸如扩展能力、并发性、存贮总量和多样性等多方面均不理想，严重限制了电力***的发展。现有技术中虽然也出现了一些非关系型数据库(NoSQL)，但一方面将超大型关系型数据库的电力***完全迁移到非关系型数据库的成本和风险均较高，另一方面非关系数据库在数据处理时自身也存在着一定缺陷。比如，键-值(key-value)类数据库虽然简单、易部署，在数据存取方面性能和效率也较高，但其数据无结构化，表现形式有限，很难应对较为复杂的业务需求；而图数据库虽然能较好地表达电力网络的拓扑结构，数据存取、查询与遍历的效率也较高，但因为受图结构的限制，图数据库很多时候需要对整个图做计算才能得出需要的信息，故基础事务处理性能较差，而且其数据结构不太好做分布式的集群方案。
针对现有技术的上述缺陷，本发明提供了一种全新的基于大数据及图数据库的电力网络数据处理的技术方案，在本发明的实施例中，通过多种数据处理手段对图数据库进行支持，从而在充分利用图数据库的性能特点的同时显著改进了其明显缺陷，利用多种数据处理手段的组合，各取所长，分而治之，充分满足了真实电力网络中的各种不同数据类型的业务需求，以达到***整体性能的极大提升。具体地，如图1所示，本发明的实施例提供了一种基于大数据及图数据库的电力网络数据处理方法，包括步骤：
S1，通过统一的接口接收数据操作服务请求；
在本发明的优选实施例中，通过服务代理提供***平台与外部交互的唯一接口，该接口所能支持的服务包括但不限于认证、鉴权、控制、数据输入、数据输出功能等功能，所述数据操作服务请求中包含有数据操作的具体操作类型和数据内容。
S2，对所述数据操作服务请求进行数据路由；
在本发明的优选实施例中，将所述数据操作服务请求中的数据内容按数据类型进行拆分并路由给相应的数据处理手段。举例来说，本发明优选实施例从性能上考虑采用了多种数据存取方式来处理不同类型的数据，因此，外部进入***平台的数据需要拆分存放，外部查询的数据需要分别抽取合成；此外，包括删除、消息、通知等控制类数据一般也需要分别实施控制。
S3，根据所述数据路由的策略，由图数据库、缓存数据库和内存文件***中的一个或多个执行所述数据操作，并获得对应的一个或多个执行结果；
在本发明的优选实施例中，通过多种数据存取方式实现了对真实电力网络中的各种不同数据类型的业务需求的支持；优选的数据存取方式包括图数据库、缓存数据库和内存文件***中的一个或多个；更优选地，所述图数据库、所述缓存数据库和所述内存文件***中的一个或多个为分布式***。在本发明进一步的优选实施例中，所述图数据库、所述缓存数据库和所述内存文件***分别对电力网络中的静态数据、实时数据和历史数据执行所述数据操作并获得对应的执行结果。
其中，根据图论，图是计算机科学中较常用的一类抽象数据结构，在结构和语义方面比线性表和树更为复杂，更具有一般性表示能力，可以认为图数据是点、线、树的集合。构成图数据库的最核心要素有两个：点(Vertex)、边(edge)；其中边具有方向性，包含单向、双向或无向三种状态；边也可附带权重属性，表示重要程度。而电力网络一般由电力设备与线路构成，其中电力设备相当于图数据库的节点，线路相当于边，电力从发电端流向消费端构成边的方向。使用图数据库可完美表达电力网络的拓扑结构，基于图数据库的电力网络数据模型在电力***建模、三维实体展示、电网拓扑分析、电网着色、馈线组生成、状态计算等方面具有较大优势。图数据库虽然提供对事务的一致性支持，但核心优势在于数据查询与遍历，而增删改等事务操作性能一般，所以普通图数据库更适合存储静态数据(基础数据)。而在一般电网中，诸如遥测类动态实时数据采集频率相当高，甚至可达到10毫秒级，如此高频的数据更新，远远超过了普通图数据库的性能上限；此外，遥测的历史数据主要用于仿真计算及规划分析，需要长达数年或永久存储，而普通图数据库根本不保存节点或边属性的历史信息。因此，单纯的图数据库并不适用于处理电力网络数据。
为此本发明的实施例进一步分析电力网络的数据特点和需求，首先，电力网络中无论设备还是线路都包含多种属性(键-值对)，按照时间敏感度划分，这些属性可分为静态属性(基本信息)与动态属性(次元信息)。静态属性基本不发生变化，如名称、类型、地点、GIS坐标等；动态属性包括遥测、遥信、遥控、遥调信息以及各种分析与计算中间数据等；此外，动态属性是一些持续变化的信息，这些信息的历史变化过程在电力网络中也经常需要查询、对比和分析，故电力网络中还存在对历史数据的处理需求。
具体地，电力网络中重要动态属性通常包括：
遥测(遥测信息)：即远程测量，一般指采集并传送运行参数，包括各种电气量(线路上的电压、电流、功率等量值)和负荷潮流等；
遥信(遥信信息)：即远程信号，一般指采集并传送各种保护和开关量信息；
遥控(遥控信息)：即远程控制，一般指接受并执行远程控制命令，主要是分合闸，即对一些开关控制设备进行远程控制；
遥调(遥调信息)：即远程调节，一般指接受并执行远程调节命令，对远程的控制量设备进行远程调试，如调节发电机输出功率等。
其中，最典型的历史数据处理为时间断面数据抽取，其主要针对遥测的历史数据，现有技术的关系型数据库在时间跨度较大的情况下，抽取数据效率非常低，常常需要几十分钟以上；而图数据库由于无法有效保存历史数据，也无法完成此类数据操作。
由此可见，要完美支持电力网络，相关数据处理***至少需要解决三类数据处理的优化问题：静态数据(基础数据)，实时数据(遥测、遥信、遥控、遥调、计算与分析的中间结果等)，历史数据(时间断面抽取，主要涉及遥测数据)。
本发明优选实施例中的图数据库主要保存电力网络节点和边的基础信息(静态信息)及拓扑信息，因为这类数据更新频率很低，图数据库的事务性能足以支持。图数据库擅长存储具有联接关系的网状数据结构，且适于进行大数据处理，同时在涉及路径计算与迭代方面有较大优势(可将原有的数据处理能力从分钟级、小时级提升至秒级或毫秒级响应)，因而可对电力网络的结构和大数据量进行较为理想的表述和存贮。本发明的进一步的优选实施例中，通过合理拆分网络边界形成分布式图数据库，使***扩展性能大大提升，可轻易支持十亿级以上的节点，百亿级以上的关系。
本发明优选实施例中的缓存数据库的并发读写性能最佳，主要保存动态数据的最新状态，也保存业务实时性要求最高的业务数据，缓存数据库具备事务强一致性。本发明的进一步的优选实施例中，通过构建分布式缓存数据库可进一步提升***的实时并发数据处理能力。通过上述优选实施方式，本发明可将电力***原有的数据处理能力从分钟级、小时级，乃至不可能完成的业务需求，全部提升至秒级甚至毫秒级响应，大幅提升了***性能。
本发明优选实施例中的内存文件***主要保存动态数据的历史信息，以及相对较新的数据(如一年内产生的历史数据)，主要服务于时间断面的数据抽取。内存文件***主要通过共享内存的方式提高***效率，在并发读写性能方面，内存文件***逊于缓存数据库而优于图数据库，可有效支持基于历史数据的仿真计算。本发明的进一步的优选实施例中，通过构建分布式内存文件***可进一步提升***的并行处理能力，且可以减少内存冗余、GC(Garbage Collection，垃圾回收)时间等。内存文件***的应用，可将个别时间跨度较大的时间断面历史数据抽取改进为可删除秒级响应。
基于上述设置，数据路由将所述数据操作服务请求中的数据内容按照数据类型进行分配，所述图数据库、所述缓存数据库和所述内存文件***分别对电力网络中的静态数据、实时数据和历史数据执行所述数据操作并获得对应的执行结果。
S4，对所述一个或多个执行结果进行数据汇聚，获得所述数据操作服务请求对应的最终结果；
由于不同数据类型由不同的数据处理手段提供不同的执行结果，这样的中间结果并不利于用户理解和使用，故在本发明的优选实施例中，还对所述一个或多个执行结果进行数据汇聚，获得所述数据操作服务请求对应的最终结果。此时的数据路由主要对执行结果进行合并和/或逻辑运算，以保证最终结果表述形式统一、结构一致且正确可靠。
S5，通过所述统一的接口输出所述最终结果。
最后，在本发明的优选实施例中，同样通过服务代理提供***平台与外部交互的唯一接口，此时该接口用于输出所述数据操作服务请求对应的最终结果。
本发明的实施例中，通过多种数据处理手段对电力网络进行支持，充分利用多种数据处理手段的特长，满足了真实电力网络中的各种不同数据类型的业务需求，从而达到***整体性能的极大提升。
下面通过一些优选实施例对本发明的技术方案进行更为详细的分析说明。
在本发明的一个优选实施例中，基础信息、拓朴信息保存于图数据库中，实时信息使用缓存数据库，历史数据保存于内存文件***中；考虑到内存文件***虽然性能较好，但成本较高，而且电力网络的历史数据的数据量也往往较大(需要保存几年甚至十几、几十年的数据)，故优选进一步按照可配置的时间敏感度将历史数据划分为冷热数据。比如最近几年的数据相对重要而划分为热数据，几年前的数据相对不重要而划分为冷数据，业务频繁访问的数据相对重要而划分为热数据，业务访问较少的数据相对不重要而划分为冷数据等等。热数据总量较少，保存在性能较好、成本较高的内存文件***中，冷数据总量较多，保存在成本较低、性能较差的云存贮***中，该优选实施例既提高了业务操作性能，也降低了总体使用成本。
进一步地，云存贮***优选为分布式文件***，其可无限扩展，具备数据冗余、自动容错、故障迁移、数据高可用性等功能，支持P级以上的数据存储。
为了保证冷热数据的有效管理，优选地，本发明中还对冷热数据进行自动迁移，根据迁移规则自动判定历史数据的冷热程度，冷数据(如一年前的历史数据)自动迁移至云存贮***中，有利于降低成本；热数据从云存贮***中自动加载至内存文件***中，以提升***性能。
此外，本发明优选实施例中还通过一些措施来进一步增强***性能和/或可靠性。比如，进行安全与权限管理，包括但不限于执行外部用户(或服务)的身份认证、权限认证、数据安全认证等等；又或者提供数据索引服务，以实现快速定位目标数据。进一步地，由于本发明实施例中的各数据处理手段优选都采用分布式架构，尽管各数据处理手段分散存储的数据相当独立，但仍需要分布式事务支持，故优选还提供分布式事务协调能力以保证电网数据的完整性。
通过本发明的上述实施例，其技术方案可有效管理电力网络中具有复杂拓扑结构的海量数据，同时可大幅提升各类数据处理操作的性能。
进一步参阅图2，图2展示了本发明的另一个实施例中所提供的基于大数据及图数据库的电力网络数据处理***的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分。图2示例的基于大数据及图数据库的电力网络数据处理***1主要包括服务代理模块11、数据路由模块12和数据处理模块13，所述服务代理模块11包括接收模块111和输出模块112，所述数据路由模块12包括请求路由模块121和结果汇聚模块122，其中，各功能模块详细说明如下：
所述接收模块111，用于通过统一的接口接收数据操作服务请求；
所述请求路由模块121，用于对所述数据操作服务请求进行数据路由；
所述数据处理模块13，用于根据所述数据路由的策略，由图数据库、缓存数据库和内存文件***中的一个或多个执行所述数据操作，并获得对应的一个或多个执行结果；
所述结果汇聚模块122，用于对所述一个或多个执行结果进行数据汇聚，获得所述数据操作服务请求对应的最终结果；
所述输出模块112，用于通过所述统一的接口输出所述最终结果。
优选地，所述请求路由模块中包括：拆分路由模块，用于将所述数据操作服务请求中的数据内容按数据类型进行拆分并路由给相应的数据处理手段。
优选地，所述数据处理模块中包括图数据库模块、缓存数据库模块和内存文件***模块，其中：所述图数据库模块、所述缓存数据库模块和所述内存文件***模块用于分别对电力网络中的静态数据、实时数据和历史数据执行所述数据操作并获得对应的执行结果。
优选地，所述数据处理模块中还包括：历史数据划分模块，用于按照可配置的时间敏感度将所述历史数据划分为冷热数据，其中，热数据保存在内存文件***中，冷数据保存在云存贮***中。
优选地，所述数据处理模块中还包括：数据迁移模块，用于根据迁移规则自动判定所述历史数据的冷热程度，所述冷数据自动迁移至所述云存贮***中，所述热数据从云存贮***中自动加载至所述内存文件***中。
进一步地，本发明优选实施例中上述数据处理***的全功能结构如图3所示，该全功能结构在保证***性能的同时进一步增强了***的安全性和可靠性。
需要说明的是，本发明各实施例中所说的基于大数据及图数据库的电力网络数据处理***中，各功能模块的划分仅是举例说明，实际应用中可以根据需要，例如相应硬件的配置要求或者软件的实现的便利考虑，而将上述功能分配由不同的功能模块完成，即将该数据处理***的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。而且，实际应用中，本实施例中的相应的功能模块可以是由相应的硬件实现，也可以由相应的硬件执行相应的软件完成。本说明书提供的各个实施例都可应用上述描述原则。
此外，本发明各实施例中所说的数据处理***优选集成在一个或多个服务器设备中，进一步可以是由服务器设备加载或调用的独立的硬件、软件和/或固件单元，也可以是由服务器设备直接执行的软件所对应的模块化装置。
本发明实施例中的未尽细节，请参见前述图1方法所示实施例的对应描述。
在本发明所提供的几个实施例中，应该理解到，所揭露的***和方法，可以通过其它的方式实现。例如，以上所描述的***实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，***或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
本发明实施例的技术方案提供了一种基于大数据及图数据库的电力网络数据处理方法及***，通过多种数据处理手段对电力网络进行支持，充分利用多种数据处理手段的特长，满足了真实电力网络中的各种不同数据类型的业务需求，从而达到***整体性能的极大提升。
更进一步地，本发明实施例的技术方案具有以下显著效果：
1.实现了电力行业全量数据的高性能、永久存贮方案——电力行业现有数据存储率不足30％，历史数据保存时间在几年左右，而本发明实施例的技术方案可支撑十亿级以上的节点(设备)，百亿级以上的边(线路)，P级以上的历史数据存贮；
2.实现了***整体性能的大幅提升——本发明实施例的技术方案将电力***原有数据处理能力从分钟级、小时级，乃至不可能完成的业务需求，全部提升至秒级或毫秒级响应，个别时间跨度较大的时间断面历史数据抽取提升至分钟级响应；
3.实现了处理数据范围边界的大幅提升——本发明实施例的技术方案将网络数据存贮从千万级提升至十亿级或百亿级以上，总体数据存储量从T级以内提升至P级以上。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于大数据及图数据库的电力网络数据处理方法，其特征在于，所述方法包括步骤：
通过统一的接口接收数据操作服务请求；
对所述数据操作服务请求进行数据路由；
根据所述数据路由的策略，由图数据库、缓存数据库和内存文件***中的一个或多个执行所述数据操作，并获得对应的一个或多个执行结果；
对所述一个或多个执行结果进行数据汇聚，获得所述数据操作服务请求对应的最终结果；
通过所述统一的接口输出所述最终结果。
2.根据权利要求1所述的方法，其特征在于，所述对所述数据操作服务请求进行数据路由包括：
将所述数据操作服务请求中的数据内容按数据类型进行拆分并路由给相应的数据处理手段。
3.根据权利要求1所述的方法，其特征在于，所述方法中：
所述图数据库、所述缓存数据库和所述内存文件***分别对电力网络中的静态数据、实时数据和历史数据执行所述数据操作并获得对应的执行结果。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
按照可配置的时间敏感度将所述历史数据划分为冷热数据，其中，热数据保存在内存文件***中，冷数据保存在云存贮***中。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据迁移规则自动判定所述历史数据的冷热程度，所述冷数据自动迁移至所述云存贮***中，所述热数据从云存贮***中自动加载至所述内存文件***中；其中，始终在所述内存文件***中对所述历史数据执行所述数据操作。
6.一种基于大数据及图数据库的电力网络数据处理***，其特征在于，所述数据处理***包括服务代理模块、数据路由模块和数据处理模块，所述服务代理模块包括接收模块和输出模块，所述数据路由模块包括请求路由模块和结果汇聚模块，其中：
所述接收模块，用于通过统一的接口接收数据操作服务请求；
所述请求路由模块，用于对所述数据操作服务请求进行数据路由；
所述数据处理模块，用于根据所述数据路由的策略，由图数据库、缓存数据库和内存文件***中的一个或多个执行所述数据操作，并获得对应的一个或多个执行结果；
所述结果汇聚模块，用于对所述一个或多个执行结果进行数据汇聚，获得所述数据操作服务请求对应的最终结果；
所述输出模块，用于通过所述统一的接口输出所述最终结果。
7.根据权利要求6所述的数据处理***，其特征在于，所述请求路由模块中包括：
拆分路由模块，用于将所述数据操作服务请求中的数据内容按数据类型进行拆分并路由给相应的数据处理手段。
8.根据权利要求6所述的数据处理***，其特征在于，所述数据处理模块中包括图数据库模块、缓存数据库模块和内存文件***模块，其中：
所述图数据库模块、所述缓存数据库模块和所述内存文件***模块用于分别对电力网络中的静态数据、实时数据和历史数据执行所述数据操作并获得对应的执行结果。
9.根据权利要求8所述的数据处理***，其特征在于，所述数据处理模块中还包括：
历史数据划分模块，用于按照可配置的时间敏感度将所述历史数据划分为冷热数据，其中，热数据保存在内存文件***中，冷数据保存在云存贮***中。
10.根据权利要求9所述的数据处理***，其特征在于，所述数据处理模块中还包括：
数据迁移模块，用于根据迁移规则自动判定所述历史数据的冷热程度，所述冷数据自动迁移至所述云存贮***中，所述热数据从云存贮***中自动加载至所述内存文件***中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610343953.7A CN106055590A (zh) | 2016-05-23 | 2016-05-23 | 基于大数据及图数据库的电力网络数据处理方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610343953.7A CN106055590A (zh) | 2016-05-23 | 2016-05-23 | 基于大数据及图数据库的电力网络数据处理方法和*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106055590A true CN106055590A (zh) | 2016-10-26 |
Family
ID=57176569
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610343953.7A Pending CN106055590A (zh) | 2016-05-23 | 2016-05-23 | 基于大数据及图数据库的电力网络数据处理方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106055590A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106973036A (zh) * | 2017-02-07 | 2017-07-21 | 杭州云象网络技术有限公司 | 一种基于非对称加密的区块链隐私保护方法 |
| CN107169032A (zh) * | 2017-04-17 | 2017-09-15 | 北京五八信息技术有限公司 | 数据库操作方法及数据库服务器 |
| CN107315856A (zh) * | 2017-05-27 | 2017-11-03 | 全球能源互联网研究院 | 一种基于图数据库的电网gis的建模方法及装置 |
| CN108399206A (zh) * | 2018-01-31 | 2018-08-14 | 佛山市聚成知识产权服务有限公司 | 一种大数据处理*** |
| CN109947859A (zh) * | 2017-08-25 | 2019-06-28 | 南方电网科学研究院有限责任公司 | 配电网绘图建模方法、***、存储介质和计算机设备 |
| CN111562889A (zh) * | 2020-05-14 | 2020-08-21 | 杭州海康威视***技术有限公司 | 数据处理方法、装置、***及存储介质 |
| CN112100654A (zh) * | 2020-09-02 | 2020-12-18 | 军事科学院***工程研究院网络信息研究所 | 一种基于终端的设备数据库资源管理方法 |
| CN113672774A (zh) * | 2021-07-29 | 2021-11-19 | 国电南瑞科技股份有限公司 | 一种基于配电云主站及图数据库的配电网设备拓扑着色方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090326726A1 (en) * | 2008-06-25 | 2009-12-31 | Versify Solutions, Llc | Aggregator, monitor, and manager of distributed demand response |
| CN101826018A (zh) * | 2010-05-20 | 2010-09-08 | 瑞斯康达科技发展股份有限公司 | 一种网元管理***界面交互开发***及方法 |
| CN102982075A (zh) * | 2012-10-30 | 2013-03-20 | 北京京东世纪贸易有限公司 | 支持访问异构数据源的***和方法 |
| CN103605698A (zh) * | 2013-11-06 | 2014-02-26 | 广东电子工业研究院有限公司 | 一种用于分布异构数据资源整合的云数据库*** |
| CN103778212A (zh) * | 2014-01-16 | 2014-05-07 | 国网山东省电力公司青岛供电公司 | 基于数据节点的并行海量数据处理方法 |
| CN103839138A (zh) * | 2014-03-08 | 2014-06-04 | 成都文昊科技有限公司 | 用于支撑多个异构***交互的*** |
| CN104123437A (zh) * | 2014-06-30 | 2014-10-29 | 华南理工大学 | 基于图数据库和空间信息的输电线路跨接辨识方法及*** |
| CN104516967A (zh) * | 2014-12-25 | 2015-04-15 | 国家电网公司 | 一种电力***海量数据管理***及其使用方法 |
-
2016
- 2016-05-23 CN CN201610343953.7A patent/CN106055590A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090326726A1 (en) * | 2008-06-25 | 2009-12-31 | Versify Solutions, Llc | Aggregator, monitor, and manager of distributed demand response |
| CN101826018A (zh) * | 2010-05-20 | 2010-09-08 | 瑞斯康达科技发展股份有限公司 | 一种网元管理***界面交互开发***及方法 |
| CN102982075A (zh) * | 2012-10-30 | 2013-03-20 | 北京京东世纪贸易有限公司 | 支持访问异构数据源的***和方法 |
| CN103605698A (zh) * | 2013-11-06 | 2014-02-26 | 广东电子工业研究院有限公司 | 一种用于分布异构数据资源整合的云数据库*** |
| CN103778212A (zh) * | 2014-01-16 | 2014-05-07 | 国网山东省电力公司青岛供电公司 | 基于数据节点的并行海量数据处理方法 |
| CN103839138A (zh) * | 2014-03-08 | 2014-06-04 | 成都文昊科技有限公司 | 用于支撑多个异构***交互的*** |
| CN104123437A (zh) * | 2014-06-30 | 2014-10-29 | 华南理工大学 | 基于图数据库和空间信息的输电线路跨接辨识方法及*** |
| CN104516967A (zh) * | 2014-12-25 | 2015-04-15 | 国家电网公司 | 一种电力***海量数据管理***及其使用方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106973036A (zh) * | 2017-02-07 | 2017-07-21 | 杭州云象网络技术有限公司 | 一种基于非对称加密的区块链隐私保护方法 |
| CN106973036B (zh) * | 2017-02-07 | 2020-04-14 | 杭州云象网络技术有限公司 | 一种基于非对称加密的区块链隐私保护方法 |
| CN107169032A (zh) * | 2017-04-17 | 2017-09-15 | 北京五八信息技术有限公司 | 数据库操作方法及数据库服务器 |
| CN107315856A (zh) * | 2017-05-27 | 2017-11-03 | 全球能源互联网研究院 | 一种基于图数据库的电网gis的建模方法及装置 |
| CN109947859A (zh) * | 2017-08-25 | 2019-06-28 | 南方电网科学研究院有限责任公司 | 配电网绘图建模方法、***、存储介质和计算机设备 |
| CN109947859B (zh) * | 2017-08-25 | 2023-12-05 | 南方电网科学研究院有限责任公司 | 配电网绘图建模方法、***、存储介质和计算机设备 |
| CN108399206A (zh) * | 2018-01-31 | 2018-08-14 | 佛山市聚成知识产权服务有限公司 | 一种大数据处理*** |
| CN111562889A (zh) * | 2020-05-14 | 2020-08-21 | 杭州海康威视***技术有限公司 | 数据处理方法、装置、***及存储介质 |
| CN112100654A (zh) * | 2020-09-02 | 2020-12-18 | 军事科学院***工程研究院网络信息研究所 | 一种基于终端的设备数据库资源管理方法 |
| CN113672774A (zh) * | 2021-07-29 | 2021-11-19 | 国电南瑞科技股份有限公司 | 一种基于配电云主站及图数据库的配电网设备拓扑着色方法及装置 |
| CN113672774B (zh) * | 2021-07-29 | 2023-09-29 | 国电南瑞科技股份有限公司 | 一种基于配电云主站及图数据库的配电网设备拓扑着色方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106055590A (zh) | 基于大数据及图数据库的电力网络数据处理方法和*** | |
| Zhao et al. | Geographical information system parallelization for spatial big data processing: a review | |
| CN102255962B (zh) | 一种分布式存储方法、装置和*** | |
| CN109726174A (zh) | 数据归档方法、***、设备以及存储介质 | |
| CN105139281A (zh) | 一种电力营销大数据的处理方法及*** | |
| CN106611046A (zh) | 基于大数据技术的空间数据存储处理中间件框架 | |
| CN107679192A (zh) | 多集群协同数据处理方法、***、存储介质及设备 | |
| CN106708993A (zh) | 基于大数据技术的空间数据存储处理中间件框架实现方法 | |
| CN109918450B (zh) | 基于分析类场景下的分布式并行数据库及存储方法 | |
| CN105469188A (zh) | 一种配电网规划数据在线智能分析***及方法 | |
| CN104504008B (zh) | 一种基于嵌套的SQL到HBase的数据迁移算法 | |
| CN106453618A (zh) | 基于G‑Cloud云计算的遥感图像处理服务云平台*** | |
| CN102857560A (zh) | 一种面向多业务应用的云存储数据分布方法 | |
| CN102158533B (zh) | 基于QoS的分布式web服务选择方法 | |
| CN104572505A (zh) | 一种保证海量数据缓存最终一致性的***及方法 | |
| CN109947880A (zh) | 三维空间信息服务于城乡一体化管理异构数据融合方法 | |
| CN104219088A (zh) | 一种基于Hive的网络告警信息OLAP方法 | |
| CN115994197A (zh) | GeoSOT网格数据计算方法 | |
| Xie et al. | On massive spatial data retrieval based on spark | |
| CN104391947A (zh) | 海量gis数据实时处理方法及*** | |
| CN107276833A (zh) | 一种节点信息管理方法及装置 | |
| CN109687464B (zh) | 电网潮流的分析方法及装置、存储介质、处理器 | |
| CN104484763A (zh) | 一种基于三维的美丽村镇建设的方法和*** | |
| CN103488792A (zh) | 云计算的pm2.5监测、存储、处理的方法 | |
| CN112434010A (zh) | 一种用电信息采集***主站数据库的交互方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161026 |
|
| RJ01 | Rejection of invention patent application after publication |