CN113688118A - 电网多源数据基于云平台的风险稽查平台 - Google Patents
电网多源数据基于云平台的风险稽查平台 Download PDFInfo
- Publication number
- CN113688118A CN113688118A CN202110970696.0A CN202110970696A CN113688118A CN 113688118 A CN113688118 A CN 113688118A CN 202110970696 A CN202110970696 A CN 202110970696A CN 113688118 A CN113688118 A CN 113688118A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- layer
- suite
- platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 67
- 238000012544 monitoring process Methods 0.000 claims abstract description 28
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 238000013500 data storage Methods 0.000 claims abstract description 14
- 230000010354 integration Effects 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000007418 data mining Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 11
- 238000012800 visualization Methods 0.000 claims description 9
- 230000000903 blocking effect Effects 0.000 claims description 8
- 230000002688 persistence Effects 0.000 claims description 8
- 238000012550 audit Methods 0.000 claims 2
- 238000013523 data management Methods 0.000 abstract description 3
- 238000007619 statistical method Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 15
- 238000007726 management method Methods 0.000 description 14
- 230000002159 abnormal effect Effects 0.000 description 9
- 238000011161 development Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Databases & Information Systems (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Operations Research (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出电网多源数据基于云平台的风险稽查平台，包括基础设施层、基础软件层、服务支撑层、应用层；基础设施层包括智能电表采集端以及本地边缘计算终端；基础软件层包括数据库软件和Web中间层，通过数据库软件为所述风险稽查监控平台提供大数据存储服务，通过Web中间层为所述风险稽查监控平台提供大数据基础服务；服务支撑层提供大数据服务套件，大数据服务套件包括数据集成套件、数据治理套件、查询统计套件、数值分析套件以及数据挖掘套件；风险稽查监控平台通过所述应用层实现可视化的智能稽查服务。本发明完整的覆盖了从数据集成、数据治理、数据存储、数据查询、数据统计分析、数据挖掘整个数据风险稽查的生命周期。
Description
技术领域
本发明属于电网智能稽查技术领域，尤其涉及一种全电网多源数据下基于云平台的风险稽查监控平台。
背景技术
完成“两覆盖”建设，实现数据的深化应用，产生了大量电能量数据，能使新一轮营销改造更具有针对性，更有效地解决贫困地区低电压、卡脖子、不通动力电等突出问题，满足群众从“用上电”到“用好电”的需求。同时，进一步提升了电网智能化服务水平，用户将享受到更优质的供电服务。在目前南方电网向数字化转型的背景下，急需深挖“双覆盖”后的数据价值，使之服务于营销业务工作的开展，为稽查业务智能化提供坚实的数据基础。
对此，申请号为CN201911196973.6的中国发明专利申请提出一种电力营销稽查管理方法，包括：获取电力营销***的历史营销业务数据，并对历史营销业务数据进行标准化处理；对标准化处理后的历史营销业务数据进行分析，提取异常特征数据；基于机器学习和深度学习处理异常特征数据，建立异常复核定位算法模型，并完成异常复核定位算法模型的自我学习，得到稽查知识图谱；基于稽查知识图谱处理营销稽查规则、营销稽查规则对应的问题类型和问题类型对应的数据源，定位当前营销业务数据的异常节点，获取营销稽查结果，从而建立起用于稽查的稽查知识图谱，具有可追溯性，实现营销全业务、全数据、全专业、全风险的精准稽查。
中国发明专利申请CN110378808A公开一种基于基因重组及特征聚类的电力营销稽查方法，包括如下步骤：步骤100、数据清洗，导入的工单数据经过省级稽查后，进行第一次数据清洗后会产生两种结果，分别为工单数据的有效异常和无效异常；步骤200、有效异常的数据下发到市级单位进行数据处理，无效异常的数据直接进行处理；步骤300、市级单位的数据处理通过智能稽查方法进行智能处理。该发明能够有效提升在线稽查的准确度，大幅度提升在线稽查作业效率。
然而，现有营销***稽查业务的处理方式主观性较强，智能化不足，这不但增加了业务人员工作量，也无法满足稽查精益化管理的要求。
目前营销管理***稽查模块现状具体分析如下：
1、规则不够细化，无法详细定位每个问题点；
2、基于关系数据库实现，性能损耗较大，无法有效并行处理；
3、抽样时间较长，影响效率；
4、规则筛查出的问题较多，而每月稽查业务量有限，无法有效跟踪；
5、稽查问题、经验未知识化管理，同类问题不同人处理无法有效利用知识快速处理；
6、稽查风险防控能力有待提高。
发明内容
为解决上述技术问题，本发明提出全电网多源数据下基于云平台的风险稽查监控平台，包括基础设施层、基础软件层、服务支撑层、应用层；基础设施层包括智能电表采集端以及本地边缘计算终端；基础软件层包括数据库软件和Web中间层，通过数据库软件为所述风险稽查监控平台提供大数据存储服务，通过Web中间层为所述风险稽查监控平台提供大数据基础服务；服务支撑层提供大数据服务套件，大数据服务套件包括数据集成套件、数据治理套件、查询统计套件、数值分析套件以及数据挖掘套件；风险稽查监控平台通过所述应用层实现可视化的智能稽查服务。
本发明的技术方案，从数据“采、存、通、用”流程角度，分为数据采集层、数据存储层、数据计算层、数据分析层、平台服务层。平台整体部署在云平台之上，使用云平台提供的计算和存储服务，本身天然拥有弹性伸缩能力。平台是数据汇聚中心、统一数据及数据服务唯一来源，是各公司大数据应用的开发支撑平台，同时也是元数据管理、数据质量管理、数据标准管理的载体。
依托大数据基础平台集成本项目处理海量数据所需要的各种基础技术组件，完整的覆盖了从数据集成、数据治理、数据存储、数据查询、数据统计分析、数据挖掘整个数据处理的生命周期，并覆盖了内存计算、异常分析等本项目必需的分析技术。
具体而言，本发明提供一种全电网多源数据下基于云平台的风险稽查监控平台，所述风险稽查监控平台包括基础设施层、基础软件层、服务支撑层、应用层。
其中，所述基础设施层包括分布于电网目标范围内不同位置的M个智能电表采集端以及N个本地边缘计算终端，其中M>N>1，M和N均为正整数；
所述基础设施层通过分布式文件***与所述基础软件层通信，所述基础软件层包括数据库软件和Web中间层，通过所述数据库软件为所述风险稽查监控平台提供大数据存储服务，通过所述Web中间层为所述风险稽查监控平台提供大数据基础服务，所述大数据基础服务包括SQL查询、分布式内存计算、流式计算、数值分析以及数据挖掘；
所述服务支撑层提供大数据服务套件，所述大数据服务套件包括数据集成套件、数据治理套件、查询统计套件、数值分析套件以及数据挖掘套件；
所述风险稽查监控平台通过所述应用层实现可视化的智能稽查服务。
所述应用层还提供可视化配置服务组件，所述可视化配置服务组件设置分组可视化参数；
基于所述分组可视化参数，对所述M个智能电表采集端进行分组后得到K个分组，每个分组包括多个智能电表采集端；K≤N；
将所述每个分组包括的所述多个智能电表采集端采集的电网状态数据发送至该分组对应的至少一个本地边缘计算终端。
所述每个本地边缘计算终端设置有数据缓存队列；
通过判断所述数据缓存队列是否发生阻塞以及阻塞的持续时间是否超过预定时间值，来对分组进行调整或者数据传输的方式进行调整。
所述风险稽查监控平台还包括展示层，所述展示层向用户提供操作界面，通过用户的交互实现用户所期望的功能。
在本发明中，为了确保营销***的安全稳定运行以及稽查异常分析工作的高性能数据处理，本项目采用了大数据技术与J2EE技术相结合的方式来实现。各个层次的结构和功能模块如下：
基础设施层：是项目的硬件基础设施层。对于智能稽查应用方面的需要，考虑了应用服务器以发布Web应用；考虑了数据库服务器以实现应用与管理数据的存储。而在大数据平台考虑采用服务器构建服务器集群，以支持大数据分布式高性能海量数据处理及分析。
基础软件层：对于智能稽查应用方面与南方电网营销***的技术架构一致，考虑了数据库软件和Web中间件，在选型上也与营销***一致；在智能稽查支撑方面则采用了主流大数据平台组件，主要采用Hadoop云生态组件。通过各组件提供的数据智能规则分析服务和其各组件所提供的服务，以支持稽查档案数据处理、业务数据、表码数据处理和异常规则核查要求。
服务支撑层：采用基于SOA架构的服务设计理念设计多种业务服务；在智能稽查支撑方面则对基础大数据开发技术进行封装，设计大数据服务套件。
应用层：基于服务支撑层实现具体的业务功能。对于本项目的应用规划，根据其功能特点分别采用J2EE技术、微服务及大数据技术进行开发。
此外，本发明采用面向服务的体系架构(SOA)进行应用的设计、开发、***集成，力求摆脱面向技术的解决方案的束缚，从而提高软件的可重用性、加快应用软件的实施。
本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种全电网多源数据下基于云平台的风险稽查监控平台的主体架构图
图2是图1所述平台的模块连接示意图
图3是图1所述平台中基础设施层的实际连接示意图
图4是图1所述平台提供的不同功能模块示意图
具体实施方式
下面，结合附图以及具体实施方式，对发明做出进一步的描述。
参见图1，是本发明一个实施例的一种全电网多源数据下基于云平台的风险稽查监控平台的主体架构图。
在图1中，所述风险稽查监控平台包括基础设施层、基础软件层、服务支撑层、应用层、展示层以及可视化配置服务组件。
作为进一步说明，本发明所述的风险稽查监控平台采用省级集中部署的方式，平台涉及稽查规则统计，将在大数据分析平台之上搭建，应用服务器和数据库服务器使用云平台提供的虚拟资源，业务数据来源于云数据库服务器集群。
为了确保营销***的安全稳定运行以及稽查异常分析工作的高性能数据处理，本实施例采用了大数据技术与J2EE技术相结合的方式来实现。
平台在架构上分为：基础设施层、基础软件层、服务支撑层、应用层四个层次。
更具体的，在图1基础上，可参见图2。
基础设施层：是项目的硬件基础设施层。对于智能稽查应用方面的需要，考虑了应用服务器以发布Web应用；考虑了数据库服务器以实现应用与管理数据的存储。而在大数据平台考虑采用服务器构建服务器集群，以支持大数据分布式高性能海量数据处理及分析。
所述基础设施层通过分布式文件***与所述基础软件层通信，所述基础软件层包括数据库软件和Web中间层，通过所述数据库软件为所述风险稽查监控平台提供大数据存储服务，通过所述Web中间层为所述风险稽查监控平台提供大数据基础服务，所述大数据基础服务包括SQL查询、分布式内存计算、流式计算、数值分析以及数据挖掘；
基础软件层：对于智能稽查应用方面与南方电网营销***的技术架构一致，考虑了数据库软件和Web中间件，在选型上也与营销***一致；在智能稽查支撑方面则采用了主流大数据平台组件，主要采用Hadoop云生态组件。通过各组件提供的数据智能规则分析服务和其各组件所提供的服务，以支持稽查档案数据处理、业务数据、表码数据处理和异常规则核查要求。
服务支撑层：采用基于SOA架构的服务设计理念设计多种业务服务；在智能稽查支撑方面则对基础大数据开发技术进行封装，设计大数据服务套件。
所述服务支撑层提供大数据服务套件，所述大数据服务套件包括数据集成套件、数据治理套件、查询统计套件、数值分析套件以及数据挖掘套件；
应用层：基于服务支撑层实现具体的业务功能。对于本项目的应用规划，根据其功能特点分别采用J2EE技术、微服务及大数据技术进行开发。
所述风险稽查监控平台通过所述应用层实现可视化的智能稽查服务。
所述应用层还提供可视化配置服务组件，所述可视化配置服务组件设置分组可视化参数。
展示层：向用户提供操作界面，通过用户的交互实现用户所期望的功能。
在图2中，所述分布式文件***采用YARN作为大数据集群资源管理器。
接下来参见图3，图3具体的示出了本发明所述的基础设施层的一个具体布置方式。
通常情况下，所述基础设施层包括分布于电网目标范围内不同位置的M个智能电表采集端以及N个本地边缘计算终端，其中M>N>1，M和N均为正整数。
图3中，示出了4个智能电表采集端以及2个本地边缘计算终端。
在图3中，基于分组可视化参数，对所述4个智能电表采集端进行分组后得到2个分组，每个分组包括2个智能电表采集端；
图3中四个智能电表采集端自上而下标记为1-4号采集端，1号3号分为一组；2号4号分为一组；2个本地边缘计算终端分别标记为A和B，则在图3的状态下，本地边缘计算终端A接收1号和3号智能电表采集端采集的电网状态数据；本地边缘计算终端B接收2号和4号智能电表采集端采集的电网状态数据。
进一步的，每个本地边缘计算终端设置有数据缓存队列。
在本发明的各个实施例中，通过边缘计算终端和云平台的联合，使得数据尽可能在本地处理，如果发生阻塞，则优先调整分组；如果调整分组还不能满足扩容要求，才上传至平台。这种设置，能够实时的对数据进行处理，同时避免云传输成本的激增。
具体而言，若某个本地边缘计算终端在接收智能电表采集端发送的电网状态数据时，所述数据缓存队列发生阻塞并且阻塞的持续时间超过预定时间值，则将该本地边缘计算终端对应的分组中包含的多个智能电表采集端中的部分智能电表采集端采集的电网状态数据发送至所述云平台。
若某个本地边缘计算终端在接收智能电表采集端发送的电网状态数据时，所述数据缓存队列发生阻塞但阻塞的持续时间未超过预定时间值，则减少该本地边缘计算终端对应的分组中包含的智能电表采集端的数量。
在图3中，如果边缘计算终端A的数据缓存队列发生阻塞并且阻塞的持续时间超过预定时间值，则后续需要将1号和3号智能电表采集端采集的电网状态数据部分发送至云平台；
如果边缘计算终端B的数据缓存队列发生阻塞但是阻塞的持续时间未超过预定时间值，则可以考虑将2号或者4号智能电表采集端采集的电网状态数据发送至其他边缘计算终端，例如发送至边缘计算终端A；或者其他本地边缘计算终端，或者启动更多的边缘计算终端等。
具体实现时，若某个本地边缘计算终端在接收智能电表采集端发送的电网状态数据时，所述数据缓存队列发生阻塞但阻塞的持续时间未超过预定时间值，则发送反馈信号给所述可视化配置服务组件，使得所述可视化配置服务组件调节所述分组可视化参数。
在上述实施例中，所述***还提供数据持久化支持服务；
用户通过所述可视化配置服务组件设置分组可视化参数后，所述服务支撑层接收用户提交的处理请求，触发业务逻辑，调用所述数据持久化支持服务完成数据存储。
更具体的，可参见图4。
通过所述基础设施层获取分组数据，
通过所述基础软件层中的所述Web中间层调用JPA工具类进行数据分页查询；
服务支撑层通过数据访问插件拦截查询数据并将所述数据存储到大数据集群服务器中。
所述风险稽查监控平台提供ApacheCXFWebService运行环境，将业务服务发布成Web Service发布到所述电网目标范围内不同位置的远程控制端。
结合图4，本实施例依托大数据基础平台集成本项目处理海量数据所需要的各种基础技术组件，完整的覆盖了从数据集成、数据治理、数据存储、数据查询、数据统计分析、数据挖掘整个数据处理的生命周期，并覆盖了内存计算、异常分析等本项目必需的分析技术：
其中：
分布式文件***：为了满足海量数据的存储以及数据安全需求，采用分布式文件***。HDFS是一个高度容错性的***，能够确保数据的安全性和完整性，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
集群资源管理：采用了YARN作为大数据集群资源管理器，它是一个通用资源管理***，将集群内分布的相关设备的内存、存储、CPU等资源进行统一的资源管理和调度，它为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
大数据集成：提供多种数据集成组件，可以实现数据从关系型数据库(如营销***ORACLE|、MYSQL数据库)、文本文件(例如计量表码txt文件、CSV文件等)、即时消息等不同数据源到大数据平台的集成。大数据平台组件，主要采用Hadoop云生态组件。通过各组件提供的数据整全及分析服务和其各组件所提供的服务，以支持智能稽查对档案数据处理、业务数据分析、表码数据处理和规则核查要求。
1.采用SparkOnYARN方案，实现全省用户基础档案数据及业务数据在集群的内存中进行按稽查规则智能核查。
2.大数据存储：提供了基于HDFS分布式文件***的数据仓库存储、列式存储以及基于内存的存储等。通过多种存储方式满足项目海量数据的存储需求。
大数据基础服务：包括了对数据进行查询统计、数据分析挖掘以及治理的多种组件。
更具体的，借助JPA(JAVA持久性API)技术实现Java对象与关系数据库的映射(ORM)，屏蔽数据库的差异；基于实体类型的传输参数更利于业务层服务接口的确定；对于JPA不擅长的操作，如关联查询、高性能的数据库操作、通用实体模型定义等，平台保留一套自定义数据访问层。通过持久化数据服务层，做到对数据库访问的屏蔽，在数据服务层之上，SQL语句、JDBC等相关操作将不复存在。
JPA是开发平台默认的持久化机制，具体采用Spring+JPA+Hibernate的实现方式。利用Annotation(注解)声明JPA的Entity实体和命名查询。平台提供Eclipse插件，实现数据库表到实体的ORM，并组织到特定的Package中进行统一管理。
自定义持久层是开发平台提供的数据访问插件，可以根据需要选择安装。利用本插件，可以弥补JPA在大数据关联查询、批量数据处理中的性能缺陷，同时又能兼容原有平台的处理方式，自定义持久层也是动态实体模型的基础。
服务层接收到用户提交的处理请求，触发业务逻辑，调用持久层服务完成数据存储，这个过程离不开事务控制。通常情况下，服务层是事务处理的边界。
平台提供两种事务控制方式：使用容器的JTA全局事务和平台提供的声明式事务控制。
平台提供ApacheCXFWebService运行环境。将业务服务发布成WebService，可以有以下途径：
1.利用JAX-WS(JavaAPIForXMLWebService)规范，在服务接口中增加相关Annotation，使之变为SEI，然后利用平台将业务服务发布为WebService。
2.利用服务注册机制，在注册管理模块中，将通用业务服务配置成WebService，实现可配置发布。
平台支持各种主流的浏览器，包括IE(6.0以上)，FireFox和Google的Chrome。平台通过如下手段支持浏览器兼容：
1.平台提供的基础组件、展现组件已经实现了对浏览器的兼容。
2.在进行功能和页面设计时，应尽量使用平台提供的展现组件(如标签等)
3.平台提供的跨浏览器的Jquery库和公共js函数；
4.对于浏览器之间存在严重差异的功能，如通用模态窗口，由平台提供替代实现，屏蔽浏览器之间的差异。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (3)
1.电网多源数据基于云平台的风险稽查平台，所述风险稽查监控平台包括基础设施层、基础软件层、服务支撑层、应用层；
其特征在于：
所述基础设施层包括分布于电网目标范围内不同位置的M个智能电表采集端以及N个本地边缘计算终端，其中M>N>1，M和N均为正整数；
所述基础设施层通过分布式文件***与所述基础软件层通信，所述基础软件层包括数据库软件和Web中间层，通过所述数据库软件为所述风险稽查监控平台提供大数据存储服务，通过所述Web中间层为所述风险稽查监控平台提供大数据基础服务，所述大数据基础服务包括SQL查询、分布式内存计算、流式计算、数值分析以及数据挖掘；
所述服务支撑层提供大数据服务套件，所述大数据服务套件包括数据集成套件、数据治理套件、查询统计套件、数值分析套件以及数据挖掘套件；
所述风险稽查监控平台通过所述应用层实现可视化的智能稽查服务；
所述应用层还提供可视化配置服务组件，所述可视化配置服务组件设置分组可视化参数；
基于所述分组可视化参数，对所述M个智能电表采集端进行分组后得到K个分组，每个分组包括多个智能电表采集端；K≤N；
将所述每个分组包括的所述多个智能电表采集端采集的电网状态数据发送至该分组对应的至少一个本地边缘计算终端；
所述每个本地边缘计算终端设置有数据缓存队列；
若某个本地边缘计算终端在接收智能电表采集端发送的电网状态数据时，所述数据缓存队列发生阻塞并且阻塞的持续时间超过预定时间值，则将该本地边缘计算终端对应的分组中包含的多个智能电表采集端中的部分智能电表采集端采集的电网状态数据发送至所述云平台；
若某个本地边缘计算终端在接收智能电表采集端发送的电网状态数据时，所述数据缓存队列发生阻塞但阻塞的持续时间未超过预定时间值，则减少该本地边缘计算终端对应的分组中包含的智能电表采集端的数量；
所述***还提供数据持久化支持服务；
用户通过所述可视化配置服务组件设置分组可视化参数后，所述服务支撑层接收用户提交的处理请求，触发业务逻辑，调用所述数据持久化支持服务完成数据存储；
所述调用所述数据持久化支持服务完成数据存储，具体包括：
通过所述基础设施层获取分组数据，
通过所述基础软件层中的所述Web中间层调用JPA工具类进行数据分页查询；
服务支撑层通过数据访问插件拦截查询数据并将所述数据存储到大数据集群服务器中。
2.如权利要求1任一所述的电网多源数据基于云平台的风险稽查平台，其特征在于：
所述分布式文件***采用YARN作为大数据集群资源管理器。
3.如权利要求1任一所述的电网多源数据基于云平台的风险稽查平台，其特征在于：
所述风险稽查监控平台提供Apache CXF WebService运行环境，将业务服务发布成WebService发布到所述电网目标范围内不同位置的远程控制端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110970696.0A CN113688118A (zh) | 2020-11-18 | 2020-11-18 | 电网多源数据基于云平台的风险稽查平台 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011291361.8A CN112434924B (zh) | 2020-11-18 | 2020-11-18 | 全电网多源数据下基于云平台的风险稽查监控平台 |
| CN202110970696.0A CN113688118A (zh) | 2020-11-18 | 2020-11-18 | 电网多源数据基于云平台的风险稽查平台 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011291361.8A Division CN112434924B (zh) | 2020-11-18 | 2020-11-18 | 全电网多源数据下基于云平台的风险稽查监控平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113688118A true CN113688118A (zh) | 2021-11-23 |
Family
ID=74692827
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110970696.0A Withdrawn CN113688118A (zh) | 2020-11-18 | 2020-11-18 | 电网多源数据基于云平台的风险稽查平台 |
| CN202011291361.8A Active CN112434924B (zh) | 2020-11-18 | 2020-11-18 | 全电网多源数据下基于云平台的风险稽查监控平台 |
| CN202110969168.3A Withdrawn CN113656379A (zh) | 2020-11-18 | 2020-11-18 | 全电网基于云平台的风险稽查监控平台 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011291361.8A Active CN112434924B (zh) | 2020-11-18 | 2020-11-18 | 全电网多源数据下基于云平台的风险稽查监控平台 |
| CN202110969168.3A Withdrawn CN113656379A (zh) | 2020-11-18 | 2020-11-18 | 全电网基于云平台的风险稽查监控平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (3) | CN113688118A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114696468A (zh) * | 2022-05-31 | 2022-07-01 | 南方电网数字电网研究院有限公司 | 数字配电网边缘计算控制装置及方法 |
| CN115576927A (zh) * | 2022-11-11 | 2023-01-06 | 加华地学(武汉)数字技术有限公司 | 一种多专业通用型数字化***及其设计方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113283772A (zh) * | 2021-06-04 | 2021-08-20 | 云南电网有限责任公司信息中心 | 一种电力营销稽查业务规则分析应用方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709623B (zh) * | 2016-11-14 | 2022-02-08 | 深圳供电局有限公司 | 一种基于风险计算模型的电网营销稽查风险管控方法 |
| CN108093401B (zh) * | 2017-12-13 | 2020-06-09 | 电子科技大学 | 一种基于边缘计算的移动智能终端隐私保护***及方法 |
| CN109783229A (zh) * | 2018-12-17 | 2019-05-21 | 平安普惠企业管理有限公司 | 线程资源分配的方法及装置 |
| CN109754179A (zh) * | 2018-12-29 | 2019-05-14 | 国网北京市电力公司 | 一种集中分布式低压监控部署***及方法 |
| CN109743401A (zh) * | 2019-01-30 | 2019-05-10 | 南京我在智能科技有限公司 | 一种基于物联网边缘计算服务器的智能设备管理*** |
| CN110109745B (zh) * | 2019-05-15 | 2023-06-20 | 华南理工大学 | 一种针对边缘计算环境的任务协同在线调度方法 |
| CN110336703A (zh) * | 2019-07-12 | 2019-10-15 | 河海大学常州校区 | 基于边缘计算的工业大数据监测*** |
| CN110794785A (zh) * | 2019-11-14 | 2020-02-14 | 北京国电通网络技术有限公司 | 基于物联网的施工现场边缘计算物联分析告警***及其方法 |
| CN111260924B (zh) * | 2020-02-10 | 2021-01-26 | 北京中交国通智能交通***技术有限公司 | 适应边缘计算的交通智能管控与服务发布策略方法 |
| CN111427930A (zh) * | 2020-03-30 | 2020-07-17 | 广东电科院能源技术有限责任公司 | 一种低压光伏储能微网设备监测管理***、方法及设备 |
-
2020
- 2020-11-18 CN CN202110970696.0A patent/CN113688118A/zh not_active Withdrawn
- 2020-11-18 CN CN202011291361.8A patent/CN112434924B/zh active Active
- 2020-11-18 CN CN202110969168.3A patent/CN113656379A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114696468A (zh) * | 2022-05-31 | 2022-07-01 | 南方电网数字电网研究院有限公司 | 数字配电网边缘计算控制装置及方法 |
| CN115576927A (zh) * | 2022-11-11 | 2023-01-06 | 加华地学(武汉)数字技术有限公司 | 一种多专业通用型数字化***及其设计方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113656379A (zh) | 2021-11-16 |
| CN112434924A (zh) | 2021-03-02 |
| CN112434924B (zh) | 2021-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112434924B (zh) | 全电网多源数据下基于云平台的风险稽查监控平台 | |
| CN106651633B (zh) | 一种基于大数据技术的用电信息采集***及其采集方法 | |
| CN104769582B (zh) | 针对电网的实时数据管理 | |
| CN107103064B (zh) | 数据统计方法及装置 | |
| CN109582717B (zh) | 一种面向电力大数据的数据库统一平台及其读取方法 | |
| CN109831478A (zh) | 基于规则及模型的分布式实时处理智能决策***及方法 | |
| CN113179173B (zh) | 一种用于高速公路***的运维监控*** | |
| CN101630271A (zh) | 一种网格环境下的地震模拟计算支撑中间件*** | |
| CN115335821B (zh) | 卸载统计收集 | |
| CN110807622A (zh) | 一种基于互联网的创新创业公共服务平台*** | |
| Ma et al. | Review of power spatio-temporal big data technologies for mobile computing in smart grid | |
| CN103489139A (zh) | 城市配电网规划综合分析与管理*** | |
| Liu et al. | On construction of an energy monitoring service using big data technology for smart campus | |
| CN112527857A (zh) | 基于智能电表的多角度线损可视化数据分析平台 | |
| CN103595792A (zh) | 一种环境污染趋势监控*** | |
| CN109213789A (zh) | 一种关于业务sql的分析方法及装置 | |
| CN105653523A (zh) | 能耗监管物联网络基础平台的***构建方法 | |
| CN105512154A (zh) | 一种基于嵌入式数据库的环保数据采集方法及*** | |
| CN114625763A (zh) | 用于数据库的信息分析方法、装置、电子设备和可读介质 | |
| Shouaib et al. | Survey on iot-based big data analytics | |
| Sun et al. | Mechanism design for unified management of power grid planning data | |
| DUAN et al. | Design and Application of the Intelligent Operation, Control and Maintenance of Distribution Networks Based on Wide-Area Distributed Sinking Computing Technology | |
| Fu et al. | The Whole Process Monitoring System of Meteorological Big Data Cloud Platform Based on “Tianjing” | |
| CN115099598B (zh) | 基于多源数据的电网设备信息溯源***及方法 | |
| Lu et al. | Technology Architecture for Source-Grid-Load-Storage Collaborative Control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211123 |
|
| WW01 | Invention patent application withdrawn after publication |