CN112434924A - 全电网多源数据下基于云平台的风险稽查监控平台 - Google Patents
全电网多源数据下基于云平台的风险稽查监控平台 Download PDFInfo
- Publication number
- CN112434924A CN112434924A CN202011291361.8A CN202011291361A CN112434924A CN 112434924 A CN112434924 A CN 112434924A CN 202011291361 A CN202011291361 A CN 202011291361A CN 112434924 A CN112434924 A CN 112434924A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- layer
- monitoring platform
- suite
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 77
- 238000012544 monitoring process Methods 0.000 title claims abstract description 41
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 230000000007 visual effect Effects 0.000 claims abstract description 18
- 238000013500 data storage Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000007418 data mining Methods 0.000 claims abstract description 11
- 230000010354 integration Effects 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 10
- 230000000903 blocking effect Effects 0.000 claims description 9
- 238000012800 visualization Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 8
- 230000002688 persistence Effects 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 3
- 238000013523 data management Methods 0.000 abstract description 3
- 238000007619 statistical method Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 15
- 238000007726 management method Methods 0.000 description 14
- 230000002159 abnormal effect Effects 0.000 description 9
- 238000011161 development Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Databases & Information Systems (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Operations Research (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出全电网多源数据下基于云平台的风险稽查监控平台，包括基础设施层、基础软件层、服务支撑层、应用层；基础设施层包括智能电表采集端以及本地边缘计算终端；基础软件层包括数据库软件和Web中间层，通过数据库软件为所述风险稽查监控平台提供大数据存储服务，通过Web中间层为所述风险稽查监控平台提供大数据基础服务；服务支撑层提供大数据服务套件，大数据服务套件包括数据集成套件、数据治理套件、查询统计套件、数值分析套件以及数据挖掘套件；风险稽查监控平台通过所述应用层实现可视化的智能稽查服务。本发明完整的覆盖了从数据集成、数据治理、数据存储、数据查询、数据统计分析、数据挖掘整个数据风险稽查的生命周期。
Description
技术领域
本发明属于电网智能稽查技术领域，尤其涉及一种全电网多源数据下基于 云平台的风险稽查监控平台。
背景技术
完成 “两覆盖”建设，实现数据的深化应用，产生了大量电能量数据，能使新一轮营销改造更具有针对性，更有效地解决贫困地区低电压、卡脖子、不通动力电等突出问题，满足群众从“用上电”到“用好电”的需求。同时，进一步提升了电网智能化服务水平，用户将享受到更优质的供电服务。在目前南方电网向数字化转型的背景下，急需深挖“双覆盖”后的数据价值，使之服务于营销业务工作的开展，为稽查业务智能化提供坚实的数据基础。
对此，申请号为CN201911196973.6的中国发明专利申请提出一种电力营销 稽查管理方法，包括：获取电力营销***的历史营销业务数据，并对历史营销 业务数据进行标准化处理；对标准化处理后的历史营销业务数据进行分析，提 取异常特征数据；基于机器学习和深度学习处理异常特征数据，建立异常复核 定位算法模型，并完成异常复核定位算法模型的自我学习，得到稽查知识图谱； 基于稽查知识图谱处理营销稽查规则、营销稽查规则对应的问题类型和问题类 型对应的数据源，定位当前营销业务数据的异常节点，获取营销稽查结果，从 而建立起用于稽查的稽查知识图谱，具有可追溯性，实现营销全业务、全数据、 全专业、全风险的精准稽查。
中国发明专利申请CN110378808A公开一种基于基因重组及特征聚类的电 力营销稽查方法，包括如下步骤：步骤100、数据清洗，导入的工单数据经过 省级稽查后，进行第一次数据清洗后会产生两种结果，分别为工单数据的有效 异常和无效异常；步骤200、有效异常的数据下发到市级单位进行数据处理， 无效异常的数据直接进行处理；步骤300、市级单位的数据处理通过智能稽查 方法进行智能处理。该发明能够有效提升在线稽查的准确度，大幅度提升在线 稽查作业效率。
然而，现有营销***稽查业务的处理方式主观性较强，智能化不足，这不 但增加了业务人员工作量，也无法满足稽查精益化管理的要求。
目前营销管理***稽查模块现状具体分析如下：
1、规则不够细化，无法详细定位每个问题点；
2、基于关系数据库实现，性能损耗较大，无法有效并行处理；
3、抽样时间较长，影响效率；
4、规则筛查出的问题较多，而每月稽查业务量有限，无法有效跟踪；
5、稽查问题、经验未知识化管理，同类问题不同人处理无法有效利用知识 快速处理；
6、稽查风险防控能力有待提高。
发明内容
为解决上述技术问题，本发明提出全电网多源数据下基于云平台的风险 稽查监控平台，包括基础设施层、基础软件层、服务支撑层、应用层；基 础设施层包括智能电表采集端以及本地边缘计算终端；基础软件层包括数 据库软件和Web中间层，通过数据库软件为所述风险稽查监控平台提供大 数据存储服务，通过Web中间层为所述风险稽查监控平台提供大数据基础 服务；服务支撑层提供大数据服务套件，大数据服务套件包括数据集成套件、数据治理套件、查询统计套件、数值分析套件以及数据挖掘套件；风 险稽查监控平台通过所述应用层实现可视化的智能稽查服务。
本发明的技术方案，从数据“采、存、通、用”流程角度，分为数据采 集层、数据存储层、数据计算层、数据分析层、平台服务层。平台整体部 署在云平台之上，使用云平台提供的计算和存储服务，本身天然拥有弹性 伸缩能力。平台是数据汇聚中心、统一数据及数据服务唯一来源，是各公 司大数据应用的开发支撑平台，同时也是元数据管理、数据质量管理、数 据标准管理的载体。
依托大数据基础平台集成本项目处理海量数据所需要的各种基础技术 组件，完整的覆盖了从数据集成、数据治理、数据存储、数据查询、数据 统计分析、数据挖掘整个数据处理的生命周期，并覆盖了内存计算、异常 分析等本项目必需的分析技术。
具体而言，本发明提供一种全电网多源数据下基于云平台的风险稽查监 控平台，所述风险稽查监控平台包括基础设施层、基础软件层、服务支撑 层、应用层。
其中，所述基础设施层包括分布于电网目标范围内不同位置的M个智能 电表采集端以及N个本地边缘计算终端，其中M>N>1，M和N均为正整数；
所述基础设施层通过分布式文件***与所述基础软件层通信，所述基础 软件层包括数据库软件和Web中间层，通过所述数据库软件为所述风险稽 查监控平台提供大数据存储服务，通过所述Web中间层为所述风险稽查监 控平台提供大数据基础服务，所述大数据基础服务包括SQL查询、分布式 内存计算、流式计算、数值分析以及数据挖掘；
所述服务支撑层提供大数据服务套件，所述大数据服务套件包括数据集 成套件、数据治理套件、查询统计套件、数值分析套件以及数据挖掘套件；
所述风险稽查监控平台通过所述应用层实现可视化的智能稽查服务。
所述应用层还提供可视化配置服务组件，所述可视化配置服务组件设置 分组可视化参数；
基于所述分组可视化参数，对所述M个智能电表采集端进行分组后得到 K个分组，每个分组包括多个智能电表采集端；K≤N；
将所述每个分组包括的所述多个智能电表采集端采集的电网状态数据 发送至该分组对应的至少一个本地边缘计算终端。
所述每个本地边缘计算终端设置有数据缓存队列；
通过判断所述数据缓存队列是否发生阻塞以及阻塞的持续时间是否超 过预定时间值，来对分组进行调整或者数据传输的方式进行调整。
所述风险稽查监控平台还包括展示层，所述展示层向用户提供操作界 面，通过用户的交互实现用户所期望的功能。
在本发明中，为了确保营销***的安全稳定运行以及稽查异常分析工作 的高性能数据处理，本项目采用了大数据技术与J2EE技术相结合的方式来 实现。各个层次的结构和功能模块如下：
基础设施层：是项目的硬件基础设施层。对于智能稽查应用方面的需要， 考虑了应用服务器以发布Web应用；考虑了数据库服务器以实现应用与管 理数据的存储。而在大数据平台考虑采用服务器构建服务器集群，以支持 大数据分布式高性能海量数据处理及分析。
基础软件层：对于智能稽查应用方面与南方电网营销***的技术架构一 致，考虑了数据库软件和Web中间件，在选型上也与营销***一致；在智 能稽查支撑方面则采用了主流大数据平台组件，主要采用Hadoop云生态组 件。通过各组件提供的数据智能规则分析服务和其各组件所提供的服务， 以支持稽查档案数据处理、业务数据、表码数据处理和异常规则核查要求。
服务支撑层：采用基于SOA架构的服务设计理念设计多种业务服务；在 智能稽查支撑方面则对基础大数据开发技术进行封装，设计大数据服务套 件。
应用层：基于服务支撑层实现具体的业务功能。对于本项目的应用规划， 根据其功能特点分别采用J2EE技术、微服务及大数据技术进行开发。
此外，本发明采用面向服务的体系架构(SOA)进行应用的设计、开发、 ***集成，力求摆脱面向技术的解决方案的束缚，从而提高软件的可重用 性、加快应用软件的实施。
本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细 体现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图 仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创 造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种全电网多源数据下基于云平台的风险稽 查监控平台的主体架构图
图2是图1所述平台的模块连接示意图
图3是图1所述平台中基础设施层的实际连接示意图
图4是图1所述平台提供的不同功能模块示意图
具体实施方式
下面，结合附图以及具体实施方式，对发明做出进一步的描述。
参见图1，是本发明一个实施例的一种全电网多源数据下基于云平台的 风险稽查监控平台的主体架构图。
在图1中，所述风险稽查监控平台包括基础设施层、基础软件层、服务 支撑层、应用层、展示层以及可视化配置服务组件。
作为进一步说明，本发明所述的风险稽查监控平台采用省级集中部署的 方式，平台涉及稽查规则统计，将在大数据分析平台之上搭建，应用服务 器和数据库服务器使用云平台提供的虚拟资源，业务数据来源于云数据库 服务器集群。
为了确保营销***的安全稳定运行以及稽查异常分析工作的高性能数 据处理，本实施例采用了大数据技术与J2EE技术相结合的方式来实现。
平台在架构上分为：基础设施层、基础软件层、服务支撑层、应用层四 个层次。
更具体的，在图1基础上，可参见图2。
基础设施层：是项目的硬件基础设施层。对于智能稽查应用方面的需要， 考虑了应用服务器以发布Web应用；考虑了数据库服务器以实现应用与管 理数据的存储。而在大数据平台考虑采用服务器构建服务器集群，以支持 大数据分布式高性能海量数据处理及分析。
所述基础设施层通过分布式文件***与所述基础软件层通信，所述基础 软件层包括数据库软件和Web中间层，通过所述数据库软件为所述风险稽 查监控平台提供大数据存储服务，通过所述Web中间层为所述风险稽查监 控平台提供大数据基础服务，所述大数据基础服务包括SQL查询、分布式 内存计算、流式计算、数值分析以及数据挖掘；
基础软件层：对于智能稽查应用方面与南方电网营销***的技术架构一 致，考虑了数据库软件和Web中间件，在选型上也与营销***一致；在智 能稽查支撑方面则采用了主流大数据平台组件，主要采用Hadoop云生态组 件。通过各组件提供的数据智能规则分析服务和其各组件所提供的服务， 以支持稽查档案数据处理、业务数据、表码数据处理和异常规则核查要求。
服务支撑层：采用基于SOA架构的服务设计理念设计多种业务服务；在 智能稽查支撑方面则对基础大数据开发技术进行封装，设计大数据服务套 件。
所述服务支撑层提供大数据服务套件，所述大数据服务套件包括数据集 成套件、数据治理套件、查询统计套件、数值分析套件以及数据挖掘套件；
应用层：基于服务支撑层实现具体的业务功能。对于本项目的应用规划， 根据其功能特点分别采用J2EE技术、微服务及大数据技术进行开发。
所述风险稽查监控平台通过所述应用层实现可视化的智能稽查服务。
所述应用层还提供可视化配置服务组件，所述可视化配置服务组件设置 分组可视化参数。
展示层：向用户提供操作界面，通过用户的交互实现用户所期望的功能。
在图2中，所述分布式文件***采用YARN作为大数据集群资源管理器。
接下来参见图3，图3具体的示出了本发明所述的基础设施层的一个具 体布置方式。
通常情况下，所述基础设施层包括分布于电网目标范围内不同位置的M 个智能电表采集端以及N个本地边缘计算终端，其中M>N>1，M和N均为正 整数。
图3中，示出了4个智能电表采集端以及2个本地边缘计算终端。
在图3中，基于分组可视化参数，对所述4个智能电表采集端进行分组 后得到2个分组，每个分组包括2个智能电表采集端；
图3中四个智能电表采集端自上而下标记为1-4号采集端，1号3号分 为一组；2号4号分为一组；2个本地边缘计算终端分别标记为A和B，则 在图3的状态下，本地边缘计算终端A接收1号和3号智能电表采集端采 集的电网状态数据；本地边缘计算终端B接收2号和4号智能电表采集端 采集的电网状态数据。
进一步的，每个本地边缘计算终端设置有数据缓存队列。
在本发明的各个实施例中，通过边缘计算终端和云平台的联合，使得数 据尽可能在本地处理，如果发生阻塞，则优先调整分组；如果调整分组还 不能满足扩容要求，才上传至平台。这种设置，能够实时的对数据进行处 理，同时避免云传输成本的激增。
具体而言，若某个本地边缘计算终端在接收智能电表采集端发送的电 网状态数据时，所述数据缓存队列发生阻塞并且阻塞的持续时间超过预定 时间值，则将该本地边缘计算终端对应的分组中包含的多个智能电表采集 端中的部分智能电表采集端采集的电网状态数据发送至所述云平台。
若某个本地边缘计算终端在接收智能电表采集端发送的电网状态数据 时，所述数据缓存队列发生阻塞但阻塞的持续时间未超过预定时间值，则 减少该本地边缘计算终端对应的分组中包含的智能电表采集端的数量。
在图3中，如果边缘计算终端A的数据缓存队列发生阻塞并且阻塞的持 续时间超过预定时间值，则后续需要将1号和3号智能电表采集端采集的 电网状态数据部分发送至云平台；
如果边缘计算终端B的数据缓存队列发生阻塞但是阻塞的持续时间未超 过预定时间值，则可以考虑将2号或者4号智能电表采集端采集的电网状 态数据发送至其他边缘计算终端，例如发送至边缘计算终端A；或者其他 本地边缘计算终端，或者启动更多的边缘计算终端等。
具体实现时，若某个本地边缘计算终端在接收智能电表采集端发送的电 网状态数据时，所述数据缓存队列发生阻塞但阻塞的持续时间未超过预定 时间值，则发送反馈信号给所述可视化配置服务组件，使得所述可视化配 置服务组件调节所述分组可视化参数。
在上述实施例中，所述***还提供数据持久化支持服务；
用户通过所述可视化配置服务组件设置分组可视化参数后，所述服务支 撑层接收用户提交的处理请求，触发业务逻辑，调用所述数据持久化支持 服务完成数据存储。
更具体的，可参见图4。
通过所述基础设施层获取分组数据，
通过所述基础软件层中的所述Web中间层调用JPA工具类进行数据分页 查询；
服务支撑层通过数据访问插件拦截查询数据并将所述数据存储到大数 据集群服务器中。
所述风险稽查监控平台提供Apache CXF WebService运行环境，将业务 服务发布成Web Service发布到所述电网目标范围内不同位置的远程控制 端。
结合图4，本实施例依托大数据基础平台集成本项目处理海量数据所需 要的各种基础技术组件，完整的覆盖了从数据集成、数据治理、数据存储、 数据查询、数据统计分析、数据挖掘整个数据处理的生命周期，并覆盖了 内存计算、异常分析等本项目必需的分析技术：
其中：
分布式文件***：为了满足海量数据的存储以及数据安全需求，采用分 布式文件***。HDFS是一个高度容错性的***，能够确保数据的安全性和 完整性，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非 常适合大规模数据集上的应用。
集群资源管理：采用了YARN作为大数据集群资源管理器，它是一个通 用资源管理***，将集群内分布的相关设备的内存、存储、CPU等资源进 行统一的资源管理和调度，它为集群在利用率、资源统一管理和数据共享 等方面带来了巨大好处。
大数据集成：提供多种数据集成组件，可以实现数据从关系型数据库(如 营销***ORACLE|、MYSQL数据库)、文本文件(例如计量表码txt文件、CSV 文件等)、即时消息等不同数据源到大数据平台的集成。大数据平台组件， 主要采用Hadoop云生态组件。通过各组件提供的数据整全及分析服务和其 各组件所提供的服务，以支持智能稽查对档案数据处理、业务数据分析、 表码数据处理和规则核查要求。
1.采用Spark On YARN方案，实现全省用户基础档案数据及业务数据在 集群的内存中进行按稽查规则智能核查。
2.大数据存储：提供了基于HDFS分布式文件***的数据仓库存储、列 式存储以及基于内存的存储等。通过多种存储方式满足项目海量数据的存 储需求。
大数据基础服务：包括了对数据进行查询统计、数据分析挖掘以及治理 的多种组件。
更具体的，借助JPA(JAVA持久性API)技术实现Java对象与关系数据 库的映射(ORM)，屏蔽数据库的差异；基于实体类型的传输参数更利于业 务层服务接口的确定；对于JPA不擅长的操作，如关联查询、高性能的数 据库操作、通用实体模型定义等，平台保留一套自定义数据访问层。通过 持久化数据服务层，做到对数据库访问的屏蔽，在数据服务层之上，SQL 语句、JDBC等相关操作将不复存在。
JPA是开发平台默认的持久化机制，具体采用Spring+JPA+Hibernate 的实现方式。利用Annotation(注解)声明JPA的Entity实体和命名查 询。平台提供Eclipse插件，实现数据库表到实体的ORM，并组织到特定 的Package中进行统一管理。
自定义持久层是开发平台提供的数据访问插件，可以根据需要选择安 装。利用本插件，可以弥补JPA在大数据关联查询、批量数据处理中的性 能缺陷，同时又能兼容原有平台的处理方式，自定义持久层也是动态实体 模型的基础。
服务层接收到用户提交的处理请求，触发业务逻辑，调用持久层服务完 成数据存储，这个过程离不开事务控制。通常情况下，服务层是事务处理 的边界。
平台提供两种事务控制方式：使用容器的JTA全局事务和平台提供的声 明式事务控制。
平台提供Apache CXF WebService运行环境。将业务服务发布成Web Service，可以有以下途径：
1.利用JAX-WS(Java API For XML Web Service)规范，在服务接口 中增加相关Annotation，使之变为SEI，然后利用平台将业务服务发布为 Web Service。
2.利用服务注册机制，在注册管理模块中，将通用业务服务配置成Web Service，实现可配置发布。
平台支持各种主流的浏览器，包括IE(6.0以上)，FireFox和Google 的Chrome。平台通过如下手段支持浏览器兼容：
1.平台提供的基础组件、展现组件已经实现了对浏览器的兼容。
2.在进行功能和页面设计时，应尽量使用平台提供的展现组件(如标 签等)
3.平台提供的跨浏览器的Jquery库和公共js函数；
4.对于浏览器之间存在严重差异的功能，如通用模态窗口，由平台提 供替代实现，屏蔽浏览器之间的差异。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而 言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进 行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同 物限定。
Claims (10)
1.一种全电网多源数据下基于云平台的风险稽查监控平台，所述风险稽查监控平台包括基础设施层、基础软件层、服务支撑层、应用层；
其特征在于：
所述基础设施层包括分布于电网目标范围内不同位置的M个智能电表采集端以及N个本地边缘计算终端，其中M>N>1，M和N均为正整数；
所述基础设施层通过分布式文件***与所述基础软件层通信，所述基础软件层包括数据库软件和Web中间层，通过所述数据库软件为所述风险稽查监控平台提供大数据存储服务，通过所述Web中间层为所述风险稽查监控平台提供大数据基础服务，所述大数据基础服务包括SQL查询、分布式内存计算、流式计算、数值分析以及数据挖掘；
所述服务支撑层提供大数据服务套件，所述大数据服务套件包括数据集成套件、数据治理套件、查询统计套件、数值分析套件以及数据挖掘套件；
所述风险稽查监控平台通过所述应用层实现可视化的智能稽查服务。
2.如权利要求1所述的一种全电网多源数据下基于云平台的风险稽查监控平台，其特征在于：
所述应用层还提供可视化配置服务组件，所述可视化配置服务组件设置分组可视化参数；
基于所述分组可视化参数，对所述M个智能电表采集端进行分组后得到K个分组，每个分组包括多个智能电表采集端；K≤N；
将所述每个分组包括的所述多个智能电表采集端采集的电网状态数据发送至该分组对应的至少一个本地边缘计算终端。
3.如权利要求2所述的一种全电网多源数据下基于云平台的风险稽查监控平台，其特征在于：
所述每个本地边缘计算终端设置有数据缓存队列；
若某个本地边缘计算终端在接收智能电表采集端发送的电网状态数据时，所述数据缓存队列发生阻塞并且阻塞的持续时间超过预定时间值，则将该本地边缘计算终端对应的分组中包含的多个智能电表采集端中的部分智能电表采集端采集的电网状态数据发送至所述云平台。
4.如权利要求2所述的一种全电网多源数据下基于云平台的风险稽查监控平台，其特征在于：
所述每个本地边缘计算终端设置有数据缓存队列；
若某个本地边缘计算终端在接收智能电表采集端发送的电网状态数据时，所述数据缓存队列发生阻塞但阻塞的持续时间未超过预定时间值，则减少该本地边缘计算终端对应的分组中包含的智能电表采集端的数量。
5.如权利要求2所述的一种全电网多源数据下基于云平台的风险稽查监控平台，其特征在于：
所述每个本地边缘计算终端设置有数据缓存队列；
若某个本地边缘计算终端在接收智能电表采集端发送的电网状态数据时，所述数据缓存队列发生阻塞但阻塞的持续时间未超过预定时间值，则发送反馈信号给所述可视化配置服务组件，使得所述可视化配置服务组件调节所述分组可视化参数。
6.如权利要求1-5任一项所述的一种全电网多源数据下基于云平台的风险稽查监控平台，其特征在于：
所述风险稽查监控平台还包括展示层，所述展示层向用户提供操作界面，通过用户的交互实现用户所期望的功能。
7.如权利要求1-5任一项所述的一种全电网多源数据下基于云平台的风险稽查监控平台，其特征在于：
所述***还提供数据持久化支持服务；
用户通过所述可视化配置服务组件设置分组可视化参数后，所述服务支撑层接收用户提交的处理请求，触发业务逻辑，调用所述数据持久化支持服务完成数据存储。
8.如权利要求7所述的一种全电网多源数据下基于云平台的风险稽查监控平台，其特征在于：
所述调用所述数据持久化支持服务完成数据存储，具体包括：
通过所述基础设施层获取分组数据，
通过所述基础软件层中的所述Web中间层调用JPA工具类进行数据分页查询；
服务支撑层通过数据访问插件拦截查询数据并将所述数据存储到大数据集群服务器中。
9.如权利要求1-5任一所述的一种全电网多源数据下基于云平台的风险稽查监控平台，其特征在于：
所述分布式文件***采用YARN作为大数据集群资源管理器。
10.如权利要求1-5任一所述的一种全电网多源数据下基于云平台的风险稽查监控平台，其特征在于：
所述风险稽查监控平台提供Apache CXF WebService运行环境，将业务服务发布成WebService发布到所述电网目标范围内不同位置的远程控制端。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110969168.3A CN113656379A (zh) | 2020-11-18 | 2020-11-18 | 全电网基于云平台的风险稽查监控平台 |
| CN202011291361.8A CN112434924B (zh) | 2020-11-18 | 2020-11-18 | 全电网多源数据下基于云平台的风险稽查监控平台 |
| CN202110970696.0A CN113688118A (zh) | 2020-11-18 | 2020-11-18 | 电网多源数据基于云平台的风险稽查平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011291361.8A CN112434924B (zh) | 2020-11-18 | 2020-11-18 | 全电网多源数据下基于云平台的风险稽查监控平台 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110970696.0A Division CN113688118A (zh) | 2020-11-18 | 2020-11-18 | 电网多源数据基于云平台的风险稽查平台 |
| CN202110969168.3A Division CN113656379A (zh) | 2020-11-18 | 2020-11-18 | 全电网基于云平台的风险稽查监控平台 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112434924A true CN112434924A (zh) | 2021-03-02 |
| CN112434924B CN112434924B (zh) | 2021-09-14 |
Family
ID=74692827
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011291361.8A Active CN112434924B (zh) | 2020-11-18 | 2020-11-18 | 全电网多源数据下基于云平台的风险稽查监控平台 |
| CN202110970696.0A Withdrawn CN113688118A (zh) | 2020-11-18 | 2020-11-18 | 电网多源数据基于云平台的风险稽查平台 |
| CN202110969168.3A Withdrawn CN113656379A (zh) | 2020-11-18 | 2020-11-18 | 全电网基于云平台的风险稽查监控平台 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110970696.0A Withdrawn CN113688118A (zh) | 2020-11-18 | 2020-11-18 | 电网多源数据基于云平台的风险稽查平台 |
| CN202110969168.3A Withdrawn CN113656379A (zh) | 2020-11-18 | 2020-11-18 | 全电网基于云平台的风险稽查监控平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (3) | CN112434924B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113283772A (zh) * | 2021-06-04 | 2021-08-20 | 云南电网有限责任公司信息中心 | 一种电力营销稽查业务规则分析应用方法 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114696468B (zh) * | 2022-05-31 | 2022-09-09 | 南方电网数字电网研究院有限公司 | 数字配电网边缘计算控制装置及方法 |
| CN115576927A (zh) * | 2022-11-11 | 2023-01-06 | 加华地学(武汉)数字技术有限公司 | 一种多专业通用型数字化***及其设计方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709623A (zh) * | 2016-11-14 | 2017-05-24 | 深圳供电局有限公司 | 一种基于风险计算模型的电网营销稽查风险管控方法 |
| CN108093401A (zh) * | 2017-12-13 | 2018-05-29 | 电子科技大学 | 一种基于边缘计算的移动智能终端隐私保护***及方法 |
| CN109743401A (zh) * | 2019-01-30 | 2019-05-10 | 南京我在智能科技有限公司 | 一种基于物联网边缘计算服务器的智能设备管理*** |
| CN109754179A (zh) * | 2018-12-29 | 2019-05-14 | 国网北京市电力公司 | 一种集中分布式低压监控部署***及方法 |
| CN109783229A (zh) * | 2018-12-17 | 2019-05-21 | 平安普惠企业管理有限公司 | 线程资源分配的方法及装置 |
| CN110109745A (zh) * | 2019-05-15 | 2019-08-09 | 华南理工大学 | 一种针对边缘计算环境的任务协同在线调度方法 |
| CN110336703A (zh) * | 2019-07-12 | 2019-10-15 | 河海大学常州校区 | 基于边缘计算的工业大数据监测*** |
| CN110794785A (zh) * | 2019-11-14 | 2020-02-14 | 北京国电通网络技术有限公司 | 基于物联网的施工现场边缘计算物联分析告警***及其方法 |
| CN111260924A (zh) * | 2020-02-10 | 2020-06-09 | 北京中交国通智能交通***技术有限公司 | 适应边缘计算的交通智能管控与服务发布策略方法 |
| CN111427930A (zh) * | 2020-03-30 | 2020-07-17 | 广东电科院能源技术有限责任公司 | 一种低压光伏储能微网设备监测管理***、方法及设备 |
-
2020
- 2020-11-18 CN CN202011291361.8A patent/CN112434924B/zh active Active
- 2020-11-18 CN CN202110970696.0A patent/CN113688118A/zh not_active Withdrawn
- 2020-11-18 CN CN202110969168.3A patent/CN113656379A/zh not_active Withdrawn
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709623A (zh) * | 2016-11-14 | 2017-05-24 | 深圳供电局有限公司 | 一种基于风险计算模型的电网营销稽查风险管控方法 |
| CN108093401A (zh) * | 2017-12-13 | 2018-05-29 | 电子科技大学 | 一种基于边缘计算的移动智能终端隐私保护***及方法 |
| CN109783229A (zh) * | 2018-12-17 | 2019-05-21 | 平安普惠企业管理有限公司 | 线程资源分配的方法及装置 |
| CN109754179A (zh) * | 2018-12-29 | 2019-05-14 | 国网北京市电力公司 | 一种集中分布式低压监控部署***及方法 |
| CN109743401A (zh) * | 2019-01-30 | 2019-05-10 | 南京我在智能科技有限公司 | 一种基于物联网边缘计算服务器的智能设备管理*** |
| CN110109745A (zh) * | 2019-05-15 | 2019-08-09 | 华南理工大学 | 一种针对边缘计算环境的任务协同在线调度方法 |
| CN110336703A (zh) * | 2019-07-12 | 2019-10-15 | 河海大学常州校区 | 基于边缘计算的工业大数据监测*** |
| CN110794785A (zh) * | 2019-11-14 | 2020-02-14 | 北京国电通网络技术有限公司 | 基于物联网的施工现场边缘计算物联分析告警***及其方法 |
| CN111260924A (zh) * | 2020-02-10 | 2020-06-09 | 北京中交国通智能交通***技术有限公司 | 适应边缘计算的交通智能管控与服务发布策略方法 |
| CN111427930A (zh) * | 2020-03-30 | 2020-07-17 | 广东电科院能源技术有限责任公司 | 一种低压光伏储能微网设备监测管理***、方法及设备 |
Non-Patent Citations (4)
| Title |
|---|
| 华为技术有限公司: "华为自由流收费大数据稽核解决方案及应用", 《中国交通信息化》 * |
| 孙德辉等: "《网络化控制***》", 31 May 2008, 国防工业出版社 * |
| 王尚广: "《移动边缘计算》", 31 October 2017, 北京邮电大学出版社 * |
| 王鹏飞等: "6G异构边缘计算", 《物联网学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113283772A (zh) * | 2021-06-04 | 2021-08-20 | 云南电网有限责任公司信息中心 | 一种电力营销稽查业务规则分析应用方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112434924B (zh) | 2021-09-14 |
| CN113688118A (zh) | 2021-11-23 |
| CN113656379A (zh) | 2021-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112434924B (zh) | 全电网多源数据下基于云平台的风险稽查监控平台 | |
| CN106651633B (zh) | 一种基于大数据技术的用电信息采集***及其采集方法 | |
| Zheng et al. | Real-time big data processing framework: challenges and solutions | |
| CN104769582B (zh) | 针对电网的实时数据管理 | |
| CN109582717B (zh) | 一种面向电力大数据的数据库统一平台及其读取方法 | |
| CN107103064B (zh) | 数据统计方法及装置 | |
| CN101630271A (zh) | 一种网格环境下的地震模拟计算支撑中间件*** | |
| CN115335821B (zh) | 卸载统计收集 | |
| CN113179173A (zh) | 一种用于高速公路***的运维监控*** | |
| CN103489139A (zh) | 城市配电网规划综合分析与管理*** | |
| Ma et al. | Review of power spatio-temporal big data technologies for mobile computing in smart grid | |
| Hsu | Big data analysis and optimization and platform components | |
| CN103595792A (zh) | 一种环境污染趋势监控*** | |
| CN111414355A (zh) | 一种海上风电场数据监测存储***及方法、装置 | |
| CN105653523A (zh) | 能耗监管物联网络基础平台的***构建方法 | |
| CN105512154A (zh) | 一种基于嵌入式数据库的环保数据采集方法及*** | |
| Jin et al. | Research on Wide-area Distributed Power Quality Data Fusion Technology of Power Grid | |
| CN110928938B (zh) | 一种接口中间件*** | |
| Shouaib et al. | Survey on iot-based big data analytics | |
| Kakanakov | Big data analytics in electricity distribution systems | |
| Wang et al. | Power grid data monitoring and analysis system based on edge computing | |
| Sun et al. | Mechanism design for unified management of power grid planning data | |
| DUAN et al. | Design and Application of the Intelligent Operation, Control and Maintenance of Distribution Networks Based on Wide-Area Distributed Sinking Computing Technology | |
| Zhao et al. | Application research on application performance management system in big data of power grid | |
| Fu et al. | The Whole Process Monitoring System of Meteorological Big Data Cloud Platform Based on “Tianjing” |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Gong Shu Inventor after: Xu Zhongwen Inventor after: Qi Penghui Inventor after: Zhang Xiongbao Inventor after: Cao Wei Inventor after: Liu Feng Inventor before: Liu Feng |
|
| CB03 | Change of inventor or designer information | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210831 Address after: No. 6 Democracy Road, Xingning District, Nanning City, Guangxi Zhuang Autonomous Region, 530000 Applicant after: GUANGXI POWER GRID Co.,Ltd. Address before: Yunnan University, No.1, Yuhua District, Chenggong District, Kunming City, Yunnan Province, 650500 Applicant before: Liu Feng |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |