CN113138981A - 一种基于边缘计算技术的配电数据融合处理方法 - Google Patents
一种基于边缘计算技术的配电数据融合处理方法 Download PDFInfo
- Publication number
- CN113138981A CN113138981A CN202110529941.4A CN202110529941A CN113138981A CN 113138981 A CN113138981 A CN 113138981A CN 202110529941 A CN202110529941 A CN 202110529941A CN 113138981 A CN113138981 A CN 113138981A
- Authority
- CN
- China
- Prior art keywords
- data
- power distribution
- distribution network
- fusion
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明涉及一种基于边缘计算技术的配电数据融合处理方法,深入分析配电网智能化建设过程中海量异构数据造成的存储混乱与融合计算性能不足的问题,针对配电网数据流,依次执行所设计基于广义幂变换的多源数据标准化处理、以及多源数据的分组聚合处理方法,其中广义幂变换多源数据变换处理方法,有效实现了多种配电网数据采集***下量纲与量级的统一;并且基于冲突优化DS推理的数据融合模型,根据智能配电网高级应用场景需求,预先实现了高精度的特征级配用电数据融合,进一步为配电网边缘智能化计算和高级应用奠定了基础,满足了智能配电网在运行状态评估、故障信息诊断挖掘、突发事件数据可信度识别等高级应用中高可靠性的需求。
Description
技术领域
本发明涉及一种基于边缘计算技术的配电数据融合处理方法,属于配电数据采集存储技术领域。
背景技术
伴随着我国配电网智能化发展,除传统配电网本身运行和管理数据之外,智能化感知终端设备产生的数据大量增加,且呈现种类繁多、多源、不确定等特性。传统应用配电网中心实现云-边缘的计算模式,由于海量数据的急剧增加和数据复杂度的影响,产生的上行终端监测数据和配电网运行数据、以及下行云计算处理信息为通信传输层带来了巨大压力,同时严重约束了智能配电网的推进。深入挖掘边缘计算在配电网智能化中的应用潜力成为了主要研究热点,越来越多的配电网数据信息终端化处理、边缘化计算及局部化解决的方式成为一种重要方式。但是复杂的多源异构数据的边缘化集成为智能配电网的高效边缘计算带来新的挑战,因此,亟待实现智能配电网多源数据边缘化模式下的处理和融合,是提升和保证基于边缘计算的配电网智能化发展的重要基础。
综上所述,智能配电网的发展已然成为一种必然趋势,边缘计算技术的应用提供了分布式服务和计算的功能,但海量多源异构配用电数据的有效清洗与联接研究的不足,使得边缘计算性能的巨大潜力无法发挥。
发明内容
本发明所要解决的技术问题是提供一种基于边缘计算技术的配电数据融合处理方法,通过实现配电运行数据、终端监测数据、环境信息数据等基础数据源的融合,提升智能配用电大数据多源并行挖掘和融合计算分析,并应用全新控制策略,能够有效提高网络流量异常侦测的工作效率。
本发明为了解决上述技术问题采用以下技术方案:本发明设计了一种基于边缘计算技术的配电数据融合处理方法,用于针对采集所获各个配电网数据流实现分组聚合处理,包括如下步骤:
步骤A.分别针对采集所获各个配电网数据流,按时序中预设单位时间点进行分解,获得配电网数据流所对应的配电网数据,进而获得各配电网数据流分别所对应的配电网数据,然后进入步骤B;
步骤B.分别针对各个配电网数据,根据配电网数据的数据格式,按预设各数据格式分别所对应的标准化变换方案,针对该配电网数据进行标准化处理,获得该配电网数据所对应的配电网标准化数据,进而获得各配电网数据分别所对应的配电网标准化数据,然后进入步骤C;
步骤C.针对各配电网标准化数据,通过对配电网标准化数据抽象为特征属性子集,实现各配电网标准化数据的特征级融合,进而实现各配电网标准化数据的分组聚合。
作为本发明的一种优选技术方案,所述步骤B中,预设各数据格式分别所对应的标准化变换方案包括如下:
①若配电网数据X的数据格式是以向量形式存在,返回变换后结果向量BC_Z=(X-mean(X))/std(X),实现对配电网数据进行标准化处理;
②若配电网数据X的数据格式是以矩阵形式存在,逐一利用X的列向量的均值和标准差对相应的列进行数据标准化处理,返回变换后结果矩阵BC_Z,实现对配电网数据进行标准化处理;
③若配电网数据X的数据格式是以多维数组形式存在,通过沿X的多个维度求解均值和标准差,再对X进行数据标准化处理,返回变换后高维数组BC_Z,实现对配电网数据进行标准化处理。
作为本发明的一种优选技术方案,所述步骤C包括如下步骤:
步骤C1.多源特征属性子集基本概率初始化,标记U为智能配电网多源数据融合模型框架,则函数m:2u→[0,1]满足两项条件:
式中:m(A)=0为多源数据融合集合A的初始值,而m(A)的大小代表对其的信任程度;
步骤C2.定义信任函数计算不同数据融合集合的信任函数值。
Bel:2u→[0,1]
式中:Bel(A)表示多源数据融合集合A中所有子集分配概率值之和,每项分配概率值表示了该项子集中特征属性组成的信任程度值,表示其中包括的配电网多源特征属性可实现最基本的数据融合;
μ(A)=pl(A)-Bel(A)
式中(pl(A)-Bel(A))即为信任空间,表示多源数据融合过程中根据配电网计算实际应用允许变动的不确定性特征属性;
本发明所述一种基于边缘计算技术的配电数据融合处理方法,采用以上技术方案与现有技术相比,具有以下技术效果:
本发明所设计一种基于边缘计算技术的配电数据融合处理方法,深入分析配电网智能化建设过程中海量异构数据造成的存储混乱与融合计算性能不足的问题,针对配电网数据流,依次执行所设计基于广义幂变换的多源数据标准化处理、以及多源数据的分组聚合处理方法,其中广义幂变换多源数据变换处理方法,有效实现了多种配电网数据采集***下量纲与量级的统一;并且基于冲突优化DS推理的数据融合模型,根据智能配电网高级应用场景需求,预先实现了高精度的特征级配用电数据融合,进一步为配电网边缘智能化计算和高级应用奠定了基础,满足了智能配电网在运行状态评估、故障信息诊断挖掘、突发事件数据可信度识别等高级应用中高可靠性的需求。
附图说明
图1是本发明所设计基于边缘计算技术的配电数据融合处理方法的流程示意图;
图2是本发明所设计中多源数据的分组聚合处理方法的流程示意图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明设计了一种基于边缘计算技术的配电数据融合处理方法,用于针对采集所获各个配电网数据流实现分组聚合处理,实际应用当中,如图1所示,具体执行如下步骤A至步骤C。
步骤A.分别针对采集所获各个配电网数据流,按时序中预设单位时间点进行分解,获得配电网数据流所对应的配电网数据,进而获得各配电网数据流分别所对应的配电网数据,然后进入步骤B。
步骤B.分别针对各个配电网数据,根据配电网数据的数据格式,按预设各数据格式分别所对应的标准化变换方案,针对该配电网数据进行标准化处理,获得该配电网数据所对应的配电网标准化数据,进而获得各配电网数据分别所对应的配电网标准化数据,然后进入步骤C。
这里关于多种数据格式的配电网数据X,诸如X=(X1,X2,…,Xp)以矩阵形式出现时:
步骤B中,预设各数据格式分别所对应的标准化变换方案包括如下:
①若配电网数据X的数据格式是以向量形式存在,返回变换后结果向量BC_Z=(X-mean(X))/std(X),实现对配电网数据进行标准化处理;
②若配电网数据X的数据格式是以矩阵形式存在,逐一利用X的列向量的均值和标准差对相应的列进行数据标准化处理,返回变换后结果矩阵BC_Z,实现对配电网数据进行标准化处理;
③若配电网数据X的数据格式是以多维数组形式存在,通过沿X的多个维度求解均值和标准差,再对X进行数据标准化处理,返回变换后高维数组BC_Z,实现对配电网数据进行标准化处理。
基于广义幂变换的多源数据标准化处理方法,针对配电网运行过程中各数据源特征属性的格式、量纲、数据类型以及数量级等不同,为实现智能配电网边缘化的数据融合计算和信息挖掘,消除多种不一致因素产生的限制,实现对多源数据的标准化处理。本发明根据配电大数据时序性的特征,通过在原有多源异构数据标准化处理基础上进行转换。
基于上述实施例配电网数据X=(X1,X2,…,Xp),则经过标准化处理后,配电网数据X如下:
步骤C.针对各配电网标准化数据,通过对配电网标准化数据抽象为特征属性子集,实现各配电网标准化数据的特征级融合,进而实现各配电网标准化数据的分组聚合。
实际应用当中,如图2所示,上述步骤C具体执行如下步骤C1至步骤C5。
步骤C1.多源特征属性子集基本概率初始化,标记U为智能配电网多源数据融合模型框架,则函数m:2u→[0,1]满足两项条件:
式中:m(A)=0为多源数据融合集合A的初始值,而m(A)的大小代表对其的信任程度。
步骤C2.定义信任函数计算不同数据融合集合的信任函数值。
Bel:2u→[0,1]
式中:Bel(A)表示多源数据融合集合A中所有子集分配概率值之和,每项分配概率值表示了该项子集中特征属性组成的信任程度值,表示其中包括的配电网多源特征属性可实现最基本的数据融合。
μ(A)=pl(A)-Bel(A)
式中(pl(A)-Bel(A))即为信任空间,表示多源数据融合过程中根据配电网计算实际应用允许变动的不确定性特征属性。
基于上述实现各个配电网数据流实现分组聚合处理,还可以进一步设计配电数据融合处理业务功能APP,按照配电物联网智能终端应该具备硬件平台化、软件APP化的发展要求,本发明提出的基于边缘计算技术的配电数据融合处理方法,可以作为配电数据融合处理业务功能,按照APP模式实现。本APP采用Linux Container轻量级虚拟技术,屏蔽硬件差异,提供符合POSIX标准的C库,方便应用的开发移植。内部采用嵌入式实时数据库,方便不同业务之间的数据共享,解耦应用间关联,可以使***不同部分并行开发,单个功能模块故障不影响其他模块运行,便于维护升级。配电数据融合处理业务功能APP运行于容器内部,通过配电自动化主站进行部署下发与运行监控。
配电数据融合处理APP定义为智能配变终端与数据监测设备直接交互,进行电网设备运行数据采集和处理的APP,是配电变压器智能终端边缘计算数据源头与标准数据规约清洗的功能载体。配电数据融合处理APP还可通过对各种数据采集规约的实现、数据采集点表个性化配置与标准测点模型接口对接,实现电网设备运行数据以标准化方式实现末端数据融合,为应用分析类APP进行计算分析提供数据基础。
本发明所设计基于边缘计算技术的配电数据融合处理方法,通过构建基于冲突优化DS推理的多源数据融合模型,基于多维特征因素考量对多源异构数据进行分组聚合处理。有益的技术效果:本发明将有效实现了从数据源头、特征属性等不同角度出发,对多源异构数据进行分组聚合。根据融合过程中信任区间的收缩变化,提高了多源数据分布特征的拟合精度。同时,大幅提高了DS推理在多源数据融合中的稳定性和准确性,而且有效融合方法下的多源信息合成进行配电网场景应用分析计算结果值明显优于仅考虑单一或少量因素的传统方法。
上述技术方案所设计一种基于边缘计算技术的配电数据融合处理方法,深入分析配电网智能化建设过程中海量异构数据造成的存储混乱与融合计算性能不足的问题,针对配电网数据流,依次执行所设计基于广义幂变换的多源数据标准化处理、以及多源数据的分组聚合处理方法,其中广义幂变换多源数据变换处理方法,有效实现了多种配电网数据采集***下量纲与量级的统一;并且基于冲突优化DS推理的数据融合模型,根据智能配电网高级应用场景需求,预先实现了高精度的特征级配用电数据融合,进一步为配电网边缘智能化计算和高级应用奠定了基础,满足了智能配电网在运行状态评估、故障信息诊断挖掘、突发事件数据可信度识别等高级应用中高可靠性的需求。
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (3)
1.一种基于边缘计算技术的配电数据融合处理方法,用于针对采集所获各个配电网数据流实现分组聚合处理,其特征在于,包括如下步骤:
步骤A.分别针对采集所获各个配电网数据流,按时序中预设单位时间点进行分解,获得配电网数据流所对应的配电网数据,进而获得各配电网数据流分别所对应的配电网数据,然后进入步骤B;
步骤B.分别针对各个配电网数据,根据配电网数据的数据格式,按预设各数据格式分别所对应的标准化变换方案,针对该配电网数据进行标准化处理,获得该配电网数据所对应的配电网标准化数据,进而获得各配电网数据分别所对应的配电网标准化数据,然后进入步骤C;
步骤C.针对各配电网标准化数据,通过对配电网标准化数据抽象为特征属性子集,实现各配电网标准化数据的特征级融合,进而实现各配电网标准化数据的分组聚合。
2.根据权利要求1所述一种基于边缘计算技术的配电数据融合处理方法,其特征在于,所述步骤B中,预设各数据格式分别所对应的标准化变换方案包括如下:
①若配电网数据X的数据格式是以向量形式存在,返回变换后结果向量BC_Z=(X-mean(X))/std(X),实现对配电网数据进行标准化处理;
②若配电网数据X的数据格式是以矩阵形式存在,逐一利用X的列向量的均值和标准差对相应的列进行数据标准化处理,返回变换后结果矩阵BC_Z,实现对配电网数据进行标准化处理;
③若配电网数据X的数据格式是以多维数组形式存在,通过沿X的多个维度求解均值和标准差,再对X进行数据标准化处理,返回变换后高维数组BC_Z,实现对配电网数据进行标准化处理。
3.根据权利要求1所述一种基于边缘计算技术的配电数据融合处理方法,其特征在于,所述步骤C包括如下步骤:
步骤C1.多源特征属性子集基本概率初始化,标记U为智能配电网多源数据融合模型框架,则函数m:2u→[0,1]满足两项条件:
式中:m(A)=0为多源数据融合集合A的初始值,而m(A)的大小代表对其的信任程度;
步骤C2.定义信任函数计算不同数据融合集合的信任函数值。
Bel:2u→[0,1]
式中:Bel(A)表示多源数据融合集合A中所有子集分配概率值之和,每项分配概率值表示了该项子集中特征属性组成的信任程度值,表示其中包括的配电网多源特征属性可实现最基本的数据融合;
μ(A)=pl(A)-Bel(A)
式中(pl(A)-Bel(A))即为信任空间,表示多源数据融合过程中根据配电网计算实际应用允许变动的不确定性特征属性;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110529941.4A CN113138981A (zh) | 2021-05-14 | 2021-05-14 | 一种基于边缘计算技术的配电数据融合处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110529941.4A CN113138981A (zh) | 2021-05-14 | 2021-05-14 | 一种基于边缘计算技术的配电数据融合处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113138981A true CN113138981A (zh) | 2021-07-20 |
Family
ID=76817758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110529941.4A Withdrawn CN113138981A (zh) | 2021-05-14 | 2021-05-14 | 一种基于边缘计算技术的配电数据融合处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113138981A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115618265A (zh) * | 2022-11-04 | 2023-01-17 | 广州魔番网络科技有限公司 | 基于大数据和边缘计算的数据整合方法及*** |
CN117349269A (zh) * | 2023-08-24 | 2024-01-05 | 长江水上交通监测与应急处置中心 | 一种全流域数据资源治理及交换共享方法及*** |
-
2021
- 2021-05-14 CN CN202110529941.4A patent/CN113138981A/zh not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115618265A (zh) * | 2022-11-04 | 2023-01-17 | 广州魔番网络科技有限公司 | 基于大数据和边缘计算的数据整合方法及*** |
CN117349269A (zh) * | 2023-08-24 | 2024-01-05 | 长江水上交通监测与应急处置中心 | 一种全流域数据资源治理及交换共享方法及*** |
CN117349269B (zh) * | 2023-08-24 | 2024-05-28 | 长江水上交通监测与应急处置中心 | 一种全流域数据资源治理及交换共享方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105353644B (zh) | 基于实装数据信息挖掘的雷达目标航迹衍生***及方法 | |
CN113138981A (zh) | 一种基于边缘计算技术的配电数据融合处理方法 | |
CN114169579B (zh) | 核电工业互联网综合智能平台*** | |
CN114416855A (zh) | 一种基于电力大数据的可视化平台及方法 | |
KR101965277B1 (ko) | 하이퍼그래프 데이터 분석 시스템 및 방법과, 이를 위한 컴퓨터 프로그램 | |
CN112559634A (zh) | 一种基于计算机云计算大数据用数据管理*** | |
CN114153920A (zh) | 大数据边平台与方法 | |
CN111404932A (zh) | 一种医疗机构***接入智慧医疗云服务平台的方法 | |
CN111159152B (zh) | 基于大数据处理技术的二次运维数据融合方法 | |
CN112883125A (zh) | 一种实体数据处理方法、装置、设备和存储介质 | |
CN115858829A (zh) | 一种基于算力网络的多源异构环境数据资产构建方法 | |
CN112328667B (zh) | 一种基于数据血缘的页岩气田地面工程数字化移交方法 | |
CN116560887B (zh) | 一种基于知识协同的低轨卫星故障分析方法 | |
CN109522292B (zh) | 基于电网标准统一信息模型的数据处理装置和方法 | |
CN114238045A (zh) | 一种电网多源量测数据完整性判断及自动修复***和方法 | |
Huang et al. | Edge computing enhanced digital twins for smart manufacturing | |
EP3465562A1 (en) | Data driven invocation of real time wind market forecasting analytics | |
Tang et al. | Research and application of improving the field service ability of electric power marketing measuring mobile operating based on cloud computing technology | |
CN112784434A (zh) | 一种基于模型的航电设计方法 | |
CN112883063A (zh) | 一种基于分区的分布式rdf***上的sparql查询处理方法 | |
CN112699117A (zh) | 基于物联网的数据传输***、数据传输方法、设备及介质 | |
CN112817938A (zh) | 一种基于数据产品化的通用数据服务构建方法及*** | |
CN117609341B (zh) | 一种电网的数字孪生*** | |
CN107832348B (zh) | 一种基于智能采集终端到云的网络数据流的处理方法 | |
Li et al. | A General Framework for Real-Time Processing and Analysis of Flight Test Telemetry Data Based on Flink |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210720 |