CN117349273A - 一种电力数据融合方法及设备 - Google Patents
一种电力数据融合方法及设备 Download PDFInfo
- Publication number
- CN117349273A CN117349273A CN202311379086.9A CN202311379086A CN117349273A CN 117349273 A CN117349273 A CN 117349273A CN 202311379086 A CN202311379086 A CN 202311379086A CN 117349273 A CN117349273 A CN 117349273A
- Authority
- CN
- China
- Prior art keywords
- data
- similarity
- fusion
- series data
- time series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 51
- 239000011159 matrix material Substances 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims abstract description 4
- 241000254158 Lampyridae Species 0.000 claims description 17
- 238000010521 absorption reaction Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000009827 uniform distribution Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Quality & Reliability (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种电力数据融合方法,包括:分别从多个数据源获取时间序列数据;计算各时间序列数据之间的相似度,得到相似度矩阵;累加相似度矩阵中同一行或同一列的矩阵元素,得到各数据源与其他数据源的相似度累加值;对相似度累加值高于第一阈值的各数据源,进行纵向参数融合,包括:对时间序列数据进行数据预处理;对完成数据预处理的时间序列数据,计算两两时间序列数据之间的灰色关联度;滤除灰色关联度低于第三阈值的时间序列数据;利用BP神经网络对时间序列数据进行数据融合,得到第一融合结果;对相似度累加值低于第一阈值的各数据源,进行横向参数融合。
Description
技术领域
本发明涉及一种电力数据融合方法,属于数据融合领域。
背景技术
电网***在不同电力检测区域采用多类型数据采集设备,而电网调度中心、继电保护等各部门也独立构建各自的数据库,各自拥有独立的数据模型,各自的数据采用不同类型、编码规则的数据模型存储,导致多元电网运行参数不一致,无法共享参数信息。因此需要对电网数据进行融合处理,以提高电网数据质量。
公开号CN111950627A《一种多源信息融合方法及其应用》公开:从环境监测中的传感器数据源头出发,对采集的数据进行标准化处理和预处理;对多源同构数据,引入支持度修正迭代融合思想,比较融合证据与原始证据的差异来评估原始证据的支持度,多次迭代至收敛得到最终融合结果。
发明内容
为了克服现有技术中存在的问题,本发明设计了一种电力数据融合方法及设备,根据数据源之间的相似度分别进行加权横向数据融合、基于神经网络的纵向数据融合,消除多源电网数据差异,优化电网数据质量。
为了实现上述目的,本发明采用如下技术方案:
技术方案一
一种电力数据融合方法,包括以下步骤:
分别从多个数据源获取时间序列数据;
计算各时间序列数据之间的相似度,得到相似度矩阵,所述相似度矩阵中矩阵元素Dij表示数据源i的时间序列数据与数据源j的时间序列数据之间的相似度;累加相似度矩阵中同一行或同一列的矩阵元素,得到各数据源与其他数据源的相似度累加值;
对相似度累加值高于第一阈值的各数据源,进行纵向参数融合,包括:对时间序列数据进行数据预处理;对完成数据预处理的时间序列数据,计算两两时间序列数据之间的灰色关联度;滤除灰色关联度低于第三阈值的时间序列数据;利用BP神经网络对时间序列数据进行数据融合,得到第一融合结果;
对相似度累加值低于第一阈值的各数据源,进行横向参数融合。
进一步地,所述相似度计算公式如下:
式中,xi表示来自数据源i的时间序列数据;xj表示来自数据源j的时间序列数据。
进一步地,所述横向参数融合包括:
对各时间序列数据设置一权重;根据所述权重对时间序列数据进行加权求和,得到第二融合结果。
进一步地,还包括:对相似度累加值低于第二阈值的各数据源,筛除其对应的时间序列数据。
进一步地,利用改进萤火虫算法确定BP神经网络参数:
S1、将参数映射为群体个体;初始化个***置,设置最大吸引度,光强吸收系数,步长因子,搜索精度,最大迭代次数;
S2、计算个体的相对亮度和吸引度,根据相对亮度决定萤火虫的移动方向,依据吸引度决定移动的距离,以公式表达为:
式中,γ为光强吸收系数;rij为萤火虫i与j之间的空间距离;β0为最大吸引度;
S3、更新个***置,以公式表达为:
xi=xi+β(xj-xi)+α(rand-1/2)
式中,xi为个***置;α为步长因子;rand为[0,1]上服从均匀分布的随机因子;
S4、更新个体亮度,以公式表达为:
式中,I0为萤火虫的最大萤光亮度;γ为光强吸收系数;
当满足搜索精度或达到最大搜索次数则继续下一步;否则,搜索次数增加1,跳转至步骤S3;
S5、输出局最优解为BP神经网络权值和阈值;
S6、判断是否符合结束条件;假如迭代次数达到给定BP神经网络预设最大值和满足最小误差要求时,网络输出最优解,停止计数,否则转到步骤S2。
技术方案二
一种电力数据融合设备,包括处理器和用于存储所述处理器可执行指令的存储器;所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现技术方案一所述步骤。
与现有技术相比本发明有以下特点和有益效果:
本发明根据数据源之间的相似度分别进行加权横向数据融合、基于神经网络的纵向数据融合,消除多源电网数据差异,优化电网数据质量。此外,本发明利用改进萤火虫算法确定BP神经网络参数,在位置更新过程中增加扰动α(rand-1/2),以加大搜索区域,避免过早陷入局部最优。
附图说明
图1是本发明流程图。
具体实施方式
下面结合实施例对本发明进行更详细的描述。
实施例一
如图1所示,一种电力数据融合方法,包括以下步骤:
分别从多个数据源获取时间序列数据;
计算各时间序列数据之间的相似度,得到相似度矩阵。相似度矩阵中矩阵元素Dij表示数据源i的时间序列数据与数据源j的时间序列数据的相似度。相似度计算公式如下:
式中,xi表示来自数据源i的时间序列数据;xj表示来自数据源j的时间序列数据。
累加相似度矩阵中同一行或同一列的矩阵元素,得到各数据源与其他数据源的相似度累加值。
视相似度累加值高于第一阈值的各数据源为不同级别的电网调度中心的相同专业部门,为减少参数差异,对其进行纵向参数融合,得到第一融合结果。
视相似度累加值低于第一阈值的各数据源为同级调度中心的不同专业部门,对其进行横向参数融合,得到第二融合结果。
实施例二
本实施例进一步提供一种纵向参数融合方法,包括如下步骤:
对相似度累加值低于第二阈值的各数据源,筛除其时间序列数据。
对剩余时间序列数据进行数据预处理,如归一化、降噪等。
对完成数据预处理的时间序列数据,计算两两时间序列数据之间的灰色关联度;滤除灰色关联度低于第三阈值的时间序列数据。
对时间序列数据进行如下数据融合处理:
构建并训练基于BP神经网络的数据融合模型。BP神经网络包括输入层、输出层以及隐藏层,输入时间序列数据,利用隐藏层的激励函数对时间序列数据进行处理,输出层输出数据融合结果。
实施例三
本实施例进一步提供一种横向参数融合方法,包括如下步骤:
评估各数据源的可信度,对各时间序列数据设置一权重;根据所述权重对时间序列数据进行加权求和,得到融合结果。
实施例四
通过改进萤火虫算法确定BP神经网络参数:
S1、将参数映射为群体个体;随机初始化个***置,设置最大吸引度,光强吸收系数,步长因子,搜索精度,最大迭代次数。
S2、计算个体的相对亮度和吸引度,根据相对亮度决定萤火虫的移动方向,依据吸引度决定移动的距离,以公式表达为:
式中,γ为光强吸收系数,因为荧光会随着距离的增加和传播媒介的吸收逐渐减弱,所以设置光强吸收系数以体现此特性;rij为萤火虫i与j之间的空间距离。β0为最大吸引度,即光源处(r=0处)的吸引度。
S3、更新个***置,以公式表达为:
xi=xi+β(xj-xi)+α(rand-1/2)
式中,xi为个***置;α为步长因子;rand为[0,1]上服从均匀分布的随机因子。
S4、更新个体亮度,以公式表达为:
式中,I0为萤火虫的最大萤光亮度,即自身(r=0处)荧光亮度;γ为光强吸收系数。
当满足搜索精度或达到最大搜索次数则继续下一步;否则,搜索次数增加1,跳转至步骤S3。
S5、输出全局极值点和最优个体值,输出函数的全局最优解作为BP神经网络权值和阈值
S6、判断是否符合结束条件。假如迭代次数达到给定BP神经网络预设最大值和满足最小误差要求时,网络输出最优解,停止计数,否则转到步骤S2。
需要说明的是,上述提出的一种纵向参数融合设备,还用于实现如上述图1所示的一种电力数据融合方法中各实施例对应的方法步骤,本申请在此不重复叙述。
需要说明的是,在本发明各个实施例中的各功能单元/模块可以集成在一个处理单元/模块中,也可以是各个单元/模块单独物理存在,也可以是两个或两个以上单元/模块集成在一个单元/模块中。上述集成的单元/模块既可以采用硬件的形式实现,也可以采用软件功能单元/模块的形式实现。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解应当理解,可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现,处理器可以在一个或多个下列单元中实现:专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现,实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。实现时,可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。
最后应当说明的是,以上实施例仅用以说明本发明的技术方案,而非对本发明保护范围的限制,尽管参照较佳实施例对本发明作了详细地说明,本领域的普通技术人员应当分析,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。
Claims (10)
1.一种电力数据融合方法,其特征在于,包括以下步骤:
分别从多个数据源获取时间序列数据;
计算各时间序列数据之间的相似度,得到相似度矩阵,所述相似度矩阵中矩阵元素Dij表示数据源i的时间序列数据与数据源j的时间序列数据之间的相似度;累加相似度矩阵中同一行或同一列的矩阵元素,得到各数据源与其他数据源的相似度累加值;
对相似度累加值高于第一阈值的各数据源,进行纵向参数融合,包括:对时间序列数据进行数据预处理;对完成数据预处理的时间序列数据,计算两两时间序列数据之间的灰色关联度;滤除灰色关联度低于第三阈值的时间序列数据;利用BP神经网络对时间序列数据进行数据融合,得到第一融合结果;
对相似度累加值低于第一阈值的各数据源,进行横向参数融合。
2.根据权利要求1所述的一种电力数据融合方法,其特征在于,所述相似度计算公式如下:
式中,xi表示来自数据源i的时间序列数据;xj表示来自数据源j的时间序列数据。
3.根据权利要求1所述的一种电力数据融合方法,其特征在于,所述横向参数融合包括:
对各时间序列数据设置一权重;根据所述权重对时间序列数据进行加权求和,得到第二融合结果。
4.根据权利要求1所述的一种电力数据融合方法,其特征在于,还包括:对相似度累加值低于第二阈值的各数据源,筛除其对应的时间序列数据。
5.根据权利要求1所述的一种电力数据融合方法,其特征在于,利用改进萤火虫算法确定BP神经网络参数:
S1、将参数映射为群体个体;初始化个***置,设置最大吸引度,光强吸收系数,步长因子,搜索精度,最大迭代次数;
S2、计算个体的相对亮度和吸引度,根据相对亮度决定萤火虫的移动方向,依据吸引度决定移动的距离,以公式表达为:
式中,γ为光强吸收系数;rij为萤火虫i与j之间的空间距离;β0为最大吸引度;
S3、更新个***置,以公式表达为:
xi=xi+β(xj-xi)+α(rand-1/2)
式中,xi为个***置;α为步长因子;rand为[0,1]上服从均匀分布的随机因子;
S4、更新个体亮度,以公式表达为:
式中,I0为萤火虫的最大萤光亮度;γ为光强吸收系数;
当满足搜索精度或达到最大搜索次数则继续下一步;否则,搜索次数增加1,跳转至步骤S3;
S5、输出局最优解为BP神经网络权值和阈值;
S6、判断是否符合结束条件;假如迭代次数达到给定BP神经网络预设最大值和满足最小误差要求时,网络输出最优解,停止计数,否则转到步骤S2。
6.一种电力数据融合设备,其特征在于,包括处理器和用于存储所述处理器可执行指令的存储器;所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现以下步骤:
分别从多个数据源获取时间序列数据;
计算各时间序列数据之间的相似度,得到相似度矩阵,所述相似度矩阵中矩阵元素Dij表示数据源i的时间序列数据与数据源j的时间序列数据之间的相似度;累加相似度矩阵中同一行或同一列的矩阵元素,得到各数据源与其他数据源的相似度累加值;
对相似度累加值高于第一阈值的各数据源,进行纵向参数融合,包括:对时间序列数据进行数据预处理;对完成数据预处理的时间序列数据,计算两两时间序列数据之间的灰色关联度;滤除灰色关联度低于第三阈值的时间序列数据;利用BP神经网络对时间序列数据进行数据融合,得到第一融合结果;
对相似度累加值低于第一阈值的各数据源,进行横向参数融合。
7.根据权利要求6所述的一种电力数据融合设备,其特征在于,所述相似度计算公式如下:
式中,xi表示来自数据源i的时间序列数据;xj表示来自数据源j的时间序列数据。
8.根据权利要求6所述的一种电力数据融合设备,其特征在于,所述横向参数融合包括:
对各时间序列数据设置一权重;根据所述权重对时间序列数据进行加权求和,得到第二融合结果。
9.根据权利要求6所述的一种电力数据融合设备,其特征在于,还包括:对相似度累加值低于第二阈值的各数据源,筛除其对应的时间序列数据。
10.根据权利要求6所述的一种电力数据融合设备,其特征在于,利用改进萤火虫算法确定BP神经网络参数:
S1、将参数映射为群体个体;初始化个***置,设置最大吸引度,光强吸收系数,步长因子,搜索精度,最大迭代次数;
S2、计算个体的相对亮度和吸引度,根据相对亮度决定萤火虫的移动方向,依据吸引度决定移动的距离,以公式表达为:
式中,γ为光强吸收系数;rij为萤火虫i与j之间的空间距离;β0为最大吸引度;
S3、更新个***置,以公式表达为:
xi=xi+β(xj-xi)+α(rand-1/2)
式中,xi为个***置;α为步长因子;rand为[0,1]上服从均匀分布的随机因子;
S4、更新个体亮度,以公式表达为:
式中,I0为萤火虫的最大萤光亮度;γ为光强吸收系数;
当满足搜索精度或达到最大搜索次数则继续下一步;否则,搜索次数增加1,跳转至步骤S3;
S5、输出局最优解为BP神经网络权值和阈值;
S6、判断是否符合结束条件;假如迭代次数达到给定BP神经网络预设最大值和满足最小误差要求时,网络输出最优解,停止计数,否则转到步骤S2。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311379086.9A CN117349273A (zh) | 2023-10-23 | 2023-10-23 | 一种电力数据融合方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311379086.9A CN117349273A (zh) | 2023-10-23 | 2023-10-23 | 一种电力数据融合方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117349273A true CN117349273A (zh) | 2024-01-05 |
Family
ID=89362786
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311379086.9A Pending CN117349273A (zh) | 2023-10-23 | 2023-10-23 | 一种电力数据融合方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117349273A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117828539A (zh) * | 2024-03-06 | 2024-04-05 | 昆明智合力兴信息***集成有限公司 | 数据智能融合分析***及方法 |
-
2023
- 2023-10-23 CN CN202311379086.9A patent/CN117349273A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117828539A (zh) * | 2024-03-06 | 2024-04-05 | 昆明智合力兴信息***集成有限公司 | 数据智能融合分析***及方法 |
CN117828539B (zh) * | 2024-03-06 | 2024-05-24 | 昆明智合力兴信息***集成有限公司 | 数据智能融合分析***及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110175168B (zh) | 一种基于生成对抗网络的时间序列数据填补方法及*** | |
CN112991354B (zh) | 一种基于深度学习的高分辨率遥感影像语义分割方法 | |
CN117349273A (zh) | 一种电力数据融合方法及设备 | |
CN112200358B (zh) | 一种滑坡等级预测方法、装置、设备和存储介质 | |
WO2023217290A1 (zh) | 基于图神经网络的基因表型预测 | |
CN116170328A (zh) | 图形编码的使用带宽预测方法及装置 | |
CN111612055A (zh) | 天气形势的分型方法、空气污染状况的预测方法及装置 | |
CN110222830B (zh) | 一种基于自适应遗传算法优化的深度前馈网络故障诊断方法 | |
CN116129992A (zh) | 基于图神经网络的基因调控网络构建方法及*** | |
CN114694379B (zh) | 一种基于自适应动态图卷积的交通流预测方法及*** | |
WO2023113729A1 (en) | High performance machine learning system based on predictive error compensation network and the associated device | |
CN112200356A (zh) | 一种滑坡的预测方法、装置、设备和存储介质 | |
CN114169505A (zh) | 一种产量预测模型的训练方法、***及相关设备 | |
CN116956049A (zh) | 工业产能预测模型的训练方法、装置、设备及存储介质 | |
CN116823659A (zh) | 一种基于深度特征提取的微光图像增强方法 | |
CN111524023A (zh) | 温室调节方法及*** | |
CN117877587A (zh) | 一种全基因组预测模型的深度学习算法 | |
CN116106909A (zh) | 一种雷达回波外推方法、***及存储介质 | |
CN116503320A (zh) | 高光谱图像异常检测方法、装置、设备及可读存储介质 | |
CN115762719A (zh) | 基于组合模型的心理测评真实性评估方法及设备 | |
CN116090618A (zh) | 一种电力通信网的运行态势感知方法和装置 | |
CN115239967A (zh) | 一种基于Trans-CSN生成对抗网络的图像生成方法及装置 | |
CN115048770A (zh) | 交通态势预测方法、装置、计算机程序产品和存储介质 | |
CN116524349B (zh) | 一种基于改进萤火虫算法的水稻产量预测方法及*** | |
CN111461350B (zh) | 一种基于非线性集成模型的预测数据错误风险方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |