CN106908668B - 一种实测地面合成电场数据的处理方法及*** - Google Patents
一种实测地面合成电场数据的处理方法及*** Download PDFInfo
- Publication number
- CN106908668B CN106908668B CN201710048650.7A CN201710048650A CN106908668B CN 106908668 B CN106908668 B CN 106908668B CN 201710048650 A CN201710048650 A CN 201710048650A CN 106908668 B CN106908668 B CN 106908668B
- Authority
- CN
- China
- Prior art keywords
- electric field
- field data
- ground synthetic
- synthetic electric
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005684 electric field Effects 0.000 title claims abstract description 209
- 238000003672 processing method Methods 0.000 title description 3
- 230000002159 abnormal effect Effects 0.000 claims abstract description 90
- 238000012417 linear regression Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 18
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 52
- 239000013598 vector Substances 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 12
- 238000012790 confirmation Methods 0.000 claims description 5
- 230000005611 electricity Effects 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 abstract description 2
- 230000001737 promoting effect Effects 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 13
- 238000007781 pre-processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000007812 deficiency Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R29/00—Arrangements for measuring or indicating electric quantities not covered by groups G01R19/00 - G01R27/00
- G01R29/12—Measuring electrostatic fields or voltage-potential
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Investigating Or Analyzing Materials By The Use Of Electric Means (AREA)
Abstract
本发明公开了一种实测地面合成电场数据的处理方法,包括:根据实测的地面合成电场数据的缺失值写入规则对缺失值进行判断并剔除;利用拉依达准则法对实测的地面合成电场数据的异常值分段进行判断并剔除;利用线性回归方法对地面合成电场数据中被剔除的缺失值和异常值进行弥补,获取弥补后的地面合成电场数据;若弥补后的地面合成电场数据不符合预期,则调整分段方式,对异常值重新利用线性回归方法进行弥补;若弥补后的地面合成电场数据是符合预期,利用奇异值分解滤除弥补后的地面合成电场数据中的随机干扰值。本发明方案降低由于测量设备异常或外界环境干扰对地面合成电场数据的影响,对地面合成电场的机理分析有重要的推动作用。
Description
技术领域
本发明涉及高压直流输电技术领域,更具体地,涉及一种实测地面合成电场数据的处理方法及***。
背景技术
随着我国经济持续快速发展,能源需求,特别是电力资源需求持续增长。然而我国电力资源总体上西多东少、北多南少,具有分布与需求不均衡的特点。因此为实现电力资源优化配置,我国将“西电东送、南北互供、全国联网”作为电网发展的战略目标。这意味着需要建设大规模、远距离、高效率的输电工程,高压直流输电技术成为实现这一目标的不二之选。
高压直流输电线路传输电能时,由于导线放电不可避免地会产生电晕电流、无线电干扰、可听噪声和合成电场等,造成电能损耗和其他环境问题。近年来我国直流输电线路建设快速发展,直流输电线路周围的电磁环境问题愈来愈引起人们的关注。地面合成电场数据是直流输电线路的主要电磁环境参数,预测直流线路下的地面合成场已成为线路导线选型的一项重要工作。
现有技术(CN:201110342945.8)是从直流输电线路直流地面合成电场产生机理出发,采用有限元法进行建模,预测直流输电线路地面合成电场数据。在建模过程中,利用子域提高了导线表面电场计算精度;利用数学方法,推算了有空间电荷情况下的电场,最终获得了更加精确的直流输电线路地面合成电场计算方法。
然而实测的地面合成电场数据中,可能由于设备临时的不正常工作或数据传输过程中的意外情况,导致采集到的地面合成电场数据中含有缺失值或异常值。同时,由于高压直流输电线路下的环境复杂的特点,也有可能导致采集到的数据包含部分随机干扰值的噪声,从而影响后续的对地面合成电场数据进行研究的工作。现有技术没有对地面合成电场数据的缺失值、异常值和随机干扰值的处理方法。
因此,需要一种技术,以解决对地面合成电场数据的缺失值、异常值和随机干扰值的处理问题。
发明内容
本发明提供了一种实测地面合成电场数据的处理方法及***,以解决对实测地面合成电场数据进行处理的问题。
为了解决上述问题,本发明提供了一种实测地面合成电场数据的处理方法,所述方法包括:
根据实测的地面合成电场数据的缺失值写入规则对所述缺失值进行判断并剔除;
利用拉依达准则法对实测的地面合成电场数据的异常值分段进行判断并剔除;
利用线性回归方法对地面合成电场数据中被剔除的缺失值和异常值进行弥补,获取所述弥补后的地面合成电场数据;
判断弥补后的地面合成电场数据是否符合预期,若不符合预期,则调整分段方式,对异常值重新利用线性回归方法进行弥补;
若所述弥补后的地面合成电场数据是符合预期,则利用奇异值分解滤除所述弥补后的地面合成电场数据中的随机干扰值。
优选地,所述利用拉依达准则法对实测的地面合成电场数据的缺失值分段进行判断包括:
通过Bezier公式计算标准偏差:
对△xi进行判断,当△xi大于3σ时,确认第i次观测的地面合成电场数据为异常值。
优选地,所述利用线性回归方法对实测的地面合成电场数据中被剔除的缺失值和异常值进行弥补包括:
获取经过缺失值和异常值判断后的地面合成电场数据为X(1),X(1)列矩阵表示不同位置,行矩阵表示不同时间采样点的地面合成电场数据矩阵;
确定包括缺失值和异常值的地面合成电场数据的位置为拟合位置;
利用拟合位置地面合成电场数据外的其余不同位置下的地面合成电场强度建立所述拟合位置的拟合地面合成电场数据的线性回归预测模型,确认所述线性回归预测模型的组合系数;
利用所述拟合位置的线性回归预测模型,对拟合位置的判断出来的缺失值和异常值进行弥补,确定对所述缺失值和异常值弥补后的地面合成电场数据X(2)。
优选地,所述线性回归预测模型的组合系数通过最小二乘方式求解,包括:
确认X(1)中所有不含缺失值和异常值地面合成电场数据为X*,
构造矩阵A及向量a,Q*为矩阵X*拟合位置地面合成电场数据外的其余列构成的矩阵,向量a为所述线性回归预测模型的组合系数,
根据线性方程Aa获取X(1)中对应拟合位置的列矩阵,并确认所述线性方程Aa的最小二乘问题的解为拟合位置的组合系数。
优选地,所述利用奇异值分解滤除所述拟合后的地面合成电场数据中的随机干扰值包括:
对于经过缺失值和异常值拟合后的地面合成电场数据X(2),进行奇异值分解:
其中,U=[u1,u2,…,ur],S=diag(σ1,σ2,…,σr),V=[v1,v2,…,vr],U的列向量组是X(2)X(2)T的标准正交特征向量,V的列向量组是X(2)TX(2)的标准正交特征向量,r为矩阵X(2)的秩,σ1,σ2,…,σr分别为矩阵X(2)的r个奇异值;
利用表征有效信号的前m个奇异值重构矩阵,得到去掉随机干扰值后的地面合成电场数据X(3),
基于本发明的另一方面,本发明提供一种实测地面合成电场数据的处理***,所述***包括:
第一判断单元,用于根据实测的地面合成电场数据的缺失值写入规则对所述缺失值进行判断并剔除;
第二判断单元,用于利用拉依达准则法对实测的地面合成电场数据的异常值分段进行判断并剔除;
第一处理单元,用于利用线性回归方法对地面合成电场数据中被剔除的缺失值和异常值进行弥补,获取所述弥补后的地面合成电场数据;判断弥补后的地面合成电场数据是否符合预期,若不符合预期,则调整分段方式,对异常值重新利用线性回归方法进行弥补;
第二处理单元,用于若所述弥补后的地面合成电场数据是符合预期,则利用奇异值分解滤除所述弥补后的地面合成电场数据中的随机干扰值。
优选地,所述第二判断单元还用于:
通过Bezier公式计算标准偏差:
对△xi进行判断,当△xi大于3σ时,确认第i次观测的地面合成电场数据为异常值。
优选地,所述第一处理单元还用于:
获取经过缺失值和异常值判断后的地面合成电场数据为X(1),X(1)列矩阵表示不同位置,行矩阵表示不同时间采样点的地面合成电场数据矩阵;
确定包括缺失值和异常值的地面合成电场数据的位置为拟合位置;
利用拟合位置地面合成电场数据外的其余不同位置下的地面合成电场强度建立所述拟合位置的拟合地面合成电场数据的线性回归预测模型,确认所述线性回归预测模型的组合系数;
利用所述拟合位置的线性回归预测模型,对拟合位置的判断出来的缺失值和异常值进行弥补,确定对所述缺失值和异常值弥补后的地面合成电场数据X(2)。
优选地,所述线性回归预测模型的组合系数通过最小二乘方式求解,包括:
确认X(1)中所有不含缺失值和异常值地面合成电场数据为X*,
构造矩阵A及向量a,Q*为矩阵X*拟合位置地面合成电场数据外的其余列构成的矩阵,向量a为所述线性回归预测模型的组合系数,
根据线性方程Aa获取X(1)中对应拟合位置的列矩阵,并确认所述线性方程Aa的最小二乘问题的解为拟合位置的组合系数。
优选地,所述第二处理单元用于:
对于经过缺失值和异常值拟合后的地面合成电场数据X(2),进行奇异值分解:
其中,U=[u1,u2,…,ur],S=diag(σ1,σ2,…,σr),V=[v1,v2,…,vr],U的列向量组是X(2)X(2)T的标准正交特征向量,V的列向量组是X(2)TX(2)的标准正交特征向量,r为矩阵X(2)的秩,σ1,σ2,…,σr分别为矩阵X(2)的r个奇异值;
利用表征有效信号的前m个奇异值重构矩阵,得到去掉随机干扰值后的地面合成电场数据X(3),
本发明的有益效果:
本发明的技术方案首先对实测的地面合成电场数据进行缺失值的判断并剔除,然后通过拉依达准则法对实测的地面合成电场数据分段进行异常值的判别并剔除;接着利用线性回归方法对地面合成电场数据中判别出来的缺失值和异常值进行弥补;再判断处理结果是否符合预期;如果不符合预期,需要调整分段方式,对缺失值、异常值重新弥补;最后,利用奇异值分解来提取地面合成电场数据的主要特征,从而滤除数据中的随机干扰。本发明的技术方案可以实现对实测地面合成电场数据中缺失值和异常值的判断和弥补,实现地面合成电场数据中随机干扰值的滤除,从而降低由于测量设备异常或外界环境干扰对地面合成电场数据的影响,对地面合成电场的机理分析有重要的推动作用。
附图说明
通过参考下面的附图,可以更为完整地理解本发明的示例性实施方式:
图1为根据本发明实施方式的一种实测地面合成电场数据的处理方法流程图;
图2为根据本发明实施方式的一种实测地面合成电场数据的处理***结构图;
图3为无异常数据的地面合成电场数据X在12个不同位置的相关系数矩阵示意图;
图4为有异常数据的地面合成电场数据Xa在12个不同位置的相关系数矩阵示意图;
图5为异常值处理后的地面合成电场数据Xe在12个不同位置的相关系数矩阵示意图;
图6为滤除随机干扰后的地面合成电场数据Y在12个不同位置的相关系数矩阵示意图;
图7为本发明实施方式的预处理前、后地面合成电场数据X,Xa,Xe,Y的细节比较示意图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式,然而,本发明可以用许多不同的形式来实施,并且不局限于此处描述的实施例,提供这些实施例是为了详尽地且完全地公开本发明,并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中,相同的单元/元件使用相同的附图标记。
除非另有说明,此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外,可以理解的是,以通常使用的词典限定的术语,应当被理解为与其相关领域的语境具有一致的含义,而不应该被理解为理想化的或过于正式的意义。
图1为根据本发明实施方式的一种实测地面合成电场数据的处理方法流程图。本发明的实施方式首先对实测的地面合成电场数据进行缺失值的判断并剔除,然后通过拉依达准则法对实测的地面合成电场数据分段进行异常值的判别并剔除;以及利用线性回归方法对地面合成电场数据中判别出来的缺失值和异常值进行弥补;再判断地面合成电场数据弥补结果是否符合预期;如果不符合预期,需要调整分段方式,对缺失值、异常值重新弥补;最后,利用奇异值分解来提取地面合成电场数据的主要特征,从而滤除地面合成电场数据中的随机干扰值。如图1所示,方法100从步骤101开始。
优选地,在步骤101:根据实测的地面合成电场数据的缺失值写入规则对缺失值进行判断并剔除。
通常情况下,在实际地面合成电场数据的采集过程中,往往由于各种原因,比如机器临时故障导致的采集地面合成电场数据的缺失。实际采集操作中,规定为某些特殊值例如9999,或特殊文本如ERR为缺失值。所以,可以根据缺失数据写入的规则来实现对缺失值的判断,并将判断出的缺失值进行剔除。
优选地,在步骤102:利用拉依达准则法对实测的地面合成电场数据的异常值分段进行判断并剔除。本发明实施方式中,首先根据先验知识将实测地面合成电场数据所对应的时间等分为多个时间段,然后对每个时间段上的地面合成电场数据分别进行异常值判断。当实测地面合成电场数据对应的时间较长时,分段数应较多,以保证每一小段时间内的地面合成电场数据值有比较平稳的变化;当实测地面合成电场数据对应的时间较短时,分段数应较少,以保证每一小段时间内的样本数满足拉依达准则法的条件,从而提高判别精度。优选地,利用拉依达准则法对实测的地面合成电场数据的缺失值分段进行判断包括:
通过Bezier公式计算标准偏差:
对△xi进行判断,当△xi大于3σ时,确认第i次观测的地面合成电场数据为异常值。
本发明的实施方式中,拉依达准则又称3σ准则,它假设一组检测数据只含有随机误差,对这组数据进行计算处理得到其标准偏差,然后按一定概率确定一个区间,当误差超过这个区间,则认为不是随机误差,其对应的数据应予以剔除。其中,标准偏差一般为Bezier公式计算的标准差:
其中,x1,x2,…,xn是某个位置下地面合成电场数据的n次观测,为这n次观测的均值,△xi是第i次观测与均值的偏差。根据正态分布理论,偏差△xi<3σ的概率约为99.7%。因此,在有限次如n次的观测中,如果某次观测的偏差大于3σ,说明该次观测具有较大的可疑误差,被判断为异常值,应该予以剔除。
优选地,在步骤103:利用线性回归方法对地面合成电场数据中被剔除的缺失值和异常值进行弥补,获取弥补后的地面合成电场数据。
利用线性回归方法对实测的地面合成电场数据中被剔除的缺失值和异常值进行弥补包括:获取经过缺失值和异常值判断后的地面合成电场数据为X(1),X(1)列矩阵表示不同位置,行矩阵表示不同时间采样点的地面合成电场数据矩阵;确定包括缺失值和异常值的地面合成电场数据的位置为拟合位置;利用拟合位置地面合成电场数据外的其余不同位置下的地面合成电场强度建立拟合位置的拟合地面合成电场数据的线性回归预测模型,确认线性回归预测模型的组合系数;利用拟合位置的线性回归预测模型,对拟合位置的判断出来的缺失值和异常值进行弥补,确定对缺失值和异常值弥补后的地面合成电场数据X(2)。
优选地,线性回归预测模型的组合系数通过最小二乘方式求解,包括:
确认X(1)中所有不含缺失值和异常值地面合成电场数据为X*,
构造矩阵A及向量a,Q*为矩阵X*拟合位置地面合成电场数据外的其余列构成的矩阵,向量a为线性回归预测模型的组合系数,
根据线性方程Aa获取X(1)中对应拟合位置的列矩阵,并确认线性方程Aa的最小二乘问题的解为拟合位置的组合系数。
判断弥补后的地面合成电场数据是否符合预期,若不符合预期,则调整分段方式,对异常值重新利用线性回归方法进行弥补。其中调整分段方式包括,当拟合后的地面合成电场数据过于平滑时,应适当减小段数来增加每一小段的样本数,从而反映出地面合成电场数据值的变化;当拟合后的地面合成电场数据与相邻地面合成电场数据的差距过大时,应适当增加段数来减少每一小段的样本数,从而削弱较长时间间隔的不相关信息对其的干扰。
本发明的实施方式中,利用线性回归方法对地面合成电场数据中判断出来的缺失值和异常值进行弥补。
首先,将经过缺失值和异常值判断后的电场数据标记为X(1):
公式(2)中,变量x1,x2,…,xp代表其中的p个不同测量位置随时间变化的电场值,N为采样点的样本个数,即xij(i=1,2,…,N;j=1,2,…,p)表示第i个采样时刻下第j个位置处的地面合成电场强度值。在X(1)中,含有无效数据,即判别为缺失值或异常值的地面合成电场强度数据,需要在后续的处理中进行弥补。
优选地,由于实测的不同位置下地面合成电场强度值具有一定的关联性,且随时间的变化程度相近,所以可以通过对不含缺失值和异常值的那部分地面电场强度数据来拟合出一个不同位置下地面合成电场强度之间线性关系的预测模型。本发明的实施方式中以第1个位置下随时间变化的地面合成电场强度x1的拟合为例,有如下的预测模型,其它位置下的拟合预测模型可简单类比:
x1=a0+a2x2+a3x3+…+apxp
其中x1是待拟合的对象,x2,x3,…,xp是其余的不同位置下的地面合成电场强度,a0,a2,a3,…,ap是拟合出来的线性回归模型的组合系数,a0为其中的常数项。根据上述x1的预测模型,可对x1中第i个采样时刻下的缺失值和异常值xi1进行补充:
xi1=a0+a2xi2+a3xi3+…+apxip
同理,也类似地求解及弥补出x2,x3,…,xp中某些采样时刻下的缺失值和异常值。
最终,通过对x1,x2,…,xp经过缺失值和异常值处理后,得到新的地面合成电场数据X(2):
其中变量x1,x2,…,xp代表其中的p个不同测量位置,N为采样点的样本个数,即xij(i=1,2,…,N;j=1,2,…,p)表示第i个采样时刻下第j个位置处的地面合成电场强度值。与地面合成电场强度矩阵X(1)相比,X(2)仅弥补了X(1)中的缺失值和异常值。
优选地,本发明的实施方式中,在对x1中判别出来的缺失值和异常值进行弥补的过程中,线性回归模型的系数a0,a2,a3,…,ap可以通过最小二乘方式求解。
标记X*为X(1)中所有不含缺失值或异常值的采样时刻下的电场数据:
其中X(1)为N×p的矩阵,X*为M×p的矩阵(M<N),即X*由去掉X(1)中含缺失值或异常值的某些行得到。另外,为矩阵X*的第1列,Q*为矩阵X*的其余列构成的矩阵。所以,X*中已对地面合成电场数据的缺失值和异常值进行了弥补,即X*中所有数据均有意义。然后,构造矩阵A及向量a:
则线性方程组Aa=x1的最小二乘问题的解为:a=(ATA)-1ATx1。此时,求解出来的a即为x1的预测模型的组合系数a0,a2,a3,…,ap,即对x1中第i个采样时刻下的缺失值和异常值xi1进行补充:
xi1=a0+a2xi2+a3xi3+…+apxip
同理,也类似地求解及弥补出x2,x3,…,xp中某些采样时刻下的缺失值和异常值。按此方法,可完成对位置1至p个测量位置测量的地面合成电场数据的缺失值和异常值进行弥补。
优选地,在步骤103:若弥补后的地面合成电场数据是符合预期,利用奇异值分解滤除弥补后的地面合成电场数据中的随机干扰值。由于不同位置下的地面合成电场强度值具有一定的关联性,所以可以利用奇异值分解来提取地面合成电场数据的主要特征,实现降噪目的。对于经过缺失值和异常值拟合后的地面合成电场数据X(2),进行奇异值分解:
其中,U=[u1,u2,…,ur],S=diag(σ1,σ2,…,σr),V=[v1,v2,…,vr],U的列向量组是X(2)X(2)T的标准正交特征向量,V的列向量组是X(2)TX(2)的标准正交特征向量,r为矩阵X(2)的秩,σ1,σ2,…,σr分别为矩阵X(2)的r个奇异值,且σ1>σ2>…>σr。
优选地,本发明的实施方式中,矩阵X(2)是由地面合成电场强度和随机噪声共同组成的,那么它的按递减顺序排列的奇异值σ1,σ2,…,σr可以清楚地反映实际信号即地面合成电场强度和噪声能量集中的情况:前m个较大的奇异值主要反映信号,其余的奇异值则主要反映噪声。因此,只用表征有效信号的前m个奇异值重构矩阵,则可以有效地去除随机干扰。
利用表征有效信号的前m个奇异值重构矩阵,得到去掉随机干扰值后的地面合成电场数据X(3),
图3-图6为根据本发明实施方式的地面合成电场数据在预处理前、后地面合成电场数据X,Xa,Xe,Y的相关系数矩阵,色块的颜色越深,表示对应的两种粒径大小的颗粒物浓度的关联性越强。
通过对比本发明实施方式的四种地面合成电场数据X,Xa,Xe,Y的相关系数矩阵可以发现,异常值对地面合成电场数据不同位置下的相关系数矩阵具有较大影响。而经异常值处理后,Xe的相关系数矩阵和无异常值的电场数据X的相关系数矩阵类似。经过随机干扰的滤除后,不同位置下的电场强度之间的关联与不关联的程度更加明显,说明基于奇异值分解的随机干扰滤除方法有效地提取了地面合成电场数据的主要特征。
图7为本发明一种实施例的预处理前、后地面合成电场数据X,Xa,Xe,Y的细节比较。图7显示了12种不同位置下,在[270,300]区间的地面合成电场数据。
本发明的实施方式有效地实现了对实测地面合成电场数据的预处理。其中,对地面合成电场数据中的缺失值和异常值进行了判断,并对被判断为缺失值和异常值的数据进行了弥补,同时对地面合成电场数据中的随机干扰值进行了滤除,从而降低由于测量设备异常或外界环境干扰对地面合成电场数据的影响。本发明的实施方式通过分段的拉依达准则法对异常值进行判别,有效地提高了判别精度。本发明的实施方式通过线性回归方法对缺失值和异常值进行弥补,有效地利用了地面合成电场数据内部的关联特性来得到合适的弥补数据。本发明的实施方式通过奇异值分解来提取地面合成电场数据的主要特征,在一定程度上滤除了地面合成电场数据中的随机干扰值。
综上,本发明实施方式提供的一种实测地面合成电场数据的预处理方法,是基于实测数据本身可能带有的缺失值、异常值以及某些随机干扰进行的有效的数据预处理方法。在预处理过程中,充分利用不同位置下的地面合成电场强度之间的关联特性来进行。最终有效地实现了复杂的实测地面合成电场数据的预处理。
已经通过参考少量实施方式描述了本发明。然而,本领域技术人员所公知的,正如附带的专利权利要求所限定的,除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地,在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释,除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例,除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行,除非明确地说明。
Claims (10)
1.一种实测地面合成电场数据的处理方法,所述方法包括:
根据实测的地面合成电场数据的缺失值写入规则对所述缺失值进行判断并剔除;
利用拉依达准则法对实测的地面合成电场数据的异常值分段进行判断并剔除;
利用线性回归方法对地面合成电场数据中被剔除的缺失值和异常值进行弥补,获取所述弥补后的地面合成电场数据;
判断弥补后的地面合成电场数据是否符合预期,若不符合预期,则调整分段方式,对异常值重新利用线性回归方法进行弥补;
若所述弥补后的地面合成电场数据是符合预期,则利用奇异值分解滤除所述弥补后的地面合成电场数据中的随机干扰值。
3.根据权利要求1所述的方法,所述利用线性回归方法对实测的地面合成电场数据中被剔除的缺失值和异常值进行弥补包括:
获取经过缺失值和异常值判断后的地面合成电场数据为X(1),X(1)列矩阵表示不同位置,行矩阵表示不同时间采样点的地面合成电场数据矩阵;
确定包括缺失值和异常值的地面合成电场数据的位置为拟合位置;
利用拟合位置地面合成电场数据外的其余不同位置下的地面合成电场强度建立所述拟合位置的拟合地面合成电场数据的线性回归预测模型,确认所述线性回归预测模型的组合系数;
利用所述拟合位置的线性回归预测模型,对拟合位置的判断出来的缺失值和异常值进行弥补,确定对所述缺失值和异常值弥补后的地面合成电场数据X(2)。
6.一种实测地面合成电场数据的处理***,所述***包括:
第一判断单元,用于根据实测的地面合成电场数据的缺失值写入规则对所述缺失值进行判断并剔除;
第二判断单元,用于利用拉依达准则法对实测的地面合成电场数据的异常值分段进行判断并剔除;
第一处理单元,用于利用线性回归方法对地面合成电场数据中被剔除的缺失值和异常值进行弥补,获取所述弥补后的地面合成电场数据;判断弥补后的地面合成电场数据是否符合预期,若不符合预期,则调整分段方式,对异常值重新利用线性回归方法进行弥补;
第二处理单元,用于若所述弥补后的地面合成电场数据是符合预期,则利用奇异值分解滤除所述弥补后的地面合成电场数据中的随机干扰值。
8.根据权利要求6所述的***,所述第一处理单元还用于:
获取经过缺失值和异常值判断后的地面合成电场数据为X(1),X(1)列矩阵表示不同位置,行矩阵表示不同时间采样点的地面合成电场数据矩阵;
确定包括缺失值和异常值的地面合成电场数据的位置为拟合位置;
利用拟合位置地面合成电场数据外的其余不同位置下的地面合成电场强度建立所述拟合位置的拟合地面合成电场数据的线性回归预测模型,确认所述线性回归预测模型的组合系数;
利用所述拟合位置的线性回归预测模型,对拟合位置的判断出来的缺失值和异常值进行弥补,确定对所述缺失值和异常值弥补后的地面合成电场数据X(2)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710048650.7A CN106908668B (zh) | 2017-01-20 | 2017-01-20 | 一种实测地面合成电场数据的处理方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710048650.7A CN106908668B (zh) | 2017-01-20 | 2017-01-20 | 一种实测地面合成电场数据的处理方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106908668A CN106908668A (zh) | 2017-06-30 |
CN106908668B true CN106908668B (zh) | 2021-03-26 |
Family
ID=59206622
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710048650.7A Active CN106908668B (zh) | 2017-01-20 | 2017-01-20 | 一种实测地面合成电场数据的处理方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106908668B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109684308B (zh) * | 2017-10-18 | 2020-11-17 | 南方电网科学研究院有限责任公司 | 一种基于模式搜索的电磁环境参数一致性清理方法及装置 |
CN109142895A (zh) * | 2018-07-05 | 2019-01-04 | 清华大学 | 直流导线空间电位和合成电场分布的简便测量装置 |
CN110084158B (zh) * | 2019-04-15 | 2021-01-29 | 杭州拓深科技有限公司 | 一种基于智能算法的用电设备识别方法 |
CN110070132B (zh) * | 2019-04-24 | 2022-06-10 | 华中科技大学无锡研究院 | 风电场scada***缺失数据修复结果的修正补偿方法 |
CN111521883A (zh) * | 2020-03-24 | 2020-08-11 | 中国电力科学研究院有限公司 | 一种用于获取高压直流输电线路电场测量值的方法及*** |
CN112067908B (zh) * | 2020-08-20 | 2023-06-16 | 国网山东省电力公司电力科学研究院 | 变电站机器人测量工频电场时畸变电场的拟合方法及*** |
CN115657448B (zh) * | 2022-12-09 | 2023-03-28 | 电信科学技术第五研究所有限公司 | 用于时钟驯服的频率偏移量分析方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102495949A (zh) * | 2011-11-23 | 2012-06-13 | 西北工业大学 | 一种基于飞行数据的故障预报方法 |
CN102446302B (zh) * | 2011-12-31 | 2014-07-02 | 浙江大学 | 一种水质预测***的数据预处理方法 |
CN102650527B (zh) * | 2012-05-25 | 2014-12-03 | 北京航空航天大学 | 一种基于时间序列分析消噪的光纤陀螺温度补偿方法 |
CN104217002B (zh) * | 2014-09-14 | 2017-08-25 | 北京航空航天大学 | 一种基于高质量数据获取的路况信息填补方法 |
CN104574202A (zh) * | 2014-12-09 | 2015-04-29 | 国网青海省电力公司经济技术研究院 | 一种风电场出力特性分析方法 |
CN105225486A (zh) * | 2015-10-09 | 2016-01-06 | 哈尔滨工业大学深圳研究生院 | 填补缺失浮动车数据的方法及*** |
CN105404146B (zh) * | 2015-11-10 | 2019-01-04 | 国家电网公司 | 一种电石炉炉况诊断方法和*** |
-
2017
- 2017-01-20 CN CN201710048650.7A patent/CN106908668B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN106908668A (zh) | 2017-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106908668B (zh) | 一种实测地面合成电场数据的处理方法及*** | |
CN110190600B (zh) | 一种基于ami量测近邻回归的三相配电网拓扑辨识方法 | |
CN107016236B (zh) | 基于非线性量测方程的电网假数据注入攻击检测方法 | |
CN109165504B (zh) | 一种基于对抗生成网络的电力***虚假数据攻击识别方法 | |
CN108802525A (zh) | 基于小样本的设备故障智能预测方法 | |
CN105932774A (zh) | 基于ica算法的智能变电站设备状态预警方法 | |
CN111679158A (zh) | 基于同步量测数据相似度的配电网故障辨识方法 | |
CN116703183B (zh) | 一种新型配电网***用电负荷评估方法 | |
CN111080105A (zh) | 基于电压时序数据的台区户变关系识别方法及*** | |
CN109254532A (zh) | 一种面向通信时滞的多智能体分布式合作故障检测方法 | |
CN105574669A (zh) | 时空联合数据聚类分析的输变电设备状态异常检测方法 | |
CN110703078A (zh) | 基于频谱能量分析与自组织竞争算法的gis故障诊断方法 | |
CN116008714B (zh) | 一种基于智能量测终端的反窃电分析方法 | |
CN115130495A (zh) | 一种滚动轴承故障预测方法及*** | |
CN115801412B (zh) | 一种电力物联信息网络攻击行为特征的提取方法 | |
CN106208043A (zh) | 一种中低压配电网关键耗能环节辨识方法 | |
CN110187242A (zh) | 一种基于时空相关性分析的配电网异常检测及定位方法 | |
CN109635428A (zh) | 一种基于机械状态信号分析的gis机械故障诊断方法 | |
CN113514743A (zh) | 一种基于多维特征的gis局部放电模式识别***构建方法 | |
CN116992328A (zh) | 基于无监督学习的低压台区5g高频数据拓扑识别方法 | |
CN116629448A (zh) | 基于经验模态分解和神经网络相结合的光伏功率预测方法 | |
CN107069710B (zh) | 计及新能源时空相关性的电力***状态估计方法 | |
CN115293090A (zh) | 基于重构数据处理的多谐波源责任量化方法 | |
CN114755530A (zh) | 一种输电线路鲁棒故障定位方法 | |
CN105139092B (zh) | 一种基于多时段pmu的高鲁棒性输电线路参数估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |