CN113642484B - 一种基于bp神经网络的大地电磁信号噪声压制方法及*** - Google Patents
一种基于bp神经网络的大地电磁信号噪声压制方法及*** Download PDFInfo
- Publication number
- CN113642484B CN113642484B CN202110946805.5A CN202110946805A CN113642484B CN 113642484 B CN113642484 B CN 113642484B CN 202110946805 A CN202110946805 A CN 202110946805A CN 113642484 B CN113642484 B CN 113642484B
- Authority
- CN
- China
- Prior art keywords
- data
- noise
- sample
- signal
- magnetotelluric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
- G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measuring Magnetic Variables (AREA)
Abstract
本发明公开了一种基于BP神经网络的大地电磁信号噪声压制方法及***,该方法包括:分别构建噪声轮廓样本、纯净信号样本、带噪数据样本,再将带噪数据样本和纯净信号样本输入至第一个BP神经网络中训练得到BP信噪辨识模型。以及将带噪数据样本、噪声轮廓样本输入第二个BP神经网络,训练得到BP去噪模型。最后,将实测大地电磁数据均匀分段首先输入BP信噪辨识模型中,保留辨识为无干扰的数据段,并将干扰数据段输入至BP去噪模型中输出噪声轮廓,干扰数据减去对应的噪声轮廓得到干扰数据去噪后的数据。最终将保留的无干扰数据与去噪后的数据进行拼接重构得到去噪后的大地电磁信号。
Description
技术领域
本发明属于大地电磁信号处理技术领域,具体涉及一种基于BP神经网络的大地电磁信号噪声压制方法及***。
背景技术
上世纪50年代Tikhon和Cagiard提出了大地电磁测深法(Magnetotelluric,MT),该方法是一种利用天然交变电磁场研究地球电性结构的地球物理勘探方法。由于该方法具有成本低、施工简单、分辨率高等优点,在矿产勘探和资源勘查等方面已得到广泛应用。然而,天然大地电磁信号微弱、频带宽,极易受到各种噪声的影响,导致无法做出正确的处理、解释。特别是在资源丰富的矿集区,采集到的MT数据往往伴随十分复杂且能量极强的噪声,有用信息几乎被完全湮灭。目前,经典的大地电磁去噪方法有远参考法、Robust估计法、小波阈值法等,但此类方法往往存在有用信息过处理以及去噪效率较低的问题。
近年来,针对如何有效去除MT数据中的强干扰,新兴方法如Hilbert-Huang变换、信息熵与有理函数滤波、数学形态滤波、信号子空间增强、小波变换及综合算法、信噪辨识与递归分析系数分解、稀疏分解、K-SVD字典学习、复合多尺度色散熵和正交匹配追踪等均被应用至该领域,试图从不同程度污染的大地电磁数据中获取真实的电性结构,从一定程度上提升了大地电磁数据质量;然而,现有技术主要是以整体处理方式进行信噪分离,导致强干扰被剔除时也滤除了一些有用的低频信息,严重影响了大地电磁数据本身的可靠性。同时传统时频域大地电磁信号信噪分离方法也存在处理效率较低的问题。
因此,针对大地电磁信号信噪分离精度不佳以及效率较低的问题,本发明提供一种基于BP神经网络的大地电磁信号噪声压制方法及***予以克服。
发明内容
本发明的目的是针对利用传统的时频域去噪方法对大地电磁数据中的大尺度干扰压制时所存在过处理和效率低的技术问题,提供一种基于BP神经网络的大地电磁信号噪声压制方法及***。其中,使用BP信噪辨识模型对大地电磁数据进行预处理能够有效减少有用信息的丢失,而BP去噪模型能够有效压制大尺度强干扰。
一方面,本发明提供一种基于BP神经网络的大地电磁信号噪声压制方法,包括如下步骤:
S1:构建大地电磁干扰数据的噪声轮廓样本和无干扰数据的纯净信号样本;
S2:将噪声轮廓样本与纯净信号样本相加得到带噪数据样本,再将所述带噪数据样本和所述纯净信号样本、所述带噪数据样本和所述纯净信号样本的样本分类标签输入第一个BP神经网络,训练得到BP信噪辨识模型,所述BP信噪辨识模型的输入数据为信号,输出数据为信号的分类标签;
S3:再将所述带噪数据样本、所述噪声轮廓样本输入第二个BP神经网络,训练得到BP去噪模型,所述BP去噪模型的输入数据为噪声信号,输出数据为噪声信号的噪声轮廓;
S4:将实测大地电磁数据均匀分段,并分别输入至所述BP信噪辨识模型中,保留辨识出的无干扰数据段,再将辨识出的干扰数据段输入至所述BP去噪模型中;
S5:所述BP去噪模型输出干扰数据段的噪声轮廓,再将所述干扰数据段的数据减去对应的噪声轮廓得到去噪后的数据;
S6:将步骤S4中保留的无干扰数据段和步骤S5中去噪后的数据进行重构拼接得到去噪后的大地电磁信号。
研究获知,矿集区采集的实测大地电磁数据中往往包含无干扰数据和噪声干扰数据,实测无干扰数据时域波形幅值较低且形态类似高斯白噪声,而噪声干扰数据呈现为明显的类脉冲、类三角波、类方波和复杂波形等。因此,基于无干扰数据和干扰数据在形态特征有着极大差异的特性,本发明从信号构造的角度出发另辟去噪技术思路,使用两个BP神经网络进行叠加处理,其中利用一个BP神经网络对干扰数据以及无干扰数据进行辨识分类处理。利用另一个BP神经网络提取噪声轮廓,这也是基于信号构造的特性出发而设定的技术改进,即通常认为噪声干扰数据由无干扰数据和噪声轮廓组成,因此实测大地电磁去噪需要将待处理数据的对应的轮廓提取出来,并使用对应带噪数据与噪声轮廓相减即可得到去噪后的大地电磁数据。
综上,本发明从大地电磁信号构造特征出发,充分利用大地电磁数据中干扰数据和无干扰数据之间的显著差异,人为构造样本,进而利用各个独立样本训练出两个具有不同功能的BP模型,两个BP模型的功能互补,形成递进式的去噪手段,充分利用了BP神经网络的效率优势以及信号构造特性,提高了信噪分离的精度。
本发明首先根据实测大地电磁数据中噪声类型的特点构建与之相似的噪声轮廓样本,并使用与实测大地电磁无干扰数据幅值接近的高斯白噪声作为模拟的无干扰大地电磁数据。利用改变噪声轮廓样本的幅值和滑动窗口等方法增加样本多样性和数量以满足BP神经网络能够根据海量数据学习到样本数据之间的映射关系。基于大数据训练得到的BP去噪模型能够根据输入的实测大地电磁干扰数据对应输出其噪声轮廓,去噪效率和可靠性得到极大提高。
进一步优选,步骤S1中构建所述噪声轮廓样本的过程,如下:
S11:根据数学函数生成单个噪声轮廓波形,所述噪声轮廓波形至少包括:脉冲波、类三角波、类方波的轮廓波形;
S12:改变单个波形的幅值以及滑动窗口截取单个波形的部分形状得到若干的噪声轮廓样本;
步骤S1中构建所述纯净信号样本的过程为:生成与实测大地电磁无干扰数据幅值接近的高斯白噪声,用以模拟无干扰大地电磁数据,并均匀分段作为纯净信号样本。
进一步优选,若步骤S11生成了单个噪声轮廓波形,步骤S12中增加轮廓样本数量及多样性的过程,均执行如下步骤:
S121:设单个噪声轮廓波形的数据矩阵A如下:
A=[α1,α2,...,αq]
式中,αq表示数据矩阵A中的第q个元素,q也表示单个噪声轮廓波形的数据长度;
S122:改变样本的幅值即对A乘以不同常数μ,针对不同μ值可以得到对应不同幅值的样本A′如下:
A′=μ×A=[μα1,μα2,...,μαq]
式中,矩阵A1和A2中元素均来源于原始样本A,αq-λ表示A中的第q-λ个元素,矩阵A1和A2中每一行均表示一个由A变换之后得到噪声轮廓样本。
根据实测大地电磁数据中噪声种类,利用数学函数生成单个脉冲波、类三角波、类方波等长度一致的噪声轮廓波形。一方面,通过改变噪声轮廓样本的幅值增加样本多样性和数量,且样本幅值大小范围设置在实测大地电磁数据幅值的最大值和最小值之间,目的在于构建的样本符合实测大地电磁数据的幅值特征,避免无效样本的出现。另一方面,由于实测大地电磁数据是分段输入至BP去噪模型中,因此每次输入的实测干扰数据并不一定为完整的如类三角波噪声干扰,也有可能只有类三角波噪声的部分波形,因此需要通过滑动窗口截取噪声轮廓样本的部分波形作为一个新的噪声轮廓样本,以满足样本多样性的要求,使得BP去噪模型输出最佳的噪声轮廓。其中先构建噪声轮廓样本和纯净信号样本,再使用噪声轮廓样本加上纯净信号样本作为带噪数据样本,每一个噪声轮廓样本都有与之对应的带噪数据样本。
其中,设单个噪声轮廓样本长度为k,所述的每一个噪声轮廓样本、纯净信号样本和带噪数据样本的长度均一致。
进一步优选,步骤S2中BP信噪辨识模型训练的过程执行如下步骤:
S21:设置第一个BP神经网络的训练参数,所述训练参数包括:网络层设计、隐含层数、初始学习率、训练周期和训练算法;
S22:分别为所述带噪数据样本和所述纯净信号样本添加分类标签;
S23:选择部分所述带噪数据样本和所述纯净信号样本用以构建测试集,部分所述带噪数据样本和所述纯净信号样本用以构建训练集;
S24:将所述训练集中的所述带噪数据样本和所述纯净信号样本、分类标签输入所述第一个BP神经网络,训练得到BP信噪辨识模型,并基于所述测试集中的所述带噪数据样本和所述纯净信号样本对辨识模型进行校验。
将BP神经网络应用于大地电磁信噪辨识本质上是使用其做数据分类,因此此处BP神经网络利用样本数据及其对应标签进行训练,训练后对应的输入为样本数据,输出为样本数据对应的标签。
譬如:网络参数选择为:网络层设为输入层、隐含层和输出层三层结构,其中隐含层数为25,初始学习率为0.1,训练周期为5000,训练算法选择trainscg算法。
进一步优选,步骤S3中BP去噪模型训练的过程执行如下步骤:
S31:设置第二个BP神经网络训练参数,所述训练参数包括;网络层设计、隐含层数、初始学习率、训练周期和训练算法;
S32:选取部分所述带噪数据样本和所述噪声轮廓样本用以构建测试集,部分所述带噪数据样本和所述噪声轮廓样本用以构建训练集;
S33:将所述训练集中的所述带噪数据样本、噪声轮廓样本输入第二个BP神经网络,进行训练得到BP去噪模型,并基于所述测试集中的所述带噪数据样本和所述噪声轮廓样本对去噪模型进行校验。
设置对应的BP神经网络的训练数据,并抽取部分样本作为测试集用于检验模型的性能。根据不断改变参数值以及观察测试样本的误差下降曲线设置最佳的训练参数;
其中该步骤中BP神经网络的参数选择与步骤S22中参数类型相同,但具体数值不同,网络参数选择为:网络层设为输入层、隐含层和输出层三层结构,其中隐含层数为15,初始学习率为0.05,训练周期为5000,训练算法选择trainlm算法。
进一步优选,若实测大地电磁数据M表示如下:
M=[m1,m2,...,mn]
式中,mn为一段实测大地电磁数据M中的第n个元素,n也为该段实测大地电磁数据M的数据长度;
则步骤S4的执行过程如下:
S41:将所述实测大地电磁数据M按照长度k均匀分段,设j=n/k为整数,则可得到分成j段数据后的大地电磁数据矩阵M′如下:
式中,大地电磁数据矩阵M′中的元素均来源于所述实测大地电磁数据M,mjk表示M中的第j×k个元素,大地电磁数据矩阵M′由j个长度为k的数据段构成;
S42:将大地电磁数据矩阵M′中每一行数据依次输入至所述BP信噪辨识模型中,模型输出对应数据段的分类标签,所述分类标签表示对应数据段为无干扰数据段或干扰数据段;
S43:依据分类标签,将干扰数据段输入至所述BP去噪模型中;将无干扰数据段保留在大地电磁数据M的原始位置。
将实测大地电磁数据按照样本长度k均匀分段并依次输入至BP信噪辨识模型中,模型输出对应数据段的标签,基于标签判断该段数据是否为无干扰数据。再将辨识为无干扰数据段保留在实测大地电磁数据原始位置,而干扰数据将进行下一步去噪处理。通过信噪辨识环节能够保留信号中更多的有用信息,避免数据处理的盲目性。
进一步优选,利用所述BP信噪辨识模型辨识出的所述实测大地电磁数据中干扰数据段,若辨识出的所有干扰数据段构成的数据矩阵H表示如下:
式中,hck为数据矩阵H中的第c行第k列个元素,c表示辨识出的所述实测大地电磁数据中干扰数据段的数量;
则将所述数据矩阵H输入至BP去噪模型,所述BP去噪模型的输出数据矩阵H的噪声轮廓矩阵W,表示如下:
式中,wck表示W中的第c×k个元素,且与矩阵H中元素位置对应。
步骤S6中将步骤S4中保留的无干扰数据段和步骤S5中去噪后的数据进行重构拼接得到去噪后的大地电磁信号的过程,执行如下步骤:
S61:使用数据矩阵H减去BP去噪模型输出的对应噪声轮廓矩阵得到去噪矩阵M″如下:
S62:将BP信噪辨识模型辨识为无干扰数据段与去噪数据矩阵M″中的每一行数据进行拼接即得到去噪后的大地电磁信号,其中,所述无干扰数据段和去噪后的数据的拼接位置与其在原始实测大地电磁数据M中的位置一一对应。
使用原始实测大地电磁干扰数据减去对应的BP模型输出的噪声轮廓数据即可得到去噪后的数据。再与保留的无干扰数据拼接重构即可得到完整的去噪后的大地电磁信号。
进一步优选,BP神经网络的训练算法包括BP网络输出误差判定规则(最小二乘法),具体公式如下:
式中,E表示期望输出和网络实际输出的误差,L表示BP网络具有L个输出节点,dg表示第g个节点的期望输出值,Og表示第g个节点的网络实际输出值;
其中,BP神经网络的训练算法还包括BP网络加权系数的调整规则(梯度下降法),具体公式如下:
式中,vf,g、vp,f、Δvf,g和Δvp,f分别表示f节点和g节点间的加权系数、p节点和f节点间的加权系数、f节点和g节点间的加权系数的修正值和p节点和f节点间的加权系数的修正值,η表示学习速率,且规定η>0,t表示时间;
其中,BP神经网络训练过程通过上述两个公式对BP神经网络中各节点的权值调整和修正,最终获得最佳的权值参数。
BP神经网络数据分类和数据映射的原理在于,设置对应的输入和输出并对网络进行训练,在每一个训练周期中,根据目标值和网络输出值返回的误差修正BP神经网络中各神经元之间权值,最终当返回误差趋于0时得到神经元之间的最佳权值,获得的权值矩阵能够反映训练输入数据和训练输出之间的映射关系。
其中第一个BP神经网络用于信噪辨识,旨在获得输入数据和对应数据标签之间存在的映射关系;第二个BP神经网络用于数据去噪,旨在基于大数据训练获得带噪数据和噪声轮廓之间的映射关系。
进一步优选,步骤S5中BP去噪模型输出实测大地电磁数据噪声轮廓的方法为:利用所述带噪数据样本和噪声轮廓样本训练BP神经网络得到BP去噪模型,BP模型中具有使输入带噪数据转化为噪声轮廓的权值矩阵;利用BP神经网络的数据映射和泛化能力,实测大地电磁数据经过BP模型中的权值计算后输出对应噪声轮廓。
第二方面,本发明还提供一种基于上述一种基于BP神经网络的大地电磁信号噪声压制方法的***,包括如下:
样本库构建模块:用于构建大地电磁信号的噪声轮廓样本库、纯净信号样本库和带噪数据样本库,所述噪声轮廓样本库、纯净信号样本库和带噪数据样本库分别包含大地电磁干扰数据的噪声轮廓样本、无干扰数据的纯净信号样本、带噪数据样本。
BP信噪辨识模型构建模块:用于将噪声轮廓样本与纯净信号样本相加得到带噪数据样本,再将所述带噪数据样本和所述纯净信号样本、所述带噪数据样本和所述纯净信号样本的样本分类标签输入第一个BP神经网络,训练得到BP信噪辨识模型,所述BP信噪辨识模型的输入数据为信号,输出数据为信号的分类标签;
所述BP信噪辨识模型用于鉴别信号段为干扰数据段还是无干扰数据段;
识别模块:用于将待辨识的实测大地电磁数据输入至所述BP信噪辨识模型识别出干扰数据段和无干扰数据段;
BP去噪模型构建模块:用于将所述带噪数据样本、所述噪声轮廓样本输入第二个BP神经网络,训练得到BP去噪模型,所述BP去噪模型的输入数据为噪声信号,输出数据为噪声信号的噪声轮廓;
所述BP去噪模型用于输出干扰数据段的噪声轮廓;
去噪模块:利用BP信噪辨识模型辨识的干扰数据段减去对应BP去噪模型输出的噪声轮廓即得到去噪后的大地电磁数据。
重构模块:用于将保留的无干扰数据段与去噪后的数据进行拼接重构得到去噪的大地电磁信号。
有益效果
本发明提供的一种基于BP神经网络的大地电磁信号噪声压制方法,通过构建海量与实测大地电磁数据类似的噪声轮廓样本、纯净信号样本和带噪数据样本训练BP神经网络分别得到辨识模型和去噪模型。BP信噪辨识模型能够基于干扰数据和无干扰数据的形态差异对实测大地电磁数据中的数据段进行判断,减少有用信息的丢失。BP去噪模型基于带噪数据和噪声轮廓之间的映射关系对实测大地电磁数据中含强干扰的数据段进行去噪处理能够有效的压制大地电磁数据中大尺度强干扰,还原出真实可靠的大地电磁信号。
基于大数据训练得到的BP去噪模型实质上表现为带噪数据与噪声轮廓之间转化的权值矩阵,在对实测大地电磁信号进行处理时,实测数据映射为噪声轮廓几乎不消耗时间,相比传统时频域方法,基于大数据的智能算法具有更高的信噪分离可靠性和数据处理效率。
附图说明
图1为本发明实施例提供的流程图;
图2中(a)、(b)分别为部分噪声轮廓样本和对应的带噪数据样本图;
图3中(a)、(b)分别为模拟数据和实测数据的信噪辨识和去噪效果图;
图4中(a)、(b)分别为EL22208A实测点原始视电阻率-相位曲线和本发明方法去噪后的视电阻率-相位曲线图。
具体实施方式
针对如何提高大地电磁信号去噪可靠性和效率性,本发明利用BP神经网络的数据分类和映射功能,通过训练海量与实测大地电磁信号类似的样本数据获得BP信噪辨识模型和去噪模型,一方面信噪辨识模型减少了有用信息丢失,提高了实测大地电磁信号去噪的可靠性;且在获得BP模型后,对实测大地电磁数据进行辨识和去噪处理消耗时间较短,效率得到极大的提升。下面将结合实施例对本发明做进一步的说明。
如图1所示,本发明提供的一种基于BP神经网络的大地电磁信号噪声压制方法,包括如下步骤:
步骤1:构建海量基于大地电磁数据的噪声轮廓样本、纯净信号样本和带噪数据样本;
其中,通过分析大地电磁实测点EL22208A得出信号中主要的噪声干扰类型为脉冲波、类三角波、类方波和复杂噪声干扰等,波形幅值范围在(-100000:100000)之间,因此先根据数学函数生成这几种类型的单个噪声轮廓,再通过改变单个轮廓的幅值以及使用滑动窗口截取单个波形的部分形状以获得海量噪声轮廓样本,其中生成的样本幅值范围在(-100000:100000)之间,样本长度均为50。而实测大地电磁无干扰数据幅值在(-500:500)之间,又因为其数据的形态特征与幅值接近的高斯白噪声极为类似,因此构建与噪声轮廓样本长度相同、幅值在(-500:500)之间的高斯白噪声作为模拟无干扰数据即纯净信号样本。将噪声轮廓样本和纯净信号样本相加即可得到带噪数据样本。如图2中(a)图和(b)图所示分别为样本库中部分噪声轮廓样本和对应的带噪样本。
本实施例中,增加样本数量和多样性的步骤如下:
步骤1.1:利用数学函数生成长度为50的单个噪声轮廓样本如脉冲波、类三角波、类方波等噪声轮廓波形;
步骤1.2:设其中类三角波噪声轮廓样本的数据矩阵A如下:
A=[α1,α2,...,α50]
步骤1.3:改变样本的幅值即对A乘以不同常数μ,针对不同μ值可以得到对应不同幅值的样本A′如下:
A′=μ×A=[μα1,μα2,...,μα50]
其中通过改变μ的取值使得样本幅值范围处于实测大地电磁数据的最大值和最小值之间。
式中,矩阵A1和A2中元素均来源于原始样本A,α45表示A中的第45个元素,矩阵A1和A2中每一行均表示一个由A变换之后得到噪声轮廓样本。
其中,所述其它单个脉冲波、类方波等噪声轮廓波形均可执行上述步骤1.1-1.4可生成大量样本。
步骤2:基于带噪数据样本和纯净数据样本训练得到BP信噪辨识模型。本实施例中,BP信噪辨识模型训练的步骤如下:
步骤2.1:设置用于信噪辨识的BP神经网络的训练参数,如网络层设计、隐含层数、初始学习率、训练周期和训练算法等;
步骤2.2:将带噪数据样本和纯净信号样本分别添加标签1和标签2,并设置10%的带噪数据样本和纯净信号样本作为测试集,用于检验网络模型的信噪辨识准确度;
步骤2.3:将样本数据及其标签输入BP神经网络进行训练得到BP信噪辨识模型,其中,将信号设置为BP去噪模型的输入,标签设置为BP去噪模型的输出;
其中网络训练参数选择为:网络层设为输入层、隐含层和输出层三层结构,其中隐含层数为25,初始学习率为0.1,训练周期为5000,训练算法选择trainscg算法;
步骤3:将带噪样本、噪声轮廓样本输入BP神经网络,训练得到BP去噪模型。本实施例中,BP去噪模型训练的步骤如下:
步骤3.1:将所有带噪样本及其噪声轮廓样本作为网络输入数据,其中,将带噪信号设为BP去噪模型的输入,噪声轮廓样本设为BP去噪模型的目标输出,从训练样本中抽取10%作为测试集用于检验BP网络的性能;
步骤3.2:设置BP神经网络训练参数,如网络层设计、隐含层数、初始学习率、训练周期和训练算法等;
步骤3.3:基于上述步骤3.1和3.2训练样本数据和网络参数设置训练BP神经网络得到BP去噪模型。
其中网络训练参数选择为:网络层设为输入层、隐含层和输出层三层结构,其中隐含层数为15,初始学习率为0.05,训练周期为5000,训练算法选择trainlm算法。
其中,BP神经网络的训练规则包括BP网络输出误差判定规则(最小二乘法),具体公式如下:
式中,E表示期望输出和网络实际输出的误差,L表示BP网络具有L个输出节点,dg表示第g个节点的期望输出值,Og表示第g个节点的网络实际输出值。
其中BP神经网络的训练规则还包括BP网络加权系数的调整规则(梯度下降法),具体公式如下:
式中,vf,g、vp,f、Δvf,g和Δvp,f分别表示f节点和g节点间的加权系数、p节点和f节点间的加权系数、f节点和g节点间的加权系数的修正值和p节点和f节点间的加权系数的修正值,η表示学习速率,且规定η>0。通过上述两个训练规则不断对BP神经网络中各节点的权值调整和修正,最终获得最佳权值参数。
步骤4:将模拟数据或实测数据输入至BP信噪辨识模型,判断数据段是否为无干扰数据。本实施例中,通过BP信噪辨识模型甄别数据段的步骤如下:
步骤4.1:设实测大地电磁数据为M如下:
M=[m1,m2,...,mn]
式中,mn为该段数据中的第n个元素;
步骤4.2:将实测大地电磁数据按照样本长度50均匀分段,设j=n/50为整数,则可得到分成j段数据后的大地电磁数据M′如下:
式中,M′中的元素均来源于M,m50j表示M中的第50×j个元素,同样表示M′划分成j个长度为50的数据段;
步骤4.3:将数据矩阵M′中每一行数据依次输入至BP信噪辨识模型中,模型对应输出该数据段的标签,若输出标签1则表明该段数据为带噪数据即干扰数据,反之输出标签2则表明该段数据为纯净数据即无干扰数据;
步骤4.4:将输出标签为1的干扰数据段输入至BP去噪模型中进行去噪处理,而输出标签为2的无干扰数据段保留在大地电磁数据M的原始位置。
其中步骤4中的M既可表示实测大地电磁数据也可表示模拟数据。
步骤5:基于BP去噪模型获取实测大地电磁数据中干扰数据段的噪声轮廓;本实施例中,获取干扰数据的噪声轮廓的步骤如下:
步骤5.1:设BP信噪辨识模型辨识为干扰的数据矩阵H如下:
式中,h50c为数据矩阵H中的第c行第50列个元素,其中c也表示辨识为干扰的数据段数量;
步骤5.2:将数据矩阵H输入至BP去噪模型中,模型输出H的噪声轮廓矩阵W为:
式中,w50c表示W中的第c×50个元素,且与矩阵H中元素位置对应。
步骤6:基于BP去噪模型输出的噪声轮廓对干扰数据去噪并与无干扰数据拼接重构获得去噪后的大地电磁信号。使用数据矩阵H减去BP去噪模型输出的对应噪声轮廓W得到去噪矩阵M″如下:
其中,由于去噪数据矩阵M″中的每一行对应为BP信噪辨识模型辨识为干扰的数据段去噪后的数据,因此将BP信噪辨识模型辨识为无干扰的数据段与去噪数据矩阵M″中的每一行数据进行拼接即得到去噪后的大地电磁信号。其中辨识为无干扰的数据和去噪后的数据拼接位置为在原始实测大地电磁数据M中的对应位置。
其中,对模拟数据和实测数据先使用BP信噪辨识模型进行判别是否为无干扰数据段,将辨识为无干扰的数据段保留的同时将干扰数据段输入至BP去噪模型中进行处理。如图3中(a)和(b)所示分别为模拟数据和实测数据的信噪辨识效果和去噪效果。分析图3可知,BP信噪辨识模型能够有效甄别模拟数据和实测数据中的干扰数据和无干扰数据。在准确辨识的前提下,BP去噪模型仅对干扰数据段进行处理并生成对应的噪声轮廓,表明本发明方法在保留更多低频有用信息的同时能够有效压制大地电磁数据中的大尺度强干扰。
步骤7:使用实测点(EL22208A)去噪前后的大地电磁数据计算视电阻率-相位曲线评价效果优劣。如图4中(a)所示为实测点的原始视电阻率-相位曲线,图4中(b)为经过本发明方法处理后的视电阻率-相位曲线,其中和分别表示xy和yx方向上的视电阻率值,通过对比处理前后视电阻率相位曲线可知,本发明方法能够有效压制大地电磁信号中的强干扰,原始视电阻率曲线呈现的近源效应得到缓解,相位趋于正常,表明本发明方面不仅能够快速处理大地电磁数据,而且能够有效去除大地电磁信号中的强干扰。本发明对于大地电磁信号数据处理有着广阔的应用前景。
在一些实现方式中,本发明还提供一种基于BP神经网络的大地电磁信号噪声压制方法的大地电磁信号噪声压制***,其包括:样本库构建模块、BP信噪辨识模型构建模块、BP去噪模型构建模块、识别模块、去噪模块和重构模块。
其中,样本库构建模块用于构建大地电磁信号的噪声轮廓样本库、纯净信号样本库和带噪数据样本库。其中,在一些实现方式中,对照前述步骤1对样本数据进行处理;
BP信噪辨识模型构建模块:用于将噪声轮廓样本与纯净信号样本相加得到带噪数据样本,再将所述带噪数据样本和所述纯净信号样本、所述带噪数据样本和所述纯净信号样本的样本分类标签输入第一个BP神经网络,训练得到BP信噪辨识模型,所述BP信噪辨识模型的输入数据为信号,输出数据为信号的分类标签;
识别模块:用于将待辨识的实测大地电磁数据输入至所述BP信噪辨识模型识别出干扰数据段和无干扰数据段;
BP去噪模型构建模块:用于将所述带噪数据样本、所述噪声轮廓样本输入第二个BP神经网络,训练得到BP去噪模型,所述BP去噪模型的输入数据为噪声信号,输出数据为噪声信号的噪声轮廓;
去噪模块:利用BP信噪辨识模型辨识的干扰数据段减去对应BP去噪模型输出的噪声轮廓即得到去噪后的大地电磁数据。
重构模块:用于将所述干扰数据去噪后的数据与所述无干扰数据段进行数据拼接重构得到去噪的大地电磁信号。
其中,各个功能模块的具体实现过程请参照前述方法内容的阐述。应当理解,上述单元模块的具体实现过程参照方法内容,本发明在此不进行具体的赘述,且上述功能模块单元的划分仅仅是一种逻辑功能的划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。同时,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
需要强调的是,本发明所述的实例是说明性的,而不是限定性的,因此本发明不限于具体实施方式中所述的实例,凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式,不脱离本发明宗旨和范围的,不论是修改还是替换,同样属于本发明的保护范围。
Claims (9)
1.一种基于BP神经网络的大地电磁信号噪声压制方法,其特征在于:包括如下步骤:
S1:构建大地电磁干扰数据的噪声轮廓样本和无干扰数据的纯净信号样本;
S2:将噪声轮廓样本与纯净信号样本相加得到带噪数据样本,再将所述带噪数据样本和所述纯净信号样本、所述带噪数据样本和所述纯净信号样本的样本分类标签输入第一个BP神经网络,训练得到BP信噪辨识模型,所述BP信噪辨识模型的输入数据为信号,输出数据为信号的分类标签;
S3:再将所述带噪数据样本、所述噪声轮廓样本输入第二个BP神经网络,训练得到BP去噪模型,所述BP去噪模型的输入数据为噪声信号,输出数据为噪声信号的噪声轮廓;
S4:将实测大地电磁数据均匀分段,并分别输入至所述BP信噪辨识模型中,保留辨识出的无干扰数据段,再将辨识出的干扰数据段输入至所述BP去噪模型中;
S5:所述BP去噪模型输出干扰数据段的噪声轮廓,再将所述干扰数据段的数据减去对应的噪声轮廓得到去噪后的数据;
S6:将步骤S4中保留的无干扰数据段和步骤S5中去噪后的数据进行重构拼接得到去噪后的大地电磁信号;
步骤S1中构建所述噪声轮廓样本的过程,如下:
S11:根据数学函数生成单个噪声轮廓波形,所述噪声轮廓波形至少包括:脉冲波、类三角波、类方波的轮廓波形;
S12:改变单个波形的幅值以及滑动窗口截取单个波形的部分形状得到若干的噪声轮廓样本;
步骤S1中构建所述纯净信号样本的过程为:生成与实测大地电磁无干扰数据幅值接近的高斯白噪声,用以模拟无干扰大地电磁数据,并均匀分段作为纯净信号样本。
2.根据权利要求1所述的方法,其特征在于:若步骤S11生成了单个噪声轮廓波形,步骤S12中增加轮廓样本数量及多样性的过程,均执行如下步骤:
S121:设单个噪声轮廓波形的数据矩阵A如下:
A=[α1,α2,...,αq]
式中,αq表示数据矩阵A中的第q个元素,q也表示单个噪声轮廓波形的数据长度;
S122:改变样本的幅值即对A乘以不同常数μ,针对不同μ值可以得到对应不同幅值的样本A′如下:
A′=μ×A=[μα1,μα2,...,μαq]
式中,矩阵A1和A2中元素均来源于原始样本A,αq-λ表示A中的第q-λ个元素,矩阵A1和A2中每一行均表示一个由A变换之后得到噪声轮廓样本。
3.根据权利要求1所述的方法,其特征在于:步骤S2中BP信噪辨识模型训练的过程执行如下步骤:
S21:设置第一个BP神经网络的训练参数,所述训练参数包括:网络层设计、隐含层数、初始学习率、训练周期和训练算法;
S22:分别为所述带噪数据样本和所述纯净信号样本添加分类标签;
S23:选择部分所述带噪数据样本和所述纯净信号样本用以构建测试集,部分所述带噪数据样本和所述纯净信号样本用以构建训练集;
S24:将所述训练集中的所述带噪数据样本和所述纯净信号样本、分类标签输入所述第一个BP神经网络,训练得到BP信噪辨识模型,并基于所述测试集中的所述带噪数据样本和所述纯净信号样本对辨识模型进行校验。
4.根据权利要求1所述的方法,其特征在于:步骤S3中BP去噪模型训练的过程执行如下步骤:
S31:设置第二个BP神经网络训练参数,所述训练参数包括;网络层设计、隐含层数、初始学习率、训练周期和训练算法;
S32:选取部分所述带噪数据样本和所述噪声轮廓样本用以构建测试集,部分所述带噪数据样本和所述噪声轮廓样本用以构建训练集;
S33:将所述训练集中的所述带噪数据样本、噪声轮廓样本输入第二个BP神经网络,进行训练得到BP去噪模型,并基于所述测试集中的所述带噪数据样本和所述噪声轮廓样本对去噪模型进行校验。
5.根据权利要求1所述的方法,其特征在于:若实测大地电磁数据M表示如下:
M=[m1,m2,...,mn]
式中,mn为一段实测大地电磁数据M中的第n个元素,n也为该段实测大地电磁数据M的数据长度;
则步骤S4的执行过程如下:
S41:将所述实测大地电磁数据M按照长度k均匀分段,设j=n/k为整数,则可得到分成j段数据后的大地电磁数据矩阵M′如下:
式中,大地电磁数据矩阵M′中的元素均来源于所述实测大地电磁数据M,mjk表示M中的第j×k个元素,大地电磁数据矩阵M′由j个长度为k的数据段构成;
S42:将大地电磁数据矩阵M′中每一行数据依次输入至所述BP信噪辨识模型中,模型输出对应数据段的分类标签,所述分类标签表示对应数据段为无干扰数据段或干扰数据段;
S43:依据分类标签,将干扰数据段输入至所述BP去噪模型中;将无干扰数据段保留在大地电磁数据M的原始位置。
8.根据权利要求3或4所述的方法,其特征在于:BP神经网络的训练算法包括采用最小二乘法的BP网络输出误差判定规则,具体公式如下:
式中,E表示期望输出和网络实际输出的误差,L表示BP网络具有L个输出节点,dg表示第g个节点的期望输出值,Og表示第g个节点的网络实际输出值;
其中,BP神经网络的训练算法还包括BP网络加权系数的调整规则,具体公式如下:
式中,vf,g、vp,f、Δvf,g和Δvp,f分别表示f节点和g节点间的加权系数、p节点和f节点间的加权系数、f节点和g节点间的加权系数的修正值和p节点和f节点间的加权系数的修正值,η表示学习速率,且规定η>0,t表示时间;
其中,BP神经网络训练过程通过上述两个公式对BP神经网络中各节点的权值调整和修正,最终获得最佳的权值参数。
9.一种基于权利要求1-8任一项所述方法的***,其特征在于:包括如下:
样本库构建模块:用于构建大地电磁信号的噪声轮廓样本库、纯净信号样本库和带噪数据样本库,所述噪声轮廓样本库、纯净信号样本库和带噪数据样本库分别包含大地电磁干扰数据的噪声轮廓样本、无干扰数据的纯净信号样本、带噪数据样本;
BP信噪辨识模型构建模块:用于将噪声轮廓样本与纯净信号样本相加得到带噪数据样本,再将所述带噪数据样本和所述纯净信号样本、所述带噪数据样本和所述纯净信号样本的样本分类标签输入第一个BP神经网络,训练得到BP信噪辨识模型,所述BP信噪辨识模型的输入数据为信号,输出数据为信号的分类标签;
所述BP信噪辨识模型用于鉴别信号段为干扰数据段还是无干扰数据段;
识别模块:用于将待辨识的实测大地电磁数据输入至所述BP信噪辨识模型识别出干扰数据段和无干扰数据段;
BP去噪模型构建模块:用于将所述带噪数据样本、所述噪声轮廓样本输入第二个BP神经网络,训练得到BP去噪模型,所述BP去噪模型的输入数据为噪声信号,输出数据为噪声信号的噪声轮廓;
所述BP去噪模型用于输出干扰数据段的噪声轮廓;
去噪模块:利用BP信噪辨识模型辨识的干扰数据段减去对应BP去噪模型输出的噪声轮廓即得到去噪后的大地电磁数据;
重构模块:用于将保留的无干扰数据段与去噪后的数据进行拼接重构得到去噪的大地电磁信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110946805.5A CN113642484B (zh) | 2021-08-18 | 2021-08-18 | 一种基于bp神经网络的大地电磁信号噪声压制方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110946805.5A CN113642484B (zh) | 2021-08-18 | 2021-08-18 | 一种基于bp神经网络的大地电磁信号噪声压制方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113642484A CN113642484A (zh) | 2021-11-12 |
CN113642484B true CN113642484B (zh) | 2022-06-28 |
Family
ID=78422741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110946805.5A Active CN113642484B (zh) | 2021-08-18 | 2021-08-18 | 一种基于bp神经网络的大地电磁信号噪声压制方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113642484B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115017964B (zh) * | 2022-08-09 | 2022-10-25 | 湖南师范大学 | 基于注意力机制稀疏表示的大地电磁信号去噪方法及*** |
CN115169422B (zh) * | 2022-09-07 | 2022-11-25 | 湖南师范大学 | 一种基于堆栈自编码器的大地电磁信号去噪方法及*** |
CN117574056B (zh) * | 2023-11-21 | 2024-05-10 | 中南大学 | 基于混合神经网络模型的广域电磁数据去噪方法及*** |
CN117891160B (zh) * | 2024-03-13 | 2024-05-31 | 陕西西高电气科技有限公司 | 一种开关柜智能控制***及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109100814A (zh) * | 2018-07-31 | 2018-12-28 | 湖南师范大学 | 一种基于信噪分类的音频大地电磁信号去噪方法 |
CN111879397A (zh) * | 2020-09-01 | 2020-11-03 | 国网河北省电力有限公司检修分公司 | 高压断路器储能机构故障诊断方法 |
CN112882115A (zh) * | 2021-04-30 | 2021-06-01 | 湖南师范大学 | 基于gwo优化小波阈值的大地电磁信号去噪方法及*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6950747B2 (en) * | 2003-01-30 | 2005-09-27 | Kent Byerly | Methods of processing magnetotelluric signals |
-
2021
- 2021-08-18 CN CN202110946805.5A patent/CN113642484B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109100814A (zh) * | 2018-07-31 | 2018-12-28 | 湖南师范大学 | 一种基于信噪分类的音频大地电磁信号去噪方法 |
CN111879397A (zh) * | 2020-09-01 | 2020-11-03 | 国网河北省电力有限公司检修分公司 | 高压断路器储能机构故障诊断方法 |
CN112882115A (zh) * | 2021-04-30 | 2021-06-01 | 湖南师范大学 | 基于gwo优化小波阈值的大地电磁信号去噪方法及*** |
Non-Patent Citations (3)
Title |
---|
李晋 等.基于匹配追踪和遗传算法的大地电磁噪声压制.《地球物理学报》.2018, * |
李晋 等.局域均值分解和小波阈值在大地电磁噪声压制中的应用.《振动与冲击》.2017, * |
李晋等.基于信号子空间增强和端点检测的大地电磁噪声压制.《物理学报》.2013,(第01期), * |
Also Published As
Publication number | Publication date |
---|---|
CN113642484A (zh) | 2021-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113642484B (zh) | 一种基于bp神经网络的大地电磁信号噪声压制方法及*** | |
CN108845352B (zh) | 基于vmd近似熵与多层感知机的沙漠地震信号去噪方法 | |
CN111723701B (zh) | 一种水中目标识别方法 | |
CN110718232B (zh) | 一种基于二维语谱图和条件生成对抗网络的语音增强方法 | |
CN113094993B (zh) | 基于自编码神经网络的调制信号去噪方法 | |
CN109101910B (zh) | 一种基于噪声甄别的大地电磁信号去噪方法 | |
CN111126471A (zh) | 微地震事件检测方法及*** | |
CN110550518A (zh) | 一种基于稀疏去噪自编码的电梯运行异常检测方法 | |
CN111190227B (zh) | 基于残差卷积生成对抗模型的低信噪比地震数据消噪方法 | |
CN108847252B (zh) | 基于声信号语谱图纹理分布的声特征提取方法 | |
CN113109289A (zh) | 最优小波去噪组合的选取方法及THz光谱去噪方法 | |
CN112598593B (zh) | 基于非均衡深度期望块对数似然网络的地震噪声压制方法 | |
CN114897023B (zh) | 一种基于水声目标敏感差异特征提取的水声目标辨识方法 | |
CN112086100B (zh) | 基于量化误差熵的多层随机神经网络的城市噪音识别方法 | |
CN112183225A (zh) | 一种基于概率潜在语义分析的水下目标信号特征提取方法 | |
Yang et al. | GAN-based sample expansion for underwater acoustic signal | |
CN117076858B (zh) | 一种基于深度学习的低频大地电磁强干扰压制方法及*** | |
CN111797690B (zh) | 基于小波神经网络光栅阵列光纤周界入侵识别方法及装置 | |
CN116662872A (zh) | 汽车面板精整线轴承类机械故障诊断方法 | |
CN113009564B (zh) | 地震数据处理方法和装置 | |
CN112363217A (zh) | 一种地震数据随机噪声压制方法及*** | |
CN114626412A (zh) | 用于无人值守传感器***的多类别目标识别方法及*** | |
CN114970647B (zh) | 基于概率神经网络的电磁数据识别方法及*** | |
CN117590478A (zh) | 基于卷积神经网络和小波阈值法的大地电磁信号噪声压制方法及*** | |
CN117574056B (zh) | 基于混合神经网络模型的广域电磁数据去噪方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |