CN116090352A - 一种基于门循环单元和注意力机制的全波形反演方法 - Google Patents
一种基于门循环单元和注意力机制的全波形反演方法 Download PDFInfo
- Publication number
- CN116090352A CN116090352A CN202310115909.0A CN202310115909A CN116090352A CN 116090352 A CN116090352 A CN 116090352A CN 202310115909 A CN202310115909 A CN 202310115909A CN 116090352 A CN116090352 A CN 116090352A
- Authority
- CN
- China
- Prior art keywords
- neural network
- attention
- model
- data
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/08—Probabilistic or stochastic CAD
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Computer Hardware Design (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
本发明公开了一种基于门循环单元和注意力机制的全波形反演方法,包括步骤:获取实际地震数据;数据预处理及数据集划分;构建神经网络模型并设置超参数;训练神经网络模型以拟合正演过程;加载最优模型参数并对未知地震数据进行反演映射。通过使用本发明可以在减少计算时间的同时,显著提高全波形反演的精度,并提升全波形反演的泛化能力。本发明作为一种基于门循环单元和注意力机制的全波形反演方法,可以广泛应用于深部储层勘探任务,更快速,更清晰地预测出地质速度模型并实现准确的地质物性解释。
Description
技术领域
本发明涉及人工智能与地球物理技术领域,具体涉及一种基于门循环单元和注意力机制的全波形反演方法。
背景技术
全波形反演(Full Waveform Inversions,FWI)能够从地震资料中确定地下物性并对其高精度、高分辨率成像,在地球科学中的地下表征中发挥着重要作用。通常,FWI在数学上被表述为一个非线性逆问题,其数值实现既可以在时域也可以在频域。然而,FWI的计算方法不仅求解计算量大,而且由于反演问题的非线性导致收敛到局部极小值,降低了算法的应用性和鲁棒性。为了缓解上述问题,许多传统的方法被学者们提出来并在此基础上进行了拓展,如基于正则化的技术、基于先验信息的方法、多尺度反演方法和预处理方法。
近年来,随着计算能力的大幅提升和深度神经网络的兴起,许多深度学习方法被应用于地质勘探数据处理及反演等问题上。基于深度学习的全波形反演方法主要分为基于深度神经网络、基于卷积神经网络和基于循环神经网络三类:1)基于深度神经网络的全波形反演方法:Mauricio等人提出一种直接依托于原始数据训练的精确深度神经网络模型,通过该模型训练得到的预测模型映射出数据空间与速度模型之间的关系,最终的输出结果与真实地表取得的实验数据仅有较小误差,表明了深度神经网络在全波形反演方法上的研究价值(Mauricio A,Joseph J,Amir A,et al.Deep-learning tomography[J].LeadingEdge.2018,37(1):58-66.);2)基于卷积神经网络的全波形反演方法:Luan等人使用有限差分法对实际观测数据进行模拟来构建训练数据集,以此作为输入训练全卷积神经网络去预测初始速度模型。该方法的输出结果已具备了真实观测数据的大致细节,再通过全波形反演方法进行精确反演之后,可以得到具有高精度、高分辨率的地下介质物性成像(Luan C,Peterson N S,Erick G S N.Estimating Initial Velocity Models for the FWI UsingDeep Learning[C].International Congress of the Brazilian Geophysical Society&Expogef.2019);3)基于循环神经网络的全波形反演方法:Sun等人提出了一种能够建模一维或多维标量声学地震正向传播的递归神经网络,并证明了训练该网络并使用观测数据更新其权重,是相当于在解决地理勘探的逆问题,即基于梯度的地震全波形反演(Sun J,NiuZ,Kristopher A I,et al.A theory-guided deep-learning formulation andoptimization of seismic waveform inversion[J].Geophysics,2020,85(2):R87-R99.)。Wang等人在各向同性弹性波介质中,通过循环神经网络建模了的多参数全波形反演,并证明了全批量自动微分法和传统的邻接状态法在弹性各向同性介质中反演的等效性(Wang W,McMechan G A,Ma J.Elastic isotropic and anisotropic full waveforminversions using automatic differentiation for gradient calculations in aframework of recurrent neural networks[J].Geophysics,2021,86(6):R795-R810.)。然而,现有的大多数基于深度学习的全波形反演方法对地下介质物性反演仅能够做到二维成像且构造刻画不准确,并且存在用于全波形反演的深度学习模型泛化能力弱、鲁棒性差等现象,以及易受初始模型制约、计算效率低等问题。
发明内容
针对现有技术的不足,本发明旨在提供一种基于门循环单元和注意力机制的全波形反演方法,其不仅能提升传统基于循环神经网络全波形反演方法的非线性拟合能力,还能提高对输入信息中重要特征的关注程度,进而加速全波形反演的全过程。
为了实现上述目的,本发明采用如下技术方案:
一种基于门循环单元和注意力机制的全波形反演方法,包括以下步骤:
步骤1:获取实际工作面地震观测数据,并对得到的实际工作面地震观测数据进行数据预处理,以对应的地质速度模型作为标签集,通过随机采样将实际工作面地震观测数据构建为训练集和测试集;
步骤2:构建基于门循环单元和注意力机制的全波形反演映射中正演过程的神经网络模型,将步骤1所得的训练集的数据及其对应的地质速度模型标签集作为输入数据输入到所述神经网络模型中,并设置训练神经网络模型所需的超参数,包括最大迭代次数、学习率和网络深度;初始化所述神经网络模型参数并进行训练;在预设的迭代检测节点,通过测试集的数据对所述神经网络模型的性能进行测试,并保存此时的神经网络模型参数;
步骤3:根据预设的评价指标对各迭代检测节点保存的神经网络模型输出结果进行最优选择,并将对应的模型参数加载至神经网络模型中得到最优神经网络模型,以未知的地震观测数据作为最优神经网络模型的输入,固定参数进行反演计算,根据得到的输出结果得到预测的速度模型,即为经过反演映射的地下介质物性成像结果。
进一步地,步骤1中,获取实际工作面地震观测数据并对得到的实际工作面地震观测数据进行数据预处理的具体过程如下:
根据工作面的实际情况,设计地震数据检波器的位置布置方案以获取实际工作面地震观测数据;对获得的实际工作面地震观测数据进行预处理,预处理包括消除信号中的坏道、去除随机脉冲噪声和压制工频干扰。
进一步地,步骤2中,所述神经网络模型的结构包括两个串联的Att-GRU块和一个用于特征解码的回归层;
Att-GRU块的前向传播的过程为:
输入数据首先经过注意力编码层进行编码,并提升当前信息中重要特征的关注程度,其可以形式化为:
GRU神经网络以经过注意力编码层后的特征作为输入;GRU神经网络通过重置门和更新门来控制输入信息的流动;其数学表达式为:
其中,rt为重置门的门控信号,用于控制之前的隐藏状态是否被忽略;ut为更新门的门控信号,用于控制是否更新候选隐藏状态变量;xt、yt、ht-1和ht分别为当前时刻的输入、输出、前一时刻状态及当前时刻状态;是为当前时刻候选状态;Wo均为权值矩阵,bu、br、bh、bo均为偏置向量;σ(·)为sigmoid函数;°为哈达马积运算符;
注意力解码层对具有长短时记忆的特征进行解码并提升全局特征中的重要信息关注度,其数学表达式为:
y=(xd*Wdecoder+bd)°Wattd(3)
当输入数据经过Att-GRU块进行特征提取后,通过BN层进行归一化处理并使用ReLU激活函数进行激活,其数学表达式为:
y=ReLU(BN(x)) (4)
激活后的特征图经过回归层得到最终全波形反演所对应的速度模型。
进一步地,步骤3的具体过程如下:
将步骤2中得到的根据预设的评价指标对各迭代检测节点保存的神经网络模型输出结果进行最优选择,并将对应的模型参数加载至神经网络模型中得到最优神经网络模型;冻结模型参数更新,使其固定不变,并以新的未知地震观测数据作为输入进行端到端地预测其对应的地质速度模型。
更进一步地,预设的评价指标为预测出的速度模型与标签集中对应的真实速度模型的均方误差值。
本发明的有益效果在于:本发明通过采用具有时序相关性且能高效非线性映射的GRU神经网络来建模全波形反演中的正演过程,通过神经网络的反向传播来端到端地学习全波形反演中的反演过程,并且在GRU神经网络中引入了注意力机制,来强调输入信息中重要的特征。本发明方法在减少计算时间的同时,显著提高了全波形反演的精度,并且提升了全波形反演的泛化能力。本发明作为一种基于门循环单元和注意力机制的全波形反演方法,可以广泛应用于深部储层勘探任务,更快速,更清晰地预测出地质速度模型并实现准确的地质物性解释。
附图说明
图1为本发明实施例的基于注意力机制和GRU神经网络全波形反演流程图;
图2为本发明实施例中神经网络模型的结构示意图;
图3为本发明实施例中模型的训练和测试步骤流程图。
具体实施方式
以下将结合附图对本发明作进一步的描述,需要说明的是,本实施例以本技术方案为前提,给出了详细的实施方式和具体的操作过程,但本发明的保护范围并不限于本实施例。
如图1所示,本实施例提供一种基于门循环单元和注意力机制的全波形反演方法,其具体实现过程如下:
1.数据获取、预处理及数据集划分
根据工作面的实际情况设计地震数据检波器的位置布置方案并获取实际地震观测数据,共收集3100份实际地震观测数据。对获得的数据进行预处理来得到反应实际地质的高质量、高信噪比的地震数据。数据预处理包括消除信号中的坏道、去除随机脉冲噪声、压制工频干扰、炮集均衡和检波点道集均衡。以对应的地质速度模型作为标签集来划分为训练集和测试集。针对预处理后的实际地震数据以5:1的比例进行随机采样来构建训练集和测试集,即训练集大小为2600份,测试集大小为500份。
2.构建神经网络模型结构并继续训练:
构建基于注意力机制和GRU神经网络的全波形反演映射中正演过程的神经网络模型,并设置相关超参数,具体包括最大迭代次数、学习率、批量大小、网络深度和正则化衰减因子。
通过Kaiming初始化方法对神经网络模型参数进行初始化,以训练集中的数据及对应的标签作为输入数据输入到神经网络模型中,来训练神经网络的参数。如图2的(b)所示,所述神经网络模型的结构包括两个串联的Att-GRU块和一个用于特征解码的回归层。
具体地,对于Att-GRU块而言,如图2的(a)所示,其前向传播的过程为:输入数据首先经过注意力编码层进行编码,并提升当前信息中重要特征的关注程度,其可以形式化为:
y=(xe*Wencoder+be)°Watte(1)
其中xe和y为注意力编码层的输入,Wencoder为该层学习的权重,Watte为通过注意力机制得到该层注意力权重,be为偏置向量。*为矩阵乘法运算符,°为哈达马积运算符。
GRU神经网络以经过注意力编码后的特征作为输入。GRU是一种具有长期记忆能力并能缓解反向传播时梯度消失问题的高效循环神经网络,该神经网络通过重置门和更新门来控制输入信息的流动。其数学表达式为:
其中rt为重置门的门控信号,用来控制之前隐藏状态是否被忽略;ut为更新门的门控信号,用来控制是否更新候选隐藏状态变量。xt、yt、ht-1和ht分别为当前时刻的输入、输出、前一时刻状态及当前时刻状态。是为当前时刻候选状态。W*是权值矩阵,b*是偏置向量。σ(·)为sigmoid函数。°为哈达马积运算符。
最后,注意力解码层对具有长短时记忆的特征进行解码并提升全局特征中的重要信息关注度,其数学表达式为:
其中xd和y分别为注意力解码层的输入和输出,Wdecoder为该层学习的权重,Wattd为通过注意力机制得到该层注意力权重,bd为偏置向量。*为矩阵乘法运算符,°为哈达马积运算符。
当输入数据经过Att-GRU块进行特征提取后,通过BN层归一化处理并使用ReLU激活函数进行激活,其数学表达式为
y=ReLU(BN(x)) (4)
其中x和y分别为输入数据和输出数据。γ和β是两个超参数,μB和为小批量处理过程中通过相同特征图上全部数值计算得到的均值和方差。∈是为了数值的稳定性而加入的非常小的常数值。激活后的特征图经过特征解码层得到最终全波形反演所对应的速度模型,如图3训练部分所示。
采用Adam优化器来训练该神经网络模型参数,选用的损失函数为均方误差,其数学表达式为
其中y和分别为预测结果和真实标签,为神经网络模型的损失函数,n为样本个数。在训练神经网络过程中,不断地最小化损失函数,并根据误差反向传播计算得到模型参数的损失梯度,指导模型参数的更新方向。早不断地迭代更新的过程中,于预设的迭代节点使用测试集数据对神经网络的性能进行测试,并保存模型参数,直至最大迭代次数训练阶段完成。
3.预测未知实际地震观测数据对应的反演地质速度模型
将步骤2中得到的神经网络模型输出结果根据预设的评价指标进行最优选择,并将对应的模型参数加载至神经网络模型中。冻结模型参数更新,使其固定不变,并以新的位置地震观测数据作为输入来端到端地预测其对应的地质速度模型,如图3预测部分所示。
对于本领域的技术人员来说,可以根据以上的技术方案和构思,给出各种相应的改变和变形,而所有的这些改变和变形,都应该包括在本发明权利要求的保护范围之内。
Claims (5)
1.一种基于门循环单元和注意力机制的全波形反演方法,其特征在于,包括以下步骤:
步骤1:获取实际工作面地震观测数据,并对得到的实际工作面地震观测数据进行数据预处理,以对应的地质速度模型作为标签集,通过随机采样将实际工作面地震观测数据构建为训练集和测试集;
步骤2:构建基于门循环单元和注意力机制的全波形反演映射中正演过程的神经网络模型,将步骤1所得的训练集的数据及其对应的地质速度模型标签集作为输入数据输入到所述神经网络模型中,并设置训练神经网络模型所需的超参数,包括最大迭代次数、学习率和网络深度;初始化所述神经网络模型参数并进行训练;在预设的迭代检测节点,通过测试集的数据对所述神经网络模型的性能进行测试,并保存此时的神经网络模型参数;
步骤3:根据预设的评价指标对各迭代检测节点保存的神经网络模型输出结果进行最优选择,并将对应的模型参数加载至神经网络模型中得到最优神经网络模型,以未知的地震观测数据作为最优神经网络模型的输入,固定参数进行反演计算,根据得到的输出结果得到预测的速度模型,即为经过反演映射的地下介质物性成像结果。
2.根据权利要求1所述的方法,其特征在于,步骤1中,获取实际工作面地震观测数据并对得到的实际工作面地震观测数据进行数据预处理的具体过程如下:
根据工作面的实际情况,设计地震数据检波器的位置布置方案以获取实际工作面地震观测数据;对获得的实际工作面地震观测数据进行预处理,预处理包括消除信号中的坏道、去除随机脉冲噪声和压制工频干扰。
3.根据权利要求1所述的方法,其特征在于,步骤2中,所述神经网络模型的结构包括两个串联的Att-GRU块和一个用于特征解码的回归层;
Att-GRU块的前向传播的过程为:
输入数据首先经过注意力编码层进行编码,并提升当前信息中重要特征的关注程度,其可以形式化为:
GRU神经网络以经过注意力编码层后的特征作为输入;GRU神经网络通过重置门和更新门来控制输入信息的流动;其数学表达式为:
其中,rt为重置门的门控信号,用于控制之前的隐藏状态是否被忽略;ut为更新门的门控信号,用于控制是否更新候选隐藏状态变量;xt、yt、ht-1和ht分别为当前时刻的输入、输出、前一时刻状态及当前时刻状态;是为当前时刻候选状态;Wo均为权值矩阵,bu、br、bh、bo均为偏置向量;σ(·)为sigmoid函数;°为哈达马积运算符;
注意力解码层对具有长短时记忆的特征进行解码并提升全局特征中的重要信息关注度,其数学表达式为:
当输入数据经过Att-GRU块进行特征提取后,通过BN层进行归一化处理并使用ReLU激活函数进行激活,其数学表达式为:
y=ReLU(BN(x)) (4)
激活后的特征图经过回归层得到最终全波形反演所对应的速度模型。
4.根据权利要求1所述的方法,其特征在于,步骤3的具体过程如下:
将步骤2中得到的根据预设的评价指标对各迭代检测节点保存的神经网络模型输出结果进行最优选择,并将对应的模型参数加载至神经网络模型中得到最优神经网络模型;冻结模型参数更新,使其固定不变,并以新的未知地震观测数据作为输入进行端到端地预测其对应的地质速度模型。
5.根据权利要求1或4所述的方法,其特征在于,预设的评价指标为预测出的速度模型与标签集中对应的真实速度模型的均方误差值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310115909.0A CN116090352A (zh) | 2023-02-01 | 2023-02-01 | 一种基于门循环单元和注意力机制的全波形反演方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310115909.0A CN116090352A (zh) | 2023-02-01 | 2023-02-01 | 一种基于门循环单元和注意力机制的全波形反演方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116090352A true CN116090352A (zh) | 2023-05-09 |
Family
ID=86208219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310115909.0A Pending CN116090352A (zh) | 2023-02-01 | 2023-02-01 | 一种基于门循环单元和注意力机制的全波形反演方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116090352A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117592381A (zh) * | 2024-01-18 | 2024-02-23 | 中国船舶集团有限公司第七〇七研究所 | 一种大气波导参数反演模型训练方法、装置、设备及介质 |
-
2023
- 2023-02-01 CN CN202310115909.0A patent/CN116090352A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117592381A (zh) * | 2024-01-18 | 2024-02-23 | 中国船舶集团有限公司第七〇七研究所 | 一种大气波导参数反演模型训练方法、装置、设备及介质 |
CN117592381B (zh) * | 2024-01-18 | 2024-05-17 | 中国船舶集团有限公司第七〇七研究所 | 一种大气波导参数反演模型训练方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11693139B2 (en) | Automated seismic interpretation-guided inversion | |
Kaur et al. | Seismic data interpolation using deep learning with generative adversarial networks | |
CN107589448B (zh) | 一种多道地震记录反射系数序列同时反演方法 | |
WO2020123084A1 (en) | Machine learning-augmented geophysical inversion | |
CN109407151B (zh) | 基于波场局部相关时移的时间域全波形反演方法 | |
CN111596366B (zh) | 一种基于地震信号优化处理的波阻抗反演方法 | |
US11181653B2 (en) | Reservoir characterization utilizing ReSampled seismic data | |
CN108897042A (zh) | 有机质含量地震预测方法及装置 | |
Mousavi et al. | Applications of deep neural networks in exploration seismology: A technical survey | |
Wang et al. | Seismic velocity inversion transformer | |
CN105467442A (zh) | 全局优化的时变稀疏反褶积方法及装置 | |
CN116090352A (zh) | 一种基于门循环单元和注意力机制的全波形反演方法 | |
CN116047583A (zh) | 基于深度卷积神经网络的自适应波阻抗反演方法及*** | |
CN110146923B (zh) | 一种高效的高精度深度域地震子波提取方法 | |
Gao et al. | Global optimization with deep-learning-based acceleration surrogate for large-scale seismic acoustic-impedance inversion | |
Zhang et al. | Extracting Q anomalies from marine reflection seismic data using deep learning | |
Gou et al. | Bayesian physics-informed neural networks for the subsurface tomography based on the eikonal equation | |
Zhang et al. | Parameter estimation of acoustic wave equations using hidden physics models | |
Zu et al. | Robust local slope estimation by deep learning | |
CN116011338A (zh) | 一种基于自编码器和深度神经网络的全波形反演方法 | |
Jin et al. | CycleFCN: A physics-informed data-driven seismic waveform inversion method | |
CN116224265A (zh) | 探地雷达数据反演方法、装置、计算机设备及存储介质 | |
CN113722893B (zh) | 地震记录反演方法、装置、设备及存储介质 | |
CN113253350B (zh) | 一种基于联合字典的孔隙度反演方法 | |
CN110794469B (zh) | 基于最小地质特征单元约束的重力反演方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |