CN113484908A - 部分卷积与注意力机制融合深度学习网络的缺失地震数据重建方法 - Google Patents
部分卷积与注意力机制融合深度学习网络的缺失地震数据重建方法 Download PDFInfo
- Publication number
- CN113484908A CN113484908A CN202110980357.0A CN202110980357A CN113484908A CN 113484908 A CN113484908 A CN 113484908A CN 202110980357 A CN202110980357 A CN 202110980357A CN 113484908 A CN113484908 A CN 113484908A
- Authority
- CN
- China
- Prior art keywords
- data
- network
- missing
- convolution
- seismic data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000013135 deep learning Methods 0.000 title claims abstract description 11
- 230000007246 mechanism Effects 0.000 title claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000001788 irregular Effects 0.000 abstract description 3
- 238000003672 processing method Methods 0.000 abstract description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V1/00—Seismology; Seismic or acoustic prospecting or detecting
- G01V1/28—Processing seismic data, e.g. for interpretation or for event detection
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Acoustics & Sound (AREA)
- Environmental & Geological Engineering (AREA)
- Geology (AREA)
- General Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Geophysics (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
本发明提供了一种将部分卷积与注意力机制融合到深度学习网络中，实现缺失地震数据重建的数据处理方法，该方法将部分卷积思想和注意力机制联合，构建了新的GAN网络模型。当卷积核内存在有效数据时才选择性地进行卷积运算，且能充分利用卷积核外较远位置的有效信息，通过注意力机制，选择余弦相似度高背景数据的信息驱动前景数据的重建，从而大幅减少重建数据中地层反射结构变形、模糊和假频等问题，本发明的方法可以适应地震采集数据中出现的非规则、大间距数据缺失的情况，实现更加准确可靠的地震数据重建。
Description
技术领域
本发明属于石油地震勘探资料处理领域，涉及一种在地震数据出现缺失或损坏时，进行数据重建和恢复的地震数据处理方法。
背景技术
在地震勘探数据野外采集中，由于地表地形、地质条件、数据采集装备和环境因素等的限制，采集到的地震数据往往是不规则、采样不足或是存在数据缺失的。在地震数据处理过程中，剔除坏道、切除特定数据段或滤波等也会造成地震数据的缺失。而原始地震数据的完整性是后续地震数据处理和解释、实现可靠地下地质结构和储层成像的关键基础，因此对缺失的地震数据进行重建，成为地震数据处理的关键技术之一。现有的地震数据重建方法主要包括基于波动方程、基于预测滤波、基于变换域重建、基于压缩感知理论、以及利用机器学习和深度学习的人工智能方法。
近年来，在地震资料处理中引入人工智能的方法已经成为了一种趋势，以GAN对抗生成网络、DNCNN深度卷积网络为代表的深度学习模型，在地震数据重建处理方面均取得了很好的效果。但是，普通的GAN深度学习模型的输出结果常常会出现地震反射结构变形、有效信号模糊和假频等问题。特别是对于地震数据出现大间距数据道缺失的情况，利用普通深度学习方法重建的地震数据道，常常与其周围已有的地震数据道表现的特征不协调。出现这种情况的一个重要原因是这类数据重建算法中存在卷积核大小的限制，使卷积结果主要受到卷积核内的数据的影响，无法获得卷积核外较远位置的有效信息的作用和影响。
深度学习中的注意力机制作为深度学习网络中的额外模块，可用于解决因卷积核大小限制所致的网络感知范围较小的问题，本发明专利建立了能够充分利用缺失地震数据道的近、远端的有效信息，实现更加准确可靠的地震数据重建的方法。
发明内容
本发明的目的在于避免了现有地震数据重建方法和技术的不足，研发了一种部分卷积与注意力机制融合深度学习网络的缺失地震数据重建方法，所述方法包括以下主要步骤：
⑴建立大小统一的地震数据切片作为训练集；
⑵利用训练集数据输入生成对抗网络，使对抗网络随机生成与训练集中的地震数据切片数量相同，大小相等的掩码M。掩码M随机地分别划分出不同大小的标记为0的矩形缺失区域和标记为1的已知区域。当掩码与数据切片数乘时，即可在原始数据切片上形成缺失区域；
⑶输入数据I先经过生成网络G中的部分卷积层，部分卷积层根据卷积核所在位置内判断是否存在有效数据，再选择性地执行卷积运算，然后经生成网络G中的下采样层处理后得到I′，用于注意力模块进一步处理；
⑷生成网络G中的注意力模块会计算缺失区域内每一个点与已知区域内所有点之间的余弦距离，计算方法如下：
其中，
代表通过标准化内积运算得到(x,y),(x',y')两点处的余弦相似性，将计算结果通过softmax函数映射为概率模型，概率模型的数量与缺失区域内的点数相同；
⑸将已知区域数据分别与所得的不同的概率模型数乘，如下式：
即可得到概率模型所对应的缺失区域内一点的新的值，通过这样处理后，使缺失区域内的值融合了已知区域内的数据特征，所得新的数据矩阵记为
⑹将I′与
在通道维度上拼接在一起后，再进行像素卷积运算，并输送到生成网络G中的上采样层中后续处理；
⑺生成网络G中的上采样层处理数据后，输出多个结果，计算它们的均值后输送到判别网络D中，判别网络D对重建结果与训练集的样本进行比较，并将比较结果反馈给生成网络G，两个网络之间相互影响，共同提升网络性能，确保构建的损失函数取得最小值，从而输出重建后的地震数据。
附图说明
图1是本发明所设计的融合了部分卷积层和注意力模块的深度学习网络模型示意图。输入数据依次通过生成网络G中的部分卷积层，下采样层，注意力模块，上采样层后再输入到判别网络D中。
图2是本发明实施例对完整采集的单炮地震道集，在随机缺失地震道数据后，本发明的方法处理前后的地震剖面对比。其中：图2(a)是完整采集的、未缺失地震道数据的剖面，横坐标为道号，纵坐标为时间，单位是秒(s)；图2(b)是图2(a)中被随机缺失了地震道数据后的剖面，横坐标为道号，纵坐标为时间，单位是秒(s)；图2(c)是利用本发明的地震数据重建方法，对图2(b)进行处理后得到的剖面，横坐标为道号，纵坐标为时间，单位是秒(s)；图2(d)是利用图2(a)与图2(c)的数据相减后的残差剖面，横坐标为道号，纵坐标为时间，单位是秒(s)。
具体实施方式
本发明专利具体实现缺失地震数据重建的深度学习网络的结构和流程如图1所示，它融合了部分卷积层和注意力机制的处理模块，对缺失地震数据进行重建处理的具体实施流程如下：
⑴首先使用大小统一的地震数据切片作为训练集；
⑵一批训练数据输入生成对抗网络时，网络会随机生成与数据切片数量相同，大小相等的掩码M。掩码上会随机划分出不同大小的矩形缺失区域和已知区域，掩码中已知区域内数据标记为1，缺失区域标记为0。当掩码与数据切片数乘时，即可在原始数据切片上制作出缺失区域；
⑶输入数据I经过部分卷积层，下采样层处理后得到I′。I′不会直接输入到上采样层，而是进入注意力模块进一步处理；其中部分卷积层会根据卷积核所在位置内是否存在有效数据，选择性地进行卷积。
⑷注意力模块会计算缺失区域内每一个点与已知区域内所有点之间的余弦距离，计算方法如下：
其中
代表通过标准化内积运算得到的(x,y),(x′,y′)两点处的余弦相似性。
将计算结果通过softmax函数映射为概率模型，记为score，概率模型的数量与缺失区域内的点数相同；然而随着神经网络的迭代，score并不是唯一固定的。所以定义经过迭代i次后最终分数为scorei，scorei与scorei-1的关系如下式：
scorei＝λsocre′i+(1-λ)scorei-1
式中socre′i表示第i次迭代过程中，通过softmax函数产生的分数。λ为迭代过程中可以学习的参数。
⑸将已知区域数据分别与所得的不同概率模型数乘，如下式：
即可得到概率模型所对应的缺失区域内一点的新值。通过这样处理后，缺失区域内的值融合了已知区域内的数据特征，所得的新数据矩阵记为
⑹将I′与
在通道维度上拼接在一起后，进行像素卷积，并输送到接下来的上采样层中；
⑺数据通过上采样层会输出多个结果，取其均值后输送到判别网络中；模型所采样的损失函数设计为：
其中生成网络G中损失函数为：
判别网络D中损失函数为：
式中，M代表掩码，⊙代表点乘运算。缺失区域的损失为Lhole，代表重建结果与目标样本间的差距。已知区域损失为Lvalid，该损失函数可以控制已知区域在处理前后的变换。输入样本为Iinput，网络输出结果为Iout。Ltv为平滑损失，P表示经过1个像素的膨胀后的孔洞区域。平滑损失表示孔洞区域内一个像素和该像素的右侧像素和下面像素的L1损失。平滑损失衡量了相邻数据在水平方向和垂直方向的差异。Lperceptual为感知损失，是一个预训练的VGG-16网络。
表示VGG-16网络中第i个池化层映射的特征，HiWiCi表示第i个特征图的高度、宽度和通道大小。感知损失可以对比网络输出数据与真实数据更深层次的特征。判别网络D的输出是0或1。判别网络D的输出是0或1。
当图2(a)中完整的单炮地震道集数据出现了严重的数据缺失时，如图2(b)中的剖面所示，它同时出现了大间距与小间距的数据缺失，其中最大缺失区域的缺失间距达50道，最小缺失区域的缺失间距为6道，图2(b)的剖面中共缺失了150道地震数据，数据缺失率为58％。采用本发明专利的方法处理后，得到了如图2(c)的数据重建剖面，可见原来缺失数据的区域已有清晰连续地震反射同相轴，与图2(a)对比可见，重建后的地震剖面的地震反射特征与完整的单炮地震道集相同，为了说明数据重建的效果，将图2(a)与图2(c)中的剖面数据相减，得到了两者的残差地震剖面如图2(d)所示，从残差地震剖面中可见，几乎不含能量显著的有效地震反射信号，说明本发明专利对缺失地震数据重建后的效果是十分可靠和优越的。
本发明的优点在于：(1)对于一个前景数据特征，注意力机制先计算出它与所有背景数据特征的相似度，然后通过softmax，把相似度转换为注意力得分。最后用背景数据特征和注意力得分计算出一个平均数据特征，此时这个平均数据特征里面，已经按照注意力得分的大小，包含了需要用到的有用信息；(2)之后将这个结果与原始数据特征像素融合后，再进行卷积，使卷积过程可以突破卷积核大小的限制，使卷积核外的数据也能作用于卷积结果，从而减少重建结果中地层反射结构变形，模糊，假频等缺点；(3)本发明的方法可以适应地震采集数据中出现非规则的、随机的缺失数据的有效重建。
上述各实施例仅用于说明本发明，其中方法的各实施步骤等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。
Claims (1)
1.一种部分卷积与注意力机制融合深度学习网络的缺失地震数据重建方法，其包括以下主要步骤：
(1)建立大小统一的地震数据切片作为训练集；
(2)利用训练集数据输入生成对抗网络，使对抗网络随机生成与训练集中的地震数据切片数量相同，大小相等的掩码M；掩码M随机地分别划分出不同大小的标记为0的矩形缺失区域和标记为1的已知区域；当掩码与数据切片数乘时，即可在原始数据切片上形成缺失区域；
(3)输入数据I先经过生成网络G中的部分卷积层，部分卷积层根据卷积核所在位置内判断是否存在有效数据，再选择性地执行卷积运算，然后经生成网络G中的下采样层处理后得到I′，用于注意力模块进一步处理；
(4)生成网络G中的注意力模块会计算缺失区域内每一个点与已知区域内所有点之间的余弦距离，计算方法如下：
其中，
代表通过标准化内积运算得到(x,y),(x',y')两点处的余弦相似性，将计算结果通过softmax函数映射为概率模型，概率模型的数量与缺失区域内的点数相同；
(5)将已知区域数据分别与所得的不同的概率模型数乘，如下式：
即可得到概率模型所对应的缺失区域内一点的新的值，通过这样处理后，使缺失区域内的值融合了已知区域内的数据特征，所得新的数据矩阵记为
(6)将I′与
在通道维度上拼接在一起后，再进行像素卷积运算，并输送到生成网络G中的上采样层中后续处理；
(7)生成网络G中的上采样层处理数据后，输出多个结果，计算它们的均值后输送到判别网络D中，判别网络D对重建结果与训练集的样本进行比较，并将比较结果反馈给生成网络G，两个网络之间相互影响，共同提升网络性能，确保构建的损失函数取得最小值，从而输出重建后的地震数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110980357.0A CN113484908B (zh) | 2021-08-25 | 2021-08-25 | 部分卷积与注意力机制融合深度学习网络的缺失地震数据重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110980357.0A CN113484908B (zh) | 2021-08-25 | 2021-08-25 | 部分卷积与注意力机制融合深度学习网络的缺失地震数据重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113484908A true CN113484908A (zh) | 2021-10-08 |
| CN113484908B CN113484908B (zh) | 2023-07-14 |
Family
ID=77946207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110980357.0A Active CN113484908B (zh) | 2021-08-25 | 2021-08-25 | 部分卷积与注意力机制融合深度学习网络的缺失地震数据重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113484908B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103048690A (zh) * | 2012-12-11 | 2013-04-17 | 成都理工大学 | 基于最优地震子波提取的快速匹配投影分解的地层反射拾取技术 |
| CA2838711A1 (en) * | 2013-01-11 | 2014-07-11 | Cgg Services Sa | A system and method for the removal of shallow water multiples using a hybrid multi-channel prediction method |
| CA2838857A1 (en) * | 2013-01-15 | 2014-07-15 | Cgg Services Sa | Seismic data processing including true-azimuth three-dimensional internal multiple attentuation without subsurface information |
| CA2893718A1 (en) * | 2014-06-06 | 2015-12-06 | Schlumberger Canada Limited | Generalized spectral decomposition |
| WO2017155634A1 (en) * | 2016-03-11 | 2017-09-14 | Origin Wireless, Inc. | Methods, devices, servers, apparatus, and systems for wireless internet of things applications |
| GB2560991A (en) * | 2017-03-31 | 2018-10-03 | Seismic Apparition Gmbh | Method for seismic acquisition and processing |
| CN110197154A (zh) * | 2019-05-30 | 2019-09-03 | 汇纳科技股份有限公司 | 融合部位纹理三维映射的行人重识别方法、***、介质及终端 |
| CN110361778A (zh) * | 2019-07-04 | 2019-10-22 | 华北电力大学 | 一种基于生成对抗网络的地震数据重建方法 |
| CN111476717A (zh) * | 2020-04-07 | 2020-07-31 | 西安电子科技大学 | 基于自注意力生成对抗网络的人脸图像超分辨重建方法 |
| WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| US20210117737A1 (en) * | 2019-10-18 | 2021-04-22 | Korea University Research And Business Foundation | Earthquake event classification method using attention-based convolutional neural network, recording medium and device for performing the method |
| CN113156513A (zh) * | 2021-04-14 | 2021-07-23 | 吉林大学 | 一种基于注意力引导的卷积神经网络地震信号去噪方法 |
-
2021
- 2021-08-25 CN CN202110980357.0A patent/CN113484908B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103048690A (zh) * | 2012-12-11 | 2013-04-17 | 成都理工大学 | 基于最优地震子波提取的快速匹配投影分解的地层反射拾取技术 |
| CA2838711A1 (en) * | 2013-01-11 | 2014-07-11 | Cgg Services Sa | A system and method for the removal of shallow water multiples using a hybrid multi-channel prediction method |
| CA2838857A1 (en) * | 2013-01-15 | 2014-07-15 | Cgg Services Sa | Seismic data processing including true-azimuth three-dimensional internal multiple attentuation without subsurface information |
| CA2893718A1 (en) * | 2014-06-06 | 2015-12-06 | Schlumberger Canada Limited | Generalized spectral decomposition |
| WO2017155634A1 (en) * | 2016-03-11 | 2017-09-14 | Origin Wireless, Inc. | Methods, devices, servers, apparatus, and systems for wireless internet of things applications |
| GB2560991A (en) * | 2017-03-31 | 2018-10-03 | Seismic Apparition Gmbh | Method for seismic acquisition and processing |
| WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| CN110197154A (zh) * | 2019-05-30 | 2019-09-03 | 汇纳科技股份有限公司 | 融合部位纹理三维映射的行人重识别方法、***、介质及终端 |
| CN110361778A (zh) * | 2019-07-04 | 2019-10-22 | 华北电力大学 | 一种基于生成对抗网络的地震数据重建方法 |
| US20210117737A1 (en) * | 2019-10-18 | 2021-04-22 | Korea University Research And Business Foundation | Earthquake event classification method using attention-based convolutional neural network, recording medium and device for performing the method |
| CN111476717A (zh) * | 2020-04-07 | 2020-07-31 | 西安电子科技大学 | 基于自注意力生成对抗网络的人脸图像超分辨重建方法 |
| CN113156513A (zh) * | 2021-04-14 | 2021-07-23 | 吉林大学 | 一种基于注意力引导的卷积神经网络地震信号去噪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113484908B (zh) | 2023-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111080629B (zh) | 一种图像拼接篡改的检测方法 | |
| CN110361778B (zh) | 一种基于生成对抗网络的地震数据重建方法 | |
| CN109118479B (zh) | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 | |
| CN110598600A (zh) | 一种基于unet神经网络的遥感图像云检测方法 | |
| Modava et al. | Hierarchical coastline detection in SAR images based on spectral‐textural features and global–local information | |
| CN110598613B (zh) | 一种高速公路团雾监测方法 | |
| CN113327231B (zh) | 一种基于空谱联合的高光谱异常目标检测方法和*** | |
| CN105260998A (zh) | 基于mcmc采样和阈值低秩逼近的图像去噪方法 | |
| CN111985381B (zh) | 一种基于伸缩卷积神经网络的引导区域密集人群计数方法 | |
| CN110991257A (zh) | 基于特征融合与svm的极化sar溢油检测方法 | |
| CN107944497A (zh) | 基于主成分分析的图像块相似性度量方法 | |
| CN115984778A (zh) | 一种基于多特征优化的Sentinel-1数据快速动态洪灾监测方法 | |
| CN117611494B (zh) | 一种全色遥感图像薄云去除方法 | |
| CN115829942A (zh) | 基于非负性约束稀疏自编码器的电子电路缺陷检测方法 | |
| CN111738278A (zh) | 一种水下多源声学图像特征提取方法及*** | |
| CN112560719B (zh) | 基于多尺度卷积-多核池化的高分辨率影像水体提取方法 | |
| CN107748885B (zh) | 一种对模糊字符进行识别的方法 | |
| CN110674689B (zh) | 一种基于特征嵌入空间几何约束的车辆再识别方法及*** | |
| CN113484908A (zh) | 部分卷积与注意力机制融合深度学习网络的缺失地震数据重建方法 | |
| CN115984697A (zh) | Sar图像溢油检测方法 | |
| CN113807206B (zh) | 一种基于去噪任务辅助的sar图像目标识别方法 | |
| CN115512299A (zh) | 基于雷达图像的U-net变体神经网络的洪涝预警方法 | |
| CN115223033A (zh) | 一种合成孔径声呐图像目标分类方法及*** | |
| CN114862803A (zh) | 一种基于快速傅里叶卷积的工业图像异常检测方法 | |
| CN114169462A (zh) | 一种特征引导的深度子领域自适应隐写检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |