CN113610945B - 一种基于混合神经网络的地应力曲线预测方法 - Google Patents

Abstract

本发明公开一种基于混合神经网络的地应力曲线预测方法，包括：收集目标层位的测井数据集，并对测井数据集进行删除异常值的清洗；进行降噪处理；确定模型的输入参数和输出参数；构造特征样本和标签样本以及总样本集；构建CNN‑BiLSTM‑Attention混合神经网络模型；根据训练集进行训练，预测精度；根据根据几条常规测井曲线快速预测地应力曲线。本发明采用混合神经网络根据几条常规测井曲线预测地应力曲线，其特征样本构造方式上更符合地质学思想，模型本身强大的特征提取能力可以更好的进行特征提取，其次是该模型生成的地应力曲线不仅融合了测井曲线的内在联系，同时兼顾了测井信息在深度序列上的变化特征和前后关联。

Description

一种基于混合神经网络的地应力曲线预测方法

技术领域

本发明涉及一种基于混合神经网络的地应力曲线预测方法。

背景技术

地应力是指存在于地壳中的应力，其来源主要包括上覆岩层重力、构造应力、水压附加应力、地温附加应力、化学附加应力等，通常采用垂向地应力、最大水平地应力、最小水平地应力三个参数来表征。地应力是井壁稳定模型求解的边界条件，其大小直接决定了稳定井壁所需的临界井筒压力或钻井液当量密度，而地应力方向直接影响水平井钻井方位，因此，地应力是井壁稳定分析最为关键的基础参数之一。地应力也是进行水力压裂增产施工重要的基础依据。

目前，石油工程领域获取地应力的方法较多，可以分为室内测试、矿场测试、测井解释以及其它方法等四个大类：①室内测试主要包括差应变测试、Kaiser声发射测试、波速各向异性测试、古地磁定向测试等；②矿场测试主要包括地破实验、水压致裂法、应力解除法、应力恢复法等；③测井解释主要包括声波测井解释、井壁崩落法、井壁诱导缝解释等；④而其它方法包括地质资料分析、地震资料预测、地应力数值模拟等。其中，矿场测试和室内测试的精度最高、测井解释次之、其它方法最低。但是，矿场测试和室内测试成本高、耗时长，而且只能获得取芯深度点的地应力大小和方向，所测得的数据十分有限；而测井解释具有纵向分辨率高、测井资料相对连续的特点，可以解释得到沿井深相对连续分布的地应力剖面，再结合多种方法和数据进行测井解释剖面的刻度，在一定程度上提升了地应力计算精度，这使得该方法被现场广泛采用。但是，目前的测井成本较高，而且利用测井资料求取地应力需要下入相应的声波测井工具，进一步增加了钻井作业的金钱和时间成本。近年来随着机器学习方法在科学和工程领域的广泛应用，大量学者利用支持向量机、模糊逻辑模型、人工神经网络等方法来估计地质参数、判别岩性、确定地层界限等。其中，人工神经网络能够近似模拟输入和输出变量之间的非线性函数关系，因此很多学者利用人工神经网络方法生成测井曲线以及根据测井曲线预测相应的岩石物理参数。

目前利用混合神经网络预测地应力曲线的研究尚未见报道。因此，发明了一种基于混合神经网络的地应力曲线预测方法，从而为地应力评价、井壁稳定分析和水力压裂改造设计提供基础依据。

发明内容

为了克服现有技术中的问题，本发明提供一种基于混合神经网络的地应力曲线预测方法，可根据几条常规测井曲线快速预测地应力曲线。

本发明解决上述技术问题所提供的技术方案是：一种基于混合神经网络的地应力曲线预测方法，包括以下步骤：

S1、收集目标层位的测井数据集，并对测井数据集进行删除异常值的清洗；

S2、对清洗后的测井数据集进行降噪处理；

S3、根据降噪处理后的测井数据集确定模型的输入参数和输出参数；

S4、根据输入参数、输出参数分别构造特征样本和标签样本，以及构造总样本集；

S5、将总样本集划分为训练集和测试集；

S6、构建CNN-BiLSTM-Attention混合神经网络模型，所述CNN-BiLSTM-Attention混合神经网络模型包括卷积神经网络层、丢弃层、循环神经网络层、注意力机制层、拉直层、全连接层；

S7、根据训练集对CNN-BiLSTM-Attention混合神经网络模型进行训练，得到训练好的模型；

S8、根据测试集测试训练好的模型的预测精度；

S9、最后根据根据几条常规测井曲线以及训练好的模型快速预测地应力曲线。

进一步的技术方案是，所述测井数据集包括深度、补偿密度、补偿中子、声波时差、井径、自然伽马和最大水平主地应力、垂直主应力、最小水平主地应力。

进一步的技术方案是，所述步骤S2中通过卡尔曼滤波算法对清洗后的测井数据集进行降噪。

进一步的技术方案是，所述步骤S3中输入参数包括深度、补偿密度、补偿中子、声波时差、井径和自然伽马；所述输出参数包括最大水平主地应力、垂直主应力和最小水平主地应力。

进一步的技术方案是，所述步骤S4的具体过程为：

S41、对输入参数进行归一化；

S42、将归一化的数据按照深度顺序依次排列，组成二维数组的形式，以滑动窗口的形式构造特征样本，同时每一个特征样本对应的标签样本为该特征样本后一个深度点上输出参数中所对应的数据；

S43、每一特征样本对应一个标签样本即构成一个完整的样本，滑窗走完所有步长即构造一个总样本集。

进一步的技术方案是，所述步骤S5中将总样本集按照8:2的比例划分训练集和测试集。

进一步的技术方案是，所述步骤S7的具体过程为：

步骤S71、将训练集输入到一维卷积层中，让滤波器按照指定步长沿着序列长度方向进行卷积操作，然后采用Sigmoid激励函数对卷积后的输出值进行非线性映射；

步骤S72、将上层卷积层的输出作为池化层的输入，通过最大池化操作取得对应位置的最大值；

步骤S73、构建相同的卷积层和池化层，按照相同的逻辑进行同样的操作；

步骤S74、将上一层的输出输入到丢弃层，每次迭代忽略一部分网络，减少节点间的相互依赖；

步骤S75、将经过丢弃层的输出送入到双向长短期记忆神经网络中，进行一个维度变换，然后根据样本的输入维度，初始化隐状态和细胞态，将输入值、隐状态及细胞态一并送入双向长短期神经网络，并且在数据的循环流动过程中通过门控单元进行选择性遗忘和记忆，然后采用tanh激励函数对神经网络的输出值进行非线性映射；

步骤S76、够建相同的双向长短期记忆神经网络，继承上一层最后时刻对应的隐状态和细胞态，然后按照同样的逻辑进行相同的操作；

步骤S77、将上一层双向长短期记忆神经网络的输出进行维度变换，然后将其作为输入输送到由全连接层和softmax激励函数组成的注意机制层并用softmax激励函数进行激活，在指定轴上求平均值再沿该轴进行重复，由此计算出对应权重系数，使得多维共享一个注意力机制，再将权重系数乘以全连接层的层输入，进而得到重新分配权重的输出值；

步骤S78、将上层输出值进行拉直，即多维变成一维，然后输入到一层全连接层通过tanh激励函数将从以上多层网络结构中所学到的分布式特征表示映射到样本标记空间。

进一步的技术方案是，所述步骤S8中将测试集带入模型进行预测，并计算真实值与预测值的误差。

进一步的技术方案是，所述步骤S8中衡量误差的公式如下所示：

均方误差：

均方根误差：

平均绝对误差：

平均预测精度：

式中：n为评测样本总数；y_i为第i实际样本值；

为第i个样本的预测值；MSE为均方误差；RMSE为均方根误差；MAE为平均绝对误差；ACC为平均预测精度。

本发明具有以下有益效果：本发明采用混合神经网络根据几条常规测井曲线预测地应力曲线，其特点在于特征样本构造方式上更符合地质学思想，模型本身强大的特征提取能力可以更好的进行特征提取，其次是该模型生成的地应力曲线不仅融合了测井曲线的内在联系，同时兼顾了测井信息在深度序列上的变化特征和前后关联。对于地应力评价、井壁稳定分析和水力压裂等具有十分重要的作用。

附图说明

图1为本发明流程图；

图2为X1井测井解释及地应力预测结果图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于混合神经网络的地应力曲线预测方法，包括以下步骤：

S1、收集目标层位的测井数据集；所述测井数据集包括：深度(MD)、补偿密度(DEN)、补偿中子(CNL)、声波时差(AC)、井径(CAL)、自然伽马(GR)和最大水平主地应力(SH)、垂直主应力(SV)、最小水平主地应力(Sh)；

S2、对S1收集的测井数据集进行清洗删除异常值；

S3、对S2清洗后的测井数据集通过卡尔曼滤波算法对数据进行降噪；

其中卡尔曼滤波算法如下：

先验状态估计：

先验估计的不确定性：

卡尔曼增益：

最优估计值：

最优估计值的不确定性：

式中：A为状态转移矩阵；

为t-1时刻的状态；P_t-1为t-1时刻的协方差矩阵；Q为过程噪声的协方差矩阵；R为测量过程的协方差矩阵；H为测量矩阵；Z_t为测量值；

给定先验信息Q、R和初始值P就可以通过迭代计算后续的

值；

S4、从S3测井数据集中选取模型的输入参数和输出参数；

其中输入参数包括：深度(MD)、补偿密度(DEN)、补偿中子(CNL)、声波时差(AC)、井径(CAL)和自然伽马(GR)；

输出参数包括：最大水平主地应力(SH)、垂直主应力(SV)和最小水平主地应力(Sh)；

S5、从S4中的输入参数和输出参数分别构造特征样本和标签样本；

首先，对输入参数进行归一化，归一化数学表达式如下所示，由于涉及到对多个维进行归一化，采用多维归一化，这可以通过循环实现。

然后，将归一化的数据按照深度顺序依次排列，组成二维数组的形式，以滑动窗口的形式构造特征样本，滑动窗口为一个30×6的方阵，步长为1，每滑动一个步长即构造一个特征样本，同时每一个特征样本对应的标签样本为该特征样本后一个深度点上输出参数中所对应的数据；

每一特征样本对应一个标签样本即构成一个完整的样本，滑窗走完所有步长即构造一个总样本集；

S6、从S4所构造的总样本集中划分训练集和测试集；

将总样本集按照8:2的比例划分训练集和测试集，为防止在模型训练中形成偏见，将训练集按照一定顺序进行打乱，虽然样本的顺序产生了变化，但是特征样本和标签样本还是呈一一对应的关系；训练集用于构建模型，测试集用于测试模型的预测精度；

S7、构建CNN-BiLSTM-Attention混合神经网络模型；

本发明的深度学习网络分层结构包括：卷积神经网络层、丢弃层、循环神经网络层、注意力机制层、拉直层、全连接层；

其中，卷积神经网络由两组卷积层和池化层构成，卷积神经网络的本质是构建多个能够提取数据特征的滤波器，通过对输入数据进行逐层卷积和池化操作来提取数据之间隐藏的拓扑结构特征；通过卷积核对原始数据进行卷积操作来提取特征的过程发生在卷积层，卷积层是CNN网络的核心层，其过程的数学表达式如下：

式中：σ为激活函数；

为卷积操作；W_i为权值矩阵；b为偏置矩阵；

Dropout层在每个训练批次中，适当忽略部分特征检测器，减少相互作用，因此在网络运行过程中不会太过依赖某些局部特征，有效降低模型过拟合，从而增强模型的泛化能力；

循环神经网络由两个双向长短时记忆神经网络(BiLSTM)构成，每个BiLSTM由正反两个LSTM互连组成，该模型可以增强处理非线性序列的能力，对数据进行更加充分的训练；LSTM由输入层、隐含层和输出层构成，设输入序列为x，t为当前时刻，则各单元的状态可用如下公式表示：

输入单元(候选态)，在更新记忆单元M(t)之前，会产生临时的记忆单元g(t)，g(t)是由当前时刻t输入的深层特征g(t-1)，以及上一时刻t-1的隐藏层单元输出状态h(t-1)共同作用，分别与各自的权重矩阵线性组合，得到当前时刻的候选态记忆单元值，并将其作为输入数据：

g(t)＝tanh(W_xgg(t-1)+W_hgh(t-1)+b_g)

门控单元由输入门、遗忘门、输出门构成：

输入门：i(t)＝σ(W_xii(t-1)+W_hih(t-1)+b_i)

遗忘门：f(t)＝σ(W_xfi(t-1)+W_hfh(t-1)+b_f)

输出门：o(t)＝σ(W_xoi(t-1)+W_hoh(t-1)+b_o)

记忆单元(细胞态)，通过遗忘门对上一时刻的输入进行选择性遗忘，通过输入门对当前时刻的输入进行选择性记忆：

M(t)＝f(t)M(t-1)+i(t)g(t)

状态输出单元(记忆体)，通过输入门决定当前时刻哪些数据会被当成当前状态输出：

h(t)＝o(t)tanh(M(t))

其中，σ为Sigmoid激活函数；W和b(下标省略)分别表示待训练的权重矩阵和偏置向量。

训练过程中跟踪损失函数值的表现，以及训练集和验证集的准确率，调整上述模型的学习率、迭代次数、网络结构、激励函数、滑窗步长等超参数；

注意力机制层(Attention)由一个激励函数Softmax和全连接层实现，本质上是一个加权求和的过程，其具体计算过程如下：

X＝Dense(M)

A＝softmax(X)

其中：M为双向循环神经网络的输出值；X为全连接层的输出值；A为注意力权重系数；

为在指定轴上经过平均及重复的注意力权重系数；Y为重新分配权重后的输出值。

拉直层(Flatten)为一个过渡层，其目的是将输入特征有多维拉直成一维，以减少参数的使用量，避免过度拟合。

全连接层(Dense)用于整合特征，将特征映射到样本标记空间，并通过tanh激励函数，实现分类；

S8、对S7构建的模型进行训练；

模型的计算过程依次为：1)将训练样本输入到一维卷积层中，让给定大小的滤波器按照指定步长沿着序列长度方向进行卷积操作，同时定义多个滤波器使神经网络能在第一层中学到更多的特征，然后采用Sigmoid激励函数对卷积后的输出值进行非线性映射；2)为了减少输出的复杂度和防止数据过度拟合，定义了一个最大池化层，将上层卷积层的输出作为池化层的输入，通过最大池化操作取得对应位置的最大值；3)构建相同的卷积层和池化层，按照相同的逻辑进行同样的操作；4)为强化模型的泛化能力引入丢弃层，将上一层的输出输入到丢弃层，每次迭代忽略一部分网络，减少节点间的相互依赖；5)将经过丢弃层的输出送入到双向长短期记忆神经网络中，由于卷积神经网络和双向长短期记忆神经网络对于数据输入的维度要求不一样，所以在这里进行一个维度变换，然后根据样本的输入维度，初始化隐状态和细胞态，将输入值、隐状态及细胞态一并送入双向长短期神经网络，并且在数据的循环流动过程中通过门控单元进行选择性遗忘和记忆，然后采用tanh激励函数对神经网络的输出值进行非线性映射；6)够建相同的双向长短期记忆神经网络，只不过不再对隐状态和细胞态进行初始化，而是继承上一层最后时刻对应的隐状态和细胞态，然后按照同样的逻辑进行相同的操作；7)接下来便是注意机制层，其由全连接层和softmax激励函数组成，首先将上一层双向长短期记忆神经网络的输出进行维度变换，然后将其作为输入输送到全连接层并用softmax激励函数进行激活，并在指定轴上求平均值再沿该轴进行重复，由此计算出对应权重系数，使得多维共享一个注意力机制，再将权重系数乘以全连接层的层输入，进而得到重新分配权重的输出值；8)将上层输出值进行拉直，即多维变成一维，然后输入到一层全连接层通过tanh激励函数将从以上多层网络结构中所学到的“分布式特征表示”映射到样本标记空间。至此，则完成了模型计算图的构建，下一步则设置损失函数和优化器，首先是前向传播，通过上述的计算图得到预测值，然后是反向传播，计算预测值与真实值之间的损失函数，并在传播过程中通过优化器指引损失函数进行更新，使得更新后的各个参数让损失函数值不断逼近全局最小；

S9、根据测试集对训练好的模型进行预测；

将上述训练好的模型进行保存，将测试集带入模型进行预测，并计算真实值与预测值的误差；

衡量误差的公式如下所示：

均方误差：

均方根误差：

/>

平均绝对误差：

平均预测精度：

式中：n为评测样本总数；y_i为第i实际样本值；

为第i个样本的预测值；MSE为均方误差；RMSE为均方根误差；MAE为平均绝对误差；ACC为平均预测精度；

S10、最后根据根据几条常规测井曲线以及训练好的模型快速预测地应力曲线。

以LongAn1井3566～4670m井段为例：

将上述混合神经网络中卷积神经网络部分卷积层的滤波器大小设置为6，卷积步长设置为1，分配64个滤波器，池化层的大小设置为2，池化步长设置为1；丢弃层丢弃率设置为0.1；长短期记忆神经网络部分隐藏层神经元个数设置为64；滑窗步长设置为1，滑窗长度设置为30。测井解释结果如图2所示，以3566～4400m井段的测井数据作为训练数据集，4400～4670m井段的测井数据作为测试数据集。常规测井曲线为第一道至第六道，依次为深度(MD)、声波时差(AC)、井径(CAL)、补偿中子(CNL)、自然伽马(GR)、补偿密度(DEN)。最大水平地应力(SH)位于第七道，垂直主应力(SV)位于第八道，最小水平主应力(Sh)位于第九道，其中，实线是根据偶极横波测井资料间接计算得到，虚线是根据上述混合神经网络模型预测得到的。混合神经网络模型地应力预测值与通过偶极横波测井资料计算得到的地应力值的误差如表1所示。

表1

以上所述，并非对本发明作任何形式上的限制，虽然本发明已通过上述实施例揭示，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，可利用上述揭示的技术内容作出些变动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (9)

1.一种基于混合神经网络的地应力曲线预测方法，其特征在于，包括以下步骤：

S1、收集目标层位的测井数据集，并对测井数据集进行删除异常值的清洗；

S2、对清洗后的测井数据集进行降噪处理；

S3、根据降噪处理后的测井数据集确定模型的输入参数和输出参数；

S4、根据输入参数、输出参数分别构造特征样本和标签样本，以及构造总样本集；

S5、将总样本集划分为训练集和测试集；

S6、构建CNN-BiLSTM-Attention混合神经网络模型；

所述CNN-BiLSTM-Attention混合神经网络模型包括卷积神经网络层、丢弃层、循环神经网络层、注意力机制层、拉直层、全连接层；

其中，卷积神经网络由两组卷积层和池化层构成，卷积神经网络的本质是构建多个能够提取数据特征的滤波器，通过对输入数据进行逐层卷积和池化操作来提取数据之间隐藏的拓扑结构特征；通过卷积核对原始数据进行卷积操作来提取特征的过程发生在卷积层，卷积层是CNN网络的核心层，其过程的数学表达式如下：

式中：σ为激活函数；

为卷积操作；W_i为权值矩阵；b为偏置矩阵；

循环神经网络由两个双向长短时记忆神经网络构成，每个BiLSTM由正反两个LSTM互连组成，该模型可以增强处理非线性序列的能力，对数据进行更加充分的训练；LSTM由输入层、隐含层和输出层构成，设输入序列为x，t为当前时刻，则各单元的状态可用如下公式表示：

输入单元，在更新记忆单元M(t)之前，会产生临时的记忆单元g(t)，g(t)是由当前时刻t输入的深层特征g(t-1)，以及上一时刻t-1的隐藏层单元输出状态h(t-1)共同作用，分别与各自的权重矩阵线性组合，得到当前时刻的候选态记忆单元值，并将其作为输入数据：

g(t)＝tanh(W_xgg(t-1)+W_hgh(t-1)+b_g)

门控单元由输入门、遗忘门、输出门构成：

输入门：i(t)＝σ(W_xii(t-1)+W_hih(t-1)+b_i)

遗忘门：f(t)＝σ(W_xfi(t-1)+W_hfh(t-1)+b_f)

输出门：o(t)＝σ(W_xoi(t-1)+W_hoh(t-1)+b_o)

记忆单元，通过遗忘门对上一时刻的输入进行选择性遗忘，通过输入门对当前时刻的输入进行选择性记忆：

M(t)＝f(t)M(t-1)+i(t)g(t)

状态输出单元，通过输入门决定当前时刻哪些数据会被当成当前状态输出：

h(t)＝o(t)tanh(M(t))

其中，σ为Sigmoid激活函数；W和b分别表示待训练的权重矩阵和偏置向量；

注意力机制层由一个激励函数Softmax和全连接层实现，本质上是一个加权求和的过程，其具体计算过程如下：

X＝Dense(M)

A＝softmax(X)

/>

其中：M为双向循环神经网络的输出值；X为全连接层的输出值；A为注意力权重系数；

为在指定轴上经过平均及重复的注意力权重系数；Y为重新分配权重后的输出值；

拉直层为一个过渡层，其目的是将输入特征有多维拉直成一维，以减少参数的使用量，避免过度拟合；

全连接层用于整合特征，将特征映射到样本标记空间，并通过tanh激励函数，实现分类；

S7、根据训练集对CNN-BiLSTM-Attention混合神经网络模型进行训练，得到训练好的模型；

S8、根据测试集测试训练好的模型的预测精度；

S9、最后根据几条常规测井曲线以及训练好的模型快速预测地应力曲线。

2.根据权利要求1所述的一种基于混合神经网络的地应力曲线预测方法，其特征在于，所述测井数据集包括深度、补偿密度、补偿中子、声波时差、井径、自然伽马和最大水平主地应力、垂直主应力、最小水平主地应力。

3.根据权利要求1所述的一种基于混合神经网络的地应力曲线预测方法，其特征在于，所述步骤S2中通过卡尔曼滤波算法对清洗后的测井数据集进行降噪。

4.根据权利要求2所述的一种基于混合神经网络的地应力曲线预测方法，其特征在于，所述步骤S3中输入参数包括深度、补偿密度、补偿中子、声波时差、井径和自然伽马；所述输出参数包括最大水平主地应力、垂直主应力和最小水平主地应力。

5.根据权利要求1所述的一种基于混合神经网络的地应力曲线预测方法，其特征在于，所述步骤S4的具体过程为：

S41、对输入参数进行归一化；

S42、将归一化的数据按照深度顺序依次排列，组成二维数组的形式，以滑动窗口的形式构造特征样本，同时每一个特征样本对应的标签样本为该特征样本后一个深度点上输出参数中所对应的数据；

S43、每一特征样本对应一个标签样本即构成一个完整的样本，滑窗走完所有步长即构造一个总样本集。

6.根据权利要求1所述的一种基于混合神经网络的地应力曲线预测方法，其特征在于，所述步骤S5中将总样本集按照8:2的比例划分训练集和测试集。

7.根据权利要求1所述的一种基于混合神经网络的地应力曲线预测方法，其特征在于，所述步骤S7的具体过程为：

步骤S71、将训练集输入到一维卷积层中，让滤波器按照指定步长沿着序列长度方向进行卷积操作，然后采用Sigmoid激励函数对卷积后的输出值进行非线性映射；

步骤S72、将上层卷积层的输出作为池化层的输入，通过最大池化操作取得对应位置的最大值；

步骤S73、构建相同的卷积层和池化层，按照相同的逻辑进行同样的操作；

步骤S74、将上一层的输出输入到丢弃层，每次迭代忽略一部分网络，减少节点间的相互依赖；

步骤S75、将经过丢弃层的输出送入到双向长短期记忆神经网络中，进行一个维度变换，然后根据样本的输入维度，初始化隐状态和细胞态，将输入值、隐状态及细胞态一并送入双向长短期神经网络，并且在数据的循环流动过程中通过门控单元进行选择性遗忘和记忆，然后采用tanh激励函数对神经网络的输出值进行非线性映射；

步骤S76、构建相同的双向长短期记忆神经网络，继承上一层最后时刻对应的隐状态和细胞态，然后按照同样的逻辑进行相同的操作；

步骤S77、将上一层双向长短期记忆神经网络的输出进行维度变换，然后将其作为输入输送到由全连接层和softmax激励函数组成的注意机制层并用softmax激励函数进行激活，在指定轴上求平均值再沿该轴进行重复，由此计算出对应权重系数，使得多维共享一个注意力机制，再将权重系数乘以全连接层的层输入，进而得到重新分配权重的输出值；

步骤S78、将上层输出值进行拉直，即多维变成一维，然后输入到一层全连接层通过tanh激励函数将从以上多层网络结构中所学到的分布式特征表示映射到样本标记空间。

8.根据权利要求1所述的一种基于混合神经网络的地应力曲线预测方法，其特征在于，所述步骤S8中将测试集带入模型进行预测，并计算真实值与预测值的误差。

9.根据权利要求8所述的一种基于混合神经网络的地应力曲线预测方法，其特征在于，所述步骤S8中衡量误差的公式如下所示：

均方误差：

均方根误差：

平均绝对误差：

平均预测精度：

式中：n为评测样本总数；y_i为第i实际样本值；

为第i个样本的预测值；MSE为均方误差；RMSE为均方根误差；MAE为平均绝对误差；ACC为平均预测精度。/>

Images