CN115898362A - 基于Attention-LSTM的机械钻速时序特征表征与预测方法 - Google Patents

Abstract

基于Attention‑LSTM模型机械钻速时序特征表征与预测方法，包括以下步骤：步骤S1、选取某地区采集的三口井的钻井数据，数据以米为单位来作为时间序列数据集的间隔单位，使用其获取到属性数据进行对井的钻速预测；步骤S2、数据预处理；采用归一化的规范化方法，使得各处使用同一个数量级；步骤S3、在处理过的数据集上，通过神经网络模型对其进行训练，神经网络的学习模型包括Attention模型，LSTM模型；步骤S4、使用预测模型的预测精度对实验结果进行评价；本方法显著提高了神经网络模型在机械钻速预测中的准确性、可靠性以及可解释性。

Description

基于Attention-LSTM的机械钻速时序特征表征与预测方法

技术领域

本发明属于油田天然气采集和钻井领域，特别涉及一种基于Attention-LSTM的机械钻速时序特征表征与预测方法。

背景技术

随着经济、民生等领域的不断发展，石油、天然气等资源的使用急剧增长。中国每年对石油的进口持续扩大，勘探力度增加，石油开采和勘探力度变得越来越重要。钻速作为评估石油工程钻井作业的一项重要指标，其预测模型表征了诸多影响因素与机械钻速之间的联系，如何有效挖掘这些影响因素与钻速之间的联系，也是未来钻井提速与优化的基础。

以数据为驱动的机械钻速预测模型分为两大类，包括统计方法和机器学习。统计方法的主要目的是为了在钻井变量之间建立准确的数学方程，得出钻速的预测函数。统计方法虽然对钻速预测有一定的效果，但预测方法大多依靠经验加入对钻速影响较高的特征变量，简单的对理论钻井公式进行扩展推理并验证，但事实上，钻井变量之间的关系是非常复杂的。

现有的以数据为驱动的机械钻速时序预测表征，取得了不错的效果，随着计算机的性能预处理能力大幅提高，人工智能水平快速提升，以机器学习为核心的钻速预测方法逐渐兴起，如王文等建立了适用于渤中区域的深度神经网络钻速预测模型；李琪等将粒子群优化算法和BP神经网络结合，提出了一种新的机械钻速预测模型；赵颖等将极限学习机应用到钻速预测中，达到了较好预测效果。如专利号“CN 114358434 A”，名称为《基于LSTM循环神经网络模型的钻井机械钻速预测方法》的发明公开了一种通过利用LSTM模型的基础上构建非线性的复杂关系模型，将输入的D1输入经过训练模型中，得到预测机械钻速，采用R²指标评价机械钻速预测中与真实值拟合结果。

在这种LSTM的模型训练中仍然存在数据参数的选择上不够准确的问题。在挑选输入参数时，大多通过线性回归模型、统计分析得出与机选钻速相关性较高的钻井参数来作为模型的影响因素，经验认识受限于主观认识，而与数据完全脱离。而线性回归模型又忽略了影响因素之间的非线性关系以及其相互之间的交互关系，导致预测结果的准确性以及泛化性下降。且当输入的时序过长时，难以学习到合理的向量表示，会导致随着时间序列的增长表现会越来越差。

发明内容

为了解决上述现有技术存在的问题，本发明提供了一种基于Attention-LSTM模型的机械钻速预测方法，采用Attention机制，在做预测时能更好的关注强参数，用于捕获影响因素中诸多特征与机械钻速之间的相关性，采用Attention机制与LSTM层搭配，能够更好地克服序列的长期依赖关系，最后使用全连接层输出机械钻速预测结果；本方法显著提高了神经网络模型在机械钻速预测中的准确性、可靠性以及可解释性。

为了达到上述目的，本发明采用的技术方案如下：

基于Attention-LSTM模型机械钻速时序特征表征与预测方法，包括以下步骤：

步骤S1、选取某地区采集的三口井的钻井数据，数据以米为单位来作为时间序列数据集的间隔单位，使用其获取到属性数据进行对井的钻速预测；

步骤S2、数据预处理；采用归一化的规范化方法，使得各处使用同一个数量级；

步骤S3、在处理过的数据集上，通过神经网络学习模型对其进行训练，神经网络学习模型包括Attention模型，LSTM模型；

步骤S4、使用预测模型的预测精度对实验结果进行评价。

所述的步骤S1包括的步骤如下：

S1.1.在选取钻井数据时，当钻头每钻深一米深度，检测设备将当前时间点的各项钻井参数保存；

S1.2.将三口井的数据集采用对一、二号井的数据进行对模型训练，使其能够学习从浅到深的全井段钻井规律，预测的测试集使用完整的三号井进行，钻井所用到的钻井参数，包括钻头深度、钻压、大沟负载、转盘转速、扭矩、泵量、泵压、泵冲以及泵送时间；

S1.3.在数据集中，需要加入时间序列特征，将t-n(n＝1:T)时刻的机械转速作为当时间序列的特征，其中T为时间步长，因此在t时刻的样本输入格式为：

X＝[χt-T-₁,χt-T₊₁,···,χt-Y₊i,xt]T

xt＝[Deptht,WOHt,WOBt,···,PumpTimet,ROPt-₁]。

所述的步骤S2包括如下步骤：

采用最大最小标准化方法和最大最小标准化方法逆向，表示如下：

x＝χ′*(max(x_train)-min(x_train))+min(x_train)。

所述的步骤S3包括如下步骤：

S3.1.设计基于Attention-LSTM的机械钻速预测模型，模型由LSTM和Attention两个模型构成，

其中，LSTM由多个记忆单元和遗忘门、输入门和输出门这三个门控构成，

LSTM的计算公式如下：

f_t＝σ(W_f·[h_t-1,χ_t]+b_f)

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

O_t＝σ(W_o·[h_t-1,x_t]+b_o)

h_t＝O_t·tanh(c_t)

其中：h_t-1、c_t-1是t-1时刻隐藏层的输出向量，σ是sigmoid激活函数，tanh为正切激活函数，W_f、b_f、W_i、W_c、b_i、b_c、W_o、b_o为可学习的参数。

Attention机制通过保持LSTM层对输入序列建模时每一步的中间输出结果，并将它们与输出序列的值联系起来，从而训练模型学习如何选择性地关注输入数据，为相关性更高的输入向量赋予更高的权重：

Attention机制的权重系数计算公式如下：

e_t＝W_eχ_t+b_e

a_t＝σ(e_t)

h_t＝a_t·χ_t

其中：x_t是当前时刻的样本输入，e_t表示样本中元素信息的打分函数，a_t量化了输入层状态信息对于当前时刻预测输出的重要程度，h_t是Attention层的输出，W_e、b_e为可学习的参数，σ是softmax激活函数。

S3.2.将输入的数据集随机划分为训练集和测试集占80％和20％，钻井参数作为输入层，机械钻速作为输出层；

S3.3.对模型进行训练时采用tanh和ReLu函数作为网格传递的激活函数，采用Adam优化器对激活函数权值进行优化，Batchsize设置为64，学习率0.0001。使用的公式如下：

i_t＝σ(W_i·[h_t-1,χ_t]+b_i)。

所述的步骤S4包括如下步骤：

S4.1.采用平均绝对误差MAE、均方根误差RMSE、决定系数R_square和相对误差作为评价指标，公式如下：

式中，n表示真实标签和预测标签样本的数量，y_i、y`_i分别表示样本的真实标签和预测标签，

表示n个样本的真实标签的平均值；

S4.2.MAE是表示预测值和观测值之间的绝对误差的平均值，对残差值进行直接计算平均；RMSE是一种预测值和真实值之间的标准差，说明了样本的离散程度，MAE和RMSE，越小预测效果越优；R_square和相对误差率relative error是反应评价拟合好坏的指标，R_square越大，即越接近于1，所拟合的回归模型越优；相对误差率越小即越接近于0，所拟合的回归模型越优。

本发明采用上述技术方案，具有如下有益效果：

(1)、本发明步骤S1数据集使用法不同于传统的数据集取法，而是把训练集和测试集的数据分别取不同的三个井，这样更贴近现实中的钻井过程。

(2)、本发明使用了更可靠的步骤S4的评价指标方法，采用四种损失函数建立衡量标准，解决钻速预测问题。

(3)、引入Attention机制后，预测模型关联了各特征对钻速输出的影响系数，不是简单将各钻井影响因素的重要程度平均化，而是在各个时刻自主挖掘包括钻头深度、钻压、大沟负荷、转盘转速、历史钻速等11个属性对机械钻速输出的重要程度。并且论证了机械钻速预测问题中存在有时序性特征，具有记忆功能的机器学习模型能够通过学习迭代，从钻井数据中学习到这种时序性特征，帮助建立更加完整与准确的机械钻速预测模型。

(4)、采用的LSTM模型能够有效解决传统RNN在时间序列训练中产生的梯度消失和梯度***的问题，对比传统模型一方面提升了机械钻速预测的准确性，另外增加了模型可解释性，使得能从数据驱动角度更加定量的评价工程参数机械钻速之间的相关关系。

附图说明

图1为LSTM网络基本单元结构图。

图2为Attention-LSTM网络模型图。

图3为测试集数据中除深度以外的每个属性的频率分布直方图。

图4为特征注意力贡献率的变化趋势。

图5为最后一次迭代的特征注意力贡献率。

图6为Attention-LSTM下预测值和真实值折线图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步描述。

本发明设计了一种基于Attention-LSTM网络的钻速预测模型，主要用于研究模型参数的改变与钻井时序性之间的关系，Attention机制在做预测时更关注强参数，用于捕获影响因素中诸多特征与机械钻速之间的相关性。本发明采用了某油口的三口井的完整钻井数据作为数据集，并对数据集进行数据预处理，得到训练集、验证集和测试集；进而应用建立的机械钻速预测模型，得到预测结果。

基于Attention-LSTM模型机械钻速时序特征表征与预测方法，包括以下步骤：

步骤S1、选取某地区采集的三口井的钻井数据，数据以米为单位来作为时间序列数据集的间隔单位，使用其获取到的属性数据进行对井的钻速预测。

步骤S2、数据预处理；在数据集中不同属性的取值范围差别很大，因此需要采用归一化的规范化方法，使得各处使用同一个数量级。

步骤S3、在处理过的数据集上，通过神经网络学习模型对其进行训练，神经网络学习模型包括Attention模型，LSTM模型。

步骤S4、使用预测模型的预测精度对实验结果进行评价。

所述的步骤S1包括的步骤如下：

S1.1.在选取钻井数据时，当钻头每钻深一米深度，检测设备将当前时间点的各项钻井参数保存。

S1.2.将三口井的数据集采用对一、二号井的数据进行对模型训练，使其能够学习从浅到深的全井段钻井规律，预测的测试集使用完整的三号井进行，钻井所用到的钻井参数，包括钻头深度、钻压、大沟负载、转盘转速、扭矩、泵量、泵压、泵冲以及泵送时间，如下表所示：

S1.3.在数据集中，需要加入时间序列特征，将t-n(n＝1:T)时刻的机械转速作为当时间序列的特征，其中T为时间步长，因此在t时刻的样本输入格式为：

X＝[x_y-T-1,x_t-T+1,···,x_t-Y+i,x_t]^T

x_t＝[Depth_t,WOH_t,WOB_t,···,PumpTime_t,ROP_t-1]

所述的步骤S2包括如下步骤：

当不同属性取值范围差别过大时，需要采用归一化的规范方法，使各属性处于同一数量级，以提升模型精度，本发明采用最大最小标准化方法和最大最小标准化方法逆向，表示如下：

x＝x′*(max(x_train)-min(χ_train))+min(χ_train)

所述的步骤S3包括如下步骤：

S3.1.基于Attention-LSTM网络的机械钻速预测模型。模型特征在于由LSTM和Attention两个模型构成，其中，LSTM由多个记忆单元和三个门控(遗忘门、输入门和输出门)构成。

LSTM长短期记忆网络是一种改进的RNN，将记忆参数限制于[0，1]区间内，防止较远时刻的记忆对输出产生指数***的影响，有效的解决了RNN无法解决的梯度消亡问题，可充分利用历史信息，在时序分析中具有较强的适应性。LSTM单元进本结构如图1所示。

图中：LSTM的输入有三个：当前时刻网络的输入向量x_t，上一时刻隐藏层的输出向量h_t-1、以及上一时刻的单元状态c_t-1；LSTM的输出有两个：当前时刻网络的输出向量h_t和当前时刻的单元状态c_t。σ是sigmoid激活函数。f_t表示遗忘门，i_t表示输出门，o_t表示输出门。

LSTM的第一步，是通过遗忘门，能决定上一期的哪些信息能够被保留,计算公式可表示如下：

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

式中：h_t-1是t-1时刻隐藏层的输出向量，x_t是当前时刻的输入，[h_t-1,x_t]表示将两个向量连接在一起形成新的向量，σ是sigmoid激活函数，W_f、b_f为可学习的参数。

LSTM的第二步，是通过输入门，输入门决定了当前t时刻的输入的哪些信息被保留，计算公式可表示如下：

i_t＝σ(W_i·[h_t-1,χ_t]+b_i)

式中：ct-1c_t-1是t时刻之前的长期记忆单元状态，σ是sigmoid激活函数，W_i、W_c、b_i、b_c为可学习的参数。

LSTM的第三步，是输出门，它会控制了长期记忆对当前输出的影响，计算公式可表示如下：

O_t＝σ(W_o·[h_t-1,χ_t]+b_o)

h_t＝O_t·tanh(c_t)

式中：σ是sigmoid激活函数，W_o、b_o为可学习的参数。

Attention机制

传统的深度神经网络专精预测模型训练时会平等地对待样本的特征，然而由于钻井数据中参数的多样化，某些参数可能对钻速的关联性或高或低，如果如丧模型平等地处理这些参数，就会消耗大量的资源在不必要的参数上。因此，本文在LSTM网络的基础上加入了Attention机制。Attention机制通过保持LSTM层对输入序列建模时每一步的中间输出的结果，并将它们与输出序列的值联系起来，从而训练模型学习如何选择性的关注输入数据，为相关性跟高的输入向量赋予更高的权重。

Attention机制的权重系数计算公式如下：

e_t＝W_ex_t+b_e

a_t＝σ(e_t)

h_t＝a_t·x_t

式中，x_t是当前时刻的样本输入，e_t表示样本中元素信息的打分函数，与当前时刻预测输出的相关程度越高，打分越高。a_t量化了输入层状态信息对于当前时刻预测输出的重要程度，本模型中是基于样本中维度间的贡献率进行Attention机制的分析，h_t是Attention层的输出，W_e、b_e为可学习的参数，σ是softmax激活函数。

图2所示为采用Attention机制和LSTM相结合的模型流程示意图，整体由输入层、Attention层、LSTM层、输出层四部分构成。

S3.2.数据集选取了真实的钻井数据，检测设备将当前时间点的各项钻井数据保存，所用到的参数包含钻头深度、钻压、大沟负载、转盘转速、扭矩、泵量、泵压、泵冲以及泵送时间等11个属性。如图3所示为测试集数据中除深度以外2的每个实行的频率分布直方图。

在本发明中，将t-n(n＝1:T)时刻的机械钻速作为当时间序列特征，其中T为时间步长。因此在t时刻的样本输入格式为：

X＝[x_t-T-1,x_t-T+1,···,x_t-Y+i,x_t]^T

χ_t＝[Depth_t,WOH_t,WOB_t,···,PumpTime_t,ROP_t-1]

本发明使用数据预处理方法是采用最大-最小标准化方法，将特征的取值范围转换为[0,1]之间，公式为：

其中最大-最小标准化方法的逆向公式：

χ＝χ′*(max(χ_train)-min(χ_train))+min(χ_train)

S3.3.对模型进行训练时采用tanh和ReLu函数作为网格传递的激活函数，采用Adam优化器对激活函数权值进行优化，Batchsize设置为64，学习率0.0001。使用的公式如下：

i_t＝σ(W_i·[h_t-1,χ_t]+b_i)

所述的步骤S4包括如下步骤：

S4.1.为衡量本文所提出的预测模型的预测精度，采用平均绝对误差MAE、均方根误差RMSE、决定系数R_square和相对误差作为评价指标，公式如下：

式中，n表示真实标签和预测标签样本的数量，y_i、y`_i分别表示样本的真实标签和预测标签，

表示n个样本的真实标签的平均值。

S4.2.MAE是表示预测值和观测值之间的绝对误差的平均值，对残差值进行直接计算平均；RMSE是一种预测值和真实值之间的标准差，说明了样本的离散程度，MAE和RMSE，越小预测效果越优；R_square和相对误差率relative error是反应评价拟合好坏的指标，R_square越大，即越接近于1，所拟合的回归模型越优；相对误差率越小即越接近于0，所拟合的回归模型越优。

本发明对比了RNN、LSTM和LSTM-Attention三种模型预测在同样的滑动窗口下使用以上四种评价指标对实验结果进行评价，如下表所示：

通过对比，Attention-LSTM模型预测结果的各项评价指标平均值明显要优于其他模型，说明LSTM在Attention机制的影响下，相比单一的LSTM模型，具有更高的钻速预测精度，验证了Attention机制对钻速预测的有效性。

预测事实与结果

为验证本发明所提出的Attention-LSTM模型的性能，采用DNN和RNN、LSTM做对照组，实验使用完全相同的训练集和测试集，将本发明的模型与单一的LSTM神经网络、RNN神经网络模型进行对比。

对Attention-LSTM模型进行了十次训练，统计模型训练后的结果平均值。平均绝对误差为7.47，均方根误差为11.66，决定系数为0.91，相对误差为0.22。为了准确反应Attention机制在模型训练中的变化，使用Attention机制的权重系数计算公式计算输出样本中关于特征维度的重要程度，表示为0到1之间，将本发明的模型每次迭代后的Attention权重系数保存下来，通过线性趋势来反映输入特征为u对于神谕者迭代次数增加，其重要程度的变化。

图4表示随着迭代次数增加，特征重要程度变化的趋势，图5表示为最后一次迭代后的特征维度Attention贡献率，以柱状图的形式直观的反应各个特征的重要程度。

机械钻速预测问题中存在有时序性特征，具有记忆功能的机器学习模型能够通过学习迭代，从钻井数据中学习到这种时序性特征，帮助建立更加完整与准确的机械钻速预测模型。图6所示以深度作为横坐标，通过蓝色与橘黄色两条折线，展示随着井深变换，机械钻速实际值与预测值之间的关系。

以上详细描述了本发明的具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在本发明的权利要求保护范围内。

Claims (5)

1.基于Attention-LSTM模型机械钻速时序特征表征与预测方法，其特征在于，包括以下步骤：

步骤S1、选取某地区采集的三口井的钻井数据，数据以米为单位来作为时间序列数据集的间隔单位，使用其获取到属性数据进行对井的钻速预测；

步骤S2、数据预处理；采用归一化的规范化方法，使得各处使用同一个数量级；

步骤S3、在处理过的数据集上，通过神经网络学习模型对其进行训练，神经网络学习模型包括Attention模型，LSTM模型；

步骤S4、使用预测模型的预测精度对实验结果进行评价。

2.根据权利要求1所述的基于Attention-LSTM模型机械钻速时序特征表征与预测方法，其特征在于，所述的步骤S1包括的步骤如下：

S1.1.在选取钻井数据时，当钻头每钻深一米深度，检测设备将当前时间点的各项钻井参数保存；

S1.2.将三口井的数据集采用对一、二号井的数据进行对模型训练，使其能够学习从浅到深的全井段钻井规律，预测的测试集使用完整的三号井进行，钻井所用到的钻井参数，包括钻头深度、钻压、大沟负载、转盘转速、扭矩、泵量、泵压、泵冲以及泵送时间；

S1.3.在数据集中，需要加入时间序列特征，将t-n(n＝1:T)时刻的机械转速作为当时间序列的特征，其中T为时间步长，因此在t时刻的样本输入格式为：

X＝[x_t-T-1,x_t-T+1,···,x_t-Y+i,x_t]^T

x_t＝[Depth_t,WOH_t,WOB_t,···,PumpTime_t,ROP_t-1]。

3.根据权利要求1所述的基于Attention-LSTM模型机械钻速时序特征表征与预测方法，其特征在于，所述的步骤S2包括如下步骤：

采用最大最小标准化方法和最大最小标准化方法逆向，表示如下：

x＝x′*(max(x_train)-min(x_train))+min(x_train)。

4.根据权利要求1所述的基于Attention-LSTM模型机械钻速时序特征表征与预测方法，其特征在于，所述的步骤S3包括如下步骤：

S3.1.设计基于Attention-LSTM的机械钻速预测模型，模型由LSTM和Attention两个模型构成，

其中，LSTM由多个记忆单元和遗忘门、输入门和输出门这三个门控构成，

LSTM的计算公式如下：

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

O_t＝σ(W_o·[h_t-1,x_t]+b_o)

h_t＝O_t·tanh(c_t)

其中：h_t-1、c_t-1是t-1时刻隐藏层的输出向量，σ是sigmoid激活函数，tanh为正切激活函数，W_f、b_f、W_i、W_c、b_i、b_c、W_o、b_o为可学习的参数；

Attention机制通过保持LSTM层对输入序列建模时每一步的中间输出结果，并将它们与输出序列的值联系起来，从而训练模型学习如何选择性地关注输入数据，为相关性更高的输入向量赋予更高的权重：

Attention机制的权重系数计算公式如下：

e_t＝W_ex_t+b_e

a_t＝σ(e_t)

h_t＝a_t·x_t

其中：x_t是当前时刻的样本输入，e_t表示样本中元素信息的打分函数，a_t量化了输入层状态信息对于当前时刻预测输出的重要程度，h_t是Attention层的输出，W_e、b_e为可学习的参数，σ是softmax激活函数；

S3.2.将输入的数据集随机划分为训练集和测试集占80％和20％，钻井参数作为输入层，机械钻速作为输出层；

S3.3.对模型进行训练时采用tanh和ReLu函数作为网格传递的激活函数，采用Adam优化器对激活函数权值进行优化，Batch size设置为64，学习率0.0001；使用的公式如下：

i_t＝σ(W_i·[h_t-1,x_t]+b_i)。

5.根据权利要求1所述的基于Attention-LSTM模型机械钻速时序特征表征与预测方法，其特征在于，所述的步骤S4包括如下步骤：

S4.1.采用平均绝对误差MAE、均方根误差RMSE、决定系数R_square和相对误差作为评价指标，公式如下：

式中，n表示真实标签和预测标签样本的数量，y_i、y`_i分别表示样本的真实标签和预测标签，

表示n个样本的真实标签的平均值；

S4.2.MAE是表示预测值和观测值之间的绝对误差的平均值，对残差值进行直接计算平均；RMSE是一种预测值和真实值之间的标准差，说明了样本的离散程度，MAE和RMSE，越小预测效果越优；R_square和相对误差率relative error是反应评价拟合好坏的指标，R_square越大，即越接近于1，所拟合的回归模型越优；相对误差率越小即越接近于0，所拟合的回归模型越优。

Images