CN110288121A - 基于多粒度时间注意力机制的航班客座率预测方法 - Google Patents

Abstract

本发明提供了一种基于多粒度时间注意力机制的航班客座率预测方法。该方法包括：构建基于多粒度时间注意力机制的循环神经网络模型，将航线上所有起飞时刻的航班历史客座率时间序列作为所述编码器的输入序列，编码器对输入序列进行编码处理，解码器对编码器输出的编码信息进行解码处理，得到目标航班的航班客座率时间序列。本发明通过起飞时刻注意力机制捕获目标航班所在航线中不同起飞时刻航班客座率的时序依赖性及其它起飞时刻航班客座率对目标航班客座率的影响，同时采用起飞日注意力机制捕获目标航班的自身客座率序列的趋势性及周期性；结合考虑航班自身属性及节假日等外部因素的影响，最终使得本模型在航班客座率预测问题上取得了很好的效果。

Description

基于多粒度时间注意力机制的航班客座率预测方法

技术领域

本发明涉及航班客座率预测技术领域，尤其涉及一种基于多粒度时间注意力机制的航班客座率预测方法。

背景技术

随着民航旅客的迅速增长，航空客运需求预测越来越受到航空公司、机票代理商、飞机制造商等民航相关企业的关注。航空客运量需求预测包括航线客运量需求预测、机场客运量需求预测、航空公司市场份额预测和航班客运量需求预测等方面。航班客运量需求预测是较细粒度上的需求预测，是航空座位优化控制和定价策略的基础。

对航空客运市场来说，航班客座率是衡量航班客运量需求的一个重要指标。航空公司通过航班客座率来衡量运力与运量之间是否匹配，并处理一系列衍生问题，包括溢出、虚耗、超售等；飞机制造商也需要关注客座率，客座率是航空公司是否需要增加运力，引进飞机的一个重要指标。民航市场从业者通过准确目标航班客座率，能够提前感知市场需求、提高企业收益管理水平、为各级运营部门提供决策支持。

目前，现有的航班客座率预测方法只关注了航班近期每日客座率的变化特点，无法同时考虑到该问题受到的其它众多因素的影响，例如航班所在航线中其它邻近起飞时刻的航班客座率、航班自身属性和外界因素等等。

发明内容

本发明的实施例提供了一种基于多粒度时间注意力机制的航班客座率预测方法，以克服现有技术的问题。

为了实现上述目的，本发明采取了如下技术方案。

一种基于多粒度时间注意力机制的航班客座率预测方法，包括：

构建基于多粒度时间注意力机制的循环神经网络模型，所述循环神经网络模型包括：结合起飞时刻注意力机制的编码器和结合起飞日注意力机制的解码器；

将航线上所有起飞时刻的航班历史客座率时间序列作为所述编码器的输入序列，所述编码器对所述输入序列进行编码处理，所述解码器对所述编码器输出的编码信息进行解码处理，得到目标航班的航班客座率时间序列。

优选地，所述结合起飞时刻注意力机制的编码器包括层次结构的第一层长短期记忆网络LSTM单元和第二层LSTM单元，将目标航班所在航线上所有航班的历史客座率时间序列按照起飞时刻输入至所述第一层LSTM单元的每个时间步，所述第一层LSTM单元输出综合考虑了起飞时刻时序性的每个起飞时刻下的隐藏层状态值；所述第一层LSTM单元的输出作为起飞时刻注意力机制的输入，起飞时刻注意力机制通过参考所述第二层LSTM单元前一起飞日的隐藏层状态，在每个起飞日自适应地提取所述第一层LSTM单元相关起飞时刻的隐藏层状态值，所述第二层LSTM单元输出目标航班在各起飞日的隐藏层状态值，综合所述第一层LSTM单元和所述第二层LSTM单元捕获目标航班所在航线中不同起飞时刻的航班客座率的时序依赖性和其它起飞时刻航班的客座率对目标航班的客座率的影响。

优选地，所述的方法包括：

给定时间窗口长度为D，采用表示一条航线上所有起飞时刻的航班过去D天的客座率构成的T个时间序列，其中表示第t个起飞时刻的航班过去D天的客座率时间序列，表示在过去第d个起飞日所有起飞时刻的航班客座率构成的向量；

给定输入序列X＝(x¹，x²，...，x^T)，其中将x^t作为所述第一层LSTM单元在第t个起飞时刻航班的输入，并使用h_t＝f_eb(h_t-1，x^t)更新所述第一层LSTM单元在第t个起飞时刻的隐藏层状态值，其中f_eb代表所述第一层LSTM单元的更新函数，经过所述第一层LSTM单元计算得到每个起飞时刻下的隐藏层状态值h＝(h₁，h₂，...，h_T)，其中所述隐藏层状态值h考虑了航线上所有起飞时刻间航班客座率的时序依赖性；

对所述第一层LSTM单元得到的第t个起飞时刻的隐藏层状态值h_t，采用如下起飞时刻注意力机制的计算：

其中，是衡量在起飞日第d天时第t个起飞时刻的航班的客座率时间序列对目标航班的当天客座率影响程度的注意力权重，需要学习的参数是

对进行归一化，使所有注意力权重之和为1，则对于起飞日d，所述第一层LSTM单元结合起飞时刻注意力机制的输出向量如下：

所述第二层LSTM单元输出的起飞日d的隐藏层状态值输出如下：

q_d＝f_ea(q_d-1，z_d)

其中f_ea是所述第二层LSTM单元的更新函数。

优选地，所述的方法还包括：

将航班自身属性和节假日属性作为外界因素，所述航班自身属性包括目标航班所属航空公司、机型、起落地GDP、起落机场、起飞时刻和经济舱座位数，所述节假日属性包括是否为节假日、是否为工作日、星期属性和当日是否开设高铁；

将所述外界因素中的每个航班自身属性和每个节假日属性转换为低维向量，将各个低维向量分别输入不同的嵌入层以生成对应的嵌入向量，将各个嵌入向量融合处理后得到d′为解码器预测的未来起飞日，将所述传输给所述解码器。

优选地，所述的方法还包括：

采用起飞日注意力机制自适应地选择所述第二层LSTM单元所有时间步中的相关隐藏层状态值，为了计算解码器第d′天的预测输出值对应的编码器在第d个起飞日的隐藏层状态值的注意力权重，定义如下：

其中需要学习的参数是对进行归一化，所得即为注意力权重，c_d′表示对于解码器未来第d′天起飞日注意力机制的输出向量；

在解码器中，计算得到对于未来第d′天的加权求和的上下文向量c_d′之后，将上下文向量c_d′与根据外部因素的嵌入向量融合后得到的以及解码器上一时刻的输凸相结合来更新解码器隐藏层状态，公式如下：

其中，f_d表示解码器中使用的LSTM单元更新函数，接着将上下文向量c_d′与隐藏层状态g_d′进行向量拼接，得到最终预测的新隐藏层状态，如下所示：

其中，矩阵及向量将拼接向量维度映射到解码器隐藏层维度，使用线性变换来生成解码器在第d′个时间步的最终输出将解码器在所有时间步的输出进行综合得到目标航班的未来一段时间的航班客座率。

优选地，所述的方法还包括：

在历史航班客座率数据集中选取某航线上所有起飞时刻的航班历史客座率数据作为实验数据集，基于所述实验数据集构造实验样本，将所述实验样本划分为训练集、验证集和测试集，利用所述训练集训练所述基于多粒度时间注意力机制的循环神经网络模型，选取最优超参，学习出所述实验数据集下模型最优参数，得到训练好的基于多粒度时间注意力机制的循环神经网络模型，使用所述测试集对所述训练好的基于多粒度时间注意力机制的循环神经网络模型进行测试，使用所述验证集对所述训练好的基于多粒度时间注意力机制的循环神经网络模型的测试结果进行验证。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例的MTA-RNN模型依据时间粒度构建多级注意力机制，分别为起飞时刻注意力机制与起飞日注意力机制，通过两级注意力机制的结合，获取航班客座率在不同时间粒度下的时序相关性。本发明通过起飞时刻注意力机制捕获目标航班所在航线中不同起飞时刻航班客座率的时序依赖性及其它起飞时刻航班客座率对目标航班客座率的影响，同时采用起飞日注意力机制捕获目标航班的自身客座率序列的趋势性及周期性；此外该模型采用外部因素融合模块来考虑航班自身属性及节假日等外部因素的影响，最终使得本模型在航班客座率预测问题上取得了很好的效果。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种基于多粒度时间注意力机制的循环神经网络模型(MTA-RNN)的架构图；

图2为2010年3月北京-上海航线不同起飞时刻航班经济舱客座率对比图；

图3为本发明实施例提供的一种基于多粒度时间注意力的航班客座率预测方法的处理流程图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其它元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

实施例一

本发明实施例提出了一种基于多粒度时间注意力机制的循环神经网络模型(MTA-RNN)，图1为本发明实施例提供的一种上述MTA-RNN模型的架构图，该模型构建多级注意力机制获取航班客座率在不同时间粒度下的时序相关性，该模型包括：结合起飞时刻注意力机制的编码器和结合起飞日注意力机制的解码器。

所述结合起飞时刻注意力机制的编码器包括层次结构的第一层长短期记忆网络LSTM单元和第二层LSTM单元，第一层LSTM单元为图1中的编码器下方LSTM单元，第二层LSTM单元为图1中的编码器上方LSTM单元。将目标航班所在航线上所有航班的历史客座率时间序列按照起飞时刻输入至所述第一层LSTM单元的每个时间步，所述第一层LSTM单元输出综合考虑了起飞时刻时序性的每个起飞时刻下的隐藏层状态值；所述第一层LSTM单元的输出作为起飞时刻注意力机制的输入，起飞时刻注意力机制通过参考所述第二层LSTM单元前一起飞日的隐藏层状态，在每个起飞日自适应地提取所述第一层LSTM单元相关起飞时刻的隐藏层状态值，所述第二层LSTM单元输出目标航班在各起飞日的隐藏层状态值，综合所述第一层LSTM单元和所述第二层LSTM单元捕获目标航班所在航线中不同起飞时刻的航班客座率的时序依赖性和其它起飞时刻航班的客座率对目标航班的客座率的影响。

基于上述MTA-RNN模型，本发明实施例提供的一种基于多粒度时间注意力的航班客座率预测方法，该方法构建多级注意力机制获取航班客座率在不同时间粒度下的时序相关性。在编码器中，模型首先采用LSTM单元捕获预测航班所在航线中不同起飞时刻航班客座率的时序依赖性，之后引入起飞时刻注意力机制，通过参考编码器上方LSTM单元前一起飞日的隐藏层状态，在每个起飞日自适应地提取编码器下方LSTM单元相关起飞时刻的隐藏层状态值；在解码器中，本发明引入起飞日注意力机制在所有的起飞日中选择相关编码器上方LSTM单元的隐藏层状态，并结合航班自身属性及节假日等外界因素，最终得到未来一段时间的目标航班经济舱客座率。该方法的处理过程包括以下步骤：

S1.给出本发明涉及的形式化表示及所解决的预测问题的定义；

S1.1本发明涉及的形式化表示定义如下：

绝大多数情况下，航班的起飞时刻固定不变，航线的起飞时刻与具体航班一一对应。因此，航线的航班数量与起飞时刻数量近似相等。假设某个航线中存在T个起飞时刻(或航班)，在航线中选择一个起飞时刻的航班客座率时间序列作为目标序列，将该目标序列用于模型预测，其余起飞时刻的航班客座率时间序列作为特征。

给定时间窗口长度为D，本发明采用

表示该航线上所有起飞时刻的航班过去D天的客座率构成的T个时间序列，其中表示第t个起飞时刻的航班过去D天的客座率时间序列，表示在过去第d个起飞日所有起飞时刻的航班客座率构成的向量；本发明实施例采用表示过去D天内起飞时刻为i的目标航班的客座率时间序列。

S1.2本发明所解决的预测问题定义如下：

根据给定的航线上所有起飞时刻的航班历史T天的客座率观测值X、以及航班自身属性及外界因素

其中τ为预测起飞时刻为i的目标航班未来客座率的天数，表示目标航班未来第τ天的外界因素。

预测起飞时刻为i的目标航班未来τ天的客座率，记为

S2.构造基于多粒度时间注意力机制的循环神经网络模型，利用上述循环神经网络模型进行航班客座率预测。

本发明提出的MTA-RNN模型的主体架构遵循编解码器模型，包括编码器和解码器两大部分。编码器对输入序列进行编码，上述输入序列为航线上所有起飞时刻的航班历史客座率时间序列。解码器用于预测输出序列更具体地说，MTA-RNN模型由以下的两个主要部分组成：

1)多粒度时间注意力机制。它由结合起飞时刻注意力机制的编码器和结合起飞日注意力机制的解码器组成。在编码器中，本发明采用两个独立的LSTM(Long Short-TermMemory，长短期记忆网络)单元，图1Encoder部分下方LSTM单元用于捕获目标航班所在航线中不同起飞时刻的航班客座率的时序依赖性，在此基础上引入起飞时刻注意力机制，该机制通过参考Encoder部分上方LSTM单元先前隐藏层状态值及Encoder部分下方LSTM单元在各起飞时刻的状态输出值，可以自适应地捕获在每个起飞日下其它起飞时刻的航班客座率对目标航班客座率的影响；在解码器中，本发明引入起飞日注意力机制自适应地选择目标航班的起飞日级别的状态输出值以捕获目标航班客座率时间序列的自身趋势性及周期性。

2)外部因素融合。该模块用于处理航班自身属性及节假日等外界因素对目标航班客座率的影响，该模块的输出作为部分输入提供给解码器。

在图1中，FlightTimeAttn代表起飞时刻注意力机制，FlightDayAttn代表起飞日注意力机制，Concat代表连接层；表示起飞时刻为i的目标航班在第d′天的预测值，c_d′表示在第d′天的上下文向量，h₀、q₀分别表示编码器中两个LSTM的初始隐藏层状态值。本发明使用表示编码器下方LSTM在第t个起飞时刻的隐藏层状态值，表示图中编码器上方LSTM在历史第d个起飞日的隐藏层状态值及记忆单元状态值；同样，表示解码器在预测日d′的隐藏层状态值及记忆单元状态值。

S2.1利用多粒度时间注意力机制获取航班客座率在不同时间粒度下的时序相关性。

结合起飞时刻注意力机制的编码器，由于同一航线上的所有起飞时刻存在时序性，本发明采用LSTM单元(图1Encoder部分下方LSTM)捕获目标航班所在航线中不同起飞时刻的航班客座率的时序依赖性。给定输入序列X＝(x¹，x²，...，x^T)，其中本发明将x^t作为该LSTM单元在第t个起飞时刻航班的输入，并使用h_t＝f_eb(h_t-1，x_t)更新该LSTM单元在第t个起飞时刻的隐藏层状态值，其中f_eb代表编码器中下方LSTM单元更新函数。经过该LSTM单元计算得到每个起飞时刻下的隐藏层状态值h＝(h₁，h₂，...，h_T)，其中 该值考虑了航线上所有起飞时刻间航班客座率的时序依赖性。为了能够自适应地捕获目标序列和其它起飞时刻的航班每日的客座率构成的时间序列间的相关性，针对编码器下方LSTM单元在第t个起飞时刻输出的隐藏层状态值h_t，本发明采用如下起飞时刻注意力机制：

其中需要学习的参数是起飞时刻注意力权重是由编码器下方LSTM单元各起飞时刻的隐藏层状态值及编码器上方LSTM单元的历史状态(如q_d-1，s_d-1)共同决定。是衡量在起飞日第d天时，第t个起飞时刻的航班其客座率时间序列对目标航班当天客座率影响程度的注意力权重。本发明采用softmax函数对进行归一化，使所有注意力权重之和为1。起飞时刻注意力机制是前馈神经网络，可以与RNN的其它组件共同训练。经注意力权重计算后，则对于起飞日d，其起飞时刻注意力机制的输出向量如下：

则编码器上方LSTM单元在起飞日d的隐藏层状态值输出如下：

q_d＝f_ea(q_d-1，z_d)

其中f_ea是编码器上方LSTM单元更新函数。通过本发明提出的起飞时刻注意力机制，编码器上方LSTM单元可以选择性的关注于编码器下方LSTM单元在某些起飞时刻的隐藏层状态值，而不是平等地处理所有起飞时刻的隐藏层状态值。

结合起飞日注意力机制的解码器为了预测起飞时刻为i的目标航班未来τ天的客座率本发明使用另一个基于LSTM的循环神经网络解码已经编码的输入信息。由于编解码器结构的性能会随着编码器长度的增加逐渐降低，因此本发明在解码器中采用起飞日注意力机制自适应地选择编码器上方LSTM单元所有时间步中的相关隐藏层状态值，即自动捕获目标航班客座率时间序列的自身趋势性及周期性。具体地，为了计算解码器第d′天的预测输出值对应的编码器在第d个起飞日的隐藏层状态值的注意力权重，本发明定义如下：

其中需要学习的参数是采用softmax函数对进行归一化，所得即为注意力权重。c_d′表示对于解码器未来第d′天，起飞日注意力机制的输出向量。

在解码器中，计算得到对于未来第d′天的加权求和的上下文向量c_d′之后，本发明则将其与外部因素融合模块的输出以及解码器上一时刻的输出相结合来更新解码器隐藏层状态，公式如下：

其中，f_d表示解码器中使用的LSTM单元更新函数。接着将上下文向量c_d′与隐藏层状态g_d′进行向量拼接，这将成为进行最终预测的新隐藏层状态，如下所示：

其中，矩阵及向量将拼接向量维度映射到解码器隐藏层维度。最后本发明使用线性变换(即)来生成最终输出。为解码器在第d′个时间步的最终输出，将解码器在所有时间步的输出进行综合得到目标航班的未来一段时间的航班客座率。

S2.2本发明设计外部因素融合模块将航班自身属性及节假日等外界因素考虑在内以提高航班客座率的预测准确性。

航班客座率受航班自身属性及节假日等外界因素的影响并且Liang等人在研究工作中关注外部因素对时空应用的影响。受此启发，本发明设计了一个简单而有效的模块来处理这些因素。

航班自身属性包括目标航班所属航空公司、机型、起落地GDP、起落机场、起飞时刻、经济舱座位数；在外界因素中，由于数据获取的有限性，本发明只选取时间特征(是否节假日、是否工作日、星期属性)及当日是否开设高铁特征。如图1所示，首先本发明将航班自身属性及外界因素同时输入至外部因素融合模块。由于这些因素大多数都是离散属性，不能直接输入神经网络，本发明将每个离散属性转换为低维向量，将它们分别输入不同的嵌入层以生成对应的嵌入向量。最后将嵌入向量与其余特征连接作为该模块的输出，记为d′为解码器预测的未来起飞日。

实施例二

图2为2010年3月北京-上海航线不同起飞时刻航班经济舱客座率对比图，横轴为航班起飞日，纵轴为航班经济舱客座率，不同曲线代表不同起飞时刻的航班的经济舱客座率变化曲线。从图2中可以看出航班客座率具有如下特点：

1.起飞时刻相关性。给定某一航线，其某一起飞日中不同起飞时刻航班的客座率之间相互影响，且起飞时刻越相近的航班的客座率越接近。由图2可知，起飞时刻更相近的8：30AM航班和9：00AM航班的每日经济舱客座率及航班整体的客座率曲线的变化趋势更接近；

2.起飞日相关性。航班自身的客座率数据在时间维度上呈现趋势性和周期性，由图2可知，不同起飞时刻航班的经济舱客座率整体上均具有周级别的周期性。

在历史航班客座率数据集中选取某航线上所有起飞时刻的航班历史客座率数据作为实验数据集，基于此构造实验样本，划分训练集、验证集、测试集；对实验涉及的数据进行数据预处理；训练MTA-RNN模型，选取最优超参，学习该数据集下模型最优参数，得到训练好的基于多粒度时间注意力机制的循环神经网络模型，使用所述测试集对所述训练好的基于多粒度时间注意力机制的循环神经网络模型进行测试，使用所述验证集对所述训练好的基于多粒度时间注意力机制的循环神经网络模型的测试结果进行验证。然后，将验证通过的MTA-RNN模型用于该航线上航班未来客座率预测。

本发明的实施充分考虑航班客座率的起飞时刻及起飞日相关性，如图3所示，设计出多粒度时间注意力机制捕获航班客座率在不同时间粒度下的时序相关性。同时通过外部因素融合模块充分考虑航班自身属性及节假日等外界因素的影响，能够以设计出的MTA-RNN模型实现对未来一周内未知机票价格更精准的预测。

举例说明本发明提供的实施方式：

以中国航信提供的真实的历史航班客座率数据集为例，其中选取北京-上海航线中在两年内起飞日达584(730*89％)天以上的航班数据作为实验数据集，若设置时间窗口长度D＝28、预测天数τ＝7，则统计信息如表1所示。

表1数据集统计信息

图3为本发明实施例提供的一种基于多粒度时间注意力的航班客座率预测方法的处理流程图，包括如下的处理步骤：

步骤S1、基于实验数据集构造实验样本，划分训练集、验证集及测试集；

本发明按照时间顺序将数据集划分为非重叠的训练、验证及测试集，划分比例为8∶1∶1，即在实验数据集中选取27个航班预测时段为2010/01/29-2011/08/09(共557天)的经济舱客座率数据作为训练集，预测时段为2011/08/10-2011/10/18(共70天)的数据作为验证集，其余数据为测试集。假定h代表需要预测的目标航班未来τ天中的第一天，则预测时段为[h，h+τ-1]，该航线上所有起飞时刻航班的历史客座率数据时段为[h-D，h-1]，依据以上时段划分构造单个数据样本，按照每天一次滑动构建新的预测时段，依据上述操作，每一个航班可以构建696个样本，则总样本数为27×696＝18792。

步骤S2、对实验涉及的数据进行数据预处理；

由于航班客座率取值范围为[0，1]，所以无需对航班客座率取值进行归一化；对于外部输入数据，本发明采用独热编码(0ne-Hot)的方式分别对起飞日期星期属性、是否工作日、是否节假日、航空公司机型、起落机场、所在航线是否开设高铁这些离散特征进行编码，对于起落地GDP、起飞时刻(提取小时及分钟)和经济舱座位数这些连续特征采用Min-Max归一化方法归一到[0，1]之间，归一化方法公式如下所示：

x′＝(x-minx)/(maxx-minx)

其中x表示原数据，x′表示数据在[0，1]之间新的表示，minx、maxx分别表示原数的最小值和最大值。

步骤S3、训练MTA-RNN模型，选取最优超参，学习该数据集下模型最优参数；

模型训练阶段，批大小(Batch Size)设为256，学习率为0.0001，训练轮数为500，采用早停策略防止过拟合。在本发明提出的MTA-RNN模型中，有4个需要调节的超参，分别是时间窗口长度D，编码器中两个LSTM单元的隐藏层维度n、m，解码器隐藏层维度p。令D∈{7，14，28，42，56}，在D上进行网格搜索选择最优取值；为了简单起见，在编解码器中的LSTM单元中使用相同的隐藏层维度，在该参数上进行网格搜索n＝m＝p∈{32，64，128，256}；另外，本发明采用堆叠LSTMs(层数记为f)作为编解码器的单元来提高模型性能。

步骤S4、将步骤S3中训练出的MTA-RNN模型在测试集上进行模型预测性能评估，与其它基准方法进行对比；

本发明采用平均绝对误差(MAE)和均方根误差(RMSE)作为模型预测效果的评价指标。本发明提出的模型与其它基准方法预测结果进行对比，本实验中选取的基准方法包括自回归滑动平均求和模型(ARIMA)、长短期记忆模型(LSTM)、编解码器模型(Seq2seq)，未来7天航班客座率总体预测性能对比如表2所示。

表2不同方法未来7天总体预测结果对比

综上所述，本发明实施例的MTA-RNN模型依据时间粒度构建多级注意力机制，分别为起飞时刻注意力机制与起飞日注意力机制，通过两级注意力机制的结合，获取航班客座率在不同时间粒度下的时序相关性。本发明通过起飞时刻注意力机制捕获目标航班所在航线中不同起飞时刻航班客座率的时序依赖性及其它起飞时刻航班客座率对目标航班客座率的影响，同时采用起飞日注意力机制捕获目标航班的自身客座率序列的趋势性及周期性；此外该模型采用外部因素融合模块来考虑航班自身属性及节假日等外部因素的影响，最终使得本模型在航班客座率预测问题上取得了很好的效果。

本发明实施例提出的航班客座率预测方法在真实数据集上与其他方法进行对比，取得了很好的预测效果，能够很好地完成航班客座率预测任务，进而使民航市场从业者能够提前感知市场需求、提高企业收益管理水平、为各级运营部门提供决策支持。同时，本发明中的多粒度时间注意力机制设计，为有着相同特点的航班需求、航班查询量等民航领域其他预测问题提供了新的思路。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于装置或***实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及***实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种基于多粒度时间注意力机制的航班客座率预测方法，其特征在于，包括：

构建基于多粒度时间注意力机制的循环神经网络模型，所述循环神经网络模型包括：结合起飞时刻注意力机制的编码器和结合起飞日注意力机制的解码器；

将航线上所有起飞时刻的航班历史客座率时间序列作为所述编码器的输入序列，所述编码器对所述输入序列进行编码处理，所述解码器对所述编码器输出的编码信息进行解码处理，得到目标航班的航班客座率时间序列。

2.根据权利要求1所述的方法，其特征在于，所述结合起飞时刻注意力机制的编码器包括层次结构的第一层长短期记忆网络LSTM单元和第二层LSTM单元，将目标航班所在航线上所有航班的历史客座率时间序列按照起飞时刻输入至所述第一层LSTM单元的每个时间步，所述第一层LSTM单元输出综合考虑了起飞时刻时序性的每个起飞时刻下的隐藏层状态值；所述第一层LSTM单元的输出作为起飞时刻注意力机制的输入，起飞时刻注意力机制通过参考所述第二层LSTM单元前一起飞日的隐藏层状态，在每个起飞日自适应地提取所述第一层LSTM单元相关起飞时刻的隐藏层状态值，所述第二层LSTM单元输出目标航班在各起飞日的隐藏层状态值，综合所述第一层LSTM单元和所述第二层LSTM单元捕获目标航班所在航线中不同起飞时刻的航班客座率的时序依赖性和其它起飞时刻航班的客座率对目标航班的客座率的影响。

3.根据权利要求2所述的方法，其特征在于，所述的方法包括：

给定时间窗口长度为D，采用表示一条航线上所有起飞时刻的航班过去D天的客座率构成的T个时间序列，其中表示第t个起飞时刻的航班过去D天的客座率时间序列，表示在过去第d个起飞日所有起飞时刻的航班客座率构成的向量；

给定输入序列X＝(x¹，x²，...，x^T)，其中将x^t作为所述第一层LSTM单元在第t个起飞时刻航班的输入，并使用h_t＝f_eb(h_t-1，x^t)更新所述第一层LSTM单元在第t个起飞时刻的隐藏层状态值，其中f_eb代表所述第一层LSTM单元的更新函数，经过所述第一层LSTM单元计算得到每个起飞时刻下的隐藏层状态值h＝(h₁，h₂，...，h_T)，其中所述隐藏层状态值h考虑了航线上所有起飞时刻间航班客座率的时序依赖性；

对所述第一层LSTM单元得到的第t个起飞时刻的隐藏层状态值h_t，采用如下起飞时刻注意力机制的计算：

其中，是衡量在起飞日第d天时第t个起飞时刻的航班的客座率时间序列对目标航班的当天客座率影响程度的注意力权重，需要学习的参数是V_e，

对进行归一化，使所有注意力权重之和为1，则对于起飞日d，所述第一层LSTM单元结合起飞时刻注意力机制的输出向量如下：

所述第二层LSTM单元输出的起飞日d的隐藏层状态值输出如下：

q_d＝f_ea(q_d-1，z_d)

其中f_ea是所述第二层LSTM单元的更新函数。

4.根据权利要求3所述的方法，其特征在于，所述的方法还包括：

将航班自身属性和节假日属性作为外界因素，所述航班自身属性包括目标航班所属航空公司、机型、起落地GDP、起落机场、起飞时刻和经济舱座位数，所述节假日属性包括是否为节假日、是否为工作日、星期属性和当日是否开设高铁；

将所述外界因素中的每个航班自身属性和每个节假日属性转换为低维向量，将各个低维向量分别输入不同的嵌入层以生成对应的嵌入向量，将各个嵌入向量融合处理后得到d′为解码器预测的未来起飞日，将所述传输给所述解码器。

5.根据权利要求4所述的方法，其特征在于，所述的方法还包括：

采用起飞日注意力机制自适应地选择所述第二层LSTM单元所有时间步中的相关隐藏层状态值，为了计算解码器第d′天的预测输出值对应的编码器在第d个起飞日的隐藏层状态值的注意力权重，定义如下：

其中需要学习的参数是V_l，对进行归一化，所得即为注意力权重，c_d′表示对于解码器未来第d′天起飞日注意力机制的输出向量；

在解码器中，计算得到对于未来第d′天的加权求和的上下文向量c_d′之后，将上下文向量c_d′与根据外部因素的嵌入向量融合后得到的以及解码器上一时刻的输出相结合来更新解码器隐藏层状态，公式如下：

其中，f_d表示解码器中使用的LSTM单元更新函数，接着将上下文向量c_d′与隐藏层状态g_d′进行向量拼接，得到最终预测的新隐藏层状态，如下所示：

其中，矩阵及向量将拼接向量维度映射到解码器隐藏层维度，使用线性变换来生成解码器在第d′个时间步的最终输出将解码器在所有时间步的输出进行综合得到目标航班的未来一段时间的航班客座率。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述的方法还包括：

在历史航班客座率数据集中选取某航线上所有起飞时刻的航班历史客座率数据作为实验数据集，基于所述实验数据集构造实验样本，将所述实验样本划分为训练集、验证集和测试集，利用所述训练集训练所述基于多粒度时间注意力机制的循环神经网络模型，选取最优超参，学习出所述实验数据集下模型最优参数，得到训练好的基于多粒度时间注意力机制的循环神经网络模型，使用所述测试集对所述训练好的基于多粒度时间注意力机制的循环神经网络模型进行测试，使用所述验证集对所述训练好的基于多粒度时间注意力机制的循环神经网络模型的测试结果进行验证。