CN108090836A - 基于加权密集连接卷积神经网络深度学习的股票投资方法 - Google Patents

Abstract

本发明涉及基于加权密集连接卷积神经网络深度学习的股票投资方法，该方法利用加权密集连接卷积对输入的股票数据特征提取，通过跨层连接以及对不同层的特征图赋予不同初始权值在训练过程中动态调整权值，从而更加有效地利用特征图并提高网络中所有层之间的信息流，在一定程度上减少层数过深导致训练过程中的梯度消失结果收敛困难的问题。通过加权密集连接卷积网络输出的Q值来选择合适的股票买卖动作，从而获得相应的奖励值，并将奖励值、状态存储在经验池之中，训练时从经验池随机批量采样，加权密集连接卷积神经网络对Q‑Learning算法的Q值函数进行逼近。本发明则通过直接学习股票市场的环境因素，直接给出买卖决策。

Description

基于加权密集连接卷积神经网络深度学习的股票投资方法

技术领域

本发明属于金融大数据技术领域，特别涉及了一种基于加权密集连接卷积神经网络深度学习的股票投资方法。

背景技术

改革开放以来，我国市场经济建设高速发展。人民的金融意识和投资意识逐渐增强，越来越多的民众选择投资股票市场来实现自己的资产增值。然而，股价涨跌无常，股市变幻莫测，投资者要想在股市投资中赢取丰厚的投资回报，成为一个成功的投资者，就得认真研究上市公司的历史、业绩和发展前景，详细分析上市公司的财务状况，树立以基本分析为主，技术分析为辅的投资理念，找出真正具有投资价值的股票，进行长期投资。

随着我国股票市场的不断发展和完善，客观形势对股票投资者的素质要求也越来越高。理性的投资行为需要依赖于科学的分析方法。近年来，国内外的学者们在对研究股票市场的问题上进行了深入的多方面的研究和探索，研究方向主要集中在以下几个方面：

(1)基本分析法

基本分析法主要包括宏观经济分析、产业周期分析、公司分析等。基本分析预测过程的主要思想是，任何一种股票都有一个内在价值，而它的价格是由盈利潜力决定的，盈利潜力又取决于国际环境、宏观经济、国家政策、行业前景、公司业绩、投资者心理等因素。基本分析有着较强的经济学含义，承认是供求关系对价格的作用机制，较多地从影响股价变动的基本因素出发，但基本分析过于强调股票的内在价值，而我国股市普遍存在的炒作现象，往往使其价格严重背离基本价值。其次，基本分析对市场的反应比较迟钝，预测的时刚跨度比较长，在实务中被认同的程度不高。因此，基本分析偏重于股价的长期变动趋势的分析预测。

(2)价格时序分析预测

相比于上面两种分析方法，对股票价格历史序列直接进行建模是更加直接的分析方法了。一种流行的预测方法是使用神经网络或者支持向量机来对历史价格序列进行建模拟合。许多学者在将深度机器学习应用于金融市场交易的工作时，试图通过使用历史市场数据来预测价格变动或趋势。例如，在输入历史价格矩阵的情况下，网络输出预测下一周期的价格的向量。这个想法很简单，因为这是一个监督式学习的例子，更精确的说是回归问题，但预测价格变动的准确性通常难以达到。

(3)深度强化学习方法

深度强化学习模型用一个深度神经网络拟合强化学习模型中的Q值，完美地将机器学习中的深度学习与强化学习这两个分支结合在一起。和上面介绍的几种方法都不相同，之前的方法都是通过对不同因素的分析来预测股票市场价格变化趋势，从而判断是否进行股票买卖。而强化学习则通过直接学习股票市场的环境因素，直接给出买卖决策，并通过买卖动作后的收益来判断决策好坏，好的决策会有相应的奖励，同样差的决策会有相应的惩罚。通过这种机制进行学习训练，最终以获得收益最大化作为目标。

密集连接卷积神经网络通过所有层之间两两都进行连接的方式，从而使得信号可以在输入层和输出层之间高速流通，从而能够使得网络模型具有更好的收敛性，在一定程度上减轻了在训练过程中梯度消散的问题。并且网络结构中采用特征复用，从而大大减少了计算的参数量。

发明内容

本发明的目的是克服上述背景技术的不足，提供一种基于加权密集连接卷积神经网络深度学习的股票投资方法，克服了传统深度强化学习中卷积神经网络层数加深后计算参数量大，信号传递缓慢的缺陷。为了实现上述技术目的，本发明的技术方案为：

所述基于加权密集连接卷积神经网络深度学习的股票投资方法，包括如下步骤：

步骤1)输入股票信息矩阵的构建：将股票数据分成长度相等的时间段T，每个时间段T内包含与时间段T相对应的历史股票数据，所述历史股票数据为一个二维空间矩阵X_t(m,n)，其中m代表股票参数，所述股票参数包括开盘价、收盘价、最低价、最高价、成交量、成交额以及涨跌幅度等，n代表当前时间段内的天数,t表示T时间段内的某一时刻,股票环境状态s表示为：s＝X_t；步骤2)训练数据的获取：构建一个能容纳m个数据样本的经验池，将历史股票信息矩阵X_t输入加权密集连接卷积神经网络后获得的样本数据[s，a，r]按照时间顺序存储在经验池之中，每次训练时随机从经验池中抽取一定量样本batch供给网络学习，其中，a为选择的买卖动作，r为通过买卖动作获得的收益，即为奖励值；

步骤3)加权密集连接卷积网络模型结构的训练：构建一个加权密集连接卷积网络，根据所述从经验池采样得到的batch数据的s作为加权密集连接卷积网络的输入，该加权密集连接卷积网络通过Q学习方法获得的Q值作为训练数据的标记，其中，Q值为每个买卖动作对应的期望价值；

步骤4)股票买卖动作的选择：设定初始随机选择动作概率为E1，最终随机选择动作概率为E0，根据随机选择动作概率值决定是选择随机动作还是通过加权密集连接网络输出的Q值中选择最大的Q值所对应的动作。

所述基于加权密集连接卷积神经网络深度学习的股票投资方法的进一步设计在于，所述步骤2)中当经验池容量达到上限，新样本数据将替换经验池中按时间顺序最旧的样本。

所述基于加权密集连接卷积神经网络深度学习的股票投资方法的进一步设计在于，所述步骤3)中加权密集连接卷积神经网络模型包括：

卷积核数量为64的卷积层以及若干个密集连接块，用于图像特征的提取,该卷积层位于输入层之后，密集连接块逐一地、依次地排列于该卷积层之后；

过渡层，紧随每个密集连接块之后，用于减小特征维度和尺寸；

全连接层，与最后一个所述密集连接块通信连接，所述全连接层为三层，第一层全连接网络输出值经过ReLU激活后输入到第二层，第二层与输出层直接相连无激活函数，输出层设有个数为三个输出节点，分别对应地用于输出买入动作、卖出动作以及无动作对应的Q值，所述买入动作为：设投资总金额为π，所述买入动作每次买入固定金额π_buy(0＜π_buy≤π)；卖出动作为：每次卖出固定金额π_Sell(0＜π_Sell≤π)；所述无动作为：当投资金额达到总金额时，禁止买入动作，当投资金额等于0时，禁止卖出动作。

所述基于加权密集连接卷积神经网络深度学习的股票投资方法的进一步设计在于，所述密集连接块内部包含了p层密集连接块子层，每一层密集连接块子层的输入包括当前密集连接块子层之前所有密集连接块子层的输出，将之前所有密集连接块子层的特征图与当前密集连接块子层的特征图进行并联，接着经过一个瓶颈层输出。

所述基于加权密集连接卷积神经网络深度学习的股票投资方法的进一步设计在于，所述密集连接块中将当前密集连接块之前的所有密集连接块子层特征图与当前密集连接块子层的特征图进行并联时，对当前以及之前所有密集连接块子层的特征图进行初始加权操作，将当前密集连接块子层的特征图权重设为1，第一层的特征图权重设置为σ(0＜σ＜1)，设之前有i层，则第i层的权值设为：

所述基于加权密集连接卷积神经网络深度学习的股票投资方法的进一步设计在于，所述瓶颈层用于执行批量归一化BN、ReLU激活函数、1x1conv全卷积、ReLU激活函数以及3x3conv全卷积操作，瓶颈层的表现形式为(BN–ReLU-1x1conv–ReLU-3x3conv)，3x3conv操作的卷积核数量为k。

所述基于加权密集连接卷积神经网络深度学***均池化层，设定经过所述1x1conv后输出的特征图为密集连接块后输出特征图的θ倍，其中，θ(0＜θ≤1)是压缩因子，θ＝1时表示输出特征图数量不变。

所述基于加权密集连接卷积神经网络深度学***均池化操作，使得每张特征图大小变为1x1，P、Q分别为大于0的整数，P代表特征图的长度，Q表示特征图的宽度。

所述基于加权密集连接卷积神经网络深度学习的股票投资方法的进一步设计在于，所述步骤3)中获取训练标记值具体包括如下步骤：

步骤3-1)输入下一时刻股票环境状态到加权密集连接卷积神经网络得到动作对应的Q值，选择最大的Q值所对应的动作，即为其中，t表示时间段内的某一时刻，s_t+1为下一个时间段的股票环境状态；

步骤3-2)通过旧的Q函数Q_old(s,a)向着学习目标，即当前获得的奖励值r加上下一步可获得的最大期望价值按照的学习速率η学习得到新的Q函数Q_new(s,a)，公式如下：

其中，η∈(10^-6,10^-4)，γ是折扣因子。

所述基于加权密集连接卷积神经网络深度学习的股票投资方法的进一步设计在于，所述步骤4)中动作的选择包括如下三个阶段：

4-1)观察阶段：设定观察阶段步数为steps1，当总步数小于等于steps1时，随机选择动作概率e为初始随机选择动作概率值E1＝1，即所有动作全部通过随机选择；

4-2)探索阶段：设定探索阶段步数为steps2，当总步数在[steps1，steps1+steps2)范围内时，随机选择动作概率e由初始随机动作概率E1逐渐减小到最终随机选择动作概率E0，每步减小的概率值stepdrop＝(E1-E0)/steps2，每次选择动作之前会生成一个随机数值，当所述随机数值小于e时，动作随机选择；当此随机数值大于等于e时，动作选择由加权密集连接卷积网络输出的最大Q值对应的动作；

4-3)训练阶段：当总步数大于steps2时，进入训练阶段，此时随机选择动作概率值e固定为E0不变，当所述随机数值小于e时，动作随机选择；当随机数值大于等于e时，动作选择由加权密集连接卷积网络输出的最大Q值对应的动作。

有益效果：

本发明的加权密集连接卷积神经网络深度强化学习的股票投资方法利用加权密集连接网络的跨层连接思想，通过所有层之间进行两两连接，从而最大化网络所有层之间的信息流，减轻了深度强化学习训练游戏过程中梯度消失结果收敛困难的问题。同时，由于使用大量的特征复用，使得少量的卷积核可以生成大量的特征，从而减小了模型尺寸。通过直接学习股票市场的环境因素，直接给出买卖决策，并通过买卖动作后的收益来判断决策好坏，好的决策会有相应的奖励，同样差的决策会有相应的惩罚。通过这种机制进行学习训练，最终以获得收益最大化作为目标。

另一方面该方法通过加权密集连接卷积网络输出的Q值来选择合适动作，从而获得相应的奖励值，并将奖励值、状态等信息存储在经验池之中，训练时从经验池随机采样，加权密集连接卷积神经网络对Q-Learning算法的Q函数进行逼近，提高了深度强化学习算法对于输入股票环境信息的学习速度。在这项工作中，我们不假设金融市场的任何先验知识或制作任何模型，并完全让算法观察和学习市场历史。本文中的深度强化学习方法并不预测任何特定股票的价格，而是直接输投资动作。这个设计背后有两个原因。第一个原因是，根据预测的价格变动，交易行为将需要人为设计的模型将后者转换为前者。二是预测价格变动的准确性通常难以达到，本方法的最终目的是为了获得较高的利润，而不是较高的价格预测准确性。

附图说明

图1是本发明的基本流程图。

图2是本发明中密集连接卷积神经网络结构图。

图3是本发明中密集连接块内部结构图。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案作进一步详细的说明。

如图1所示，本实施例的加权密集连接卷积神经网络深度强化学习的股票投资方法，包括以下步骤：

步骤1)输入股票信息矩阵的构建：本发明中将股票数据分成长度相等的时间段T，每个时间段里包含若干天的历史股票数据。在T时间段内，输入股票历史信息被构建成一个一维空间矩阵X_t(m,n)，其中m代表股票数据的属性(开盘价、收盘价、最低价、最高价、成交量、成交额、涨跌幅度等)，n代表当前时间段内的天数。本发明中强化学习框架中的股票环境状态s表示为：s＝X_t；

步骤2)训练数据的获取：构建一个能容纳m个数据样本的经验池，将历史股票信息矩阵X_t输入加权密集连接卷积神经网络后获得的样本数据[s,a,r]按照时间顺序存储在经验池之中，每次训练时随机从经验池中抽取一定量样本batch供给网络学习，其中，s为当前股票环境状态，a为选择的买卖动作，r为通过买卖动作获得的收益。当经验池容量达到上限，新样本数据将替换经验池中最旧的样本。

步骤3)加权密集连接卷积网络模型结构的训练：构建一个加权密集连接卷积网络，根据所述从经验池采样得到的batch数据的s作为加权密集连接卷积网络的输入，通过Q学习方法获得的Q值作为训练数据的标记，其中，Q值为每个买卖动作的期望价值。如图2所示密集连接卷积神经网络模型包括：卷积核数量为64的卷积层以及若干个密集连接块，用于图像特征的提取。该卷积层位于输入层之后，密集连接块紧随此卷积层；过渡层，紧随每个密集连接块之后，用于减小特征维度和尺寸；全连接层，最后一个密集连接块后将特征图压缩成一维向量输入到全连接神经网络中，输出节点为三个，用于输出买入、卖出和无动作对应的Q值。

如图3所示密集连接块内部包含了p层密集连接块子层，每一层密集连接块子层的输入包括当前密集连接块子层之前所有密集连接块子层的输出，将之前所有密集连接块子层的特征图与当前密集连接块子层的特征图进行并联，接着经过一个瓶颈层输出。瓶颈层是由批量归一化(Batch Normalization)、ReLU激活函数、1x1conv全卷积、ReLU激活函数、3x3conv全卷积操作构成，即(BN–ReLU-1x1conv–ReLU-3x3conv)，3x3conv操作的卷积核数量为k。

密集连接块中将之前所有密集连接块子层的特征图与当前层特征图进行并联时，对当前以及之前所有层的特征图进行初始加权操作。当前密集连接块子层的特征图权重设为1，第一层的特征图权重设置为σ(0＜σ＜1)，设之前有I层，则第i层的权值设为：

过渡层中包括卷积核数量为1的1x1conv卷积层和步长2x2的平均池化层，设定经过所述1x1conv后输出的特征图为密集连接块后输出特征图的θ倍，其中，θ(0＜θ≤1)是压缩因子，θ＝1时表示输出特征图数量不变。本实施例中设定θ＝0.5。

经过n个密集连接块和n-1个过度层交替连接后，特征图大小变为[P,Q],对特征图进行PxQ大小的平均池化操作，使得每张特征图大小变为1x1。全连接层为三层，第一层全连接网络输出值经过ReLU激活后输入到第二层，第二层与输出层直接相连无激活函数，输出层节点个数为3。输出节点三个动作，设投资总金额为π，买入动作每次买入固定金额π_buy(0＜π_buy≤π)，当投资金额达到总金额时，禁止买入动作；卖出动作每次卖出固定金额π_Sell(0＜π_Sell≤π)，当投资金额等于0时，禁止卖出动作。

训练密集连接卷积神经网络模型时获取训练标记值，首先输入下一时刻股票环境状态到加权密集连接卷积神经网络得到动作对应的Q值，选择Q值最大的那个动作，即：其中，t表示时间段，s_t+1为下一个时间段的股票环境状态，a为股票的买卖动作。接着将旧的Q函数Q_old(s,a)向着学习目标，即当前获得的奖励值r加上下一步可获得的最大期望价值按照较小的学习速率η学习，得到新的Q函数Q_new(s,a)，公式如下：

步骤4)股票买卖动作的选择：设定初始随机选择动作概率为E1，最终随机选择动作概率为E0，根据随机选择动作概率值决定是选择随机选择动作还是通过加权密集连接网络输出的Q值选择Q值最大的动作。在观察阶段时，设定观察阶段步数为steps1，当总步数小于等于steps1时，随机选择动作概率e为初始随机选择动作概率值E1＝1，即所有动作全部通过随机选择。探索阶段时，设定探索阶段步数为steps2，当总步数在[steps1，steps1+steps2)范围内时，随机选择动作概率e由初始随机动作概率E1逐渐减小到最终随机选择动作概率E0，每步减小的概率值stepdrop＝(E1-E0)/steps2，每次选择动作之前会随机生成一个数值，当此随机数值小于e时，动作随机选择；当此随机值大于等于e时，动作选择由加权密集连接卷积网络输出的最大Q值对应的动作。最后的训练阶段，当总步数大于steps2时，进入训练阶段，此时随机选择动作概率值e固定为E0不变，当随机值小于e时，动作随机选择；当随机值大于等于e时，动作选择由加权密集连接卷积网络输出的最大Q值对应的动作。

本实施例利用密集连接网络的跨层连接思想，通过所有层之间进行两两连接并赋予不同的权值，从而最大化网络所有层之间的信息流，减轻了深度强化学习训练游戏过程中梯度消散的问题。同时，由于使用大量的特征复用，使得少量的卷积核可以生成大量的特征，从而减小了模型尺寸。实验结果表明，本发明得到的结果较好，适合于股票投资问题研究。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于加权密集连接卷积神经网络深度学习的股票投资方法，其特征在于包括如下步骤：

步骤1)输入股票信息矩阵的构建：将股票数据分成长度相等的时间段T，每个时间段T内包含与时间段T相对应的历史股票数据，所述历史股票数据为一个二维空间矩阵X_t(m,n)，其中m代表股票参数，所述股票参数包括开盘价、收盘价、最低价、最高价、成交量、成交额以及涨跌幅度等，n代表当前时间段内的天数,t表示T时间段内的某一时刻,股票环境状态s表示为：s＝X_t；

步骤2)训练数据的获取：构建一个能容纳m个数据样本的经验池，将历史股票信息矩阵X_t输入加权密集连接卷积神经网络后获得的样本数据[s，a，r]按照时间顺序存储在经验池之中，每次训练时随机从经验池中抽取一定量样本batch供给网络学习，其中，a为选择的买卖动作，r为通过买卖动作获得的收益，即为奖励值；

步骤3)加权密集连接卷积网络模型结构的训练：构建一个加权密集连接卷积网络，根据所述从经验池采样得到的batch数据的s作为加权密集连接卷积网络的输入，该加权密集连接卷积网络通过Q学习方法获得的Q值作为训练数据的标记，其中，Q值为每个买卖动作对应的期望价值；

步骤4)股票买卖动作的选择：设定初始随机选择动作概率为E1，最终随机选择动作概率为E0，根据随机选择动作概率值决定是选择随机动作还是通过加权密集连接网络输出的Q值中选择最大的Q值所对应的动作。

2.根据权利要求1所述的基于加权密集连接卷积神经网络深度学习的股票投资方法，其特征在于所述步骤2)中当经验池容量达到上限，新样本数据将替换经验池中按时间顺序最旧的样本。

3.根据权利要求1所述的基于加权密集连接卷积神经网络深度学习的股票投资方法，其特征在于所述步骤3)中加权密集连接卷积神经网络模型包括：

卷积核数量为64的卷积层以及若干个密集连接块，用于图像特征的提取,该卷积层位于输入层之后，密集连接块逐一地、依次地排列于该卷积层之后；

过渡层，紧随每个密集连接块之后，用于减小特征维度和尺寸；

全连接层，与最后一个所述密集连接块通信连接，所述全连接层为三层，第一层全连接网络输出值经过ReLU激活后输入到第二层，第二层与输出层直接相连无激活函数，输出层设有个数为三个输出节点，分别对应地用于输出买入动作、卖出动作以及无动作对应的Q值，所述买入动作为：设投资总金额为π，所述买入动作每次买入固定金额π_buy(0＜π_buy≤π)；卖出动作为：每次卖出固定金额π_Sell(0＜π_Sell≤π)；所述无动作为：当投资金额达到总金额时，禁止买入动作，当投资金额等于0时，禁止卖出动作。

4.根据权利要求3所述的基于加权密集连接卷积神经网络深度学习的股票投资方法，其特征在于所述密集连接块内部包含了p层密集连接块子层，每一层密集连接块子层的输入包括当前密集连接块子层之前所有密集连接块子层的输出，将之前所有密集连接块子层的特征图与当前密集连接块子层的特征图进行并联，接着经过一个瓶颈层输出。

5.根据权利要求4所述的基于加权密集连接卷积神经网络深度学习的股票投资方法，其特征在于所述密集连接块中将当前密集连接块之前的所有密集连接块子层特征图与当前密集连接块子层的特征图进行并联时，对当前以及之前所有密集连接块子层的特征图进行初始加权操作，将当前密集连接块子层的特征图权重设为1，第一层的特征图权重设置为σ(0＜σ＜1)，设之前有i层，则第i层的权值设为：

6.根据权利要求4所述基于加权密集连接卷积神经网络深度学习的股票投资方法，其特征在于所述瓶颈层用于执行批量归一化BN、ReLU激活函数、1x1conv全卷积、ReLU激活函数以及3x3conv全卷积操作，瓶颈层的表现形式为(BN–ReLU-1x1conv–ReLU-3x3conv)，3x3conv操作的卷积核数量为k。

7.根据权利要求3所述基于加权密集连接卷积神经网络深度学***均池化层，设定经过所述1x1conv后输出的特征图为密集连接块后输出特征图的θ倍，其中，θ(0＜θ≤1)是压缩因子，θ＝1时表示输出特征图数量不变。

8.根据权利要求7所述基于加权密集连接卷积神经网络深度学***均池化操作，使得每张特征图大小变为1x1，P、Q分别为大于0的整数，P代表特征图的长度，Q表示特征图的宽度。

9.根据权利要求1所述基于加权密集连接卷积神经网络深度学习的股票投资方法，其特征在于所述步骤3)中获取训练标记值具体包括如下步骤：

步骤3-1)输入下一时刻股票环境状态到加权密集连接卷积神经网络得到动作对应的Q值，选择最大的Q值所对应的动作，即为其中，t表示时间段内的某一时刻，s_t+1为下一个时间段的股票环境状态；

步骤3-2)通过旧的Q函数Q_old(s，a)向着学习目标，即当前获得的奖励值r加上下一步可获得的最大期望价值按照的学习速率η学习得到新的Q函数Q_new(s，a)，公式如下：

<mrow> <msub> <mi>Q</mi> <mrow> <mi>n</mi> <mi>e</mi> <mi>w</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <mi>a</mi> <mo>)</mo> </mrow> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;eta;</mi> <mo>)</mo> </mrow> <msub> <mi>Q</mi> <mrow> <mi>o</mi> <mi>l</mi> <mi>d</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <mi>a</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>&amp;eta;</mi> <mo>&amp;lsqb;</mo> <mi>r</mi> <mo>+</mo> <mi>&amp;gamma;</mi> <mo>&amp;CenterDot;</mo> <munder> <mi>max</mi> <mi>a</mi> </munder> <mi>Q</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>,</mo> <mi>a</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow>

其中，η∈(10^-6,10^-4)，γ是折扣因子。

10.根据权利要求1所述基于加权密集连接卷积神经网络深度学习的股票投资方法，其特征在于所述步骤4)中动作的选择包括如下三个阶段：

4-1)观察阶段：设定观察阶段步数为steps1，当总步数小于等于steps1时，随机选择动作概率e为初始随机选择动作概率值E1＝1，即所有动作全部通过随机选择；

4-2)探索阶段：设定探索阶段步数为steps2，当总步数在[steps1，steps1+steps2)范围内时，随机选择动作概率e由初始随机动作概率E1逐渐减小到最终随机选择动作概率E0，每步减小的概率值stepdrop＝(E1-E0)/steps2，每次选择动作之前会生成一个随机数值，当所述随机数值小于e时，动作随机选择；当此随机数值大于等于e时，动作选择由加权密集连接卷积网络输出的最大Q值对应的动作；

4-3)训练阶段：当总步数大于steps2时，进入训练阶段，此时随机选择动作概率值e固定为E0不变，当所述随机数值小于e时，动作随机选择；当随机数值大于等于e时，动作选择由加权密集连接卷积网络输出的最大Q值对应的动作。