CN112328578A - 一种基于强化学习和图注意力网络的数据库查询优化方法 - Google Patents

Abstract

本发明涉及数据库技术领域，提供了一种基于强化学习和图注意力网络的数据库查询优化方法，目的在于解决现有查询语句的连接关系非常复杂时，查询执行计划空间会非常庞大，搜索整个查询执行空间会耗费大量时间的技术问题。主要方案包括，在数据库中随机生成查询语句并执行，将查询语句对应的执行计划树，从根节点开始拆分，并记录各个节点的连接关系；初始化DQN模型中的Q‑network网络参数w，DQN模型中的Q‑network网络采用GAT图注意力网络，将编码特征矩阵与图描述集合Edge作为网络输入，对DQN模型进行训练；对于一条查询语句，初始化其图描述和编码，使用步骤2中训练得到的DQN模型生成连接关系，直到所有表都被连接就生成了完整的查询计划。

Description

一种基于强化学习和图注意力网络的数据库查询优化方法

技术领域

本发明涉及一种基于强化学习和图注意力网络的数据库查询优化方法。针对在大规模多连接查询，能够在较短时间内得到一个较优的数据库查询执行计划，从而减少查询在数据库中的执行时间。

背景技术

对于一条查询语句，数据库并不能直接执行。数据库需要首先解析查询语句，再由优化器生成对应的查询执行计划，最后交给执行引擎执行该计划。本发明中就如何在较短时间内针对多连接的查询生成较优的查询计划提出了一种有效的解决方法。

现有两技术中的技术方案与本申请提案最为接近：

1.中国发明专利，专利名称：一种基于改进型SDD-1算法的数据库多连接查询优化方法，申请号：CN201110043615.9。

首先执行改进的SDD-1算法，利用该算法得到一个查询执行策略集，将该执行策略集作为遗传算法的初始种群产生的依据。然后，执行遗传算法，利用遗传算法的全局搜索能力对SDD-1算法得到的结果进行优化。最终得到一个比较理想的查询执行策略。具体包括如下步骤：

步骤1：设置初始参数：包括SDD-1和遗传算法的初始参数设置；

步骤2：获取查询执行策略集：从构建的查询图中寻找有益双向半连接，并从有益双向半连接候选集中选择有益双向半连接到有益双向半连接集合BS中，重复以上步骤，直到查询图中不存在有益双向半连接，将所得有益双向半连接集合BS的值添加到执行策略集合ES中，重复以上步骤，直到运行次数达到N；

步骤3：构建遗传算法初始种群：对执行策略集合ES中的元素依次执行编码操作，并将所得结果作为遗传算法的初始种群；

步骤4：运行遗传算法：对种群重复执行交叉、变异、选择操作，直到运行次数达到M；

步骤5：输出查询执行策略：将步骤4输出种群中最好的个体作为最终结果，并将其解码为查询树，即查询执行策略。

2.中国发明专利，专利名称：一种基于超图和动态计划的大数据实时查询优化方法，申请号：CN201020231887.2。

一种基于超图和动态计划的大数据实时查询优化方法，包括最佳代价模型构建过程和执行计划空间搜索过程。最佳代价模型构建过程包括如下步骤：

步骤1：分析元数据服务器中表数据，构建生成细粒度的列级统计信息直方图，并将其存储在元数据服务器中；

步骤2：利用统计信息，构建相应最佳的代价模型供生成计划时使用。

执行计划空间搜索过程包括以下步骤：

步骤1：解析数据库查询语句，将结果保存与查询超图数据结构中。

步骤2：为单个关系初始化设置执行计划，将其保存在相应动态计划表中。

步骤3：定义好计算枚举策略：每个连通子图及连通补集只被生成一次；

步骤4：通过计算领域以枚举连通子图；

步骤5：为每个连通子图找到合适的连通补集；

步骤6：为每对连通子图和补集构成的执行计划计算其代价，依照代价模型更新其执行计划；

步骤7：重复执行步骤4——步骤7，直到整个左线性树构成的执行计划空间搜索完毕，生成执行计划树。

技术方案一存在的缺点有：

1、遗传算法本质上来说是一种贪心策略，容易陷入局部最优解；

2、此方案需要设置遗传算法迭代次数，当迭代次数较少时，不能获得较优的查询执行计划。而当迭代次数较多时，需要较长的算法执行时间的同时，不能避免陷入局部最优。

3、对查询执行计划编码一维编码，不能捕捉到查询执行计划的树形结构信息。

技术方案二存在的缺点有：

1、使用左线性树来枚举搜索整个查询执行计划空间，当查询语句的连接关系非常复杂时，查询执行计划空间会非常庞大，搜索整个查询执行空间会耗费大量时间。

发明内容

本发明的目的在于解决现有查询语句的连接关系非常复杂时，查询执行计划空间会非常庞大，搜索整个查询执行空间会耗费大量时间的技术问题。

为解决上述技术问题本发明采用以下技术方案：

本发明提供了一种基于强化学习和图注意力网络的数据库查询优化方法，包括以下具体步骤：

步骤1：数据收集，在数据库中随机生成查询语句并执行，将查询语句对应的执行计划树，从根节点开始拆分，并记录各个节点的连接关系；

步骤2：模型训练，根据各个节点的连接关系对每个节点进行编码描述，得到编码特征矩阵，对每个节点进行图描述，得到图描述集合Edge，初始化DQN模型中的Q-network网络参数w，DQN模型中的Q-network网络采用GAT图注意力网络，将编码特征矩阵与图描述集合Edge作为网络输入，对DQN模型进行训练；

步骤3：模型应用，对于一条查询语句涉及到的表，每个表作为一个节点，对给个节点初始化其图描述和编码，查询执行计划中每一步选择2个节点的连接都使用步骤2中训练得到的DQN模型生成，此时状态转移，更新图描述和编码描述，直到所有表都被连接就生成了完整的查询计划。

上述技术方案中，图描述如下：

对查询语句涉及到的n张表，对表进行编号表示为[1，2，3，4…n]，每一张表作为一个节点index，初始节点index为n个，存储当前所有普通节点index集合Node[1，2，...，n])，初始化边集合Edge为空；

在Node集合中选任2个未被标记为已连接查询计划的节点i和j，将连接了节点i和节点j的查询计划作为新的节点max(index)+1加入到Node集合，index∈Node，同时对节点i和j标记为已连接查询计划，将节点i，节点j，新的节点max(index)+1表示成两条边(i，max(index)+1)和(j，max(index)+j)并加入Edge集合，得到图描述集合Edge。

上述技术方案中，编码描述如下：

对于每一个节点，编码位数为n+m+k位，初始n位为当前节点涉及的表1-hot编码，中间m位为当前节点涉及的列属性1-hot编码，最后k位为连接类型的1-hot编码，初始化时可以对每个节点的编码描述n+m位赋值，最后k位初始化为0，当有连接操作时，新增节点的编码，前n+m位为连接2结点的位或运算结果，后k位根据连接类型设置1-hot编码，最终得到编码特征矩阵。

因为本发明采用上述技术方案，因此具备以下有益效果：

一、相较于动态规划算法，动态规划算法需要搜索完所有查询执行计划可能的解，而查询执行计划的解空间会随着连接数目的指数级上涨。尽管动态规划算法可以获得查询执行计划的最优解，但是在获得最优解的过程中会耗费大量时间。而使用强化学习DQN模型，模型的训练是离线，不需要考虑。在使用DQN模型决策查询执行计划时，算法执行次数与连接数线性相关。如果有n个连接，最多只需要n-1次算法执行过程就可以获得较优的查询执行计划。

二、相较于遗传算法等智能算法，如现有技术方案二中所述，首先需要设定算法的迭代次数。但是针对不同查询语句，无法自适应算法的迭代次数，这会导致如果迭代次数不够，不能获得较优的解。而如果迭代次数过多，在可能陷入局部最优的同时，也耗费大量时间。而使用DQN模型，每一步的选择都由使用了大量数据训练的Q-network选择，更不容易陷入局部最优，且最多只需要n-1次算法执行就可以获得结果。

三、相较于普通强化学习算法，不能描述查询执行计划具有的树形结构特征，不能描述每一步采取的连接选择，对于最终的查询执行计划影响程度的不均匀性。而通过使用GAT图注意力网络替换DQN网络中普通的全连接网络Q-network可以较好的描述上述两个特征。

附图说明

图1为模型结构示意图；

图2为执行计划树从根节点拆分示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在强化学习模型DQN中，最重要的部分就是通过Q-network来预测不同单步选择的长期影响，模型每次选择长期影响最佳的选择最终就认为得到了最好的查询执行计划。所以，对每次单步选择长期影响的预测正确性至关重要。普通Q-network为全连接网络，只能以一维数据作为输入。如果以一维数据作为输入，在描述当前查询执行计划时会带来很多问题。常用的对查询执行计划编码方式，会导致某些不同的查询执行计划确有相同的编码表示。作为输入，相同的输入会有相同的输出结果，这样的训练会使得Q-network对连接选择的长期影响不准确。所以为了捕捉到全部的查询执行计划的结构信息，选择GAT图注意力网络来代替普通的全连接网络作为Q-network。这样全新的网络结构，会使训练完成后的模型对单步连接选择的长期影响更加准确。在使用DQN模型时也就能够每次更加准确地选择到最佳的连接选择。

对于一条查询语句，数据库需要根据其查询执行计划来执行。查询语句涉及很多表的连接操作，而表的连接运算都具有可交换可结合性。所以在查询执行计划中，需要确定每次连接哪两个部分(可以是表，也可以是表和表连接后的结果)，最终每个表都被连接了即形成了完整的查询执行计划。将查询执行计划树抽象为马尔可夫决策过程：开始状态中，所有表都没有被连接，此时需要选择连接哪两个表。选择之后，将这两个表替换为一个连接结果，进入下一个状态，此时上一步生成的连接结果同样可以被选择。即每次选择连接的，可以是两个表、一个表一个连接结果或者是两个连接结果。直到所有状态中只剩下一个连接结果，此时即生成了一个完整的查询计划。

本发明具体的提供了一种基于强化学习和图注意力网络的数据库查询优化方法，其特征在于，包括以下具体步骤：

步骤1：数据收集，在数据库中随机生成查询语句并执行，将查询语句对应的执行计划树，从根节点开始拆分，并记录各个节点的连接关系；如图2所示，示例了一个包含6个节点的查询执行计划，其中节点6为根节点，在拆分时每次删除根节点，一直重复直到每个节点都是叶子节点就拆分结束了。

步骤2：模型训练，根据各个节点的连接关系对每个节点进行编码描述，得到编码特征矩阵，对每个节点进行图描述，得到图描述集合Edge，初始化DQN模型中的Q-network网络参数w，DQN模型中的Q-network网络采用GAT图注意力网络，将编码特征矩阵与图描述集合Edge作为网络输入，对DQN模型进行训练；

步骤3：模型应用，对于一条查询语句涉及到的表，每个表作为一个节点，对给个节点初始化其图描述和编码，查询执行计划中每一步选择2个节点的连接都使用步骤2中训练得到的DQN模型生成，此时状态转移，更新图描述和编码描述，直到所有表都被连接就生成了完整的查询计划。

所述的GAT图注意力网络，由注意力卷积层、激活层、注意力卷积层、激活层4部分组成。其中第一个注意力卷积层接收输入部分为state₊和action₊确定的下一个状态state_t+1。为了将查询执行计划srate_t描述为图注意力网络可以处理的数据模型，对state_t为图描述和编码描述两个部分：

图描述如下：

对查询语句涉及到的n张表，对表进行编号表示为[1，2，3，4…n]，每一张表作为一个节点index，初始节点index为n个，存储当前所有普通节点index集合Node[1，2，...，n])，初始化边集合Edge为空；

在Node集合中选任2个未被标记为已连接查询计划的节点i和j，将连接了节点i和节点j的查询计划作为新的节点max(index)+1加入到Node集合，index∈Node，同时对节点i和j标记为已连接查询计划，将节点i，节点j，新的节点max(index)+1表示成两条边(i，max(index)+1)和(j，max(index)+j)并加入Edge集合，得到图描述集合Edge。

上述技术方案中编码描述如下：

查询执行计划中，任一个节点i后级连接一个查询计划节点，每个查询计划节点的结果，作为一个节点j；

对于每一个节点，编码位数为n+m+k位，初始n位为当前节点涉及的表1-hot编码，中间m位为当前节点涉及的列属性1-hot编码，最后k位为连接类型的1-hot编码，初始化时可以对每个节点的编码描述n+m位赋值，最后k位初始化为0，当有连接操作时，新增节点的编码，前n+m位为连接2结点的位或运算结果，后k位根据连接类型设置1-hot编码，最终得到编码特征矩阵。

因为发明采用了上述技术方案，因此具备以下特性：

1.在步骤1中，能够收集到足够多的数据，使后续的模型训练过程，可以训练得到泛化能力足够好的模型；

2.在步骤1中，所有的操作都是离线进行的，即虽然收集了大量数据，但这些操作所耗费的时间都与步骤3中使用模型生成查询语句计划的时间；

3.在步骤2中，总体使用DQN模型作为框架，能够在每一步的连接选择中都不局限于单步选择是否优秀，而是着眼于对整体查询执行计划的生成更有益的选择，更不容易陷入局部最优；

4.在步骤2中，在DQN模型中使用图注意力网络GAT替换了普通的全连接网络作为Q-network，能够捕捉到查询执行计划的树形结构信息。

5.在步骤3中，对于所有的查询语句，生成完整的查询执行计划的时间与其连接数线性相关，能够有效的在极短的时间内生成较优的执行计划。

Claims (3)

1.一种基于强化学习和图注意力网络的数据库查询优化方法，其特征在于，包括以下具体步骤：

步骤1：数据收集，在数据库中随机生成查询语句并执行，将查询语句对应的执行计划树，从根节点开始拆分，并记录各个节点的连接关系；

步骤2：模型训练，根据各个节点的连接关系对每个节点进行编码描述，得到编码特征矩阵，对每个节点进行图描述，得到图描述集合Edge，初始化DQN模型中的Q-network网络参数w，DQN模型中的Q-network网络采用GAT图注意力网络，将编码特征矩阵与图描述集合Edge作为网络输入，对DQN模型进行训练；

步骤3：模型应用，对于一条查询语句涉及到的表，每个表作为一个节点，对给个节点初始化其图描述和编码，查询执行计划中每一步选择2个节点的连接都使用步骤2中训练得到的DQN模型生成，此时状态转移，更新图描述和编码描述，直到所有表都被连接就生成了完整的查询计划。

2.根据权利要求1所述的一种基于强化学习和图注意力网络的数据库查询优化方法，其特征在于，图描述如下：

对查询语句涉及到的n张表，对表进行编号表示为[1，2，3，4…n]，每一张表作为一个节点index，初始节点index为n个，存储当前所有普通节点index集合Node[1，2，...，n])，初始化边集合Edge为空；

在Node集合中选任2个未被标记为已连接查询计划的节点i和j，将连接了节点i和节点j的查询计划作为新的节点max(index)+1加入到Node集合，index∈Node，同时对节点i和j标记为已连接查询计划，将节点i，节点j，新的节点max(index)+1表示成两条边(i，max(index)+1)和(j，max(index)+j)并加入Edge集合，得到图描述集合Edge。

3.根据权利要求1所述的一种基于强化学习和图注意力网络的数据库查询优化方法，其特征在于，编码描述如下：

对于每一个节点，编码位数为n+m+k位，初始n位为当前节点涉及的表1-hot编码，中间m位为当前节点涉及的列属性1-hot编码，最后k位为连接类型的1-hot编码，初始化时可以对每个节点的编码描述n+m位赋值，最后k位初始化为0，当有连接操作时，新增节点的编码，前n+m位为连接2结点的位或运算结果，后k位根据连接类型设置1-hot编码，最终得到编码特征矩阵。

Images