CN111767305A

CN111767305A - 一种自适应的数据库混合查询方法

Info

Publication number: CN111767305A
Application number: CN202010581766.9A
Authority: CN
Inventors: 文军; 郑立源; 李宇
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2020-06-23
Filing date: 2020-06-23
Publication date: 2020-10-13
Anticipated expiration: 2040-06-23
Also published as: CN111767305B

Abstract

本发明公开了一种自适应的数据库混合查询方法，该方法包括服务进程监听查询请求，调用数据库管理层的函数进行实际的GPU查询任务执行和资源调度任务，并将结果返回给查询任务客户端。同时处理来自该进程的后续请求，并将结果通过IPC机制回传到查询任务控制进程；查询控制进程完成查询时，向服务端发起退出请求，服务进程结束相应服务线程；查询控制进程生成查询计划，利用动态链接库拦截查询任务控制进程发起的CUDA Runtime API，转化为服务进程的IPC请求。本发明根据查询数据特征基于代价模型分析混合平台上的查询操作任务，创建查询优化方案，利用CPU和GPU协作运行实现数据库查询，提高了数据库整体查询处理性能，实现最大化利用计算机硬件性能，减少额外时间开销。

Description

一种自适应的数据库混合查询方法

技术领域

本发明属于GPU数据库查询技术领域，具体涉及一种CPU和GPU协作运行实现自适应的数据库混合查询方法。

背景技术

现有的GPU数据库以列式存储，结合内存+显存，无需优化，无需建索引。在生产时间，将数据加载到显存和内存里，无需访问磁盘，因此无需依靠索引来降低访问扇区的开销。通过每个GPU的几千个核，并发上万个线程并行扫描全表，尤其适合几千万到几十亿行的JOIN、模糊匹配、Group By、全表扫描或聚合等。GPU数据库以内存作为桥梁，实现磁盘--内存--显存的三级缓存结构，这将提供高达10倍的CPU DRAM带宽和更低的延迟。

当前GPU数据库查询仍存在一些不足：

1、各查询任务单独管理GPU资源会带来重复开销；

2、对于大量数据的查询，频繁使用PCie进行内存--显存数据交换，不同的查询任务重复传输了数据库中相同的列存储数据，仍会导致gpu整体利用率较低；

3、GPU中虽有几百甚至几千的流处理器能够提供强大的向量计算能力，但对于复杂分支指令、迭代处理、线程间数据同步、大数据高延迟访问等操作的效率弱于通用处理器。客观地说，关系操作模型并不是适合GPU向量计算特征的理想的查询处理模型。采用何种策略协作CPU和GPU，针对海量数据进行多分支语句查询，也是当前gpu数据库研究的一个方向；

4、对于相同的算法，由于GPU在逻辑控制和复杂数据管理能力上弱于CPU，GPU的综合性能对于深度优化的CPU算法优势并不明显，甚至在一些查询中，GPU算法性能低于CPU算法。因此，GPU对数据库的加速并不是全方位的，需要根据数据的特征和操作的特征组合CPU和GPU查询处理模块。

发明内容

针对现有技术中的上述不足，本发明提供了自适应的数据库混合查询方法，以提高数据库整体查询处理性能，最大化利用计算机硬件性能，减少额外时间开销。

为了达到上述发明目的，本发明采用的技术方案为：

一种自适应的数据库混合查询方法，包括以下步骤：

S1、启动数据库***服务进程，监听查询请求；

S2、向数据库提交sql查询语句；

S3、根据监听到的sql查询语句生成查询计划，启动查询任务控制进程；

S4、利用动态链接库拦截查询任务控制进程发起的CUDA Runtime API，转化为服务进程的IPC请求；

S5、服务端接收IPC请求后，创建新的服务线程处理来自该进程的后续请求，并将结果通过IPC机制回传到查询任务控制进程；

S6、查询任务控制进程完成查询时，向服务端发起退出请求，服务进程结束相应服务线程。

进一步地，所述步骤S1具体包括：

启动数据库***服务进程，创建CUDA context，并根据启动参数datadir修改文件夹预加载列存储数据到***内存，然后监听查询请求。

进一步地，所述步骤S3具体包括：

根据监听到的sql查询语句利用查询计划生成模块基于代价学习模型生成查询计划，再将LD_PRELOAD环境变量设置成数据库动态链接库路径，然后执行查询计划，启动查询任务控制进程。

进一步地，所述步骤S3中查询计划生成模块具体包括：

自调整执行时间估计器，用于计算所有能够执行操作的可用算法的估计执行时间；

算法选择器，用于根据估计执行时间和优化探索式选择最优算法；

混合查询优化器，用于根据最优算法确定的逻辑查询计划构建物理查询计划，将数据库操作分派到CPU和GPU设备上。

进一步地，所述步骤S3中根据监听到的sql查询语句利用查询计划生成模块基于代价学习模型生成查询计划，具体包括以下分步骤：

S31、对于由数据集D和操作O组成的运算符OP(D，O)，利用算法选择器查找所有能够执行操作O的可用算法；

S32、对每个算法A和数据集D，利用自调整执行时间估计器计算估计执行时间ExeTime(D，A)；

S33、利用算法选择器选择估计执行时间最短的算法作为最优算法；

S34、利用混合查询优化器最优算法确定的逻辑查询计划构建物理查询计划，将数据库操作分派到CPU和GPU设备上。

进一步地，所述查询任务控制进程将查询计划生成模块生成的查询计划与数据库schema结合，编译形成控制数据读取的CPU宿主程序，根据查询计划调用CUDA Runtime API控制整个查询任务的流程。

进一步地，所述步骤S4具体包括：

利用动态链接库拦截查询任务控制进程发起的CUDA Runtime API，通过服务进程使用全局唯一的CUDA context，当服务进程启动每个查询服务线程时在CUDA Context中创建一个单独的stream，以发起该查询进程请求的GPU调用，然后将CPU宿主程序中包含的CUDA Runtime API调用映射为到服务进程的IPC调用。

进一步地，所述步骤S5具体包括：

服务端接收IPC请求后，创建新的服务进程处理来自该进程的后续请求，不断解析来自同一个查询任务进程的请求，通过数据库核心管理层执行响应的资源管理和kernel调用操作，并将结果通过IPC机制回传到查询任务控制进程。

进一步地，所述服务进程在不同查询进程使用到相同的数据时，根据***工作状态决定PCie传输数据到GPU或直接使用已经存在在GPU内存中的数据。

进一步地，所述数据库核心管理层包括列存储数据共享、GPU硬件管理和kernel调用逻辑。

本发明具有以下有益效果：

(1)本发明使用CPU和GPU混合查询方式，减少Pcie总线数据传输压力，使计算机硬件得到最大效率的使用；

(2)本发明使用基于学习的代价模型，可以根据数据特征和操作生成执行计划，而不必担心硬件资源变更后需要完善模型以及管理员维护的问题；

(3)本发明中查询进程使用动态链接库与数据库服务进程通过IPC机制通信，降低查询任务进程和数据库进程之间的耦合度，使***具有良好的可拓展性；

(4)本发明当不同查询进程使用到了相同的数据时，服务进程会根据***工作状态决定PCie传输数据到GPU还是直接使用已经存在在GPU内存中的数据，可以减少数据传输所造成的时间浪费。

附图说明

图1为本发明的自适应的数据库混合查询方法流程示意图。

图2为本发明中查询计划生成示意图；

图3为本发明中CPU和GPU混合查询示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，本发明实施例提供了一种自适应的数据库混合查询方法，包括以下步骤S1至S6：

S1、启动数据库***服务进程，监听查询请求；

在本实施例中，本发明启动数据库***服务进程，创建CUDA context，CUDAcontext作为一个容器，管理所有对象的生命周期，供CUDA函数调用；并根据启动参数datadir修改文件夹预加载列存储数据到***内存，参数datadir表示需加载数据所在位置；然后监听Unix Domain socket来接受查询请求。

S2、向数据库提交sql查询语句；

在本实施例中，由于常规方法使用分析模型进行代价评估存在硬件资源改变后必须对模型进行完善，并且必须由数据库管理员维护和适当调整其参数的缺点。因此，本发明使用基于学习的方法来估计不同处理设备上操作的执行时间。使用代价模型作为决策基础，将数据特征(例如数据大小，数据倾斜，选择性)和操作映射得到执行时间，根据代价再将数据库操作分派到CPU和GPU设备上。

本发明根据监听到的sql查询语句利用查询计划生成模块基于代价学习模型生成查询计划，再将LD_PRELOAD环境变量设置成数据库动态链接库路径，然后执行查询计划，启动查询任务控制进程。

上述代价学习模型观察输入数据集和结果执行时间之间的相关性，并使用统计方法学习相关性。此统计方法在收集到足够的观测值后会计算一个近似函数，该模型为操作选择最佳算法。

如图2所示，上述查询计划生成模块具体包括：

自调整执行时间估计器S，用于计算所有能够执行操作的可用算法的估计执行时间，从而为数据库算法提供准确、可靠的数据库体系结构和独立于模型的估计执行时间。对于传入的算法A和数据集D，自调整执行时间估计器S计算估计执行时间ExeTime(D，A)。

算法选择器A，用于根据估计执行时间和优化探索式选择最优算法；算法选择器A使用自调整执行时间估计器S来获取所有可用算法执行操作的估计执行时间。对于由数据集D和操作O组成的运算符OP(D，O)，算法选择器A查找O的所有可用算法，并利用自调整执行时间估计器S为它们计算估计的执行时间ExeTime(D，A)，然后确定最优算法A opt。为了优化响应时间，***选择估计执行时间最短的算法。

混合查询优化器H，用于根据最优算法确定的逻辑查询计划Q log构建物理查询计划Q phy，将数据库操作分派到CPU和GPU设备上。

上述根据监听到的sql查询语句利用查询计划生成模块基于代价学习模型生成查询计划，具体包括以下分步骤：

本发明的查询任务控制进程将查询计划生成模块生成的查询计划与数据库schema(数据库对象集合)结合，编译形成控制数据读取的CPU宿主程序，CPU宿主程序根据查询计划调用CUDA Runtime API控制整个查询任务的流程。

如图3所示，本发明中的查询进程使用动态链接库与数据库服务进程通过IPC(进程间通信)机制通信，降低查询任务进程和数据库进程之间的耦合度。***架构总体分为CPU和GPU两部分。其中CPU部分分为数据库服务进程和查询计划生成进程以及查询进程(查询计划生成模块)。GPU部分主要包括执行计划的kernel(CUDA核函数)实现，由服务进程进程加载和调用。

在本实施例中，本发明利用动态链接库拦截查询任务控制进程发起的CUDARuntime API，从而避免触发CUDA创建地CUDA context的机制，进而通过服务进程使用全局唯一的CUDA context，节省每个查询进程单独创建消耗的时间。为了避免每个查询进程之间的CUDA Runtime API调用而造成的阻塞，服务进程启动每个查询服务线程时，在CUDAContext中创建一个单独的stream(GPU操作队列)，以发起该查询进程请求的GPU调用。不同stream上进行的CUDAAPI调用不会相互阻塞，会被GPU并发调用，因此可以进行不同查询任务的PCie数据传输和kernel调用。然后将CPU宿主程序中包含的CUDA Runtime API调用映射为到服务进程的IPC调用。

在本实施例中，本发明的服务端接收IPC请求后，创建新的服务进程处理来自该进程的后续请求，不断解析来自同一个查询任务进程的请求，通过数据库核心管理层执行响应的资源管理和kernel调用操作，并将结果通过IPC机制回传到查询任务控制进程。

服务进程通过动态链接库发起的IPC请求，调用数据库管理层的函数进行实际的GPU查询任务执行和资源调度任务，并将结果返回给查询任务客户端。

数据库核心管理层包括列存储数据共享、GPU硬件管理和kernel调用等逻辑。以函数库的形式向服务进程提供数据库管理功能。服务进程使用多线程架构，不同查询任务请求使用独立线程进行响应。可以很好地支持并发查询。当不同查询进程使用到了相同的数据，服务进程会根据***工作状态决定PCie传输数据到GPU还是直接使用已经存在GPU内存中的数据。可以减少数据传输所造成的时间浪费。

本发明提供的一种CPU和GPU协作运行实现数据库查询的方法，根据查询数据特征以及操作类型、GPU与CPU之间的PCIe通道数据传输性能、GPU并行计算性能等相关因素，基于代价模型分析混合平台上的查询操作任务，创建查询优化方案，提高数据库整体查询处理性能，最大化利用计算机硬件性能，减少额外时间开销。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims

1.一种自适应的数据库混合查询方法，其特征在于，包括以下步骤：

S1、启动数据库***服务进程，监听查询请求；

S2、向数据库提交sql查询语句；

2.根据权利要求1所述的自适应的数据库混合查询方法，其特征在于，所述步骤S1具体包括：

3.根据权利要求1所述的自适应的数据库混合查询方法，其特征在于，所述步骤S3具体包括：

4.根据权利要求3所述的自适应的数据库混合查询方法，其特征在于，所述步骤S3中查询计划生成模块具体包括：

5.根据权利要求4所述的自适应的数据库混合查询方法，其特征在于，所述步骤S3中根据监听到的sql查询语句利用查询计划生成模块基于代价学习模型生成查询计划，具体包括以下分步骤：

6.根据权利要求5所述的自适应的数据库混合查询方法，其特征在于，所述查询任务控制进程将查询计划生成模块生成的查询计划与数据库schema结合，编译形成控制数据读取的CPU宿主程序，根据查询计划调用CUDA Runtime API控制整个查询任务的流程。

7.根据权利要求6所述的自适应的数据库混合查询方法，其特征在于，所述步骤S4具体包括：

利用动态链接库拦截查询任务控制进程发起的CUDA Runtime API，通过服务进程使用全局唯一的CUDA context，当服务进程启动每个查询服务线程时在CUDA Context中创建一个单独的stream，以发起该查询进程请求的GPU调用，然后将CPU宿主程序中包含的CUDARuntime API调用映射为到服务进程的IPC调用。

8.根据权利要求1所述的自适应的数据库混合查询方法，其特征在于，所述步骤S5具体包括：

9.根据权利要求8所述的自适应的数据库混合查询方法，其特征在于，所述服务进程在不同查询进程使用到相同的数据时，根据***工作状态决定PCie传输数据到GPU或直接使用已经存在在GPU内存中的数据。

10.根据权利要求8所述的自适应的数据库混合查询方法，其特征在于，所述数据库核心管理层包括列存储数据共享、GPU硬件管理和kernel调用逻辑。