CN108664635A

CN108664635A - 数据库统计信息的获取方法、装置、设备和存储介质

Info

Publication number: CN108664635A
Application number: CN201810462476.5A
Authority: CN
Inventors: 耿慧玲; 万伟; 韩朱忠
Original assignee: Shanghai Dameng Database Co Ltd
Current assignee: Shanghai Dameng Database Co Ltd
Priority date: 2018-05-15
Filing date: 2018-05-15
Publication date: 2018-10-16
Anticipated expiration: 2038-05-15
Also published as: CN108664635B

Abstract

本发明实施例公开了一种数据库统计信息的获取方法、装置、设备和存储介质。该数据库统计信息的获取方法包括：将用户的统计信息收集指令转换成相应的SQL语句；对所述SQL语句进行语义分析，提取出可由数据库执行的SELECT语句；通过数据库执行SELECT语句得到符合统计信息收集指令的数据集合；对数据集合统计得到统计信息。本发明实施例大大减少***资源的浪费和运行时间，提升性能，同时减少实施和维护难度。

Description

数据库统计信息的获取方法、装置、设备和存储介质

技术领域

本发明实施例涉及数据库技术，尤其涉及一种数据库统计信息的获取方法、装置、设备和存储介质。

背景技术

在关系型数据库中，统计信息是数据库的优化器生成最优执行计划的必要辅助工具。统计信息通常包含数据行数、数据平均宽度、不同值的个数、值的分布情况等信息，优化器根据这些信息来判断查询中的过滤条件对数据结果集的影响情况，以及做不同计算操作时***的开销。

目前，获取统计信息的通常做法是，扫描索引(对于列统计信息扫描该表的聚集索引，对于索引的统计信息则扫描该索引)，从读取到的数据页上解析索引所有的列，然后对这些数据整体进行排序、分组、分析等处理，得到诸如数据行数、数据平均宽度、不同值个数以及值的分布状况等信息。

但是，上述方法中随着数据规模的增加，数据的扫描、解析、排序等操作会需要大量的I/O、内存和计算资源，也将耗费越来越多的时间，尤其在内存需求不能满足的数据规模下，还会有刷盘操作，这些都将严重影响统计信息生成的性能。

发明内容

本发明实施例提供一种数据库统计信息的获取方法、装置、设备和存储介质，以大大减少***资源的浪费和运行时间，提升性能，同时减少实施和维护难度。

第一方面，本发明实施例提供了一种数据库统计信息的获取方法，包括：

将用户的统计信息收集指令转换成相应的SQL语句；

对所述SQL语句进行语义分析，提取出可由数据库执行的SELECT语句；

通过所述数据库执行所述SELECT语句得到符合所述统计信息收集指令的数据集合；

对所述数据集合统计得到统计信息，所述统计信息包括数据行数、数据平均宽度、不同值的个数以及不同值的分布。

可选的，在所述提取出可由数据库执行的SELECT语句之后，还包括：

用关键字STAT对所述SELECT语句进行标记。

可选的，在所述对所述数据集合统计得到统计信息之后，还包括：

将所述统计信息写入数据库***表。

可选的，所述将用户的统计信息收集指令转换成相应的SQL语句，包括：

从所述统计信息收集指令中提取统计对象和采样率，根据所述统计对象和所述采样率将所述统计信息收集指令转换成所述SQL语句。

第二方面，本发明实施例提供了一种数据库统计信息的获取装置，包括：

用户指令转换模块，用于将用户的统计信息收集指令转换成相应的SQL语句；

SQL处理模块，用于对所述SQL语句进行语义分析，提取出可由数据库执行的SELECT语句；通过所述数据库执行所述SELECT语句得到符合所述统计信息收集指令的数据集合；

数据收集处理模块，用于对所述数据集合统计得到统计信息，所述统计信息包括数据行数、数据平均宽度、不同值的个数以及不同值的分布。

可选的，所述SQL处理模块，还用于用关键字STAT对所述SELECT语句进行标记。

可选的，所述数据收集处理模块，还用于将所述统计信息写入数据库***表。

可选的，所述用户指令转换模块，具体用于从所述统计信息收集指令中提取统计对象和采样率，根据所述统计对象和所述采样率将所述统计信息收集指令转换成所述SQL语句。

第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面中任一所述的数据库统计信息的获取方法。

第四方面，本发明实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述第一方面中任一所述的数据库统计信息的获取方法。

本发明实施例通过利用数据库执行SELECT语句，由数据库本身的SQL优化器和执行器去完成数据的收集和处理，不仅可以利用优化器为其选择合适的索引，也可以利用执行器本身已有的优化以及并行处理，大大减少***资源的浪费和运行时间，提升性能，同时减少实施和维护难度。

附图说明

图1为本发明实施例一提供的数据库统计信息的获取方法的流程图；

图2为本发明实施例二提供的数据库统计信息的获取方法的流程图；

图3为本发明实施例三提供的数据库统计信息的获取装置的结构示意图；

图4为本发明实施例四提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的数据库统计信息的获取方法的流程图，该方法可以由计算机设备来执行，具体包括如下步骤：

步骤101、将用户的统计信息收集指令转换成相应的SQL语句；

计算机设备从统计信息收集指令中提取统计对象和采样率，根据统计对象和采样率将统计信息收集指令转换成SQL语句。例如，用户需要给属于某表T的某列C做采样率为100％的统计信息，用户输入统计信息收集指令：

STAT 100ON T(C)

计算机设备将其转换成SQL语句：

STAT 100ON SELECT C,COUNT(*),

SYSFUN_1(C),SYSFUN_2(C)..,SYSFUN_N(C)FROM T GROUP BY C ORDER BY C

其中STAT表示这是一条统计信息收集语句，100表示采样率为100％，ON表示统计数据来源于后面的SELECT语句，在SELECT语句中C为统计对象列，T为C所属的表，SYSFUN_1、SYSFUN_2..、SYSFUN_N均为***计算函数，用于获取平均数据宽度等所需信息，可根据需要添加减少，GROUP BY C为数据根据C列分组，ORDER BY C为数据根据C列排序，COUNT(*)表示每组中数据的行数。

步骤102、对SQL语句进行语义分析，提取出可由数据库执行的SELECT语句；

数据库本身可以执行一些语句，其能够对一般的增删改查SQL语句进行词法、语法、语义分析和执行，而未经扩展的数据库会将“STAT 100ON SELECT...”这种SQL语句识别为错误的SQL语句，而本实施例中计算机设备对转换得到的SQL语句进行语义分析，提取出可由数据库执行的SELECT语句，可选的，可以用关键字STAT对SELECT语句进行标记。

步骤103、通过数据库执行SELECT语句得到符合统计信息收集指令的数据集合；

数据库可以对SELECT语句进行词法、语法、语义分析和执行，本实施例中计算机设备通过数据库执行SELECT语句，例如，数据库按照常规解析上述SELECT语句，即SELECT C,COUNT(*),SYSFUN_1(C),SYSFUN_2(C)..,SYSFUN_N(C)FROM T GROUP BY C ORDER BY C，得到符合统计信息收集指令的数据集合。值得一提的是，这条SELECT语句将按照一条普通的查询语句在数据库中执行，将可以利用到已有的一些优化技术及处理模块，比如若存在以该列为首列的二级索引，可以通过索引扫描来节省原本处理数据中的排序操作，分组操作也将因为数据被排过序而大大减少计算资源的利用；另外该条SELECT语句的结果是经过分组的，在一般情况下会去掉大量重复的值(因为分组后相同的值只需出现一次)，这将会减少很多不必要的数据传递，也将节省后续处理的资源消耗，这不但能够复用已有的成熟模块(原有数据库的SQL处理模块)，而且在整体上将使用最优的方式扫描和整理数据，大大提升统计信息生成的整体性能。

步骤104、对数据集合统计得到统计信息，统计信息包括数据行数、数据平均宽度、不同值的个数以及不同值的分布。

计算机设备遍历数据集合从中获取到统计信息(至少包括数据行数、数据平均宽度、不同值的个数以及不同值的分布)，并将统计信息写入数据库***表中。由于数据集合是按照正常查询语句经过了分组及排序处理，所以获取这些统计信息将比传统的统计信息搜集方法容易得多，也快速得多。

本实施例的技术方案，通过利用数据库执行SELECT语句，由数据库本身的SQL优化器和执行器去完成数据的收集和处理，不仅可以利用优化器为其选择合适的索引，也可以利用执行器本身已有的优化以及并行处理，大大减少***资源的浪费和运行时间，提升性能，同时减少实施和维护难度。

实施例二

图2为本发明实施例二提供的数据库统计信息的获取方法的流程图，该方法可以由计算机设备来执行，具体包括如下步骤：

步骤201、将用户的统计信息收集指令转换成相应的SQL语句。

例如，将STAT 100ON T(C)转换成

STAT 100 ON SELECT C,COUNT(*),

SYSFUN_1(C),SYSFUN_2(C)..,SYSFUN_N(C)FROM T GROUP BY C ORDER BY C。

步骤202、对SQL语句进行语义分析。

如语义分析正确转步骤203，否则报错。

步骤203、从SQL语句中提取出SELECT语句，并用STAT对SELECT语句进行标记。

上面例子中的SELECT语句为：SELECT C,COUNT(*),SYSFUN_1(C),SYSFUN_2(C)..,SYSFUN_N(C)FROM T GROUP BY C ORDER BY C。

步骤204、对SELECT语句进行语义分析。

步骤205、为SELECT语句生成最优执行计划。

此处会根据索引和并行参数等因素，综合判断之后，生成一个最优的执行计划。

步骤206、执行最优执行计划，生成数据集合。

步骤207、对数据集合统计得到统计信息，将统计信息写入数据库***表。

实施例三

图3为本发明实施例三提供的数据库统计信息的获取装置的结构示意图，参照图3，该装置包括：用户指令转换模块11、SQL处理模块12和数据收集处理模块13，其中，用户指令转换模块11，用于将用户的统计信息收集指令转换成相应的SQL语句；SQL处理模块12，用于对所述SQL语句进行语义分析，提取出可由数据库执行的SELECT语句；通过所述数据库执行所述SELECT语句得到符合所述统计信息收集指令的数据集合；数据收集处理模块13，用于对所述数据集合统计得到统计信息，所述统计信息包括数据行数、数据平均宽度、不同值的个数以及不同值的分布。

在上述技术方案的基础上，所述SQL处理模块12，还用于用关键字STAT对所述SELECT语句进行标记。

在上述技术方案的基础上，所述数据收集处理模块13，还用于将所述统计信息写入数据库***表。

在上述技术方案的基础上，所述用户指令转换模块11，具体用于从所述统计信息收集指令中提取统计对象和采样率，根据所述统计对象和所述采样率将所述统计信息收集指令转换成所述SQL语句。

本发明实施例所提供的数据库统计信息的获取装置可执行本发明任意实施例所提供的数据库统计信息的获取方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4为本发明实施例四提供的一种计算机设备的结构示意图，如图4所示，该计算机设备包括处理器20、存储器21、输入装置22和输出装置23；计算机设备中处理器20的数量可以是一个或多个，图4中以一个处理器20为例；计算机设备中的处理器20、存储器21、输入装置22和输出装置23可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储器21作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据库统计信息的获取方法对应的程序指令/模块。处理器20通过运行存储在存储器21中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的数据库统计信息的获取方法。

存储器21可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器21可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器21可进一步包括相对于处理器20远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置22可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置23可包括显示屏等显示设备。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明任意实施例所提供的数据库统计信息的获取方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明实施例可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明实施例各个实施例所述的方法。

值得注意的是，上述装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。

注意，上述仅为本发明实施例的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明实施例不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明实施例的保护范围。因此，虽然通过以上实施例对本发明实施例进行了较为详细的说明，但是本发明实施例不仅仅限于以上实施例，在不脱离本发明实施例构思的情况下，还可以包括更多其他等效实施例，而本发明实施例的范围由所附的权利要求范围决定。

Claims

1.一种数据库统计信息的获取方法，其特征在于，包括：

将用户的统计信息收集指令转换成相应的SQL语句；

2.根据权利要求1所述的方法，其特征在于，在所述提取出可由数据库执行的SELECT语句之后，还包括：

用关键字STAT对所述SELECT语句进行标记。

3.根据权利要求1或2所述的方法，其特征在于，在所述对所述数据集合统计得到统计信息之后，还包括：

将所述统计信息写入数据库***表。

4.根据权利要求1所述的方法，其特征在于，所述将用户的统计信息收集指令转换成相应的SQL语句，包括：

5.一种数据库统计信息的获取装置，其特征在于，包括：

6.根据权利要求5所述的装置，其特征在于，所述SQL处理模块，还用于用关键字STAT对所述SELECT语句进行标记。

7.根据权利要求5或6所述的装置，其特征在于，所述数据收集处理模块，还用于将所述统计信息写入数据库***表。

8.根据权利要求5所述的装置，其特征在于，所述用户指令转换模块，具体用于从所述统计信息收集指令中提取统计对象和采样率，根据所述统计对象和所述采样率将所述统计信息收集指令转换成所述SQL语句。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4中任一所述的数据库统计信息的获取方法。

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-4中任一所述的数据库统计信息的获取方法。