CN105279276A - 一种数据库索引优化*** - Google Patents

Abstract

本发明公开了一种数据库索引优化***，将数据库操作日志文件，数据库索引通过操作对象提取模块进行提取，然后通过操作对象分类模块进行分类，并将其提交到操作对象分析模块分析处理，通过索引分析模块将出现频率高、查询数据量大的语句进行测试，根据测试结果通过索引优化模块将动态生成索引，并删除使用频率低、测试性能低的索引，通过索引优化模块可以根据数据库要求、特性定交不同的规则库，也可以配置索引缓存，从而提高数据库整体查询性能。可以直接与数据库进行连接，能够快速对索引进行查询、优化并可以设置不同的策略控制数据库索引生成规则，优化了数据库索引，提升了数据库查询性能。

Description

一种数据库索引优化***

技术领域

本发明涉及数据库领域，特别是涉及一种数据库索引优化***。

背景技术

数据库索引是数据库中一种排序的数据结构，以协助快速查询、更新数据库表中数据。数据库索引就是为了提高表的搜索效率而对某些字段中的值建立的目录。

数据库索引的建立对于经常需要搜索的列上，可以加快搜索的速度，在作为主键的列上，强制该列的唯一性和组织表中数据的排列结构，在经常用在连接的列上，这些列主要是一些外键，可以加快连接的速度，在经常需要排序的列上创建索引，由于索引已经排序，这样查询可以利用索引的排序，加快排序查询时间。数据库索引可以直接影响数据库性能，配置优化前后数据库性能差距可能达到几倍甚至几十倍。由于***的复杂性，如果采用手工配置，数据库索引优化难度高，工作量大。如何提升数据库查询性能，减少索引优化时间，是数据库索引优化工作中需要解决的关键问题。

发明内容

有鉴于此，本发明的主要目的在于提供一种数据库索引优化***，可以优化数据库索引，提升数据库查询性能。

为实现上述目的，本发明提供了一种数据库索引优化***，包括：

操作对象提取模块、操作对象分类模块、操作对象分析模块、索引分析模块、索引优化模块和控制台模块；

所述操作对象提取模块用于从数据库中提取数据库操作日志文件和数据库索引文件，并对所述数据库操作日志文件和所述数据库索引进行操作对象提取；

所述操作对象分类模块用于将所述操作进行预设操作对象类别的分类，并将分类后的操作对象记录到对应的分类文件中；

所述操作对象分析模块用于根据分类后的操作对象进行分析，根据预设的索引优化策略筛选出使用查询频率高于预设频率且查询数量高于预设数量的SQL语句；

所述索引分析模块用于对所述SQL语句执行查询计划操作，根据得到的查询结果进行查询效率分析、数据吞吐量分析、IO分析和内存检测，得到数据库效率高于预设效率的目标索引信息；

所述索引优化模块用于根据所述目标索引信息建立索引规则，进行数据库索引优化以及配置索引缓存；

所述控制台模块用于设定数据库索引优化策略。

优选地，所述控制台模块的第一通信端口与数据库相连接，所述控制台模块的第二通信端口与所述索引优化模块的第一通信端口相连接；

所述索引优化模块的第二通信端口与数据库相连接，所述索引优化模块的第三通信端口与所述索引分析模块的第一通信端口相连接；

所述索引分析模块的第二通信端口与所述操作对象分析模块的第一通信端口相连接；

所述操作对象分析模块的第二通信端口与所述操作对象提取模块的第一通信端口相连接，所述操作对象分析模块的第三通信模块与所述操作对象分类模块的第一通信端口相连接；

所述操作对象提取模块的第二通信端口与所述操作对象分类模块的第二通信端口相连接，所述操作对象提取模块的第三通信端口与数据库相连接；

所述操作对象分类模块的第三端口与数据库相连接。

优选地，所述预设操作对象类别包括：

SQL语句类别、数据库索引类别和存储过程类别。

优选地，所述操作对象分析模块包括分析子模块和筛选模块；

所述分析子模块包括：

SQL语句分析单元，用于分析SQL语句关键字段、SQL使用频率和where条件；

数据库索引分析单元，用于分析数据库索引使用频率和数据库索引优化记录；

存储过程分析单元，用于分析存储过程使用频率和存储过程的SQL语句提取。

优选地，所述索引优化模块包括：

索引规则建立子模块，用于根据数据库SQL语句、存储调用情况定义数据库索引生成规则；

数据库索引优化子模块，用于根据所述规则建立新索引和/或删除直索引；

配置索引缓存子模块，用于对目标缓存进行配置。

优选地，所述目标缓存包括：索引缓存、排序缓存、查询缓存和表描述符缓存。

优选地，所述数据库索引优化策略包括预设规则顺序、优化时间和优化频率。

优选地，所述预设规则顺序为使用频率、查询效率、查询数量和资源消耗的规则顺序。

应用本发明提供的一种数据库索引优化***，将数据库操作日志文件，数据库索引通过操作对象提取模块进行提取，然后通过操作对象分类模块进行分类，并将其提交到操作对象分析模块分析处理，通过索引分析模块将出现频率高、查询数据量大的语句进行测试，根据测试结果通过索引优化模块将动态生成索引，并删除使用频率低、测试性能低的索引，通过索引优化模块可以根据数据库要求、特性定交不同的规则库，也可以配置索引缓存，从而提高数据库整体查询性能。可以直接与数据库进行连接，能够快速对索引进行查询、优化并可以设置不同的策略控制数据库索引生成规则，优化了数据库索引，提升了数据库查询性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明一种数据库索引优化***实施例的结构示意图；

图2为本发明一种数据库索引优化***实施例的详细结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种数据库索引优化***，图1示出了本发明数据库索引优化***实施例结构示意图，包括：

控制台模块(1)、索引优化模块(2)、索引分析模块(3)、操作对象分析模块(4)、操作对象提取模块(5)、操作对象分类模块(6)，其中控制台模块(1)第一通信模块端口与数据库第二通信端口相连，控制台模块(1)第二通信模块端口与索引优化模块第一通信端口相连。索引优化模块(2)第二通信端口与数据库第三通信模块端口相连，索引优化模块(2)第三通信端口与索引分析模块(3)第一通信端口相连。索引分析模块(3)第二通信端口与操作对象分析模块(4)第一通信端口相连。操作对象分析模块(4)第二通信端口与操作对象提取模块(5)第一通信端口相连，操作对象分析模块(4)第三通信模块与操作对象分类模块(6)第一通信端口相连。操作对象提取模块(5)第二通信端口与操作对象分类模块(6)第二通信端口相连，操作对象提取模块(5)第三通信端口也数据库端口相连。操作对象分类模块(6)第三端口与数据库端口相连。

所述操作对象提取模块(5)用于从数据库中提取数据库操作日志文件和数据库索引文件，并对所述数据库操作日志文件和所述数据库索引进行操作对象提取；

数据库操作日志文件记录应用***对数据库连接、数据库对象操作、数据库表操作以及数据库索引的使用等信息。数据库操作日志文件和数据库索引文件是数据库索引动态优化工具基础信息。操作对象提取步骤如下：

1)操作对象提取模块端口与数据库连接端口通过TCP/IP协议建立通信连接；

2)数据库操作日志文件和数据库索引文件通过连接端口传送到操作对象提取模块；

3)操作对象提取模块接收数据库操作日志文件和数据库索引文件；

4)操作对象提取模块解析操作日志文件和数据库索引文件；

5)操作对象提取模块对操作日志文件和数据库索引文件进行数据对象提取。

所述操作对象分类模块(6)用于将所述操作进行预设操作对象类别的分类，并将分类后的操作对象记录到对应的分类文件中；

预设操作对象类别包括：SQL语句类别、数据库索引类别和存储过程类别。操作对象分类步骤如下：

1)操作对象分类模块端口与操作对象提取端口及数据库建立通信连接；

2)操作对象提取模块提取的数据对象通过端口传送到操作对象分析模块；

3)操作对象分类模块对数据库操作对象逐一分析并确定所属的操作对象类型(操作对象分为操作SQL语句、数据库索引、存储过程三类)；

4)操作对象分类模块将已分类的操作数据对象记录到分类文件中。

所述操作对象分析模块(4)用于根据分类后的操作对象进行分析，根据预设的索引优化策略筛选出使用查询频率高于预设频率且查询数量高于预设数量的SQL语句；

操作对象分析模块将数据库操作对象按SQL语句、数据库索引、存储过程进行分类并将分类的所有对象存放到不同的分类文件中，分析关键字段、使用频率、where条件、优化历史、分析存储过程SQL语句等。操作对象分析步骤如下：

1)操作对象分析模块端口与操作对象提取端口操作对象分类模块端口建立通信连接；

2)操作对象分析模块将操作分类的对象通过端口传送到操作对象分析模块；

3)操作对象分析模块对数据库SQL语句进行分析，分析指标包括SQL语句关键字段、SQL语句使用频率、where条件。操作对象分析模块对数据库索引进行分析，分析指标包括数据库索引使用频率、数据库索引优化记录。操作对象分析模块对存储过程进行分析，包括存储过程使用频率、存储过程SQL语句提取；

4)操作对象分析模块分析出根据索引优化策略筛选出使用查询频率高、查询数量较多的SQL语句。

所述索引分析模块(3)用于对所述SQL语句执行查询计划操作，根据得到的查询结果进行查询效率分析、数据吞吐量分析、IO分析和内存检测，得到数据库效率高于预设效率的目标索引信息；

索引分析模块根据操作对象分析模块的分析结果筛选索引相关的SQL语句并执行查询计划，通过查询效率分析及数据吞吐量、***IO、内存监测几个方面综合对索引进行分析。索引分析步骤如下：

1)索引分析模块端口与操作对象分析端口建立通信连接；

2)操作对象分析模块将筛选出的SQL语句通过端口传送到索引分析模块；

3)索引分析模块对SQL语句执行查询计划；

4)索引分析模块对执行计划进行查询效率分析、数据吞吐量分析、IO分析、内存监测；

5)索引分析模块分析出数据库效率较高的索引信息。

所述索引优化模块(2)用于根据所述目标索引信息建立索引规则，进行数据库索引优化以及配置索引缓存；

索引优化模块根据索引分析模块得出的执行计划分析结果，结合索引规则库相关规则可以对索引动态优化，此模块通过配置索引缓存来提高库索引查询效率，配置缓存可以有效的降低数据库查询读取次数，从而缓解数据库服务器压力，达到优化的目的。可配置的缓存包括索引缓存(key_buffer)、排序缓存(sort_buffer)、查询缓存(query_buffer)、表描述符缓存(table_cache)。

索引优化模块建立索引规则库规则包括以下几个方面：

1)索引建立规则：从四个方面依次考虑索引建立规则，包括使用频率、查询效率、查询数量、资源消耗，可以通过控制台模块索引优化策略功能模块手动修改规则，***默认规则依次为使用频率(首先考虑)、查询效率(其次考虑)、查询数量(再次考虑)、资源消耗(最后考虑)；

2)数据库索引动态优化：根据规则动态优化数据库索引，包括建立新索引、删除直索引；

3)配置索引缓存：配置缓存可以有效的降低数据库查询读取次数，从而缓解数据库服务器压力，达到优化的目的。

所述控制台模块(1)用于设定数据库索引优化策略。

控制台模块是数据库索引优化***的操作层，通过控制台模块能够查询数据库索引、配置索引优化策略、定时更新数据库索引。控制台模块索引优化策略主要依据上面已述的索引建立规则进行定义，使用频率、查询效率、查询数量、资源消耗四种规则在控制台中可以按先后顺利进行排序，规则定义完成后，索引按照此顺利进行优化。控制台模块定时索引更新即可以通过控制台配置索引自动化优化时间、优化频率，优化时间可以定期定时优化，优化频率可以按天优化、按周优化、按月优化、按年优化，定时索引更新规则优化完成后索引按照相应的时间规则自动对数据库进行优化。

应用本实施例提供的一种数据库索引优化***，将数据库操作日志文件，数据库索引通过操作对象提取模块进行提取，然后通过操作对象分类模块进行分类，并将其提交到操作对象分析模块分析处理，通过索引分析模块将出现频率高、查询数据量大的语句进行测试，根据测试结果通过索引优化模块将动态生成索引，并删除使用频率低、测试性能低的索引，通过索引优化模块可以根据数据库要求、特性定交不同的规则库，也可以配置索引缓存，从而提高数据库整体查询性能。可以直接与数据库进行连接，能够快速对索引进行查询、优化并可以设置不同的策略控制数据库索引生成规则，优化了数据库索引，提升了数据库查询性能。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于***类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的***进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种数据库索引优化***，其特征在于，包括：

操作对象提取模块、操作对象分类模块、操作对象分析模块、索引分析模块、索引优化模块和控制台模块；

所述操作对象提取模块用于从数据库中提取数据库操作日志文件和数据库索引文件，并对所述数据库操作日志文件和所述数据库索引进行操作对象提取；

所述操作对象分类模块用于将所述操作进行预设操作对象类别的分类，并将分类后的操作对象记录到对应的分类文件中；

所述操作对象分析模块用于根据分类后的操作对象进行分析，根据预设的索引优化策略筛选出使用查询频率高于预设频率且查询数量高于预设数量的SQL语句；

所述索引分析模块用于对所述SQL语句执行查询计划操作，根据得到的查询结果进行查询效率分析、数据吞吐量分析、IO分析和内存检测，得到数据库效率高于预设效率的目标索引信息；

所述索引优化模块用于根据所述目标索引信息建立索引规则，进行数据库索引优化以及配置索引缓存；

所述控制台模块用于设定数据库索引优化策略。

2.根据权利要求1所述的数据库索引优化***，其特征在于，所述控制台模块的第一通信端口与数据库相连接，所述控制台模块的第二通信端口与所述索引优化模块的第一通信端口相连接；

所述索引优化模块的第二通信端口与数据库相连接，所述索引优化模块的第三通信端口与所述索引分析模块的第一通信端口相连接；

所述索引分析模块的第二通信端口与所述操作对象分析模块的第一通信端口相连接；

所述操作对象分析模块的第二通信端口与所述操作对象提取模块的第一通信端口相连接，所述操作对象分析模块的第三通信模块与所述操作对象分类模块的第一通信端口相连接；

所述操作对象提取模块的第二通信端口与所述操作对象分类模块的第二通信端口相连接，所述操作对象提取模块的第三通信端口与数据库相连接；

所述操作对象分类模块的第三端口与数据库相连接。

3.根据权利要求1所述的数据库索引优化***，其特征在于，所述预设操作对象类别包括：

SQL语句类别、数据库索引类别和存储过程类别。

4.根据权利要求3所述的数据库索引优化***，其特征在于，所述操作对象分析模块包括分析子模块和筛选模块；

所述分析子模块包括：

SQL语句分析单元，用于分析SQL语句关键字段、SQL使用频率和where条件；

数据库索引分析单元，用于分析数据库索引使用频率和数据库索引优化记录；

存储过程分析单元，用于分析存储过程使用频率和存储过程的SQL语句提取。

5.根据权利要求1所述的数据库索引优化***，其特征在于，所述索引优化模块包括：

索引规则建立子模块，用于根据数据库SQL语句、存储调用情况定义数据库索引生成规则；

数据库索引优化子模块，用于根据所述规则建立新索引和/或删除直索引；

配置索引缓存子模块，用于对目标缓存进行配置。

6.根据权利要求5所述的数据库索引优化***，其特征在于，所述目标缓存包括：索引缓存、排序缓存、查询缓存和表描述符缓存。

7.根据权利要求1所述的数据库索引优化***，其特征在于，所述数据库索引优化策略包括预设规则顺序、优化时间和优化频率。

8.根据权利要求7所述的数据库索引优化***，其特征在于，所述预设规则顺序为使用频率、查询效率、查询数量和资源消耗的规则顺序。