CN118093445A - 一种自适应多场景数据库性能测试方法及*** - Google Patents
一种自适应多场景数据库性能测试方法及*** Download PDFInfo
- Publication number
- CN118093445A CN118093445A CN202410509607.6A CN202410509607A CN118093445A CN 118093445 A CN118093445 A CN 118093445A CN 202410509607 A CN202410509607 A CN 202410509607A CN 118093445 A CN118093445 A CN 118093445A
- Authority
- CN
- China
- Prior art keywords
- database
- performance
- test
- representing
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000011056 performance test Methods 0.000 title claims abstract description 56
- 238000012360 testing method Methods 0.000 claims abstract description 160
- 238000012544 monitoring process Methods 0.000 claims abstract description 22
- 238000011156 evaluation Methods 0.000 claims abstract description 10
- 238000005457 optimization Methods 0.000 claims abstract description 10
- 238000004220 aggregation Methods 0.000 claims description 28
- 230000002776 aggregation Effects 0.000 claims description 28
- 230000003044 adaptive effect Effects 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 238000013145 classification model Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 230000003203 everyday effect Effects 0.000 claims description 4
- 238000004806 packaging method and process Methods 0.000 claims description 4
- 230000000630 rising effect Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000006116 polymerization reaction Methods 0.000 claims description 3
- 238000010998 test method Methods 0.000 claims 1
- 230000002159 abnormal effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013101 initial test Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明涉及数据库技术领域，公开了一种自适应多场景数据库性能测试方法及***，通过对数据库使用场景进行识别和分类，并根据数据库使用场景的特征生成测试用例，实现自动生成测试用例，并提高测试用例的质量；根据数据库使用场景部署数据库测试环境，支持快速部署和配置不同数据库版本和参数；在数据库测试环境中设置监控组件，实时采集数据库性能数据，实现对数据库性能数据的实时监控；根据采集的数据库性能数据调整测试用例，同时运行性能测试，并记录性能测试结果；分析性能测试结果，评估数据库在不同场景下的表现，根据评估结果提出优化建议，并实时调整数据库配置和参数以提升数据库性能，实现实时警报异常状态。
Description
技术领域
本发明涉及数据库技术领域，尤其涉及一种自适应多场景数据库性能测试方法及***。
背景技术
现阶段基于机器学习和自适应算法的数据库性能测试方法能够根据不同场景动态调整测试用例，可以更贴合真实生产环境，提供更准确的性能评估结果，提高了测试效率。但是大多没有研究如何准确识别各种复杂的数据库使用场景，并生成具有代表性的测试用例，以及对测试用例的自适应性能调整。
如公开号为CN116501588A的专利公开了一种数据库性能测试方法、***，该方法包括：确定多个待测数据库；获取每一个待测数据库对应的多组测试指令，以及每一组测试指令在测试对应的待测数据库时的预设测试次数，其中一组测试指令对应一种测试工具；利用每一组测试指令对对应的待测数据库重复测试预设测试次数，其中，每测试一次，生成一个初始测试结果；计算每一个待测数据库对应的多个测试平均值，其中，测试平均值为待测数据库在相同一组测试指令测试预设测试次数后获得的多个初始测试结果的平均值；基于每一组测试指令对应的测试平均值，确定每一个待测数据库在每一种测试工具测试下的性能测试结果。不仅提高了测试待测数据库的测试效率，还提高了测试结果的准确性。
如授权公告号为CN105389401B的中国专利公开了一种数据库性能测试方法与装置，其中，所述方法包括：依据配置参数创建并发线程并构建测试环境；通过所述并发线程向所述测试环境并行发送访问请求，以对数据库性能进行测试。通过本发明提供的数据库性能测试方案，能够对数据库同时处理多个访问请求时的性能进行有效测试。
以上专利存在本背景技术提出的问题：没有研究如何准确识别各种复杂的数据库使用场景，并生成具有代表性的测试用例，以及对测试用例的自适应性能调整。为解决这一问题，本发明提出一种自适应多场景数据库性能测试方法及***。
发明内容
本部分的目的在于概述本发明实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有一种自适应多场景数据库性能测试方法及***存在的问题，提出了本发明。
因此，本发明目的是提供一种自适应多场景数据库性能测试方法及***。
为解决上述技术问题，本发明提供如下技术方案：一种自适应多场景数据库性能测试方法，包括：
对数据库使用场景进行识别和分类，并根据数据库使用场景的特征生成测试用例；
根据数据库使用场景部署数据库测试环境，支持快速部署和配置不同数据库版本和参数；
在数据库测试环境中设置监控组件，实时采集数据库性能数据；
根据采集的数据库性能数据调整测试用例，同时运行性能测试，并记录性能测试结果；
分析性能测试结果，评估数据库在不同场景下的表现，根据评估结果提出优化建议，并实时调整数据库配置和参数。
作为本发明所述一种自适应多场景数据库性能测试方法的一种优选方案，其中：构建识别分类模型来识别不同的数据库使用场景，并提取特征进行分类，识别分类模型的函数表达式如下所示：
；
；
式中，表示数据库使用场景的特征向量，/>表示读写比例特征，/>表示并发访问量特征，/>表示数据分布的均匀程度特征，/>表示查询类型特征，/>表示输入特征向量映射到分类类别/>的函数表达，/>表示数据库使用场景的分类类别，包括读密集型、写密集型和混合型，/>表示对分类类别/>进行枚举，找到使得后面表达式最大的值，/>表示数据库使用场景特征的权重系数，/>表示偏置项，/>表示乘法运算符号。
作为本发明所述一种自适应多场景数据库性能测试方法的一种优选方案，其中：根据数据库使用场景的特征生成测试用例，生成测试用例的函数表达式如下所示：
；
式中，表示符合数据库使用场景的测试用例，/>表示生成器网络，/>表示数据库使用场景的特征向量；
判别测试用例真实情况的函数表达式如下所示：
；
式中，表示测试用例为真实用例的概率，/>表示判别器网络，表示生成器网络，/>表示数据库使用场景的特征向量。
作为本发明所述一种自适应多场景数据库性能测试方法的一种优选方案，其中：根据数据库使用场景部署数据库测试环境的步骤如下所示：
S21、使用容器化平台将数据库打包成容器镜像；
S22、设计生成器网络，通过生成器网络生成的测试用例与真实用例进行对比，并不断优化生成器网络；
S23、将训练好的生成器网络集成到数据库测试环境中，并使用接口和命令行工具来指定数据库版本和参数，生成对应的测试用例；
S24、通过指定的数据库版本和参数，调用生成器网络生成测试用例。
作为本发明所述一种自适应多场景数据库性能测试方法的一种优选方案，其中：使用监控工具实时采集数据库性能数据，数据库性能数据依据于生成的测试用例，数据库性能数据包括数据库的平均响应时间、事务处理量、内存利用率、连接数、缓存命中率、锁等待时间和日志写入速率；
将数据库性能数据聚合的计算公式如下所示：
；
式中，表示数据库性能数据聚合的结果，/>表示数据库的平均响应时间，/>表示数据库的事务处理量，/>表示数据库的内存利用率，/>表示数据库的连接数，/>表示数据库的缓存命中率，/>表示数据库的锁等待时间，/>表示数据库的日志写入速率，/>表示乘法运算符号。
作为本发明所述一种自适应多场景数据库性能测试方法的一种优选方案，其中：根据采集的数据库性能数据调整测试用例，调整测试用例的函数表达式如下所示：
；
式中，表示生成器网络的训练目标函数，用于使生成器网络生成的测试用例可以获得最大的奖励信号/>，/>表示对所有的测试用例中，选择可以获得最大奖励信号的那个测试用例。
作为本发明所述一种自适应多场景数据库性能测试方法的一种优选方案，其中：对性能测试结果设置警报规则，警报规则如下所示：
每5分钟计算一次数据库性能数据聚合的结果，记录聚合结果数值以供趋势分析和统计计算；
每日更新警报阈值，根据过去7天的聚合结果数值计算新的警报阈值；
若聚合结果数值超过警报阈值，则直接触发警报；
若聚合结果数值有持续上升的趋势且没有超过警报阈值，则触发预警，提示数据库正在逐渐进入性能瓶颈；
若聚合结果数值在5分钟内快速上升，则立即触发警报，表明数据库遇到突发事件；
只要出现警报或预警，及时进行检查，识别数据库问题并解决；
其中，警报阈值是过去7天内聚合结果数值的平均值加上两倍标准差。
一种自适应多场景数据库性能测试***，包括：场景识别模块、环境部署模块、性能监控模块、自适应调整模块和警报优化模块；
场景识别模块用于对数据库使用场景进行识别和分类，并根据数据库使用场景的特征生成测试用例；
环境部署模块用于根据数据库使用场景部署数据库测试环境，支持快速部署和配置不同数据库版本和参数；
性能监控模块用于在数据库测试环境中设置监控组件，实时采集数据库性能数据；
自适应调整模块用于根据采集的数据库性能数据调整测试用例，同时运行性能测试，并记录性能测试结果；
警报优化模块用于分析性能测试结果，评估数据库在不同场景下的表现，根据评估结果提出优化建议，并实时调整数据库配置和参数。
一种计算机设备，包括，存储器，用于存储指令；处理器，用于执行所述指令，使得所述设备执行实现一种自适应多场景数据库性能测试方法。
一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被执行时，实现一种自适应多场景数据库性能测试方法。
本发明的有益效果：本发明通过对数据库使用场景进行识别和分类，并根据数据库使用场景的特征生成测试用例，实现智能数据库使用场景识别自动生成测试用例，并提高测试用例的质量；根据数据库使用场景部署数据库测试环境，支持快速部署和配置不同数据库版本和参数，可以快速进行数据库测试环境部署，并实现动态调整和配置；在数据库测试环境中设置监控组件，实时采集数据库性能数据，实现对数据库性能数据的实时监控；根据采集的数据库性能数据调整测试用例，同时运行性能测试，并记录性能测试结果，不断调整测试用例，使得数据库达到稳定状态，实现性能的最优化；分析性能测试结果，评估数据库在不同场景下的表现，根据评估结果提出优化建议，并实时调整数据库配置和参数以提升数据库性能，实现数据库性能的稳定性以及实时警报异常状态。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还能够根据这些附图获得其它的附图。其中：
图1为本发明一种自适应多场景数据库性能测试方法的方法流程图；
图2为本发明一种自适应多场景数据库性能测试方法的生成对抗网络原理图；
图3为本发明一种自适应多场景数据库性能测试***的***结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还能够采用其他不同于在此描述的其它方式来实施，本领域技术人员能够在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例1
本实施例中，提供了一种自适应多场景数据库性能测试方法的方法流程图，如图1所示，一种自适应多场景数据库性能测试方法包括：
S1、对数据库使用场景进行识别和分类，并根据数据库使用场景的特征生成测试用例；
构建识别分类模型来识别不同的数据库使用场景，并提取特征进行分类，识别分类模型的函数表达式如下所示：
；
；
式中，表示数据库使用场景的特征向量，/>表示读写比例特征，/>表示并发访问量特征，/>表示数据分布的均匀程度特征，/>表示查询类型特征，/>表示输入特征向量映射到分类类别/>的函数表达，/>表示数据库使用场景的分类类别，包括读密集型、写密集型和混合型，/>表示对分类类别/>进行枚举，找到使得后面表达式最大的值，/>表示数据库使用场景特征的权重系数，/>表示偏置项，/>表示乘法运算符号；
需要解释的是：读写比例可以用读操作次数与写操作次数之比表示，并发访问量可以用同时连接数据库的客户端数量表示，数据分布的均匀程度可以用数据分布的标准差表示，查询类型可以用主要查询类型表示；
其中，每个特征的权重系数与输入特征向量/>的点积可以用来衡量输入特征向量与分类类别/>的相关性，偏置项/>则是用来调整分类边界的位置；
根据数据库使用场景的特征生成测试用例，生成测试用例的函数表达式如下所示：
；
式中，表示符合数据库使用场景的测试用例，/>表示生成器网络，/>表示数据库使用场景的特征向量；
判别测试用例真实情况的函数表达式如下所示：
；
式中，表示测试用例为真实用例的概率，/>表示判别器网络，表示生成器网络，/>表示数据库使用场景的特征向量；
需要解释的是：这里使用生成对抗网络来生成测试用例，其中生成器网络中输入数据库使用场景的特征向量，输出符合数据库使用场景的测试用例；判别器输入符合数据库使用场景的测试用例，输出测试用例为真实用例的概率；生成器网络输出的符合数据库使用场景的测试用例尽可能欺骗判别器网络，通过不断迭代训练，生成器网络可以逐渐提高生成测试用例的质量，使其更加逼真；
具体应用中，有一组训练样本，其中提取数据库使用场景的关键特征为读写比例、并发访问量、数据分布的均匀程度和查询类型，规定将数据库使用场景的分类类别分为读密集型、写密集型和混合型，其中读密集型表示数据库主要进行读取操作，写密集型表示数据库主要进行写入操作，而混合型则表示数据库读写操作相对均衡；
在训练阶段，利用数据库使用场景的特征向量和对应数据库使用场景的分类类别，训练识别分类模型，该识别分类模型是利用支持向量机完成的，识别分类模型利用数据库使用场景的特征向量和分类类别之间的映射关系，从而能够对新的特征向量进行分类预测，其中表示输入特征向量/>映射到分类类别/>的函数，/>则是用来判断输入特征向量/>是否属于数据库使用场景的分类类别/>，/>表示取使得函数最大的那个类别；
对于训练好的识别分类模型需要使用测试数据集进行评估，计算准确率和召回率等指标，若评估结果好，则使用识别分类模型对新的数据库使用场景进行分类预测；
在识别分类模型识别完数据库使用场景后使用生成对抗网络来生成测试用例，生成对抗网络生成测试用例的原理图如图2所示，其中从生成器网络中输入数据库使用场景的特征向量从而输出符合数据库使用场景的测试用例，然后再使用判别器网络判别生成测试用例是否为真实用例，通过生成器网络与判别器网络的互相博弈以提高生成器生成真实测试用例的能力，通过上述方法实现了智能数据库使用场景识别与测试用例的自动生成，为数据库性能测试提供更有效的支持。
S2、根据数据库使用场景部署数据库测试环境，支持快速部署和配置不同数据库版本和参数；
根据数据库使用场景部署数据库测试环境的步骤如下所示：
S21、使用容器化平台将数据库打包成容器镜像；
S22、设计生成器网络，通过生成器网络生成的测试用例与真实用例进行对比，并不断优化生成器网络；
S23、将训练好的生成器网络集成到数据库测试环境中，并使用接口和命令行工具来指定数据库版本和参数，生成对应的测试用例；
S24、通过指定的数据库版本和参数，调用生成器网络生成测试用例；
具体应用中，首先使用Docker容器化平台将不同版本的MySQL数据库打包成容器镜像，实现快速部署和管理数据库实例，同时保持环境隔离性；其次使用PyTorch框架设计一个生成器网络，它输入的是数据库使用场景的特征向量，输出的是测试用例，生成器网络基于现有数据库的读写比例、并发访问量、数据分布的均匀程度和查询类型来生成测试用例，同时允许用户灵活地调整参数以模拟不同版本的数据库，并将现有的数据库作为训练数据集，通过生成器网络生成的测试用例与真实用例进行对比，使用生成对抗网络的训练方法不断优化生成器网络，使生成器网络生成的测试用例更加符合真实用例；然后将训练好的生成器网络集成到数据库测试环境中，用户可以通过简单的接口或者命令行工具来指定数据库版本和参数，生成对应的测试用例，同时利用容器化技术快速部署测试用例的数据库参数，并根据需要进行动态调整和配置；最后用户通过对指定数据库版本和参数的设置，调用生成器网络生成测试用例，生成的测试用例包括对数据库中表结构、数据记录、索引和负载情况的情况进行测试。
S3、在数据库测试环境中设置监控组件，实时采集数据库性能数据；
使用监控工具实时采集数据库性能数据，数据库性能数据依据于生成的测试用例，数据库性能数据包括数据库的平均响应时间、事务处理量、内存利用率、连接数、缓存命中率、锁等待时间和日志写入速率；
将数据库性能数据聚合的计算公式如下所示：
；
式中，表示数据库性能数据聚合的结果，/>表示数据库的平均响应时间，/>表示数据库的事务处理量，/>表示数据库的内存利用率，/>表示数据库的连接数，/>表示数据库的缓存命中率，/>表示数据库的锁等待时间，/>表示数据库的日志写入速率，/>表示乘法运算符号；
需要解释的是：平均响应时间包括记录每次查询的平均响应时间，事务处理量包括提交的事务数量和回滚的事务数量，内存利用率可以用来评估数据库的内存资源消耗情况，连接数可以用来评估数据库的连接管理效率和并发处理能力，缓存命中率可以用来评估数据库查询性能和缓存效果，锁等待时间可以用来评估数据库的并发控制效率和锁管理策略，日志写入速率可以用来评估数据库的日志管理效率和写入性能；
具体应用中，使用Prometheus监控工具实时采集数据库性能数据，根据测试用例，配置Prometheus采集的数据库性能数据，包括数据库的平均响应时间、事务处理量、内存利用率、连接数、缓存命中率、锁等待时间和日志写入速率，对每个数据库性能数据的原始值进行归一化处理，将其转换成0到1之间的范围，以便统一比较不同数据库性能数据的取值范围，利用聚合公式将采集的数据库性能数据进行聚合和计算，这样计算的原因是平均响应时间越小、缓存命中率越高对性能越有利，所以这两个数据库性能数据的乘积对聚合的结果贡献越大。
S4、根据采集的数据库性能数据调整测试用例，同时运行性能测试，并记录性能测试结果；
根据采集的数据库性能数据调整测试用例，调整测试用例的函数表达式如下所示：
；
式中，表示生成器网络的训练目标函数，用于使生成器网络生成的测试用例可以获得最大的奖励信号/>，/>表示对所有的测试用例中，选择可以获得最大奖励信号的那个测试用例；
需要解释的是：奖励信号是根据性能测试结果对生成器网络的性能进行奖惩，奖励信号可以根据数据库的性能和稳定性进行设计，训练目标函数/>综合考虑生成器网络的生成能力和测试用例的性能，以此来指导生成器网络的训练；
具体应用中，根据上述采集的数据库性能数据调整测试用例，根据历史性能测试结果训练生成器网络和判别器网络，以确定奖励信号，利用强化学***均响应时间为止，再利用生成器网络生成的测试用例进行性能测试，根据性能测试结果调整生成器网络和判别器网络的参数，以及奖励信号的设计，使得数据库达到稳定状态，实现性能的最优化。
S5、分析性能测试结果，评估数据库在不同场景下的表现，根据评估结果提出优化建议，并实时调整数据库配置和参数以提升数据库性能；
对性能测试结果设置警报规则，警报规则如下所示：
每5分钟计算一次数据库性能数据聚合的结果，记录聚合结果数值以供趋势分析和统计计算；
每日更新警报阈值，根据过去7天的聚合结果数值计算新的警报阈值；
若聚合结果数值超过警报阈值，则直接触发警报；
若聚合结果数值有持续上升的趋势且没有超过警报阈值，则触发预警，提示数据库正在逐渐进入性能瓶颈；
若聚合结果数值在5分钟内快速上升，则立即触发警报，表明数据库遇到突发事件；
只要出现警报或预警，及时进行检查，识别数据库问题并解决；
其中，警报阈值是过去7天内聚合结果数值的平均值加上两倍标准差；
具体应用中，经过一段时间对数据库性能数据的观察，聚合结果数值在数据库运行正常时大致在0.1至0.5之间，但是警报阈值不能一成不变，所以这里利用过去一段时间内聚合结果数值的平均值和标准差，动态调整警报阈值，这里将警报阈值设置为过去7天内聚合结果数值的平均值加上两倍标准差，这样可以更精确地反映出数据库的正常波动范围，减少误报；
每5分钟计算一次聚合结果数值，记录以供趋势分析和统计计算，每天更新警报阈值，根据过去7天的聚合结果数值计算新的警报阈值，监测聚合结果数值的长期趋势，如果发现聚合结果数值有持续上升的趋势，即使没有超过警报阈值，可以触发预警，提示数据库可能正在逐渐进入性能瓶颈，如果聚合结果数值在5分钟内快速上升，这可能表明数据库遇到突发事件，即使这个值没有超过警报阈值，也应该触发警报，一旦触发警报或预警，相关人员需要立即进行检查，识别问题所在，并进行必要的数据库配置和参数的调优或者进行问题修复，定期回顾警报准确性和警报阈值设置，以提高监控组件的有效性和准确性。
实施例2
本实施例中，提供了一种自适应多场景数据库性能测试***的***结构图，如图3所示，一种自适应多场景数据库性能测试***包括场景识别模块、环境部署模块、性能监控模块、自适应调整模块和警报优化模块。
场景识别模块用于对数据库使用场景进行识别和分类，并根据数据库使用场景的特征生成测试用例；
环境部署模块用于根据数据库使用场景部署数据库测试环境，支持快速部署和配置不同数据库版本和参数；
性能监控模块用于在数据库测试环境中设置监控组件，实时采集数据库性能数据；
自适应调整模块用于根据采集的数据库性能数据调整测试用例，同时运行性能测试，并记录性能测试结果；
警报优化模块用于分析性能测试结果，评估数据库在不同场景下的表现，根据评估结果提出优化建议，并实时调整数据库配置和参数以提升数据库性能；
关于自适应多场景数据库性能测试***部分的具体描述，可以参见上述自适应多场景数据库性能测试方法实施例，这里不再赘述。
实施例3
本实施例中，提供了一种计算机设备，包括存储器和处理器，存储器用于存储指令，处理器用于执行该指令，使得计算机设备执行实现上述一种自适应多场景数据库性能测试方法的步骤。
实施例4
本实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被执行时实现上述一种自适应多场景数据库性能测试方法的步骤。
该计算机可读存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种存储程序代码的介质。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，能够对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种自适应多场景数据库性能测试方法，其特征在于：包括：
对数据库使用场景进行识别和分类，并根据数据库使用场景的特征生成测试用例；
根据数据库使用场景部署数据库测试环境，支持快速部署和配置不同数据库版本和参数；
在数据库测试环境中设置监控组件，实时采集数据库性能数据；
根据采集的数据库性能数据调整测试用例，同时运行性能测试，并记录性能测试结果；
分析性能测试结果，评估数据库在不同场景下的表现，根据评估结果提出优化建议，并实时调整数据库配置和参数。
2.如权利要求1所述的一种自适应多场景数据库性能测试方法，其特征在于：构建识别分类模型来识别不同的数据库使用场景，并提取特征进行分类，识别分类模型的函数表达式如下所示：
；
；
式中，表示数据库使用场景的特征向量，/>表示读写比例特征，/>表示并发访问量特征，/>表示数据分布的均匀程度特征，/>表示查询类型特征，/>表示输入特征向量/>映射到分类类别/>的函数表达，/>表示数据库使用场景的分类类别，包括读密集型、写密集型和混合型，/>表示对分类类别/>进行枚举，找到使得后面表达式最大的值，/>表示数据库使用场景特征的权重系数，/>表示偏置项，/>表示乘法运算符号。
3.如权利要求2所述的一种自适应多场景数据库性能测试方法，其特征在于：根据数据库使用场景的特征生成测试用例，生成测试用例的函数表达式如下所示：
；
式中，表示符合数据库使用场景的测试用例，/>表示生成器网络，/>表示数据库使用场景的特征向量；
判别测试用例真实情况的函数表达式如下所示：
；
式中，表示测试用例为真实用例的概率，/>表示判别器网络，/>表示生成器网络，/>表示数据库使用场景的特征向量。
4.如权利要求3所述的一种自适应多场景数据库性能测试方法，其特征在于：根据数据库使用场景部署数据库测试环境的步骤如下所示：
S21、使用容器化平台将数据库打包成容器镜像；
S22、设计生成器网络，通过生成器网络生成的测试用例与真实用例进行对比，并不断优化生成器网络；
S23、将训练好的生成器网络集成到数据库测试环境中，并使用接口和命令行工具来指定数据库版本和参数，生成对应的测试用例；
S24、通过指定的数据库版本和参数，调用生成器网络生成测试用例。
5.如权利要求4所述的一种自适应多场景数据库性能测试方法，其特征在于：使用监控工具实时采集数据库性能数据，数据库性能数据依据于生成的测试用例，数据库性能数据包括数据库的平均响应时间、事务处理量、内存利用率、连接数、缓存命中率、锁等待时间和日志写入速率；
将数据库性能数据聚合的计算公式如下所示：
；
式中，表示数据库性能数据聚合的结果，/>表示数据库的平均响应时间，/>表示数据库的事务处理量，/>表示数据库的内存利用率，/>表示数据库的连接数，/>表示数据库的缓存命中率，/>表示数据库的锁等待时间，/>表示数据库的日志写入速率，/>表示乘法运算符号。
6.如权利要求5所述的一种自适应多场景数据库性能测试方法，其特征在于：根据采集的数据库性能数据调整测试用例，调整测试用例的函数表达式如下所示：
；
式中，表示生成器网络的训练目标函数，用于使生成器网络生成的测试用例获得最大的奖励信号/>，/>表示对所有的测试用例中，选择获得最大奖励信号的那个测试用例。
7.如权利要求6所述的一种自适应多场景数据库性能测试方法，其特征在于：对性能测试结果设置警报规则，警报规则如下所示：
每5分钟计算一次数据库性能数据聚合的结果，记录聚合结果数值以供趋势分析和统计计算；
每日更新警报阈值，根据过去7天的聚合结果数值计算新的警报阈值；
若聚合结果数值超过警报阈值，则直接触发警报；
若聚合结果数值有持续上升的趋势且没有超过警报阈值，则触发预警，提示数据库正在逐渐进入性能瓶颈；
若聚合结果数值在5分钟内快速上升，则立即触发警报，表明数据库遇到突发事件；
只要出现警报或预警，及时进行检查，识别数据库问题并解决；
其中，警报阈值是过去7天内聚合结果数值的平均值加上两倍标准差。
8.一种自适应多场景数据库性能测试***，用于实现权利要求1-7中任一项所述的一种自适应多场景数据库性能测试方法，其特征在于：包括：
场景识别模块、环境部署模块、性能监控模块、自适应调整模块和警报优化模块；
场景识别模块用于对数据库使用场景进行识别和分类，并根据数据库使用场景的特征生成测试用例；
环境部署模块用于根据数据库使用场景部署数据库测试环境，支持快速部署和配置不同数据库版本和参数；
性能监控模块用于在数据库测试环境中设置监控组件，实时采集数据库性能数据；
自适应调整模块用于根据采集的数据库性能数据调整测试用例，同时运行性能测试，并记录性能测试结果；
警报优化模块用于分析性能测试结果，评估数据库在不同场景下的表现，根据评估结果提出优化建议，并实时调整数据库配置和参数。
9.一种计算机设备，其特征在于：包括：
存储器，用于存储指令；
处理器，用于执行所述指令，使得所述设备执行实现如权利要求1-7中任一项所述的一种自适应多场景数据库性能测试方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该计算机程序被执行时，实现如权利要求1-7中任一项所述的一种自适应多场景数据库性能测试方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410509607.6A CN118093445B (zh) | 2024-04-26 | 2024-04-26 | 一种自适应多场景数据库性能测试方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410509607.6A CN118093445B (zh) | 2024-04-26 | 2024-04-26 | 一种自适应多场景数据库性能测试方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118093445A true CN118093445A (zh) | 2024-05-28 |
| CN118093445B CN118093445B (zh) | 2024-07-12 |
Family
ID=91160227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410509607.6A Active CN118093445B (zh) | 2024-04-26 | 2024-04-26 | 一种自适应多场景数据库性能测试方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118093445B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110145795A1 (en) * | 2009-12-10 | 2011-06-16 | Amol Khanapurkar | System and method for automated performance testing in a dynamic production environment |
| US10496532B1 (en) * | 2019-08-14 | 2019-12-03 | Capital One Services, Llc | Automatically reconfiguring a performance test environment |
| CN116627844A (zh) * | 2023-06-29 | 2023-08-22 | 上海沄熹科技有限公司 | 一种数据库测试方法及*** |
| CN116737549A (zh) * | 2023-05-24 | 2023-09-12 | 上海沄熹科技有限公司 | 一种时序数据库稳定性测试方法 |
| CN117009243A (zh) * | 2023-08-22 | 2023-11-07 | 东莞忆联信息***有限公司 | 芯片性能自动化测试方法、装置、计算机设备及存储介质 |
| CN117176611A (zh) * | 2023-10-30 | 2023-12-05 | 翼方健数(北京)信息科技有限公司 | 一种分布式通信库的性能测试方法、***及介质 |
-
2024
- 2024-04-26 CN CN202410509607.6A patent/CN118093445B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110145795A1 (en) * | 2009-12-10 | 2011-06-16 | Amol Khanapurkar | System and method for automated performance testing in a dynamic production environment |
| US10496532B1 (en) * | 2019-08-14 | 2019-12-03 | Capital One Services, Llc | Automatically reconfiguring a performance test environment |
| CN116737549A (zh) * | 2023-05-24 | 2023-09-12 | 上海沄熹科技有限公司 | 一种时序数据库稳定性测试方法 |
| CN116627844A (zh) * | 2023-06-29 | 2023-08-22 | 上海沄熹科技有限公司 | 一种数据库测试方法及*** |
| CN117009243A (zh) * | 2023-08-22 | 2023-11-07 | 东莞忆联信息***有限公司 | 芯片性能自动化测试方法、装置、计算机设备及存储介质 |
| CN117176611A (zh) * | 2023-10-30 | 2023-12-05 | 翼方健数(北京)信息科技有限公司 | 一种分布式通信库的性能测试方法、***及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118093445B (zh) | 2024-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11481707B2 (en) | Risk prediction system and operation method thereof | |
| CN111932269A (zh) | 设备信息处理方法及装置 | |
| CN115545790B (zh) | 价格数据预测方法、装置、电子设备及存储介质 | |
| CN116416884A (zh) | 一种显示器模组的测试装置及其测试方法 | |
| CN117235608B (zh) | 风险检测方法、装置、电子设备及存储介质 | |
| CN114331238A (zh) | 智能模型算法优选方法、***、存储介质及计算机设备 | |
| CN113506175A (zh) | 中小企业风险预警模型优化方法、装置、设备和存储介质 | |
| CN113935413A (zh) | 一种基于卷积神经网的配网录波文件波形识别方法 | |
| CN113822336A (zh) | 一种云硬盘故障预测方法、装置、***及可读存储介质 | |
| CN118093445B (zh) | 一种自适应多场景数据库性能测试方法及*** | |
| CN117763316A (zh) | 一种基于机器学习的高维数据降维方法及降维*** | |
| CN111582647A (zh) | 用户数据处理方法、装置及电子设备 | |
| CN111221704B (zh) | 一种确定办公管理应用***运行状态的方法及*** | |
| AU2021312671B2 (en) | Value over replacement feature (VORF) based determination of feature importance in machine learning | |
| CN117708622B (zh) | 运维***的异常指标分析方法、***和电子装置 | |
| CN115034400B (zh) | 一种业务数据处理方法、装置、电子设备及存储介质 | |
| CN116823069B (zh) | 基于文本分析的智能客服服务质检方法及相关设备 | |
| CN116932487B (zh) | 一种基于数据段落划分的量化式数据分析方法及*** | |
| CN118133350B (zh) | 一种融合隐私保护的数据治理方法及*** | |
| TWI755774B (zh) | 損失函數的優化系統、優化方法及其電腦可讀取記錄媒體 | |
| CN117350359A (zh) | 一种大型多特征有监督模型的训练方法 | |
| CN118245844A (zh) | 业务处理方法、装置、电子设备、存储介质及程序产品 | |
| CN118296336A (zh) | 基于决策边界动态可变的开集识别方法 | |
| CN117708622A (zh) | 运维***的异常指标分析方法、***和电子装置 | |
| CN116629699A (zh) | 数据检测方法、装置、终端设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |