CN117235051A - 一种数据库的管理方法、装置、电子设备和存储介质 - Google Patents
一种数据库的管理方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN117235051A CN117235051A CN202311484873.XA CN202311484873A CN117235051A CN 117235051 A CN117235051 A CN 117235051A CN 202311484873 A CN202311484873 A CN 202311484873A CN 117235051 A CN117235051 A CN 117235051A
- Authority
- CN
- China
- Prior art keywords
- index data
- index
- detecting
- tables
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 46
- 238000007726 management method Methods 0.000 title claims description 27
- 238000000034 method Methods 0.000 claims abstract description 93
- 238000013515 script Methods 0.000 claims abstract description 49
- 230000008569 process Effects 0.000 claims description 50
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 43
- 230000002159 abnormal effect Effects 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 26
- 238000004140 cleaning Methods 0.000 claims description 13
- 239000012634 fragment Substances 0.000 claims description 13
- 230000004048 modification Effects 0.000 claims description 13
- 238000012986 modification Methods 0.000 claims description 13
- 238000013467 fragmentation Methods 0.000 claims description 6
- 238000006062 fragmentation reaction Methods 0.000 claims description 6
- 238000013024 troubleshooting Methods 0.000 claims description 2
- 230000002354 daily effect Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000011084 recovery Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000009546 growth abnormality Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000010926 purge Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种数据库的管理方法、装置、电子设备和存储介质，应用于计算机领域，方法包括：利用预设的第一自动化脚本，对数据库进行检测，获取所述数据库的指标数据集；利用预设的第二自动化脚本，从所述指标数据集中确定至少一个目标指标数据，将所述至少一个目标指标数据中每个目标指标数据与所述目标指标数据对应的阈值进行比较，得到比较结果；利用预设的第三自动化脚本，根据所述指标数据集和至少一个比较结果进行管理操作；所述管理操作包括：故障排除操作、安全预警操作、统计操作。应用本公开所述方案，实现对数据库的自动化管理，提高管理效率，节约人力成本，避免人为操作导致的操作。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及一种数据库的管理方法、装置、电子设备和存储介质。
背景技术
应用数据库为业务***提供相应业务所需的重要设备之一，其用于存储、管理各种相关数据。现有技术中，随着各种业务的快速发展，业务***复杂度呈指数级上升，应用数据库也会随之增多，其存储并管理的表和数据也随之增多。而针对应用数据库的巡检及故障处理的闭环管理中，目前存在以下问题：
1）人工成本高：随着数据库的复杂度呈指数级上升，需要投入大量的人力成本处理应用数据库巡检、告警及故障工作；
2）处理效率低：手工处理告警需等待投产窗口、或发起数据维护、或应用变更，告警平均恢复周期较长，约7天左右；
3）操作风险大：手工操作存在犯错、遗漏步骤或执行不正确等潜在风险，这导致操作风险较大。
因此，如何高效、快速、安全的进行数据库的管理，是目前亟待解决的问题。
发明内容
本公开提供了一种数据库的管理方法、装置、电子设备和存储介质，以至少解决现有技术中存在的以上技术问题。
第一方面，本公开实施例提供了一种数据库的管理方法，所述方法包括：
利用预设的第一自动化脚本，对数据库进行检测，获取所述数据库的指标数据集；
利用预设的第二自动化脚本，从所述指标数据集中确定至少一个目标指标数据，将所述至少一个目标指标数据中每个目标指标数据与所述目标指标数据对应的阈值进行比较，得到比较结果；
利用预设的第三自动化脚本，根据所述指标数据集和至少一个比较结果进行管理操作；所述管理操作包括：故障排除操作、安全预警操作、统计操作；
其中，所述指标数据集包括：时点指标数据集、历史指标数据集；
时点指标数据集包括以下至少之一：异常进程个数、进程被锁个数、表空间超阈值个数、表增长异常个数、应用用户回收站对象个数、高水位表个数、高碎片索引个数、修改用户下对象个数、表超规则未统计个数、表空间存放错乱个数、索引表空间存放错乱个数、索引失效个数；
所述历史指标数据集，包括以下至少之一：每日归档大小、每日表统计次数、目标结构化查询语言（SQL，Structured Query Language）集合、前N个高水位表、服务器中央处理器（CPU，Central Processing Unit）使用情况、服务器内存使用情况、服务器文件***使用情况、绑定变量异常SQL个数；N大于等于1。
第二方面，本公开实施例提供了一种数据库的管理装置，所述装置包括：
第一处理模块，用于利用预设的第一自动化脚本，对数据库进行检测，获取所述数据库的指标数据集；
第二处理模块，用于利用预设的第二自动化脚本，从所述指标数据集中确定至少一个目标指标数据，将所述至少一个目标指标数据中每个目标指标数据与所述目标指标数据对应的阈值进行比较，得到比较结果；
第三处理模块，用于利用预设的第三自动化脚本，根据所述指标数据集和至少一个比较结果进行管理操作；所述管理操作包括：故障排除操作、安全预警操作、统计操作；
其中，所述指标数据集包括：时点指标数据集、历史指标数据集；
时点指标数据集包括以下至少之一：异常进程个数、进程被锁个数、表空间超阈值个数、表增长异常个数、应用用户回收站对象个数、高水位表个数、高碎片索引个数、修改用户下对象个数、表超规则未统计个数、表空间存放错乱个数、索引表空间存放错乱个数、索引失效个数；
所述历史指标数据集，包括以下至少之一：每日归档大小、每日表统计次数、目标SQL集合、前N个高水位表、服务器CPU使用情况、服务器内存使用情况、服务器文件***使用情况、绑定变量异常SQL个数；N大于等于1。
第三方面，本公开实施例提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上所述的方法。
第四方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行根据以上所述的方法。
本公开实施例提供的数据库的管理方法、装置、电子设备和存储介质，方法包括：利用预设的第一自动化脚本，对数据库进行检测，获取所述数据库的指标数据集； 利用预设的第二自动化脚本，从所述指标数据集中确定至少一个目标指标数据，将所述至少一个目标指标数据中每个目标指标数据与所述目标指标数据对应的阈值进行比较，得到比较结果；利用预设的第三自动化脚本，根据所述指标数据集和至少一个比较结果进行管理操作；所述管理操作包括：故障排除操作、安全预警操作、统计操作；其中，所述指标数据集包括：时点指标数据集、历史指标数据集；时点指标数据集包括以下至少之一：异常进程个数、进程被锁个数、表空间超阈值个数、表增长异常个数、应用用户回收站对象个数、高水位表个数、高碎片索引个数、修改用户下对象个数、表超规则未统计个数、表空间存放错乱个数、索引表空间存放错乱个数、索引失效个数；所述历史指标数据集，包括以下至少之一：每日归档大小、每日表统计次数、目标SQL集合、前N个高水位表、服务器CPU使用情况、服务器内存使用情况、服务器文件***使用情况、绑定变量异常SQL个数；N大于等于1。如此，利用自动化脚本将重复的事情标准化、标准的事情自动化，提高数据库的管理效率，并且，可以实现故障自愈、安全预警等功能，为业务***的安全运营提供了进一步的保障。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
图1为本公开实施例提供的一种数据库的管理方法的流程示意图；
图2为本公开实施例提供的一种数据库的管理装置的结构示意图；
图3为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本公开的目的、特征、优点能够更加的明显和易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而非全部实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本公开所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本公开中所使用的术语只是为了描述本公开实施例的目的，不是旨在限制本公开。
应理解，在本公开的各种实施例中，各实施过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
图1为本公开实施例提供的一种数据库的管理方法的流程示意图；如图1所示，所述方法包括：
步骤101、利用预设的第一自动化脚本，对数据库进行检测，获取所述数据库的指标数据集；
步骤102、利用预设的第二自动化脚本，从所述指标数据集中确定至少一个目标指标数据，将所述至少一个目标指标数据中每个目标指标数据与所述目标指标数据对应的阈值进行比较，得到比较结果；
步骤103、利用预设的第三自动化脚本，根据所述指标数据集和至少一个比较结果进行管理操作；所述管理操作包括：故障排除操作、安全预警操作、自动化统计操作。
具体地，所述数据库也可以称为应用数据库，如Oracle数据库（一种关系数据库管理***）。
所述方法可以应用于任意一个电子设备；所述电子设备可以是与所述数据库进行通信，并对所述数据库执行管理操作的设备，该电子设备预先设置并保存有上述第一自动化脚本、第二自动化脚本、第三自动化脚本，可以执行以上步骤101-步骤103。例如，所述电子设备可以是计算机等设备。
所述电子设备也可以是数据库自身，即该数据库自身可以预先设置并保存上述第一自动化脚本、第二自动化脚本、第三自动化脚本，可以执行以上步骤101-步骤103。
需要说明的是，所述第一自动化脚本、第二自动化脚本、第三自动化脚本可以是单独设计的脚本，也可以进行任意组合成为一个或多个脚本，上述脚本可以自动进行上述步骤101-步骤103的操作，对于上述脚本可执行的步骤不做具体划分。
当一个数据库与其它数据库相结合，组成一个大型业务***时，所述电子设备可以针对多个数据库同时进行上述步骤101-步骤103的操作，也即，上述步骤101-步骤103可以理解为电子设备对业务***（即将多个数据库看成一个整体）的操作。
进一步的，若所述电子设备为数据库自身，则多个数据库之间可以相互进行通信，以实现指标数据集的整合、比较结果的整合，后期可以由需要进行故障排除和/或安全预警等操作可以由各数据库单独执行，并将处理结果发送给业务***中的其它数据库。
在一些实施例中，所述指标数据集包括：时点指标数据集、历史指标数据集；
其中，时点指标数据集包括以下至少之一：异常进程个数、进程被锁个数、表空间超阈值个数、表增长异常个数、应用用户回收站对象个数、高水位表个数、高碎片索引个数、修改用户（Modifyuser）下对象个数、表超规则未统计个数、表空间存放错乱个数、索引表空间存放错乱个数、索引失效个数。
所述历史指标数据集，包括以下至少之一：每日归档大小、每日表统计次数、目标结构化查询语言SQL集合、前N个高水位表、服务器中央处理器CPU使用情况、服务器内存使用情况、服务器文件***使用情况、绑定变量异常SQL个数；N大于等于1。
在一些实施例中，所述利用预设的第二自动化脚本，从所述指标数据集中确定至少一个目标指标数据，将所述至少一个目标指标数据中每个目标指标数据与所述目标指标数据对应的阈值进行比较，得到比较结果；包括：
获取预设的至少一个预警指标，从所述指标数据集中确定每个预警指标对应的目标指标数据；
将每个预警指标对应的目标指标数据与所述预警指标对应的阈值进行比较，得到比较结果。
具体地，所述指标数据集包括一个或多个指标数据。应用时，根据实际业务需求，可以预设不同的预警指标，以及，每个预警指标对应的阈值；将检测结果（即每个预警指标对应的目标指标数据）与阈值相比较，超过阈值则可以进行安全预警处理；例如，所述安全预警处理，可以包括：通过云校验平台发送短信通知给业务***的负责人与数据库的管理员；并且，负责人和管理员也可以通过展示界面（如数据库的驾驶舱）浏览预警信息及处理建议。
某些目标指标数据超过阈值，也可以表征存在潜在的故障或问题，因此，也可以进行故障排除处理。
在一些实施例中，需要进行安全预警处理的指标可以包括但不限于：异常进程个数、进程被锁个数、表空间超阈值个数、表增长异常个数、应用用户回收站对象个数、高水位表个数、高碎片索引个数、修改用户下对象个数、表超规则未统计个数、表空间存放错乱个数、索引表空间存放错乱个数、数据操纵语言（Data Manipulation Language，DML）并行SQL个数、索引失效个数。
以下对上述指标数据的定义、针对指标数据的检测方法进一步说明。
在一些实施例中，所述利用预设的第一自动化脚本，对数据库进行检测，获取所述数据库的指标数据集，包括以下至少之一：
检测执行操作时存在异常的进程的个数，得到异常进程个数；
检测被锁导致无法执行读写操作的表格的个数，得到进程被锁个数；
检测表空间使用率占最大可扩展表空间的占比超过预设第一阈值的表格，作为表空间超阈值的表格；统计所述表空间超阈值的表格的个数，得到表空间超阈值个数；
检测实际占用空间增长异常的表格的个数，得到表增长异常个数；
检测应用用户在回收站中的表格的个数，得到应用用户回收站对象个数；
检测处于高水位状态的表格的个数，得到高水位表个数；
检测碎片化程度超过预设第二阈值的索引的个数，得到高碎片索引个数；
检测修改用户相关的表格的个数，得到修改用户下对象个数；
检测满足第一条件的表格的个数，得到表超规则未统计个数；其中，第一条件为：第一时长内表格中变动的数据超过预设第三阈值、且表格未被表统计；和/或，表格超过第二时长未被表统计；
检测存放在错误的表空间下的表格的个数，得到表空间存放错乱个数；
检测存放在错误的表空间下的索引的个数，得到索引表空间存放错乱个数；
检测失效索引的个数，得到索引失效个数。
具体地，上述指标数据的含义如下：
异常进程个数：执行操作时存在异常的进程的个数；例如，某个进程为将数据写入表格，而执行该操作时存在无法将数据写入表格的异常情况；
进程被锁个数：被锁导致无法执行读写操作的表格的个数；
表空间超阈值个数：表空间超阈值的表格的个数，所述表空间超阈值的表格指：表空间整体使用率占最大可扩展表空间的占比超过预设第一阈值的表格；
表增长异常个数：实际占用空间增长异常的表格的个数；实际占用空间增长异常的表格为：若单位时间（如12小时、24小时）内，实际占用空间增长的表格所具体增长的空间超过预设的增长阈值，则认为该表格增长异常；
应用用户回收站对象个数：应用用户在回收站中的表格的个数；例如，被删除（drop）但未被清空（purge）的表格；
高水位表个数：处于高水位状态的表格的个数；处于高水位状态的表格（也称高水位表）指：若某个表格对应的物理占用（指预先为该表格分配的空间）是逻辑占用（该表格实际占用的空间）的1.5倍以上，则认为是高水位表。
高碎片索引个数：碎片化程度超过预设第二阈值的索引的个数；
修改用户下对象个数：修改用户相关的表格的个数；例如，某个修改用户相关联或所涉及到的表格的个数；
表超规则未统计个数：满足第一条件的表格的个数；其中，第一条件为：第一时长内表格中变动的数据超过预设第三阈值、且表格未被表统计；和/或，表格超过第二时长未被表统计；例如，第一条件可以为：表格数据较昨日变动的数据超过10%而未被表统计，和/或，表格超过一周未被表统计。
表空间存放错乱个数：存放在错误的表空间下的表格的个数；
索引表空间存放错乱个数：存放在错误的表空间下的索引的个数；
索引失效个数：检测失效索引的个数。
在一些实施例中，所述利用预设的第一自动化脚本，对数据库进行检测，获取所述数据库的指标数据集，包括以下至少之一：
检测第三时长内归档的表格的大小总和，得到每日归档大小；
检测第三时长内被做表统计的表格的总数，得到每日表统计次数；
确定耗时时长为前N个的SQL语句，得到目标SQL集合；
从处于高水位状态的表格中，确定高水位程度为前N个的表格，得到前N个高水位表；
确定CPU开销为前N个的SQL语句，得到目标SQL集合；
确定输入或输出（I/O，Input/Output）开销为前N个的SQL语句，得到目标SQL集合；
检测服务器运行的程序占用的CPU资源，得到服务器CPU使用情况；
检测服务器运行的程序占用的内存资源，得到服务器内存使用情况；
检测服务器的文件***使用率，得到服务器文件***使用情况；
检测绑定超过100个变量的SQL语句的个数，得到绑定变量异常SQL个数。
其中，SQL集合，包括：前N个慢SQL、前N个CPU、前N个IO；N可以根据需求设定，例如，可以为5、10、15、20；一般选择10；
具体地，上述指标数据的含义如下：
每日归档大小：第三时长内（如12小时、24小时）归档的表格的大小总和；
每日表统计次数：第三时长内（如12小时、24小时）被做表统计的总数；
前N个慢SQL（Structured Query Language，结构化查询语言）：根据数据库的使用记录，确定的最耗时的前N个的SQL语句；
前N个高水位表：高水位程度为前N个的表格；其中，所述高水位程度通过表格对应的物理占用（指预先为该表格分配的空间）占逻辑占用（该表格实际占用的空间）的占比体现，占比越高，则高水位程度越高；
前N个CPU：根据数据库的空间占用情况，确定的CPU开销最大的前N个SQL语句；
前N个IO：根据数据库的使用记录，确定的输入或输出（I/O，Input/Output）开销最大的前N个SQL语句；
服务器CPU使用情况：服务器运行的程序占用的CPU资源；可以具体包括：服务器在某个或某几个时间点的运行程序的情况；
服务器内存使用情况：服务器运行的程序占用的内存资源；可以具体包括：服务器在某个或某几个指定时间点的运行程序的情况；
服务器文件***使用情况：服务器的文件***使用率；
绑定变量异常SQL个数：绑定超过100个变量的SQL语句的个数。
在一些实施例中，所述利用预设的第三自动化脚本，根据所述指标数据集和至少一个比较结果进行管理操作，具体为统计操作，包括：
检测满足第一条件的表格的信息，其中，第一条件为：第一时长内表格中变动的数据超过预设第三阈值、且表格未被表统计；和/或，表格超过第二时长未被表统计；
例如，第一时长可以为24小时，所述第二时长可以为7天；
收集满足以下条件的表格的信息：
表数据较上日变动超过10%的表格；
超过7天未统计的表格。
这里，考虑到数据库（如ORACLE数据库）自带的表统计任务的工作日执行窗口为22点至2点，可采用解析（analyze）方法进行表统计信息收集。若数据库的数据总量较大，表数量较多，会出现无法在窗口内收集全统计信息的情况。而对于业务量巨大的业务***，可能存在大几千上万张表，那么每天只能在收集窗口内完成收集1/4或更少数量的表，因此，需要尽可能保证被统计的表是重点关注的表格。基于此，本公开提出了从大几千上万张选择出满足第一条件的表格，即将符合上述条件的表加入统计清单，根据变动百分比与未统计天数指定优先级，通过dbms_stat（一种用于收集表的统计信息的语句）收集统计信息，实现对数据库自带统计任务的补充。
在一些实施例中，所述利用预设的第三自动化脚本，根据所述指标数据集和至少一个比较结果进行管理操作，具体为故障排除操作，包括以下至少之一：
检测高水位表，自动化清理所述高水位表；
回收索引碎片；
清理满足备份清理条件的备份数据，其中，备份清理条件包括：备份数据的存储时长超过预设时长。
这里，考虑到每日跑批频繁的DML操作会不停的占用新的块从而导致表处于高水位状态。而查询时需要扫描更多的块，影响性能，也占用了大量无效空间浪费存储资源。因此，在单表表空间占用大于100M的前提下，判断表格是否处于高水位状态，若是，则将其加入清理计划中，通过新建表重插数据、重建索引、交换表名、删除旧表等步骤实现高水位表的自动清理。
这里，碎片是指索引中的空间浪费，通常是由于删除、更新或***操作导致的。这些操作可能导致索引页面上的数据不连续，从而浪费了存储空间并降低了查询性能。因此，通过自动化代码在数据库空闲时主动回收索引碎片，减少存储空间的浪费，提高查询性能。
这里，备份清理指自动化代码定期对超过一段时间（如半年以上）的备份表做清理；可以统一将备份表命名为：正式表_bak_yyyymmdd，yyyymmdd表示年、月、日，如此可以直接命名检测备份时长。
在一些实施例中，所述方法还包括：存储过程展示、自动生成重命名（rename）脚本，自动化生成数据加载工具（SQLLoader）控制文件。
其中，通过调度平台调用存储过程每日跑批时，原先无法获取到存储过程的执行结果，可以通过新建日志表及代码，由自动化脚本实现读取日志表的结果并反显在调度平台前端页面，即存储过程展示。
考虑到每日跑批时会有大量的表进行DML操作（如重命名操作），利用自动化脚本实现rename脚本的生成和/或调用，以便于运用rename脚本实现批量重命名操作。
SQL_Loader 控制文件是一个文本文件，用于定义将数据加载到数据库表中的过程。通过获取目标表的结构（包括表名称、列名称和数据类型等信息），可以使用数据库的元数据查询来获取表结构的信息。而数据库没有内置的功能可以直接自动生成 SQL_Loader控制文件，因此，通过电子设备自动化自动生成SQL_Loader 控制文件，以便于数据加载。
本公开实施例可以适用于各种业务***，尤其适用于需要在操作型数据库的基础上需通过数仓ETL（Extract-Transform-Load，指业务***的数据经过抽取、清洗转换之后加载到数据仓库的过程）接入大量其他***的数据并在***内进行密集的数据展现的业务***（如对公经营***群），考虑到上游数据的增长不可控性以及跑批进行大量DML操作，易出现表统计信息过旧、表空间容量故障、查询性能下降等问题。因此，本公开实施例提供了上述自动化表统计收集、自动化高水位处理、自动化索引碎片回收、存储过程展示、rename脚本生成、自动化生成SQLLoader 控制文件、自动化清理备份等自动化处理方案。
通过本公开实施例提供的方法，自动化的进行检测、预警、处理，实现了应用数据库的故障自愈，并且，上述过程减少了人工干预、提高了运维效率、缩短了故障恢复时长，确保了业务***的稳定性与可靠性。
图2为本公开提供的一种数据库的管理装置的结构示意图；如图2所示，所述装置包括：
第一处理模块，用于利用预设的第一自动化脚本，对数据库进行检测，获取所述数据库的指标数据集；
第二处理模块，用于利用预设的第二自动化脚本，从所述指标数据集中确定至少一个目标指标数据，将所述至少一个目标指标数据中每个目标指标数据与所述目标指标数据对应的阈值进行比较，得到比较结果；
第三处理模块，用于利用预设的第三自动化脚本，根据所述指标数据集和至少一个比较结果进行管理操作；所述管理操作包括：故障排除操作、安全预警操作、统计操作；
其中，所述指标数据集包括：时点指标数据集、历史指标数据集；
时点指标数据集包括以下至少之一：异常进程个数、进程被锁个数、表空间超阈值个数、表增长异常个数、应用用户回收站对象个数、高水位表个数、高碎片索引个数、修改用户下对象个数、表超规则未统计个数、表空间存放错乱个数、索引表空间存放错乱个数、索引失效个数；
所述历史指标数据集，包括以下至少之一：每日归档大小、每日表统计次数、目标SQL集合、前N个高水位表、服务器CPU使用情况、服务器内存使用情况、服务器文件***使用情况、绑定变量异常SQL个数；N大于等于1。
所述装置的具体工作流程可以参照前述方法实施例中的相关说明，不再赘述。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图3示出了可以用来实施本公开的实施例的示例电子设备300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图3所示，设备300包括计算单元301，其可以根据存储在只读存储器（ROM）302中的计算机程序或者从存储单元308加载到随机访问存储器（RAM）303中的计算机程序，来执行各种适当的动作和处理。在RAM 303中，还可存储设备300操作所需的各种程序和数据。计算单元301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出（I/O）接口305也连接至总线304。
设备300中的多个部件连接至I/O接口305，包括：输入单元306，例如键盘、鼠标等；输出单元307，例如各种类型的显示器、扬声器等；存储单元308，例如磁盘、光盘等；以及通信单元309，例如网卡、调制解调器、无线通信收发机等。通信单元309允许设备300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元301的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元301执行上文所描述的各个方法和处理，例如数据库的管理方法。例如，在一些实施例中，数据库的管理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元308。在一些实施例中，计算机程序的部分或者全部可以经由ROM 302和/或通信单元309而被载入和/或安装到设备300上。当计算机程序加载到RAM 303并由计算单元301执行时，可以执行上文描述的数据库的管理方法的一个或多个步骤。备选地，在其他实施例中，计算单元301可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行数据库的管理方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上***的***（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***（例如，作为数据服务器）、或者包括中间件部件的计算***（例如，应用服务器）、或者包括前端部件的计算***（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将***的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式***的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种数据库的管理方法，其特征在于，所述方法包括：
利用预设的第一自动化脚本，对数据库进行检测，获取所述数据库的指标数据集；
利用预设的第二自动化脚本，从所述指标数据集中确定至少一个目标指标数据，将所述至少一个目标指标数据中每个目标指标数据与所述目标指标数据对应的阈值进行比较，得到比较结果；
利用预设的第三自动化脚本，根据所述指标数据集和至少一个比较结果进行管理操作；所述管理操作包括：故障排除操作、安全预警操作、统计操作；
其中，所述指标数据集包括：时点指标数据集、历史指标数据集；
所述时点指标数据集包括以下至少之一：异常进程个数、进程被锁个数、表空间超阈值个数、表增长异常个数、应用用户回收站对象个数、高水位表个数、高碎片索引个数、修改用户下对象个数、表超规则未统计个数、表空间存放错乱个数、索引表空间存放错乱个数、索引失效个数；
所述历史指标数据集，包括以下至少之一：每日归档大小、每日表统计次数、目标结构化查询语言SQL集合、前N个高水位表、服务器中央处理器CPU使用情况、服务器内存使用情况、服务器文件***使用情况、绑定变量异常SQL个数；N大于等于1。
2.根据权利要求1所述的方法，其特征在于，所述从所述指标数据集中确定至少一个目标指标数据，将所述至少一个目标指标数据中每个目标指标数据与所述目标指标数据对应的阈值进行比较，得到比较结果；包括：
获取预设的至少一个预警指标，从所述指标数据集中确定每个预警指标对应的目标指标数据；
将每个预警指标对应的目标指标数据与所述预警指标对应的阈值进行比较，得到比较结果。
3.根据权利要求2所述的方法，其特征在于，所述预警指标包括：异常进程个数、进程被锁个数、表空间超阈值个数、表增长异常个数、应用用户回收站对象个数、高水位对象个数、高碎片索引个数、修改用户下对象个数、表超规则未统计个数、表空间存放错乱个数、索引表空间存放错乱个数、索引失效个数。
4.根据权利要求1所述的方法，其特征在于，所述统计操作包括：检测满足第一条件的表格的信息，其中，第一条件为：第一时长内表格中变动的数据超过预设第三阈值、且表格未被表统计；和/或，表格超过第二时长未被表统计；
所述安全预警操作，包括：
若比较结果表征目标指标数据超过预警指标对应的阈值，确定预警消息；将所述预警消息发送给目标设备，所述预警消息由所述目标设备呈现。
5.根据权利要求1所述的方法，其特征在于， 所述故障排除操作包括以下至少之一：
检测高水位表，自动化清理所述高水位表；
回收索引碎片；
清理满足备份清理条件的备份数据，其中，备份清理条件包括：备份数据的存储时长超过预设时长。
6.根据权利要求1所述的方法，其特征在于，所述对数据库进行检测，获取所述数据库的指标数据集，包括以下至少之一：
检测执行操作时存在异常的进程的个数，得到异常进程个数；
检测被锁导致无法执行读写操作的表格的个数，得到进程被锁个数；
检测表空间使用率占最大可扩展表空间的占比超过预设第一阈值的表格，作为表空间超阈值的表格；统计所述表空间超阈值的表格的个数，得到表空间超阈值个数；
检测实际占用空间增长异常的表格的个数，得到表增长异常个数；
检测应用用户在回收站中的表格的个数，得到应用用户回收站对象个数；
检测处于高水位状态的表格的个数，得到高水位表个数；
检测碎片化程度超过预设第二阈值的索引的个数，得到高碎片索引个数；
检测修改用户相关的表格的个数，得到修改用户下对象个数；
检测满足第一条件的表格的个数，得到表超规则未统计个数；其中，第一条件为：第一时长内表格中变动的数据超过预设第三阈值、且表格未被表统计；和/或，表格超过第二时长未被表统计；
检测存放在错误的表空间下的表格的个数，得到表空间存放错乱个数；
检测存放在错误的表空间下的索引的个数，得到索引表空间存放错乱个数；
检测失效索引的个数，得到索引失效个数。
7.根据权利要求1所述的方法，其特征在于，所述对数据库进行检测，获取所述数据库的指标数据集，包括以下至少之一：
检测第三时长内归档的表格的大小总和，得到每日归档大小；
检测第三时长内被做表统计的表格的总数，得到每日表统计次数；
确定耗时时长为前N个的SQL语句，得到目标SQL集合；
从处于高水位状态的表格中，确定高水位程度为前N个的表格，得到前N个高水位表；
确定CPU开销为前N个的SQL语句，得到目标SQL集合；
确定输入或输出I/O开销为前N个的SQL语句，得到目标SQL集合；
检测服务器运行的程序占用的CPU资源，得到服务器CPU使用情况；
检测服务器运行的程序占用的内存资源，得到服务器内存使用情况；
检测服务器的文件***使用率，得到服务器文件***使用情况；
检测绑定超过100个变量的SQL语句的个数，得到绑定变量异常SQL个数。
8.一种数据库的管理装置，其特征在于，所述装置包括：
第一处理模块，用于利用预设的第一自动化脚本，对数据库进行检测，获取所述数据库的指标数据集；
第二处理模块，用于利用预设的第二自动化脚本，从所述指标数据集中确定至少一个目标指标数据，将所述至少一个目标指标数据中每个目标指标数据与所述目标指标数据对应的阈值进行比较，得到比较结果；
第三处理模块，用于利用预设的第三自动化脚本，根据所述指标数据集和至少一个比较结果进行管理操作；所述管理操作包括：故障排除操作、安全预警操作、统计操作；
其中，所述指标数据集包括：时点指标数据集、历史指标数据集；
时点指标数据集包括以下至少之一：异常进程个数、进程被锁个数、表空间超阈值个数、表增长异常个数、应用用户回收站对象个数、高水位表个数、高碎片索引个数、修改用户下对象个数、表超规则未统计个数、表空间存放错乱个数、索引表空间存放错乱个数、索引失效个数；
所述历史指标数据集，包括以下至少之一：每日归档大小、每日表统计次数、目标SQL集合、前N个高水位表、服务器CPU使用情况、服务器内存使用情况、服务器文件***使用情况、绑定变量异常SQL个数；N大于等于1。
9. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其特征在于，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行根据权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311484873.XA CN117235051B (zh) | 2023-11-09 | 2023-11-09 | 一种数据库的管理方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311484873.XA CN117235051B (zh) | 2023-11-09 | 2023-11-09 | 一种数据库的管理方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117235051A true CN117235051A (zh) | 2023-12-15 |
| CN117235051B CN117235051B (zh) | 2024-02-02 |
Family
ID=89095038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311484873.XA Active CN117235051B (zh) | 2023-11-09 | 2023-11-09 | 一种数据库的管理方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117235051B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190323922A1 (en) * | 2018-04-19 | 2019-10-24 | Delphisonic, Inc. | Self-learning malfunction monitoring and early warning system |
| CN112101665A (zh) * | 2020-09-16 | 2020-12-18 | 珠海格力电器股份有限公司 | 故障检测预警方法、装置、存储介质及电子设备 |
| CN113138974A (zh) * | 2021-04-23 | 2021-07-20 | 建信金融科技有限责任公司 | 数据库合规检测的方法和装置 |
| CN115328733A (zh) * | 2022-08-15 | 2022-11-11 | 北京百度网讯科技有限公司 | 应用于业务***的告警方法、装置、电子设备及存储介质 |
| CN116049146A (zh) * | 2023-02-13 | 2023-05-02 | 北京优特捷信息技术有限公司 | 一种数据库故障处理方法、装置、设备及存储介质 |
-
2023
- 2023-11-09 CN CN202311484873.XA patent/CN117235051B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190323922A1 (en) * | 2018-04-19 | 2019-10-24 | Delphisonic, Inc. | Self-learning malfunction monitoring and early warning system |
| CN112101665A (zh) * | 2020-09-16 | 2020-12-18 | 珠海格力电器股份有限公司 | 故障检测预警方法、装置、存储介质及电子设备 |
| CN113138974A (zh) * | 2021-04-23 | 2021-07-20 | 建信金融科技有限责任公司 | 数据库合规检测的方法和装置 |
| CN115328733A (zh) * | 2022-08-15 | 2022-11-11 | 北京百度网讯科技有限公司 | 应用于业务***的告警方法、装置、电子设备及存储介质 |
| CN116049146A (zh) * | 2023-02-13 | 2023-05-02 | 北京优特捷信息技术有限公司 | 一种数据库故障处理方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 林波等, 仓储保管信息化数据库管理, pages 59 - 63 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117235051B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110708204B (zh) | 一种基于运维知识库的异常处理方法、***、终端及介质 | |
| US10558628B2 (en) | Removal of garbage data from a database | |
| CN104699807A (zh) | 一种oracle数据表空间的自动监控扩容方法 | |
| US20210049087A1 (en) | Data monitoring methods, apparatuses, electronic devices, and computer readable storage media | |
| WO2015009405A1 (en) | Systems and methods for filtering low utility value messages from system logs | |
| CN113590632B (zh) | 数据库索引创建方法、装置、设备及介质 | |
| EP3264291A1 (en) | Data block processing method and device | |
| US20140074832A1 (en) | Information lifecycle governance | |
| CN112825165A (zh) | 项目质量管理的方法和装置 | |
| CN111506271B (zh) | 数据段单元传输差异化管理方法和分布式块存储*** | |
| CN111858637B (zh) | 一种数据处理方法及装置 | |
| CN117235051B (zh) | 一种数据库的管理方法、装置、电子设备和存储介质 | |
| CN115315694A (zh) | 使用过滤查询从基于云的数据仓库高速缓存加载仪表板 | |
| US10713226B1 (en) | Managing data using archiving | |
| US10747438B1 (en) | Reporting using archived data | |
| CN109522349B (zh) | 跨类型数据计算及共享方法、***、设备 | |
| US20230113860A1 (en) | Proactive network application problem log analyzer | |
| CN110677271A (zh) | 基于elk的大数据告警方法、装置、设备及存储介质 | |
| CN114860690A (zh) | 数据迁移方法、装置、设备及存储介质 | |
| CN114817223A (zh) | 业务数据提取方法、装置、电子设备和存储介质 | |
| CN114049036A (zh) | 数据计算平台、方法、设备及存储介质 | |
| CN113760600A (zh) | 一种数据库备份方法、数据库还原方法和相关装置 | |
| CN111767299A (zh) | 数据库操作方法、装置、***、存储介质及电子设备 | |
| CN110955637A (zh) | 一种基于低内存实现超大文件的排序方法 | |
| CN111563020B (zh) | 内存监控方法及装置、计算机设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |