CN109815094B - 数据表的监控方法、装置、设备及计算机可读存储介质 - Google Patents
数据表的监控方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109815094B CN109815094B CN201910014121.4A CN201910014121A CN109815094B CN 109815094 B CN109815094 B CN 109815094B CN 201910014121 A CN201910014121 A CN 201910014121A CN 109815094 B CN109815094 B CN 109815094B
- Authority
- CN
- China
- Prior art keywords
- data table
- data
- cleaning
- abnormal
- difference value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种数据表的监控方法、装置、设备及计算机可读存储介质,所述方法包括:当检测到达预设时间间隔时,对预设数据库中各数据表在预设时间间隔内变化的数据总量和文件大小进行统计;将各数据表的数据总量以及文件大小分别和预设参考数据中的参考总量以及参考大小对比,生成各数据表的第一差值和第二差值;根据各第一差值和第二差值,判断在预设时间间隔内各数据表中是否存在异常数据表;将各数据表的数据总量、文件大小、第一差值和第二差值输出到预设监控界面显示,并在各数据表中存在异常数据表时,基于异常数据表生成并输出提示信息。本方案通过大数据处理技术对数据表中变化的数据量进行监控,提高了监控的准确率。
Description
技术领域
本发明主要涉及数据库技术领域,具体地说,涉及一种数据表的监控方法、装置、设备及计算机可读存储介质。
背景技术
数据库中包含多个存储有各种类型数据的数据表,数据库在运行过程中执行同步任务,会引起数据表中所存储数据的数据量变化;为了确保同步任务的正常执行,需要对数据量的变化进行监测,以防止数据表中数据的丢失。目前对数据量变化的监测,主要以运维人员人工查看的方式进行维护,这种监测方式所耗费的人力成本高,且准确率低,难以及时发现数据库中各数据的异常。
发明内容
本发明的主要目的是提供一种数据表的监控方法、装置、设备及计算机可读存储介质,旨在解决现有技术中对数据库中数据量的变化以人工的方式进行监控,导致人力成本高,准确率低的问题。
为实现上述目的,本发明提供一种数据表的监控方法,所述数据表的监控方法包括以下步骤:
当检测到达预设时间间隔时,对预设数据库中各数据表在所述预设时间间隔内变化的数据总量和文件大小进行统计;
将各所述数据表的所述数据总量以及所述文件大小分别和预设参考数据中的参考总量以及参考大小对比,生成各所述数据表的第一差值和第二差值;
根据各所述第一差值和所述第二差值,判断在所述预设时间间隔内各所述数据表中是否存在异常数据表;
将各所述数据表的所述数据总量、文件大小、第一差值和第二差值输出到预设监控界面显示,并在各所述数据表中存在异常数据表时,基于所述异常数据表生成并输出提示信息。
优选地,所述根据各所述第一差值和所述第二差值,判断在所述预设时间间隔内各所述数据表中是否存在异常数据表的步骤包括:
将各所述数据表的所述第一差值以及所述第二差值分别和第一预设区间对比以及第二预设区间对比,判断各所述数据表的所述第一差值以及所述第二差值是否分别在所述第一预设区间以及所述第二预设区间内;
若各所述数据表的所述第一差值以及所述第二差值分别在所述第一预设区间以及所述第二预设区间内,则判定在所述预设时间间隔内各所述数据表中不存在异常数据表;
若各所述数据表中存在目标数据表,则判定在所述预设时间间隔内各所述数据表中存在异常数据表,其中所述目标数据表的第一差值不在所述第一预设区间内,和/或所述目标数据表的第二差值不在所述第二预设区间内。
优选地,所述基于所述异常数据表生成并输出提示信息的步骤包括:
当所述异常数据表的第一差值不在所述第一预设区间,且所述异常数据表的第二差值在所述第二预设区间,则对所述异常数据表分配第一异常标识;
当所述异常数据表的第一差值在所述第一预设区间,且所述异常数据表的第二差值不在所述第二预设区间,则对所述异常数据表分配第二异常标识;
当所述异常数据表的第一差值和第二差值分别不在所述第一预设区间和所述第二预设区间,则对所述异常数据表分配第三异常标识;
将与所述第一异常标识、第二异常标识和第三异常标识对应的各异常数据表的异常信息生成提示信息,并将所述提示信息输出到所述预设监控界面。
优选地,所述当检测到达预设时间间隔时的步骤之前包括:
对各所述数据表的历史数据总量和历史文件大小进行采集,并根据各所述历史数据总量和所述历史文件大小的标识符,确定各所述历史数据总量和所述历史文件大小中的正常历史数据总量和正常历史文件大小;
分别对各所述正常历史数据总量和所述正常历史文件大小的项数进行统计,生成数据项数和文件项数;
对各所述正常历史数据总量进行累加,生成数据累加结果,并用所述数据累加结果和所述数据项数做比值,生成参考总量;
对各所述正常历史文件大小进行累加,生成大小累加结果,并用所述大小累加结果和所述文件项数做比值,生成参考大小;
将所述参考总量和所述参考大小形成预设参考数据,并对所述预设参考数据进行存储。
优选地,所述数据表的监控方法还包括步骤:
当监控到对各所述数据表的清理指令时,读取与所述清理指令对应的清理规则,并根据所述清理规则的规则类型,读取各所述数据表的表信息;
将各所述表信息和所述清理规则对比,确定各所述数据表中的待清理数据表;
根据所述清理规则,对所述待清理数据表进行清理操作。
优选地,所述将各所述表信息和所述清理规则对比,确定各所述数据表中的待清理数据表的步骤包括:
判断所述清理规则是否包括多项规则,若所述清理规则包括多项规则,则将各所述数据表的表信息和各所述清理规则对比,确定各所述表信息所对应的目标清理规则;
将对应相同所述目标清理规则的表信息划分到同一组类,并将各所述组类中表信息所对应的数据表确定为归属于相同清理规则的待清理数据表,以对各所述组类对应的待清理数据表基于各个清理规则进行清理;
若所述清理规则不包括多项规则,则将各所述表信息和所述清理规则对比,确定各所述表信息中满足所述清理规则的目标表信息,并将各所述目标表信息在各所述数据表中所对应的数据表确定为待清理数据表。
优选地,所述根据所述清理规则,对所述待清理数据表进行清理操作的步骤包括:
读取所述清理规则中的方式标识,并根据所述方式标识,确定所述清理规则的清理方式;
若所述清理方式为数据清理,则将所述待清理数据表中的数据进行清理;
若所述清理方式为框架删除,则将所述待清理数据表的表框架进行删除;
若所述清理方式为全清理,则对所述待清理数据表进行删除操作。
此外,为实现上述目的,本发明还提出一种数据表的监控装置,所述数据表的监控装置包括:
统计模块,用于当检测到达预设时间间隔时,对预设数据库中各数据表在所述预设时间间隔内变化的数据总量和文件大小进行统计;
对比模块,用于将各所述数据表的所述数据总量以及所述文件大小分别和预设参考数据中的参考总量以及参考大小对比,生成各所述数据表的第一差值和第二差值;
判断模块,用于根据各所述第一差值和所述第二差值,判断在所述预设时间间隔内各所述数据表中是否存在异常数据表;
显示模块,用于将各所述数据表的所述数据总量、文件大小、第一差值和第二差值输出到预设监控界面显示,并在各所述数据表中存在异常数据表时,基于所述异常数据表生成并输出提示信息。
此外,为实现上述目的,本发明还提出一种数据表的监控设备,所述数据表的监控设备包括:存储器、处理器、通信总线以及存储在所述存储器上的数据表的监控程序;
所述通信总线用于实现处理器和存储器之间的连接通信;
所述处理器用于执行所述数据表的监控程序,以实现以下步骤:
当检测到达预设时间间隔时,对预设数据库中各数据表在所述预设时间间隔内变化的数据总量和文件大小进行统计;
将各所述数据表的所述数据总量以及所述文件大小分别和预设参考数据中的参考总量以及参考大小对比,生成各所述数据表的第一差值和第二差值;
根据各所述第一差值和所述第二差值,判断在所述预设时间间隔内各所述数据表中是否存在异常数据表;
将各所述数据表的所述数据总量、文件大小、第一差值和第二差值输出到预设监控界面显示,并在各所述数据表中存在异常数据表时,基于所述异常数据表生成并输出提示信息。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者一个以上程序,所述一个或者一个以上程序可被一个或者一个以上的处理器执行以用于:
当检测到达预设时间间隔时,对预设数据库中各数据表在所述预设时间间隔内变化的数据总量和文件大小进行统计;
将各所述数据表的所述数据总量以及所述文件大小分别和预设参考数据中的参考总量以及参考大小对比,生成各所述数据表的第一差值和第二差值;
根据各所述第一差值和所述第二差值,判断在所述预设时间间隔内各所述数据表中是否存在异常数据表;
将各所述数据表的所述数据总量、文件大小、第一差值和第二差值输出到预设监控界面显示,并在各所述数据表中存在异常数据表时,基于所述异常数据表生成并输出提示信息。
本实施例的数据表的监控方法,对预设数据库中各数据表在预设时间间隔内变化的数据总量和文件大小进行统计,并分别将各数据表的数据总量以及文件大小和预设参考数据中的参考总量以及参考大小进行对比,生成各数据表的第一差值和第二差值;再依据各第一差值和第二差值,判断各数据表中是否存在异常数据表;而无论各数据表中是否存在异常数据表,均将各数据表的数据总量、文件大小、第一差值和第二差值数据输出到预设监控界面显示,以便于监控查看;同时对于异常数据表,则生成提示信息输出,以提醒预设数据库中存在数据量变化异常的异常数据表,便于对异常数据表及时维护。通过预先设置表征正常的参考总量和参考大小,并将统计得到的数量总量以及文件大小分别和该参考总量以及参考大小对比,以对数据表中数据量变化进行监控;避免了人工查看,节省了人工成本,且提高了监控的准确率。
附图说明
图1是本发明的数据表的监控方法第一实施例的流程示意图;
图2是本发明的数据表的监控装置第一实施例的功能模块示意图;
图3是本发明实施例方法涉及的硬件运行环境的设备结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种数据表的监控方法。
请参照图1,图1为本发明数据表的监控方法第一实施例的流程示意图。在本实施例中,所述数据表的监控方法包括:
步骤S10,当检测到达预设时间间隔时,对预设数据库中各数据表在所述预设时间间隔内变化的数据总量和文件大小进行统计;
本发明的数据表的监控方法应用于服务器,适用于通过服务器对数据库中的数据表进行监控;数据库中各类数据表所存储的数据会随着同步任务的执行而出现新增的数据,但新增的数据量在一定范围内变化;如存储客户信息的数据表,因每天新增客户的数量一定,使得对该数据表同步的数据量,即新增客户的数量呈一定规律变化;本实施例即为对该变化的数据量进行监控。具体地,预先设定对数据表中数据量进行检测的检测时间以及检测频率,如设定检测频率为一周一次,检测时间为每周一,将由该检测时间和检测频率所形成的时间间隔作为预设时间间隔;同时预定所需要进行监控的数据库,该数据库即为预设数据库。服务器检测当前时间是否到达该预设时间间隔,当检测到达该预设时间间隔时,则对预设数据库中各数据表在该预设时间间隔内所变化的数据总量以及文件大小进行统计;即统计在该预设时间间隔内,各数据表中所新增加数据的数据量以及因数据增加所引起的文件大小变化。
步骤S20,将各所述数据表的所述数据总量以及所述文件大小分别和预设参考数据中的参考总量以及参考大小对比,生成各所述数据表的第一差值和第二差值;
进一步地,为了表征数据总量以及文件大小的变化程度,预先对以往正常变化的数据总量以及文件大小进行采集,并将该正常变化的数据总量和文件大小形成预设参考数据,其中预设参考数据包括参考总量和参考大小。在经统计得到各数据表在预设时间间隔内所变化的数据总量和文件大小后,将各数据表的数据总量和预设参考数据中的参考总量对比,生成各数据表的第一差值,同时将各数据表的文件大小和预设参考数据中的参考大小对比,生成各数据表的第二差值;其中对比的过程为相减的过程,即用数据总量减去参考总量得到第一差值,用文件大小减去参考大小得到第二差值。通过相减所得到的各个第一差值和第二差值表征各个数据表在预设时间间隔内所变化的数据总量相对于参考总量的变化程度,以及各个数据表在预设时间间隔内所变化的文件大小相对于参考大小的变化程度。若所得到的第一差值越大,说明各个数据表在预设时间间隔内所变化的数据总量相对于参考总量的变化程度越大,预设时间间隔内的数据总量具有较大的波动性;反之则变化程度越小,预设时间间隔内的数据总量没有较大的波动性,而较为平稳。同样地若所得到的第二差值越大,说明各个数据表在预设时间间隔内所变化的文件大小相对于参考大小的变化程度越大,预设时间间隔内的文件大小具有较大的波动性;反之则变化程度越小,预设时间间隔内的文件大小没有较大的波动性,而较为平稳。
步骤S30,根据各所述第一差值和所述第二差值,判断在所述预设时间间隔内各所述数据表中是否存在异常数据表;
更进一步地,因各第一差值和第二差值分别表征了各数据表的数据总量与文件大小相对于正常变化值的变化情况,从而可依据该各个第一差值和第二差值,判断在预设时间间隔内各数据表中是否存在异常数据表;且该判断过程可依据预先设定表征变化程度在正常范围内的预设区间进行,具体地,根据各第一差值和第二差值,判断在预设时间间隔内各数据表中是否存在异常数据表的步骤包括:
步骤S31,将各所述数据表的所述第一差值以及所述第二差值分别和第一预设区间对比以及第二预设区间对比,判断各所述数据表的所述第一差值以及所述第二差值是否分别在所述第一预设区间以及所述第二预设区间内;
进一步地,预先设置表征数据总量相对于参考总量变化程度大小的第一预设区间,以及表征文件大小相对于参考大小变化程度的第二预设区间;将各数据表的第一差值和第一预设区间对比,判断各数据表的第一差值是否在第一预设区间内;同时将各数据表的第二差值和第二预设区间对比,判断各数据表的第二差值是否在第二预设区间内。
步骤S32,若各所述数据表的所述第一差值以及所述第二差值分别在所述第一预设区间以及所述第二预设区间内,则判定在所述预设时间间隔内各所述数据表中不存在异常数据表;
若经判断各数据表的第一差值在第一预设区间内,同时各数据表的第二差值在第二预设区间内,则说明各数据表在预设时间间隔内所变化的数据总量以及文件大小均为正常变化值,判定预设时间间隔内预设数据库中的各数据表均为正常数据表,不存在异常数据表。
步骤S33,若各所述数据表中存在目标数据表,则判定在所述预设时间间隔内各所述数据表中存在异常数据表,其中所述目标数据表的第一差值不在所述第一预设区间内,和/或所述目标数据表的第二差值不在所述第二预设区间内。
若经判断各所述数据表中存在某一数据表的第一差值不在第一预设区间内,或者存在某一数据表的第二差值不在第二预设区间内,还或者存在某一数据表的第一差值不在第一预设区间内,且其第二差值不在第二预设区间内;即各数据表中存在某一数据表的第一差值和第二差值的任意一项不在其对应的预设区间中,则将该数据表作为目标数据表;若预设数据库的各数据表中存在该目标数据表,则判定预设时间间隔内各数据表中存在数据量变化异常的数据表,即异常数据表。
步骤S40,将各所述数据表的所述数据总量、文件大小、第一差值和第二差值输出到预设监控界面显示,并在各所述数据表中存在异常数据表时,基于所述异常数据表生成并输出提示信息;
更进一步地,预先设置有与服务器进行通信连接的终端,终端中设置有对监控的数据进行显示的预设监控界面;在对当前预设时间间隔内预设数据库中各数据表的第一差值以及第二差值均和第一预设区间以及第二预设区间进行了对比之后,无论各数据表中是否存在异常数据表,将各个数据表的数据总量、文件大小、第一差值以及第二差值输出到预设监控界面进行显示,以便于通过查看预设监控界面直观的了解预设数据库中各数据表数据量在当前预设时间间隔内的变化情况。同时对于数据表中存在异常数据表的情况,则将该异常数据表的异常信息生成提示信息;如若异常数据表因其第一差值不在第一预设区间而异常,则基于其第一差值生成提示信息,而若异常数据表因其第二差值不在第二预设区间而异常,则基于其第二差值生成提示信息。将生成的提示信息输出到预设监控界面显示,同时以邮件的方式直接关联到运维人员,以便于运维人员对异常数据表中数据量变化异常的原因及时检测维护。
因数据表异常的原因至少涉及到第一差值不在第一预设区间,第二差值不在第二预设区间,以及第一差值不在第一预设区间、且第二差值不在第二预设区间三种;针对该三种情况所生成的提示信息具有差异性;具体地,基于异常数据表生成并输出提示信息的步骤包括:
步骤S41,当所述异常数据表的第一差值不在所述第一预设区间,且所述异常数据表的第二差值在所述第二预设区间,则对所述异常数据表分配第一异常标识;
当经对比判定预设数据库的各数据表中存在异常数据表,且该异常数据表的第一差值不在第一预设区间,而其第二差值在第二预设区间内,则说明该异常数据表异常的原因是其第一差值;即其在当前的预设时间间隔内变化的数据总量存在异常,将该类异常作为第一类异常,而对该异常数据表分配第一异常标识。
步骤S42,当所述异常数据表的第一差值在所述第一预设区间,且所述异常数据表的第二差值不在所述第二预设区间,则对所述异常数据表分配第二异常标识;
当经对比判定预设数据库的各数据表中存在异常数据表,且该异常数据表的第一差值在第一预设区间,而其第二差值不在第二预设区间内,则说明该异常数据表异常的原因是其第二差值;即其在当前的预设时间间隔内变化的文件大小存在异常,将该类异常作为第二类异常,而对该异常数据表分配第二异常标识。
步骤S43,当所述异常数据表的第一差值和第二差值分别不在所述第一预设区间和所述第二预设区间,则对所述异常数据表分配第三异常标识;
当经对比判定预设数据库的各数据表中存在异常数据表,且该异常数据表的第一差值不在第一预设区间,且其第二差值也不在第二预设区间内,则说明该异常数据表异常的原因由其第一差值和第二差值同时引起;即其在当前的预设时间间隔内变化的数据总量和文件大小均存在异常,将该类异常作为第三类异常,而对该异常数据表分配第三异常标识。
步骤S44,将与所述第一异常标识、第二异常标识和第三异常标识对应的各异常数据表的异常信息生成提示信息,并将所述提示信息输出到所述预设监控界面。
进一步地,读取各数据表中存在第一异常标识、第二异常标识和第三异常标识的异常数据表的异常信息,该异常信息至少包括异常的数据表名称和异常的原因,使得针对各异常数据表所生成的提示信息中包括数据表名称和异常原因;将该所生成的提示信息输出到预设监控界面显示,以便运维人员根据显示在提示信息中的数据表名称快速查找到异常的数据表;同时根据提示信息中的异常原因对异常数据表进行检测,快速定位异常点,实现对预设数据库中数据表的及时维护。
本实施例的数据表的监控方法,对预设数据库中各数据表在预设时间间隔内变化的数据总量和文件大小进行统计,并分别将各数据表的数据总量以及文件大小和预设参考数据中的参考总量以及参考大小进行对比,生成各数据表的第一差值和第二差值;再依据各第一差值和第二差值,判断各数据表中是否存在异常数据表;而无论各数据表中是否存在异常数据表,均将各数据表的数据总量、文件大小、第一差值和第二差值数据输出到预设监控界面显示,以便于监控查看;同时对于异常数据表,则生成提示信息输出,以提醒预设数据库中存在数据量变化异常的异常数据表,便于对异常数据表及时维护。通过预先设置表征正常的参考总量和参考大小,并将统计得到的数量总量以及文件大小分别和该参考总量以及参考大小对比,以对数据表中数据量变化进行监控;避免了人工查看,节省了人工成本,且提高了监控的准确率。
进一步地,在本发明数据表的监控方法另一实施例中,所述当检测到达预设时间间隔时的步骤之前包括:
步骤q1,对各所述数据表的历史数据总量和历史文件大小进行采集,并根据各所述历史数据总量和所述历史文件大小的标识符,确定各所述历史数据总量和所述历史文件大小中的正常历史数据总量和正常历史文件大小;
可理解地,预设数据库中各数据表以往预设时间间隔变化的数据总量以及文件大小也存在正常和异常两种情况,在采集以往预设时间间隔变化的数据总量和文件大小,形成预设参考数据的过程中,需要从其中筛选出正常变化的数据总量和文件大小。具体地,将各数据表在以往各次的预设时间间隔中所统计得到的数据总量和文件大小分别作为历史数据总量和历史文件大小,同时以往在对历史数据总量和历史文件大小的异常性判断过程中,会分配表征历史数据总量和历史文件大小正常或异常的标识符。在采集到各次预设时间间隔中所统计得到的历史数据总量和历史文件大小后,读取各个历史数据总量和各个历史文件大小中所携带的标识符,并根据标识符所表征的正常或异常性,确定其中的正常历史数据总量和正常历史文件大小;即将各历史数据总量和历史文件大小中携带有表征异常的标识符的历史数据总量和历史文件大小剔除,而将其中携带有表征正常的标识符的历史数据总量和历史文件大小作为正常历史数据总量和正常历史文件大小保留。
步骤q2,分别对各所述正常历史数据总量和所述正常历史文件大小的项数进行统计,生成数据项数和文件项数;
进一步地,在对采集的各历史数据总量和历史文件大小进行筛选后,所得到的正常历史数据总量和正常历史文件大小的项数不一样,其中项数表征的是以往各次预设时间间隔中具有正常历史数据总量的次数,以及具有正常历史文件大小的次数;对两者的项数分别进行统计,生成数据项数和文件项数。如对以往20次预设时间间隔中的历史数据总量和历史文件大小进行采集,经判断其中18次的历史数据总量正常,16次的历史文件大小正常,则所生成的数据项数和文件项数分别为18和16。
步骤q3,对各所述正常历史数据总量进行累加,生成数据累加结果,并用所述数据累加结果和所述数据项数做比值,生成参考总量;
更进一步地,对各次正常历史数据总量的数据值进行累加,生成数据累加结果;如3次正常历史数据总量分别为100KB、90KB和120KB,则累加所生成的数据累加结果为310KB。进而用所得到的数据累加结果和数据项数做比值,生成各次正常历史数据总量的平均值。该平均值表征了各次正常历史数据总量的平均变化量,将其作为参考总量,用于判定后续预设时间间隔中所统计得到的数据总量的正常性或异常性。
考虑到不同数据表中所存储的数据类型不相同,而不同类型的数据在各次预设时间间隔中的数据量变化情况不一样;如对访问请求进行拒绝的拒绝数,或表征任务请求失败的任务失败数,因引起拒绝或任务失败的原因众多,在各个预设时间间隔中的数据量变化情况不规律;而对于流水日志数据,则具有长时间内数据量变化不大,而短时间内浮动较小的特性,即在相邻的预设时间间隔之间的数据量变化情况不大,而在时间相隔较长的预设时间间隔之间的数据量变化情况较大;同时对于证券交易、保单成交等数据,则具有规律的周期性波动的特性。在将各正常历史数据总量生成参考总量时,可依据各类数据的特性进行,以使得所生成的参考总量更为准确。具体地,将表征请求结果状态的数据作为结果状态类型,而将流水日志数据作为日志类型,将交易或成交数据作为交易类型。在对各正常历史数据总量进行累加前,先对各正常历史数据总量进行分类;因正常历史数据总量来源于各个数据表,各个数据表所对应存储的数据类型即为各正常历史数据总量对应的数据类型;根据各正常历史数据总量所来源的数据表,对各正常历史数据总量进行分类,划分为结果状态类型、日志类型和交易类型。
在对各正常历史数据总量分类完成后,对各类型中所具有正常历史数据总量的项数进行统计,得到各类型的类型项数;再对各类型中所具有的正常历史数据总量进行累加,得到类型累加结果;进而用各类型的类型累加结果分别和各类型的类型项数做比值,生成各类型的参考总量。其中对于结果状态类型的正常历史数据总量,因其波动无规律,且正常值在一个较小的范围内波动,可将其参考总量设定为波动范围区间;在经比值操作生成参考总量后,将此类型中的各个正常历史数据总量和该参考总量对比,确定其中与参考总量之间具有最大差值的第一正常历史数据总量,以及参考总量与其中各正常历史数据总量之间具有最大差值的第二正常历史数据总量;将第一正常历史数据总量作为波动范围区间的上边界值,而将第二正常历史数据总量作为波动范围区间的下边界值,形成波动范围区间,并将该波动范围区间作为参考总量。同样的对于日志类型的正常历史数据总量和交易类型的正常历史数据总量,均依据其各自的特性生成参考总量,以确保对各数据表中数据总量异常性的判断更为准确。
此外,针对不同类型的正常历史数据总量,所设置的第一预设区间也不相同,均依据各自的特性进行设置。在对后续的预设时间间隔中所统计得到的数据总量进行对比时,同样的依据数据总量所对应的数据类型进行;如当数据总量对应的数据类型为结果状态类型时,则将其和作为参考总量的波动范围区间对比,生成第一差值,并将该第一差值和该数据类型所对应的第一预设区间进行对比,判定该数据总量所对应的数据表是否为异常数据表。
步骤q4,对各所述正常历史文件大小进行累加,生成大小累加结果,并用所述大小累加结果和所述文件项数做比值,生成参考大小;
步骤q5,将所述参考总量和所述参考大小形成预设参考数据,并对所述预设参考数据进行存储。
同样地,在用各正常历史文件大小生成参考大小的过程中,先对各次正常历史文件大小的数据值进行累加,生成大小累加结果;再用该所生成的大小累加结果和文件项数做比值,生成各次正常历史文件大小的平均值。该平均值表征了各次正常历史文件大小的平均变化量,将其作为参考大小,以用于判定后续预设时间间隔中所统计得到的文件大小的正常性或异常性。将所生成的参考总量和参考大小形成预设参考数据存储,以在后续对各数据表的数据总量和文件大小的判断过程中,读取该预设参考数据中的参考总量以及参考大小分别和各数据表的数据总量和文件大小进行对比。
进一步地,在本发明数据表的监控方法另一实施例中,所述数据表的监控方法还包括步骤:
步骤S50,当监控到对各所述数据表的清理指令时,读取与所述清理指令对应的清理规则,并根据所述清理规则的规则类型,读取各所述数据表的表信息;
更进一步地,考虑到预设数据库中数据表所存储的数据具有时效性,需要对各数据表设置清理机制。具体地,设定触发清理的清理时间,或者以人工触发指令的方式来触发对数据表的清理;将设定的清理时间作为预设时间,当检测到达预设时间或接收到触发指令时,表征有对数据表进行清理的需求,而将该到达预设时间的时机或接收到的触发指令作为清理指令,以触发对数据表进行清理操作。因预设数据库中所涉及的数据表众多,各数据表中具有不同类型的数据,也具有不同的表结构;对各数据表的清理可依据数据表中的数据内容进行,也可依据表结构中的内容进行,或者依据数据表的属性进行;如依据数据表的日期进行清理、依据数据表的表头格式进行清理、或者对备份属性的数据表进行清理等。将该各个清理依据作为清理规则,在设定清理时间或触发指令时,将所需求清理规则对应的标识符添加到清理时间或触发指令中。当监控到对各数据表的清理指令时,读取其中表征清理规则的标识符,以依据该标识符,确定与清理指令对应的清理规则,进而对各数据表中满足该清理规则的数据表进行清理操作。
因清理规则涉及到依据日期进行清理、依据表头格式进行清理、依据备份属性进行清理等各种清理类型,在依据清理指令中的标识符确定清理规则后,该清理规则所表征的清理类型即为规则类型;为了从各数据表中筛选出满足清理规则的数据表,对各数据表中与规则类型对应的表信息进行读取。如规则类型为依据表头格式进行清理,则读取的表信息为各数据表的表头;而当规则类型为依据日期进行清理,则读取的表信息为各数据表的生成日期或访问日期;当规则类型为依据备份属性进行清理,则读取的表信息为各数据表是否为备份数据表等。
步骤S60,将各所述表信息和所述清理规则对比,确定各所述数据表中的待清理数据表;
可理解地,清理规则在表征清理类型的同时,还表征清理依据的内容;如清理规则为依据日期进行清理,且对访问日期距离当前时间超过两年的数据表进行清理;则该清理类型为日期,而清理依据为访问日期距离当前时间超过两年。从各数据表读取的与规则类型对应的表信息为用于判断各数据表是否满足清理依据,即清理规则的信息;将各数据表的表信息和清理规则对比,确定其中满足清理规则的目标表信息,该目标表信息所来源的数据表即为所需要清理的待清理数据表。考虑到规则类型中可能涉及到多种规则类型,如对各数据表依据日期进行清理的同时,还依据备份属性进行清理,即将各数据表中满足日期要求的数据表,以及满足备份属性要求的数据表均作为待清理数据表进行清理。对该清理规则中涉及到多项清理规则的情况,因不同清理规则的清理方式可能存在差异性,而需要对对应不同清理规则的各待清理数据表进行分组处理;具体地,将各表信息和清理规则对比,确定各数据表中的待清理数据表的步骤包括:
步骤S61,判断所述清理规则是否包括多项规则,若所述清理规则包括多项规则,则将各所述数据表的表信息和各所述清理规则对比,确定各所述表信息所对应的目标清理规则;
进一步地,因清理规则由清理指令中的标识符进行确定,从而为了确定清理规则中是否涉及到多项规则;在读取到清理指令中的标识符时,对标识符的个数进行统计,以确定清理指令中是否涉及到多个标识符。通过确定清理指令中是否涉及到多个标识符,来判断规则类型是否包括多项规则;当清理指令中涉及到多个标识符,则说明所需求的清理规则为多种,即清理规则包括多项规则;而当清理指令中仅涉及到一个标识符,则说明所需求的清理规则为一种,即规则类型不包括多项规则。
当经判定出清理规则中包括多项规则时,则将各数据表的表信息和各清理规则对比,确定各表信息所对应的目标清理规则;在对比的过程中可依据在读取表信息时,所对应规则类型的清理规则进行,也可将数据表的各项表信息分别和各个清理规则进行对比。如在依据读取表信息所对应规则类型的清理规则进行对比时,若依据清理指令中的标识符所确定的清理规则包括A和B,而根据两者的规则类型所对应读取的表信息分别为a和b;则在对比时,因读取表信息a所对应规则类型的清理规则为A,而读取表信息b所对应规则类型的清理规则为B,从而将a和A进行对比,将b和B进行对比,以判断a是否满足A的要求,b是否满足B的要求。而在将数据表的各项表信息分别和各个清理规则进行对比时,则对于表信息a、b不依据其所对应的清理规则进行对比,而将a分别和A、B进行对比,同时将b分别和A、B进行对比,以判断a是否满足A或B的要求,以及b是否满足A或B的要求。
在各数据表的表信息均和各清理规则对比完成后,即可确定各数据表的表信息中满足各项清理规则要求的表信息,将各表信息所满足要求的各项清理规则作为与表信息所对应的目标清理规则;如对于上述表信息a、b,经对比确定a满足A的要求,b满足B的要求,则将清理规则A、B分别确定为表信息a、b所对应的目标清理规则。
步骤S62,将对应相同所述目标清理规则的表信息划分到同一组类,并将各所述组类中表信息所对应的数据表确定为归属于相同清理规则的待清理数据表,以对各所述组类对应的待清理数据表基于各个清理规则进行清理;
因相同清理规则的清理方式相同,在确定各标信息所对应的目标清理规则,表征各数据表所需求的清理方式后;将具有相同目标清理规则的表信息划分到同一组类,各组类中表信息所对应的数据表即为归属于相同清理规则的待清理数据表,以依据各组类所对应的目标清理规则对其中表信息所对应的各待清理数据表进行清理。如表信息w1、w2、w3、w4和w5所对应的目标清理规则分别为Q1、Q2、Q2、Q1、Q1,则将w1、w4和w5划分到同一组类,而将w2和w3划分到同一组类;进而用清理规则Q1对表信息w1、w4和w5所对应的待清理数据表进行清理,用清理规则Q2对表信息w2和w3所对应的待清理数据表进行清理;实现对预设数据库中各数据表以不同的清理规则进行清理,提高清理的效率。
步骤S63,若所述清理规则不包括多项规则,则将各所述表信息和所述清理规则对比,确定各所述表信息中满足所述清理规则的目标表信息,并将各所述目标表信息在各所述数据表中所对应的数据表确定为待清理数据表。
若经判断确定清理规则中不包括多项规则,则将各数据表的表信息和清理规则对比,确定各表信息中满足清理规则要求的目标表信息;如清理规则为对备份属性的数据表进行清理,从而将是否为备份属性的各表信息和该清理规则对比,确定其中为备份属性的表信息,该为备份属性的表信息即为目标表信息。各目标表属性所来源的数据表即为所需要清理的数据表,将该目标表信息对应的数据表确定为待清理数据表,以进行清理操作。
步骤S70,根据所述清理规则,对所述待清理数据表进行清理操作。
更进一步地,在从各数据表中确定所需要清理的待清理数据表,则依据清理规则,对各个待清理数据表进行清理操作。考虑到数据表包括数据和表框架两部分,针对该两部分,可在清理规则中设定不同的清理方式;即设定只对其中的数据进行清理、只对其中的表框架进行清理,或对两者均进行清理。设定可通过在清理规则中添加方式标识进行,使得在对待清理数据表依据清理规则进行清理时,需要结合清理规则中的方式标识进行;具体地,根据清理规则,对待清理数据表进行清理操作的步骤包括:
步骤S71,读取所述清理规则中的方式标识,并根据所述方式标识,确定所述清理规则的清理方式;
步骤S72,若所述清理方式为数据清理,则将所述待清理数据表中的数据进行清理;
步骤S73,若所述清理方式为框架删除,则将所述待清理数据表的表框架进行删除;
步骤S74,若所述清理方式为全清理,则对所述待清理数据表进行删除操作。
进一步地,在依据清理规则对待数据表进行清理操作前,先对清理规则中的方式标识进行读取,并依据方式标识所表征的清理方式,确定清理规则的清理方式。当方式标识表征对数据进行清理,即清理规则的清理方式为数据清理时,则对待清理数据表中的数据进行删除操作,而保留待清理数据表的表框架,后续可使用该表框架存放其他新数据。当方式标识表征对框架进行清理,即清理规则的清理方式为框架清理,则对待清理数据表中的表框架进行删除,而对待清理数据表中的数据以其他方式存储或放置到其他数据表中存储。当方式标识表征对待清理数据表进行清理,即清理规则的清理方式为全清理时,则将待清理数据表中的数据以及表框架同时进行删除操作;通过不同的清理方式,实现对各待清理数据表中的数据和/或表框架进行清理操作,满足不同的清理需求。
考虑到清理规则涉及到多项规则,待清理数据表与对应各项清理规则的表信息所形成的各组类对应,具有多个类型;针对该多个类型可设置不同的清理方式,即各项清理规则设定不同的清理规则。如对依据表头格式进行清理的清理规则所设置的清理方式为对数据进行删除,而对依据日期进行清理的清理规则所设置的清理方式为对数据和表框架同时进行删除等。通过对多项规则设定不同的清理方式,实现对不同类型的待清理数据表以不同的方式进行清理,满足清理方式的多样化需求。
此外,请参照图2,本发明提供一种数据表的监控装置,在本发明数据表的监控装置第一实施例中,所述数据表的监控装置包括:
统计模块10,用于当检测到达预设时间间隔时,对预设数据库中各数据表在所述预设时间间隔内变化的数据总量和文件大小进行统计;
对比模块20,用于将各所述数据表的所述数据总量以及所述文件大小分别和预设参考数据中的参考总量以及参考大小对比,生成各所述数据表的第一差值和第二差值;
判断模块30,用于根据各所述第一差值和所述第二差值,判断在所述预设时间间隔内各所述数据表中是否存在异常数据表;
显示模块40,用于将各所述数据表的所述数据总量、文件大小、第一差值和第二差值输出到预设监控界面显示,并在各所述数据表中存在异常数据表时,基于所述异常数据表生成并输出提示信息。
本实施例的数据表的监控装置,统计模块10对预设数据库中各数据表在预设时间间隔内变化的数据总量和文件大小进行统计,并由对比模块20分别将各数据表的数据总量以及文件大小和预设参考数据中的参考总量以及参考大小进行对比,生成各数据表的第一差值和第二差值;判断模块30再依据各第一差值和第二差值,判断各数据表中是否存在异常数据表;而无论各数据表中是否存在异常数据表,显示模块40均将各数据表的数据总量、文件大小、第一差值和第二差值数据输出到预设监控界面显示,以便于监控查看;同时对于异常数据表,则生成提示信息输出,以提醒预设数据库中存在数据量变化异常的异常数据表,便于对异常数据表及时维护。通过预先设置表征正常的参考总量和参考大小,并将统计得到的数量总量以及文件大小分别和该参考总量以及参考大小对比,以对数据表中数据量变化进行监控;避免了人工查看,节省了人工成本,且提高了监控的准确率。
进一步地,在本发明数据表的监控装置另一实施例中,所述判断模块还用于:
将各所述数据表的所述第一差值以及所述第二差值分别和第一预设区间对比以及第二预设区间对比,判断各所述数据表的所述第一差值以及所述第二差值是否分别在所述第一预设区间以及所述第二预设区间内;
若各所述数据表的所述第一差值以及所述第二差值分别在所述第一预设区间以及所述第二预设区间内,则判定在所述预设时间间隔内各所述数据表中不存在异常数据表;
若各所述数据表中存在目标数据表,则判定在所述预设时间间隔内各所述数据表中存在异常数据表,其中所述目标数据表的第一差值不在所述第一预设区间内,和/或所述目标数据表的第二差值不在所述第二预设区间内。
进一步地,在本发明数据表的监控装置另一实施例中,所述显示模块还用于:
当所述异常数据表的第一差值不在所述第一预设区间,且所述异常数据表的第二差值在所述第二预设区间,则对所述异常数据表分配第一异常标识;
当所述异常数据表的第一差值在所述第一预设区间,且所述异常数据表的第二差值不在所述第二预设区间,则对所述异常数据表分配第二异常标识;
当所述异常数据表的第一差值和第二差值分别不在所述第一预设区间和所述第二预设区间,则对所述异常数据表分配第三异常标识;
将与所述第一异常标识、第二异常标识和第三异常标识对应的各异常数据表的异常信息生成提示信息,并将所述提示信息输出到所述预设监控界面。
进一步地,在本发明数据表的监控装置另一实施例中,所述数据表的监控装置还包括:
采集模块,用于对各所述数据表的历史数据总量和历史文件大小进行采集,并根据各所述历史数据总量和所述历史文件大小的标识符,确定各所述历史数据总量和所述历史文件大小中的正常历史数据总量和正常历史文件大小;
生成模块,用于分别对各所述正常历史数据总量和所述正常历史文件大小的项数进行统计,生成数据项数和文件项数;
累加模块,用于对各所述正常历史数据总量进行累加,生成数据累加结果,并用所述数据累加结果和所述数据项数做比值,生成参考总量;
比值模块,用于对各所述正常历史文件大小进行累加,生成大小累加结果,并用所述大小累加结果和所述文件项数做比值,生成参考大小;
存储模块,用于将所述参考总量和所述参考大小形成预设参考数据,并对所述预设参考数据进行存储。
进一步地,在本发明数据表的监控装置另一实施例中,所述数据表的监控装置还包括:
读取模块,用于当监控到对各所述数据表的清理指令时,读取与所述清理指令对应的清理规则,并根据所述清理规则的规则类型,读取各所述数据表的表信息;
确定模块,用于将各所述表信息和所述清理规则对比,确定各所述数据表中的待清理数据表;
清理模块,用于根据所述清理规则,对所述待清理数据表进行清理操作。
进一步地,在本发明数据表的监控装置另一实施例中,所述确定模块还用于:
判断所述清理规则是否包括多项规则,若所述清理规则包括多项规则,则将各所述数据表的表信息和各所述清理规则对比,确定各所述表信息所对应的目标清理规则;
将对应相同所述目标清理规则的表信息划分到同一组类,并将各所述组类中表信息所对应的数据表确定为归属于相同清理规则的待清理数据表,以对各所述组类对应的待清理数据表基于各个清理规则进行清理;
若所述清理规则不包括多项规则,则将各所述表信息和所述清理规则对比,确定各所述表信息中满足所述清理规则的目标表信息,并将各所述目标表信息在各所述数据表中所对应的数据表确定为待清理数据表。
进一步地,在本发明数据表的监控装置另一实施例中,所述清理模块还用于:
读取所述清理规则中的方式标识,并根据所述方式标识,确定所述清理规则的清理方式;
若所述清理方式为数据清理,则将所述待清理数据表中的数据进行清理;
若所述清理方式为框架删除,则将所述待清理数据表的表框架进行删除;
若所述清理方式为全清理,则对所述待清理数据表进行删除操作。
其中,上述数据表的监控装置的各虚拟功能模块存储于图3所示数据表的监控设备的存储器1005中,处理器1001执行数据表的监控程序时,实现图2所示实施例中各个模块的功能。
参照图3,图3是本发明实施例方法涉及的硬件运行环境的设备结构示意图。
本发明实施例数据表的监控设备可以是PC(personal computer,个人计算机),也可以是智能手机、平板电脑、电子书阅读器、便携计算机等终端设备。
如图3所示,该数据表的监控设备可以包括:处理器1001,例如CPU(CentralProcessing Unit,中央处理器),存储器1005,通信总线1002。其中,通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM(random accessmemory,随机存取存储器),也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,该数据表的监控设备还可以包括用户接口、网络接口、摄像头、RF(RadioFrequency,射频)电路,传感器、音频电路、WiFi(Wireless Fidelity,无线宽带)模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解,图3中示出的数据表的监控设备结构并不构成对数据表的监控设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图3所示,作为一种计算机可读存储介质的存储器1005中可以包括操作***、网络通信模块以及数据表的监控程序。操作***是管理和控制数据表的监控设备硬件和软件资源的程序,支持数据表的监控程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信,以及与数据表的监控设备中其它硬件和软件之间通信。
在图3所示的数据表的监控设备中,处理器1001用于执行存储器1005中存储的数据表的监控程序,实现上述数据表的监控方法各实施例中的步骤。
本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者一个以上程序,所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述数据表的监控方法各实施例中的步骤。
还需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (9)
1.一种数据表的监控方法,其特征在于,所述数据表的监控方法包括以下步骤:
对各所述数据表的历史数据总量和历史文件大小进行采集,并根据各所述历史数据总量和所述历史文件大小的标识符,确定各所述历史数据总量和所述历史文件大小中的正常历史数据总量和正常历史文件大小;
分别对各所述正常历史数据总量和所述正常历史文件大小的项数进行统计,生成数据项数和文件项数;
对各所述正常历史数据总量进行累加,生成数据累加结果,并用所述数据累加结果和所述数据项数做比值,生成参考总量;
对各所述正常历史文件大小进行累加,生成大小累加结果,并用所述大小累加结果和所述文件项数做比值,生成参考大小;
将所述参考总量和所述参考大小形成预设参考数据,并对所述预设参考数据进行存储;
当检测到达预设时间间隔时,对预设数据库中各数据表在所述预设时间间隔内变化的数据总量和文件大小进行统计;
将各所述数据表的所述数据总量以及所述文件大小分别和预设参考数据中的参考总量以及参考大小对比,生成各所述数据表的第一差值和第二差值;
若各所述数据表中存在目标数据表,则判定在所述预设时间间隔内各所述数据表中存在异常数据表,其中所述目标数据表的第一差值不在第一预设区间内,和/或所述目标数据表的第二差值不在第二预设区间内;
将各所述数据表的所述数据总量、文件大小、第一差值和第二差值输出到预设监控界面显示,并在各所述数据表中存在异常数据表时,基于所述第一预设区间、所述第二预设区间以及所述异常数据表对应的第一差值和/或第二差值生成第一异常标识、第二异常标识或第三异常标识并输出与第一异常标识、第二异常标识或第三异常标识对应的异常提示信息;
读取清理指令中清理规则对应的规则类型,并根据所述规则类型读取各所述数据表的表信息;
判断所述清理规则是否包括多项规则,根据判断结果将各所述数据表的表信息和所述清理规则对比,根据对比结果完成对待清理数据表的清理。
2.如权利要求1所述的数据表的监控方法,其特征在于,所述根据各所述第一差值和所述第二差值,判断在所述预设时间间隔内各所述数据表中是否存在异常数据表的步骤包括:
将各所述数据表的所述第一差值以及所述第二差值分别和第一预设区间对比以及第二预设区间对比,判断各所述数据表的所述第一差值以及所述第二差值是否分别在所述第一预设区间以及所述第二预设区间内;
若各所述数据表的所述第一差值以及所述第二差值分别在所述第一预设区间以及所述第二预设区间内,则判定在所述预设时间间隔内各所述数据表中不存在异常数据表;
若各所述数据表中存在目标数据表,则判定在所述预设时间间隔内各所述数据表中存在异常数据表,其中所述目标数据表的第一差值不在所述第一预设区间内,和/或所述目标数据表的第二差值不在所述第二预设区间内。
3.如权利要求2所述的数据表的监控方法,其特征在于,所述基于所述异常数据表生成并输出提示信息的步骤包括:
当所述异常数据表的第一差值不在所述第一预设区间,且所述异常数据表的第二差值在所述第二预设区间,则对所述异常数据表分配第一异常标识;
当所述异常数据表的第一差值在所述第一预设区间,且所述异常数据表的第二差值不在所述第二预设区间,则对所述异常数据表分配第二异常标识;
当所述异常数据表的第一差值和第二差值分别不在所述第一预设区间和所述第二预设区间,则对所述异常数据表分配第三异常标识;
将与所述第一异常标识、第二异常标识和第三异常标识对应的各异常数据表的异常信息生成提示信息,并将所述提示信息输出到所述预设监控界面。
4.如权利要求1-3任一项所述的数据表的监控方法,其特征在于,所述数据表的监控方法还包括步骤:
当监控到对各所述数据表的清理指令时,读取与所述清理指令对应的清理规则,并根据所述清理规则的规则类型,读取各所述数据表的表信息;
将各所述表信息和所述清理规则对比,确定各所述数据表中的待清理数据表;
根据所述清理规则,对所述待清理数据表进行清理操作。
5.如权利要求4所述的数据表的监控方法,其特征在于,所述将各所述表信息和所述清理规则对比,确定各所述数据表中的待清理数据表的步骤包括:
判断所述清理规则是否包括多项规则,若所述清理规则包括多项规则,则将各所述数据表的表信息和各所述清理规则对比,确定各所述表信息所对应的目标清理规则;
将对应相同所述目标清理规则的表信息划分到同一组类,并将各所述组类中表信息所对应的数据表确定为归属于相同清理规则的待清理数据表,以对各所述组类对应的待清理数据表基于各个清理规则进行清理;
若所述清理规则不包括多项规则,则将各所述表信息和所述清理规则对比,确定各所述表信息中满足所述清理规则的目标表信息,并将各所述目标表信息在各所述数据表中所对应的数据表确定为待清理数据表。
6.如权利要求5所述的数据表的监控方法,其特征在于,所述根据所述清理规则,对所述待清理数据表进行清理操作的步骤包括:
读取所述清理规则中的方式标识,并根据所述方式标识,确定所述清理规则的清理方式;
若所述清理方式为数据清理,则将所述待清理数据表中的数据进行清理;
若所述清理方式为框架删除,则将所述待清理数据表的表框架进行删除;
若所述清理方式为全清理,则对所述待清理数据表进行删除操作。
7.一种数据表的监控装置,其特征在于,所述数据表的监控装置包括:
采集模块,用于对各所述数据表的历史数据总量和历史文件大小进行采集,并根据各所述历史数据总量和所述历史文件大小的标识符,确定各所述历史数据总量和所述历史文件大小中的正常历史数据总量和正常历史文件大小;
生成模块,用于分别对各所述正常历史数据总量和所述正常历史文件大小的项数进行统计,生成数据项数和文件项数;
累加模块,用于对各所述正常历史数据总量进行累加,生成数据累加结果,并用所述数据累加结果和所述数据项数做比值,生成参考总量;
比值模块,用于对各所述正常历史文件大小进行累加,生成大小累加结果,并用所述大小累加结果和所述文件项数做比值,生成参考大小;
存储模块,用于将所述参考总量和所述参考大小形成预设参考数据,并对所述预设参考数据进行存储;
统计模块,用于当检测到达预设时间间隔时,对预设数据库中各数据表在所述预设时间间隔内变化的数据总量和文件大小进行统计;
对比模块,用于将各所述数据表的所述数据总量以及所述文件大小分别和预设参考数据中的参考总量以及参考大小对比,生成各所述数据表的第一差值和第二差值;
判断模块,用于根若各所述数据表中存在目标数据表,则判定在所述预设时间间隔内各所述数据表中存在异常数据表,其中所述目标数据表的第一差值不在第一预设区间内,和/或所述目标数据表的第二差值不在第二预设区间内;
显示模块,用于将各所述数据表的所述数据总量、文件大小、第一差值和第二差值输出到预设监控界面显示,并在各所述数据表中存在异常数据表时,基于所述第一预设区间、所述第二预设区间以及所述异常数据表生成对应的第一差值和/或第二差值生成第一异常标识、第二异常标识或第三异常标识并输出与第一异常标识、第二异常标识或第三异常标识对应的异常提示信息;
读取模块,用于读取清理指令中清理规则对应的规则类型,并根据所述规则类型读取各所述数据表的表信息;
清理模块,用于判断所述清理规则是否包括多项规则,根据判断结果将各所述数据表的表信息和所述清理规则对比,根据对比结果完成对待清理数据表的清理。
8.一种数据表的监控设备,其特征在于,所述数据表的监控设备包括:存储器、处理器、通信总线以及存储在所述存储器上的数据表的监控程序;
所述通信总线用于实现处理器和存储器之间的连接通信;
所述处理器用于执行所述数据表的监控程序,以实现如权利要求1-6中任一项所述的数据表的监控方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据表的监控程序,所述数据表的监控程序被处理器执行时实现如权利要求1-6中任一项所述的数据表的监控方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910014121.4A CN109815094B (zh) | 2019-01-04 | 2019-01-04 | 数据表的监控方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910014121.4A CN109815094B (zh) | 2019-01-04 | 2019-01-04 | 数据表的监控方法、装置、设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109815094A CN109815094A (zh) | 2019-05-28 |
CN109815094B true CN109815094B (zh) | 2023-01-10 |
Family
ID=66604081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910014121.4A Active CN109815094B (zh) | 2019-01-04 | 2019-01-04 | 数据表的监控方法、装置、设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109815094B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112016867A (zh) * | 2019-06-03 | 2020-12-01 | 食亨(上海)科技服务有限公司 | 菜品状态监控方法及装置 |
CN110378793A (zh) * | 2019-06-17 | 2019-10-25 | 深圳壹账通智能科技有限公司 | 数据管理方法、装置、计算机设备和存储介质 |
CN110457349B (zh) * | 2019-07-02 | 2022-04-05 | 北京人人云图信息技术有限公司 | 信息流出的监控方法及监控装置 |
CN110309042A (zh) * | 2019-07-10 | 2019-10-08 | 西安点告网络科技有限公司 | 广告数据监控的方法和平台 |
CN110502545B (zh) * | 2019-08-15 | 2023-12-05 | 中国平安财产保险股份有限公司 | 数据存储方法、装置、设备及计算机可读存储介质 |
CN111324593A (zh) * | 2020-02-17 | 2020-06-23 | 广州虎牙科技有限公司 | 数据表检测方法、装置、电子设备和计算机可读存储介质 |
CN112085391B (zh) * | 2020-09-11 | 2024-02-27 | 山东钢铁集团日照有限公司 | 一种基于工艺规则的带钢生产过程数据特征值提取方法 |
CN112363886B (zh) * | 2020-11-10 | 2023-07-25 | 中国平安人寿保险股份有限公司 | 数据库监控方法、***、终端及存储介质 |
CN112688922B (zh) * | 2020-12-11 | 2024-07-12 | 深圳前海微众银行股份有限公司 | 数据传输方法、***、设备及介质 |
CN116795831B (zh) * | 2022-12-26 | 2024-06-28 | 慧之安信息技术股份有限公司 | 一种时序数据条目的数量维护方法及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103500221A (zh) * | 2013-10-15 | 2014-01-08 | 北京国双科技有限公司 | 分析服务数据库的监控方法和装置 |
CN107870981A (zh) * | 2017-09-30 | 2018-04-03 | 平安科技(深圳)有限公司 | 电子装置、数据表归档处理的方法及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10108622B2 (en) * | 2014-03-26 | 2018-10-23 | International Business Machines Corporation | Autonomic regulation of a volatile database table attribute |
-
2019
- 2019-01-04 CN CN201910014121.4A patent/CN109815094B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103500221A (zh) * | 2013-10-15 | 2014-01-08 | 北京国双科技有限公司 | 分析服务数据库的监控方法和装置 |
CN107870981A (zh) * | 2017-09-30 | 2018-04-03 | 平安科技(深圳)有限公司 | 电子装置、数据表归档处理的方法及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109815094A (zh) | 2019-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109815094B (zh) | 数据表的监控方法、装置、设备及计算机可读存储介质 | |
CN107391538B (zh) | 点击数据采集、处理和展示方法、装置、设备及存储介质 | |
CN109597685B (zh) | 任务分配方法、装置和服务器 | |
EP2490126B1 (en) | System operation management device, system operation management method, and program storage medium | |
CN106027328B (zh) | 一种基于应用容器部署的集群监控的方法及*** | |
CN109660380A (zh) | 服务器运行状态的监控方法、平台、***及可读存储介质 | |
CN112311617A (zh) | 一种配置化数据监控告警方法及*** | |
CN106844165A (zh) | 告警方法及装置 | |
CN111538563A (zh) | 一种对Kubernetes的事件分析方法及装置 | |
CN114443429B (zh) | 一种告警事件的处理方法、装置及计算机可读存储介质 | |
CN111984896A (zh) | 埋点数据采集方法、装置、计算机设备及可读存储介质 | |
CN111625418A (zh) | 一种进程监控方法及装置 | |
CN103024786B (zh) | 一种资源管理方法和*** | |
CN109670932B (zh) | 信贷数据核算方法、装置、***和计算机存储介质 | |
JP2011065337A (ja) | トレーサビリティシステムおよび製造工程異常検出方法 | |
JPWO2014021069A1 (ja) | トラフィックデータ収集装置、トラフィックデータ収集方法、及びプログラム | |
CN110599321B (zh) | 税务数据处理方法、装置、服务器及存储介质 | |
CN110928942A (zh) | 指标数据监控管理方法及装置 | |
CN110932935A (zh) | 资源控制方法、装置、设备及计算机存储介质 | |
CN110389876A (zh) | 基础资源容量监管方法、装置、设备及存储介质 | |
CN111143325A (zh) | 一种数据采集的监测方法、监测装置及可读存储介质 | |
CN106681894B (zh) | 智能设备的监控方法和监控装置 | |
CN115914064A (zh) | 网络***服务性能评估方法、装置、计算设备和存储介质 | |
CN110502404B (zh) | 一种基于数据治理平台的预警处理方法及相关设备 | |
CN109508356B (zh) | 数据异常预警方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |