CN107220301A - 一种可配置化的数据监控方法及装置 - Google Patents

一种可配置化的数据监控方法及装置 Download PDF

Info

Publication number
CN107220301A
CN107220301A CN201710324120.0A CN201710324120A CN107220301A CN 107220301 A CN107220301 A CN 107220301A CN 201710324120 A CN201710324120 A CN 201710324120A CN 107220301 A CN107220301 A CN 107220301A
Authority
CN
China
Prior art keywords
information
monitoring
configuration text
monitor task
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710324120.0A
Other languages
English (en)
Inventor
王贺冬
龚廖安
曾春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaodu Information Technology Co Ltd
Original Assignee
Beijing Xiaodu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaodu Information Technology Co Ltd filed Critical Beijing Xiaodu Information Technology Co Ltd
Priority to CN201710324120.0A priority Critical patent/CN107220301A/zh
Publication of CN107220301A publication Critical patent/CN107220301A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3089Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80Database-specific techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例提供一种可配置化的数据监控方法及装置,涉及计算机应用技术领域。其中,该方法包括:根据获取的监控任务信息生成监控任务配置文本;根据所述监控任务配置文本生成监控执行指令;根据所述监控执行指令监控数据库中的待监控的表信息。本发明实施例提供的技术方案实现了数据监控的可配置化操作,避免了监控代码的重复开发,节省了数据监控的成本,并且本方法操作简单,更加方便用户使用。

Description

一种可配置化的数据监控方法及装置
技术领域
本发明实施例涉及计算机应用技术领域,尤其涉及一种可配置化的数据监控方法及装置。
背景技术
随着信息时代的发展,数据应用场景不断增多,数据量大幅提高,数据产生的影响力越来越大,数据的质量也越来越关键。
在数据生成过程中,经常出现一些影响数据正常使用的问题,如上下游表结构不一致导致数据同步失败、上游数据的异常导致下游生成的数据不准确。因此,有必要对数据进行监控,提升数据的质量。
现有的数据监控方法是,针对每一个监控任务需要预先编写好完整的代码,该预先编写的代码只适用于一个监控任务。而对于新的监控任务,则需要开发人员重新编写代码。利用现有数据监控方法生成的监控工具针对的应用场景少,不具有通用性。建立新的监控任务意味着编写新的代码,这样开发任务量大,开发成本比较高,而且不利于统一的管理。
发明内容
本发明实施例提供一种可配置化的数据监控方法及装置,用以解决现有技术的数据监控方法开发任务量大,开发成本比较高,而且不利于统一的管理的问题。
第一方面,本发明实施例中提供了一种可配置化的数据监控方法,包括:
根据获取的监控任务信息生成监控任务配置文本;
根据所述监控任务配置文本生成监控执行指令;
根据所述监控执行指令监控数据库中的待监控的表信息。
第二方面,本发明实施例提供了一种可配置化的数据监控装置,包括:
监控任务配置文本生成模块,用于根据获取的监控任务信息生成监控任务配置文本;
监控执行指令生成模块,用于根据所述监控任务配置文本生成监控执行指令;
数据库监控模块,用于根据所述监控执行指令监控数据库中的待监控的表信息。
本发明实施例通过根据获取的监控任务信息生成监控任务配置文本,根据监控任务配置文本生成监控执行指令,再根据监控执行指令监控数据库中的表信息,实现了数据监控的可配置化操作,避免了监控代码的重复开发,节省了数据监控的成本,并且本方法操作简单,更加方便用户使用。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提供的一种可配置化的数据监控方法的流程图;
图2示出了用于设置监控任务信息的表单;
图3示出了本发明实施例提供的另一种可配置化的数据监控方法的流程图;
图4示出了本发明实施例提供的一种可配置化的数据监控装置的框图;
图5示出了本发明实施例提供的一种服务器的框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1,示出了本发明实施例提供的一种可配置化的数据监控方法的流程图,该方法可以具体包括如下步骤。
步骤101,根据获取的监控任务信息生成监控任务配置文本。
在步骤101之前,可以包括:获取用户在网页页面上设置的监控任务信息。
优选地,用户可以通过在网页页面上填写或选取相应的参数来设置监控任务信息,即使用户不会编写程序代码,也能够根据自己的需求设置与监控任务相关的参数,从而更加方便用户使用。
图2示出了用于设置监控任务信息的表单。如图2所示,可以通过在Web网页页面上填写表单的方式设置监控任务信息,然后***获取该监控任务信息,并将该控任务信息以监控任务配置文本的形式保存在***中,用于运行监控任务时调取该监控任务配置文本。
需要说明的是,图2所示的表单只为示例性说明,其中所示的表单并不是实现本发明实施例的全部表单。
监控任务配置文本可以包括触发方式配置文本和监控执行配置文本。监控执行配置文本可以包括数据库配置文本、监控规则配置文本和报警配置文本。
具体地,步骤101具体可以包括如下步骤:
步骤11,根据获取的监控触发方式信息,生成触发方式配置文本。
在本发明实施例中,触发方式配置文本定义的信息可以包括监控触发类型和监控触发时间。
监控触发类型可以包括:crontab触发、定时触发和API(Application ProgramInterface,应用程序接口)触发。
crontab触发依赖于Linux***的crontab命令,可以通过设置一个时间表达式,周期性地运行监控任务。
定时触发是通过设置一个时间,这样每天到了该时间,监控任务就能够自动运行。
crontab触发和定时触发都需要预先设置好监控触发时间。
API触发是不同于上面两种方式的被动触发,API触发是一种主动触发,使用更加灵活。它主要用于提供给其它应用程序调用和集成,不需要设置监控触发时间,属于即时调用运行任务。
步骤12,根据获取的待监控的数据库的信息,生成数据库配置文本。
数据库配置文本用于管理需要连接的数据库的信息,其定义的信息可以包括:数据库类型、数据库名称、IP地址、端口号、登录名和登录密码中的一种或多种。
数据库类型用于在连接数据库时选择相应的数据库驱动程序。
步骤13,根据获取的针对所述表信息设置的监控规则信息,生成监控规则配置文本。
本发明实施例可以对数据库中的表信息进行监控。表信息具体可以包括表结构信息和表字段信息。对应地,监控规则配置文本可以包括表结构监控规则配置文本和表字段监控规则配置文本。
表结构监控规则配置文本定义的信息可以包括:监控规则名称、库名和表名中的一种或多种。
该表名支持多个表的监控,以“;”进行分割,***内部可以循环遍历每个表结构分别进行处理。
表结构监控规则包括同一数据库中的自表结构监控和跨引擎的不同数据库中的异表结构监控。自表结构监控对应的表结构监控规则配置文本定义一个表名即可,异表结构监控对应的表结构监控规则配置文本需定义至少两个表名。
表字段监控规则配置文本定义的信息可以包括:监控规则名称、库名、表名、监控指标、比较类型、报警触发下限、报警触发上限、查询条件、时间字段、分组字段和监控时间偏移中的一种或多中。
其中,监控指标可以用于定义监控的具体表字段名称;
比较类型可以用于定义数据比较的方法,例如数值比较或环比比较,环比比较又包括日环比(今天和昨天的数据进行比较)、周环比(今天和7天前的数据进行比较)等等;
报警触发下限和报警触发上限可以用于定义阈值,当查询结果不在阈值下限和阈值上限之间,则会触发报警;
查询条件可以用于定义数据筛选条件;
监控时间偏移可以用于定义当前查询得到的数据是当前数据,还是昨天的数据亦或前天的数据;
时间字段可以用于定义数据筛选时间;
分组字段可以用于定义对某个维度进行定义。例如按城市维度分组,则以某个城市为单位进行数据监控。
表字段监控规则配置文本中的比较类型包括数值比较和环比比较。数值比较对应的表字段监控规则配置文本分别定义一个库名和表名即可,环比比较对应的表字段监控规则配置文本需分别定义至少两个库名和表名。
在创建监控相关配置信息时,通过选取监控规则的名称,即可调取相应的监控规则配置文本,进而通过监控规则配置文本中的具体规则查询待监控的表信息,并进行比较运算。所以,如果需要改变监控规则配置文本中的具体规则时,只需改变监控规则配置文本对应的信息即可,无需改变监控相关配置信息,操作更加方便。
步骤14,根据获取的报警信息,生成报警配置文本。
报警配置文本定义的信息可以包括:报警级别、报警组名称、报警类型、报警内容中的一种或多种。
报警组配置信息主要用来分组批量管理报警通知人员,联系方式包括邮件、手机号、聊天工具等。将相同业务的人员分配到同一个组内,形成一个报警组,当监控触发报警时,该组内的人员均可收到报警通知,报警组内的任何人员都可以对产生报警的监控数据进行处理和恢复。
报警配置文本中的报警组名称关联报警组配置文本的信息,报警组配置文本定义的信息可以包括:报警组名称、发送邮箱、抄送邮箱、用于获取短信的号码和聊天工具的成员账号。聊天工具可以包括微信、QQ或***组建的聊天工具。
报警配置文本中的报警组信息可以关联报警组配置信息,在报警配置文本中通过添加报警组的名称,即可调用报警组配置信息中相关的报警组具体信息。所以,当有新的人员加入业务时,只需要将该人员加入到报警组内,而无需修改报警配置文本和其他配置文本。报警组配置可以在不同的监控任务中重复使用。
其中每项信息中可以设置多条信息,如发送邮箱的信息中可以设置多个邮箱号,并用“;”隔开。
步骤102,根据所述监控任务配置文本生成监控执行指令。
在本发明实施例的一种优选示例中,步骤102可以具体包括如下步骤:
步骤21,根据所述触发方式配置文本,触发监控任务命令。
该触发方式配置文本还包括该监控任务命令对应的链接地址,打开该链接即可运行该监控任务命令。
步骤22,根据所述监控任务命令调取所述数据库配置文本和所述监控规则配置文本。
运行该监控任务命令后,可以根据一个ID号调取监控任务对应的其他具体的监控任务配置文本,如数据库配置文本和所述监控规则配置文本。
根据所述监控任务命令还可以调取报警配置文本,用于生成报警指令。
步骤23,根据调取的数据库配置文本生成连接指令。
步骤24,根据调取的监控规则配置文本生成查询指令。
在具体实现中,可以根据监控规则配置文本的表名、字段名、查询条件、分组字段和监控时间偏移拼装成一条SQL指令。拼装成一条SQL指令可以形如:select字段1,字段2,字段n from库名.表名where查询条件group by分组字段。利用该SQL指令可以查询数据库中的待监控的表信息。
步骤24,根据监控规则配置文本生成判断指令。
该监控执行指令至少包括连接指令、查询指令和判断指令,以完成监控任务。
步骤103,根据所述监控执行指令监控数据库中的待监控的表信息。
本发明实施例通过根据获取的监控任务信息生成监控任务配置文本,根据监控任务配置文本生成监控执行指令,再根据监控执行指令监控数据库中的表信息,实现了数据监控的可配置化操作,避免了监控代码的重复开发,节省了数据监控的成本,并且本方法操作简单,更加方便用户使用。
参照图3,示出了本发明实施例提供的另一种可配置化的数据监控方法的流程图。图3所示的实施例为基于图1中步骤103细化的实施例,所以与图1相同的内容可参见图1所示的实施例。图3所示方法具体可以包括以下步骤。
步骤301,根据所述数据库配置文本生成的连接指令,连接待监控的数据库。
步骤302,根据所述监控规则配置文本生成的查询指令,查询所述数据库中待监控的表信息。
待监控的表信息包括表结构信息和表字段信息。
表结构信息包括表中所有的字段的名称和类型,当表中字段的名称和类型发生变化或不一致时,则表明表结构信息发生了异常。对表结构信息的监控方式包括:同一数据库的自表结构比较和不同引擎的数据库的异表结构比较。
步骤303,根据所述监控规则配置文本生成的判断指令,判断查询到的所述表信息是否出现异常。
步骤303具体可以包括:
步骤31,若所查询到的所述表信息为表结构信息,则执行:
①若查询到的所述表结构信息为自表结构信息,则对比当前查询结果与第一次的查询结果,以判断所述表结构信息是否出现异常。
对于同一数据库的自表结构比较,如果是第一次查询,直接保存第一次查询结果;以后每次查询时,分别获取当前的查询结果和上一次保存的查询结果,然后将两次查询结果循环遍历进行比较。如果发现两个查询结果中的字段的名称和类型不完全一致,则说明当前表结构信息出现异常。并将出现异常的字段信息包含在报警信息中发送给报警组。
②若查询到所述表结构信息为不同数据库中的异表结构信息,则将查询得到的异表结构信息转换为同一类型的信息,以进行相互比较,判断所述表结构信息是否出现异常。
对于跨引擎的数据库的异表结构,他们的表结构的类型通常不一致,所以在进行比较时,需要通过类型映射表将不同的表结构信息转换为同一类型的表结构信息,然后再进行循环遍历比较。如果比较结果不完全一致,则说明当前表结构信息出现异常。并将出现异常的字段信息包含在报警信息中发送给报警组。
步骤32,若查询到的表信息为表字段信息,则执行:
①若进行数值比较,则将查询结果与阈值进行对比,以判断所述表字段信息是否出现异常;
在具体实现中,如果表字段信息有分组,查询结果为一组数值,需要进行循环遍历比较。将查询结果与阈值进行比较,该阈值为监控规则配置文本中的报警触发下限和报警触发上限设定的。若查询结果不在阈值范围内,则表明该表字段信息发生了异常。
②若进行环比比较,则将不同时间上的查询结果进行比较运算,以判断所述表字段信息是否出现异常。
在具体实现中,在进行环比比较时,会得到两个查询结果,如有分组,查询结果为两组数据,需要进行循环遍历比较。在对两个查询结果进行比较时,先进行比值运算,例如,进行日环比时,将今天的查询结果除以昨天的查询结果。再将比值运算的结果与阈值进行比较,该阈值为监控规则配置文本中的报警触发下限和报警触发上限设定的阈值。
若比值运算的结果不在阈值范围内,则表明该表字段信息发生了异常。
步骤304,若查询到的所述表信息出现异常,则根据所述报警配置文本生成的报警指令,生成报警通知。
在具体实现中,可以通过结合监控任务命令和监控执行配置文本中的信息,来实现对数据库中的待监控的表信息的监控。
本发明实施例通过根据监控任务配置文本生成监控执行指令,再根据监控执行指令监控数据库中的表信息,实现了数据监控的可配置化操作,避免了监控代码的重复开发,节省了数据监控的成本,并且本方法操作简单,更加方便用户使用。
参照图4,示出了本发明实施例提供的一种可配置化的数据监控装置的框图,该装置具体可以包括:
获取模块401,用于获取用户在网页页面上设置的监控任务信息。
监控任务配置文本生成模块402,用于根据获取的监控任务信息生成监控任务配置文本。
在本发明实施例的一种优选示例中,监控任务配置文本生成模块402具体可以包括:
触发方式配置文本生成单元,用于根据获取的监控触发方式信息,生成触发方式配置文本;
数据库配置文本生成单元,用于根据获取的待监控的数据库的信息,生成数据库配置文本;
监控规则配置文本生成单元,用于根据获取的针对所述表信息设置的监控规则信息,生成监控规则配置文本;
报警配置文本生成单元,用于根据获取的报警信息,生成报警配置文本。
监控执行指令生成模块403,用于根据所述监控任务配置文本生成监控执行指令。
在本发明实施例的一种优选示例中,监控执行指令生成模块403具体可以包括:
监控任务命令触发单元,用于根据所述触发方式配置文本,触发监控任务命令;
调取单元,用于根据所述监控任务命令调取所述数据库配置文本和所述监控规则配置文本;
连接指令生成单元,用于根据调取的所述数据库配置文本生成连接指令;
查询指令和判断指令生成单元,用于根据调取的所述监控规则配置文本生成查询指令和判断指令。
数据库监控模块404,用于根据所述监控执行指令监控数据库中的待监控的表信息。
在本发明实施例的一种优选示例中,数据库监控模块404具体可以包括:
连接单元,用于根据所述数据库配置文本生成的连接指令,连接所述待监控的数据库。
查询单元,用于根据所述监控规则配置文本生成的查询指令,查询所述数据库中待监控的表信息。
判断单元,用于根据所述监控规则配置文本生成的判断指令,判断查询到的所述表信息是否出现异常。
该判断单元具体可以包括:
第一判断子单元,用于若查询到的所述表结构信息为自表结构信息,则对比当前查询结果与第一次的查询结果,以判断所述表结构信息是否出现异常;
第二判断子单元,用于若查询到所述表结构信息为不同数据库中的异表结构信息,则将查询得到的异表结构信息转换为同一类型的信息,以进行相互比较,判断所述表结构信息是否出现异常;
第三判断子单元,用于若查询到的表信息为表字段信息,且进行数值比较,则将查询结果与阈值进行对比,以判断所述表字段信息是否出现异常;
第四判断子单元,用于若查询到的表信息为表字段信息,且进行环比比较,则将不同时间上的查询结果进行比较运算,以判断所述表字段信息是否出现异常。
报警通知生成单元,用于若查询到的所述表信息出现异常,则根据所述报警配置文本生成的报警指令,生成报警通知。
本发明实施例实现了数据监控的可配置化操作,避免了监控代码的重复开发,节省了数据监控的成本,并且本方法操作简单,更加方便用户使用。
参照图5,示出了本发明实施例提供的一种服务器的框图,该服务器具体可以包括:
处理器501;以及
存储器502,用于存储实现可配置化的数据监控方法的程序,该设备通电并通过所述处理器501运行该可配置化的数据监控方法的程序后,执行下述步骤:
根据获取的监控任务信息生成监控任务配置文本;
根据所述监控任务配置文本生成监控执行指令;
根据所述监控执行指令监控数据库中的待监控的表信息。
本发明实施例还提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条计算机指令,所述计算机指令被执行时实现图1所示的实施例和图2所示的实施例中的可配置化的数据监控方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
本发明公开A1、一种可配置化的数据监控方法,包括:
根据获取的监控任务信息生成监控任务配置文本;
根据所述监控任务配置文本生成监控执行指令;
根据所述监控执行指令监控数据库中的待监控的表信息。
A2、如A1所述的方法中,所述根据获取的监控任务信息生成监控任务配置文本的步骤之前,包括:
获取用户在网页页面上设置的监控任务信息。
A3、如根据A2所述的方法中,所述根据获取的监控任务信息生成监控任务配置文本的步骤,包括:
根据获取的监控触发方式信息,生成触发方式配置文本;
根据获取的待监控的数据库的信息,生成数据库配置文本;
根据获取的针对所述表信息设置的监控规则信息,生成监控规则配置文本;
根据获取的报警信息,生成报警配置文本。
A4、如A3所述的方法中,根据所述监控任务配置文本生成监控执行指令的步骤,包括:
根据所述触发方式配置文本,触发监控任务命令;
根据所述监控任务命令调取所述数据库配置文本和所述监控规则配置文本;
根据调取的所述数据库配置文本生成连接指令;
根据调取的所述监控规则配置文本生成查询指令和判断指令。
A5、如A3所述的方法中,根据所述监控执行指令监控数据库中的待监控的表信息的步骤包括:
根据所述数据库配置文本生成的连接指令,连接所述待监控的数据库;
根据所述监控规则配置文本生成的查询指令,查询所述数据库中待监控的表信息;
根据所述监控规则配置文本生成的判断指令,判断查询到的所述表信息是否出现异常;
若查询到的所述表信息出现异常,则根据所述报警配置文本生成的报警指令,生成报警通知。
A6、如A5所述的方法中,判断查询到的所述表信息是否出现异常的步骤,包括:
若所查询到的所述表信息为表结构信息,则执行:
若查询到的所述表结构信息为自表结构信息,则对比当前查询结果与第一次的查询结果,以判断所述表结构信息是否出现异常;
若查询到所述表结构信息为不同数据库中的异表结构信息,则将查询得到的异表结构信息转换为同一类型的信息,以进行相互比较,判断所述表结构信息是否出现异常。
A7、如A5所述的方法中,判断查询到的所述表信息是否出现异常的步骤,还包括:
若查询到的表信息为表字段信息,且进行数值比较,则将查询结果与阈值进行对比,以判断所述表字段信息是否出现异常;
若查询到的表信息为表字段信息,且进行环比比较,则将不同时间上的查询结果进行比较运算,以判断所述表字段信息是否出现异常。
本发明还公布了B8、一种可配置化的数据监控装置,包括:
监控任务配置文本生成模块,用于根据获取的监控任务信息生成监控任务配置文本;
监控执行指令生成模块,用于根据所述监控任务配置文本生成监控执行指令;
数据库监控模块,用于根据所述监控执行指令监控数据库中的待监控的表信息。
B9、如B8所述的装置中,所述装置还包括:
获取模块,用于获取用户在网页页面上设置的监控任务信息。
B10、如B9所述的装置中,所述监控任务配置文本生成模块包括:
触发方式配置文本生成单元,用于根据获取的监控触发方式信息,生成触发方式配置文本;
数据库配置文本生成单元,用于根据获取的待监控的数据库的信息,生成数据库配置文本;
监控规则配置文本生成单元,用于根据获取的针对所述表信息设置的监控规则信息,生成监控规则配置文本;
报警配置文本生成单元,用于根据获取的报警信息,生成报警配置文本。
B11、如B10所述的装置中,所述监控执行指令生成模块包括:
监控任务命令触发单元,用于根据所述触发方式配置文本,触发监控任务命令;
调取单元,用于根据所述监控任务命令调取所述数据库配置文本和所述监控规则配置文本;
连接指令生成单元,用于根据调取的所述数据库配置文本生成连接指令;
查询指令和判断指令生成单元,用于根据调取的所述监控规则配置文本生成查询指令和判断指令。
B12、如B10所述的装置中,所述数据库监控模块包括:
连接单元,用于根据所述数据库配置文本生成的连接指令,连接所述待监控的数据库;
查询单元,用于根据所述监控规则配置文本生成的查询指令,查询所述数据库中待监控的表信息;
判断单元,用于根据所述监控规则配置文本生成的判断指令,判断查询到的所述表信息是否出现异常;
报警通知生成单元,用于若查询到的所述表信息出现异常,则根据所述报警配置文本生成的报警指令,生成报警通知。
B13、如B12所述的装置中,所述判断单元包括:
第一判断子单元,用于若查询到的所述表结构信息为自表结构信息,则对比当前查询结果与第一次的查询结果,以判断所述表结构信息是否出现异常;
第二判断子单元,用于若查询到所述表结构信息为不同数据库中的异表结构信息,则将查询得到的异表结构信息转换为同一类型的信息,以进行相互比较,判断所述表结构信息是否出现异常。
B14、如B12所述的装置中,所述判断单元还包括:
第三判断子单元,用于若查询到的表信息为表字段信息,且进行数值比较,则将查询结果与阈值进行对比,以判断所述表字段信息是否出现异常;
第四判断子单元,用于若查询到的表信息为表字段信息,且进行环比比较,则将不同时间上的查询结果进行比较运算,以判断所述表字段信息是否出现异常。
本发明还公布了C15、一种服务器,包括:
处理器;以及
存储器,用于存储实现可配置化的数据监控方法的程序,该设备通电并通过所述处理器运行该可配置化的数据监控方法的程序后,执行下述步骤:
根据获取的监控任务信息生成监控任务配置文本;
根据所述监控任务配置文本生成监控执行指令;
根据所述监控执行指令监控数据库中的待监控的表信息。
本发明还公布了D16、一种计算机存储介质,所述计算机存储介质存储有一条或多条计算机指令,所述计算机指令被执行时实现如A1-A7中任一项所述的方法。

Claims (10)

1.一种可配置化的数据监控方法,其特征在于,包括:
根据获取的监控任务信息生成监控任务配置文本;
根据所述监控任务配置文本生成监控执行指令;
根据所述监控执行指令监控数据库中的待监控的表信息。
2.根据权利要求1所述的方法,其特征在于,所述根据获取的监控任务信息生成监控任务配置文本的步骤之前,包括:
获取用户在网页页面上设置的监控任务信息。
3.根据权利要求2所述的方法,其特征在于,所述根据获取的监控任务信息生成监控任务配置文本的步骤,包括:
根据获取的监控触发方式信息,生成触发方式配置文本;
根据获取的待监控的数据库的信息,生成数据库配置文本;
根据获取的针对所述表信息设置的监控规则信息,生成监控规则配置文本;
根据获取的报警信息,生成报警配置文本。
4.根据权利要求3所述的方法,其特征在于,根据所述监控任务配置文本生成监控执行指令的步骤,包括:
根据所述触发方式配置文本,触发监控任务命令;
根据所述监控任务命令调取所述数据库配置文本和所述监控规则配置文本;
根据调取的所述数据库配置文本生成连接指令;
根据调取的所述监控规则配置文本生成查询指令和判断指令。
5.根据权利要求3所述的方法,其特征在于,根据所述监控执行指令监控数据库中的待监控的表信息的步骤包括:
根据所述数据库配置文本生成的连接指令,连接所述待监控的数据库;
根据所述监控规则配置文本生成的查询指令,查询所述数据库中待监控的表信息;
根据所述监控规则配置文本生成的判断指令,判断查询到的所述表信息是否出现异常;
若查询到的所述表信息出现异常,则根据所述报警配置文本生成的报警指令,生成报警通知。
6.根据权利要求5所述的方法,其特征在于,判断查询到的所述表信息是否出现异常的步骤,包括:
若所查询到的所述表信息为表结构信息,则执行:
若查询到的所述表结构信息为自表结构信息,则对比当前查询结果与第一次的查询结果,以判断所述表结构信息是否出现异常;
若查询到所述表结构信息为不同数据库中的异表结构信息,则将查询得到的异表结构信息转换为同一类型的信息,以进行相互比较,判断所述表结构信息是否出现异常。
7.根据权利要求5所述的方法,其特征在于,判断查询到的所述表信息是否出现异常的步骤,还包括:
若查询到的表信息为表字段信息,且进行数值比较,则将查询结果与阈值进行对比,以判断所述表字段信息是否出现异常;
若查询到的表信息为表字段信息,且进行环比比较,则将不同时间上的查询结果进行比较运算,以判断所述表字段信息是否出现异常。
8.一种可配置化的数据监控装置,其特征在于,包括:
监控任务配置文本生成模块,用于根据获取的监控任务信息生成监控任务配置文本;
监控执行指令生成模块,用于根据所述监控任务配置文本生成监控执行指令;
数据库监控模块,用于根据所述监控执行指令监控数据库中的待监控的表信息。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
获取模块,用于获取用户在网页页面上设置的监控任务信息。
10.根据权利要求9所述的装置,所述监控任务配置文本生成模块包括:
触发方式配置文本生成单元,用于根据获取的监控触发方式信息,生成触发方式配置文本;
数据库配置文本生成单元,用于根据获取的待监控的数据库的信息,生成数据库配置文本;
监控规则配置文本生成单元,用于根据获取的针对所述表信息设置的监控规则信息,生成监控规则配置文本;
报警配置文本生成单元,用于根据获取的报警信息,生成报警配置文本。
CN201710324120.0A 2017-05-10 2017-05-10 一种可配置化的数据监控方法及装置 Pending CN107220301A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710324120.0A CN107220301A (zh) 2017-05-10 2017-05-10 一种可配置化的数据监控方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710324120.0A CN107220301A (zh) 2017-05-10 2017-05-10 一种可配置化的数据监控方法及装置

Publications (1)

Publication Number Publication Date
CN107220301A true CN107220301A (zh) 2017-09-29

Family

ID=59945255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710324120.0A Pending CN107220301A (zh) 2017-05-10 2017-05-10 一种可配置化的数据监控方法及装置

Country Status (1)

Country Link
CN (1) CN107220301A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595300A (zh) * 2018-03-21 2018-09-28 北京奇艺世纪科技有限公司 一种可配置的监控和报警的方法及装置
CN108874644A (zh) * 2018-06-06 2018-11-23 平安科技(深圳)有限公司 数据监控方法、装置、计算机设备及存储介质
CN109344394A (zh) * 2018-08-30 2019-02-15 广发证券股份有限公司 一种文本类数据质量监控方法与***
CN109508356A (zh) * 2018-11-14 2019-03-22 平安科技(深圳)有限公司 数据异常预警方法、装置、计算机设备及存储介质
CN109559099A (zh) * 2018-11-30 2019-04-02 广州净松软件科技有限公司 监察***的预警规则配置方法、装置和计算机设备
CN109583758A (zh) * 2018-11-30 2019-04-05 广州净松软件科技有限公司 监察***的预警规则修正方法、装置和计算机设备
CN110297742A (zh) * 2019-07-04 2019-10-01 北京百佑科技有限公司 数据监控***、方法及服务器
CN110795315A (zh) * 2018-08-01 2020-02-14 北京京东尚科信息技术有限公司 监控业务的方法和装置
CN111339062A (zh) * 2020-02-24 2020-06-26 北京达佳互联信息技术有限公司 数据监控方法、装置、电子设备及存储介质
CN113448560A (zh) * 2021-08-30 2021-09-28 阿里云计算有限公司 数据配置方法、设备及存储介质
CN116361391A (zh) * 2023-03-30 2023-06-30 中电云数智科技有限公司 一种数据同步表结构异常检测及修复方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013442A (zh) * 2007-02-07 2007-08-08 浙江大学 数据库性能的无代理统一监控方法
CN103092866A (zh) * 2011-11-03 2013-05-08 金蝶软件(中国)有限公司 数据监控方法及监控装置
CN103581322A (zh) * 2013-11-08 2014-02-12 大唐移动通信设备有限公司 一种监控服务器的方法、***及一种服务器设备
CN103605722A (zh) * 2013-11-15 2014-02-26 北京奇虎科技有限公司 数据库监控方法及装置、设备
CN104714984A (zh) * 2013-12-17 2015-06-17 ***通信集团湖南有限公司 一种数据库优化的方法和装置
CN105095056A (zh) * 2015-08-14 2015-11-25 焦点科技股份有限公司 一种数据仓库数据监控的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013442A (zh) * 2007-02-07 2007-08-08 浙江大学 数据库性能的无代理统一监控方法
CN103092866A (zh) * 2011-11-03 2013-05-08 金蝶软件(中国)有限公司 数据监控方法及监控装置
CN103581322A (zh) * 2013-11-08 2014-02-12 大唐移动通信设备有限公司 一种监控服务器的方法、***及一种服务器设备
CN103605722A (zh) * 2013-11-15 2014-02-26 北京奇虎科技有限公司 数据库监控方法及装置、设备
CN104714984A (zh) * 2013-12-17 2015-06-17 ***通信集团湖南有限公司 一种数据库优化的方法和装置
CN105095056A (zh) * 2015-08-14 2015-11-25 焦点科技股份有限公司 一种数据仓库数据监控的方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595300A (zh) * 2018-03-21 2018-09-28 北京奇艺世纪科技有限公司 一种可配置的监控和报警的方法及装置
CN108874644A (zh) * 2018-06-06 2018-11-23 平安科技(深圳)有限公司 数据监控方法、装置、计算机设备及存储介质
CN110795315A (zh) * 2018-08-01 2020-02-14 北京京东尚科信息技术有限公司 监控业务的方法和装置
CN109344394A (zh) * 2018-08-30 2019-02-15 广发证券股份有限公司 一种文本类数据质量监控方法与***
CN109508356A (zh) * 2018-11-14 2019-03-22 平安科技(深圳)有限公司 数据异常预警方法、装置、计算机设备及存储介质
CN109508356B (zh) * 2018-11-14 2024-05-03 平安科技(深圳)有限公司 数据异常预警方法、装置、计算机设备及存储介质
CN109559099A (zh) * 2018-11-30 2019-04-02 广州净松软件科技有限公司 监察***的预警规则配置方法、装置和计算机设备
CN109583758A (zh) * 2018-11-30 2019-04-05 广州净松软件科技有限公司 监察***的预警规则修正方法、装置和计算机设备
CN110297742B (zh) * 2019-07-04 2023-12-19 北京百佑科技有限公司 数据监控***、方法及服务器
CN110297742A (zh) * 2019-07-04 2019-10-01 北京百佑科技有限公司 数据监控***、方法及服务器
CN111339062A (zh) * 2020-02-24 2020-06-26 北京达佳互联信息技术有限公司 数据监控方法、装置、电子设备及存储介质
CN111339062B (zh) * 2020-02-24 2024-03-19 北京达佳互联信息技术有限公司 数据监控方法、装置、电子设备及存储介质
CN113448560A (zh) * 2021-08-30 2021-09-28 阿里云计算有限公司 数据配置方法、设备及存储介质
CN113448560B (zh) * 2021-08-30 2022-03-01 阿里云计算有限公司 数据配置方法、设备及存储介质
CN116361391A (zh) * 2023-03-30 2023-06-30 中电云数智科技有限公司 一种数据同步表结构异常检测及修复方法和装置
CN116361391B (zh) * 2023-03-30 2024-05-07 中电云计算技术有限公司 一种数据同步表结构异常检测及修复方法和装置

Similar Documents

Publication Publication Date Title
CN107220301A (zh) 一种可配置化的数据监控方法及装置
US11411804B1 (en) Actionable event responder
US11695830B1 (en) Multi-threaded processing of search responses
US11539578B2 (en) Generating actionable alert messages for resolving incidents in an information technology environment
US11184467B2 (en) Multi-thread processing of messages
US11829236B2 (en) Monitoring statuses of monitoring modules of a distributed computing system
US11829330B2 (en) Log data extraction from data chunks of an isolated execution environment
US11663176B2 (en) Data field extraction model training for a data intake and query system
US10360196B2 (en) Grouping and managing event streams generated from captured network data
US20180349482A1 (en) Automatic triage model execution in machine data driven monitoring automation apparatus with visualization
US10523521B2 (en) Managing ephemeral event streams generated from captured network data
US11615082B1 (en) Using a data store and message queue to ingest data for a data intake and query system
US20170031659A1 (en) Defining Event Subtypes Using Examples
US11966797B2 (en) Indexing data at a data intake and query system based on a node capacity threshold
US20140195670A1 (en) Automated alert management
US12019634B1 (en) Reassigning a processing node from downloading to searching a data group
US11886844B1 (en) Updating reusable custom functions across playbooks
US11789950B1 (en) Dynamic storage and deferred analysis of data stream events
US11902306B1 (en) Advanced persistent threat detection by an information technology and security operations application
CN115250237B (zh) 一种物联网规则引擎方法及装置
CN110390466A (zh) 一种基于云端soa架构的多维可视化运维管理装置
US11113301B1 (en) Generating metadata for events based on parsed location information of data chunks of an isolated execution environment
CN110109666A (zh) 一种it基础设施管理维护的方法、装置、***及存储介质
CN117170832A (zh) 基于人工智能的任务批量处理方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170929