CN113961565A - 数据检测方法、***、计算机***及可读存储介质 - Google Patents

数据检测方法、***、计算机***及可读存储介质 Download PDF

Info

Publication number
CN113961565A
CN113961565A CN202111302699.3A CN202111302699A CN113961565A CN 113961565 A CN113961565 A CN 113961565A CN 202111302699 A CN202111302699 A CN 202111302699A CN 113961565 A CN113961565 A CN 113961565A
Authority
CN
China
Prior art keywords
data
detection
detected
level
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111302699.3A
Other languages
English (en)
Inventor
荆展展
周健
王维杰
吕铁峰
陈东霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN202111302699.3A priority Critical patent/CN113961565A/zh
Publication of CN113961565A publication Critical patent/CN113961565A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462Approximate or statistical queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本公开提供了一种数据检测方法,该方法包括:响应于数据检测请求,确定与待测设备相对应的多个待测数据和每个待测数据的数据级别,其中,多个待测数据存储于数据库中,数据级别包括核心级别、重要级别和普通级别,每种数据级别均对应有权重值;根据目标检测规则组对每个待测数据进行检测,输出每个待测数据的第一检测值,其中,每个待测数据均对应有目标检测规则组,目标检测规则组包括至少一个目标检测规则;根据与每个待测数据相对应的第一检测值和权重值生成待测设备的第二检测值,以便根据所述第二检测值确定与所述待测设备相对应的多个所述待测数据的数据质量。本公开还提供了一种数据检测***、计算机***及可读存储介质。

Description

数据检测方法、***、计算机***及可读存储介质
技术领域
本公开涉及计算机技术领域,更具体地,涉及一种数据检测方法、***、计算机***、可读存储介质及计算机程序。
背景技术
配置管理数据库(Configuration Management Database,CMDB)是一个逻辑数据库,包含了配置项全生命周期的信息以及配置项之间的关系(包括物理关系、实时通信关系、非实时通信关系和依赖关系)。
在实现本公开构思的过程中,发明人发现相关技术中至少存在如下问题:随着数据库中的数据逐步增多,需要对这些数据的质量进行校验,但是,相关技术在进行数据校验时,校验效率较低,且校验结果的准确性较差。
发明内容
有鉴于此,本公开提供了一种数据检测方法、***、计算机***、可读存储介质及计算机程序。
本公开的一个方面提供了一种数据检测方法,包括:
响应于数据检测请求,确定与待测设备相对应的多个待测数据和每个所述待测数据的数据级别,其中,所述多个待测数据存储于数据库中,所述数据级别包括核心级别、重要级别和普通级别,每种所述数据级别均对应有权重值,所述核心级别的权重值大于所述重要级别的权重值,所述重要级别的权重值大于所述普通级别的权重值;
根据目标检测规则组对每个所述待测数据进行检测,输出每个所述待测数据的第一检测值,其中,每个所述待测数据均对应有目标检测规则组,所述目标检测规则组包括至少一个目标检测规则;
根据与每个所述待测数据相对应的第一检测值和权重值生成所述待测设备的第二检测值,以便根据所述第二检测值确定与所述待测设备相对应的多个所述待测数据的数据质量。
根据本公开的实施例,该数据检测方法还包括:
获取所述待测数据的数据类型;
根据每个所述待测数据的所述数据类型在多个所述检测规则中确定至少一个所述目标检测规则;
根据每个所述目标检测规则,生成与每个所述待测数据相对应的所述目标检测规则组。
根据本公开的实施例,所述检测规则包括以下至少之一:空值判断、数字检测、范围检测、日期检测、正则检测和字典检测。
根据本公开的实施例,所述确定与待测设备相对应的多个待测数据包括:
获取与所述待测设备相关联的设备数据;
根据预设筛选规则对所述设备数据进行筛选处理,确定与所述设备相对应的所述多个待测数据。
根据本公开的实施例,所述筛选规则包括根据使用频率、数据来源和数据内容对所述设备数据进行筛选的规则。
根据本公开的实施例,根据与每个所述待测数据相对应的第一检测值和权重值生成所述待测设备的第二检测值包括:
通过预设方法,根据所述第一检测值和所述权重值分别生成与每种所述数据级别相对应的核心数据检测值、重要数据检测值和普通数据检测值;
根据所述核心数据检测值、所述重要数据检测值和所述普通数据检测值生成所述第二检测值。
根据本公开的实施例,该数据检测方法还包括:
根据所述多个待测数据的所述第一检测值,生成统计报表,以便根据所述统计报表对所述多个待测数据的检测结果进行展示,其中,所述统计报表包括与每种所述待测数据组相对应的检测统计结果。
根据本公开的实施例,该数据检测方法还包括:
获取与所述数据库相关联的多个所述待测设备的所述第二检测值;
根据多个所述第二检测值,生成所述数据库中存储的全部的数据的数据检测结果。
本公开的另一个方面提供了一种数据检测***,包括:
响应模块,用于响应于数据检测请求,确定与待测设备相对应的多个待测数据和每个所述待测数据的数据级别,其中,所述多个待测数据存储于数据库中,所述数据级别包括核心级别、重要级别和普通级别,每种所述数据级别均对应有权重值,所述核心级别的权重值大于所述重要级别的权重值,所述重要级别的权重值大于所述普通级别的权重值;
检测模块,用于根据目标检测规则组对每个所述待测数据进行检测,输出每个所述待测数据的第一检测值,其中,每个所述待测数据均对应有目标检测规则组,所述目标检测规则组包括至少一个目标检测规则;
第一生成模块,用于根据与每个所述待测数据相对应的第一检测值和权重值生成所述待测设备的第二检测值,以便根据所述第二检测值确定与所述待测设备相对应的多个所述待测数据的数据质量。
本公开的另一个方面提供了一种计算机***,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现本公开实施例所述的方法。
本公开的另一方面提供了一种计算机可读存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现本公开实施例所述的方法。
本公开的另一方面提供了一种计算机程序,所述计算机程序包括计算机可执行指令,所述指令在被执行时用于实现本公开实施例所述的方法。
根据本公开的实施例,通过响应于数据检测请求,确定与待测设备相对应的多个待测数据和每个待测数据的数据级别,根据目标检测规则组对每个待测数据进行检测,得到每个待测数据的第一检测值。然后根据第一检测值和与待测数据的数据级别相对应的权重值得到待测设备的第二检测值。由于待测数据的权重值是由数据级别确定的,通过对待测数据进行级别划分,更加符合数据使用时的场景,能够有效提高数据检测的效率和检测结果的准确性。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的可以应用数据检测方法的示例性***架构100。
图2示意性示出了根据本公开实施例的数据检测方法的流程图。
图3示意性示出了根据本公开实施例的目标检测规则组的确定方法流程图。
图4示意性示出了根据本公开的实施例的数据检测方法的示意图。
图5示意性示出了根据本公开的实施例的数据检测***的框图。
图6示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机***的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。
配置管理数据库(Configuration Management Database,CMDB)是一个逻辑数据库,包含了配置项全生命周期的信息以及配置项之间的关系(包括物理关系、实时通信关系、非实时通信关系和依赖关系)。
CMDB在控制和管理数量庞大、品种繁多的IT(Internet Technology,互联网技术)设备与IT服务等方面有着至关重要的作用,但是CMDB中的数据信息并不完善,这对于IT设备与IT服务的控制、维护以及事故流程、变更流程都有影响。
以设备的配件信息缺失为例,在这种情况下无法得知设备的整体性能,也无法准确的监控设备状态。并且,在配件出现异常需要更换时,没有配件具体的参数和型号,运维也无法实施。通过校验CMDB数据质量,判断当前CMDB数据的完整行、准确性、合法性等,能够为实现CMDB服务质量、效率的提升提供依据。
相关技术中,在校验CMDB数据质量时,是通过检查数据库表中的字段是否缺失、合法性,以此检测数据的完整性、准确性。
在实现本公开构思的过程中,发明人发现相关技术中至少存在如下问题:相关技术在进行数据校验时,校验效率较低,且校验结果的准确性较差。
本公开的实施例提供了一种数据检测方法、***、计算机***、可读存储介质及计算机程序。该数据检测方法包括:响应于数据检测请求,确定与待测设备相对应的多个待测数据和每个待测数据的数据级别,其中,多个待测数据存储于数据库中,数据级别包括核心级别、重要级别和普通级别,每种数据级别均对应有权重值,核心级别的权重值大于重要级别的权重值,重要级别的权重值大于普通级别的权重值;根据目标检测规则组对每个待测数据进行检测,输出每个待测数据的第一检测值,其中,每个待测数据均对应有目标检测规则组,目标检测规则组包括至少一个目标检测规则;根据与每个待测数据相对应的第一检测值和权重值生成待测设备的第二检测值,以便根据所述第二检测值确定与所述待测设备相对应的多个所述待测数据的数据质量。
图1示意性示出了根据本公开实施例的可以应用数据检测方法的示例性***架构100。需要注意的是,图1所示仅为可以应用本公开实施例的***架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。
如图1所示,根据该实施例的***架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线和/或无线通信链路等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本公开实施例所提供的数据检测方法一般可以由服务器105执行。相应地,本公开实施例所提供的数据检测***一般可以设置于服务器105中。本公开实施例所提供的数据检测方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的数据检测***也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。或者,本公开实施例所提供的数据检测方法也可以由终端设备101、102、或103执行,或者也可以由不同于终端设备101、102、或103的其他终端设备执行。相应地,本公开实施例所提供的数据检测***也可以设置于终端设备101、102、或103中,或设置于不同于终端设备101、102、或103的其他终端设备中。
例如,数据检测请求可以由终端设备101、102、或103中的任意一个(例如,终端设备101,但不限于此)获取,然后,终端设备101可以在本地执行本公开实施例所提供的数据检测方法,或者将待处理的数据检测请求发送到其他终端设备、服务器、或服务器集群,并由接收该数据检测请求的其他终端设备、服务器、或服务器集群来执行本公开实施例所提供的数据检测方法。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的数据检测方法的流程图。
如图2所示,该方法包括操作S201~S203。
在操作S201,响应于数据检测请求,确定与待测设备相对应的多个待测数据和每个待测数据的数据级别,其中,多个待测数据存储于数据库中,数据级别包括核心级别、重要级别和普通级别,每种数据级别均对应有权重值,核心级别的权重值大于重要级别的权重值,重要级别的权重值大于普通级别的权重值。
根据本公开的实施例,待测设备例如可以指与数据库相关联的IT设备,IT设备例如可以包括计算机、路由器等。本申请对待测设备的种类不做限定。数据库例如可以包括CMDB等。
根据本公开的实施例,每个待测数据的数据级别根据级别划分方法均可以被划分为核心级别、重要级别和普通级别。每种数据级别也相应的对应有不同的权重值,例如,核心级别、重要级别和普通级别的权重值可以为5∶3∶2。进一步的,待测数据的数据级别不限于核心级别、重要级别和普通级别,也可以包括任意个数据级别。
待测数据的数据级别例如可以根据数据的使用频率、外部接口反馈信息及数据属性等因素确定。例如,可以将***中的待测数据按照使用频率进行排序,通过设置合适的阀值,将待测数据的数据级别划分为核心级别、重要级别和普通级别;或者,获取外部接口的报错信息,按照报错信息的紧急程度,将与报错信息相关联的待测数据的数据级别划分为核心级别、重要级别和普通级别。
根据本公开的实施例,数据检测请求可以根据用户的触发操作生成,触发操作可以包括点击或滑动。进一步的,数据检测请求例如可也可以根据数据检测请求的触发条件生成,触发条件例如可以包括预设时间阀值等。
根据本公开的实施例,通过对待测数据进行界别分类,能够提高数据检测效率,不用对表中全部的字段进行校验,根据数据的重要程度,有针对性的执行校验逻辑。
在操作S202,根据目标检测规则组对每个待测数据进行检测,输出每个待测数据的第一检测值,其中,每个待测数据均对应有目标检测规则组,目标检测规则组包括至少一个目标检测规则。
根据本公开的实施例,第一检测值例如可以用于表征待测数据是否检验通过。第一检测值例如可以由数字表示,例如,第一检测值可以包括“0”和“1”,“0”用于表征待测数据未通过检测,“1”用于表征待测数据通过检测。
根据本公开的实施例,目标检测规则组可以包括一个目标检测规则,也可以包括多个目标检测规则。当目标检测规则组中包括多个目标检测规则时,每个目标检测规则不同。
在操作S203,根据与每个待测数据相对应的第一检测值和权重值生成待测设备的第二检测值,以便根据第二检测值确定与待测设备相对应的多个待测数据的数据质量。
根据本公开的实施例,根据与待测设备相对应的每个待测数据的第一检测值和每个待测数据的权重值即可得到待测设备的第二检测值。根据第二检测值即可确定待测设备的多个待测数据的数据质量,例如,第二检测值越大,则数据质量越高。
根据本公开的实施例,通过响应于数据检测请求,确定与待测设备相对应的多个待测数据和每个待测数据的数据级别,根据目标检测规则组对每个待测数据进行检测,得到每个待测数据的第一检测值。然后根据第一检测值和与待测数据的数据级别相对应的权重值得到待测设备的第二检测值。由于待测数据的权重值是由数据级别确定的,通过对待测数据进行级别划分,更加符合数据使用时的场景,能够有效提高数据检测的效率和检测结果的准确性。
图3示意性示出了根据本公开实施例的目标检测规则组的确定方法流程图。
如图3所示,该方法包括操作S301~S303。
在操作S301,获取待测数据的数据类型。
在操作S302,根据每个待测数据的数据类型在多个检测规则中确定至少一个目标检测规则。
在操作S303,根据每个目标检测规则,生成与每个待测数据相对应的目标检测规则组。
根据本公开的实施例,待测数据的数据类型例如可以由数据的内容和形式进行划分,例如,按照数据的内容例如可以划分为时间类型数据等。
根据本公开的实施例,检测规则例如可以预先配置生成,并将生成的检测规则存储于规则库中。进一步的,检测规则例如可以包括空值判断、数字校验、范围校验、日期校验、正则校验和字典校验等。
不同的数据类型例如可以根据不同的检测规则进行检测。例如,在对创建日期灯数据进行校验时,可以通过空值判断、日期校验和范围校验三中检测规则进行检测。其中,控制判断可以检测该数据是否为空值;日期校验例如可以检测该数据的数据格式是否为日期格式数据;范围校验例如可以检测该数据是否超过预设时间范围。
根据本公开的实施例,在对数据进行检测时,可将不同的检测规则进行组合搭配使用,从而实现检测规则复用,提高检测规则适用范围的效果。进一步的,通过对规则的组合,使其适配于任何类型的数据校验,提高规则的适用范围和重复利用率。根据本公开的实施例,确定与待测设备相对应的多个待测数据包括:
获取与待测设备相关联的设备数据。根据预设筛选规则对设备数据进行筛选处理,确定与设备相对应的多个待测数据。
当数据库业务发展到一定阶段,数据库表会增多,数据量也累计的很大。在这种情况下,由于有些属性数据对业务的作用是不重要的,因此,通过检查数据库表中的字段效率很低,而且很难从整体上确定数据的质量。
根据本公开的实施例,设备数据例如可以包括数据库中与待测设备相关联的数据和与待测设备相关来呢的外部接口中的数据。进一步的,设备数据还可以包括用户的主观定义数据,主管定义数据例如可以包括备注数据等。
根据本公开的实施例,筛选规则包括根据使用频率、数据来源和数据内容对设备数据进行筛选的规则。
根据本公开的实施例,在对设备数据进行筛选时,可按照设备数据的使用频率进行筛选,例如,可以在数据库中将使用频率较低的设备数据进行过滤;还可以根据数据来源对设备数据进行筛选,例如,可以将来自外部接口中的数据确定为待测数据等。进一步的,还可以通过用户的主观定义的方式进行筛选,例如,可以将用户对设备的备注数据确定为待测数据等。
根据本公开的实施例,根据与每个待测数据相对应的第一检测值和权重值生成待测设备的第二检测值包括:
通过预设方法,根据第一检测值和权重值分别生成与每种数据级别相对应的核心数据检测值、重要数据检测值和普通数据检测值。根据核心数据检测值、重要数据检测值和普通数据检测值生成第二检测值。
根据本公开的实施例,预设方法例如可以包括:根据每种数据级别对应的权重值和每种数据级别中每个待测数据的第一检测值分别计算出核心数据检测值、重要数据检测值和普通数据检测值。
例如,核心数据检测值可以根据公式(1)计算得到:
M1=A1×A2×…×An (1)
其中,A1~An可以表示核心数据的第一检测值,α可以表示核心数据的权重值。
重要数据检测值可以根据公式(2)计算得到:
Figure BDA0003337426510000111
其中,B1~Bn可以表示重要数据的第一检测值,β可以表示重要数据的权重值,∑B可以表示重要数据的数量。普通数据检测值可以根据公式(3)计算得到:
Figure BDA0003337426510000112
其中,C1~Cn可以表示普通数据的第一检测值,γ可以表示普通数据的权重值,∑C可以表示普通数据的数量。
按照数据级别,例如可以先将不同数据级别的检测值计算出来之后,再根据得到的检测值生成第二检测值。
第二检测值例如可以根据公式(4)计算得到:
Figure BDA0003337426510000113
其中,A1~An可以表示核心数据的第一检测值,α可以表示核心数据的权重值,B1~Bn可以表示重要数据的第一检测值,β可以表示重要数据的权重值,∑B可以表示重要数据的数量,C1~Cn可以表示普通数据的第一检测值,γ可以表示普通数据的权重值,∑C可以表示普通数据的数量。
根据本公开的实施例,某个待测设备的待测数据中,有一个重要数据的第一检测值未通过,则重要数据的第一检测值为0。其中,待测设备的第二检测值与待测设备的数据质量成正比,第二检测值越高,则表明该待测设备的数据质量越高。
根据本公开的实施例,该数据检测方法还包括:
根据多个待测数据的第一检测值,生成统计报表,以便根据统计报表对多个待测数据的检测结果进行展示,其中,统计报表包括与每种待测数据组相对应的检测统计结果。
根据本公开的实施例,根据具体实现需要,可以将每个待测数据的第一检测值进行统计,并生成统计报表,以供用户对第一检测值进行分析。进一步的,在对第一检测值进行统计时,可以按照每个待测数据的数据级别分类统计,以使统计表展示的信息更加全面。
根据本公开的实施例,该数据检测方法还包括:
获取与数据库相关联的多个待测设备的第二检测值。根据多个第二检测值,生成数据库中存储的全部的数据的数据检测结果。
根据本公开的实施例,将数据库中每个待测设备的待测数据进行检测后,得到每个待测设备的第二检测值,根据每个第二检测值即可得到数据库中的数据质量。
例如,可以把每个待测设备的得分求均值后,即可得到整个数据库的数据质量得分。将公式的得分与标准得分比较,从而得出库中的数据质量。数据越接近标准得分,则表示数据质量越好。其中,标准得分可以根据具体实现需要进行设定,本公开在此不做具体限定。
图4示意性示出了根据本公开的实施例的数据检测方法的示意图。
如图4所示,该方法包括操作S401~S405。
在操作S401,对数据库中的数据进行筛选,确定待测数据。在操作S402,根据待测数据,在规则库中确定目标检测规则,并生成目标检测规则组。在操作S403,利用目标检测规则组对待测数据进行检测。在操作S404,得到检测结果后,对检测结果进行存储。在操作S405,根据检测结果生成统计报表并展示。
图5示意性示出了根据本公开的实施例的数据检测***的框图。
如图5所示,数据检测***500可以包括响应模块501、检测模块502和第一生成模块503。
响应模块501,用于响应于数据检测请求,确定与待测设备相对应的多个待测数据和每个待测数据的数据级别,其中,多个待测数据存储于数据库中,数据级别包括核心级别、重要级别和普通级别,每种数据级别均对应有权重值,核心级别的权重值大于重要级别的权重值,重要级别的权重值大于普通级别的权重值。
检测模块502,用于根据目标检测规则组对每个待测数据进行检测,输出每个待测数据的第一检测值,其中,每个待测数据均对应有目标检测规则组,目标检测规则组包括至少一个目标检测规则。
第一生成模块503,用于根据与每个待测数据相对应的第一检测值和权重值生成待测设备的第二检测值,以便根据第二检测值确定与待测设备相对应的多个待测数据的数据质量。
根据本公开的实施例,通过响应于数据检测请求,确定与待测设备相对应的多个待测数据和每个待测数据的数据级别,根据目标检测规则组对每个待测数据进行检测,得到每个待测数据的第一检测值。然后根据第一检测值和与待测数据的数据级别相对应的权重值得到待测设备的第二检测值。由于待测数据的权重值是由数据级别确定的,通过对待测数据进行级别划分,更加符合数据使用时的场景,能够有效提高数据检测的效率和检测结果的准确性。
根据本公开的实施例,该数据检测***500还包括第一获取模块、确定模块和第二生成模块。
第一获取模块,用于获取待测数据的数据类型。
确定模块,用于根据每个待测数据的数据类型在多个检测规则中确定至少一个目标检测规则。
第二生成模块,用于根据每个目标检测规则,生成与每个待测数据相对应的目标检测规则组。
根据本公开的实施例,检测规则包括以下至少之一:空值判断、数字检测、范围检测、日期检测、正则检测和字典检测。
根据本公开的实施例,响应模块501包括获取单元和筛选单元。
获取单元,用于获取与待测设备相关联的设备数据。
筛选单元,用于根据预设筛选规则对设备数据进行筛选处理,确定与设备相对应的多个待测数据。
根据本公开的实施例,筛选规则包括根据使用频率、数据来源和数据内容对设备数据进行筛选的规则。
根据本公开的实施例,第一生成模块503包括第一生成单元和第二生成单元。
第一生成单元,用于通过预设方法分别生成与每种数据级别相对应的核心数据检测值、重要数据检测值和普通数据检测值。
第二生成单元,用于根据核心数据检测值、重要数据检测值和普通数据检测值生成第二检测值。
根据本公开的实施例,该数据检测***500还包括第三生成模块。
第三生成模块,用于根据多个待测数据的第一检测值,生成统计报表,以便根据统计报表对多个待测数据的检测结果进行展示,其中,统计报表包括与每种待测数据组相对应的检测统计结果。
根据本公开的实施例,该数据检测***500还包括第二获取模块和第四生成模块。
第二获取模块,用于获取与数据库相关联的多个待测设备的第二检测值。
第四生成模块,用于根据多个第二检测值,生成数据库中存储的全部的数据的数据检测结果。
需要说明的是,本公开***部分的实施例与本公开方法部分的实施例对应相同或类似,本公开在此不再赘述。
根据本公开的实施例的模块、子模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,响应模块501、检测模块502和第一生成模块503中的任意多个可以合并在一个模块/单元/子单元中实现,或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者,这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合,并在一个模块/单元/子单元中实现。根据本公开的实施例,响应模块501、检测模块502和第一生成模块503中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,响应模块501、检测模块502和第一生成模块503中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图6示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机***的框图。图6示出的计算机***仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,根据本公开实施例的计算机***600包括处理器601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。处理器601例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器601还可以包括用于缓存用途的板载存储器。处理器601可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM603中,存储有计算机***600操作所需的各种程序和数据。处理器601、ROM602以及RAM603通过总线604彼此相连。处理器601通过执行ROM602和/或RAM603中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM602和RAM603以外的一个或多个存储器中。处理器601也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,计算机***600还可以包括输入/输出(I/O)接口605,输入/输出(I/O)接口605也连接至总线604。***600还可以包括连接至I/O接口605的以下部件中的一项或多项:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
根据本公开的实施例,根据本公开实施例的方法流程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被处理器601执行时,执行本公开实施例的***中限定的上述功能。根据本公开的实施例,上文描述的***、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/***中所包含的;也可以是单独存在,而未装配入该设备/装置/***中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 602和/或RAM 603和/或ROM 602和RAM 603以外的一个或多个存储器。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

Claims (11)

1.一种数据检测方法,包括:
响应于数据检测请求,确定与待测设备相对应的多个待测数据和每个所述待测数据的数据级别,其中,所述多个待测数据存储于数据库中,所述数据级别包括核心级别、重要级别和普通级别,每种所述数据级别均对应有权重值,所述核心级别的权重值大于所述重要级别的权重值,所述重要级别的权重值大于所述普通级别的权重值;
根据目标检测规则组对每个所述待测数据进行检测,输出每个所述待测数据的第一检测值,其中,每个所述待测数据均对应有目标检测规则组,所述目标检测规则组包括至少一个目标检测规则;
根据与每个所述待测数据相对应的第一检测值和权重值生成所述待测设备的第二检测值,以便根据所述第二检测值确定与所述待测设备相对应的多个所述待测数据的数据质量。
2.根据权利要求1所述的方法,还包括:
获取所述待测数据的数据类型;
根据每个所述待测数据的所述数据类型在多个所述检测规则中确定至少一个所述目标检测规则;
根据每个所述目标检测规则,生成与每个所述待测数据相对应的所述目标检测规则组。
3.根据权利要求2所述的方法,其中,所述检测规则包括以下至少之一:空值判断、数字检测、范围检测、日期检测、正则检测和字典检测。
4.根据权利要求1所述的方法,其中,所述确定与待测设备相对应的多个待测数据包括:
获取与所述待测设备相关联的设备数据;
根据预设筛选规则对所述设备数据进行筛选处理,确定与所述设备相对应的所述多个待测数据。
5.根据权利要求4所述的方法,其中,所述筛选规则包括根据使用频率、数据来源和数据内容对所述设备数据进行筛选的规则。
6.根据权利要求1所述的方法,其中,根据与每个所述待测数据相对应的第一检测值和权重值生成所述待测设备的第二检测值包括:
通过预设方法,根据所述第一检测值和所述权重值分别生成与每种所述数据级别相对应的核心数据检测值、重要数据检测值和普通数据检测值;
根据所述核心数据检测值、所述重要数据检测值和所述普通数据检测值生成所述第二检测值。
7.根据权利要求1所述的方法,还包括:
根据所述多个待测数据的所述第一检测值,生成统计报表,以便根据所述统计报表对所述多个待测数据的检测结果进行展示,其中,所述统计报表包括与每种所述待测数据组相对应的检测统计结果。
8.根据权利要求1所述的方法,还包括:
获取与所述数据库相关联的多个所述待测设备的所述第二检测值;
根据多个所述第二检测值,生成所述数据库中存储的全部的数据的数据检测结果。
9.一种数据检测***,包括:
响应模块,用于响应于数据检测请求,确定与待测设备相对应的多个待测数据和每个所述待测数据的数据级别,其中,所述多个待测数据存储于数据库中,所述数据级别包括核心级别、重要级别和普通级别,每种所述数据级别均对应有权重值,所述核心级别的权重值大于所述重要级别的权重值,所述重要级别的权重值大于所述普通级别的权重值;
检测模块,用于根据目标检测规则组对每个所述待测数据进行检测,输出每个所述待测数据的第一检测值,其中,每个所述待测数据均对应有目标检测规则组,所述目标检测规则组包括至少一个目标检测规则;
第一生成模块,用于根据与每个所述待测数据相对应的第一检测值和权重值生成所述待测设备的第二检测值,以便根据所述第二检测值确定与所述待测设备相对应的多个所述待测数据的数据质量。
10.一种计算机***,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至8中任一项所述的方法。
11.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现权利要求1至8中任一项所述的方法。
CN202111302699.3A 2021-11-04 2021-11-04 数据检测方法、***、计算机***及可读存储介质 Pending CN113961565A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111302699.3A CN113961565A (zh) 2021-11-04 2021-11-04 数据检测方法、***、计算机***及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111302699.3A CN113961565A (zh) 2021-11-04 2021-11-04 数据检测方法、***、计算机***及可读存储介质

Publications (1)

Publication Number Publication Date
CN113961565A true CN113961565A (zh) 2022-01-21

Family

ID=79469143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111302699.3A Pending CN113961565A (zh) 2021-11-04 2021-11-04 数据检测方法、***、计算机***及可读存储介质

Country Status (1)

Country Link
CN (1) CN113961565A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114595216A (zh) * 2022-03-21 2022-06-07 京东科技信息技术有限公司 数据校验方法、装置、存储介质及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114595216A (zh) * 2022-03-21 2022-06-07 京东科技信息技术有限公司 数据校验方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
US10728284B2 (en) Methods and apparatus to assess compliance of a computing resource in a virtual computing environment
US10171335B2 (en) Analysis of site speed performance anomalies caused by server-side issues
CN110471821B (zh) 异常变更检测方法、服务器及计算机可读存储介质
CN102158879B (zh) 要因失分的数据处理方法及设备
CN109543891B (zh) 容量预测模型的建立方法、设备及计算机可读存储介质
CN110457175B (zh) 业务数据处理方法、装置、电子设备及介质
CN108228722B (zh) 破碎化区域采样点的地理空间分布均匀度检测方法
CN112054915B (zh) 客户端异常预警的处理方法、装置、***及计算设备
CN114997607A (zh) 一种基于工程检测数据的异常评估预警方法及***
CN110245684B (zh) 数据处理方法、电子设备和介质
CN107645510B (zh) 一种地区安全防范能力的计算方法、设备和可读存储介质
CN111092880A (zh) 一种网络流量数据提取方法及装置
CN111158926B (zh) 业务请求分析方法、装置及设备
US8543552B2 (en) Detecting statistical variation from unclassified process log
CN105471938B (zh) 服务器负载管理方法及装置
US20160085664A1 (en) Generating a fingerprint representing a response of an application to a simulation of a fault of an external service
CN113961565A (zh) 数据检测方法、***、计算机***及可读存储介质
CN108804501B (zh) 一种检测有效信息的方法及装置
KR102464688B1 (ko) 모니터링 결과의 이벤트 등급 결정 방법 및 장치
CN113392010A (zh) 公共组件测试方法、装置、电子设备及存储介质
CN108536604B (zh) 一种测试web页面响应时间的方法及终端
CN113760874A (zh) 数据质量检测的方法、装置、电子设备和存储介质
CN113051128B (zh) 功耗检测方法、装置、电子设备及存储介质
CN110597703A (zh) 一种回归测试方法及装置
CN115190008B (zh) 故障处理方法、故障处理装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination