CN112860682A - 一种数据质量检测的方法、装置、设备及可读存储介质 - Google Patents
一种数据质量检测的方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN112860682A CN112860682A CN202110336664.5A CN202110336664A CN112860682A CN 112860682 A CN112860682 A CN 112860682A CN 202110336664 A CN202110336664 A CN 202110336664A CN 112860682 A CN112860682 A CN 112860682A
- Authority
- CN
- China
- Prior art keywords
- verification
- early warning
- data
- result
- results
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 133
- 238000012795 verification Methods 0.000 claims abstract description 200
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000002354 daily effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种数据质量检测的方法、装置、设备及可读存储介质，所述方法包括：建立对所述数据进行质量检测的规则库；获取第一数据，并提取所述第一数据的特征信息；根据所述第一数据的特征信息在所述规则库中查找所述特征信息所对应的校验规则，得到第一校验规则；基于所述第一校验规则对所述第一数据进行校验，得到校验结果，对所述校验结果进行分析，得到检测结果本发明能够在数据产生时及时对数据质量进行实时、批量检测，具有准确性、高效性、灵活性的优点。
Description
技术领域
本发明涉及数据处理技术领域，具体而言，涉及一种数据质量检测的方法、装置、设备及可读存储介质。
背景技术
***中心数据仓库目前承载着监管报送数据输出、营销活动数据筛选、分析决策数据来源、日常报表数据提取等重要功能，不论是业务日常运转或是决策分析，都严重依赖于数据仓库的数据支撑。随着卡中心业务的飞速发展，对数据仓库的时效性、准确性也提出了越来越高的要求。
为保障数据仓库各层级数据质量的稳定可靠，亟需形成一套自动化数据质量监控体系，以实现每天批次运行过程中，自动对数据准确性进行多方位校验，并提前进行预警，从而降低业务影响，减少卡中心损失。
发明内容
本发明的目的在于提供一种数据质量检测的方法、装置、设备及可读存储介质，以改善上述问题。
为了实现上述目的，本申请实施例提供了如下技术方案：
一方面，本申请实施例提供了一种数据质量检测的方法，所述方法包括：
建立对所述数据进行质量检测的规则库；
获取第一数据，并提取所述第一数据的特征信息；
根据所述第一数据的特征信息在所述规则库中查找所述特征信息所对应的校验规则，得到第一校验规则；
基于所述第一校验规则对所述第一数据进行校验，得到校验结果，对所述校验结果进行分析，得到检测结果。
可选的，所述基于所述第一校验规则对所述第一数据进行校验，得到校验结果，对所述校验结果进行分析，得到检测结果，包括：
所述第一校验规则中每个规则有对应的校验条件，对所有的校验条件进行分析，若所有的校验条件中不存在相同的校验条件，则利用每一条校验规则对所述第一数据进行校验，得到多个校验结果；
对所述多个校验结果进行分析，若所述多个校验结果中，有一个校验结果为校验不通过，则所述第一数据的检测结果为不通过，若所述多个校验结果中，所有的校验结果均为校验通过，则所述第一数据的检测结果为通过。
可选的，所述基于所述第一校验规则对所述第一数据进行校验，得到校验结果，对所述校验结果进行分析，得到检测结果，包括：
所述第一校验规则中每个规则有对应的校验条件，对所有的校验条件进行分析，若所有的校验条件中存在相同的校验条件，则将具有相同校验条件的校验规则进行组合，得到组合校验规则；
利用所述组合校验规则对所述所述第一数据进行校验，得到第一检测结果；
利用组合之后剩余的校验规则对所述第一数据进行校验，得到第二检测结果；
对所述第一检测结果和所述第二检测结果进行分析，得到检测结果。
可选的，所述对所述第一校验结果和所述第二校验结果进行分析，得到检测结果，包括：
将所述第一检测结果中的每一个校验结果和所述第二检测结果中的每一个校验结果进行组合，得到校验结果集合；
对所述校验结果集合进行分析，若所述校验集合中有一个校验结果为校验不通过，则所述第一数据的检测结果为不通过，若所述校验集合中所有的校验结果均为校验通过，则所述第一数据的检测结果为通过。
可选的，所述基于所述第一校验规则对所述第一数据进行校验，得到校验结果，对所述校验结果进行分析，得到检测结果后，还包括：
基于所述第一校验规则对所述第一数据进行校验，得到多个预警结果，所述预警结果包括需要预警的预警结果和不需要预警的预警结果；
对所述多个预警结果进行分析，若所述预警结果均为不需要预警，则不发送预警信息，若所述预警结果中存在需要预警的结果，则发送预警信息。
可选的，所述对所述多个预警结果进行分析，若所述预警结果均为不需要预警，则不发送预警信息，若所述预警结果中存在需要预警的结果，则发送预警信息，包括：
根据需要预警的校验结果所对应的校验条件生成不同的预警信息；
将所有的预警信息进行集合，得到第一预警信息，将所述第一预警信息发送，以提示相关人员进行相应的处理。
第二方面，本申请实施例提供了一种数据质量检测的装置，所述装置包括建立模块、获取模块、查找模块和校验模块。
所述建立模块，用于建立对所述数据进行质量检测的规则库；
所述获取模块，用于获取第一数据，并提取所述第一数据的特征信息；
所述查找模块，根据所述第一数据的特征信息在所述规则库中查找所述特征信息所对应的校验规则，得到第一校验规则；
所述校验模块，用于基于所述第一校验规则对所述第一数据进行校验，得到校验结果，对所述校验结果进行分析，得到检测结果。
可选的，所述校验模块，包括：
第一校验单元，用于所述第一校验规则中每个规则有对应的校验条件，对所有的校验条件进行分析，若所有的校验条件中不存在相同的校验条件，则利用每一条校验规则对所述第一数据进行校验，得到多个校验结果；
第一分析单元，用于对所述多个校验结果进行分析，若所述多个校验结果中，有一个校验结果为校验不通过，则所述第一数据的检测结果为不通过，若所述多个校验结果中，所有的校验结果均为校验通过，则所述第一数据的检测结果为通过。
可选的，所述校验模块，包括：
组合单元，用于所述第一校验规则中每个规则有对应的校验条件，对所有的校验条件进行分析，若所有的校验条件中存在相同的校验条件，则将具有相同校验条件的校验规则进行组合，得到组合校验规则；
第二校验单元，用于利用所述组合校验规则对所述所述第一数据进行校验，得到第一检测结果；
第三校验单元，用于利用组合之后剩余的校验规则对所述第一数据进行校验，得到第二检测结果；
第二分析单元，用于对所述第一检测结果和所述第二检测结果进行分析，得到检测结果。
可选的，所述第二分析单元，包括：
集合子单元，用于将所述第一检测结果中的每一个校验结果和所述第二检测结果中的每一个校验结果进行组合，得到校验结果集合；
分析子单元，用于对所述校验结果集合进行分析，若所述校验集合中有一个校验结果为校验不通过，则所述第一数据的检测结果为不通过，若所述校验集合中所有的校验结果均为校验通过，则所述第一数据的检测结果为通过。
可选的，所述装置，还包括：
预警模块，用于基于所述第一校验规则对所述第一数据进行校验，得到多个预警结果，所述预警结果包括需要预警的预警结果和不需要预警的预警结果；
发送模块，用于对所述多个预警结果进行分析，若所述预警结果均为不需要预警，则不发送预警信息，若所述预警结果中存在需要预警的结果，则发送预警信息。
可选的，所述发送模块，包括：
生成单元，用于根据需要预警的校验结果所对应的校验条件生成不同的预警信息；
发送单元，用于将所有的预警信息进行集合，得到第一预警信息，将所述第一预警信息发送，以提示相关人员进行相应的处理。
第三方面，本申请实施例提供了一种数据质量检测的设备，所述设备包括存储器和处理器。存储器用于存储计算机程序；处理器用于执行所述计算机程序时实现上述数据质量检测的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述数据质量检测的方法的步骤。
本发明的有益效果为：
1、本发明能够在数据产生时及时对数据质量进行实时、批量检测，具有准确性、高效性、灵活性的优点。
2、本发明进行数据质量校验后，对于异常数据能够马上阻断，防止脏数据影响到下游使用。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例中所述的一种数据质量检测的方法流程示意图；
图2是本发明实施例中所述的一种数据质量检测的装置结构示意图；
图3是本发明实施例中所述的一种数据质量检测的设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号或字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
如图1所示，本实施例提供了一种数据质量检测的方法，该方法包括步骤S1、步骤S2、步骤S3和步骤S4。
步骤S1、建立对所述数据进行质量检测的规则库；
步骤S2、获取第一数据，并提取所述第一数据的特征信息；
步骤S3、根据所述第一数据的特征信息在所述规则库中查找所述特征信息所对应的校验规则，得到第一校验规则；
步骤S4、基于所述第一校验规则对所述第一数据进行校验，得到校验结果，对所述校验结果进行分析，得到检测结果。
通过本实施例中的方法可以在数据产生时及时对数据质量进行实时、批量检测，具有准确性、高效性、灵活性的优点。数据质量校验后，对于异常数据能够马上阻断，防止脏数据影响到下游使用。
在本实施例中，规则库中的规则可以灵活设置，在本实施例中规则库中的规则设置为12个，从主键、数据量、求和量、空值、日期格式等多个方向对数据进行比对监控，覆盖检测数据所有可能出现的异常情况。同时也可以根据需要配置一两种规则重点监控，具有随时添加、随时修改的优点，适用性较强。
在本公开的一种具体实施方式中，所述步骤S4，还可以包括步骤S41和步骤S42。
步骤S41、所述第一校验规则中每个规则有对应的校验条件，对所有的校验条件进行分析，若所有的校验条件中不存在相同的校验条件，则利用每一条校验规则对所述第一数据进行校验，得到多个校验结果；
步骤S42、对所述多个校验结果进行分析，若所述多个校验结果中，有一个校验结果为校验不通过，则所述第一数据的检测结果为不通过，若所述多个校验结果中，所有的校验结果均为校验通过，则所述第一数据的检测结果为通过。
通过本实施例中的方法，在检测结果为通过的情况下，此条数据可以进入下游环节进行使用，但是在检测结果为不通过的情况下，则会进行相应的处理，比如阻断此条数据进入下游，保证进入下游环节的数据是正常可以使用的，不会影响后续业务的办理。
在本公开的一种具体实施方式中，所述步骤S4，还可以包括步骤S43、步骤S44、步骤S45和步骤S46。
步骤S43、所述第一校验规则中每个规则有对应的校验条件，对所有的校验条件进行分析，若所有的校验条件中存在相同的校验条件，则将具有相同校验条件的校验规则进行组合，得到组合校验规则；
步骤S44、利用所述组合校验规则对所述所述第一数据进行校验，得到第一检测结果；
步骤S45、利用组合之后剩余的校验规则对所述第一数据进行校验，得到第二检测结果；
步骤S46、对所述第一检测结果和所述第二检测结果进行分析，得到检测结果。
在本实施例中，如果存在相同的校验条件，则将具有相同校验条件的校验规则组合在一起，对第一数据进行检验，通过此种方式可以减少校验的次数，提高检测效率。例如在本实施例中，第一数据为一张表，名称为表A，第一数据的特征信息为其名称，则特征信息为表A，则在规则库中寻找表A所对应的规则，例如有三条校验规则，每条校验规则对应有校验条件，也就有三条校验条件，比如这三条校验条件中有两条校验条件均是对日期为2020年1月1日的数据进行校验，则将这两条校验条件对应的校验规则进行组合，利用组合后的规则对第一数据进行一次校验，剩余的校验规则再对第一数据进行校验。通过采用这种方式可以减少校验次数，提高检测的效率。
在本公开的一种具体实施方式中，所述步骤S46，还可以包括步骤S461和步骤S462。
步骤S461、将所述第一检测结果中的每一个校验结果和所述第二检测结果中的每一个校验结果进行组合，得到校验结果集合；
步骤S462、对所述校验结果集合进行分析，若所述校验集合中有一个校验结果为校验不通过，则所述第一数据的检测结果为不通过，若所述校验集合中所有的校验结果均为校验通过，则所述第一数据的检测结果为通过。
在本公开的一种具体实施方式中，所述步骤S4后，还可以包括步骤S5和步骤S6。
步骤S5、基于所述第一校验规则对所述第一数据进行校验，得到多个预警结果，所述预警结果包括需要预警的预警结果和不需要预警的预警结果；
步骤S6、对所述多个预警结果进行分析，若所述预警结果均为不需要预警，则不发送预警信息，若所述预警结果中存在需要预警的结果，则发送预警信息。
通过采用预警的方式，可以直观、快速的提醒相关工作人员对出现的问题及时进行处理，保证数据校验的高效性和灵活性。
在本公开的一种具体实施方式中，所述步骤S6，还可以包括步骤S61和步骤S62。
步骤S61、根据需要预警的校验结果所对应的校验条件生成不同的预警信息；
步骤S62、将所有的预警信息进行集合，得到第一预警信息，将所述第一预警信息发送，以提示相关人员进行相应的处理。
在本实施例中，基于校验规则对第一数据进行校验，还可以得到需要预警的预警结果和不需要预警的预警结果，也就是说在利用每一条校验规则对第一数据进行校验后，均会生成一条需要预警或不需要预警的结果。如果每一个校验规则所对应的预警结果均为不需要预警则不会发送预警信息，如果存在一个或多个预警的预警结果，则会根据需要预警的校验结果所对应的校验规则生成不同的预警信息，然后将所有的预警信息放置在一条信息中集中发送。发送的方式可以采用短信发送的方式。通过发送预警信息，可以提醒相关的工作人员进行相应的处理，提高数据检测的效率和准确性。
实施例2
如图2所示，本实施例提供了一种数据质量检测的装置，所述装置包括建立模块701、获取模块702、查找模块703和校验模块704。
所述建立模块701，用于建立对所述数据进行质量检测的规则库；
所述获取模块702，用于获取第一数据，并提取所述第一数据的特征信息；
所述查找模703，用于根据所述第一数据的特征信息在所述规则库中查找所述特征信息所对应的校验规则，得到第一校验规则；
所述校验模块704，用于基于所述第一校验规则对所述第一数据进行校验，得到校验结果，对所述校验结果进行分析，得到检测结果。
通过本实施例中的装置可以在数据产生时及时对数据质量进行实时、批量检测，具有准确性、高效性、灵活性的优点。数据质量校验后，对于异常数据能够马上阻断，防止脏数据影响到下游使用。
在本公开的一种具体实施方式中，所述校验模块704，还可以包括第一校验单元7041和第一分析单元7042。
所述第一校验单元7041，用于所述第一校验规则中每个规则有对应的校验条件，对所有的校验条件进行分析，若所有的校验条件中不存在相同的校验条件，则利用每一条校验规则对所述第一数据进行校验，得到多个校验结果；
所述第一分析单元7042，用于对所述多个校验结果进行分析，若所述多个校验结果中，有一个校验结果为校验不通过，则所述第一数据的检测结果为不通过，若所述多个校验结果中，所有的校验结果均为校验通过，则所述第一数据的检测结果为通过。
在本公开的一种具体实施方式中，所述校验模块704，还可以包括组合单元7043、第二校验单元7044、第三校验单元7045和第二分析单元7046。
所述组合单元7043，用于所述第一校验规则中每个规则有对应的校验条件，对所有的校验条件进行分析，若所有的校验条件中存在相同的校验条件，则将具有相同校验条件的校验规则进行组合，得到组合校验规则；
所述第二校验单元7044，用于利用所述组合校验规则对所述所述第一数据进行校验，得到第一检测结果；
所述第三校验单元7045，用于利用组合之后剩余的校验规则对所述第一数据进行校验，得到第二检测结果；
所述第二分析单元7046，用于对所述第一检测结果和所述第二检测结果进行分析，得到检测结果。
在本公开的一种具体实施方式中，所述第二分析单元7046，还可以包括集合子单元70461和分析子单元70462。
所述集合子单元70461，用于将所述第一检测结果中的每一个校验结果和所述第二检测结果中的每一个校验结果进行组合，得到校验结果集合；
所述分析子单元70462，用于对所述校验结果集合进行分析，若所述校验集合中有一个校验结果为校验不通过，则所述第一数据的检测结果为不通过，若所述校验集合中所有的校验结果均为校验通过，则所述第一数据的检测结果为通过。
在本公开的一种具体实施方式中，所述装置，还可以包括预警模块705和发送模块706。
所述预警模块705，用于基于所述第一校验规则对所述第一数据进行校验，得到多个预警结果，所述预警结果包括需要预警的预警结果和不需要预警的预警结果；
所述发送模块706，用于对所述多个预警结果进行分析，若所述预警结果均为不需要预警，则不发送预警信息，若所述预警结果中存在需要预警的结果，则发送预警信息。
在本公开的一种具体实施方式中，所述发送模块706，还可以包括生成单元7061和发送单元7062。
所述生成单元7061，用于根据需要预警的校验结果所对应的校验条件生成不同的预警信息；
所述发送单元7062，用于将所有的预警信息进行集合，得到第一预警信息，将所述第一预警信息发送，以提示相关人员进行相应的处理。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3
相应于上面的方法实施例，本公开实施例还提供了一种数据质量检测的设备，下文描述的一种数据质量检测的设备与上文描述的一种数据质量检测的方法可相互对应参照。
图3是根据一示例性实施例示出的一种数据质量检测的设备800的框图。如图3所示，该数据质量检测的设备800可以包括：处理器801，存储器802。该数据质量检测的设备800还可以包括多媒体组件803，输入/输出(I/O)接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该数据质量检测的设备800的整体操作，以完成上述的数据质量检测的方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该数据质量检测的设备800的操作，这些数据例如可以包括用于在该数据质量检测的设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该数据质量检测的设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，该数据质量检测的设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的一种数据质量检测的方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的数据质量检测的方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由该数据质量检测的设备800的处理器801执行以完成上述的数据质量检测的方法。
实施例4
相应于上面的方法实施例，本公开实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种数据质量检测的方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的数据质量检测的方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (14)
1.一种数据质量检测的方法，其特征在于，包括：
建立对所述数据进行质量检测的规则库；
获取第一数据，并提取所述第一数据的特征信息；
根据所述第一数据的特征信息在所述规则库中查找所述特征信息所对应的校验规则，得到第一校验规则；
基于所述第一校验规则对所述第一数据进行校验，得到校验结果，对所述校验结果进行分析，得到检测结果。
2.根据权利要求1所述的数据质量检测的方法，其特征在于，所述基于所述第一校验规则对所述第一数据进行校验，得到校验结果，对所述校验结果进行分析，得到检测结果，包括：
所述第一校验规则中每个规则有对应的校验条件，对所有的校验条件进行分析，若所有的校验条件中不存在相同的校验条件，则利用每一条校验规则对所述第一数据进行校验，得到多个校验结果；
对所述多个校验结果进行分析，若所述多个校验结果中，有一个校验结果为校验不通过，则所述第一数据的检测结果为不通过，若所述多个校验结果中，所有的校验结果均为校验通过，则所述第一数据的检测结果为通过。
3.根据权利要求1所述的数据质量检测的方法，其特征在于，所述基于所述第一校验规则对所述第一数据进行校验，得到校验结果，对所述校验结果进行分析，得到检测结果，包括：
所述第一校验规则中每个规则有对应的校验条件，对所有的校验条件进行分析，若所有的校验条件中存在相同的校验条件，则将具有相同校验条件的校验规则进行组合，得到组合校验规则；
利用所述组合校验规则对所述所述第一数据进行校验，得到第一检测结果；
利用组合之后剩余的校验规则对所述第一数据进行校验，得到第二检测结果；
对所述第一检测结果和所述第二检测结果进行分析，得到检测结果。
4.根据权利要求3所述的数据质量检测的方法，其特征在于，所述对所述第一校验结果和所述第二校验结果进行分析，得到检测结果，包括：
将所述第一检测结果中的每一个校验结果和所述第二检测结果中的每一个校验结果进行组合，得到校验结果集合；
对所述校验结果集合进行分析，若所述校验集合中有一个校验结果为校验不通过，则所述第一数据的检测结果为不通过，若所述校验集合中所有的校验结果均为校验通过，则所述第一数据的检测结果为通过。
5.根据权利要求1所述的数据质量检测的方法，其特征在于，所述基于所述第一校验规则对所述第一数据进行校验，得到校验结果，对所述校验结果进行分析，得到检测结果后，还包括：
基于所述第一校验规则对所述第一数据进行校验，得到多个预警结果，所述预警结果包括需要预警的预警结果和不需要预警的预警结果；
对所述多个预警结果进行分析，若所述预警结果均为不需要预警，则不发送预警信息，若所述预警结果中存在需要预警的结果，则发送预警信息。
6.根据权利要求5所述的数据质量检测的方法，其特征在于，所述对所述多个预警结果进行分析，若所述预警结果均为不需要预警，则不发送预警信息，若所述预警结果中存在需要预警的结果，则发送预警信息，包括：
根据需要预警的校验结果所对应的校验条件生成不同的预警信息；
将所有的预警信息进行集合，得到第一预警信息，将所述第一预警信息发送，以提示相关人员进行相应的处理。
7.一种数据质量检测的装置，其特征在于，包括：
建立模块，用于建立对所述数据进行质量检测的规则库；
获取模块，用于获取第一数据，并提取所述第一数据的特征信息；
查找模块，用于根据所述第一数据的特征信息在所述规则库中查找所述特征信息所对应的校验规则，得到第一校验规则；
校验模块，用于基于所述第一校验规则对所述第一数据进行校验，得到校验结果，对所述校验结果进行分析，得到检测结果。
8.根据权利要求7所述的数据质量检测的装置，其特征在于，所述校验模块，包括：
第一校验单元，用于所述第一校验规则中每个规则有对应的校验条件，对所有的校验条件进行分析，若所有的校验条件中不存在相同的校验条件，则利用每一条校验规则对所述第一数据进行校验，得到多个校验结果；
第一分析单元，用于对所述多个校验结果进行分析，若所述多个校验结果中，有一个校验结果为校验不通过，则所述第一数据的检测结果为不通过，若所述多个校验结果中，所有的校验结果均为校验通过，则所述第一数据的检测结果为通过。
9.根据权利要求7所述的数据质量检测的装置，其特征在于，所述校验模块，包括：
组合单元，用于所述第一校验规则中每个规则有对应的校验条件，对所有的校验条件进行分析，若所有的校验条件中存在相同的校验条件，则将具有相同校验条件的校验规则进行组合，得到组合校验规则；
第二校验单元，用于利用所述组合校验规则对所述所述第一数据进行校验，得到第一检测结果；
第三校验单元，用于利用组合之后剩余的校验规则对所述第一数据进行校验，得到第二检测结果；
第二分析单元，用于对所述第一检测结果和所述第二检测结果进行分析，得到检测结果。
10.根据权利要求9所述的数据质量检测的装置，其特征在于，所述第二分析单元，包括：
集合子单元，用于将所述第一检测结果中的每一个校验结果和所述第二检测结果中的每一个校验结果进行组合，得到校验结果集合；
分析子单元，用于对所述校验结果集合进行分析，若所述校验集合中有一个校验结果为校验不通过，则所述第一数据的检测结果为不通过，若所述校验集合中所有的校验结果均为校验通过，则所述第一数据的检测结果为通过。
11.根据权利要求7所述的数据质量检测的装置，其特征在于，所述装置，还包括：
预警模块，用于基于所述第一校验规则对所述第一数据进行校验，得到多个预警结果，所述预警结果包括需要预警的预警结果和不需要预警的预警结果；
发送模块，用于对所述多个预警结果进行分析，若所述预警结果均为不需要预警，则不发送预警信息，若所述预警结果中存在需要预警的结果，则发送预警信息。
12.根据权利要求11所述的数据质量检测的装置，其特征在于，所述发送模块，包括：
生成单元，用于根据需要预警的校验结果所对应的校验条件生成不同的预警信息；
发送单元，用于将所有的预警信息进行集合，得到第一预警信息，将所述第一预警信息发送，以提示相关人员进行相应的处理。
13.一种数据质量检测的设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述数据质量检测的方法的步骤。
14.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据质量检测的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110336664.5A CN112860682A (zh) | 2021-03-29 | 2021-03-29 | 一种数据质量检测的方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110336664.5A CN112860682A (zh) | 2021-03-29 | 2021-03-29 | 一种数据质量检测的方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112860682A true CN112860682A (zh) | 2021-05-28 |
Family
ID=75993162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110336664.5A Pending CN112860682A (zh) | 2021-03-29 | 2021-03-29 | 一种数据质量检测的方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112860682A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647358A (zh) * | 2018-05-17 | 2018-10-12 | 东软集团股份有限公司 | 数据质量校验方法、装置、存储介质及电子设备 |
| CN109462517A (zh) * | 2018-10-24 | 2019-03-12 | 云南电网有限责任公司信息中心 | 一种面向数字电网业务的数据监测的方法、***及设备 |
| CN110704426A (zh) * | 2019-09-06 | 2020-01-17 | 中国平安财产保险股份有限公司 | 数据校验方法、电子装置及计算机可读存储介质 |
| CN110764942A (zh) * | 2019-09-17 | 2020-02-07 | 平安银行股份有限公司 | 多种类数据校验方法、装置、计算机***及可读存储介质 |
| CN110766160A (zh) * | 2019-10-21 | 2020-02-07 | 北京明略软件***有限公司 | 一种数据校验方法、装置、存储介质及电子设备 |
| CN110851539A (zh) * | 2019-10-25 | 2020-02-28 | 东软集团股份有限公司 | 元数据校验方法、装置、可读存储介质和电子设备 |
| CN111475494A (zh) * | 2020-03-05 | 2020-07-31 | 苏州浪潮智能科技有限公司 | 一种海量数据处理方法、***、终端及存储介质 |
| CN111897842A (zh) * | 2020-01-02 | 2020-11-06 | 北京京东尚科信息技术有限公司 | 数据校验的方法、装置、计算机***及介质 |
| CN112187558A (zh) * | 2019-07-03 | 2021-01-05 | 腾讯科技（深圳）有限公司 | 数据校验方法、装置、电子设备 |
| CN112181962A (zh) * | 2020-09-25 | 2021-01-05 | 中国建设银行股份有限公司 | 报表校验方法、装置、设备及存储介质 |
| CN112328619A (zh) * | 2020-09-24 | 2021-02-05 | 杭州小电科技股份有限公司 | 数据质量监控方法、装置、***、电子装置和存储介质 |
-
2021
- 2021-03-29 CN CN202110336664.5A patent/CN112860682A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647358A (zh) * | 2018-05-17 | 2018-10-12 | 东软集团股份有限公司 | 数据质量校验方法、装置、存储介质及电子设备 |
| CN109462517A (zh) * | 2018-10-24 | 2019-03-12 | 云南电网有限责任公司信息中心 | 一种面向数字电网业务的数据监测的方法、***及设备 |
| CN112187558A (zh) * | 2019-07-03 | 2021-01-05 | 腾讯科技（深圳）有限公司 | 数据校验方法、装置、电子设备 |
| CN110704426A (zh) * | 2019-09-06 | 2020-01-17 | 中国平安财产保险股份有限公司 | 数据校验方法、电子装置及计算机可读存储介质 |
| CN110764942A (zh) * | 2019-09-17 | 2020-02-07 | 平安银行股份有限公司 | 多种类数据校验方法、装置、计算机***及可读存储介质 |
| CN110766160A (zh) * | 2019-10-21 | 2020-02-07 | 北京明略软件***有限公司 | 一种数据校验方法、装置、存储介质及电子设备 |
| CN110851539A (zh) * | 2019-10-25 | 2020-02-28 | 东软集团股份有限公司 | 元数据校验方法、装置、可读存储介质和电子设备 |
| CN111897842A (zh) * | 2020-01-02 | 2020-11-06 | 北京京东尚科信息技术有限公司 | 数据校验的方法、装置、计算机***及介质 |
| CN111475494A (zh) * | 2020-03-05 | 2020-07-31 | 苏州浪潮智能科技有限公司 | 一种海量数据处理方法、***、终端及存储介质 |
| CN112328619A (zh) * | 2020-09-24 | 2021-02-05 | 杭州小电科技股份有限公司 | 数据质量监控方法、装置、***、电子装置和存储介质 |
| CN112181962A (zh) * | 2020-09-25 | 2021-01-05 | 中国建设银行股份有限公司 | 报表校验方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110912738B (zh) | 一种业务异常的处理方法、装置、平台及电子设备 | |
| CN110209684A (zh) | 数据库ddl变更操作的跟踪方法、装置、***及介质 | |
| CN109284331B (zh) | 基于业务数据资源的制证信息获取方法、终端设备及介质 | |
| CN112035303B (zh) | 一种数据测试方法、装置、计算机及可读存储介质 | |
| CN111666298A (zh) | 基于flink的用户服务类别检测方法、装置、计算机设备 | |
| CN113051180A (zh) | 测试任务的监测方法、装置、设备及存储介质 | |
| CN110347565B (zh) | 一种应用程序的异常分析方法及装置、电子设备 | |
| CN116737765A (zh) | 业务告警信息处理方法、装置、电子设备及存储介质 | |
| CN112241362A (zh) | 一种测试方法、装置、服务器及存储介质 | |
| CN114371974A (zh) | 埋点数据校验方法及电子设备 | |
| CN112860682A (zh) | 一种数据质量检测的方法、装置、设备及可读存储介质 | |
| CN111475556A (zh) | 一种数据采集方法、设备、服务器及可读存储介质 | |
| CN116340172A (zh) | 基于测试场景的数据收集方法、装置及测试用例检测方法 | |
| CN111835566A (zh) | 一种***故障管理方法、装置及*** | |
| CN114564405A (zh) | 一种基于日志监控的测试案例检查方法及*** | |
| CA3144122A1 (en) | Data verifying method, device and system | |
| CN115145623A (zh) | 软件业务***的白盒监控方法、装置、设备和存储介质 | |
| CN112860803A (zh) | 一种对账校验的方法、装置、设备及可读存储介质 | |
| CN112363870B (zh) | 应用程序开发处理方法、装置、计算机设备和存储介质 | |
| CN113806196B (zh) | 根因分析方法及*** | |
| CN116909838B (zh) | 一种异常日志上报方法、***、终端设备及存储介质 | |
| CN115964260A (zh) | 一种软件质量的检查方法及相关产品 | |
| CN110069416B (zh) | 一种测试数据处理方法、装置以及相关设备 | |
| CN117640357A (zh) | 网元数据采集异常的处理方法、装置和相关设备 | |
| CN117609400A (zh) | 数据流转图的生成装置、方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |