CN117743396A - 一种数据质量检测方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据质量检测方法、装置、设备及存储介质。包括：构建规则生成模型，并获取待检测数据和检测指令，其中，规则生成模型包括规则描述和规则程序的对应关系；当检测指令为规则新增指令时，根据规则生成模型和检测指令生成质量检测任务；根据质量检测任务和待检测数据生成质量检测报告。通过大模型算法构建规则生成模型，当用户想要进行规则新增时，可以将规则描述输入规则生成模型生成规则程序，进而生成质量检测任务完成相应的数据指令检测并生成质量检测报告。基于大模型的数据质量检测，保证了程序质量可控，加快了数据质量检测过程的同时也提高了生产效率，降低了对数据质量检测人员的要求，提高了数据质量检测质量。

Description

一种数据质量检测方法、装置、设备及存储介质

技术领域

本发明涉及质量检测技术领域，尤其涉及一种数据质量检测方法、装置、设备及存储介质。

背景技术

数据作为战略资产正在逐步成为企业核心竞争力，构建以数据资产为核心的数据管理体系已成为企业单位明确的发展方向。然而数据质量在不同的业务场景下有不同的要求与约束，导致需要人工开发大量的数据质量检测规则程序，开发量大，对数据质量实施人员要求高，程序质量不容易保证。

现有技术中传统的质量检测平台基本都是基于规则检测，部分规则内置，大部分规则人工后期开发。这种模式程序开发量大，对数据质量检测的人员要求高。

发明内容

本发明提供了一种数据质量检测方法、装置、设备及存储介质，基于AI大模型技术通过训练自动生成规则检测程序，可以快速、准确的完成数据质量检测工作。

根据本发明的一方面，提供了一种数据质量检测方法，该方法包括：

构建规则生成模型，并获取待检测数据和检测指令，其中，规则生成模型包括规则描述和规则程序的对应关系；

当检测指令为规则新增指令时，根据规则生成模型和检测指令生成质量检测任务；

根据质量检测任务和待检测数据生成质量检测报告。

可选的，构建规则生成模型，包括：获取历史规则描述以及对应的历史规则程序作为训练样本，并将训练样本按照指定比例划分成训练集和测试集；搭建模型网络结构，通过训练集对模型网络结构进行迭代训练以生成初始模型；将测试集输入初始模型以获取各测试程序规则，基于各测试程序规则获取用户标注的验证情况，其中，验证情况包括准确和不准确；根据验证情况确定构建规则生成模型。

可选的，根据验证情况确定构建规则生成模型，包括：根据验证情况确定初始模型的准确率；判断准确率是否大于预设阈值，若是，直接将初始模型作为规则生成模型；否则，基于准确率获取修正参数，根据修正参数生成规则生成模型。

可选的，获取待检测数据和检测指令，包括：获取用户输入表格，将用户输入表格存入指定地址以生成待检测数据；获取规则库，并将规则库展示给用户，其中，规则库中包括规则标识以及对应的各预设规则程序；基于规则库获取用户输入的目标规则标识或规则新增指令；根据目标规则标识生成规则选择指令，将规则选择指令或规则新增指令作为检测指令。

可选的，根据规则生成模型和检测指令生成质量检测任务，包括：基于规则新增指令获取用户输入的目标规则描述；将目标规则描述输入规则生成模型，以获取输出的第一目标规则程序；基于第一目标规则程序获取用户输入的第一调整指令，将第一调整指令和第一目标规则程序相结合以生成质量检测任务。

可选的，方法还包括：当检测指令为规则选择指令时，通过规则库对目标规则标识进行匹配以获取与目标规则标识对应的第二目标规则程序；基于第二目标规则程序获取用户输入的第二调整指令，将第二调整指令和第二目标规则程序相结合以生成质量检测任务。

可选的，根据质量检测任务和待检测数据生成质量检测报告，包括：通过质量检测任务对待检测数据进行检测以生成质量检测结果，其中，质量检测结果包括正常数据和异常数据；将质量检测结果和第一预设模板相结合以生成整体检测报告，将异常数据和第二预设模板相结合以生成异常检测报告；将整体检测报告和异常检测报告作为质量检测报告。

可选的，方法还包括：获取用户输入的新增检测规则，其中，新增检测规则包括新增规则描述和对应的新增规则程序；根据新增检测规则对规则生成模型进行增量训练，以生成更新规则生成模型。

根据本发明的另一方面，提供了一种数据质量检测装置，该装置包括：

模型构建及数据获取模块，用于构建规则生成模型，并获取待检测数据和检测指令，其中，规则生成模型包括规则描述和规则程序的对应关系；

质量检测任务生成模块，用于当检测指令为规则新增指令时，根据规则生成模型和检测指令生成质量检测任务；

质量检测报告生成模块，用于根据质量检测任务和待检测数据生成质量检测报告。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的一种数据质量检测方法。

本发明实施例的技术方案，通过大模型算法构建规则生成模型，当用户想要进行规则新增时，可以将规则描述输入规则生成模型生成规则程序，进而生成质量检测任务完成相应的数据指令检测并生成质量检测报告。基于大模型的数据质量检测，保证了程序质量可控，加快了数据质量检测过程的同时也提高了生产效率，降低了对数据质量检测人员的要求，提高了数据质量检测质量。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种数据质量检测方法的流程图；

图2是根据本发明实施例二提供的另一种数据质量检测方法的流程图；

图3是根据本发明实施例三提供的一种数据质量检测装置的结构示意图；

图4是实现本发明实施例的一种数据质量检测方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供了一种数据质量检测方法的流程图，本实施例可适用于对数据进行质量检测的情况，该方法可以由数据质量检测装置来执行，该数据质量检测装置可以采用硬件和/或软件的形式实现，该数据质量检测装置可配置于计算机控制器中。如图1所示，该方法包括：

S110、构建规则生成模型，并获取待检测数据和检测指令，其中，规则生成模型包括规则描述和规则程序的对应关系。

其中，规则生成模型是针对质量检测规则建立的AI大模型，即通过搜集大量已有数据质量规则的描述以及实现规则的程序代码作为输入进行训练生成的模型。规则生成模型中包括规则描述和规则程序的对应关系，即通过规则生成模型可以将规则描述按照指定语言进行翻译，进而输出质量检测规则程序，用于进行数据质量检测，数据质量检测可以包括完整性、规范性、一致性、准确性、关联性、唯一性和逻辑性等维度。待检测数据是指用户输入的需要进行数据质量检测的对象，通过检测指令可以确定用户选择的数据质量检测方式，检测指令可以是规则选择指令或规则新增指令，用户是指进行数据质量检测的人员。

示例性的，完整性检查是指检查数据信息是否达到预期目标，度量哪些数据丢失了或者哪些数据不可用的过程。包括：检查必填项是否填写、检查核对实体表以及字段是否缺失以及检查源表和目标表的记录条数是否一致。完整性检查对应的规则描述可以是非空校验(找出当前实体表字段为空的字段)。规范性检查是指根据制定的数据标准文档针对字段的格式，长度进行检查，用于度量哪些数据未按统一格式存储。包括：检查数据是否符合数据标准规范要求，检查字段长度是否超过规定长度。规范性检查对应的规则描述可以是长度校验(实体表字段长度规范值)；身份证校验(二代身份证校验)；电话号码校验(校验11位手机号)；日期格式校验(是否符合”YYYY-MM-DD HH:MM:SS”格式)。

可选的，构建规则生成模型，包括：获取历史规则描述以及对应的历史规则程序作为训练样本，并将训练样本按照指定比例划分成训练集和测试集；搭建模型网络结构，通过训练集对模型网络结构进行迭代训练以生成初始模型；将测试集输入初始模型以获取各测试程序规则，基于各测试程序规则获取用户标注的验证情况，其中，验证情况包括准确和不准确；根据验证情况确定构建规则生成模型。

具体的，构建模式时，会采用大量历史规则描述以及对应的历史规则程序作为训练样本，并将训练样本按照指定比例划分成训练集和测试集，用户可以根据训练需要设置指定比例，例如8:2。其中，训练集用于对模型进行初始训练，通过训练集对模型网络结构进行迭代训练以生成初始模型；测试集用于对模型进行验证及优化，将测试集输入初始模型以获取各测试程序规则，然后根据测试程序规则进行人工验证修正问题，反复迭代，直至生成程序正确无误可以进行数据质量检测。即用户可以对初始模型输出的测试程序规则进行人工验证并标注，标注的验证情况包括准确和不准确。

可选的，根据验证情况确定构建规则生成模型，包括：根据验证情况确定初始模型的准确率；判断准确率是否大于预设阈值，若是，直接将初始模型作为规则生成模型；否则，基于准确率获取修正参数，根据修正参数生成规则生成模型。

具体的，根据用户标注的验证情况可以确定初始模型的准确率，当准确率大于预设阈值时，表示模型训练完成，而当准确率小于等于预设阈值时，需要获取修正参数，并继续对模型进行迭代训练，直至准确率达到预设阈值时，才表明模型可以进行数据质量检测。

可选的，获取待检测数据和检测指令，包括：获取用户输入表格，将用户输入表格存入指定地址以生成待检测数据；获取规则库，并将规则库展示给用户，其中，规则库中包括规则标识以及对应的各预设规则程序；基于规则库获取用户输入的目标规则标识或规则新增指令；根据目标规则标识生成规则选择指令，将规则选择指令或规则新增指令作为检测指令。

具体的，用户可以选择业务***的私有表或者共享表作为待检测数据对象，即用户输入表格，控制器会将用户输入表格存入指定地址生成待检测数据，控制器是指进行数据质量检测的计算机控制器。为了避免用户每次进行数据质量检测时都反复输入规则程序，可以提前将历史使用频繁的通用型规则程序设置在规则库中，用户可以根据需要对规则库进行设置，设置完成的规则库中包括规则标识以及对应的各预设规则程序，设置完成的规则库会通过用户终端展示给用户。用户在选择数据指令检测规则时可以参考规则库，数据质量检测规则在规则库中已存在则可以输入目标规则标识直接使用，控制器会根据目标规则标识生成规则选择指令，如果数据质量规则在规则库中不存在，用户可以输入规则新增指令，此时会通过规则生成模型生成质量规则。

S120、当检测指令为规则新增指令时，根据规则生成模型和检测指令生成质量检测任务。

可选的，根据规则生成模型和检测指令生成质量检测任务，包括：基于规则新增指令获取用户输入的目标规则描述；将目标规则描述输入规则生成模型，以获取输出的第一目标规则程序；基于第一目标规则程序获取用户输入的第一调整指令，将第一调整指令和第一目标规则程序相结合以生成质量检测任务。

具体的，当用户想进行规则新增时，可以继续向控制器输入目标规则描述，此时控制器会通过规则生成模型输出对应的第一目标规则程序，另外，数据质量检测人员可以在线调整规则描述或调整程序，直到程序可以完成相应数据质量检测，将程序打包加载到规则库中使用，同时，用户也可以根据检测需要设置检测时间，即控制器会将第一调整指令和第一目标规则程序相结合以生成质量检测任务，质量检测任务中包含调整后的规则程序和检测时间，控制器会根据检测时间执行对应的质量检测任务，并将该质量检测任务中的调整规则程序存放在规则库中，用户在需要时可以随时进行调用，避免了用户反复输入的过程，便于用户的使用。

S130、根据质量检测任务和待检测数据生成质量检测报告。

可选的，根据质量检测任务和待检测数据生成质量检测报告，包括：通过质量检测任务对待检测数据进行检测以生成质量检测结果，其中，质量检测结果包括正常数据和异常数据；将质量检测结果和第一预设模板相结合以生成整体检测报告，将异常数据和第二预设模板相结合以生成异常检测报告；将整体检测报告和异常检测报告作为质量检测报告。

具体的，质量检测任务为调度任务，按调度任务执行相应的数据质量检测规则可以对待检测数据进行检测生成质量检测结果，质量检测结果包括正常数据和异常数据。然后根据数据质量检测结果生成数据质量检测报告，质量检测报告包括异常检测报告和整体检测报告，其中，整体检测报告用于用户了解质量检测的整体情况，将质量检测结果和第一预设模板相结合即可生成整体检测报告，并且在整体检测报告中每个检测方法对应一个问题数据结果。异常检测报告中包括所以质量检测过程中的异常数据，将异常数据和第二预设模板相结合即可生成异常检测报告。质量检测报告可以供用户进行浏览和下载。

可选的，方法还包括：获取用户输入的新增检测规则，其中，新增检测规则包括新增规则描述和对应的新增规则程序；根据新增检测规则对规则生成模型进行增量训练，以生成更新规则生成模型。

具体的，当用户需要对模型进行优化时，还能对规则生成模型进行增量训练，即当出现新类型的质量检测规则AI大模型生成的程序需要人工大量在线调整生成的程序时，可以将模型增量训练后再使用，此时用户可以输入的新增检测规则，包括新增规则描述和对应的新增规则程序，此时控制器会根据新增检测规则对规则生成模型进行增量训练，以生成更新规则生成模型，进一步提高模型的准确率，提高数据质量检测质量。

本发明实施例的技术方案，通过大模型算法构建规则生成模型，当用户想要进行规则新增时，可以将规则描述输入规则生成模型生成规则程序，进而生成质量检测任务完成相应的数据指令检测并生成质量检测报告。基于大模型的数据质量检测，保证了程序质量可控，加快了数据质量检测过程的同时也提高了生产效率，降低了对数据质量检测人员的要求，提高了数据质量检测质量。

实施例二

图2为本发明实施例二提供的一种数据质量检测方法的流程图，本实施例在上述实施例一的基础上增加了检测指令为规则选择指令时生成质量检测任务的过程。如图2所示，该方法包括：

S210、构建规则生成模型，并获取待检测数据和检测指令，其中，规则生成模型包括规则描述和规则程序的对应关系。

可选的，构建规则生成模型，包括：获取历史规则描述以及对应的历史规则程序作为训练样本，并将训练样本按照指定比例划分成训练集和测试集；搭建模型网络结构，通过训练集对模型网络结构进行迭代训练以生成初始模型；将测试集输入初始模型以获取各测试程序规则，基于各测试程序规则获取用户标注的验证情况，其中，验证情况包括准确和不准确；根据验证情况确定构建规则生成模型。

可选的，根据验证情况确定构建规则生成模型，包括：根据验证情况确定初始模型的准确率；判断准确率是否大于预设阈值，若是，直接将初始模型作为规则生成模型；否则，基于准确率获取修正参数，根据修正参数生成规则生成模型。

可选的，获取待检测数据和检测指令，包括：获取用户输入表格，将用户输入表格存入指定地址以生成待检测数据；获取规则库，并将规则库展示给用户，其中，规则库中包括规则标识以及对应的各预设规则程序；基于规则库获取用户输入的目标规则标识或规则新增指令；根据目标规则标识生成规则选择指令，将规则选择指令或规则新增指令作为检测指令。

S220、当检测指令为规则选择指令时，通过规则库对目标规则标识进行匹配以获取与目标规则标识对应的第二目标规则程序。

S230、基于第二目标规则程序获取用户输入的第二调整指令，将第二调整指令和第二目标规则程序相结合以生成质量检测任务。

具体的，用户在选择数据质量检测规则，当数据质量检测规则在***中已存在时用户可以直接使用，使用时只需用户输入规则选择指令，规则选择指令中包括目标规则标识，通过用户预设的规则库可以对目标规则标识进行匹配，以获取用户想要选择的与目标规则标识对应的第二目标规则程序。用户同样可以对规则库中已有的规则程序进行编辑和更改等操作，用户可以将要进行操作的内容以调整指令的方式输入控制器，此时控制器会基于第二目标规则程序获取用户输入的第二调整指令，然后将第二调整指令和第二目标规则程序相结合即可生成质量检测任务。通过质量检测任务即可满足用户的质量检测需求。

S240、根据质量检测任务和待检测数据生成质量检测报告。

可选的，根据质量检测任务和待检测数据生成质量检测报告，包括：通过质量检测任务对待检测数据进行检测以生成质量检测结果，其中，质量检测结果包括正常数据和异常数据；将质量检测结果和第一预设模板相结合以生成整体检测报告，将异常数据和第二预设模板相结合以生成异常检测报告；将整体检测报告和异常检测报告作为质量检测报告。

可选的，方法还包括：获取用户输入的新增检测规则，其中，新增检测规则包括新增规则描述和对应的新增规则程序；根据新增检测规则对规则生成模型进行增量训练，以生成更新规则生成模型。

本发明实施例的技术方案，通过大模型算法构建规则生成模型，当用户想要进行规则新增时，可以将规则描述输入规则生成模型生成规则程序，进而生成质量检测任务完成相应的数据指令检测并生成质量检测报告。基于大模型的数据质量检测，保证了程序质量可控，加快了数据质量检测过程的同时也提高了生产效率，降低了对数据质量检测人员的要求，提高了数据质量检测质量。

实施例三

图3为本发明实施例三提供的一种数据质量检测装置的结构示意图。

如图3所示，该装置包括：

模型构建及数据获取模块310，用于构建规则生成模型，并获取待检测数据和检测指令，其中，规则生成模型包括规则描述和规则程序的对应关系；

质量检测任务生成模块320，用于当检测指令为规则新增指令时，根据规则生成模型和检测指令生成质量检测任务；

质量检测报告生成模块330，用于根据质量检测任务和待检测数据生成质量检测报告。

可选的，模型构建及数据获取模块310，具体包括：训练样本生成及划分单元，用于：获取历史规则描述以及对应的历史规则程序作为训练样本，并将训练样本按照指定比例划分成训练集和测试集；初始模型生成单元，用于：搭建模型网络结构，通过训练集对模型网络结构进行迭代训练以生成初始模型；验证情况获取单元，用于：将测试集输入初始模型以获取各测试程序规则，基于各测试程序规则获取用户标注的验证情况，其中，验证情况包括准确和不准确；规则生成模型构建单元，用于：根据验证情况确定构建规则生成模型。

可选的，规则生成模型构建单元，具体用于：根据验证情况确定初始模型的准确率；判断准确率是否大于预设阈值，若是，直接将初始模型作为规则生成模型；否则，基于准确率获取修正参数，根据修正参数生成规则生成模型。

可选的，模型构建及数据获取模块310，具体包括：检测数据及指令获取单元，用于：获取用户输入表格，将用户输入表格存入指定地址以生成待检测数据；获取规则库，并将规则库展示给用户，其中，规则库中包括规则标识以及对应的各预设规则程序；基于规则库获取用户输入的目标规则标识或规则新增指令；根据目标规则标识生成规则选择指令，将规则选择指令或规则新增指令作为检测指令。

可选的，质量检测任务生成模块320，具体包括：规则新增任务生成单元，用于：基于规则新增指令获取用户输入的目标规则描述；将目标规则描述输入规则生成模型，以获取输出的第一目标规则程序；基于第一目标规则程序获取用户输入的第一调整指令，将第一调整指令和第一目标规则程序相结合以生成质量检测任务。

可选的，装置还包括：规则选择任务生成模块，用于：当检测指令为规则选择指令时，通过规则库对目标规则标识进行匹配以获取与目标规则标识对应的第二目标规则程序；基于第二目标规则程序获取用户输入的第二调整指令，将第二调整指令和第二目标规则程序相结合以生成质量检测任务。

可选的，质量检测报告生成模块330，具体用于：通过质量检测任务对待检测数据进行检测以生成质量检测结果，其中，质量检测结果包括正常数据和异常数据；将质量检测结果和第一预设模板相结合以生成整体检测报告，将异常数据和第二预设模板相结合以生成异常检测报告；将整体检测报告和异常检测报告作为质量检测报告。

可选的，装置还包括：模型增量训练模块，用于：获取用户输入的新增检测规则，其中，新增检测规则包括新增规则描述和对应的新增规则程序；根据新增检测规则对规则生成模型进行增量训练，以生成更新规则生成模型。

本发明实施例的技术方案，通过大模型算法构建规则生成模型，当用户想要进行规则新增时，可以将规则描述输入规则生成模型生成规则程序，进而生成质量检测任务完成相应的数据指令检测并生成质量检测报告。基于大模型的数据质量检测，保证了程序质量可控，加快了数据质量检测过程的同时也提高了生产效率，降低了对数据质量检测人员的要求，提高了数据质量检测质量。

本发明实施例所提供的一种数据质量检测装置可执行本发明任意实施例所提供的一种数据质量检测方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如一种数据质量检测方法。也即：构建规则生成模型，并获取待检测数据和检测指令，其中，规则生成模型包括规则描述和规则程序的对应关系；当检测指令为规则新增指令时，根据规则生成模型和检测指令生成质量检测任务；根据质量检测任务和待检测数据生成质量检测报告。

在一些实施例中，一种数据质量检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的一种数据质量检测方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行一种数据质量检测方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的***和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据质量检测方法，其特征在于，包括：

构建规则生成模型，并获取待检测数据和检测指令，其中，所述规则生成模型包括规则描述和规则程序的对应关系；

当所述检测指令为规则新增指令时，根据所述规则生成模型和所述检测指令生成质量检测任务；

根据所述质量检测任务和所述待检测数据生成质量检测报告。

2.根据权利要求1所述的方法，其特征在于，所述构建规则生成模型，包括：

获取历史规则描述以及对应的历史规则程序作为训练样本，并将所述训练样本按照指定比例划分成训练集和测试集；

搭建模型网络结构，通过所述训练集对所述模型网络结构进行迭代训练以生成初始模型；

将所述测试集输入所述初始模型以获取各测试程序规则，基于各所述测试程序规则获取用户标注的验证情况，其中，所述验证情况包括准确和不准确；

根据所述验证情况确定所述构建规则生成模型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述验证情况确定所述构建规则生成模型，包括：

根据所述验证情况确定所述初始模型的准确率；

判断所述准确率是否大于预设阈值，若是，直接将所述初始模型作为所述规则生成模型；

否则，基于所述准确率获取修正参数，根据所述修正参数生成所述规则生成模型。

4.根据权利要求1所述的方法，其特征在于，所述获取待检测数据和检测指令，包括：

获取用户输入表格，将所述用户输入表格存入指定地址以生成所述待检测数据；

获取规则库，并将所述规则库展示给用户，其中，所述规则库中包括规则标识以及对应的各预设规则程序；

基于所述规则库获取用户输入的目标规则标识或规则新增指令；

根据所述目标规则标识生成规则选择指令，将所述规则选择指令或所述规则新增指令作为所述检测指令。

5.根据权利要求1所述的方法，其特征在于，所述根据所述规则生成模型和所述检测指令生成质量检测任务，包括：

基于所述规则新增指令获取用户输入的目标规则描述；

将所述目标规则描述输入所述规则生成模型，以获取输出的第一目标规则程序；

基于所述第一目标规则程序获取用户输入的第一调整指令，将所述第一调整指令和所述第一目标规则程序相结合以生成所述质量检测任务。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当所述检测指令为规则选择指令时，通过所述规则库对所述目标规则标识进行匹配以获取与所述目标规则标识对应的第二目标规则程序；

基于所述第二目标规则程序获取用户输入的第二调整指令，将所述第二调整指令和所述第二目标规则程序相结合以生成所述质量检测任务。

7.根据权利要求6所述的方法，其特征在于，所述根据所述质量检测任务和所述待检测数据生成质量检测报告，包括：

通过所述质量检测任务对所述待检测数据进行检测以生成质量检测结果，其中，所述质量检测结果包括正常数据和异常数据；

将所述质量检测结果和第一预设模板相结合以生成整体检测报告，将所述异常数据和第二预设模板相结合以生成异常检测报告；

将所述整体检测报告和所述异常检测报告作为所述质量检测报告。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取用户输入的新增检测规则，其中，所述新增检测规则包括新增规则描述和对应的新增规则程序；

根据所述新增检测规则对所述规则生成模型进行增量训练，以生成更新规则生成模型。

9.一种数据质量检测装置，其特征在于，包括：

模型构建及数据获取模块，用于构建规则生成模型，并获取待检测数据和检测指令，其中，所述规则生成模型包括规则描述和规则程序的对应关系；

质量检测任务生成模块，用于当所述检测指令为规则新增指令时，根据所述规则生成模型和所述检测指令生成质量检测任务；

质量检测报告生成模块，用于根据所述质量检测任务和所述待检测数据生成质量检测报告。

10.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。