CN111159506A - 一种数据有效性识别方法、装置、设备及可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种数据有效性识别方法、装置、设备及可读存储介质，对采集的待识别数据除了进行定量识别之外，对待识别数据在各个预设场景标签下的有效性进行了定性识别，确定在每个预设场景标签下数据的有效性，并为待识别数据分配对应的预设场景标签，针对各类用户的不同需求进行有效性数据推送，避免无效数据在场景里出现，解决了现有的数据识别方法一般地只能识别残缺数据、错误数据和重复数据，针对异构数据***，无法解决复杂多维的数据有效性判断的技术问题。

Description

一种数据有效性识别方法、装置、设备及可读存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据有效性识别方法、装置、设备及可读存储介质。

背景技术

随着信息技术的发展，在存在多***互联情况下的异构数据***内，针对数据来源广以及数据种类多样的情况，通常需要特定的数据识别方法进行数据的处理。

目前大多数***、平台使用的数据识别方法是数据清洗，数据清洗的原理是利用有关技术如数理统计、数据挖掘或预定义的清理规则将脏数据一次性识别转化为满足数据质量要求的数据，一般地只能识别残缺数据、错误数据和重复数据，针对异构数据***，无法解决复杂多维的数据有效性判断的技术问题。

发明内容

本申请实施例提供了一种数据有效性识别方法、装置、设备及可读存储介质，解决了现有的数据识别方法一般地只能识别残缺数据、错误数据和重复数据，针对异构数据***，无法解决复杂多维的数据有效性判断的技术问题。

有鉴于此，本申请第一方面提供了一种数据有效性识别方法，所述方法包括：

获取采集的待识别数据；

通过预置判断规则对所述待识别数据进行定量识别，得到所述待识别数据的第一识别结果，所述第一识别结果包括数据有效或数据无效；

对所述第一识别结果为数据有效的所述待识别数据进行场景识别，确定所述待识别数据在预设场景标签下的第二识别结果，所述第二识别结果包括数据有效或数据无效；

将所述第二识别结果为数据有效的所述待识别数据分配对应的所述预设场景标签。

可选地，所述通过预置判断规则对所述待识别数据进行定量识别，得到所述待识别数据的第一识别结果，所述第一识别结果包括数据有效或数据无效具体包括：

依次对所述待识别数据进行残缺数据识别、错误数据识别、重复数据识别以及数据唯一性识别；

若所述待识别数据的残缺数据识别、错误数据识别、重复数据识别或数据唯一性识别中存在任意一项识别无效，则确定所述待识别数据的第一识别结果为数据无效，否则确定所述待识别数据的第一识别结果为数据有效。

可选地，所述得到所述待识别数据的第一识别结果之后还包括：

对所述第一识别结果为数据无效的所述待识别数据进行清洗处理。

可选地，所述将所述第二识别结果为数据有效的所述待识别数据分配对应的所述预设场景标签之后还包括：

在所述预设场景标签对应的场景下显示所述第一识别结果和所述第二识别结果均为数据有效的所述待识别数据。

本申请第二方面提供一种数据有效性识别装置，所述装置包括：

获取单元，用于获取采集的待识别数据；

第一识别单元，用于通过预置判断规则对所述待识别数据进行定量识别，得到所述待识别数据的第一识别结果，所述第一识别结果包括数据有效或数据无效；

第二识别单元，用于对所述第一识别结果为数据有效的所述待识别数据进行场景识别，确定所述待识别数据在预设场景标签下的第二识别结果，所述第二识别结果包括数据有效或数据无效；

分配单元，用于将所述第二识别结果为数据有效的所述待识别数据分配对应的所述预设场景标签。

可选地，所述第一识别单元具体用于：

依次对所述待识别数据进行残缺数据识别、错误数据识别、重复数据识别以及数据唯一性识别；

若所述待识别数据的残缺数据识别、错误数据识别、重复数据识别或数据唯一性识别中存在任意一项识别无效，则确定所述待识别数据的第一识别结果为数据无效，否则确定所述待识别数据的第一识别结果为数据有效。

可选地，还包括：

清洗单元，用于对所述第一识别结果为数据无效的所述待识别数据进行清洗处理。

可选地，还包括：

处置单元，用于在所述预设场景标签对应的场景下显示所述第一识别结果和所述第二识别结果均为数据有效的所述待识别数据。

本申请第三方面提供一种数据有效性识别设备，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令，执行如上述第一方面所述的数据有效性识别方法的步骤。

本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的数据有效性识别方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例中，提供了一种数据有效性识别方法，对采集的待识别数据除了进行定量识别之外，对待识别数据在各个预设场景标签下的有效性进行了定性识别，确定在每个预设场景标签下数据的有效性，并为待识别数据分配对应的预设场景标签，针对各类用户的不同需求进行有效性数据推送，避免无效数据在场景里出现，解决了现有的数据识别方法一般地只能识别残缺数据、错误数据和重复数据，针对异构数据***，无法解决复杂多维的数据有效性判断的技术问题。

附图说明

图1为本申请实施例中一种数据有效性识别方法的第一个方法流程图；

图2为本申请实施例中一种数据有效性识别方法的第二个方法流程图；

图3为本申请实施例中一种数据有效性识别方法的第三个方法流程图；

图4为本申请实施例中一种数据有效性识别方法的第四个方法流程图；

图5为本申请实施例中一种数据有效性识别装置的一个结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请设计了一种数据有效性识别方法、装置、设备及可读存储介质，解决了现有的数据识别方法一般地只能识别残缺数据、错误数据和重复数据，针对异构数据***，无法解决复杂多维的数据有效性判断的技术问题。

为了便于理解，请参阅图1，图1为本申请实施例中一种数据有效性识别方法的第一个方法流程图，如图1所示，具体为：

101、获取采集的待识别数据；

需要说明的是，首先获取异构数据***中采集到的各种数据来源以及不同种类的待识别数据。

102、通过预置判断规则对待识别数据进行定量识别，得到待识别数据的第一识别结果，第一识别结果包括数据有效或数据无效；

需要说明的是，对于获取到的各种待识别数据，首先通过预置判断规则对待识别数据进行定量识别，定量识别的目的是针对识别数据的结构性以及数据的完整性，通过预置判断规则，即预设的算法对待识别数据进行分析，从而得到待识别数据的第一识别结果，第一识别结果为数据有效或数据无效。

103、对第一识别结果为数据有效的待识别数据进行场景识别，确定待识别数据在预设场景标签下的第二识别结果，第二识别结果包括数据有效或数据无效；

需要说明的是，针对定量识别的第一数据结果为数据有效的待识别数据，再进行定性的场景识别，即识别待识别数据在预设场景标签下的数据有效性。

例如，一辆汽车的数据包括汽车详细检测数据、汽车销售参数数据、汽车外观造型数据以及汽车使用舒适度数据等，针对检测员查看该汽车数据的场景，在该场景中，汽车详细检测数据即为有效数据，而其他数据为无效数据，针对消费者查看该汽车数据的场景，在该场景中，汽车外观造型数据以及汽车使用舒适度数据为有效数据，而其他数据为无效数据。

在上述例子中可以看出，同一条数据针对不同的应用场景，不同的应用对象，其数据的有效性存在差异，而避免无效数据的显示，需要通过本申请实施例提出的场景识别进行数据有效性的二次识别。

104、将第二识别结果为数据有效的待识别数据分配对应的预设场景标签。

需要说明的是，对第二识别结果为数据有效的待识别数据分配对应的预设场景标签，可以理解的是，预设场景标签可以包括多个，可以具体到该数据在哪些限定场景下才属于有效数据。

本申请实施例中，提供了一种数据有效性识别方法，对采集的待识别数据除了进行定量识别之外，对待识别数据在各个预设场景标签下的有效性进行了定性识别，确定在每个预设场景标签下数据的有效性，并为待识别数据分配对应的预设场景标签，针对各类用户的不同需求进行有效性数据推送，避免无效数据在场景里出现，解决了现有的数据识别方法一般地只能识别残缺数据、错误数据和重复数据，针对异构数据***，无法解决复杂多维的数据有效性判断的技术问题。

请参阅图2，图2为本申请实施例中一种数据有效性识别方法的第二个方法流程图，如图2所示，具体为：

201、获取采集的待识别数据；

需要说明的是，首先获取异构数据***中采集到的各种数据来源以及不同种类的待识别数据。

202、依次对待识别数据进行残缺数据识别、错误数据识别、重复数据识别以及数据唯一性识别；

需要说明的是，对于获取到的待识别数据，依次通过残缺数据识别、错误数据识别、重复数据识别以及数据唯一性识别进行定量识别，检验待识别数据的完整性、真实性以及唯一性，由同一个主体产生的相同数据为重复数据，若一个数据的内容相同，但产生的主体不同，依旧不属于重复数据。

203、若待识别数据的残缺数据识别、错误数据识别、重复数据识别或数据唯一性识别中存在任意一项识别无效，则确定待识别数据的第一识别结果为数据无效，否则确定待识别数据的第一识别结果为数据有效；

需要说明的是，若待识别数据的残缺数据识别、错误数据识别、重复数据识别或数据唯一性识别中存在任意一项的识别结果为数据无效，则确定待识别数据的第一识别结果为数据无效，否则确定待识别数据的第一识别结果为数据有效，定量识别为规则性识别，必须是完整、真实且唯一的数据才是有效数据。

204、对第一识别结果为数据有效的待识别数据进行场景识别，确定待识别数据在预设场景标签下的第二识别结果，第二识别结果包括数据有效或数据无效；

需要说明的是，针对定量识别的第一数据结果为数据有效的待识别数据，再进行定性的场景识别，即识别待识别数据在预设场景标签下的数据有效性。

例如，一辆汽车的数据包括汽车详细检测数据、汽车销售参数数据、汽车外观造型数据以及汽车使用舒适度数据等，针对检测员查看该汽车数据的场景，在该场景中，汽车详细检测数据即为有效数据，而其他数据为无效数据，针对消费者查看该汽车数据的场景，在该场景中，汽车外观造型数据以及汽车使用舒适度数据为有效数据，而其他数据为无效数据。

在上述例子中可以看出，同一条数据针对不同的应用场景，不同的应用对象，其数据的有效性存在差异，而避免无效数据的显示，需要通过本申请实施例提出的场景识别进行数据有效性的二次识别。

205、将第二识别结果为数据有效的待识别数据分配对应的预设场景标签。

需要说明的是，对第二识别结果为数据有效的待识别数据分配对应的预设场景标签，可以理解的是，预设场景标签可以包括多个，可以具体到该数据在哪些限定场景下才属于有效数据。

请参阅图3，图3为本申请实施例中一种数据有效性识别方法的第三个方法流程图，如图3所示，具体为：

301、获取采集的待识别数据；

需要说明的是，首先获取异构数据***中采集到的各种数据来源以及不同种类的待识别数据。

302、通过预置判断规则对待识别数据进行定量识别，得到待识别数据的第一识别结果，第一识别结果包括数据有效或数据无效；

需要说明的是，对于获取到的各种待识别数据，首先通过预置判断规则对待识别数据进行定量识别，定量识别的目的是针对识别数据的结构性以及数据的完整性，通过预置判断规则，即预设的算法对待识别数据进行分析，从而得到待识别数据的第一识别结果，第一识别结果为数据有效或数据无效。

303、对第一识别结果为数据无效的待识别数据进行清洗处理；

需要说明的是，对于第一识别结果为数据无效的待识别数据，需要进行清洗处理，将数据清洗出***中，避免产生后续问题。

304、对第一识别结果为数据有效的待识别数据进行场景识别，确定待识别数据在预设场景标签下的第二识别结果，第二识别结果包括数据有效或数据无效；

需要说明的是，针对定量识别的第一数据结果为数据有效的待识别数据，再进行定性的场景识别，即识别待识别数据在预设场景标签下的数据有效性。

例如，一辆汽车的数据包括汽车详细检测数据、汽车销售参数数据、汽车外观造型数据以及汽车使用舒适度数据等，针对检测员查看该汽车数据的场景，在该场景中，汽车详细检测数据即为有效数据，而其他数据为无效数据，针对消费者查看该汽车数据的场景，在该场景中，汽车外观造型数据以及汽车使用舒适度数据为有效数据，而其他数据为无效数据。

在上述例子中可以看出，同一条数据针对不同的应用场景，不同的应用对象，其数据的有效性存在差异，而避免无效数据的显示，需要通过本申请实施例提出的场景识别进行数据有效性的二次识别。

305、将第二识别结果为数据有效的待识别数据分配对应的预设场景标签。

需要说明的是，对第二识别结果为数据有效的待识别数据分配对应的预设场景标签，可以理解的是，预设场景标签可以包括多个，可以具体到该数据在哪些限定场景下才属于有效数据。

请参阅图4，图4为本申请实施例中一种数据有效性识别方法的第四个方法流程图，如图4所示，具体为：

401、获取采集的待识别数据；

需要说明的是，首先获取异构数据***中采集到的各种数据来源以及不同种类的待识别数据。

402、通过预置判断规则对待识别数据进行定量识别，得到待识别数据的第一识别结果，第一识别结果包括数据有效或数据无效；

需要说明的是，对于获取到的各种待识别数据，首先通过预置判断规则对待识别数据进行定量识别，定量识别的目的是针对识别数据的结构性以及数据的完整性，通过预置判断规则，即预设的算法对待识别数据进行分析，从而得到待识别数据的第一识别结果，第一识别结果为数据有效或数据无效。

403、对第一识别结果为数据有效的待识别数据进行场景识别，确定待识别数据在预设场景标签下的第二识别结果，第二识别结果包括数据有效或数据无效；

需要说明的是，针对定量识别的第一数据结果为数据有效的待识别数据，再进行定性的场景识别，即识别待识别数据在预设场景标签下的数据有效性。

例如，一辆汽车的数据包括汽车详细检测数据、汽车销售参数数据、汽车外观造型数据以及汽车使用舒适度数据等，针对检测员查看该汽车数据的场景，在该场景中，汽车详细检测数据即为有效数据，而其他数据为无效数据，针对消费者查看该汽车数据的场景，在该场景中，汽车外观造型数据以及汽车使用舒适度数据为有效数据，而其他数据为无效数据。

在上述例子中可以看出，同一条数据针对不同的应用场景，不同的应用对象，其数据的有效性存在差异，而避免无效数据的显示，需要通过本申请实施例提出的场景识别进行数据有效性的二次识别。

404、将第二识别结果为数据有效的待识别数据分配对应的预设场景标签；

需要说明的是，对第二识别结果为数据有效的待识别数据分配对应的预设场景标签，可以理解的是，预设场景标签可以包括多个，可以具体到该数据在哪些限定场景下才属于有效数据。

405、在预设场景标签对应的场景下显示第一识别结果和第二识别结果均为数据有效的待识别数据。

请参阅图5，图5为本申请实施例中一种数据有效性识别装置的一个结构示意图，如图5所示，包括：

获取单元501，用于获取采集的待识别数据；

第一识别单元502，用于通过预置判断规则对待识别数据进行定量识别，得到待识别数据的第一识别结果，第一识别结果包括数据有效或数据无效；

第二识别单元503，用于对第一识别结果为数据有效的待识别数据进行场景识别，确定待识别数据在预设场景标签下的第二识别结果，第二识别结果包括数据有效或数据无效；

分配单元504，用于将第二识别结果为数据有效的待识别数据分配对应的预设场景标签。

进一步地，第一识别单元502具体用于：

依次对待识别数据进行残缺数据识别、错误数据识别、重复数据识别以及数据唯一性识别；

若待识别数据的残缺数据识别、错误数据识别、重复数据识别或数据唯一性识别中存在任意一项识别无效，则确定待识别数据的第一识别结果为数据无效，否则确定待识别数据的第一识别结果为数据有效。

进一步地，还包括：

清洗单元505，用于对第一识别结果为数据无效的待识别数据进行清洗处理。

进一步地，还包括：

处置单元506，用于在预设场景标签对应的场景下显示第一识别结果和第二识别结果均为数据有效的待识别数据。

本申请实施例还提供一种数据有效性识别设备，设备包括处理器以及存储器：

存储器用于存储程序代码，并将程序代码传输给处理器；

处理器用于根据程序代码中的指令，执行前述各个实施例的一种数据有效性识别方法中的任意一种实施方式。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行前述各个实施例的一种数据有效性识别方法中的任意一种实施方式。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种数据有效性识别方法，其特征在于，包括：

获取采集的待识别数据；

通过预置判断规则对所述待识别数据进行定量识别，得到所述待识别数据的第一识别结果，所述第一识别结果包括数据有效或数据无效；

对所述第一识别结果为数据有效的所述待识别数据进行场景识别，确定所述待识别数据在预设场景标签下的第二识别结果，所述第二识别结果包括数据有效或数据无效；

将所述第二识别结果为数据有效的所述待识别数据分配对应的所述预设场景标签。

2.根据权利要求1所述的数据有效性识别方法，其特征在于，所述通过预置判断规则对所述待识别数据进行定量识别，得到所述待识别数据的第一识别结果，所述第一识别结果包括数据有效或数据无效具体包括：

依次对所述待识别数据进行残缺数据识别、错误数据识别、重复数据识别以及数据唯一性识别；

若所述待识别数据的残缺数据识别、错误数据识别、重复数据识别或数据唯一性识别中存在任意一项识别无效，则确定所述待识别数据的第一识别结果为数据无效，否则确定所述待识别数据的第一识别结果为数据有效。

3.根据权利要求1所述的数据有效性识别方法，其特征在于，所述得到所述待识别数据的第一识别结果之后还包括：

对所述第一识别结果为数据无效的所述待识别数据进行清洗处理。

4.根据权利要求1所述的数据有效性识别方法，其特征在于，所述将所述第二识别结果为数据有效的所述待识别数据分配对应的所述预设场景标签之后还包括：

在所述预设场景标签对应的场景下显示所述第一识别结果和所述第二识别结果均为数据有效的所述待识别数据。

5.一种数据有效性识别装置，其特征在于，包括：

获取单元，用于获取采集的待识别数据；

第一识别单元，用于通过预置判断规则对所述待识别数据进行定量识别，得到所述待识别数据的第一识别结果，所述第一识别结果包括数据有效或数据无效；

第二识别单元，用于对所述第一识别结果为数据有效的所述待识别数据进行场景识别，确定所述待识别数据在预设场景标签下的第二识别结果，所述第二识别结果包括数据有效或数据无效；

分配单元，用于将所述第二识别结果为数据有效的所述待识别数据分配对应的所述预设场景标签。

6.根据权利要求5所述的数据有效性识别装置，其特征在于，所述第一识别单元具体用于：

依次对所述待识别数据进行残缺数据识别、错误数据识别、重复数据识别以及数据唯一性识别；

若所述待识别数据的残缺数据识别、错误数据识别、重复数据识别或数据唯一性识别中存在任意一项识别无效，则确定所述待识别数据的第一识别结果为数据无效，否则确定所述待识别数据的第一识别结果为数据有效。

7.根据权利要求5所述的数据有效性识别装置，其特征在于，还包括：

清洗单元，用于对所述第一识别结果为数据无效的所述待识别数据进行清洗处理。

8.根据权利要求5所述的数据有效性识别装置，其特征在于，还包括：

处置单元，用于在所述预设场景标签对应的场景下显示所述第一识别结果和所述第二识别结果均为数据有效的所述待识别数据。

9.一种数据有效性识别设备，其特征在于，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-4任一项所述的数据有效性识别方法。

10.一种可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-4任一项所述的数据有效性识别方法。

Images