CN115293126A - 大规模文本数据的去重方法及装置、电子设备和存储介质 - Google Patents

Abstract

本公开公开了大规模文本数据的去重方法及装置、电子设备和存储介质，涉及数据处理领域，主要技术方案包括：将第一待去重数据划分至少两个数据段，每个数据段包含至少两个数据；在第一数据段内，分别针对单个数据执行预设哈希算法，得至少一个哈希分块；对第一数据段内的至少两个数据执行去重计算，得第二待去重数据；依次将第二待去重数据中的哈希分块与预设参考数据库中的哈希分块进行比对；根据比对结果的相似度进行二次去重计算，并继续执行第一待去重数据中剩余的第二数据段内的去重计算。与相关技术相比，本公开实施例将大规模数据拆分成小段数据，然后依次对每段数据进行去重操作，进而实现文本数据去重规模突破设备内存限制。

Description

大规模文本数据的去重方法及装置、电子设备和存储介质

技术领域

本公开涉及数据处理领域，尤其涉及一种大规模文本数据的去重方法及装置、电子设备和存储介质。

背景技术

对于海量大规模的文本数据，文本数据间不可避免的会出现文字上或者文本含义上的彼此重复，去重是一项重要的海量文本数据的预处理。在文本数据去重过程中，既会要求对于完全相同的文本数据进行去重，又要兼顾相似但不完全相同的文本数据。

目前，对文本数据进行去重处理的方法，存在一次性对所有数据进行去重处理，即直接一次性读取全部待去重数据，对任意两条待去重数据分别进行相似度计算，并根据计算结果进行去重处理。

上述去重方法虽然在一定程度上实现了对文本数据的去重处理，但是还存在着一些问题，当一次性对所有数据进行去重处理时，需要一次性将所有待去重数据读入内存，而计算设备内存有限，特别是当去重数据规模较大时，设备内存将无法承载，因此该方法对于可处理的去重数据规模的限制较大。

发明内容

本公开提供了一种大规模文本数据的去重方法及装置、电子设备和存储介质。其主要目的在于解决现有文本数据去重技术中去重规模受设备内存限制的问题。本公开实施例能够实现文本数据去重规模突破设备内存限制。

根据本公开的第一方面，提供了一种大规模文本数据的去重方法，包括：

将第一待去重数据划分至少两个数据段，每个数据段内包含至少两个数据；

在第一数据段内，分别针对单个数据执行预设哈希算法，得到至少一个哈希分块；

对所述第一数据段内的至少两个哈希分块对应的数据执行去重计算，得到第二待去重数据；

依次将所述第二待去重数据中的哈希分块与预设参考数据库中的哈希分块进行比对；

根据比对结果的相似度进行二次去重计算，并继续执行所述第一待去重数据中剩余的第二数据段内的去重计算。

可选的，所述在第一数据段内，分别针对单个数据执行预设哈希算法，得到至少一个哈希分块包括：

在第一数据段内，分别针对单个数据执行预设哈希计算，得到至少一个哈希分块；

对所述至少一个哈希分块，依次使用预设哈希算法计算得到至少一个哈希分块。

可选的，所述对所述第一数据段内的至少两个哈希分块对应的数据执行去重计算包括：

若第一数据段内两数据间任一相同位置的哈希分块的哈希值相同，则确定所述两数据为第一可能重复的数据；

基于预设相似度算法，对所述第一数据段内的第一可能重复的数据执行相似度计算；

若所述第一可能重复的数据之间的相似度超过第一预设相似阈值，则将所述第一可能重复的数据中的任一数据丢弃；

若所述第一可能重复的数据之间的相似度未超过所述第一预设相似阈值，则将所述第一可能重复的数据保留。

可选的，所述根据比对结果的相似度进行二次去重计算包括：

若所述预设参考数据库为空，则将第二待去重数据存入预设参考数据库；

若所述预设参考数据库不为空，则判断所述第二待去重数据中的第一数据包含的哈希分块与所述预设参考数据库中的任意第二数据包含的哈希分块的哈希值是否相同，且判断所述两条数据相同哈希值的哈希分块位置是否也相同，若两条数据在任一相同位置上哈希分块的哈希值相同，则确定第一数据与第二数据为第二可能重复的数据；

基于预设文本相似度算法，计算所述第一数据与第二数据之间的相似度；

若相似度超过第二预设相似阈值，则将所述第二待去重数据中的第一数据丢弃；

若相似度未超过所述第二预设相似阈值，则将所述第二待去重数据中的第一数据保留。可选的，所述方法还包括：

基于去重处理后的第二待去重数据对所述预设参考数据库进行更新。

根据本公开的第二方面，提供了一种代码检测模型的更新装置，包括：

划分单元，用于将第一待去重数据划分至少两个数据段，每个数据段内包含至少两个数据；

第一计算单元，用于在第一数据段内，分别针对单个数据执行预设哈希算法，得到至少一个哈希分块；

第二计算单元，用于对所述第一数据段内的至少两个哈希分块对应的数据执行去重计算，得到第二待去重数据；

比对单元，用于依次将所述第二待去重数据中的哈希分块与预设参考数据库中的哈希分块进行比对；

第三计算单元，用于根据比对单元的比对结果相似度进行二次去重计算，并继续执行所述第一待去重数据中剩余的第二数据段内的去重计算。

可选的，所述第一计算单元包括：

第一计算模块，用于在第一数据段内，分别针对单个数据执行预设签名计算，得到至少一个签名分块；

第二计算模块，用于对所述至少一个签名分块，依次使用预设哈希算法计算得到至少一个哈希分块。

可选的，所述第二计算单元包括：

确定模块，当第一数据段内两数据间任一相同位置的哈希分块的哈希值相同时，确定所述两数据为第一可能重复的数据；

计算模块，用于基于预设相似度算法，对所述第一数据段内的第一可能重复的数据执行相似度计算；

丢弃模块，当所述第一可能重复的数据之间的相似度超过第一预设相似阈值时，将所述第一可能重复的数据中的任一数据丢弃；

保留模块，当所述第一可能重复的数据之间的相似度未超过所述第一预设相似阈值时，将所述第一可能重复的数据保留。

可选的，所述第三计算单元包括：

存入模块，当所述预设参考数据库为空时，将第二待去重数据存入预设参考数据库；

确定模块，当所述预设参考数据库不为空时，判断所述第二待去重数据中的第一数据包含的哈希分块与所述预设参考数据库中的任意第二数据包含的哈希分块的哈希值是否相同，且判断所述两条数据相同哈希值的哈希分块位置是否也相同，当两条数据在任一相同位置上哈希分块的哈希值相同时，确定第一数据与第二数据为第二可能重复的数据；

计算模块，用于基于预设文本相似度算法，计算所述第一数据与第二数据之间的相似度；

丢弃模块，当相似度超过第二预设相似阈值时，将所述第二待去重数据中的第一数据丢弃；

保留模块，当相似度未超过所述第二预设相似阈值时，将所述第二待去重数据中的第一数据保留。

可选的，所述装置还包括：

更新单元，用于基于去重处理后的第二待去重数据对所述预设参考数据库进行更新。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述第一方面所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述第一方面所述的方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如前述第一方面所述的方法。

本公开提供的大规模文本数据的去重方法及装置、电子设备和存储介质，将第一待去重数据划分至少两个数据段，每个数据段内包含至少两个数据；在第一数据段内，分别针对单个数据执行预设哈希算法，得到至少一个哈希分块；对所述第一数据段内的至少两个哈希分块对应的数据执行去重计算，得到第二待去重数据；依次将所述第二待去重数据中的哈希分块与预设参考数据库中的哈希分块进行比对；根据比对结果的相似度进行二次去重计算，并继续执行所述第一待去重数据中剩余的第二数据段内的去重计算。与相关技术相比。本公开实施例先基于哈希算法进行局部去重，再通过数据库实现对数据的整体去重，在一定程度上提高了去重执行的效率，同时还具有较好的去重效果，本公开实施例在执行大规模数据去重时，首先将大规模数据拆分成小段数据，然后依次对每段数据进行去重操作，所述去重操作包括基于哈希算法对本段数据完成第一次去重，得到第二待去重数据，将所述第二待去重数据的哈希分块与预设参考数据库中数据的哈希分块对比，基于对比结果相似度完成第二次去重。通过将大规模数据进行分批次去重操作，进而使本公开实施例实现文本数据去重规模突破设备内存限制。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开实施例所提供的一种大规模文本数据的去重方法的流程示意图；

图2为本公开实施例所提供的一种大规模文本数据的整体去重流程示意图；

图3为本公开实施例提供了一种大规模文本数据局部去重流程示意图；

图4为本公开实施例提供了一种大规模文本数据基于数据库去重流程示意图；

图5为本公开提供的一种大规模文本数据的去重装置的结构示意图；

图6本公开提供的另一种大规模文本数据的去重装置的结构示意图；

图7示出了可以用来实施本公开的实施例的示例电子设备300的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

下面参考附图描述本公开实施例的大规模文本数据的去重方法、装置、电子设备和存储介质。

图1为本公开实施例所提供的一种大规模文本数据的去重方法的流程示意图。如图1所示，该方法包含以下步骤：

步骤101，将第一待去重数据划分至少两个数据段，每个数据段内包含至少两个数据。

所述第一待去重数据，为未进行去重处理的总量数据，为了便于对数据的处理，本公开实施例在对第一待去重数据处理之前，先将所述第一待去重数据划分至少两个数据段，且每个数据段包含至少两个数据。当第一待去重数据总量规模较大时，采用第一待去重数据分段处理进行数据去重，可以将大规模第一待去重数据分成小段，依次输入计算设备进行去重处理，从而实现在计算设备算力资源有限的条件下，实现对较大规模的第一待去重数据去重。

步骤102，在第一数据段内，分别针对单个数据执行预设哈希算法，得到至少一个哈希分块。

所述第一数据段为第一待去重数据经步骤101生成的至少两个数据段的其中之一，且由上述内容可知，所述第一数据段包含至少两个数据，依次针对单个数据执行预设哈希算法，得到每个数据的至少一个哈希分块，所述哈希分块为哈希编码标识。

为了实现初步判断第一数据段中可能存在的重复数据，本公开实施例提供了一种实现的可能，即第一数据段内数据通过对比其之间的哈希分块，当某两条数据分别对应的哈希分块，有一块相同且位置也相同时，初步判断该两条数据可能为重复数据，再基于计算相似度做最终确定，从而实现初步判断第一数据段中可能存在的重复数据。

步骤103，对所述第一数据段内的至少两个哈希分块对应的数据执行去重计算，得到第二待去重数据。

所述对所述第一数据段内的至少两个哈希分块对应的数据执行去重计算，即基于文本相似度算法对第一数据段内数据进行相似度计算。

为了实现对步骤102判断的可能重复的数据进行最终确定，本公开实施例提供了一种实现的可能，即对由步骤102判断的可能为重复的两条数据进行相似度计算，得到两条数据的相似度，将所述两条数据的相似度与第一预设相似阈值进行对比，来判断该两条数据是否为重复数据，如果是重复数据，则随机删除其中之一，剩余数据组成第二待去重数据，从而实现了对步骤102判断的可能为重复数据的数据进行最终确定，进而实现了对第一数据段内数据的去重。

步骤104，依次将所述第二待去重数据中的哈希分块与预设参考数据库中的哈希分块进行比对。

为了实现初步判断第二待去重数据中与预设参考数据库中可能存在的重复数据，本公开实施例将第一数据段第一次去重后得到的第二待去重数据与预设参考数据库中的数据作对比。

依次将第二待去重数据中一条数据对应的哈希分块与预设参考数据库中数据对应的哈希分块作对比，当某两条数据分别对应的哈希分块，有一块哈希值相同且位置也相同时，初步判断该两条数据可能为重复数据，再基于计算相似度做最终确定，从而实现了初步判断第二待去重数据中与预设参考数据库中可能存在的重复数据。

步骤105，根据比对结果的相似度进行二次去重计算，并继续执行所述第一待去重数据中剩余的第二数据段内的去重计算。

为了实现对步骤104判断的可能重复的数据进行最终确定，本公开实施例提供了一种实现的可能，即当第二待去重数据中的一条数据与预设参考数据库中的一条数据经步骤104被判定互为重复数据时，则基于文本相似度算法，计算该两条数据的相似度，并将所述两条数据的相似度与第二预设相似阈值进行比较，以此来判断该两条数据是否为重复数据，如果是重复数据，则将第二待去重数据的该条重复数据删除；若两条数据不为重复数据，则将第二待去重数据的该条数据存入数据库，从而实现对步骤104判断的可能重复的数据进行最终确定，进而实现对第二待去重数据的去重，并完成对第一数据段的去重。

对第二数据段采用与第一数据段相同的去重操作，以此完成对所有数据段的去重，从而实现对大规模数据的全部去重。

为了更***的展示本公开实施例的整体去重过程，图2为本公开实施例提供的一种大规模文本数据的整体去重流程示意图，如图2所示，本公开实施例采用了先基于哈希算法进行局部去重，再通过数据库实现对数据的整体去重的去重方案，为了清楚和简明，具体过程在此不再进行赘述。

本公开提供的大规模文本数据的去重方法，将第一待去重数据划分至少两个数据段，每个数据段内包含至少两个数据；在第一数据段内，分别针对单个数据执行预设哈希算法，得到至少一个哈希分块；对所述第一数据段内的至少两个哈希分块对应的数据执行去重计算，得到第二待去重数据；依次将所述第二待去重数据中的哈希分块与预设参考数据库中的哈希分块进行比对；根据比对结果的相似度进行二次去重计算，并继续执行所述第一待去重数据中剩余的第二数据段内的去重计算。与相关技术相比，本公开实施例先基于哈希算法进行局部去重，再通过数据库实现对数据的整体去重，在一定程度上提高了去重执行的效率，同时还具有较好的去重效果，本公开实施例在执行大规模数据去重时，首先将大规模数据拆分成小段数据，然后依次对每段数据进行去重操作，所述去重操作包括基于哈希算法对本段数据完成第一次去重，得到第二待去重数据，将所述第二待去重数据的哈希分块与预设参考数据库中数据的哈希分块对比，基于对比结果相似度完成第二次去重。通过将大规模数据进行分批次去重操作，进而使本公开实施例实现文本数据去重规模突破设备内存限制。

作为本公开实施例的细化，在步骤102执行在第一数据段内，分别针对单个数据执行预设哈希算法，得到至少一个哈希分块时，可以采用但不限于以下实现方式，例如：在第一数据段内，分别针对单个数据执行预设签名计算，得到至少一个签名分块；对所述至少一个签名分块，依次使用预设哈希算法计算得到至少一个哈希分块。

为了方便理解上述实现方式，在此对所述得到至少一个哈希分块的过程进行下详细说明，对于第一数据段内的每个数据，首先计算其哈希签名，每个数据对应一个签名分块，最后将得到的签名分块基于所述预设哈希算法计算得到签名分块对应的哈希分块，所述预设哈希算法为哈希函数。例如：将一个数据进行计算得到所述数据对应的哈希签名，将所述数据对应的哈希签名进行分块，得到至少一个签名分块，将所述签名分块基于哈希函数计算，得到签名分块对应的哈希分块。具体的，本公开实施例对此不进行限定。

作为上述实施例的细化，在步骤103执行对所述第一数据段内的至少两个哈希分块对应的数据执行去重计算时，可以采用但不限于以下实现方式，例如：若第一数据段内两数据间任一相同位置的哈希分块的哈希值相同，则确定所述两数据为第一可能重复的数据；基于预设相似度算法，对所述第一数据段内的第一可能重复的数据执行相似度计算；若所述第一可能重复的数据之间的相似度超过第一预设相似阈值，则将所述第一可能重复的数据中的任一数据丢弃；若所述第一可能重复的数据之间的相似度未超过所述第一预设相似阈值，则将所述第一可能重复的数据保留。

在执行所述相似度计算之前，本公开实施例会基于哈希分块初步判断数据是否为可能重复的数据，例如：第一数据段的某条数据所对应的某一个哈希分块与另一条数据对应的相同位置哈希分块相同，则初步判断两条数据可能为重复数据，之后再对初步判定为重复数据的数据进行单独验证，所述单独验证，即对所述重复数据进行相似度计算。完成对数据是否重复的初步判断后，将判定为可能重复的一对数据计算相似度，将计算得到的相似度与第一预设相似阈值相比较，若两条数据的相似度高于第一预设相似度阈值，则确定两数据为重复数据，并随机删除重复数据的其中之一，若两条数据的相似度低于第一预设相似度阈值，则确定两数据不为重复数据，并保留全部数据，以此完成局部去重。对重复数据的初步判断方式及重复数据的确定方式，本公开实施例对此不进行限定。

为了更直观的展示本公开实施例大规模文本数据局部去重的过程，图3本公开实施例提供了一种大规模文本数据局部去重流程示意图，如图3所示。

作为上述实施例的细化，在步骤105执行根据比对结果的相似度进行二次去重计算时，可以采用但不限于以下实现方式，例如：若所述预设参考数据库为空，则将第二待去重数据存入预设参考数据库；若所述预设参考数据库不为空，则判断所述第二待去重数据中的第一数据包含的哈希分块与所述预设参考数据库中的任意第二数据包含的哈希分块的哈希值是否相同，且判断所述两条数据相同哈希值的哈希分块位置是否也相同，若两条数据在任一相同位置上哈希分块的哈希值相同，则确定第一数据与第二数据为第二可能重复的数据；基于预设文本相似度算法，计算所述第一数据与第二数据之间的相似度；若相似度超过第二预设相似阈值，则将所述第二待去重数据中的第一数据丢弃；若相似度未超过所述第二预设相似阈值，则将所述第二待去重数据中的第一数据保留。

为了更直观的展示本公开实施例大规模文本数据基于数据库去重的过程，图4本公开实施例提供了一种大规模文本数据基于数据库去重流程示意图，如图4所示。

作为本公开实施例的细化，所述大规模文本数据去重方法还包括基于去重处理后的第二待去重数据对所述预设参考数据库进行更新。例如：将确定为不重复的数据对应的哈希分块存入所述预设参考数据库，以此完成对所述预设参考数据库的更新。

综上所述，本公开实施例能达到以下效果：

1.本公开实施例在执行大规模数据去重时，首先将大规模数据拆分成小段数据，然后依次对每段数据进行去重操作，所述去重操作包括基于哈希算法对本段数据完成第一次去重，得到第二待去重数据，将所述第二待去重数据的哈希分块与预设参考数据库中数据的哈希分块对比，基于对比结果相似度完成第二次去重。通过将大规模数据进行分批次去重操作，进而使本公开实施例实现文本数据去重规模突破设备内存限制。

2.本公开实施例通过先局部再整体的去重实现方案，减少了每批次中的重复数据和数据库的耗时比较，从而提升去重的执行速度，进而提高了去重执行效率，还保有较好的去重效果。

3.通过对所述第一数据段内的至少两个哈希分块对应的数据执行去重计算，得到第二待去重数据。实现了对数据是否为重复数据的确定，并完成了对数据的局部去重。

4.通过依次将所述第二待去重数据中的哈希分块与预设参考数据库中的哈希分块进行比对，实现了对第二待去重数据与预设参考数据库中数据可能重复数据的初步判断。

5.根据比对结果的相似度进行二次去重计算，并继续执行所述第一待去重数据中剩余的第二数据段内的去重计算。实现了对数据是否为重复数据的确定，并完成了对数据的最终去重。

6.通过基于去重处理后的第二待去重数据对所述预设参考数据库进行更新。实现了预设参考数据库内数据的更新，以保证待去重数据基于预设参考数据库去重时，预设参考数据库内数据为最新状态的数据，从而保证了大规模文本数据去重的质量。

与上述的代码检测模型的更新方法相对应，本发明还提出一种代码检测模型的更新装置。由于本发明的装置实施例与上述的方法实施例相对应，对于装置实施例中未披露的细节可参照上述的方法实施例，本发明中不再进行赘述。

图5本公开提供的一种大规模文本数据的去重装置的结构示意图。

本发明还提出一种大规模文本数据的去重装置，图5所示，包括：

划分单元21，用于将第一待去重数据划分至少两个数据段，每个数据段内包含至少两个数据；

第一计算单元22，用于在第一数据段内，分别针对单个数据执行预设哈希算法，得到至少一个哈希分块；

第二计算单元23，用于对所述第一数据段内的至少两个哈希分块对应的数据执行去重计算，得到第二待去重数据；

比对单元24，用于依次将所述第二待去重数据中的哈希分块与预设参考数据库中的哈希分块进行比对；

第三计算单元25，用于根据比对单元的比对结果相似度进行二次去重计算，并继续执行所述第一待去重数据中剩余的第二数据段内的去重计算。

本公开提供的大规模文本数据的去重装置，将第一待去重数据划分至少两个数据段，每个数据段内包含至少两个数据；在第一数据段内，分别针对单个数据执行预设哈希算法，得到至少一个哈希分块；对所述第一数据段内的至少两个哈希分块对应的数据执行去重计算，得到第二待去重数据；依次将所述第二待去重数据中的哈希分块与预设参考数据库中的哈希分块进行比对；根据比对结果的相似度进行二次去重计算，并继续执行所述第一待去重数据中剩余的第二数据段内的去重计算。与相关技术相比，本公开实施例先基于哈希算法进行局部去重，再通过数据库实现对数据的整体去重，在一定程度上提高了去重执行的效率，同时还具有较好的去重效果，本公开实施例在执行大规模数据去重时，首先将大规模数据拆分成小段数据，然后依次对每段数据进行去重操作，所述去重操作包括基于哈希算法对本段数据完成第一次去重，得到第二待去重数据，将所述第二待去重数据的哈希分块与预设参考数据库中数据的哈希分块对比，基于对比结果相似度完成第二次去重。通过将大规模数据进行分批次去重操作，进而使本公开实施例实现文本数据去重规模突破设备内存限制。

进一步地，在本实施例一种可能的实现方式中，如图6所示，图6本公开提供的另一种大规模文本数据的去重装置的结构示意图，所述第一计算单元22还包括：

第一计算模块221，用于在第一数据段内，分别针对单个数据执行预设签名计算，得到至少一个签名分块；

第二计算模块222，用于对所述至少一个签名分块，依次使用预设哈希算法计算得到至少一个哈希分块。

进一步地，在本实施例一种可能的实现方式中，如图6所示，所述第二计算单元23还包括：

确定模块231，当第一数据段内两数据间任一相同位置的哈希分块的哈希值相同时，确定所述两数据为第一可能重复的数据；

计算模块232，用于基于预设相似度算法，对所述第一数据段内的第一可能重复的数据执行相似度计算；

丢弃模块233，当所述第一可能重复的数据之间的相似度超过第一预设相似阈值时，将所述第一可能重复的数据中的任一数据丢弃；

保留模块234，当所述第一可能重复的数据之间的相似度未超过所述第一预设相似阈值时，将所述第一可能重复的数据保留。

进一步地，在本实施例一种可能的实现方式中，如图6所示，所述第三计算单元25还包括：

存入模块251，当所述预设参考数据库为空时，将第二待去重数据存入预设参考数据库；

确定模块252，当所述预设参考数据库不为空时，判断所述第二待去重数据中的第一数据包含的哈希分块与所述预设参考数据库中的任意第二数据包含的哈希分块的哈希值是否相同，且判断所述两条数据相同哈希值的哈希分块位置是否也相同，当两条数据在任一相同位置上哈希分块的哈希值相同时，确定第一数据与第二数据为第二可能重复的数据；

计算模块253，用于基于预设文本相似度算法，计算所述第一数据与第二数据之间的相似度；

丢弃模块254，当相似度超过第二预设相似阈值时，将所述第二待去重数据中的第一数据丢弃；

保留模块255，当相似度未超过所述第二预设相似阈值时，将所述第二待去重数据中的第一数据保留。

进一步地，在本实施例一种可能的实现方式中，如图6所示，所述装置还包括：

更新单元26，用于基于去重处理后的第二待去重数据对所述预设参考数据库进行更新。

需要说明的是，前述对方法实施例的解释说明，也适用于本实施例的装置，原理相同，本实施例中不再限定。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图7示出了可以用来实施本公开的实施例的示例电子设备300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，设备300包括计算单元301，其可以根据存储在ROM(Read-OnlyMemory，只读存储器)302中的计算机程序或者从存储单元308加载到RAM(Random AccessMemory，随机访问/存取存储器)303中的计算机程序，来执行各种适当的动作和处理。在RAM303中，还可存储设备300操作所需的各种程序和数据。计算单元301、ROM 302以及RAM303通过总线304彼此相连。I/O(Input/Output，输入/输出)接口305也连接至总线304。

设备300中的多个部件连接至I/O接口305，包括：输入单元306，例如键盘、鼠标等；输出单元307，例如各种类型的显示器、扬声器等；存储单元308，例如磁盘、光盘等；以及通信单元309，例如网卡、调制解调器、无线通信收发机等。通信单元309允许设备300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元301的一些示例包括但不限于CPU(Central Processing Unit，中央处理单元)、GPU(Graphic Processing Units，图形处理单元)、各种专用的AI(Artificial Intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元301执行上文所描述的各个方法和处理，例如异常诊疗行为的检测方法。例如，在一些实施例中，异常诊疗行为的检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元308。在一些实施例中，计算机程序的部分或者全部可以经由ROM 302和/或通信单元309而被载入和/或安装到设备300上。当计算机程序加载到RAM 303并由计算单元301执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行前述异常诊疗行为的检测方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、FPGA(Field Programmable Gate Array，现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit，专用集成电路)、ASSP(Application Specific StandardProduct，专用标准产品)、SOC(System On Chip，芯片上***的***)、CPLD(ComplexProgrammable Logic Device，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory，可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Disc Read-Only Memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode-Ray Tube，阴极射线管)或者LCD(Liquid Crystal Display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：LAN(LocalArea Network，局域网)、WAN(Wide Area Network，广域网)、互联网和区块链网络。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式***的服务器，或者是结合了区块链的服务器。

其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (10)

1.一种大规模文本数据的去重方法，其特征在于，包括：

将第一待去重数据划分至少两个数据段，每个数据段内包含至少两个数据；

在第一数据段内，分别针对单个数据执行预设哈希算法，得到至少一个哈希分块；

对所述第一数据段内的至少两个哈希分块对应的数据执行去重计算，得到第二待去重数据；

依次将所述第二待去重数据中的哈希分块与预设参考数据库中的哈希分块进行比对；

根据比对结果的相似度进行二次去重计算，并继续执行所述第一待去重数据中剩余的第二数据段内的去重计算。

2.根据权利要求1所述的去重方法，其特征在于，所述在第一数据段内，分别针对单个数据执行预设哈希算法，得到至少一个哈希分块包括：

在第一数据段内，分别针对单个数据执行预设签名计算，得到至少一个签名分块；

对所述至少一个签名分块，依次使用预设哈希算法计算得到至少一个哈希分块。

3.根据权利要求1所述的去重方法，其特征在于，所述对所述第一数据段内的至少两个哈希分块对应的数据执行去重计算包括：

若第一数据段内两数据间任一相同位置的哈希分块的哈希值相同，则确定所述两数据为第一可能重复的数据；

基于预设相似度算法，对所述第一数据段内的第一可能重复的数据执行相似度计算；

若所述第一可能重复的数据之间的相似度超过第一预设相似阈值，则将所述第一可能重复的数据中的任一数据丢弃；

若所述第一可能重复的数据之间的相似度未超过所述第一预设相似阈值，则将所述第一可能重复的数据保留。

4.根据权利要求1所述的去重方法，其特征在于，所述根据比对结果的相似度进行二次去重计算包括：

若所述预设参考数据库为空，则将第二待去重数据存入预设参考数据库；

若所述预设参考数据库不为空，则判断所述第二待去重数据中的第一数据包含的哈希分块与所述预设参考数据库中的任意第二数据包含的哈希分块的哈希值是否相同，且判断所述两条数据相同哈希值的哈希分块位置是否也相同，若两条数据在任一相同位置上哈希分块的哈希值相同，则确定第一数据与第二数据为第二可能重复的数据；

基于预设文本相似度算法，计算所述第一数据与第二数据之间的相似度；

若相似度超过第二预设相似阈值，则将所述第二待去重数据中的第一数据丢弃；

若相似度未超过所述第二预设相似阈值，则将所述第二待去重数据中的第一数据保留。

5.根据权利要求4所述的去重方法，其特征在于，所述方法还包括：

基于去重处理后的第二待去重数据对所述预设参考数据库进行更新。

6.一种大规模文本数据的去重装置，其特征在于，包括：

划分单元，用于将第一待去重数据划分至少两个数据段，每个数据段内包含至少两个数据；

第一计算单元，用于在第一数据段内，分别针对单个数据执行预设哈希算法，得到至少一个哈希分块；

第二计算单元，用于对所述第一数据段内的至少两个哈希分块对应的数据执行去重计算，得到第二待去重数据；

比对单元，用于依次将所述第二待去重数据中的哈希分块与预设参考数据库中的哈希分块进行比对；

第三计算单元，用于根据比对单元的比对结果相似度进行二次去重计算，并继续执行所述第一待去重数据中剩余的第二数据段内的去重计算。

7.根据权利要求6所述的去重装置，其特征在于，所述装置还包括：

更新单元，用于基于去重处理后的第二待去重数据对所述预设参考数据库进行更新。

8.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。

9.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。

10.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-5中任一项所述的方法。

Images