CN109740161A

CN109740161A - 数据泛化方法、装置、设备和介质

Info

Publication number: CN109740161A
Application number: CN201910015940.0A
Authority: CN
Inventors: 周环宇; 冯欣伟; 余淼
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2019-01-08
Filing date: 2019-01-08
Publication date: 2019-05-10
Anticipated expiration: 2039-01-08
Also published as: CN109740161B

Abstract

本发明实施例公开了一种数据泛化方法、装置、设备和介质，涉及数据处理技术领域。该方法包括：根据各检索项中的词语，对包括待泛化的目标检索项和历史检索项的检索项集进行分组；根据分组结果，从历史检索项中确定所述目标检索项的泛化检索项。本发明实施例提供了一种数据泛化方法、装置、设备和介质，实现了对待泛化的检索项进行合理和广泛的泛化。

Description

数据泛化方法、装置、设备和介质

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据泛化方法、装置、设备和介质。

背景技术

表述同一语义的检索项(query)往往具有不止一种表述形式，如何尽可能多的挖掘这些表述形式就是对query的泛化。

当前对query的泛化主要是基于同义词进行关键词的替换。

然而，尽管使用关键词替换能够解决一部分的泛化，但是这些泛化还不够全面。毕竟关键词替换可以解决的问题的是有限的，但是人总可能想出一些意想不到的提问方式。

此外，关键词替换在特定主语情况下也可能出现错误。比如在绝大多数情况下“谁”和“哪个人”是等义的。但是比如对于“2018足球世界杯冠军是谁”，泛化为“2018足球世界杯冠军是哪个人”显然是不合适的。

发明内容

本发明实施例提供一种数据泛化方法、装置、设备和介质，以实现对待泛化的检索项进行合理和广泛的泛化。

第一方面，本发明实施例提供了一种数据泛化方法，该方法包括：

根据各检索项中的词语，对包括待泛化的目标检索项和历史检索项的检索项集进行分组；

根据分组结果，从历史检索项中确定所述目标检索项的泛化检索项。

第二方面，本发明实施例还提供了一种数据泛化装置，该装置包括：

分组模块，用于根据各检索项中的词语，对包括待泛化的目标检索项和历史检索项的检索项集进行分组；

泛化模块，用于根据分组结果，从历史检索项中确定所述目标检索项的泛化检索项。

第三方面，本发明实施例还提供了一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的数据泛化方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的数据泛化方法。

本发明实施例通过根据各检索项中的词语，对包括待泛化的目标检索项和历史检索项的检索项集进行分组，从而实现对目标检索项的广泛泛化。通过根据分组结果，从历史检索项中确定所述目标检索项的泛化检索项，从而使得泛化检索项符合用户提问逻辑，避免直接替换导致泛化的检索项不合理的情况。

附图说明

图1为本发明实施例一提供的一种数据泛化方法的流程图；

图2是本发明实施例二提供的一种数据泛化方法的流程图；

图3是本发明实施例三提供的一种数据泛化方法的流程图；

图4是本发明实施例四提供的一种数据泛化方法的流程图；

图5是本发明实施例四提供的一种数据泛化方法的另一种流程描述示意图；

图6是本发明实施例五提供的一种数据泛化装置的结构示意图；

图7为本发明实施例六提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种数据泛化方法的流程图。本实施例可适用于对检索项进行泛化的情况。该方法可以由一种数据泛化方法来执行，该装置可以由软件和/或硬件的方式实现。参见图1，本发明实施例提供的数据泛化方法包括：

S110、根据各检索项中的词语，对包括待泛化的目标检索项和历史检索项的检索项集进行分组。

其中，历史检索项包括用户历史输入的检索项。

发明人在实现本发明的过程中发现，从一个月的跨度来看，平均每日都搜索的query实际占比不超过总query的1％。而平均每日搜索不超过1的query一般都会被忽略掉，而这些被忽略掉的query中其实存在大量的query的不同表述形式。因此，历史检索项可以包括检索频率高的检索项，也包括检索频率低的检索项。

典型地，历史检索项包括收集的大量历史输入的检索项。历史检索项的数量级可以是十亿级别的数据量。

具体地，所述根据各检索项中的词语，对包括待泛化的目标检索项和历史检索项的检索项集进行分组，包括：

匹配各检索项中的词语；

若至少两个检索项中包括至少一个相同词语，则将所述至少两个检索项划分为一组。

可选地，若至少两个检索项中包括至少一个同义词语，则将所述至少两个检索项划分为一组。

为保证分组后的组内检索项的语义相同或相近，所述根据各检索项中的词语，对包括待泛化的目标检索项和历史检索项的检索项集进行分组，包括：

确定检索项中各词语的重要性；

将检索项中重要性大于第一重要性阈值的词语作为目标词语；

根据目标词语，对包括待泛化的目标检索项和历史检索项的检索项集进行分组。

其中，检索项中各词语的重要性可以根据任意可实现的方法实现。

典型地，可以根据检索项中的句子成分确定检索项中各词语的重要性。例如，检索项中作主语的词语的重要性大于作定语的词语的重要性。

S120、根据分组结果，从历史检索项中确定所述目标检索项的泛化检索项。

具体地，可以将与目标检索项位于同一组中的历史检索项作为目标检索项的泛化检索项。

为进一步提高泛化检索项与目标检索项的同义程度，根据分组结果，从历史检索项中确定所述目标检索项的泛化检索项，包括：

确定与目标检索项位于同一组中的历史检索项和目标检索项的句子相似度或转换损失；

根据确定的相似度和转换损失，从与目标检索项位于同一组中的历史检索项中，选择与目标检索项语义相同的历史检索项；

将语义相同的历史检索项作为目标检索项的泛化检索项。

本发明实施例的技术方案，通过根据各检索项中的词语，对包括待泛化的目标检索项和历史检索项的检索项集进行分组，从而实现对目标检索项的全面泛化。通过根据分组结果，从历史检索项中确定所述目标检索项的泛化检索项，从而使得泛化检索项符合用户提问逻辑，避免直接替换导致泛化的检索项不合理的情况。

实施例二

图2是本发明实施例二提供的一种数据泛化方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图2，本实施例提供的数据泛化方法包括：

S210、对检索项中包括的同义词语和/或标识相同实体的词语进行统一。

其中，标识相同实体的词语可以是实体的别名。

示例性地，检索项为李白属于哪个年代，以及诗仙生活于什么朝代。经过统一后的检索项为：李白属于哪个朝代，以及李白生活于什么朝代。

为避免引入过多的统一误差，所述对检索项中包括的同义词语和/或标识相同实体的词语进行统一，包括：

对检索项中重要性大于第二重要性阈值的同义词语和/或标识相同实体的词语进行统一。

S220、根据各检索项中的词语，对包括待泛化的目标检索项和历史检索项的检索项集进行分组。

为提高分组的准确率，根据各检索项中的词语，对包括待泛化的目标检索项和历史检索项的检索项集进行分组，包括：

根据各检索项中的词语和各检索项的回答类型，对包括待泛化的目标检索项和历史检索项的检索项集进行分组。

具体回答类型可以包括时间、人名等。本实施例对回答类型的确定方法不做限定。典型地，检索项的回答类型可以基于预先训练的模型确定。

S230、根据分组结果，从历史检索项中确定所述目标检索项的泛化检索项。

本发明实施例的技术方案，通过对检索项中包括的同义词语和/或标识相同实体的词语进行统一，从而提高对相同语义词语的分组准确率。进而提高泛化检索项的确定准确率。

实施例三

图3是本发明实施例三提供的一种数据泛化方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图3，本发明实施例提供的数据泛化方法包括:

S310、根据各检索项中的词语，对包括待泛化的目标检索项和历史检索项的检索项集进行分组。

S320、根据目标检索项组中目标检索项与历史检索项间的转换损失，从所述历史检索项中确定所述目标检索项的泛化检索项。

其中，转换损失是指从一个检索项变换成另一个检索项所需要的损失。损失越少证明两个检索项越相近，越可能表述的是同一个意思。

因为匹配一致的词语(也即相同的词语)的转换损失相同，所以为减少计算量，根据目标检索项组中目标检索项与历史检索项间的转换损失，从所述历史检索项中确定所述目标检索项的泛化检索项之前，还包括：

将目标检索项中的词语和历史检索项中的词语进行匹配；

将匹配不一致的词语作为目标词语；

根据目标检索项和历史检索项中的目标词语，确定目标检索项组中目标检索项与历史检索项的转换损失。

该方法通过基于匹配不一致的词语，确定目标检索项组中目标检索项与历史检索项的转换损失。从而在保证转换损失准确计算的同时，避免对相同词语的冗余计算，提高了转换损失的计算效率。

具体地，所述根据目标检索项组中目标检索项与历史检索项间的转换损失，从所述历史检索项中确定所述目标检索项的泛化检索项之前，还包括：

根据目标检索项组中目标检索项中各词与历史检索项中各词的相似度，确定由目标检索项转换为其他检索项的第一转换损失，以及由其他检索项转换为目标检索项的第二转换损失；

根据第一转换损失和第二转换损失确定目标检索项和历史检索项的转换损失。

通常第一转换损失与第二转换损失是不同的。例如，第一检索项为李白生活于哪个朝代，第二检索项为李白和杜浦生活于哪个朝代。第一检索项转换为第二检索项的转换损失为0，然而因为第二检索项包括了第一检索项中没有的“杜浦”，所以第二检索项转换为第一检索项的转换损失不为0。

为避免将包含关系的两个检索项确定为同义检索项，也即转换损失确定为0。根据第一转换损失和第二转换损失确定目标检索项和历史检索项的转换损失，包括：将第一转换损失和第二转换损失中的最大值，作为目标检索项和其他检索项的转换损失。

进一步地，所述根据目标检索项组中目标检索项中各词与历史检索项中各词的相似度，确定由目标检索项转换为其他检索项的第一转换损失，以及由其他检索项转换为目标检索项的第二转换损失，包括：

将目标检索项中各词与其他检索项中各词的相似度的最小值之和，作为由目标检索项转换为其他检索项的第一转换损失；

将其他检索项中各词与目标检索项中各词的相似度的最小值之和，作为由其他检索项转换为目标检索项的第二转换损失。

例如，目标检索项中第一个词语与其他检索中各词语的相似度表示为：a11、a12……a1n。目标检索项中第二个词语与其他检索中各词语的相似度表示为：a21、a22……a2n。目标检索项中第m个词语与其他检索中各词语的相似度表示为：am1、am2……amn。其中，目标检索项包括m个词语，其他检索项包括n个词语。确定a11、a12……和a1n中的最小值、a21、a22……和a2n中的最小值，以及am1、am2……和amn中的最小值；将确定的最小值之和作为第一转换损失。

其他检索项中第一个词语与目标检索项中各词的相似度表示为：a11、a21、……am1。其他检索项中第二个词语与目标检索项中各词的相似度表示为：a12、a22、……am2。其他检索项中第n个词语与目标检索项中各词的相似度表示为：a1n、a2n、……amn。确定a11、a21、……和am1中的最小值、a12、a22、……和am2中的最小值，以及a1n、a2n、……和amn中的最小值；将确定的最小值之和作为第二转换损失。

为放大数据特征，所述根据目标检索项组中目标检索项中各词与其他检索项中各词的相似度，确定目标检索项和其他检索项的转换损失，包括：

对目标检索项组中目标检索项中各词与其他检索项中各词的相似度进行非线性化；

根据非线性化结果确定目标检索项和其他检索项的转换损失。

本发明实施例的技术方案，为提高检索项的泛化全面性，使用的历史检索项的数量较大。从而导致计算量打的问题。为解决该问题，本实施例通过根据各检索项中的词语，对包括待泛化的目标检索项和历史检索项的检索项集进行分组。从而实现相似检索句的粗聚类。然后通过在分组结果中确定包括目标检索项的目标检索项组，根据目标检索项组中目标检索项与历史检索项间的转换损失，从所述历史检索项中确定所述目标检索项的泛化检索项。从而在减少计算量的同时，提高对目标检索项的泛化检索项的确定准确率。

实施例四

图4是本发明实施例四提供的一种数据泛化方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图4，本实施例提供的数据泛化方法包括：

S410、对待泛化的目标检索项和历史检索项进行关键词提取。

具体地，对检索项中的各词进行词重要性分析，确定主干词，强限定词、弱限定词和冗余词。其中主干词往往在检索项中具有很强的表意能力；强限定词通常是内容层面的重要限定，例如时间、地点；弱限定词，通常是资源层面的限定，如下载、视频、资料或内容层面影响不大的限定；冗余词表示直接可丢的词。

基于实体别名列表将重要性较高的主干词进行统一。同时将检索项中的出现的英文统一改写成小写，数字统一改写成中文表述。然后将重要性较小的冗余词直接忽略掉。这里会根据经验设定一些词的重要性，以保证重要的词不会被忽略。

S420、基于提取的关键词，对待泛化的目标检索项和历史检索项进行分组。

具体地，首先对待泛化的目标检索项和历史检索项进行回答类型的判定。同时排除非问答检索项。然后将回答类型相同，且主干词或强限定词也完全相同的检索项作为同一组。

由于本实施例使用的是海量数据，自然会存在一些不包括目标检索项的组别。对于这些组别可以直接忽略。

S430、确定位于同一组别的目标检索项和各历史检索项的转换损失。

经过分组，需要进行的转换损失的计算量已经大大减少。

这里转换损失是指从一个检索项变换成另一个检索项所需要的损失。损失越少证明两个词越相近，越可能表述的是同一个意思。

具体地，将检索项中除分组时所用的相同词以外的词语作为目标词语。对待确定转换损失的两检索项中的目标词语进行词向量转换。

基于转换后的词向量，对待确定转换损失的两检索项中的每两个词(记为q_1i和q_2j)的余弦相似度进行确定；将余弦相似度结果(记为r_ij)归一到0至1之间；对归一化后的结果进行非线性化，具体为将归一化的结果乘以再取正切，生成非线性矩阵；那么待确定转换损失的两检索项中第一检索项到第二检索项的转换损失为非线性矩阵每行的最小值之和；而第二检索项到第一检索项的转换损失为每列的最小值之和；最终取两个损失值的最大值作为第一检索项与第二检索项的转换损失。

公式表述如下：

q₁＝[q₁₁,q₁₂,q₁₃,…,q_1m]；

q₂＝[q₂₁,q₂₂,q₂₃,…,q_2n]。

cos_ij＝cos(q_1i,q_2j)

r_ij＝(cos_ij+1)/2

Y＝[[y₁₁,y₁₂,…,y_1n],[y₂₁,y₂₂,…,y_2n],…,[y_m1,y_m2,…,y_mn]]

trans_cost＝max(sum_i(min_j(y_ij)),sum_j(min_i(y_ij)))。

其中，q₁是第一检索项的词向量表示，q₁₁,q₁₂,q₁₃,…,q_1m是第一检索项包括的各词的向量表示。q₁中不包括用于分组的相同词语的向量表示。q₂是第二检索项的词向量表示，同样q₂₁,q₂₂,q₂₃,…,q_2n是第二检索项包括的各词的向量表示。q₂中也不包括用于分组的相同词语的向量表示。trans_cost表示第一检索项与第二检索项的转换损失。

S440、若trans_cost低于设定同义阈值，则认为第一检索项与第二检索项是同义的，将作为第二检索项的历史检索项确定为作为第一检索项的目标检索项的泛化检索项。

为实现扩招，可以根据需要对设定同义阈值，以及分组时依据的词语的重要性进行调整。

典型地，可以将分组时依据的词语的重要性设置的小些，将设定同义阈值设置的大写。

具体地，在S420时，将回答类型相同，且主干词、强限定词或弱限定词也相同的检索项作为同一组。这样分入目标检索项组中的历史检索项也会多些。

在执行S440时，将设定同义阈值设置的高些。从而实现对泛化检索项的确定准确率。

上述方法的具体流程也可以参见图5。

本发明实施例的技术方案，可以更广泛的发现同义检索项。此外，由于这些检索项都是用户曾经输入过的，所以可以直接命中展现。

需要说明的是，经过本实施例的技术教导，本领域技术人员有动机将上述实施例中描述的任一种实施方式进行方案的组合，以实现对检索项的广泛和合理的泛化。

实施例五

图6是本发明实施例五提供的一种数据泛化装置的结构示意图。参见图6，本实施例提供的数据泛化装置包括：分组模块10和泛化模块20。

其中，分组模块10，用于根据各检索项中的词语，对包括待泛化的目标检索项和历史检索项的检索项集进行分组；

泛化模块20，用于根据分组结果，从历史检索项中确定所述目标检索项的泛化检索项。

本发明实施例的技术方案，通过根据各检索项中的词语，对包括待泛化的目标检索项和历史检索项的检索项集进行分组，从而实现对目标检索项的广泛泛化。通过根据分组结果，从历史检索项中确定所述目标检索项的泛化检索项，从而使得泛化检索项符合用户提问逻辑，避免直接替换导致泛化的检索项不合理的情况。

进一步地，所述分组模块，包括：重要性确定单元、目标确定单元和分组单元。

其中，重要性确定单元，用于确定检索项中各词语的重要性；

目标确定单元，用于将检索项中重要性大于第一重要性阈值的词语作为目标词语；

分组单元，用于根据目标词语，对包括待泛化的目标检索项和历史检索项的检索项集进行分组。

进一步地，所述装置还包括：词语统一模块。

其中，词语统一模块，用于所述根据各检索项中的词语，对包括待泛化的目标检索项和历史检索项的检索项集进行分组之前，对检索项中包括的同义词语和/或标识相同实体的词语进行统一。

进一步地，所述泛化模块，包括：泛化单元。

其中，泛化单元，用于根据目标检索项组中目标检索项与历史检索项间的转换损失，从所述历史检索项中确定所述目标检索项的泛化检索项。

进一步地，所述的装置，还包括：不同损失确定模块和最终损失确定模块。

其中，不同损失确定模块，用于所述根据目标检索项组中目标检索项与历史检索项间的转换损失，从所述历史检索项中确定所述目标检索项的泛化检索项之前，根据目标检索项组中目标检索项中各词与历史检索项中各词的相似度，确定由目标检索项转换为其他检索项的第一转换损失，以及由其他检索项转换为目标检索项的第二转换损失；

最终损失确定模块，用于根据第一转换损失和第二转换损失确定目标检索项和历史检索项的转换损失。

进一步地，所述装置还包括：还包括：匹配模块、目标词语确定模块和损失确定模块。

其中，匹配模块，用于根据目标检索项组中目标检索项与历史检索项间的转换损失，从所述历史检索项中确定所述目标检索项的泛化检索项之前，将目标检索项中的词语和历史检索项中的词语进行匹配；

目标词语确定模块，用于将匹配不一致的词语作为目标词语；

损失确定模块，用于根据目标检索项和历史检索项中的目标词语，确定目标检索项组中目标检索项与历史检索项的转换损失。

进一步地，所述词语统一模块，包括：词语统一单元。

其中，词语统一单元，用于对检索项中重要性大于第二重要性阈值的同义词语和/或标识相同实体的词语进行统一。

进一步地，不同损失确定模块，包括：第一损失确定单元和第二损失确定单元。

其中，第一损失确定单元，用于将目标检索项中各词与其他检索项中各词的相似度的最小值之和，作为由目标检索项转换为其他检索项的第一转换损失；

第二损失确定单元，用于将其他检索项中各词与目标检索项中各词的相似度的最小值之和，作为由其他检索项转换为目标检索项的第二转换损失。

进一步地，所述泛化模块，包括：匹配词语单元和分组单元。

匹配词语单元，用于匹配各检索项中的词语；

分组单元，用于若至少两个检索项中包括至少一个相同词语，则将所述至少两个检索项划分为一组。

本发明实施例所提供的数据泛化装置可执行本发明任意实施例所提供的数据泛化方法，具备执行方法相应的功能模块和有益效果。

实施例六

图7为本发明实施例六提供的一种设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性设备12的框图。图7显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，***存储器28，连接不同***组件(包括***存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。

设备12典型地包括多种计算机***可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

***存储器28可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

处理单元16通过运行存储在***存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的数据泛化方法。

实施例七

本发明实施例七还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的数据泛化方法，该方法包括：

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种数据泛化方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据各检索项中的词语，对包括待泛化的目标检索项和历史检索项的检索项集进行分组，包括：

确定检索项中各词语的重要性；

3.根据权利要求1所述的方法，其特征在于，所述根据各检索项中的词语，对包括待泛化的目标检索项和历史检索项的检索项集进行分组，包括：

匹配各检索项中的词语；

4.根据权利要求1所述的方法，其特征在于，所述根据各检索项中的词语，对包括待泛化的目标检索项和历史检索项的检索项集进行分组之前，还包括：

对检索项中包括的同义词语和/或标识相同实体的词语进行统一。

5.根据权利要求4所述的方法，其特征在于，所述对检索项中包括的同义词语和/或标识相同实体的词语进行统一，包括：

6.根据权利要求1所述的方法，其特征在于，根据分组结果，从历史检索项中确定所述目标检索项的泛化检索项，包括：

根据目标检索项组中目标检索项与历史检索项间的转换损失，从所述历史检索项中确定所述目标检索项的泛化检索项。

7.根据权利要6所述的方法，其特征在于，根据目标检索项组中目标检索项与历史检索项间的转换损失，从所述历史检索项中确定所述目标检索项的泛化检索项之前，还包括：

将目标检索项中的词语和历史检索项中的词语进行匹配；

将匹配不一致的词语作为目标词语；

8.根据权利要6所述的方法，其特征在于，所述根据目标检索项组中目标检索项与历史检索项间的转换损失，从所述历史检索项中确定所述目标检索项的泛化检索项之前，还包括：

9.根据权利要求8所述的方法，其特征在于，所述根据目标检索项组中目标检索项中各词与历史检索项中各词的相似度，确定由目标检索项转换为其他检索项的第一转换损失，以及由其他检索项转换为目标检索项的第二转换损失，包括：

10.一种数据泛化装置，其特征在于，包括：

11.根据权利要求10所述的装置，其特征在于，所述分组模块，包括：

重要性确定单元，用于确定检索项中各词语的重要性；

12.根据权利要求10所述的装置，其特征在于，还包括：

词语统一模块，用于所述根据各检索项中的词语，对包括待泛化的目标检索项和历史检索项的检索项集进行分组之前，对检索项中包括的同义词语和/或标识相同实体的词语进行统一。

13.根据权利要求10所述的装置，其特征在于，所述泛化模块，包括：

泛化单元，用于根据目标检索项组中目标检索项与历史检索项间的转换损失，从所述历史检索项中确定所述目标检索项的泛化检索项。

14.根据权利要求13所述的装置，其特征在于，还包括：

不同损失确定模块，用于所述根据目标检索项组中目标检索项与历史检索项间的转换损失，从所述历史检索项中确定所述目标检索项的泛化检索项之前，根据目标检索项组中目标检索项中各词与历史检索项中各词的相似度，确定由目标检索项转换为其他检索项的第一转换损失，以及由其他检索项转换为目标检索项的第二转换损失；

15.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的数据泛化方法。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的数据泛化方法。