CN109145294A - 文本实体识别方法及装置、电子设备、存储介质 - Google Patents

Abstract

本公开提供了一种文本实体识别方法及装置，属于计算机技术领域。该方法包括：将待识别文本进行分词，获得多个目标词组成的目标词序列；将各目标词与预设词库进行匹配，并根据匹配的结果从预设词库中获得所述目标词的属性向量；如果目标词中存在未登录词与预设词库匹配失败，则从预设词库中获取多个未登录词的相似词，并根据相似词的属性向量计算未登录词的属性向量；根据各目标词的属性向量，将目标词序列转换为属性向量序列，并通过机器学习模型对属性向量序列进行处理，得到待识别文本中各目标词的实体识别结果。本公开可以降低人工标注文本数据的工作量，并提高实体识别的准确度。

Description

文本实体识别方法及装置、电子设备、存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种文本实体识别方法及装置、电子设备、计算机可读存储介质。

背景技术

随着计算机技术的发展，人工智能受到越来越多的重视，其中，自然语言处理作为人工智能的一个重要分支，在搜索、智能客服、机器翻译、文字校对、自动摘要等方面得到了广泛的应用。

在自然语言处理中，经常需要进行实体识别，实体识别是指对文本中特定词的具体类型进行识别，以便于后续确定该词的含义，或者识别文本输入者的意图等。

现有的文本实体识别方法多数需要事先定义识别的类型，并且需要针对不同的识别领域与应用场景，人工标注文本数据，以训练出合适的模型，通过模型对新的文本进行实体识别。然而，模型训练通常需要非常多的文本数据，对这些数据进行人工标注的人力成本很高，并且对于不同领域的应用场景，文本数据的类型以及标注的类型不同，也大大增加了人工标注的工作量。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供了一种文本实体识别方法及装置、电子设备、计算机可读存储介质，进而至少在一定程度上克服现有的文本实体识别方法依赖于人工标注大量文本数据的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种文本实体识别方法，包括：将待识别文本进行分词，获得多个目标词组成的目标词序列；将各所述目标词与预设词库进行匹配，并根据匹配的结果从所述预设词库中获得所述目标词的属性向量；如果所述目标词中存在未登录词与所述预设词库匹配失败，则从所述预设词库中获取多个所述未登录词的相似词，并根据所述相似词的属性向量计算所述未登录词的属性向量；根据各所述目标词的属性向量，将所述目标词序列转换为属性向量序列，并通过机器学习模型对所述属性向量序列进行处理，得到所述待识别文本中各所述目标词的实体识别结果。

在本公开的一种示例性实施例中，从所述预设词库中获取多个所述未登录词的相似词包括：将所述未登录词转换为目标词向量；从所述预设词库中查找与所述目标词向量相近的词向量所对应的词，作为所述未登录词的相似词。

在本公开的一种示例性实施例中，从所述预设词库中查找与所述目标词向量相似的词向量所对应的词包括：遍历所述预设词库，查找所有与所述目标词向量的余弦相似度小于一相似阈值的词向量所对应的词。

在本公开的一种示例性实施例中，所述方法还包括：将所述未登录词以及所述未登录词的属性向量添加到所述预设词库。

在本公开的一种示例性实施例中，根据所述相似词的属性向量计算所述未登录词的属性向量包括：对各所述相似词的属性向量进行求平均计算，以得到所述未登录词的属性向量。

在本公开的一种示例性实施例中，所述机器学习模型包括条件随机场模型或神经网络模型。

在本公开的一种示例性实施例中，所述属性向量包括以下维度中的至少一个：词性信息、词长度、词频以及左右熵信息。

根据本公开的一个方面，提供一种文本实体识别装置，包括：分词处理模块，用于将待识别文本进行分词，获得多个目标词组成的目标词序列；特征获取模块，用于将各所述目标词与预设词库进行匹配，并根据匹配的结果从所述预设词库中获得所述目标词的属性向量；相似处理模块，用于在所述目标词中存在未登录词与所述预设词库匹配失败时，从所述预设词库中获取多个所述未登录词的相似词，并根据所述相似词的属性向量计算所述未登录词的属性向量；序列处理模块，用于根据各所述目标词的属性向量，将所述目标词序列转换为属性向量序列，并通过机器学习模型对所述属性向量序列进行处理，得到所述待识别文本中各所述目标词的实体识别结果。

根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。

本公开的示例性实施例具有以下有益效果：

对于待识别文本中的各目标词，通过预设词库匹配或者相似词计算的方式获得其属性向量，并将待识别文本转换为属性向量序列，通过机器学习模型进行处理，得到各目标词的实体识别结果。一方面，对于待识别文本中的未登录词，可以通过已标注的相似词计算其属性向量，无需对未登录词专门标注，从而降低了人工标注文本数据的工作量，节约了人力成本。另一方面，基于目标词的属性向量对目标词进行实体识别，属性向量可以包括目标词多个维度的信息，从而增加了实体识别的准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出本示例性实施例中一种文本实体识别方法的流程图；

图2示意性示出本示例性实施例中另一种文本实体识别方法的流程图；

图3示意性示出本示例性实施例中一种应用场景中文本实体识别的流程图；

图4示意性示出本示例性实施例中一种文本实体识别装置的结构框图；

图5示意性示出本示例性实施例中一种用于实现上述方法的电子设备；

图6示意性示出本示例性实施例中一种用于实现上述方法的计算机可读存储介质。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

本公开的示例性实施例提供了一种文本实体识别方法。参考图1所示，该方法可以包括以下步骤S11～S14：

步骤S11，将待识别文本进行分词，获得多个目标词组成的目标词序列。

待识别文本一般是一句话，由多个词组成，其中的每个词即目标词。通过分词工具可以实现分词，例如jieba分词、THULAC(清华大学开发的中文词法分析工具)、LTP(哈工大开发的中文自然语言处理工具)等。在分词后，可以保留各个词在待识别文本中的位置关系，从而将待识别文本转换成了目标词序列。在用分词工具处理时，也可以去除无实际意义的结构词或语气词，例如“的”、“吧”、“请”等。

步骤S12，将各目标词与预设词库进行匹配，并根据匹配的结果从预设词库中获得目标词的属性向量。

其中，属性向量是指将词在多个维度的信息通过向量的形式加以表征，在属性向量中，每一维度的信息可以转换为数值，用以表征对应的词在某个方面的属性。

在一示例性实施例中，属性向量可以包括以下维度中的至少一个：词性信息、词长度、词频与左右熵信息。其中，左右熵信息一般包括左侧(上文)熵信息与右侧(下文)熵信息，是指在一定的语料集中，目标词左侧与右侧相邻词的不确定性，左右熵值越高，相邻词的不确定性越高。需要说明的是，词性信息的原始形式一般为文本，例如目标词是名词、动词等，可以通过预设的数值转换规则将其转换为数值，例如名词＝1，动词＝2等，对于其他种类的非数值属性，也可以采用类似的方法进行数值转换。

预设词库可视为一个词数据库，其中包含了一些词的属性向量。在初始阶段，预设词库可以通过标注或计算的方式获得，例如针对一定的语料集，可以利用分词工具将其中的文本进行分词，对每个词进行词性标注，统计每个词的词长度与词频，统计每个词的相邻词情况并计算左右熵值等，从而获得每个词的属性向量，形成初始的预设词库。在使用过程中，还可以根据需要向预设词库中添加新词或更改原有词的属性值。

如果目标词在预设词库中，则可以从预设词库中直接匹配出目标词的属性向量；如果目标词不在预设词库中，则执行以下步骤S13。

步骤S13，如果目标词中存在未登录词与预设词库匹配失败，则从预设词库中获取多个未登录词的相似词，并根据相似词的属性向量计算未登录词的属性向量。

其中，相似词可以是语义上的近义词，可以通过多种方式获得，例如根据汉语词典查询未登录词的近义词，选择预设词库中已有的近义词作为未登录词的相似词，或者根据应用场景的语料集构建近义词库，并在该词库中查找预设词库中已有的近义词等。此外，在近义词的基础上，还可以对相似词增加其他方面的要求，例如在形式上要求与未登录词的词长度相同、词性相同等。本实施例对于获取相似词的具体方式不做特别限定。

基于获取的多个相似词，可以对其属性向量进行统计，计算属性向量各维度的平均值、中值、众数等，作为未登录词的属性向量的各维度值，从而获得未登录词的属性向量。本实施例对于计算未登录词的属性向量的具体方式也不做特别限定。

步骤S14，根据各目标词的属性向量，将目标词序列转换为属性向量序列，并通过机器学习模型对属性向量序列进行处理，得到待识别文本中各目标词的实体识别结果。

其中，属性向量序列可以是各目标词的属性向量按照待识别文本中的顺序排列成的向量序列，也可以是矩阵的形式。以属性向量序列是矩阵为例，在机器学习模型中，可以设定输入的矩阵为m*n矩阵，其中m为属性向量的维度，n为文本的预设长度，如果待识别文本的长度不足n，即待识别文本的目标词数量小于n，可以进行预设填充，例如将矩阵中不足的列填充为0。机器学习模型的输出可以是p*n矩阵，其中p为类别数，表示目标词进行实体识别的候选类别总数为p。

应当理解，在实际应用中，输入矩阵也可以是n*m矩阵，则相应的输出矩阵可以是n*p矩阵，其中m、n、p的含义与上述含义相同。很多机器学习模型都适用于对矩阵或多向量形式的输入数据进行处理，例如条件随机场模型、神经网络模型等，本实施例对此不做特别限定。

在步骤S14中，机器学习模型是已经训练好的模型。训练的过程可以如下所述：基于一定的语料集，可以对其中的文本进行分词，得到的全部的词作为样本词，并通过统计或标注的方式得到各样本词的属性向量以及实体类别标签，以样本词序列的属性向量序列为输入，实体类别矩阵为输出，训练机器学习模型，根据模型的输出与标注的实体类别标签的误差调整模型的参数，使模型最终达到一定的准确率，即完成了机器学习模型的训练。当然，上述过程仅是示例性说明，实际应用中，机器学习模型的训练过程还可以包括更多步骤，且各步骤实现的具体细节也可以不同于上述情况，本实施例对于训练机器学习模型的具体方式及步骤不做特别限定。

基于上述说明，在本示例性实施例中，对于待识别文本中的各目标词，通过预设词库匹配或者相似词计算的方式获得其属性向量，并将待识别文本转换为属性向量序列，通过机器学习模型进行处理，得到各目标词的实体识别结果。一方面，对于待识别文本中的未登录词，可以通过已标注的相似词计算其属性向量，无需对未登录词专门标注，从而降低了人工标注文本数据的工作量，节约了人力成本。另一方面，基于目标词的属性向量对目标词进行实体识别，属性向量可以包括目标词多个维度的信息，从而增加了实体识别的准确度。

在一示例性实施例中，从预设词库中获取多个未登录词的相似词可以通过以下步骤实现：

将未登录词转换为目标词向量；

从预设词库中查找与目标词向量相近的词向量所对应的词，作为未登录词的相似词。

其中，目标词向量的转换可以通过Word2vec工具实现，需要说明的是，目标词向量是指通过多个维度的特征对目标词进行标识的向量，不是one-hot编码的向量，并且与属性向量为不同的向量。目标词向量的每个维度不要求有明确的含义，而属性向量的每个维度代表了目标词的一种属性。本实施例中，预设词库也包含了其中每个词的词向量，因此可以通过词向量相近的方法查找未登录词的相似词。可以预先设定词向量相近的规则，例如两个词向量的每个维度数值相差在10％以内，判断其相近，或者两个词向量的差向量的模小于一定的值，判断其相近等等。

进一步的，从预设词库中查找与目标词向量相似的词向量所对应的词可以通过以下步骤实现：遍历预设词库，查找所有与目标词向量的余弦相似度大于一相似阈值的词向量所对应的词。通常余弦相似度在[-1,1]的范围内，值越大代表两个词向量越相近。相似阈值可以根据经验设定一初值，在实际应用过程中，通过迭代而调整相似阈值，使其达到较优的数值，可以较好的筛选出相似词。

此外，也可以预先设定相似词的数量，例如设定为M，则在查找相似词时，可以筛选出与未登录词的词向量的余弦相似度最大的M个词，以计算未登录词的属性向量。

在一示例性实施例中，当通过未登录词的相似词的属性向量计算出未登录词的属性向量后，还可以将未登录词以及未登录词的属性向量添加到预设词库。从而可以实现对预设词库的更新，以便于后续调用。

在一示例性实施例中，根据相似词的属性向量计算未登录词的属性向量可以通过以下步骤实现：对各相似词的属性向量进行求平均计算，以得到未登录词的属性向量。其中，求平均计算可以是算术平均，也可以是加权平均。

举例而言，假设未登录词x有3个相似词a、b、c，其中a的属性向量为(a1，a2，a3)，b的属性向量为(b1，b2，b3)，c的属性向量为(c1，c2，c3)。对于算数平均的算法，可以通过以下公式计算x的属性向量：

x＝(x1，x2，x3)＝1/3(a1+b1+c1，a2+b2+c2，a3+b3+c3)；

对于加权平均的算法，可以通过以下公式计算x的属性向量：

x＝(x1，x2，x3)＝1/(csa+csb+csc)·(csa·a1+csb·b1+csc·c1，csa·a2+csb·b2+csc·c2，csa·a3+csb·b3+csc·c3)；

csa＝cos(x,a)，为x与a的词向量余弦相似度，csb、csc分别为x与b、x与c的词向量余弦相似度，也即将余弦相似度作为加权平均的权重。此外，也可以将各相似词的词频或其他属性值作为加权平均的权重，本实施例对此不做特别限定。

求平均计算实际上是对相似词的属性向量进行了平滑处理，图2示出了一种文本实体识别方法的示例性流程图，在获取待识别文本后，进行分词，并对目标词提取属性向量，对于未登录词，可以通过相似词属性平滑处理的方式得到其属性向量，最后将属性向量序列输入到机器学习模型中，可以输出相应的实体识别结果。

在一示例性实施例中，机器学习模型可以包括条件随机场模型或神经网络模型。其中，条件随机场模型计算待识别文本与实体类别序列之间的概率关系，可以将概率最高的实体类别序列作为实体识别的结果；神经网络模型以待识别文本的属相向量序列为输入，转换为各实体类别的概率，并通过softmax等方法确定最终实体识别的结果。

在用户搜索酒店的应用场景中，条件随机场模型的概率算法可以如下所述：

其中，y为实体类别，x为属性向量，Z(x)为规范化因子，t_k为转移特征函数，s_l为状态特征函数，λ_k与μ_k为模型参数；B-商家名称指开始类商家名称，E-商家名称指结尾类商家名称。

在一示例性实施例中，可以对条件随机场模型的概率算法进行一定的改进：

其中，y为实体类别，x为属性向量，Z(x)为规范化因子，V_k为条件随机场模型的特征函数。w_k为预设词库中已有的词的权重系数，fk为转移特征函数。M为相似词数量，w_k’为各相似词的权重系数，sim为相似词与未登录词的相似度函数(例如可以是余弦相似度等)。可见，改进后的条件随机场模型对于未登录词能够更好的处理。

下面以用户搜索餐厅的应用场景为例做进一步说明。参考图3所示，用户输入了待识别文本“秦皇岛火车站周围小吃”，服务器为了更好的确认用户意图，需要对待识别文本的每个词进行实体识别。可以先进行分词，得到目标词“秦皇岛”、“火车站”、“周围”、“小吃”，再通过预设词库获取各目标词的属性向量。其中，“火车站”、“周围”、“小吃”为预设词库中已有的词，可以直接匹配出属性向量，“秦皇岛”为未登录词，可以在预设词库中查找到若干相似词，例如“北戴河”、“石家庄”、“连云港”等，并根据这些相似词的属性向量计算出“秦皇岛”的属性向量，从而将待识别文本转换为属性向量序列。将属性向量序列输入到训练好的神经网络模型中，可以输出结果矩阵。在结果矩阵中，每一列可以代表每个目标词的候选类别，其中被识别出的类别的数值可以是“1”，其余类别可以是“0”。图3中的“B-地标”表示开始类地标，“M-地标”表示中间类地标，“E-地标”表示结尾类地标。最终得到各目标词的实体识别结果，“秦皇岛”＝“B-地标”，“火车站”＝“E-地标”，“周围”＝“无意义”，“小吃”＝“品类”。

本公开的示例性实施例还提供了一种文本实体识别装置，参考图4所示，该装置40可以包括：分词处理模块41，用于将待识别文本进行分词，获得多个目标词组成的目标词序列；特征获取模块42，用于将各目标词与预设词库进行匹配，并根据匹配的结果从预设词库中获得目标词的属性向量；相似处理模块43，用于在目标词中存在未登录词与预设词库匹配失败时，从预设词库中获取多个未登录词的相似词，并根据相似词的属性向量计算未登录词的属性向量；序列处理模块44，用于根据各目标词的属性向量，将目标词序列转换为属性向量序列，并通过机器学习模型对属性向量序列进行处理，得到待识别文本中各目标词的实体识别结果。

在一示例性实施例中，相似处理模块还可以用于将未登录词转换为目标词向量，并从预设词库中查找与目标词向量相近的词向量所对应的词，作为未登录词的相似词。

在一示例性实施例中，相似处理模块还可以用于遍历预设词库，查找所有与目标词向量的余弦相似度小于一相似阈值的词向量所对应的词。

在一示例性实施例中，文本实体识别装置还可以包括：词库管理模块，用于将未登录词以及未登录词的属性向量添加到预设词库。

在一示例性实施例中，相似处理模块还可以用于对各相似词的属性向量进行求平均计算，以得到未登录词的属性向量。

在一示例性实施例中，机器学习模型可以包括条件随机场模型或神经网络模型。

在一示例性实施例中，属性向量可以包括以下维度中的至少一个：词性信息、词长度、词频以及左右熵信息。

以上各模块的具体细节在方法部分的实施例中已经详细说明，因此不再赘述。

本公开的示例性实施例还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为***、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。

下面参照图5来描述根据本公开的这种示例性实施例的电子设备500。图5显示的电子设备500仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图5所示，电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于：上述至少一个处理单元510、上述至少一个存储单元520、连接不同***组件(包括存储单元520和处理单元510)的总线530、显示单元540。

其中，存储单元存储有程序代码，程序代码可以被处理单元510执行，使得处理单元510执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，处理单元510可以执行图1所示的步骤S11～S14等。

存储单元520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)521和/或高速缓存存储单元522，还可以进一步包括只读存储单元(ROM)523。

存储单元520还可以包括具有一组(至少一个)程序模块525的程序/实用工具524，这样的程序模块525包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备500也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行。并且，电子设备500还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器560通过总线530与电子设备500的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施例的方法。

本公开的示例性实施例还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

参考图6所示，描述了根据本公开的示例性实施例的用于实现上述方法的程序产品600，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施例，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种文本实体识别方法，其特征在于，包括：

将待识别文本进行分词，获得多个目标词组成的目标词序列；

将各所述目标词与预设词库进行匹配，并根据匹配的结果从所述预设词库中获得所述目标词的属性向量；

如果所述目标词中存在未登录词与所述预设词库匹配失败，则从所述预设词库中获取多个所述未登录词的相似词，并根据所述相似词的属性向量计算所述未登录词的属性向量；

根据各所述目标词的属性向量，将所述目标词序列转换为属性向量序列，并通过机器学习模型对所述属性向量序列进行处理，得到所述待识别文本中各所述目标词的实体识别结果。

2.根据权利要求1所述的方法，其特征在于，从所述预设词库中获取多个所述未登录词的相似词包括：

将所述未登录词转换为目标词向量；

从所述预设词库中查找与所述目标词向量相近的词向量所对应的词，作为所述未登录词的相似词。

3.根据权利要求2所述的方法，其特征在于，从所述预设词库中查找与所述目标词向量相似的词向量所对应的词包括：

遍历所述预设词库，查找所有与所述目标词向量的余弦相似度小于一相似阈值的词向量所对应的词。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述未登录词以及所述未登录词的属性向量添加到所述预设词库。

5.根据权利要求1所述的方法，其特征在于，根据所述相似词的属性向量计算所述未登录词的属性向量包括：

对各所述相似词的属性向量进行求平均计算，以得到所述未登录词的属性向量。

6.根据权利要求1所述的方法，其特征在于，所述机器学习模型包括条件随机场模型或神经网络模型。

7.根据权利要求1所述的方法，其特征在于，所述属性向量包括以下维度中的至少一个：词性信息、词长度、词频以及左右熵信息。

8.一种文本实体识别装置，其特征在于，包括：

分词处理模块，用于将待识别文本进行分词，获得多个目标词组成的目标词序列；

特征获取模块，用于将各所述目标词与预设词库进行匹配，并根据匹配的结果从所述预设词库中获得所述目标词的属性向量；

相似处理模块，用于在所述目标词中存在未登录词与所述预设词库匹配失败时，从所述预设词库中获取多个所述未登录词的相似词，并根据所述相似词的属性向量计算所述未登录词的属性向量；

序列处理模块，用于根据各所述目标词的属性向量，将所述目标词序列转换为属性向量序列，并通过机器学习模型对所述属性向量序列进行处理，得到所述待识别文本中各所述目标词的实体识别结果。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。