CN114281937A - 嵌套实体识别模型的训练方法、嵌套实体识别方法及装置 - Google Patents
嵌套实体识别模型的训练方法、嵌套实体识别方法及装置 Download PDFInfo
- Publication number
- CN114281937A CN114281937A CN202111173085.XA CN202111173085A CN114281937A CN 114281937 A CN114281937 A CN 114281937A CN 202111173085 A CN202111173085 A CN 202111173085A CN 114281937 A CN114281937 A CN 114281937A
- Authority
- CN
- China
- Prior art keywords
- entity
- nested
- character
- sub
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Machine Translation (AREA)
Abstract
本申请公开了一种嵌套实体识别模型的训练方法、嵌套实体识别方法及装置，属于人工智能技术领域。方法包括：获取多个第一嵌套实体的标签信息；对于任一第一嵌套实体，根据第一网络模型确定任一第一嵌套实体的第一预测信息；基于多个第一嵌套实体的标签信息和第一预测信息，对第一网络模型进行训练，得到第二网络模型；响应于满足第一条件，将第二网络模型作为嵌套实体识别模型，嵌套实体识别模型用于对嵌套实体的实体类型进行识别。该嵌套实体识别模型能够从嵌套实体的各个字符中，准确的识别出能作为子实体的开始字符的字符以及能作为子实体的结尾字符的字符，以组合出嵌套实体的各个子实体，从而准确识别嵌套实体的各个子实体的实体类型。
Description
技术领域
本申请实施例涉及人工智能技术领域，特别涉及一种嵌套实体识别模型的训练方法、嵌套实体识别方法及装置。
背景技术
自然语言分析是一项重要的技术，涵盖信息检索、信息抽取、自然语言问答等技术领域，其中，实体识别技术是自然语言分析中的重要组成部分，实体识别技术是一种识别实体的实体类型的技术。
相关技术中，实体可以为嵌套实体。嵌套实体的内部嵌套有至少一个实体，因此，嵌套实体对应至少一个内部实体和一个外部实体，也就是说，嵌套实体对应至少两个子实体。例如，对于嵌套实体“慢性扁桃体炎”，其内部实体为“扁桃体”和“扁桃体炎”，外部实体为“慢性扁桃体炎”，因此，嵌套实体“慢性扁桃体炎”对应三个子实体“扁桃体”、“扁桃体炎”和“慢性扁桃体炎”。由于嵌套实体对应至少两个子实体，导致识别嵌套实体的实体类型较为困难，因此，亟需一种嵌套实体识别模型来准确的识别嵌套实体的实体类型。
发明内容
本申请实施例提供了一种嵌套实体识别模型的训练方法、嵌套实体识别方法及装置，可用于准确识别嵌套实体的实体类型，所述技术方案包括如下内容。
一方面，本申请实施例提供了一种嵌套实体识别模型的训练方法，所述方法包括：
获取多个第一嵌套实体的标签信息，所述第一嵌套实体的标签信息包括所述第一嵌套实体中各个字符的第一标签、所述第一嵌套实体中各个字符的第二标签以及所述第一嵌套实体的各个子实体的第三标签，所述字符的第一标签表征所述字符是否为子实体的开始字符，所述字符的第二标签表征所述字符是否为子实体的结尾字符，所述子实体的第三标签表征所述子实体的实体类型；
对于任一第一嵌套实体，根据第一网络模型确定所述任一第一嵌套实体的第一预测信息，所述任一第一嵌套实体的第一预测信息包括所述任一第一嵌套实体中各个字符为子实体的开始字符的第一概率、所述任一第一嵌套实体中各个字符为子实体的结尾字符的第一概率以及所述任一第一嵌套实体的各个子实体的第一实体类型概率；
基于所述多个第一嵌套实体的标签信息和第一预测信息，对所述第一网络模型进行训练，得到第二网络模型；
响应于满足第一条件，将所述第二网络模型作为嵌套实体识别模型，所述嵌套实体识别模型用于对嵌套实体的实体类型进行识别。
另一方面，本申请实施例提供了一种嵌套实体识别方法，所述方法包括：
获取目标嵌套实体；
根据嵌套实体识别模型确定所述目标嵌套实体中各个字符为子实体的开始字符的概率、所述目标嵌套实体中各个字符为子实体的结尾字符的概率和所述目标嵌套实体的各个子实体的实体类型概率，所述嵌套实体识别模型是根据上述任一所述的嵌套实体识别模型的训练方法训练得到的；
基于所述目标嵌套实体的各个子实体的实体类型概率，确定所述目标嵌套实体的各个子实体的实体类型。
另一方面，本申请实施例提供了一种嵌套实体识别模型的训练装置，所述装置包括：
获取模块，用于获取多个第一嵌套实体的标签信息，所述第一嵌套实体的标签信息包括所述第一嵌套实体中各个字符的第一标签、所述第一嵌套实体中各个字符的第二标签以及所述第一嵌套实体的各个子实体的第三标签，所述字符的第一标签表征所述字符是否为子实体的开始字符，所述字符的第二标签表征所述字符是否为子实体的结尾字符，所述子实体的第三标签表征所述子实体的实体类型；
确定模块，用于对于任一第一嵌套实体，根据第一网络模型确定所述任一第一嵌套实体的第一预测信息，所述任一第一嵌套实体的第一预测信息包括所述任一第一嵌套实体中各个字符为子实体的开始字符的第一概率、所述任一第一嵌套实体中各个字符为子实体的结尾字符的第一概率以及所述任一第一嵌套实体的各个子实体的第一实体类型概率；
训练模块，用于基于所述多个第一嵌套实体的标签信息和第一预测信息，对所述第一网络模型进行训练，得到第二网络模型；
所述确定模块，还用于响应于满足第一条件，将所述第二网络模型作为嵌套实体识别模型，所述嵌套实体识别模型用于对嵌套实体的实体类型进行识别。
在一种可能的实现方式中，所述确定模块，用于根据第一网络模型，确定所述任一第一嵌套实体中各个字符为子实体的开始字符的第一概率和所述任一第一嵌套实体中各个字符为子实体的结尾字符的第一概率；根据所述第一网络模型，基于所述任一第一嵌套实体中各个字符为子实体的开始字符的第一概率和所述任一第一嵌套实体中各个字符为子实体的结尾字符的第一概率确定所述任一第一嵌套实体的各个子实体；根据所述第一网络模型，确定所述任一第一嵌套实体的各个子实体的第一实体类型概率。
在一种可能的实现方式中，所述确定模块，用于对于所述任一第一嵌套实体的任一子实体，基于所述任一子实体的开始字符的字符特征和所述任一子实体的结尾字符的字符特征，确定所述任一子实体的子实体特征；基于所述任一子实体的子实体特征，确定所述任一子实体的第一实体类型概率。
在一种可能的实现方式中，所述确定模块，用于基于所述任一子实体的开始字符的字符特征和所述任一子实体的结尾字符的字符特征，确定字符关系特征，所述字符关系特征用于表征所述任一子实体的开始字符与所述任一子实体的结尾字符之间的字符关系；基于所述任一子实体的开始字符的字符特征、所述任一子实体的结尾字符的字符特征和所述字符关系特征，确定所述任一子实体的子实体特征。
在一种可能的实现方式中，所述字符关系特征包括字符差异特征，所述字符差异特征用于表征所述任一子实体的开始字符与所述任一子实体的结尾字符之间的字符差异；
所述确定模块，用于确定所述任一子实体的开始字符的字符特征和所述任一子实体的结尾字符的字符特征之间的差值，得到字符差异特征。
在一种可能的实现方式中，所述字符关系特征包括字符相似特征，所述字符相似特征用于表征所述任一子实体的开始字符与所述任一子实体的结尾字符之间的字符相似度；
所述确定模块，用于确定所述任一子实体的开始字符的字符特征和所述任一子实体的结尾字符的字符特征之间的点积，得到字符相似特征。
在一种可能的实现方式中，所述训练模块，用于对于任一第一嵌套实体，基于所述任一第一嵌套实体的标签信息和第一预测信息，确定所述任一第一嵌套实体的损失值；基于所述多个第一嵌套实体的损失值，对所述第一网络模型进行训练，得到第二网络模型。
在一种可能的实现方式中，所述训练模块，用于基于所述任一第一嵌套实体中各个字符的第一标签和所述任一第一嵌套实体中各个字符为子实体的开始字符的第一概率，确定所述任一第一嵌套实体的第一损失值；基于所述任一第一嵌套实体中各个字符的第二标签和所述任一第一嵌套实体中各个字符为子实体的结尾字符的第一概率，确定所述任一第一嵌套实体的第二损失值；基于所述任一第一嵌套实体的各个子实体的第三标签和所述任一第一嵌套实体的各个子实体的第一实体类型概率，确定所述任一第一嵌套实体的第三损失值；基于所述任一第一嵌套实体的第一损失值、第二损失值以及第三损失值，确定所述任一第一嵌套实体的损失值。
在一种可能的实现方式中，所述确定模块，还用于响应于不满足所述第一条件，对于任一第一嵌套实体，根据所述第二网络模型确定所述任一第一嵌套实体的第二预测信息，所述任一第一嵌套实体的第二预测信息包括所述任一第一嵌套实体中各个字符为子实体的开始字符的第二概率、所述任一第一嵌套实体中各个字符为子实体的结尾字符的第二概率以及所述任一第一嵌套实体的各个子实体的第二实体类型概率；
所述训练模块，还用于基于所述多个第一嵌套实体的标签信息和第二预测信息，对所述第二网络模型进行训练，得到第三网络模型；
所述确定模块，还用于响应于满足所述第一条件，将所述第三网络模型作为所述嵌套实体识别模型。
在一种可能的实现方式中，所述获取模块，还用于获取多个第二嵌套实体的标签信息，所述第二嵌套实体的标签信息包括所述第二嵌套实体中各个字符的第一标签、所述第二嵌套实体中各个字符的第二标签以及所述第二嵌套实体的各个子实体的第三标签；
所述确定模块，还用于对于任一第二嵌套实体，根据所述第一网络模型确定所述任一第二嵌套实体的第一预测信息，所述任一第二嵌套实体的第一预测信息包括所述任一第二嵌套实体中各个字符为子实体的开始字符的第一概率、所述任一第二嵌套实体中各个字符为子实体的结尾字符的第一概率以及所述任一第二嵌套实体的各个子实体的第一实体类型概率；
所述训练模块，还用于基于所述多个第一嵌套实体的标签信息和第一预测信息、所述多个第二嵌套实体的标签信息和第一预测信息，对所述第一网络模型进行训练，得到第二网络模型。
在一种可能的实现方式中，所述确定模块，还用于对于任一第一嵌套实体，根据第四网络模型确定所述任一第一嵌套实体的第三预测信息，所述任一第一嵌套实体的第三预测信息包括所述任一第一嵌套实体中各个字符为子实体的开始字符的第三概率、所述任一第一嵌套实体中各个字符为子实体的结尾字符的第三概率以及所述任一第一嵌套实体的各个子实体的第三实体类型概率；
所述训练模块，还用于基于所述多个第一嵌套实体的标签信息和第三预测信息，对所述第四网络模型进行训练，得到第五网络模型；
所述确定模块，还用于响应于满足第二条件，将所述第五网络模型作为教师模型；
所述获取模块，用于基于所述教师模型获取多个第二嵌套实体的标签信息。
在一种可能的实现方式中，所述教师模型包括基于变压器的双向编码器表示网络模型，所述嵌套实体识别模型包括长短期记忆网络模型。
另一方面，本申请实施例提供了一种嵌套实体识别装置，所述装置包括：
获取模块，用于获取目标嵌套实体；
确定模块，用于根据嵌套实体识别模型确定所述目标嵌套实体中各个字符为子实体的开始字符的概率、所述目标嵌套实体中各个字符为子实体的结尾字符的概率和所述目标嵌套实体的各个子实体的实体类型概率，所述嵌套实体识别模型是根据上述任一所述的嵌套实体识别模型的训练方法训练得到的；
所述确定模块，用于基于所述目标嵌套实体的各个子实体的实体类型概率，确定所述目标嵌套实体的各个子实体的实体类型。
在一种可能的实现方式中，所述确定模块，用于根据所述嵌套实体识别模型，确定所述目标嵌套实体中各个字符为子实体的开始字符的概率和所述目标嵌套实体中各个字符为子实体的结尾字符的概率；
根据所述嵌套实体识别模型，基于所述目标嵌套实体中各个字符为子实体的开始字符的概率和所述目标嵌套实体中各个字符为子实体的结尾字符的概率确定所述目标嵌套实体的各个子实体；
根据所述嵌套实体识别模型，确定所述目标嵌套实体的各个子实体的实体类型概率。
在一种可能的实现方式中，所述目标嵌套实体为媒体信息中的嵌套实体；
所述装置还包括：
推荐模块，用于响应于所述目标嵌套实体的各个子实体的实体类型中存在目标实体类型，将所述媒体信息推荐给目标对象；
过滤模块，用于响应于所述目标嵌套实体对应的各个子实体的实体类型中不存在目标实体类型，过滤掉所述媒体信息。
另一方面，本申请实施例提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以使所述电子设备实现上述任一所述的嵌套实体识别模型的训练方法或者上述任一所述的嵌套实体识别方法。
另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以使计算机实现上述任一所述的嵌套实体识别模型的训练方法或者上述任一所述的嵌套实体识别方法。
另一方面，还提供了一种计算机程序或计算机程序产品，所述计算机程序或计算机程序产品中存储有至少一条计算机指令，所述至少一条计算机指令由处理器加载并执行，以使计算机实现上述任一种嵌套实体识别模型的训练方法或者上述任一所述的嵌套实体识别方法。
本申请实施例提供的技术方案至少带来如下有益效果：
本申请实施例提供的技术方案是基于第一嵌套实体中各个字符为子实体的开始字符的概率和第一嵌套实体中各个字符的第一标签、第一嵌套实体中各个字符为子实体的结尾字符的概率和第一嵌套实体中各个字符的第二标签，得到嵌套实体识别模型，使得该嵌套实体识别模型能够从嵌套实体的各个字符中，准确的识别出能作为子实体的开始字符的字符以及能作为子实体的结尾字符的字符，以组合出嵌套实体的各个子实体，实现准确的识别出嵌套实体的各个子实体。又由于该嵌套实体识别模型是基于第一嵌套实体的各个子实体的实体类型概率和第三标签得到的，因此，该嵌套实体识别模型能够准确的识别出嵌套实体的各个子实体的实体类型，也就是说，该嵌套实体识别模型能够准确的对嵌套实体进行识别。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种嵌套实体识别模型的训练方法或嵌套实体识别方法的实施环境示意图；
图2是本申请实施例提供的一种嵌套实体识别模型的训练方法的流程图；
图3是本申请实施例提供的一种第一嵌套实体的示意图；
图4是本申请实施例提供的另一种第一嵌套实体的示意图；
图5是本申请实施例提供的一种第一嵌套实体中各字符的标签的示意图；
图6是本申请实施例提供的一种采用教师模型蒸馏训练学生模型的示意图；
图7是本申请实施例提供的一种医疗嵌套实体的识别示意图；
图8是本申请实施例提供的另一种医疗嵌套实体的识别示意图；
图9是本申请实施例提供的一种嵌套实体识别方法的流程图；
图10是本申请实施例提供的一种目标嵌套实体中各个细粒度实体的实体类型的示意图；
图11是本申请实施例提供的一种单粒度实体识别模型的识别的示意图；
图12是本申请实施例提供的一种嵌套实体识别模型的训练装置的结构示意图；
图13是本申请实施例提供的一种嵌套实体识别装置的结构示意图；
图14是本申请实施例提供的一种终端设备的结构示意图；
图15是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请实施例提供的一种嵌套实体识别模型的训练方法或嵌套实体识别方法的实施环境示意图，如图1所示该实施环境包括电子设备11，本申请实施例中的嵌套实体识别模型的训练方法或嵌套实体识别方法可以由电子设备11执行。示例性地，电子设备11可以包括终端设备或者服务器中的至少一项。
终端设备可以是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器和膝上型便携计算机中的至少一种。
服务器可以为一台服务器，或者为多台服务器组成的服务器集群，或者为云计算平台和虚拟化中心中的任意一种，本申请实施例对此不加以限定。服务器可以与终端设备通过有线网络或无线网络进行通信连接。服务器可以具有数据处理、数据存储以及数据收发等功能，在本申请实施例中不加以限定。
本申请实施例提供的嵌套实体识别模型的训练方法和嵌套实体识别方法是基于人工智能技术实现的，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
自然语言处理(Nature Language Processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶、智慧交通等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。本申请实施例提供的方案涉及人工智能的嵌套实体识别模型的训练方法和嵌套实体识别方法等技术，将在下述实施例中进行详细说明。
基于上述实施环境，本申请实施例提供了一种嵌套实体识别模型的训练方法，以图2所示的本申请实施例提供的一种嵌套实体识别模型的训练方法的流程图为例，该方法可由图1中的电子设备11执行。如图2所示，该方法包括步骤201至步骤204。
步骤201，获取多个第一嵌套实体的标签信息。
其中，第一嵌套实体的标签信息包括第一嵌套实体中各个字符的第一标签、第一嵌套实体中各个字符的第二标签以及第一嵌套实体的各个子实体的第三标签，字符的第一标签表征字符是否为子实体的开始字符，字符的第二标签表征字符是否为子实体的结尾字符，子实体的第三标签表征子实体的实体类型。
本申请实施例中，第一嵌套实体的内部嵌套有至少一个实体，第一嵌套实体内部所嵌套的实体为内部实体，该第一嵌套实体为外部实体，内部实体和外部实体均为第一嵌套实体的子实体。
请参考图3，图3是本申请实施例提供的一种第一嵌套实体的示意图。第一嵌套实体为“左下腹部疼痛”，其中，“左下腹部疼痛”的内部嵌套有实体：“腹部”、“疼痛”和“左下腹部”，因此，“左下腹部疼痛”的内部实体包括“腹部”、“疼痛”和“左下腹部”，“左下腹部疼痛”为一个外部实体。也就是说，“左下腹部疼痛”有四个子实体，分别为：“腹部”、“疼痛”、“左下腹部”和“左下腹部疼痛”。
接下来请参考图4，图4是本申请实施例提供的另一种第一嵌套实体的示意图。该第一嵌套实体为“慢性扁桃体炎”，其中，“慢性扁桃体炎”的内部嵌套有实体：“扁桃体”和“扁桃体炎”，因此，“慢性扁桃体炎”的内部实体包括“扁桃体”和“扁桃体炎”，“慢性扁桃体炎”为一个外部实体。也就是说，“慢性扁桃体炎”的有三个子实体，分别为：“扁桃体”、“扁桃体炎”和“慢性扁桃体炎”。
需要说明的是，第一嵌套实体中的任两个子实体可以为相同粒度的实体，也可以为不同粒度的实体。例如，“左下腹部疼痛”中的子实体“腹部”和“疼痛”为相同粒度的实体，“左下腹部疼痛”中的子实体“疼痛”、“左下腹部”和“左下腹部疼痛”为不同粒度的实体，“慢性扁桃体炎”中的子实体“扁桃体”、“扁桃体炎”和“慢性扁桃体炎”为不同粒度的实体。
对于第一嵌套实体的任一个子实体，该子实体包括开始字符和结尾字符，开始字符和结尾字符可以为同一个字符，也可以为不同的字符。其中，对于第一嵌套实体的任一个字符，该字符可能会作为子实体的开始字符，也可能会作为子实体的结尾字符，还可能会作为子实体的中间字符，这种字符与子实体之间的关系，称为字符的边界信息。
例如，对于第一嵌套实体“腹部疼痛”，该第一嵌套实体包括四个字符，分别为“腹”、“部”、“疼”、“痛”。这四个字符的边界信息如下表1所示。
表1
| 字符 | 字符的边界信息 |
| 腹 | 子实体“腹部”、“腹部疼痛”的开始字符 |
| 部 | 子实体“腹部”的结尾字符 |
| 疼 | 子实体“疼痛”的开始字符 |
| 痛 | 子实体“疼痛”、“腹部疼痛”的结尾字符 |
本申请实施例中，获取第一嵌套实体中各个字符的第一标签以及第一嵌套实体中各个字符的第二标签。示例性的，任一个字符的第一标签为0或者1，0表示任一个字符不为子实体的开始字符，1表示任一个字符为子实体的开始字符。任一个字符的第二标签也为0或者1。其中，0表示任一个字符不为子实体的结尾字符，1表示任一个字符为子实体的结尾字符。
由于第一嵌套实体中的各个字符本身包含先后顺序，因此，通过这两种标签，枚举所有的(开始字符，结尾字符)区间对应的字符串，得到第一嵌套实体中的各个子实体。其中，开始字符位于结尾字符之前，即“开始字符<结尾字符”，或者，开始字符位于结尾字符之前，且开始字符和结尾字符可以为同一个字符，即(“开始字符≤结尾字符”)。
请参考图5，图5是本申请实施例提供的一种第一嵌套实体中各字符的标签的示意图，该第一嵌套实体为“脖子很痛”，“脖子很痛”包括四个字符，分别为：“脖”、“子”、“很”和“痛”，这四个字符的第一标签依次是1、0、1、1，这四个字符的第二标签依次是0、1、0、1。由于这四个字符本身包含先后顺序，因此，根据这四个字符的第一标签和这四个字符的第二标签，通过枚举所有的(1，1)区间对应的字符串，能够得出：“脖子很痛”包括三个子实体，这三个子实体分别为：“脖子”、“很痛”和“脖子很痛”。
本申请实施例中，第一嵌套实体的任一个子实体对应一个第三标签，第三标签也可以称为实体类型标签，子实体的实体类型标签用于表征子实体的实体类型，其中，子实体的实体类型为至少一个实体类型。
例如，对于第一嵌套实体“腹部疼痛”，该第一嵌套实体包括三个子实体，这三个子实体各自的实体类型标签如下表2所示。
表2
| 子实体 | 实体类型标签 |
| 腹部 | 部位 |
| 疼痛 | 症状 |
| 腹部疼痛 | 症状 |
需要说明的是，第一嵌套实体包括至少两个子实体，第一嵌套实体的任两个子实体对应的实体类型标签可以相同，也可以不同。
如图3中，“腹部”对应的实体类型标签为“部位”，“疼痛”对应的实体类型标签为“症状”，“左下腹部”对应的实体类型标签为“部位”，而“左下腹部疼痛”对应的实体类型标签为“症状”。由此可知，“腹部”和“左下腹部”对应相同的实体类型标签，“疼痛”和“左下腹部疼痛”对应相同的实体类型标签，且“腹部”、“左下腹部”的实体类型标签与“疼痛”、“左下腹部疼痛”的实体类型标签不同。
又如图4中，“扁桃体”对应的实体类型标签为“部位”，“扁桃体炎”对应的实体类型标签为“症状”，“慢性扁桃体炎”对应的实体类型标签为“症状”。“扁桃体炎”和“慢性扁桃体炎”对应相同的实体类型标签，“扁桃体”和“扁桃体炎”对应不同的实体类型标签。
步骤202，对于任一第一嵌套实体，根据第一网络模型确定任一第一嵌套实体的第一预测信息。
其中，任一第一嵌套实体的第一预测信息包括任一第一嵌套实体中各个字符为子实体的开始字符的第一概率、任一第一嵌套实体中各个字符为子实体的结尾字符的第一概率以及任一第一嵌套实体的各个子实体的第一实体类型概率。
本申请实施例中，对于任一个第一嵌套实体，将该第一嵌套实体输入至第一网络模型，由第一网络模型输出该第一嵌套实体的第一预测信息，该第一嵌套实体的第一预测信息包括三部分，分别为第一部分、第二部分和第三部分，其中，本申请实施例不对第一网络模型的模型结构和大小做限定。
第一部分是该第一嵌套实体中各个字符为子实体的开始字符的第一概率，任一个字符为子实体的开始字符的第一概率大于等于0且小于等于1，概率值越大，表明这个字符为子实体的开始字符的概率越高。
第二部分是该第一嵌套实体中各个字符为子实体的结尾字符的第一概率，任一个字符为子实体的结尾字符的第一概率大于等于0且小于等于1，概率值越大，表明这个字符为子实体的结尾字符的概率越高。
第三部分是该第一嵌套实体的各个子实体的第一实体类型概率，任一个子实体的第一实体类型概率为任一个子实体属于各个实体类型的概率。任一个子实体属于某一个实体类型的概率大于等于0且小于等于1，概率值越大，表明这个子实体属于这个实体类型的概率越高。
在一种可能的实现方式中，根据第一网络模型确定任一第一嵌套实体的第一预测信息，包括：根据第一网络模型，确定任一第一嵌套实体中各个字符为子实体的开始字符的第一概率和任一第一嵌套实体中各个字符为子实体的结尾字符的第一概率；根据第一网络模型，基于任一第一嵌套实体中各个字符为子实体的开始字符的第一概率和任一第一嵌套实体中各个字符为子实体的结尾字符的第一概率确定任一第一嵌套实体的各个子实体；根据第一网络模型，确定任一第一嵌套实体的各个子实体的第一实体类型概率。
本申请实施例中，将第一嵌套实体输入至第一网络模型，由第一网络模型先提取第一嵌套实体中各个字符的字符特征。对于第一嵌套实体中的任一个字符，第一网络模型基于该字符的字符特征，确定并输出该字符为子实体的开始字符的第一概率和该字符为子实体的结尾字符的第一概率。
其中，第一嵌套实体中任一字符为子实体的开始字符的第一概率如公式(1)所示，第一嵌套实体中任一字符为子实体的结尾字符的第一概率如公式(2)所示。
pstart(a)＝softmax(emb_a·Tstart) 公式(1)
其中，pstart(a)为第一嵌套实体中字符a为子实体的开始字符的第一概率，softmax为函数名，emb_a为第一嵌套实体中字符a的字符特征，Tstart为第一网络模型的一个模型参数。
pend(a)＝softmax(emb_a·Tend) 公式(2)
其中，pend(a)为第一嵌套实体中字符a为子实体的结尾字符的第一概率，softmax为函数名，emb_a为第一嵌套实体中字符a的字符特征，Tend为第一网络模型的另一个模型参数。
之后，第一网络模型基于第一嵌套实体中各个字符为子实体的开始字符的第一概率、该第一嵌套实体中各个字符为子实体的结尾字符的第一概率、第一概率阈值和第二概率阈值，确定第一嵌套实体的各个子实体。其中，第一概率阈值和第二概率阈值可以相同，也可以不同。
可选的，对于任一个字符，若该字符为子实体的开始字符的第一概率大于第一概率阈值，则该字符可以作为子实体的开始字符，若该字符为子实体的结尾字符的第一概率大于第二概率阈值，则该字符可以作为子实体的结尾字符。由于第一嵌套实体中的各个字符本身包含先后顺序，因此，通过枚举所有的(开始字符，结尾字符)区间对应的字符串，得到第一嵌套实体中的各个子实体。
之后，第一网络模型确定第一嵌套实体的各个子实体的子实体特征，对于第一嵌套实体的任一个子实体，第一网络模型基于该子实体的子实体特征，确定并输出该子实体的第一实体类型概率。其中，第一网络模型确定第一嵌套实体的任一个子实体的第一实体类型概率如公式(3)所示。
其中，
为第一嵌套实体的子实体eij的第一实体类型概率，softmax为函数名，emb_eij为第一嵌套实体中子实体eij的子实体特征，Ttype为第一网络模型的又一个模型参数。
在一种可能的实现方式中，确定任一第一嵌套实体的各个子实体的第一实体类型概率，包括：对于任一第一嵌套实体的任一子实体，基于任一子实体的开始字符的字符特征和任一子实体的结尾字符的字符特征，确定任一子实体的子实体特征；基于任一子实体的子实体特征，确定任一子实体的第一实体类型概率。
本申请实施例中，对于第一嵌套实体的任一子实体，第一网络模型基于该子实体的开始字符的字符特征和该子实体的结尾字符的字符特征，确定该子实体的子实体特征。
例如，对于子实体“扁桃体”，第一网络模型基于“扁桃体”的开始字符“扁”的字符特征和“扁桃体”的结尾字符“体”的字符特征，确定“扁桃体”的子实体特征。
可选的，基于任一子实体的开始字符的字符特征和任一子实体的结尾字符的字符特征，确定任一子实体的子实体特征，包括：基于任一子实体的开始字符的字符特征和任一子实体的结尾字符的字符特征，确定字符关系特征，字符关系特征用于表征任一子实体的开始字符与任一子实体的结尾字符之间的字符关系；基于任一子实体的开始字符的字符特征、任一子实体的结尾字符的字符特征和字符关系特征，确定任一子实体的子实体特征。
本申请实施例中，对于第一嵌套实体的任一个子实体，基于该子实体的开始字符的字符特征和该子实体的结尾字符的字符特征，确定该子实体的开始字符与该子实体的结尾字符之间的字符关系的特征，即字符关系特征。其中，字符关系特征包括但不限于字符差异特征和字符相似特征，下面分别介绍字符差异特征(请参见实现方式A1)和字符相似特征(请参见实现方式A2)。
实现方式A1，字符关系特征包括字符差异特征，字符差异特征用于表征任一子实体的开始字符与任一子实体的结尾字符之间的字符差异；基于任一子实体的开始字符的字符特征和任一子实体的结尾字符的字符特征，确定字符关系特征，包括：确定任一子实体的开始字符的字符特征和任一子实体的结尾字符的字符特征之间的差值，得到字符差异特征。
字符差异特征用于表征子实体的开始字符与子实体的结尾字符之间的字符差异，表征该字符差异的特征即为字符差异特征。本申请实施例中，对于第一嵌套实体的任一个子实体，第一网络模型计算该子实体的开始字符的字符特征与该子实体的结尾字符的字符特征之间的差值，得到该子实体的字符差异特征。通过这种方式，第一网络模型能够确定第一嵌套实体的各个子实体的字符差异特征。
例如，对于子实体“扁桃体”，第一网络模型计算“扁桃体”的开始字符“扁”的字符特征和“扁桃体”的结尾字符“体”的字符特征之间的差值，得到“扁桃体”的字符差异特征。
实现方式A2，字符关系特征包括字符相似特征，字符相似特征用于表征任一子实体的开始字符与任一子实体的结尾字符之间的字符相似度；基于任一子实体的开始字符的字符特征和任一子实体的结尾字符的字符特征，确定字符关系特征，包括：确定任一子实体的开始字符的字符特征和任一子实体的结尾字符的字符特征之间的点积，得到字符相似特征。
字符相似特征用于表征子实体的开始字符与子实体的结尾字符之间的字符相似度，表征该字符相似度的特征即为字符相似特征。本申请实施例中，对于第一嵌套实体的任一个子实体，第一网络模型计算该子实体的开始字符的字符特征与该子实体的结尾字符的字符特征之间的点积，得到该子实体的字符相似特征。通过这种方式，第一网络模型能够确定第一嵌套实体的各个子实体的字符相似特征。
例如，对于子实体“扁桃体”，第一网络模型计算“扁桃体”的开始字符“扁”的字符特征和“扁桃体”的结尾字符“体”的字符特征之间的点积，得到“扁桃体”的字符相似特征。
需要说明的是，字符关系特征除上述提及的字符差异特征和字符相似特征之外，还可以是其他的特征，例如，字符关系特征为字符包含特征，字符包含特征用于表征任一子实体的开始字符与任一子实体的结尾字符之间的包含关系或者被包含关系，本申请实施例不对字符包含特征的计算方式做限定。
在确定了第一嵌套实体中任一子实体的字符关系特征之后，第一网络模型基于该子实体的字符关系特征、该子实体的开始字符的字符特征和该子实体的结尾字符的字符特征，确定该子实体的子实体特征。
当字符关系特征为字符差异特征时，第一网络模型根据该子实体的字符差异特征、该子实体的开始字符的字符特征和该子实体的结尾字符的字符特征，确定该子实体的子实体特征，该子实体的子实体特征如公式(4)所示。
其中，eij为子实体，该子实体的开始字符为i，该子实体的结尾字符为j。emb_eij为子实体的子实体特征，hi为子实体的开始字符的字符特征，hj为子实体的结尾字符的字符特征，hi-hj为子实体的字符差异特征。
当字符关系特征为字符相似特征时，第一网络模型根据该子实体的字符相似特征、该子实体的开始字符的字符特征和该子实体的结尾字符的字符特征，确定该子实体的子实体特征，该子实体的子实体特征如公式(5)所示。
其中，eij为子实体，该子实体的开始字符为i，该子实体的结尾字符为j。emb_eij为子实体的子实体特征，hi为子实体的开始字符的字符特征，hj为子实体的结尾字符的字符特征，hi⊙hj为子实体的字符相似特征。
当字符关系特征包括字符差异特征和字符相似特征时，第一网络模型根据该子实体的字符差异特征、该子实体的字符相似特征、该子实体的开始字符的字符特征和该子实体的结尾字符的字符特征，确定该子实体的子实体特征，该子实体的子实体特征如公式(6)所示。
其中，eij为子实体，该子实体的开始字符为i，该子实体的结尾字符为j。emb_eij为子实体的子实体特征，hi为子实体的开始字符的字符特征，hj为子实体的结尾字符的字符特征，hi-hj为子实体的字符差异特征，hi⊙hj为子实体的字符相似特征。
可以理解的时，在应用时，第一网络模型可以基于该子实体的字符关系特征、该子实体的开始字符的字符特征、该子实体的结尾字符的字符特征以及该子实体的各个中间字符的字符特征，确定该子实体的子实体特征，即第一网络模型基于该子实体的字符关系特征和该子实体的各个字符的字符特征，确定该子实体的子实体特征。
例如，对于子实体“扁桃体”，第一网络模型基于“扁桃体”的开始字符“扁”的字符特征、“扁桃体”的中间字符“桃”的字符特征、“扁桃体”的结尾字符“体”的字符特征以及“扁”与“体”之间的字符关系特征，确定“扁桃体”的子实体特征。
在确定出第一嵌套实体中任一个子实体的子实体特征。之后，基于该子实体的子实体特征确定子实体的第一实体类型概率。
综上，第一网络模型能够确定任一个第一嵌套实体中各个字符为子实体的开始字符的第一概率、该第一嵌套实体中各个字符为子实体的结尾字符的第一概率以及该第一嵌套实体的各个子实体的第一实体类型概率，即确定任一个第一嵌套实体的第一预测信息。通过这种方式，第一网络模型能够确定各个第一嵌套实体的第一预测信息。
步骤203，基于多个第一嵌套实体的标签信息和第一预测信息，对第一网络模型进行训练，得到第二网络模型。
本申请实施例中，基于多个第一嵌套实体的标签信息和多个第一嵌套实体的第一预测信息，确定第一网络模型的损失值，并根据第一网络模型的损失值调整第一网络模型的模型参数，以实现对第一网络模型的一次训练，得到第二网络模型。
在一种可能的实现方式中，基于多个第一嵌套实体的标签信息和第一预测信息，对第一网络模型进行训练，得到第二网络模型，包括：对于任一第一嵌套实体，基于任一第一嵌套实体的标签信息和第一预测信息，确定任一第一嵌套实体的损失值；基于多个第一嵌套实体的损失值，对第一网络模型进行训练，得到第二网络模型。
本申请实施例不对训练第一网络模型时的损失函数做限定，示例性的，损失函数为交叉熵误差(Cross-entropy Error，CE)损失函数、焦点误差(Focal Loss，FL)损失函数等。对于任一个第一嵌套实体，本申请实施例是基于该第一嵌套实体的标签信息和该第一嵌套实体的第一预测信息，按照损失函数公式确定该第一嵌套实体的损失值。
可选的，基于任一第一嵌套实体的标签信息和第一预测信息，确定任一第一嵌套实体的损失值，包括：基于任一第一嵌套实体中各个字符的第一标签和任一第一嵌套实体中各个字符为子实体的开始字符的第一概率，确定任一第一嵌套实体的第一损失值；基于任一第一嵌套实体中各个字符的第二标签和任一第一嵌套实体中各个字符为子实体的结尾字符的第一概率，确定任一第一嵌套实体的第二损失值；基于任一第一嵌套实体的各个子实体的第三标签和任一第一嵌套实体的各个子实体的第一实体类型概率，确定任一第一嵌套实体的第三损失值；基于任一第一嵌套实体的第一损失值、第二损失值以及第三损失值，确定任一第一嵌套实体的损失值。
本申请实施例中，对于任一个第一嵌套实体，基于第一嵌套实体中各个字符的第一标签和该第一嵌套实体中各个字符为子实体的开始字符的第一概率，确定该第一嵌套实体的第一损失值，第一嵌套实体的第一损失值的确定方式如公式(7)所示。
Lstart＝CE(Pstart，Tstart) 公式(7)
其中，Lstart为第一嵌套实体的第一损失值，CE为损失函数符号，Pstart为第一嵌套实体中各个字符为子实体的开始字符的第一概率，Tstart为第一嵌套实体中各个字符的第一标签。
本申请实施例中，对于任一个第一嵌套实体，基于该第一嵌套实体中各个字符的第二标签和该第一嵌套实体中各个字符为子实体的结尾字符的第一概率，确定该第一嵌套实体的第二损失值，第一嵌套实体的第二损失值的确定方式如公式(8)所示。
Lend＝CE(Pend，Tend) 公式(8)
其中，Lend为第一嵌套实体的第二损失值，CE为损失函数符号，Pend为第一嵌套实体中各个字符为子实体的结尾字符的第一概率，Yend为第一嵌套实体中各个字符的第二标签。
本申请实施例中，对于任一个第一嵌套实体，基于该第一嵌套实体的各个子实体的第三标签和该第一嵌套实体的各个子实体的第一实体类型概率，确定该第一嵌套实体的第三损失值，第一嵌套实体的第三损失值的确定方式如公式(9)所示。
Ltype＝CE(Pstart,end，Ystart,end) 公式(9)
其中，Ltype为第一嵌套实体的第三损失值，CE为损失函数符号，Pstart,end为第一嵌套实体的各个子实体的第一实体类型概率，Ystart,end为第一嵌套实体的各个子实体的第三标签。
在确定了第一嵌套实体的第一损失值、第二损失值和第三损失值之后，基于第一嵌套实体的第一损失值及其权重、第一嵌套实体的第二损失值及其权重、第一嵌套实体的第三损失值及其权重，确定第一嵌套实体的损失值，第一嵌套实体的损失值的确定方式如公式(10)所示。
L＝α*Lstart+β*Lend+γ*Ltype 公式(10)
其中，L为第一嵌套实体的损失值，α为第一嵌套实体的第一损失值的权重，Lstart为第一嵌套实体的第一损失值，β为第一嵌套实体的第二损失值的权重，Lend为第一嵌套实体的第二损失值，γ为第一嵌套实体的第三损失值的权重，Ltype为第一嵌套实体的第三损失值。
需要说明的是，第一嵌套实体的第一损失值的权重、第一嵌套实体的第二损失值的权重、以及第一嵌套实体的第三损失值的权重均大于等于0且小于等于1，例如公式(10)中，α，β，γ∈[0，1]。可选的，第一嵌套实体的第一损失值的权重、第一嵌套实体的第二损失值的权重、以及第一嵌套实体的第三损失值的权重之和为1。
按照上述方式，能够确定各个第一嵌套实体的损失值。之后，基于多个第一嵌套实体的损失值确定第一网络模型的损失值，并基于第一网络模型的损失值，调整第一网络模型的模型参数，以实现对第一网络模型的一次训练，得到第二网络模型。其中，本申请实施例不对基于多个第一嵌套实体的损失值确定第一网络模型的损失值的方式做限定。
步骤204，响应于满足第一条件，将第二网络模型作为嵌套实体识别模型。
其中，嵌套实体识别模型用于对嵌套实体的实体类型进行识别。
响应于满足第一条件时，第二网络模型为嵌套实体识别模型。满足第一条件不做限定，示例性的，满足第一条件为达到目标训练次数。目标训练次数的数值不做限定，根据人工经验或者场景灵活设置，示例性的，目标训练次数为500次。
在一种可能的实现方式中，该方法还包括：响应于不满足第一条件，对于任一第一嵌套实体，根据第二网络模型确定任一第一嵌套实体的第二预测信息，任一第一嵌套实体的第二预测信息包括任一第一嵌套实体中各个字符为子实体的开始字符的第二概率、任一第一嵌套实体中各个字符为子实体的结尾字符的第二概率以及任一第一嵌套实体的各个子实体的第二实体类型概率；基于多个第一嵌套实体的标签信息和第二预测信息，对第二网络模型进行训练，得到第三网络模型；响应于满足第一条件，将第三网络模型作为嵌套实体识别模型。
响应于不满足第一条件时，对于任一个第一嵌套实体，将该第一嵌套实体输入至第二网络模型，由第二网络模型输出该第一嵌套实体的第二预测信息，按照这种方式，得到各个第一嵌套实体的第二预测信息，其中，第一嵌套实体的第二预测信息与第一嵌套实体的第一预测信息相类似，在此不再赘述。之后，基于多个第一嵌套实体的标签信息和多个第一嵌套实体的第二预测信息，确定第二网络模型的损失值，基于第二网络模型的损失值调整第二网络模型的模型参数，以实现对第二网络模型进行一次训练得到第三网络模型。响应于满足第一条件时，第三网络模型为嵌套实体识别模型，响应于不满足第一条件时，按照本申请实施例的方式对第三网络模型进行训练，直至满足第一条件，得到嵌套实体识别模型。相关描述见步骤201至步骤204的描述，二者实现原理类似，在此不再赘述。
可以理解的是，训练得到嵌套实体识别模型的过程是一个多次迭代优化模型参数的过程。可选的，采用Adam优化器(Optimizer)进行最优化求解，其中，Adam优化器是一种自适应学***稳。
可选的，基于多个第一嵌套实体的标签信息和第一预测信息，对第一网络模型进行训练，得到第二网络模型之前，还包括：获取多个第二嵌套实体的标签信息，第二嵌套实体的标签信息包括第二嵌套实体中各个字符的第一标签、第二嵌套实体中各个字符的第二标签以及第二嵌套实体的各个子实体的第三标签；对于任一第二嵌套实体，根据第一网络模型确定任一第二嵌套实体的第一预测信息，任一第二嵌套实体的第一预测信息包括任一第二嵌套实体中各个字符为子实体的开始字符的第一概率、任一第二嵌套实体中各个字符为子实体的结尾字符的第一概率以及任一第二嵌套实体的各个子实体的第一实体类型概率；基于多个第一嵌套实体的标签信息和第一预测信息，对第一网络模型进行训练，得到第二网络模型，包括：基于多个第一嵌套实体的标签信息和第一预测信息、多个第二嵌套实体的标签信息和第一预测信息，对第一网络模型进行训练，得到第二网络模型。
本申请实施例中，获取多个第二嵌套实体。一方面，对于任一个第二嵌套实体，获取该第二嵌套实体的标签信息，第二嵌套实体的标签信息与第一嵌套实体的标签信息相类似，详细请见步骤201的相关描述，在此不再赘述。另一方面，对于任一个第二嵌套实体，将该第二嵌套实体输入至第一网络模型，由第一网络模型输出该第二嵌套实体的第一预测信息，通过这种方式，得到各个第二嵌套实体的第一预测信息，第二嵌套实体的第一预测信息与第一嵌套实体的第一预测信息相类似，详细请见步骤202的相关描述，在此不再赘述。其中，任一个第二嵌套实体的标签信息的获取方式不做限定。示例性的，第二嵌套实体的标签信息可以是人工标注得到的，也可以是教师模型输出的。
之后，对于任一个第一嵌套实体，基于该第一嵌套实体的标签信息和该第一嵌套实体的第一预测信息，确定该第一嵌套实体的损失值。对于任一个第二嵌套实体，基于该第二嵌套实体的标签信息和该第二嵌套实体的第一预测信息，确定该第二嵌套实体的损失值，其中，第二嵌套实体的损失值的方式与确定第一嵌套实体的损失值的方式相类似，在此不再赘述。
通过这种方式，能够确定各个第一嵌套实体的损失值和各个第二嵌套实体的损失值。之后，基于多个第一嵌套实体的损失值和多个第二嵌套实体的损失值，确定第一网络模型的损失值，并根据第一网络模型的损失值调整第一网络模型的模型参数，以实现对第一网络模型的一次训练，得到第二网络模型。基于“多个第一嵌套实体的标签信息和第一预测信息、多个第二嵌套实体的标签信息和第一预测信息，对第一网络模型进行训练，得到第二网络模型”的方式，与“基于多个第一嵌套实体的标签信息和第一预测信息，对第一网络模型进行训练，得到第二网络模型”的方式相类似，二者实现原理相同，在此不再赘述。
本申请实施例是通过多个第一嵌套实体和多个第二嵌套实体对第一网络模型进行训练，得到第二网络模型。当第二网络模型满足第一条件，则第二网络模型为嵌套实体识别模型，当第二网络模型不满足第一条件，则基于多个第一嵌套实体和多个第二嵌套实体对第二网络模型进行训练，直至满足第一条件，得到嵌套实体识别模型。
本申请实施例中，为了提高嵌套实体识别模型的运算速度和嵌套实体的识别效果，采用模型蒸馏技术训练第一网络模型，得到嵌套实体识别模型。模型蒸馏技术的原理是用简单模型来逼近复杂模型的输出，降低预测时的计算量，同时保证预测效果。其中，复杂模型一般称为教师模型(Teacher Model)，简单模型一般称为学生模型(Student Model)，学生模型是模型蒸馏后得到的模型。本申请实施例中，学生模型为嵌套实体识别模型，也就是说，本申请实施例是采用模型蒸馏技术得到嵌套实体识别模型，以使嵌套实体识别模型的输出逼近教师模型的输出，保证嵌套实体的识别效果，且降低运算量。
在一种可能的实现方式中，获取多个第二嵌套实体的标签信息之前，还包括：对于任一第一嵌套实体，根据第四网络模型确定任一第一嵌套实体的第三预测信息，任一第一嵌套实体的第三预测信息包括任一第一嵌套实体中各个字符为子实体的开始字符的第三概率、任一第一嵌套实体中各个字符为子实体的结尾字符的第三概率以及任一第一嵌套实体的各个子实体的第三实体类型概率；基于多个第一嵌套实体的标签信息和第三预测信息，对第四网络模型进行训练，得到第五网络模型；响应于满足第二条件，将第五网络模型作为教师模型；获取多个第二嵌套实体的标签信息，包括：基于教师模型获取多个第二嵌套实体的标签信息。
本申请实施例中，利用多个第一嵌套实体的标签信息来训练得到教师模型。可选的，对于任一个第一嵌套实体，将该第一嵌套实体输入至第四网络模型，由第四网络模型输出该第一嵌套实体的第三预测信息，通过这种方式，能够得到各个第一嵌套实体的第三预测信息，其中，第一嵌套实体的第三预测信息与第一嵌套实体的第一预测信息相类似，在此不再赘述。
之后，对于任一个第一嵌套实体，基于第一嵌套实体的标签信息和第一嵌套实体的第三预测信息，按照损失函数公式确定该第一嵌套实体的损失值，通过这种方式，得到各个第一嵌套实体的损失值。之后，基于各个第一嵌套实体的损失值，得到第四网络模型的损失值。根据第四网络模型的损失值，调整第四网络模型的模型参数，得到第五网络模型。当满足第二条件，则第五网络模型为教师模型，当不满足第二条件，则基于多个第一嵌套实体的标签信息，训练第五网络模型，直至满足第二条件，得到教师模型。
其中，基于第一嵌套实体的标签信息和第一嵌套实体的第三预测信息，确定该第一嵌套实体的损失值的方式不做限定。示例性的，基于第一嵌套实体的标签信息和第一嵌套实体的第三预测信息，可以按照公式(7)至(10)确定该第一嵌套实体的损失值，也可以按照其他的损失函数确定第一嵌套实体的损失值。满足第二条件不做限定，示例性的，满足第二条件为达到某一训练次数。该训练次数的数值不做限定，根据人工经验或者场景灵活设置，示例性的，该训练次数为200次。
在训练得到教师模型之后，对于任一个第二嵌套实体，将该第二嵌套实体输入至教师模型，由教师模型输出该第二嵌套实体的预测信息。第二嵌套实体的预测信息包括第二嵌套实体中各个字符为子实体的开始字符的概率、第二嵌套实体中各个字符为子实体的结尾字符的概率以及第二嵌套实体的各个子实体的实体类型概率。
之后，基于第二嵌套实体中各个字符为子实体的开始字符的概率，确定第二嵌套实体中各个字符的第一标签。基于第二嵌套实体中各个字符为子实体的结尾字符的概率，确定第二嵌套实体中各个字符的第二标签。基于第二嵌套实体的各个子实体的实体类型概率，确定第二嵌套实体的各个子实体的第三标签。
可选的，对于第二嵌套实体中的任一个字符，当第二嵌套实体中该字符为子实体的开始字符的概率大于开始字符的概率阈值时，确定第二嵌套实体中该字符的第一标签为1，当第二嵌套实体中该字符为子实体的开始字符的概率不大于开始字符的概率阈值时，确定第二嵌套实体中该字符的第一标签为0。基于同样的原理，当第二嵌套实体中该字符为子实体的结尾字符的概率大于结尾字符的概率阈值时，确定第二嵌套实体中该字符的第二标签为1，当第二嵌套实体中该字符为子实体的结尾字符的概率不大于结尾字符的概率阈值时，确定第二嵌套实体中该字符的第二标签为0。通过这种方式，能够得到第二嵌套实体中各个字符的第一标签和第二标签。
对于第二嵌套实体的任一个子实体，该子实体的实体类型概率为该子实体属于各个实体类型的概率。从该子实体属于各个实体类型的概率中确定大于参考概率的概率值，将大于参考概率的概率值所对应的实体类型作为该子实体的第三标签。其中，大于参考概率的概率值可以为最大概率值，也可以为最大概率值和次大概率值，甚至可以为大于某一个固定概率(如0.75)的概率值等。通过这种方式，能够确定第二嵌套实体的各个子实体的第三标签。
可选的，教师模型包括基于变压器的双向编码器表示网络模型，嵌套实体识别模型包括长短期记忆网络模型。
基于变压器的双向编码器表示(Bidirectional Encoder Representation FromTransformers，BERT)网络模型的模型复杂度高，导致运算量大，运算速度慢，不利于部署，但BERT网络模型的效果较好，适合用于教师模型。长短期记忆(Long-Short Term Memory，LSTM)网络模型虽然效果较差，但LSTM网络模型是一种目前技术水平(State Of The Art，SOTA)模型，模型复杂度低，运算量较小，运算速度快，适合用于学生模型。因此，本申请实施例的教师模型包含BERT网络模型，学生模型包含LSTM网络模型。
可选的，教师模型包含的BERT网络模型和学生模型包含的LSTM网络模型，均用于确定嵌套实体中各个字符的字符特征和嵌套实体的各个子实体的子实体特征。
本申请实施例中，根据多个第一嵌套实体和多个第二嵌套实体，利用教师模型蒸馏训练学生模型。请参见图6，图6是本申请实施例提供的一种采用教师模型蒸馏训练学生模型的示意图。其中，教师模型用于样本扩展，即将各个第二嵌套实体输入至教师模型，由教师模型输出各个第二嵌套实体的标签信息。之后，利用各个第二嵌套实体的标签信息和各个第一嵌套实体的标签信息，去蒸馏训练学生模型。
本申请实施例中，一方面，第一网络模型包含LSTM网络模型，根据多个第一嵌套实体对第一网络模型进行训练，得到嵌套实体识别模型(记为普通训练得到的嵌套实体识别模型)。另一方面，第四网络模型包含BERT网络模型，根据多个第一嵌套实体对第四网络模型进行训练，得到教师模型。再一方面，根据多个第一嵌套实体和多个第二嵌套实体，利用教师模型蒸馏训练学生模型，得到嵌套实体识别模型(记为蒸馏训练得到的嵌套实体识别模型)。本申请实施例采用准确率、召回率和F1分数(F1 Score)来评价这三种模型对嵌套实体的识别效果，如下表3所示。
表3
| 准确率 | 召回率 | F1分数 | |
| 普通训练得到的嵌套实体识别模型 | 65.54％ | 76.87％ | 70.75％ |
| 教师模型 | 79.32％ | 76.45％ | 77.86％ |
| 蒸馏训练得到的嵌套实体识别模型 | 75.21％ | 75.86％ | 75.53％ |
由表3可以明显看出，蒸馏训练得到的嵌套实体识别模型与普通训练得到的嵌套实体识别模型相比，召回率相差较小，但蒸馏训练得到的嵌套实体识别模型的准确率和F1分数明显提高，因此，蒸馏训练得到的嵌套实体识别模型具有更好的针对嵌套实体的识别效果。蒸馏训练得到的嵌套实体识别模型与教师模型相比，二者的准确率、召回率以及F1分数均相差较小，因此，蒸馏训练得到的嵌套实体识别模型除具有较好的针对嵌套实体的识别效果之外，还具有较快的运行速度。
可以理解的是，教师模型除包含BERT网络模型之外，还可以包含除BERT网络模型之外的其他网络模型，学生模型除包含LSTM网络模型之外，也可以包含除LSTM网络模型之外的其他网络模型。其中，教师模型和学生模型可以包含同一种模型，也就是说，教师模型和学生模型可以均包含BERT网络模型或者LSTM网络模型或者除BERT网络模型、LSTM网络模型之外的其他网络模型等。
由于本申请实施例可以方便的获取到大量的第二嵌套实体，因此，本申请实施例是基于教师模型获取各个第二嵌套实体的标签信息，根据各个第二嵌套实体的标签信息训练第一网络模型。在应用时，当第二嵌套实体的数量较少时，可以将任一个第二嵌套实体输入至教师模型，由教师模型输出Logits，根据各个第二嵌套实体的Logits训练第一网络模型。当第二嵌套实体的数量中等时，将任一个第二嵌套实体输入至教师模型，由教师模型输出预测概率分布，根据各个第二嵌套实体的预测概率分布训练第一网络模型。
需要说明的时，对于任一个第二嵌套实体，教师模型的全连接层的输出信息即为该第二嵌套实体的Logits。该第二嵌套实体的Logits经过归一化函数(如Softmax函数)处理后，得到该第二嵌套实体的预测概率分布，即得到该第二嵌套实体属于各个实体类型的概率。基于该第二嵌套实体的预测概率分布能够得到该第二嵌套实体的标签信息。
上述方法是基于第一嵌套实体中各个字符为子实体的开始字符的概率和第一嵌套实体中各个字符的第一标签、第一嵌套实体中各个字符为子实体的结尾字符的概率和第一嵌套实体中各个字符的第二标签，得到嵌套实体识别模型，使得该嵌套实体识别模型能够从嵌套实体的各个字符中，准确的识别出能作为子实体的开始字符的字符以及能作为子实体的结尾字符的字符，以组合出嵌套实体的各个子实体，实现准确的识别出嵌套实体的各个子实体。又由于该嵌套实体识别模型是基于第一嵌套实体的各个子实体的实体类型概率和第三标签得到的，因此，该嵌套实体识别模型能够准确的识别出嵌套实体的各个子实体的实体类型，也就是说，该嵌套实体识别模型能够准确的对嵌套实体进行识别。
上述从方法步骤的角度详细阐述了本申请实施例的嵌套实体识别模型的训练方法，下面将结合一个场景来具体说明嵌套实体识别模型的训练方法。在该场景中，第一嵌套实体为医疗嵌套实体，相对应的，嵌套实体识别模型为医疗嵌套实体识别模型。
首先，获取多个医疗嵌套实体的标签信息，医疗嵌套实体的标签信息包括医疗嵌套实体中各个字符的第一标签、医疗嵌套实体中各个字符的第二标签以及医疗嵌套实体的各个子实体的第三标签。详细请参见步骤201的描述，在此不再赘述。
之后，将医疗嵌套实体输入至第一网络模型，由第一网络模型输出医疗嵌套实体识别结果(即医疗嵌套实体的第一预测信息)，第一网络模型是一个两阶段模型，该模型将医疗嵌套实体的识别任务分为前后两个子任务，这两个子任务分别为子实体边界识别的子任务和子实体类型识别的子任务。其中，子实体边界识别即为识别医疗嵌套实体中各个字符为子实体的开始字符的第一概率以及医疗嵌套实体中各个字符为子实体的结尾字符的第一概率，子实体类型识别即为识别医疗嵌套实体的各个子实体的第一实体类型概率。
如图7所示，图7是本申请实施例提供的一种医疗嵌套实体的识别示意图，对于任一个医疗嵌套实体，第一网络模型在识别该医疗嵌套实体时，先进行子实体边界识别，识别出医疗嵌套实体中各个字符为子实体的开始字符的第一概率以及医疗嵌套实体中各个字符为子实体的结尾字符的第一概率，再进行子实体类型识别，识别出医疗嵌套实体的各个子实体的第一实体类型概率，从而得到医疗嵌套实体识别结果。
请参见图8，图8是本申请实施例提供的另一种医疗嵌套实体的识别示意图。第一网络模型包括第一编码网络、第二编码网络、子实体边界预测网络、子实体特征确定网络和子实体类型预测网络。其中，第一编码网络和子实体边界预测网络用于执行子实体边界识别的子任务，第二编码网络、子实体特征确定网络和子实体类型预测网络用于执行子实体类型识别的子任务。
医疗嵌套实体输入至第一编码网络，由第一编码网络确定医疗嵌套实体中各个字符的字符特征，之后，子实体边界预测网络基于各个字符的字符特征，确定各个字符为子实体的开始字符的概率(即第一概率)和各个字符为子实体的结尾字符的概率(即第一概率)，实现子实体边界识别。
医疗嵌套实体输入至第二编码网络，由第二编码网络确定医疗嵌套实体中各个字符的字符特征，之后，子实体特征确定网络基于各个字符为子实体的开始字符的概率和各个字符为子实体的结尾字符的概率，确定医疗嵌套实体的各个子实体，并基于各个字符的字符特征，确定医疗嵌套实体的各个子实体的子实体特征。之后，子实体类型预测网络基于各个子实体的子实体特征，确定各个子实体的实体类型概率(即第一实体类型概率)。
之后，基于多个医疗嵌套实体的标签信息和医疗嵌套实体识别结果对第一网络模型进行训练，得到第二网络模型，响应于满足第一条件，将第二网络模型作为嵌套实体识别模型，详细请见步骤201至步骤204的相关描述，在此不再赘述。
基于上述实施环境，本申请实施例还提供了一种嵌套实体识别方法，以图9所示的本申请实施例提供的一种嵌套实体识别方法的流程图为例，该方法可由图1中的电子设备11执行。如图9所示，该方法包括步骤901至步骤903。
步骤901，获取目标嵌套实体。
本申请实施例不对目标嵌套实体的获取方式和数量均做限定，示例性的，目标嵌套实体是媒体信息的媒体类型标签、标题、正文中的词等，目标嵌套实体为一个或者五个。
步骤902，根据嵌套实体识别模型确定目标嵌套实体中各个字符为子实体的开始字符的概率、目标嵌套实体中各个字符为子实体的结尾字符的概率和目标嵌套实体的各个子实体的实体类型概率。
其中，嵌套实体识别模型是根据上述各可选实施例中的嵌套实体识别模型的训练方法训练得到的。
本申请实施例中，将目标嵌套实体输入至嵌套实体识别模型，由嵌套实体识别模型输出目标嵌套实体中各个字符为子实体的开始字符的概率、目标嵌套实体中各个字符为子实体的结尾字符的概率和目标嵌套实体的各个子实体的实体类型概率。
可选的，根据嵌套实体识别模型确定目标嵌套实体中各个字符为子实体的开始字符的概率、目标嵌套实体中各个字符为子实体的结尾字符的概率和目标嵌套实体的各个子实体的实体类型概率，包括：根据嵌套实体识别模型，确定目标嵌套实体中各个字符为子实体的开始字符的概率和目标嵌套实体中各个字符为子实体的结尾字符的概率；根据嵌套实体识别模型，基于目标嵌套实体中各个字符为子实体的开始字符的概率和目标嵌套实体中各个字符为子实体的结尾字符的概率确定目标嵌套实体的各个子实体；根据嵌套实体识别模型，确定目标嵌套实体的各个子实体的实体类型概率。
本申请实施例中，将目标嵌套实体输入至嵌套实体识别模型，由嵌套实体识别模型先提取目标嵌套实体中各个字符的字符特征。对于目标嵌套实体中的任一个字符，嵌套实体识别模型基于该字符的字符特征，确定并输出该字符为子实体的开始字符的概率和该字符为子实体的结尾字符的概率。之后，嵌套实体识别模型基于目标嵌套实体中各个字符为子实体的开始字符的概率、该目标嵌套实体中各个字符为子实体的结尾字符的概率、第一概率阈值和第二概率阈值，确定目标嵌套实体的各个子实体。之后，对于目标嵌套实体的任一个子实体，嵌套实体识别模型基于该子实体的子实体特征，确定并输出该子实体的实体类型概率，从而得到目标嵌套实体的各个子实体的实体类型概率。相关描述见步骤202的说明，在此不再赘述。
步骤903，基于目标嵌套实体的各个子实体的实体类型概率，确定目标嵌套实体的各个子实体的实体类型。
本申请实施例中，对于目标嵌套实体的任一个子实体，该子实体的实体类型概率为该子实体属于各个实体类型的概率。从该子实体属于各个实体类型的概率中确定大于参考概率的概率值，将大于参考概率的概率值所对应的实体类型作为该子实体的实体类型。其中，大于参考概率的概率值可以为最大概率值，也可以为最大概率值和次大概率值，甚至可以为大于某一个固定概率(如0.75)的概率值等。通过这种方式，能够确定各个子实体的实体类型。
在一种可能的实现方式中，目标嵌套实体为媒体信息中的嵌套实体；基于目标嵌套实体的各个子实体的实体类型概率，确定目标嵌套实体的各个子实体的实体类型之后，还包括：响应于目标嵌套实体的各个子实体的实体类型中存在目标实体类型，将媒体信息推荐给目标对象；响应于目标嵌套实体对应的各个子实体的实体类型中不存在目标实体类型，过滤掉媒体信息。
本申请实施例中，从媒体信息的媒体类型标签、标题、正文等中提取至少一个嵌套实体，得到目标嵌套实体。目标嵌套实体包括至少两个子实体，按照步骤901至步骤903的方式得到目标嵌套实体的各个子实体的实体类型。响应于目标嵌套实体的各个子实体的实体类型中存在目标实体类型，说明目标嵌套实体对应的媒体信息为期望的媒体信息，将该媒体信息推荐给目标对象。响应于目标嵌套实体对应的各个子实体的实体类型中不存在目标实体类型，说明目标嵌套实体对应的媒体信息不是期望的媒体信息，过滤掉媒体信息。
通过这种方式，将媒体信息推荐给目标对象或者过滤掉媒体信息，实现对媒体信息的召回，可以应用在如媒体信息搜索、智能问答等多种场景中，也可以应用在如医疗、地图等多种领域中。
在应用时，还可以基于其他的实体识别模型，确定目标嵌套实体的各个子实体的实体类型。其他的实体识别模型在此不做限定，示例性的，其他的实体识别模型可以是基于标签层次化的实体识别模型、基于实体层次化的实体识别模型等。
将目标嵌套实体输入至基于标签层次化的实体识别模型中，由该模型识别目标嵌套实体的各个细粒度实体的实体类型，通过组合各个细粒度实体的实体类型，得到目标嵌套实体的实体类型。其中，细粒度实体是目标嵌套实体的最细粒度的实体。
如图10所示，图10是本申请实施例提供的一种目标嵌套实体中各个细粒度实体的实体类型的示意图。将目标嵌套实体“左下腹部疼痛”输入至基于标签层次化的实体识别模型中，由基于标签层次化的实体识别模型输出三个细粒度实体“左下”、“腹部”、“疼痛”各自的实体类型。其中，“左下”的实体类型为“B-部位|B-症状”，“B-部位”表示“左下”可以作为一个子实体(如“左下腹部”)的开始实体，该子实体的实体类型为“部位”，“B-症状”表示“左下”可以作为另一个子实体(如“左下腹部疼痛”)的开始实体，该子实体的实体类型为“症状”。“腹部”的实体类型为“E-部位|B-症状”，“E-部位”表示“腹部”可以作为一个子实体(如“左下腹部”)的结尾实体，该子实体的实体类型为“部位”，“B-症状”表示“腹部”可以作为另一个子实体(如“腹部疼痛”)的开始实体，该子实体的实体类型为“症状”。“疼痛”的实体类型为“S-症状|E-症状”，“S-症状”表示“疼痛”可以作为一个单独的子实体，其实体类型为“症状”，“E-症状”表示“疼痛”可以作为一个子实体(如“腹部疼痛”、“左下腹部疼痛”)的结尾实体，该子实体的实体类型为“症状”。之后，组合“左下”、“腹部”、“疼痛”三者的实体类型，得到“左下腹部疼痛”的实体类型。
将目标嵌套实体输入至基于实体层次化的实体识别模型中，由该模型先确定目标嵌套实体的各个细粒度实体的实体类型概率，再组合至少两个细粒度实体，得到第一组合实体，基于这至少两个细粒度实体各自的实体类型概率，确定出第一组合实体的实体类型概率。还可以组合至少两个第一组合实体，得到第二组合实体，基于这至少两个第一组合实体各自的实体类型概率，确定出第二组合实体的实体类型概率。通过这种方式，确定出目标嵌套实体中细粒度实体、第一组合实体、第二组合实体、目标嵌套实体等的实体类型概率，即确定出目标嵌套实体由低粒度至高粒度的不同粒度子实体的实体类型概率，最终得到目标嵌套实体的实体类型概率。之后，基于目标嵌套实体的实体类型概率得到目标嵌套实体的实体类型。其中，基于实体层次化的实体识别模型为一个单粒度实体识别模型，能够识别出目标嵌套实体的实体类型。
如图11所示，图11是本申请实施例提供的一种单粒度实体识别模型的识别的示意图。单粒度实体识别模型在识别目标嵌套实体“左下腹部疼痛”的实体类型概率时。先将“左下腹部疼痛”切分成各个细粒度实体“左下”、“腹部”、“疼痛”，确定细粒度实体“腹部”和“疼痛”的实体类型概率。然后，组合细粒度实体“左下”和“腹部”，得到第一组合实体“左下腹部”，基于细粒度实体“腹部”的实体类型概率，确定第一组合实体“左下腹部”的实体类型概率；组合细粒度实体“腹部”和“疼痛”，得到第一组合实体“腹部疼痛”，基于细粒度实体“腹部”和“疼痛”的实体类型概率，确定第一组合实体“腹部疼痛”的实体类型概率。之后，组合第一组合实体“左下腹部”和“腹部疼痛”，得到第二组合实体(即目标嵌套实体)“左下腹部疼痛”，基于第一组合实体“左下腹部”和“腹部疼痛”的实体类型概率，确定第二组合实体“左下腹部疼痛”的实体类型概率，从而得到目标嵌套实体的实体类型概率。之后，基于目标嵌套实体的实体类型概率，得到目标嵌套实体的实体类型。
本申请实施例中，基于嵌套实体识别模型以及其他的实体识别模型，共同确定目标嵌套实体的各个子实体的实体类型，并基于目标嵌套实体中各个子实体的实体类型，进行媒体信息推荐。由于各个子实体是不同粒度的实体，且采用两种模型进行目标嵌套实体的实体识别，因此，本申请实施例是基于多粒度实体的实体类型，实现媒体信息的召回，能够满足不同的媒体信息的数量下或者不同的类型的媒体信息下，对召回粒度的不同需要，提高媒体信息的召回量。且基于本申请实施例的嵌套实体识别模型以及其他的实体识别模型，共同确定目标嵌套实体的各个子实体的实体类型，其运算时长的增量也较小，例如，在100每秒查询率(Queries Per Second，QPS)的情况下，运算时长由1.83毫秒增长至2.6毫秒，增量仅为0.77毫秒，增量较小。
本申请实施例的嵌套实体识别模型是基于第一嵌套实体中各个字符为子实体的开始字符的概率和第一嵌套实体中各个字符的第一标签、第一嵌套实体中各个字符为子实体的结尾字符的概率和第一嵌套实体中各个字符的第二标签得到的，使得该嵌套实体识别模型能够从嵌套实体的各个字符中，准确的识别出能作为子实体的开始字符的字符以及能作为子实体的结尾字符的字符，以组合出嵌套实体的各个子实体，实现准确的识别出嵌套实体的各个子实体。又由于该嵌套实体识别模型是基于第一嵌套实体的各个子实体的实体类型概率和第三标签得到的，因此，该嵌套实体识别模型能够准确的识别出嵌套实体的各个子实体的实体类型，也就是说，该嵌套实体识别模型能够准确的对嵌套实体进行识别。
图12所示为本申请实施例提供的一种嵌套实体识别模型的训练装置的结构示意图，如图12所示，该装置包括：
获取模块1201，用于获取多个第一嵌套实体的标签信息，第一嵌套实体的标签信息包括第一嵌套实体中各个字符的第一标签、第一嵌套实体中各个字符的第二标签以及第一嵌套实体的各个子实体的第三标签，字符的第一标签表征字符是否为子实体的开始字符，字符的第二标签表征字符是否为子实体的结尾字符，子实体的第三标签表征子实体的实体类型；
确定模块1202，用于对于任一第一嵌套实体，根据第一网络模型确定任一第一嵌套实体的第一预测信息，任一第一嵌套实体的第一预测信息包括任一第一嵌套实体中各个字符为子实体的开始字符的第一概率、任一第一嵌套实体中各个字符为子实体的结尾字符的第一概率以及任一第一嵌套实体的各个子实体的第一实体类型概率；
训练模块1203，用于基于多个第一嵌套实体的标签信息和第一预测信息，对第一网络模型进行训练，得到第二网络模型；
确定模块1202，还用于响应于满足第一条件，将第二网络模型作为嵌套实体识别模型，嵌套实体识别模型用于对嵌套实体的实体类型进行识别。
在一种可能的实现方式中，确定模块1202，用于根据第一网络模型，确定任一第一嵌套实体中各个字符为子实体的开始字符的第一概率和任一第一嵌套实体中各个字符为子实体的结尾字符的第一概率；根据第一网络模型，基于任一第一嵌套实体中各个字符为子实体的开始字符的第一概率和任一第一嵌套实体中各个字符为子实体的结尾字符的第一概率确定任一第一嵌套实体的各个子实体；根据第一网络模型，确定任一第一嵌套实体的各个子实体的第一实体类型概率。
在一种可能的实现方式中，确定模块1202，用于对于任一第一嵌套实体的任一子实体，基于任一子实体的开始字符的字符特征和任一子实体的结尾字符的字符特征，确定任一子实体的子实体特征；基于任一子实体的子实体特征，确定任一子实体的第一实体类型概率。
在一种可能的实现方式中，确定模块1202，用于基于任一子实体的开始字符的字符特征和任一子实体的结尾字符的字符特征，确定字符关系特征，字符关系特征用于表征任一子实体的开始字符与任一子实体的结尾字符之间的字符关系；基于任一子实体的开始字符的字符特征、任一子实体的结尾字符的字符特征和字符关系特征，确定任一子实体的子实体特征。
在一种可能的实现方式中，字符关系特征包括字符差异特征，字符差异特征用于表征任一子实体的开始字符与任一子实体的结尾字符之间的字符差异；
确定模块1202，用于确定任一子实体的开始字符的字符特征和任一子实体的结尾字符的字符特征之间的差值，得到字符差异特征。
在一种可能的实现方式中，字符关系特征包括字符相似特征，字符相似特征用于表征任一子实体的开始字符与任一子实体的结尾字符之间的字符相似度；
确定模块1202，用于确定任一子实体的开始字符的字符特征和任一子实体的结尾字符的字符特征之间的点积，得到字符相似特征。
在一种可能的实现方式中，训练模块1203，用于对于任一第一嵌套实体，基于任一第一嵌套实体的标签信息和第一预测信息，确定任一第一嵌套实体的损失值；基于多个第一嵌套实体的损失值，对第一网络模型进行训练，得到第二网络模型。
在一种可能的实现方式中，训练模块1203，用于基于任一第一嵌套实体中各个字符的第一标签和任一第一嵌套实体中各个字符为子实体的开始字符的第一概率，确定任一第一嵌套实体的第一损失值；基于任一第一嵌套实体中各个字符的第二标签和任一第一嵌套实体中各个字符为子实体的结尾字符的第一概率，确定任一第一嵌套实体的第二损失值；基于任一第一嵌套实体的各个子实体的第三标签和任一第一嵌套实体的各个子实体的第一实体类型概率，确定任一第一嵌套实体的第三损失值；基于任一第一嵌套实体的第一损失值、第二损失值以及第三损失值，确定任一第一嵌套实体的损失值。
在一种可能的实现方式中，确定模块1202，还用于响应于不满足第一条件，对于任一第一嵌套实体，根据第二网络模型确定任一第一嵌套实体的第二预测信息，任一第一嵌套实体的第二预测信息包括任一第一嵌套实体中各个字符为子实体的开始字符的第二概率、任一第一嵌套实体中各个字符为子实体的结尾字符的第二概率以及任一第一嵌套实体的各个子实体的第二实体类型概率；
训练模块1203，还用于基于多个第一嵌套实体的标签信息和第二预测信息，对第二网络模型进行训练，得到第三网络模型；
确定模块1202，还用于响应于满足第一条件，将第三网络模型作为嵌套实体识别模型。
在一种可能的实现方式中，获取模块1201，还用于获取多个第二嵌套实体的标签信息，第二嵌套实体的标签信息包括第二嵌套实体中各个字符的第一标签、第二嵌套实体中各个字符的第二标签以及第二嵌套实体的各个子实体的第三标签；
确定模块1202，还用于对于任一第二嵌套实体，根据第一网络模型确定任一第二嵌套实体的第一预测信息，任一第二嵌套实体的第一预测信息包括任一第二嵌套实体中各个字符为子实体的开始字符的第一概率、任一第二嵌套实体中各个字符为子实体的结尾字符的第一概率以及任一第二嵌套实体的各个子实体的第一实体类型概率；
训练模块1203，还用于基于多个第一嵌套实体的标签信息和第一预测信息、多个第二嵌套实体的标签信息和第一预测信息，对第一网络模型进行训练，得到第二网络模型。
在一种可能的实现方式中，确定模块1202，还用于对于任一第一嵌套实体，根据第四网络模型确定任一第一嵌套实体的第三预测信息，任一第一嵌套实体的第三预测信息包括任一第一嵌套实体中各个字符为子实体的开始字符的第三概率、任一第一嵌套实体中各个字符为子实体的结尾字符的第三概率以及任一第一嵌套实体的各个子实体的第三实体类型概率；
训练模块1203，还用于基于多个第一嵌套实体的标签信息和第三预测信息，对第四网络模型进行训练，得到第五网络模型；
确定模块1202，还用于响应于满足第二条件，将第五网络模型作为教师模型；
获取模块1201，用于基于教师模型获取多个第二嵌套实体的标签信息。
在一种可能的实现方式中，教师模型包括基于变压器的双向编码器表示网络模型，嵌套实体识别模型包括长短期记忆网络模型。
上述装置基于第一嵌套实体中各个字符为子实体的开始字符的概率和第一嵌套实体中各个字符的第一标签、第一嵌套实体中各个字符为子实体的结尾字符的概率和第一嵌套实体中各个字符的第二标签，得到嵌套实体识别模型，使得该嵌套实体识别模型能够从嵌套实体的各个字符中，准确的识别出能作为子实体的开始字符的字符以及能作为子实体的结尾字符的字符，以组合出嵌套实体的各个子实体，实现准确的识别出嵌套实体的各个子实体。又由于该嵌套实体识别模型是基于第一嵌套实体的各个子实体的实体类型概率和第三标签得到的，因此，该嵌套实体识别模型能够准确的识别出嵌套实体的各个子实体的实体类型，也就是说，该嵌套实体识别模型能够准确的对嵌套实体进行识别。
应理解的是，上述图12提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图13所示为本申请实施例提供的一种嵌套实体识别装置的结构示意图，如图13所示，该装置包括：
获取模块1301，用于获取目标嵌套实体；
确定模块1302，用于根据嵌套实体识别模型确定目标嵌套实体中各个字符为子实体的开始字符的概率、目标嵌套实体中各个字符为子实体的结尾字符的概率和目标嵌套实体的各个子实体的实体类型概率，嵌套实体识别模型是根据上述任一的嵌套实体识别模型的训练方法训练得到的；
确定模块1302，用于基于目标嵌套实体的各个子实体的实体类型概率，确定目标嵌套实体的各个子实体的实体类型。
在一种可能的实现方式中，确定模块1302，用于根据嵌套实体识别模型，确定目标嵌套实体中各个字符为子实体的开始字符的概率和目标嵌套实体中各个字符为子实体的结尾字符的概率；
根据嵌套实体识别模型，基于目标嵌套实体中各个字符为子实体的开始字符的概率和目标嵌套实体中各个字符为子实体的结尾字符的概率确定目标嵌套实体的各个子实体；
根据嵌套实体识别模型，确定目标嵌套实体的各个子实体的实体类型概率。
在一种可能的实现方式中，目标嵌套实体为媒体信息中的嵌套实体；
装置还包括：
推荐模块，用于响应于目标嵌套实体的各个子实体的实体类型中存在目标实体类型，将媒体信息推荐给目标对象；
过滤模块，用于响应于目标嵌套实体对应的各个子实体的实体类型中不存在目标实体类型，过滤掉媒体信息。
上述装置中的嵌套实体识别模型是基于第一嵌套实体中各个字符为子实体的开始字符的概率和第一嵌套实体中各个字符的第一标签、第一嵌套实体中各个字符为子实体的结尾字符的概率和第一嵌套实体中各个字符的第二标签得到的，使得该嵌套实体识别模型能够从嵌套实体的各个字符中，准确的识别出能作为子实体的开始字符的字符以及能作为子实体的结尾字符的字符，以组合出嵌套实体的各个子实体，实现准确的识别出嵌套实体的各个子实体。又由于该嵌套实体识别模型是基于第一嵌套实体的各个子实体的实体类型概率和第三标签得到的，因此，该嵌套实体识别模型能够准确的识别出嵌套实体的各个子实体的实体类型，也就是说，该嵌套实体识别模型能够准确的对嵌套实体进行识别。
应理解的是，上述图13提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图14示出了本申请一个示例性实施例提供的终端设备1400的结构框图。该终端设备1400可以是便携式移动终端，比如：智能手机、平板电脑、MP3(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端设备1400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端设备1400包括有：处理器1401和存储器1402。
处理器1401可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1401可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1401可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1401还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1402中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1401所执行以实现本申请中方法实施例提供的嵌套实体识别模型的训练方法或嵌套实体识别方法。
在一些实施例中，终端设备1400还可选包括有：***设备接口1403和至少一个***设备。处理器1401、存储器1402和***设备接口1403之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1403相连。具体地，***设备包括：射频电路1404、显示屏1405、摄像头组件1406、音频电路1407、定位组件1408和电源1409中的至少一种。
***设备接口1403可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器1401和存储器1402。在一些实施例中，处理器1401、存储器1402和***设备接口1403被集成在同一芯片或电路板上；在一些其他实施例中，处理器1401、存储器1402和***设备接口1403中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1404用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1404将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1404包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1404还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1405用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1405是触摸显示屏时，显示屏1405还具有采集在显示屏1405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1401进行处理。此时，显示屏1405还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1405可以为一个，设置在终端设备1400的前面板；在另一些实施例中，显示屏1405可以为至少两个，分别设置在终端设备1400的不同表面或呈折叠设计；在另一些实施例中，显示屏1405可以是柔性显示屏，设置在终端设备1400的弯曲表面上或折叠面上。甚至，显示屏1405还可以设置成非矩形的不规则图形，也即异形屏。显示屏1405可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。
摄像头组件1406用于采集图像或视频。可选地，摄像头组件1406包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1406还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1401进行处理，或者输入至射频电路1404以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端设备1400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1401或射频电路1404的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1407还可以包括耳机插孔。
定位组件1408用于定位终端设备1400的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件1408可以是基于美国的GPS(Global Positioning System，全球定位***)、中国的北斗***或俄罗斯的伽利略***的定位组件。
电源1409用于为终端设备1400中的各个组件进行供电。电源1409可以是交流电、直流电、一次性电池或可充电电池。当电源1409包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端设备1400还包括有一个或多个传感器1410。该一个或多个传感器1410包括但不限于：加速度传感器1411、陀螺仪传感器1412、压力传感器1413、指纹传感器1414、光学传感器1415以及接近传感器1416。
加速度传感器1411可以检测以终端设备1400建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1411可以用于检测重力加速度在三个坐标轴上的分量。处理器1401可以根据加速度传感器1411采集的重力加速度信号，控制显示屏1405以横向视图或纵向视图进行用户界面的显示。加速度传感器1411还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1412可以检测终端设备1400的机体方向及转动角度，陀螺仪传感器1412可以与加速度传感器1411协同采集用户对终端设备1400的3D动作。处理器1401根据陀螺仪传感器1412采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1413可以设置在终端设备1400的侧边框和/或显示屏1405的下层。当压力传感器1413设置在终端设备1400的侧边框时，可以检测用户对终端设备1400的握持信号，由处理器1401根据压力传感器1413采集的握持信号进行左右手识别或快捷操作。当压力传感器1413设置在显示屏1405的下层时，由处理器1401根据用户对显示屏1405的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1414用于采集用户的指纹，由处理器1401根据指纹传感器1414采集到的指纹识别用户的身份，或者，由指纹传感器1414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1401授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1414可以被设置在终端设备1400的正面、背面或侧面。当终端设备1400上设置有物理按键或厂商Logo时，指纹传感器1414可以与物理按键或厂商Logo集成在一起。
光学传感器1415用于采集环境光强度。在一个实施例中，处理器1401可以根据光学传感器1415采集的环境光强度，控制显示屏1405的显示亮度。具体地，当环境光强度较高时，调高显示屏1405的显示亮度；当环境光强度较低时，调低显示屏1405的显示亮度。在另一个实施例中，处理器1401还可以根据光学传感器1415采集的环境光强度，动态调整摄像头组件1406的拍摄参数。
接近传感器1416，也称距离传感器，通常设置在终端设备1400的前面板。接近传感器1416用于采集用户与终端设备1400的正面之间的距离。在一个实施例中，当接近传感器1416检测到用户与终端设备1400的正面之间的距离逐渐变小时，由处理器1401控制显示屏1405从亮屏状态切换为息屏状态；当接近传感器1416检测到用户与终端设备1400的正面之间的距离逐渐变大时，由处理器1401控制显示屏1405从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图14中示出的结构并不构成对终端设备1400的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图15为本申请实施例提供的服务器的结构示意图，该服务器1500可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器1501和一个或多个的存储器1502，其中，该一个或多个存储器1502中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器1501加载并执行以实现上述各个方法实施例提供的嵌套实体识别模型的训练方法或者嵌套实体识别方法，示例性的，处理器1501为CPU。当然，该服务器1500还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器1500还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，该存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行，以使电子设备实现上述任一种嵌套实体识别模型的训练方法或者嵌套实体识别方法。
可选地，上述计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-OnlyMemory，CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品中存储有至少一条计算机指令，该至少一条计算机指令由处理器加载并执行，以使计算机实现上述任一种嵌套实体识别模型的训练方法或者嵌套实体识别方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (20)
1.一种嵌套实体识别模型的训练方法，其特征在于，所述方法包括：
获取多个第一嵌套实体的标签信息，所述第一嵌套实体的标签信息包括所述第一嵌套实体中各个字符的第一标签、所述第一嵌套实体中各个字符的第二标签以及所述第一嵌套实体的各个子实体的第三标签，所述字符的第一标签表征所述字符是否为子实体的开始字符，所述字符的第二标签表征所述字符是否为子实体的结尾字符，所述子实体的第三标签表征所述子实体的实体类型；
对于任一第一嵌套实体，根据第一网络模型确定所述任一第一嵌套实体的第一预测信息，所述任一第一嵌套实体的第一预测信息包括所述任一第一嵌套实体中各个字符为子实体的开始字符的第一概率、所述任一第一嵌套实体中各个字符为子实体的结尾字符的第一概率以及所述任一第一嵌套实体的各个子实体的第一实体类型概率；
基于所述多个第一嵌套实体的标签信息和第一预测信息，对所述第一网络模型进行训练，得到第二网络模型；
响应于满足第一条件，将所述第二网络模型作为嵌套实体识别模型，所述嵌套实体识别模型用于对嵌套实体的实体类型进行识别。
2.根据权利要求1所述的方法，其特征在于，所述根据第一网络模型确定所述任一第一嵌套实体的第一预测信息，包括：
根据第一网络模型，确定所述任一第一嵌套实体中各个字符为子实体的开始字符的第一概率和所述任一第一嵌套实体中各个字符为子实体的结尾字符的第一概率；
根据所述第一网络模型，基于所述任一第一嵌套实体中各个字符为子实体的开始字符的第一概率和所述任一第一嵌套实体中各个字符为子实体的结尾字符的第一概率确定所述任一第一嵌套实体的各个子实体；
根据所述第一网络模型，确定所述任一第一嵌套实体的各个子实体的第一实体类型概率。
3.根据权利要求2所述的方法，其特征在于，所述确定所述任一第一嵌套实体的各个子实体的第一实体类型概率，包括：
对于所述任一第一嵌套实体的任一子实体，基于所述任一子实体的开始字符的字符特征和所述任一子实体的结尾字符的字符特征，确定所述任一子实体的子实体特征；
基于所述任一子实体的子实体特征，确定所述任一子实体的第一实体类型概率。
4.根据权利要求3所述的方法，其特征在于，所述基于所述任一子实体的开始字符的字符特征和所述任一子实体的结尾字符的字符特征，确定所述任一子实体的子实体特征，包括：
基于所述任一子实体的开始字符的字符特征和所述任一子实体的结尾字符的字符特征，确定字符关系特征，所述字符关系特征用于表征所述任一子实体的开始字符与所述任一子实体的结尾字符之间的字符关系；
基于所述任一子实体的开始字符的字符特征、所述任一子实体的结尾字符的字符特征和所述字符关系特征，确定所述任一子实体的子实体特征。
5.根据权利要求4所述的方法，其特征在于，所述字符关系特征包括字符差异特征，所述字符差异特征用于表征所述任一子实体的开始字符与所述任一子实体的结尾字符之间的字符差异；
所述基于所述任一子实体的开始字符的字符特征和所述任一子实体的结尾字符的字符特征，确定字符关系特征，包括：
确定所述任一子实体的开始字符的字符特征和所述任一子实体的结尾字符的字符特征之间的差值，得到字符差异特征。
6.根据权利要求4所述的方法，其特征在于，所述字符关系特征包括字符相似特征，所述字符相似特征用于表征所述任一子实体的开始字符与所述任一子实体的结尾字符之间的字符相似度；
所述基于所述任一子实体的开始字符的字符特征和所述任一子实体的结尾字符的字符特征，确定字符关系特征，包括：
确定所述任一子实体的开始字符的字符特征和所述任一子实体的结尾字符的字符特征之间的点积，得到字符相似特征。
7.根据权利要求1所述的方法，其特征在于，所述基于所述多个第一嵌套实体的标签信息和第一预测信息，对所述第一网络模型进行训练，得到第二网络模型，包括：
对于任一第一嵌套实体，基于所述任一第一嵌套实体的标签信息和第一预测信息，确定所述任一第一嵌套实体的损失值；
基于所述多个第一嵌套实体的损失值，对所述第一网络模型进行训练，得到第二网络模型。
8.根据权利要求7所述的方法，其特征在于，所述基于所述任一第一嵌套实体的标签信息和第一预测信息，确定所述任一第一嵌套实体的损失值，包括：
基于所述任一第一嵌套实体中各个字符的第一标签和所述任一第一嵌套实体中各个字符为子实体的开始字符的第一概率，确定所述任一第一嵌套实体的第一损失值；
基于所述任一第一嵌套实体中各个字符的第二标签和所述任一第一嵌套实体中各个字符为子实体的结尾字符的第一概率，确定所述任一第一嵌套实体的第二损失值；
基于所述任一第一嵌套实体的各个子实体的第三标签和所述任一第一嵌套实体的各个子实体的第一实体类型概率，确定所述任一第一嵌套实体的第三损失值；
基于所述任一第一嵌套实体的第一损失值、第二损失值以及第三损失值，确定所述任一第一嵌套实体的损失值。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于不满足所述第一条件，对于任一第一嵌套实体，根据所述第二网络模型确定所述任一第一嵌套实体的第二预测信息，所述任一第一嵌套实体的第二预测信息包括所述任一第一嵌套实体中各个字符为子实体的开始字符的第二概率、所述任一第一嵌套实体中各个字符为子实体的结尾字符的第二概率以及所述任一第一嵌套实体的各个子实体的第二实体类型概率；
基于所述多个第一嵌套实体的标签信息和第二预测信息，对所述第二网络模型进行训练，得到第三网络模型；
响应于满足所述第一条件，将所述第三网络模型作为所述嵌套实体识别模型。
10.根据权利要求1至9任一所述的方法，其特征在于，所述基于所述多个第一嵌套实体的标签信息和第一预测信息，对所述第一网络模型进行训练，得到第二网络模型之前，还包括：
获取多个第二嵌套实体的标签信息，所述第二嵌套实体的标签信息包括所述第二嵌套实体中各个字符的第一标签、所述第二嵌套实体中各个字符的第二标签以及所述第二嵌套实体的各个子实体的第三标签；
对于任一第二嵌套实体，根据所述第一网络模型确定所述任一第二嵌套实体的第一预测信息，所述任一第二嵌套实体的第一预测信息包括所述任一第二嵌套实体中各个字符为子实体的开始字符的第一概率、所述任一第二嵌套实体中各个字符为子实体的结尾字符的第一概率以及所述任一第二嵌套实体的各个子实体的第一实体类型概率；
所述基于所述多个第一嵌套实体的标签信息和第一预测信息，对所述第一网络模型进行训练，得到第二网络模型，包括：
基于所述多个第一嵌套实体的标签信息和第一预测信息、所述多个第二嵌套实体的标签信息和第一预测信息，对所述第一网络模型进行训练，得到第二网络模型。
11.根据权利要求10所述的方法，其特征在于，所述获取多个第二嵌套实体的标签信息之前，还包括：
对于任一第一嵌套实体，根据第四网络模型确定所述任一第一嵌套实体的第三预测信息，所述任一第一嵌套实体的第三预测信息包括所述任一第一嵌套实体中各个字符为子实体的开始字符的第三概率、所述任一第一嵌套实体中各个字符为子实体的结尾字符的第三概率以及所述任一第一嵌套实体的各个子实体的第三实体类型概率；
基于所述多个第一嵌套实体的标签信息和第三预测信息，对所述第四网络模型进行训练，得到第五网络模型；
响应于满足第二条件，将所述第五网络模型作为教师模型；
所述获取多个第二嵌套实体的标签信息，包括：
基于所述教师模型获取多个第二嵌套实体的标签信息。
12.根据权利要求11所述的方法，其特征在于，所述教师模型包括基于变压器的双向编码器表示网络模型，所述嵌套实体识别模型包括长短期记忆网络模型。
13.一种嵌套实体识别方法，其特征在于，所述方法包括：
获取目标嵌套实体；
根据嵌套实体识别模型确定所述目标嵌套实体中各个字符为子实体的开始字符的概率、所述目标嵌套实体中各个字符为子实体的结尾字符的概率和所述目标嵌套实体的各个子实体的实体类型概率，所述嵌套实体识别模型是根据权利要求1至11任一所述的嵌套实体识别模型的训练方法训练得到的；
基于所述目标嵌套实体的各个子实体的实体类型概率，确定所述目标嵌套实体的各个子实体的实体类型。
14.根据权利要求13所述方法，其特征在于，所述根据嵌套实体识别模型确定所述目标嵌套实体中各个字符为子实体的开始字符的概率、所述目标嵌套实体中各个字符为子实体的结尾字符的概率和所述目标嵌套实体的各个子实体的实体类型概率，包括：
根据所述嵌套实体识别模型，确定所述目标嵌套实体中各个字符为子实体的开始字符的概率和所述目标嵌套实体中各个字符为子实体的结尾字符的概率；
根据所述嵌套实体识别模型，基于所述目标嵌套实体中各个字符为子实体的开始字符的概率和所述目标嵌套实体中各个字符为子实体的结尾字符的概率确定所述目标嵌套实体的各个子实体；
根据所述嵌套实体识别模型，确定所述目标嵌套实体的各个子实体的实体类型概率。
15.根据权利要求13所述的方法，其特征在于，所述目标嵌套实体为媒体信息中的嵌套实体；
所述基于所述目标嵌套实体的各个子实体的实体类型概率，确定所述目标嵌套实体的各个子实体的实体类型之后，还包括：
响应于所述目标嵌套实体的各个子实体的实体类型中存在目标实体类型，将所述媒体信息推荐给目标对象；
响应于所述目标嵌套实体对应的各个子实体的实体类型中不存在目标实体类型，过滤掉所述媒体信息。
16.一种嵌套实体识别模型的训练装置，其特征在于，所述装置包括：
获取模块，用于获取多个第一嵌套实体的标签信息，所述第一嵌套实体的标签信息包括所述第一嵌套实体中各个字符的第一标签、所述第一嵌套实体中各个字符的第二标签以及所述第一嵌套实体的各个子实体的第三标签，所述字符的第一标签表征所述字符是否为子实体的开始字符，所述字符的第二标签表征所述字符是否为子实体的结尾字符，所述子实体的第三标签表征所述子实体的实体类型；
确定模块，用于对于任一第一嵌套实体，根据第一网络模型确定所述任一第一嵌套实体的第一预测信息，所述任一第一嵌套实体的第一预测信息包括所述任一第一嵌套实体中各个字符为子实体的开始字符的第一概率、所述任一第一嵌套实体中各个字符为子实体的结尾字符的第一概率以及所述任一第一嵌套实体的各个子实体的第一实体类型概率；
训练模块，用于基于所述多个第一嵌套实体的标签信息和第一预测信息，对所述第一网络模型进行训练，得到第二网络模型；
所述确定模块，还用于响应于满足第一条件，将所述第二网络模型作为嵌套实体识别模型，所述嵌套实体识别模型用于对嵌套实体的实体类型进行识别。
17.一种嵌套实体识别装置，其特征在于，所述装置包括：
获取模块，用于获取目标嵌套实体；
确定模块，用于根据嵌套实体识别模型确定所述目标嵌套实体中各个字符为子实体的开始字符的概率、所述目标嵌套实体中各个字符为子实体的结尾字符的概率和所述目标嵌套实体的各个子实体的实体类型概率，所述嵌套实体识别模型是根据权利要求1至11任一所述的嵌套实体识别模型的训练方法训练得到的；
所述确定模块，用于基于所述目标嵌套实体的各个子实体的实体类型概率，确定所述目标嵌套实体的各个子实体的实体类型。
18.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以使所述电子设备实现如权利要求1至12任一所述的嵌套实体识别模型的训练方法或者实现如权利要求13至15任一所述的嵌套实体识别方法。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以使计算机实现如权利要求1至12任一所述的嵌套实体识别模型的训练方法或者实现如权利要求13至15任一所述的嵌套实体识别方法。
20.一种计算机程序产品，所述计算机程序产品中存储有至少一条计算机指令，所述至少一条计算机指令由处理器加载并执行，以使计算机实现如权利要求1至12任一所述的嵌套实体识别模型的训练方法或者实现如权利要求13至15任一所述的嵌套实体识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111173085.XA CN114281937A (zh) | 2021-10-08 | 2021-10-08 | 嵌套实体识别模型的训练方法、嵌套实体识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111173085.XA CN114281937A (zh) | 2021-10-08 | 2021-10-08 | 嵌套实体识别模型的训练方法、嵌套实体识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114281937A true CN114281937A (zh) | 2022-04-05 |
Family
ID=80868686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111173085.XA Pending CN114281937A (zh) | 2021-10-08 | 2021-10-08 | 嵌套实体识别模型的训练方法、嵌套实体识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114281937A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117316372A (zh) * | 2023-11-30 | 2023-12-29 | 天津大学 | 一种基于深度学习的耳疾电子病历解析方法 |
-
2021
- 2021-10-08 CN CN202111173085.XA patent/CN114281937A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117316372A (zh) * | 2023-11-30 | 2023-12-29 | 天津大学 | 一种基于深度学习的耳疾电子病历解析方法 |
| CN117316372B (zh) * | 2023-11-30 | 2024-04-09 | 天津大学 | 一种基于深度学习的耳疾电子病历解析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110544272B (zh) | 脸部跟踪方法、装置、计算机设备及存储介质 | |
| WO2020224479A1 (zh) | 目标的位置获取方法、装置、计算机设备及存储介质 | |
| CN110413837B (zh) | 视频推荐方法和装置 | |
| CN113610750B (zh) | 对象识别方法、装置、计算机设备及存储介质 | |
| CN111243668B (zh) | 分子结合位点检测方法、装置、电子设备及存储介质 | |
| CN112884770B (zh) | 图像分割处理方法、装置及计算机设备 | |
| CN112749728A (zh) | 学生模型训练方法、装置、计算机设备及存储介质 | |
| CN111091166A (zh) | 图像处理模型训练方法、图像处理方法、设备及存储介质 | |
| CN111930964B (zh) | 内容处理方法、装置、设备及存储介质 | |
| CN111897996A (zh) | 话题标签推荐方法、装置、设备及存储介质 | |
| WO2022193973A1 (zh) | 图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
| CN110555102A (zh) | 媒体标题识别方法、装置及存储介质 | |
| CN114281956A (zh) | 文本处理方法、装置、计算机设备及存储介质 | |
| CN113516143A (zh) | 文本图像匹配方法、装置、计算机设备及存储介质 | |
| CN113569042A (zh) | 文本信息分类方法、装置、计算机设备及存储介质 | |
| CN113505256A (zh) | 特征提取网络训练方法、图像处理方法及装置 | |
| CN113257412B (zh) | 信息处理方法、装置、计算机设备及存储介质 | |
| CN113763931B (zh) | 波形特征提取方法、装置、计算机设备及存储介质 | |
| CN113821658A (zh) | 对编码器进行训练的方法、装置、设备及存储介质 | |
| CN112287070A (zh) | 词语的上下位关系确定方法、装置、计算机设备及介质 | |
| CN114281937A (zh) | 嵌套实体识别模型的训练方法、嵌套实体识别方法及装置 | |
| CN115168643B (zh) | 音频处理方法、装置、设备及计算机可读存储介质 | |
| CN111753813A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN110990549A (zh) | 获取答案的方法、装置、电子设备及存储介质 | |
| CN116958851A (zh) | 视频时效模型的训练方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |