CN111274823B - 一种文本语义理解的方法和相关装置 - Google Patents
一种文本语义理解的方法和相关装置 Download PDFInfo
- Publication number
- CN111274823B CN111274823B CN202010010698.0A CN202010010698A CN111274823B CN 111274823 B CN111274823 B CN 111274823B CN 202010010698 A CN202010010698 A CN 202010010698A CN 111274823 B CN111274823 B CN 111274823B
- Authority
- CN
- China
- Prior art keywords
- target text
- slot value
- type
- semantic
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Machine Translation (AREA)
Abstract
本申请公开了一种文本语义理解的方法和相关装置,该方法包括:首先,获取待语义理解的目标文本;然后,提取目标文本的语义信息,基于语义信息同时获得目标文本的领域类型、槽值类型和对应的槽值;最后,基于目标文本的领域类型、槽值类型和对应的槽值,对目标文本进行文本语义理解。由此可见,通过提取目标文本的语义信息,充分挖掘领域类型与槽值类型、对应的槽值之间的关系,充分利用槽值类型和对应的槽值的预测辅助领域类型的预测,以便同时获得目标文本的领域类型、槽值类型和对应的槽值,能够大大提升待语义理解的目标文本的文本语义理解效果,从而提升用户体验。
Description
技术领域
本申请涉及自然语言处理技术领域,尤其涉及一种文本语义理解的方法和相关装置。
背景技术
语义理解作为自然语言处理技术领域中最重要环节,广泛应用于智能对话***,智能问答***等。具体地,针对用户输入的文本,语义理解模块能准确地判断出该文本所属的领域以及其关键词槽,以便***回复与之相应的文本;例如,文本“我想去XX广场”所属的领域为“导航”,其关键词槽为目的地“XX广场”。
目前,文本语义理解采用序列标注方法,即,针对领域类型下槽值类型和对应的槽值训练序列标注模型,序列标注模型拆分成“领域类型预测”和“槽值类型和对应的槽值预测”两个独立的子模块;其中“领域类型预测”用于预测文本所属的领域,“槽值类型和对应的槽值预测”用于预测文本的关键词槽。
发明人经过研究发现,上述序列标注方法虽然既能预测领域类型,又能预测槽值类型和对应的槽值,但是,预测领域类型和预测槽值类型、对应的槽值是独立的,即,未利用槽值类型和对应的槽值的预测辅助领域类型的预测,使得文本语义理解的效果不如人意,导致用户体验较差。
发明内容
有鉴于此,本申请实施例提供一种文本语义理解的方法和相关装置,能够大大提升待语义理解的目标文本的文本语义理解效果,从而提升用户体验。
第一方面,本申请实施例提供了一种文本语义理解的方法,该方法包括:
获取待语义理解的目标文本;
提取所述目标文本的语义信息,基于所述语义信息同时获得所述目标文本的领域类型、槽值类型和对应的槽值;
基于所述目标文本的领域类型、槽值类型和对应的槽值,对所述目标文本进行文本语义理解。
可选的,所述提取所述目标文本的语义信息,基于所述语义信息同时获得所述目标文本的领域类型、槽值类型和对应的槽值,具体为:
利用语义理解模型提取所述目标文本的语义信息,基于所述语义信息同时获得所述目标文本的领域类型、槽值类型和对应的槽值;所述语义理解模型是基于不同领域下训练文本、训练文本的领域类型、槽值类型和对应的槽值,训练多任务生成式模型获得的。
可选的,所述语义理解模型包括输入端和输出端;所述输入端包括字向量层和编码层,所述输出端包括解码层。
可选的,所述利用语义理解模型提取所述目标文本的语义信息,基于所述语义信息同时获得所述目标文本的领域类型、槽值类型和对应的槽值,包括:
基于所述目标文本和所述字向量层,获得所述目标文本的字向量;
基于所述目标文本的字向量和所述编码层,提取所述目标文本的语义信息获得所述目标文本的语义向量;
基于所述目标文本的语义向量和对应的所述解码层,获得所述目标文本的领域类型、槽值类型和对应的槽值。
可选的,所述基于所述目标文本的字向量和所述编码层提取所述目标文本的语义信息,获得所述目标文本的语义向量,包括:
将所述目标文本的字向量输入所述编码层,获得所述目标文本的隐层向量;
基于所述目标文本的字向量和对应的第一权值,获得第一中间上下文向量;基于所述目标文本的隐层向量和对应的第二权值,获得第二中间上下文向量;
基于所述第一中间上下文向量和所述第二中间上下文向量,提取所述目标文本的语义信息获得所述目标文本的语义向量。
可选的,所述解码层包括第一解码层和第二解码层;其中,当所述目标文本的领域类型为非闲聊时,所述第二解码层的输出为空,当所述目标文本的领域类型为闲聊时,所述第一解码层的输出为空。
可选的,所述方法还包括:
判断所述目标文本的槽值类型所属领域类型与所述目标文本的领域类型是否相同;
若是,基于所述目标文本的领域类型、槽值类型和对应的槽值响应所述目标文本;
若否,拒绝响应所述目标文本或询问所述目标文本。
第二方面,本申请实施例提供了一种文本语义理解的装置,该装置包括:
获取单元,用于获取待语义理解的目标文本;
获得单元,用于提取所述目标文本的语义信息,基于所述语义信息同时获得所述目标文本的领域类型、槽值类型和对应的槽值;
语义理解单元,用于基于所述目标文本的领域类型、槽值类型和对应的槽值,对所述目标文本进行文本语义理解。
可选的,所述获得单元具体用于:
利用语义理解模型提取所述目标文本的语义信息,基于所述语义信息同时获得所述目标文本的领域类型、槽值类型和对应的槽值;所述语义理解模型是基于不同领域下训练文本、训练文本的领域类型、槽值类型和对应的槽值,训练多任务生成式模型获得的。
可选的,所述语义理解模型包括输入端和输出端;所述输入端包括字向量层和编码层,所述输出端包括解码层。
可选的,所述获得单元包括:
第一获得子单元,用于基于所述目标文本和所述字向量层,获得所述目标文本的字向量;
第二获得子单元,用于基于所述目标文本的字向量和所述编码层,提取所述目标文本的语义信息获得所述目标文本的语义向量;
第三获得子单元,用于基于所述目标文本的语义向量和对应的所述解码层,获得所述目标文本的领域类型、槽值类型和对应的槽值。
可选的,所述第二获得子单元包括:
第一获得模块,用于将所述目标文本的字向量输入所述编码层,获得所述目标文本的隐层向量;
第二获得模块,用于基于所述目标文本的字向量和对应的第一权值,获得第一中间上下文向量;基于所述目标文本的隐层向量和对应的第二权值,获得第二中间上下文向量;
第三获得模块,用于基于所述第一中间上下文向量和所述第二中间上下文向量,提取所述目标文本的语义信息获得所述目标文本的语义向量。
可选的,所述解码层包括第一解码层和第二解码层;其中,当所述目标文本的领域类型为非闲聊时,所述第二解码层的输出为空,当所述目标文本的领域类型为闲聊时,所述第一解码层的输出为空。
可选的,还包括:
判断单元,用于判断所述目标文本的槽值类型所属领域类型与所述目标文本的领域类型是否相同;
第一响应单元,用于若是,基于所述目标文本的领域类型、槽值类型和对应的槽值响应所述目标文本;
第二响应单元,用于若否,拒绝响应所述目标文本或询问所述目标文本。
第三方面,本申请实施例提供了一种终端设备,该终端设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行上述第一方面任一项所述的文本语义理解的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质用于存储程序代码,所述程序代码用于执行上述第一方面任一项所述的文本语义理解的方法。
与现有技术相比,本申请至少具有以下优点:
采用本申请实施例的技术方案,首先,获取待语义理解的目标文本;然后,提取目标文本的语义信息,基于语义信息同时获得目标文本的领域类型、槽值类型和对应的槽值;最后,基于目标文本的领域类型、槽值类型和对应的槽值,对目标文本进行文本语义理解。由此可见,通过提取目标文本的语义信息,充分挖掘领域类型与槽值类型、对应的槽值之间的关系,充分利用槽值类型和对应的槽值的预测辅助领域类型的预测,以便同时获得目标文本的领域类型、槽值类型和对应的槽值,能够大大提升待语义理解的目标文本的文本语义理解效果,从而提升用户体验。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本申请实施例中一种应用场景所涉及的***框架示意图;
图2为本申请实施例提供的一种文本语义理解的方法的流程示意图;
图3为本申请实施例提供的一种语义理解模型的结构示意图;
图4为本申请实施例提供的另一种语义理解模型的结构示意图;
图5为本申请实施例提供的一种文本语义理解的装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
文本语义理解是指针对用户输入的文本能准确地判断出该文本所属的领域以及其关键词槽。现有的文本语义理解采用序列标注方法,针对领域类型下槽值类型和对应的槽值训练序列标注模型,序列标注模型拆分成“领域类型预测”和“槽值类型和对应的槽值预测”两个独立的子模块。但是,发明人经过研究发现,预测领域类型和预测槽值类型、对应的槽值是独立的,即,未利用槽值类型和对应的槽值的预测辅助领域类型的预测,使得文本语义理解的效果不如人意,导致用户体验较差。
为了解决这一问题,在本申请实施例中,首先,获取待语义理解的目标文本;然后,提取目标文本的语义信息,基于语义信息同时获得目标文本的领域类型、槽值类型和对应的槽值;最后,基于目标文本的领域类型、槽值类型和对应的槽值,对目标文本进行文本语义理解。由此可见,通过提取目标文本的语义信息,充分挖掘领域类型与槽值类型、对应的槽值之间的关系,充分利用槽值类型和对应的槽值的预测辅助领域类型的预测,以便同时获得目标文本的领域类型、槽值类型和对应的槽值,能够大大提升待语义理解的目标文本的文本语义理解效果,从而提升用户体验。
举例来说,本申请实施例的场景之一,可以是应用到如图1所示的场景中,该场景中该场景包括智能对话***100,其中,智能对话***100包括语义理解模块101。当用户通过智能对话***100输入对话文本后,将对话文本作为待语义理解的目标文本,语义理解模块101获取待语义理解的目标文本,采用本申请实施例的实施方式对待语义理解的目标文本进行文本语义理解。
可以理解的是,在上述应用场景中,虽然将本申请实施方式的动作描述由语义理解模块101执行,但是,本申请在执行主体方面不受限制,只要执行了本申请实施方式所公开的动作即可。
可以理解的是,上述场景仅是本申请实施例提供的一个场景示例,本申请实施例并不限于此场景。
下面结合附图,通过实施例来详细说明本申请实施例中文本语义理解的方法和相关装置的具体实现方式。
示例性方法
参见图2,示出了本申请实施例中一种文本语义理解的方法的流程示意图。在本实施例中,所述方法例如可以包括以下步骤:
步骤201:获取待语义理解的目标文本。
可以理解的是,进行文本语义理解首先需要获取待语义理解的目标文本。具体地,例如智能对话***场景下,当用户通过智能对话***输入对话文本后,可以将对话文本作为待语义理解的目标文本,智能对话***的语义理解模块获取该待语义理解的目标文本,后续需要对待语义理解的目标文本进行文本语义理解。
步骤202:提取所述目标文本的语义信息,基于所述语义信息同时获得所述目标文本的领域类型、槽值类型和对应的槽值。
需要说明的是,若是采用序列标注方法对目标文本进行文本语义理解,虽然既能预测目标文本的领域类型,又能预测目标文本的槽值类型和对应的槽值,但是,预测目标文本的领域类型和预测目标文本的槽值类型、对应的槽值是相互独立的,即,未利用槽值类型和对应的槽值的预测辅助领域类型的预测,使得目标文本的文本语义理解的效果不如人意,导致用户体验较差。因此,本申请实施例中,考虑提取步骤201中待语义理解的目标文本的语义信息,充分挖掘领域类型与槽值类型、对应的槽值之间的关系,充分利用槽值类型和对应的槽值的预测辅助领域类型的预测,从而基于该语义信息同时获得目标文本的领域类型、槽值类型和对应的槽值。
还需要说明的是,不同领域类型下槽值类型具有差异性,即,每个领域类型下槽值类型具有特殊性,若区分不同领域类型,针对每个领域类型单独训练模型,则无法考虑多个领域类型之间的内在联系,每个领域类型单独训练的字向量也不能共享,同样使得文本语义理解的效果不如人意,导致用户体验较差。因此,在本申请实施例中,考虑中针对不同领域下各个训练文本中每个训练文本的领域类型、槽值类型和对应的槽值,采用一个多任务生成式模型进行训练,在充分挖掘领域类型与槽值类型、对应的槽值之间的关系,充分利用槽值类型和对应的槽值的预测辅助领域类型的预测的基础上,还能够充分挖掘不同领域下各个训练文本之间的内在联系,充分共享各个训练文本的字向量,训练完成的多任务生成式模型即可作为语义理解模型。利用该语义理解模型处理待语义理解的目标文本,能够大大提升待语义理解的目标文本的文本语义理解效果。因此,在本申请实施例一种可选的实施方式中,所述步骤202例如具体可以为:利用语义理解模型提取所述目标文本的语义信息,基于所述语义信息同时获得所述目标文本的领域类型、槽值类型和对应的槽值;所述语义理解模型是基于不同领域下训练文本、训练文本的领域类型、槽值类型和对应的槽值,训练多任务生成式模型获得的。
需要注意的是,基于不同领域下训练文本、训练文本的领域类型、槽值类型和对应的槽值,训练多任务生成式模型获得语义理解模型,实际上是指先利用多任务生成式模型获得训练文本的预测领域类型、预测槽值类型和对应的预测槽值,再通过训练文本的预测领域类型、预测槽值类型和对应的预测槽值,以及训练文本的领域类型、槽值类型和对应的槽值,利用损失函数等迭代更新多任务生成式模型的参数,最终完成多任务生成式模型的训练获得语义理解模型。
其中,训练文本的领域类型、槽值类型和对应的槽值是基于预先设定的各个领域类型和每个领域类型下各个槽值类型标注的;各个领域类型和每个领域类型下各个槽值类型例如可以是从实际应用的角度出发基于行业应用统一设定的。各个领域类型例如可以包括音乐、车载、电视、导航、天气、股票、音乐、航班、影视、订票、智能家居和闲聊等等,本申请实施例中各个领域类型不限于此。其中,当领域类型为“音乐”时,领域类型“音乐”下各个槽值类型例如可以包括歌曲、歌手、版本、流派、语言和来源等等,本申请实施例中领域类型“音乐”下各个槽值类型不限于此;其他领域类型下各个槽值类型在此不再一一举例。
在标注训练文本的领域类型、槽值类型和对应的槽值后,可以将训练文本、训练文本的领域类型、槽值类型和对应的槽值按照形成如下表1所示的训练样例,其中,训练样例仅仅是个别领域下训练文本、训练文本的领域类型、槽值类型和对应的槽值的训练样例,本申请实施例中用于训练多任务生成式模型获得语义理解模型的不同领域下各个训练文本、训练文本的领域类型、槽值类型和对应的槽值不限于此,在此不再一一举例。
表1训练样例
在上述说明的基础上,针对步骤202,实际应用中语义理解模型例如可以包括的输入端和输出端两个部分;其中,输入端例如可以包括字向量层和编码层,字向量层用于获得目标文本中每个字对应的字向量,编码层用于将各个字向量进行编码,以提取目标文本的语义信息获得目标文本的语义向量;对应地,输出端例如可以包括解码层,解码层用于将语义向量进行解码以便预测获得目标文本的领域类型、槽值类型和对应的槽值。因此,在本申请实施例一种可选的实施方式中,所述语义理解模型包括输入端和输出端;所述输入端包括字向量层和编码层,所述输出端包括解码层。例如,如图3所示的一种语义理解模型的结构示意图。对应地,所述步骤202例如可以包括以下步骤:
步骤A:基于所述目标文本和所述字向量层,获得所述目标文本的字向量。
具体地,假设目标文本为“我想听张学友的吻别”,将目标文本“我想听张学友的吻别”输入字向量层,可以获得目标文本“我想听张学友的吻别”中各个字“我”、“想”、“听”、“张”、“学”、“友”、“的”、“吻”和“别”分别对应的字向量,字向量的维度例如可以为300维。
步骤B:基于所述目标文本的字向量和所述编码层,提取所述目标文本的语义信息获得所述目标文本的语义向量。
具体地,编码层例如可以为双向编码层,比如双向长短时记忆模型,将上述目标文本“我想听张学友的吻别”中各个字对应的字向量输入双向长短时记忆模型,可以获得前向隐层表示和后向隐层表示,以提取目标文本“我想听张学友的吻别”的语义信息,获得目标文本“我想听张学友的吻别”的语义向量。
还需要说明的是,考虑到当目标文本较长时,执行步骤A获得的目标文本的字向量较多,若是执行步骤B时仅通过编码层获得目标文本的语义向量很可能丢失目标文本中较多细节信息;即,当目标文本较长时,执行步骤B时仅通过编码层提取目标文本的语义信息不够精准,从而获得目标文本的语义向量不能够精准地表示目标文本语义信息。例如,目标文本为“我今天心情挺好的,给我来一个晴天吧,演唱会版本的那种”,若是执行步骤B时仅通过编码层获得目标文本“我今天心情挺好的,给我来一个晴天吧,演唱会版本的那种”的语义向量,很可能丢失目标文本中“演唱会版本”细节信息。因此,在本申请实施例中,还需要在语义理解模型的输入端引入注意力层,尤其是层次注意力层,利用基于不同颗粒度的注意力机制来衡量目标文本中的每个字对目标文本的语义信息的重要性程度,自动捕捉目标文本中对目标文本的语义信息而言较为重要的信息。因此,在本申请实施例一种可选的实施方式中,所述输入端还包括注意力层,所述注意力层为层次注意力层;例如,如图4所示的另一种语义理解模型的结构示意图。
由于目标文本中的信息在不同的上下文中所表达的语义可能不同,为了更好的区分由于信息上下文不同导致信息所表达的语义差异性,需要采用基于不同颗粒度的注意力机制。具体地,对于步骤B而言,首先,将目标文本的字向量输入编码层,例如,上述双向长短时记忆模型,并将前向隐层表示和后向隐层表示相加获得隐层向量;然后,通过字向量和对应的第一权值获得第一中间上下文向量,以及通过隐层向量和对应的第二权值获得第二中间上下文向量;最后,引入的层次注意力层用于通过第一中间上下文向量、第二中间上下文向量,提取更精准地目标文本的语义信息,获得更精准地表示目标文本语义信息的语义向量。因此,在本申请实施例一种可选的实施方式中,所述步骤B例如可以包括以下步骤:
步骤B1:将所述目标文本的字向量输入所述编码层,获得所述目标文本的隐层向量。
步骤B2:基于所述目标文本的字向量和对应的第一权值,获得第一中间上下文向量;基于所述目标文本的隐层向量和对应的第二权值,获得第二中间上下文向量。
具体地,步骤B2例如可以采用如下公式:
eij=(st-1,hj);
eij=(st-1,wj);
Tx表示目标文本的总字数,wj表示目标文本中第j个字的字向量,hj表示目标文本中第j个字的字向量输入编码层输出的隐层向量,βij表示wj对应的第一权值,αij表示hj对应的第二权值,cLi表示第一中间上下文向量,cHi表示第二中间上下文向量。
步骤B3:基于所述第一中间上下文向量和所述第二中间上下文向量,提取所述目标文本的语义信息获得所述目标文本的语义向量。
具体地,步骤B3例如可以采用如下公式:
ci=[cHi;cLi;cHi+cLi]。
步骤C:基于所述目标文本的语义向量和对应的所述解码层,获得所述目标文本的领域类型、槽值类型和对应的槽值。
可以理解的是,上述目标文本“我想听张学友的吻别”的语义向量输入对应的解码层后,即可预测获得目标文本“我想听张学友的吻别”的领域类型为“音乐”,槽值类型和对应的槽值为“歌手:张学友以及歌曲:吻别”。
需要注意的是,领域类型为“闲聊”时,领域类型“闲聊”下文本并没有槽值类型和对应的槽值,因此,对于各个领域类型而言,按照领域类型是否为闲聊,可以分为两大类领域类型“非闲聊”和“闲聊”;对应地,基于两大类领域类型“非闲聊”和“闲聊”下文本是否有槽值类型和对应的槽值,例如可以将解码层设置为第一解码层和第二解码层,第一解码层用于处理“非闲聊”大类领域类型下文本的语义向量,第二解码层用于处理“闲聊”大类领域类型下训练文本的语义向量,区分明显不混淆。因此,在本申请实施例一种可选的实施方式中,所述解码层包括第一解码层和第二解码层;其中,当所述目标文本的领域类型为非闲聊时,所述第二解码层的输出为空,当所述目标文本的领域类型为闲聊时,所述第一解码层的输出为空。
由上述说明可知,将上述目标文本“我想听张学友的吻别”的语义向量输入解码层后,实际上是第一解码层输出获得目标文本“我想听张学友的吻别”的领域类型、槽值类型和对应的槽值,而第二解码层的输出为空。若是目标文本为“今天真的好热”,目标文本“今天真的好热”的语义向量输入解码层后,实际上是第二解码层输出获得目标文本“我想听张学友的吻别”的领域类型为“闲聊”,没有槽值类型和对应的槽值,而第一解码层的输出为空。
步骤203:基于所述目标文本的领域类型、槽值类型和对应的槽值,对所述目标文本进行文本语义理解。
可以理解的是,在步骤201获得目标文本的领域类型、槽值类型和对应的槽值之后,表示该目标文本所属的领域以及其关键词槽,即可基于目标文本的领域类型、槽值类型和对应的槽值进行文本语义理解,从而实现对待语义理解的目标文本的文本语义理解,该方式大大提升待语义理解的目标文本的文本语义理解效果,从而提升用户体验。
还需要说明的是,针对步骤202获得的目标文本的领域类型、槽值类型和对应的槽值而言,获得的目标文本的槽值类型所属领域类型,与获得的目标文本的领域类型可能相同也可能不同,相同和不同这两种情况下需要采用不同的方式响应目标文本,具体如下说明:
当获得的目标文本的槽值类型所属领域类型,与获得的目标文本的领域类型相同时,表示步骤202获得的目标文本的领域类型、槽值类型和对应的槽值预测准确率较高,能准确表达目标文本的语义信息,即可基于目标文本的领域类型、槽值类型和对应的槽值响应目标文本;当获得的目标文本的槽值类型所属领域类型,与获得的目标文本的领域类型不同,表示步骤202获得的目标文本的领域类型、槽值类型和对应的槽值预测准确率较低,不能够准确表达目标文本的语义信息,需要拒绝响应目标文本,或者针对目标文本进行询问。因此,在本申请实施例一种可选的实施方式中,例如还可以包括以下步骤:
步骤D:判断所述目标文本的槽值类型所属领域类型与所述目标文本的领域类型是否相同;
步骤E:若是,基于所述目标文本的领域类型、槽值类型和对应的槽值响应所述目标文本;
步骤F:若否,拒绝响应所述目标文本或询问所述目标文本。
通过本实施例提供的各种实施方式,首先,获取待语义理解的目标文本;然后,提取目标文本的语义信息,基于语义信息同时获得目标文本的领域类型、槽值类型和对应的槽值;最后,基于目标文本的领域类型、槽值类型和对应的槽值,对目标文本进行文本语义理解。由此可见,通过提取目标文本的语义信息,充分挖掘领域类型与槽值类型、对应的槽值之间的关系,充分利用槽值类型和对应的槽值的预测辅助领域类型的预测,以便同时获得目标文本的领域类型、槽值类型和对应的槽值,能够大大提升待语义理解的目标文本的文本语义理解效果,从而提升用户体验。
示例性装置
参见图5,示出了本申请实施例中一种文本语义理解的装置的结构示意图。在本实施例中,所述装置例如具体可以包括:
获取单元501,用于获取待语义理解的目标文本;
获得单元502,用于提取所述目标文本的语义信息,基于所述语义信息同时获得所述目标文本的领域类型、槽值类型和对应的槽值;
语义理解单元503,用于基于所述目标文本的领域类型、槽值类型和对应的槽值,对所述目标文本进行文本语义理解。
在本申请实施例一种可选的实施方式中,所述获得单元502具体用于:
利用语义理解模型提取所述目标文本的语义信息,基于所述语义信息同时获得所述目标文本的领域类型、槽值类型和对应的槽值;所述语义理解模型是基于不同领域下训练文本、训练文本的领域类型、槽值类型和对应的槽值,训练多任务生成式模型获得的。
在本申请实施例一种可选的实施方式中,所述语义理解模型包括输入端和输出端;所述输入端包括字向量层和编码层,所述输出端包括解码层。
在本申请实施例一种可选的实施方式中,所述获得单元502包括:
第一获得子单元,用于基于所述目标文本和所述字向量层,获得所述目标文本的字向量;
第二获得子单元,用于基于所述目标文本的字向量和所述编码层,提取所述目标文本的语义信息获得所述目标文本的语义向量;
第三获得子单元,用于基于所述目标文本的语义向量和对应的所述解码层,获得所述目标文本的领域类型、槽值类型和对应的槽值。
在本申请实施例一种可选的实施方式中,所述第二获得子单元包括:
第一获得模块,用于将所述目标文本的字向量输入所述编码层,获得所述目标文本的隐层向量;
第二获得模块,用于基于所述目标文本的字向量和对应的第一权值,获得第一中间上下文向量;基于所述目标文本的隐层向量和对应的第二权值,获得第二中间上下文向量;
第三获得模块,用于基于所述第一中间上下文向量和所述第二中间上下文向量,提取所述目标文本的语义信息获得所述目标文本的语义向量。
在本申请实施例一种可选的实施方式中,所述解码层包括第一解码层和第二解码层;其中,当所述目标文本的领域类型为非闲聊时,所述第二解码层的输出为空,当所述目标文本的领域类型为闲聊时,所述第一解码层的输出为空。
在本申请实施例一种可选的实施方式中,还包括:
判断单元,用于判断所述目标文本的槽值类型所属领域类型与所述目标文本的领域类型是否相同;
第一响应单元,用于若是,基于所述目标文本的领域类型、槽值类型和对应的槽值响应所述目标文本;
第二响应单元,用于若否,拒绝响应所述目标文本或询问所述目标文本。
通过本实施例提供的各种实施方式,首先,获取待语义理解的目标文本;然后,提取目标文本的语义信息,基于语义信息同时获得目标文本的领域类型、槽值类型和对应的槽值;最后,基于目标文本的领域类型、槽值类型和对应的槽值,对目标文本进行文本语义理解。由此可见,通过提取目标文本的语义信息,充分挖掘领域类型与槽值类型、对应的槽值之间的关系,充分利用槽值类型和对应的槽值的预测辅助领域类型的预测,以便同时获得目标文本的领域类型、槽值类型和对应的槽值,能够大大提升待语义理解的目标文本的文本语义理解效果,从而提升用户体验。
此外,本申请实施例还提供了一种终端设备,该终端设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行上述方法实施例所述的文本语义理解的方法。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质用于存储程序代码,所述程序代码用于执行上述方法实施例所述的文本语义理解的方法。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述,仅是本申请的较佳实施例而已,并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上,然而并非用以限定本申请。任何熟悉本领域的技术人员,在不脱离本申请技术方案范围情况下,都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本申请技术方案的内容,依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均仍属于本申请技术方案保护的范围内。
Claims (7)
1.一种文本语义理解的方法,其特征在于,包括:
获取待语义理解的目标文本;
利用语义理解模型提取所述目标文本的语义信息,基于所述语义信息同时获得所述目标文本的领域类型、槽值类型和对应的槽值;所述语义理解模型是基于不同领域下训练文本、训练文本的领域类型、槽值类型和对应的槽值,训练一个多任务生成式模型获得的;
基于所述目标文本的领域类型、槽值类型和对应的槽值,对所述目标文本进行文本语义理解;
其中,所述语义理解模型包括输入端和输出端;所述输入端包括字向量层和编码层,所述输出端包括解码层;对应地,所述利用语义理解模型提取所述目标文本的语义信息,基于所述语义信息同时获得所述目标文本的领域类型、槽值类型和对应的槽值,包括:
基于所述目标文本和所述字向量层,获得所述目标文本的字向量;
基于所述目标文本的字向量和所述编码层,提取所述目标文本的语义信息获得所述目标文本的语义向量;
基于所述目标文本的语义向量和对应的所述解码层,获得所述目标文本的领域类型、槽值类型和对应的槽值。
2.根据权利要求1所述的方法,其特征在于,所述基于所述目标文本的字向量和所述编码层提取所述目标文本的语义信息,获得所述目标文本的语义向量,包括:
将所述目标文本的字向量输入所述编码层,获得所述目标文本的隐层向量;
基于所述目标文本的字向量和对应的第一权值,获得第一中间上下文向量;基于所述目标文本的隐层向量和对应的第二权值,获得第二中间上下文向量;
基于所述第一中间上下文向量和所述第二中间上下文向量,提取所述目标文本的语义信息获得所述目标文本的语义向量。
3.根据权利要求1所述的方法,其特征在于,所述解码层包括第一解码层和第二解码层;其中,当所述目标文本的领域类型为非闲聊时,所述第二解码层的输出为空,当所述目标文本的领域类型为闲聊时,所述第一解码层的输出为空。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
判断所述目标文本的槽值类型所属领域类型与所述目标文本的领域类型是否相同;
若是,基于所述目标文本的领域类型、槽值类型和对应的槽值响应所述目标文本;
若否,拒绝响应所述目标文本或询问所述目标文本。
5.一种文本语义理解的装置,其特征在于,包括:
获取单元,用于获取待语义理解的目标文本;
获得单元,用于利用语义理解模型提取所述目标文本的语义信息,基于所述语义信息同时获得所述目标文本的领域类型、槽值类型和对应的槽值;所述语义理解模型是基于不同领域下训练文本、训练文本的领域类型、槽值类型和对应的槽值,训练一个多任务生成式模型获得的;
语义理解单元,用于基于所述目标文本的领域类型、槽值类型和对应的槽值,对所述目标文本进行文本语义理解;
其中,所述语义理解模型包括输入端和输出端;所述输入端包括字向量层和编码层,所述输出端包括解码层;所述获得单元用于:
基于所述目标文本和所述字向量层,获得所述目标文本的字向量;
基于所述目标文本的字向量和所述编码层,提取所述目标文本的语义信息获得所述目标文本的语义向量;
基于所述目标文本的语义向量和对应的所述解码层,获得所述目标文本的领域类型、槽值类型和对应的槽值。
6.一种终端设备,其特征在于,所述终端设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行权利要求1-4任一项所述的文本语义理解的方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行权利要求1-4任一项所述的文本语义理解的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010010698.0A CN111274823B (zh) | 2020-01-06 | 2020-01-06 | 一种文本语义理解的方法和相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010010698.0A CN111274823B (zh) | 2020-01-06 | 2020-01-06 | 一种文本语义理解的方法和相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111274823A CN111274823A (zh) | 2020-06-12 |
CN111274823B true CN111274823B (zh) | 2021-08-27 |
Family
ID=71001616
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010010698.0A Active CN111274823B (zh) | 2020-01-06 | 2020-01-06 | 一种文本语义理解的方法和相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111274823B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113177415B (zh) * | 2021-04-30 | 2024-06-07 | 科大讯飞股份有限公司 | 语义理解方法、装置、电子设备和存储介质 |
CN117874176A (zh) * | 2022-09-30 | 2024-04-12 | 中兴通讯股份有限公司 | 电信网管产品的意图驱动方法及装置 |
CN116738298B (zh) * | 2023-08-16 | 2023-11-24 | 杭州同花顺数据开发有限公司 | 一种文本分类方法、***和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180203852A1 (en) * | 2017-01-18 | 2018-07-19 | Xerox Corporation | Natural language generation through character-based recurrent neural networks with finite-state prior knowledge |
CN109918682A (zh) * | 2019-03-29 | 2019-06-21 | 科大讯飞股份有限公司 | 一种文本标注方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110209446B (zh) * | 2019-04-23 | 2021-10-01 | 华为技术有限公司 | 一种人机对话***中组合槽位的配置方法及装置 |
-
2020
- 2020-01-06 CN CN202010010698.0A patent/CN111274823B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180203852A1 (en) * | 2017-01-18 | 2018-07-19 | Xerox Corporation | Natural language generation through character-based recurrent neural networks with finite-state prior knowledge |
CN109918682A (zh) * | 2019-03-29 | 2019-06-21 | 科大讯飞股份有限公司 | 一种文本标注方法及装置 |
Non-Patent Citations (2)
Title |
---|
Find or Classify? Dual Strategy for Slot-Value Predictions on Multi-Domain Dialog State Tracking;Jian-Guo Zhang et al.;《ArXiv》;20191008;第1-12页 * |
基于S-LSTM模型利用‘槽值门’机制的说话人意图识别;王子岳 等;《南京信息工程大学学报(自然科学版)》;20191231(第6期);第751-756页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111274823A (zh) | 2020-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109918673B (zh) | 语义仲裁方法、装置、电子设备和计算机可读存储介质 | |
CN108509619B (zh) | 一种语音交互方法及设备 | |
CN107220352B (zh) | 基于人工智能构建评论图谱的方法和装置 | |
CN111274823B (zh) | 一种文本语义理解的方法和相关装置 | |
CN106960030B (zh) | 基于人工智能的推送信息方法及装置 | |
CN110619051B (zh) | 问题语句分类方法、装置、电子设备及存储介质 | |
CN111046656A (zh) | 文本处理方法、装置、电子设备及可读存储介质 | |
CN112988979A (zh) | 实体识别方法、装置、计算机可读介质及电子设备 | |
CN110162594B (zh) | 文本数据的观点生成方法、装置及电子设备 | |
CN111488468B (zh) | 地理信息知识点抽取方法、装置、存储介质及计算机设备 | |
CN110704576A (zh) | 一种基于文本的实体关系抽取方法及装置 | |
CN109753658B (zh) | 交互方法和装置 | |
CN110210035B (zh) | 序列标注方法、装置及序列标注模型的训练方法 | |
CN104572631A (zh) | 一种语言模型的训练方法及*** | |
CN111414471B (zh) | 用于输出信息的方法和装置 | |
CN114003682A (zh) | 一种文本分类方法、装置、设备及存储介质 | |
CN113343692B (zh) | 搜索意图的识别方法、模型训练方法、装置、介质及设备 | |
CN117520793A (zh) | 意图槽位识别模型的生成方法、装置、及电子设备 | |
CN116306663B (zh) | 语义角色标注方法、装置、设备以及介质 | |
CN111858860B (zh) | 搜索信息处理方法及***、服务器、计算机可读介质 | |
CN114398903B (zh) | 意图识别方法、装置、电子设备及存储介质 | |
CN113515611B (zh) | 一种任务型多意图对话的意图识别方法和识别*** | |
CN114116975A (zh) | 一种多意图识别方法及*** | |
CN111460169B (zh) | 语义表达式生成方法、装置及设备 | |
CN111985235B (zh) | 文本处理方法、装置、计算机可读存储介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |