CN110188342B - 一种基于知识图谱与语义图技术的口语理解方法 - Google Patents
一种基于知识图谱与语义图技术的口语理解方法 Download PDFInfo
- Publication number
- CN110188342B CN110188342B CN201910315854.1A CN201910315854A CN110188342B CN 110188342 B CN110188342 B CN 110188342B CN 201910315854 A CN201910315854 A CN 201910315854A CN 110188342 B CN110188342 B CN 110188342B
- Authority
- CN
- China
- Prior art keywords
- sequence
- neural network
- semantic
- graph
- spoken language
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于知识图谱与语义图技术进行口语理解的方法。本发明步骤:1.训练序列到动作序列神经网络模型,训练基于句子和句子逻辑表达式的口语理解神经网络;2.读取需要被解析的自然语言句子;3.使用文本映射算法扫描并替换句子中与知识图谱中语义资源相匹配的部分;4.使用序列到动作序列神经网络模型读取替换了语义资源后的句子,然后执行对应的动作序列生成与句子语义相符的语义图,然后使用深度优先算法遍历语义图得到句子的逻辑表达式;5.使用口语理解神经网络读入句子和逻辑表达式,生成意图信息和槽位信息。本发明提出结合知识图谱和理解句子语义的方法进行口语解析。
Description
技术领域
本发明涉及文本匹配领域,具体涉及一种基于知识图谱与语义图技术进行口语理解的方法,一种指定文本中检测句子主旨与详细要点的方法。
背景技术
人机对话***需要识别人类语言中的信息,才能具体执行相应任务,如给问题作出回答、预定机票等等,这个过程也叫做口语解析。口语解析任务中,识别句子主旨的任务叫“意图检测”,根据意图的不同从句子中筛选要求叫“槽位填充”。
随着人工智能技术的发展,研究者们纷纷从传统的最大熵马尔可夫模型、条件随机场等方案中转移到各种基于神经网络的模型上,取得了可喜的进步。但是这些工作往往著重于句子本身的结构信息,缺乏对句子语义的有效利用。同时,近些年来互联网的迅猛扩张,知识库和知识图谱的容量和应用场景都有许多新的发展,这为如何利用知识图谱当中的资源为自动对话***服务带来了新的帮助。我们提出的方法结合知识图谱与语义图技术,实现口语解析。
发明内容
本发明的目的是针对现有技术的不足,公开一种基于知识图谱与语义图技术的口语理解方法。
本发明解决其技术问题所采用的技术方案包括以下步骤:
步骤1、训练序列到动作序列神经网络模型,训练基于句子和句子逻辑表达式的口语理解神经网络;
步骤2、读取需要被解析的自然语言句子;
步骤3、使用文本映射算法扫描并替换句子中与知识图谱中语义资源相匹配的部分;
步骤4、使用序列到动作序列神经网络模型读取替换了语义资源后的句子,然后执行对应的动作序列生成与句子语义相符的语义图,然后使用深度优先算法遍历语义图得到句子的逻辑表达式;
步骤5、使用口语理解神经网络读入句子和逻辑表达式,生成意图信息和槽位信息。
步骤1中训练的序列到动作序列神经网络模型,包括如下步骤:
1-1.整理出已有的句子与逻辑表达式的关系作为样本集;
1-2.解析句子逻辑表达式生成语义图,对语义图进行深度优先搜索生成构造语义图的动作序列;
1-3.将句子本身与逻辑表达式生成的动作序列做对应,生成一个新的样本集;
1-4.将句子与动作序列的样本集,分割为比例为9∶1作为训练集与测试集;训练集送入一个序列到序列的神经网络模型中,通过梯度下降算法调整模型参数,使得模型在测试集中的测试结果达到最优;
步骤1中所述的口语理解神经网络,包括如下步骤:
(1-1)整理已有句子的逻辑表达式与句子的意图信息和槽位信息做对应,整理为样本集;
(1-2)同样将样本集分割为9∶1作为训练集与测试集;
(1-3)使用口语理解神经网络在训练集中进行学习,然后在测试集中测试结果;调整参数使用梯度下降法,使得最终槽位信息和意图信息达到尽可能准确。
步骤1或5中的口语理解模型,其特征在于,构建一个编码器、解码器结构的循环神经网络,具体如下:
①使用LSTM作为神经网络中的单元;
②编码器结构满足:
hi=LSTM(φ(x)(xi),hi-1) (1)
其中,hi表示对应于输入词语xi的隐藏层状态,LSTM指长短时记忆网络的状态转移方程;φ(x)(xi)表示对于输入词语xi映射到词向量;
③解码器结构满足:
P(yj=w|x,y1:j-1)∝exp(Uw[sj,cj]) (6)
sj+1=LSTM([φ(y)(yj),cj],sj) (7)
其中,si表示输出步骤为j时的隐藏层状态;表示在序列长度为m的序列上,取正向RNN序列的第m个隐藏层数据,与反向RNN序列中第1个隐藏层的数据拼接,通过解码器隐藏层转换函数计算得到第一个解码器隐藏层状态s1;
aii指输出步骤为i时的词语xj的注意力权重;其中exp指指数函数;yj为输出步骤j的输出结果。
步骤1或5中的口语理解神经网络,其特征在于构建一个同时读入句子本身与其逻辑表达式的神经网络,进行意图猜测和槽位解析,
具体包括:
(1)逻辑表达式信息提取,逻辑表达式序列对应的前向隐藏层状态lfh=[lfh1lfh2lfh3,…,lfh|L|]满足:
类似的,反向隐藏层状态lbh=[lbh1lbh2lbh3,…,lbh|L|]同样满足:
逻辑表达式的最终描述结果sL=[lfh|L|,lbh1]
LSTM表示长短时记忆网络的状态转移方程,φl(li)表示逻辑表达式序列单元li在映射方程φl计算下得到对应向量;
(2)进行槽位填充时,更新过程满足:
s0=tanh(W(s)sL) (4.17)
si=f(s)(si-1,yi-1,hi,ci) (4.18)
ei,k=g(si-1,hk) (4.21)
其中y表示生成的标签序列;在输出时刻i,ci表示注意力机制下的输入,si表示当前隐藏层状态;W(s)表示隐藏层状态初始化方程,参数sL来自(1)中的计算结果;ci表示当前注意力机制下的输入值,ai,j表示当前步骤下输入词语xj的注意力得分,ei,k表示词语xk的权重,根据权重换算公式g计算上一时刻状态si-1与词语隐藏层状态hk得到;
(3)意图解析是对所有的隐藏层状态h=(h1,h2,...,h|w|)汇总,分类,输出意图信息的分类。
口语理解的神经模型如图5所示。
本发明的优点及有益效果如下:
本发明针对当前口语理解技术存在没有利用知识图谱与句子语义的问题,提出结合知识图谱和理解句子语义的方法进行口语解析。具体而言,是提出如何使用知识图谱中的语义资源替换到句子本身;以及提出一个神经网络模型用于生成语义图,根据语义图生成句子逻辑表达式;最后提出一个神经网络模型,用于结合句子逻辑表达式与句子本身的词语进行意图检测和口语理解。
附图说明
图1是本发明所述方法的流程框图。
图2表示本发明的数据流动图
图3是用于生成语义图动作序列的,序列到动作序列神经网络模型架构。
图4为结合句子与逻辑表达式进行联合意图检测与口语理解的神经网络模型架构。
图5是本发明中,词语与槽位标签、意图标签的对应示意图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1与图2,步骤1、训练序列到动作序列神经网络模型,模型架构如图3所示,训练基于句子和句子逻辑表达式的口语理解神经网络,模型架构如图4所示;
步骤2、读取需要被解析的自然语言句子;
步骤3、使用文本映射算法扫描并替换句子中与知识图谱中语义资源相匹配的部分;
步骤4、使用序列到动作序列神经网络模型读取替换了语义资源后的句子,然后执行对应的动作序列生成与句子语义相符的语义图,然后使用深度优先算法遍历语义图得到句子的逻辑表达式;
步骤5、使用口语理解神经网络读入句子和逻辑表达式,生成意图信息和槽位信息。
步骤1中训练的序列到动作序列神经网络模型,包括如下步骤:
1-1.整理出已有的句子与逻辑表达式的关系作为样本集;
1-2.解析句子逻辑表达式生成语义图,对语义图进行深度优先搜索生成构造语义图的动作序列;
1-3.将句子本身与逻辑表达式生成的动作序列做对应,生成一个新的样本集;
1-4.将句子与动作序列的样本集,分割为比例为9∶1作为训练集与测试集;训练集送入一个序列到序列的神经网络模型中,通过梯度下降算法调整模型参数,使得模型在测试集中的测试结果达到最优;
步骤1中所述的口语理解神经网络,包括如下步骤:
(1-1)整理已有句子的逻辑表达式与句子的意图信息和槽位信息做对应,相应样例如图5所示,整理为样本集;
(1-2)同样将样本集分割为9∶1作为训练集与测试集;
(1-3)使用口语理解神经网络在训练集中进行学习,然后在测试集中测试结果;调整参数使用梯度下降法,使得最终槽位信息和意图信息达到尽可能准确。
步骤1或5中的口语理解模型,其特征在于,构建一个编码器、解码器结构的循环神经网络,具体如下:
①使用LSTM作为神经网络中的单元;
②编码器结构满足:
hi=LSTM(φ(x)(xi),hi-1) (1)
其中,hi表示对应于输入词语xi的隐藏层状态,LSTM指长短时记忆网络的状态转移方程;φ(x)(xi)表示对于输入词语xi映射到词向量;
③解码器结构满足:
P(yj=w|x,y1:j-1)∝exp(Uw[sj,cj]) (6)
sj+1=LSTM([φ(y)(yi),ci],si) (7)
其中,si表示输出步骤为j时的隐藏层状态;表示在序列长度为m的序列上,取正向RNN序列的第m个隐藏层数据,与反向RNN序列中第1个隐藏层的数据拼接,通过解码器隐藏层转换函数计算得到第一个解码器隐藏层状态s1;
aij指输出步骤为i时的词语xj的注意力权重;其中exp指指数函数;yj为输出步骤j的输出结果。
步骤1或5中的口语理解神经网络,其特征在于构建一个同时读入句子本身与其逻辑表达式的神经网络,进行意图猜测和槽位解析,具体包括:
(1)逻辑表达式信息提取,逻辑表达式序列对应的前向隐藏层状态lfh=[lfh1lfh2lfh3,…,lfh|L|]满足:
类似的,反向隐藏层状态lbh=[lbh1lbh2lbh3,…,lbh|L|]同样满足:
逻辑表达式的最终描述结果sL=[lfh|L|,lbh1]
LSTM表示长短时记忆网络的状态转移方程,φl(li)表示逻辑表达式序列单元li在映射方程φl计算下得到对应向量;
(2)进行槽位填充时,更新过程满足:
s0=tanh(W(s)sL) (4.17)
si=f(s)(si-1,yi-1,hi,ci) (4.18)
ei,k=g(si-1,hk) (4.21)
其中y表示生成的标签序列;在输出时刻i,ci表示注意力机制下的输入,si表示当前隐藏层状态;W(s)表示隐藏层状态初始化方程,参数sL来自(1)中的计算结果;ci表示当前注意力机制下的输入值,ai,j表示当前步骤下输入词语xj的注意力得分,ei,k表示词语xk的权重,根据权重换算公式g计算上一时刻状态si-1与词语隐藏层状态hk得到;
(3)意图解析是对所有的隐藏层状态h=(h1,h2,...,h|w|)汇总,分类,输出意图信息的分类。
Claims (4)
1.一种基于知识图谱与语义图技术的口语理解方法,其特征在于包括以下步骤:
步骤1、训练序列到动作序列神经网络模型,训练基于句子和句子逻辑表达式的口语理解神经网络;
步骤2、读取需要被解析的自然语言句子;
步骤3、使用文本映射算法扫描并替换句子中与知识图谱中语义资源相匹配的部分;
步骤4、使用序列到动作序列神经网络模型读取替换了语义资源后的句子,然后执行对应的动作序列生成与替换了语义资源后的句子语义相符的语义图,然后使用深度优先算法遍历语义图得到替换了语义资源后的句子的逻辑表达式;
步骤5、使用口语理解神经网络读入替换了语义资源后的句子和逻辑表达式,生成意图信息和槽位信息。
2.根据权利要求1所述的一种基于知识图谱与语义图技术的口语理解方法,其特征在于步骤1中训练的序列到动作序列神经网络模型,包括如下步骤:
1-1.整理出已有的句子与逻辑表达式的关系作为样本集;
1-2.解析句子逻辑表达式生成语义图,对语义图进行深度优先搜索生成构造语义图的动作序列;
1-3.将句子本身与逻辑表达式生成的动作序列做对应,生成一个新的样本集;
1-4.将句子与动作序列的样本集,分割为比例为9:1作为训练集与测试集;训练集送入一个序列到动作序列的神经网络模型中,通过梯度下降算法调整模型参数,使得模型在测试集中的测试结果达到最优;
步骤1中所述的口语理解神经网络,包括如下步骤:
1-1整理已有句子的逻辑表达式与句子的意图信息和槽位信息做对应,整理为样本集;
1-2同样将样本集分割为9∶1作为训练集与测试集;
1-3使用口语理解神经网络在训练集中进行学习,然后在测试集中测试结果;调整参数使用梯度下降法,使得最终槽位信息和意图信息更加准确。
3.根据权利要求1或2所述的一种基于知识图谱与语义图技术的口语理解方法,步骤1或5中的口语理解神经网络,其特征在于,构建一个编码器、解码器结构的循环神经网络,具体如下:
①使用LSTM作为神经网络中的单元;
②编码器结构满足:
hi=LSTM(φ(x)(xi),hi-1) (1)
其中,hi表示对应于输入词语xi的隐藏层状态,LSTM指长短时记忆网络的状态转移方程;φ(x)(xi)表示对于输入词语xi映射到词向量;
③解码器结构满足:
P(yj=w|x,y1:j-1)∝exp(Uw[sj,cj]) (6)
sj+1=LSTM([φ(y)(yj),cj],sj) (7)
其中,sj表示输出步骤为j时的隐藏层状态;表示在序列长度为m的序列上,取正向RNN序列的第m个隐藏层数据,与反向RNN序列中第1个隐藏层的数据拼接,通过解码器隐藏层转换函数计算得到第一个解码器隐藏层状态s1;
aij指输出步骤为i时的词语xj的注意力权重;其中exp指指数函数;yj为输出步骤j的输出结果。
4.根据权利要求3所述的一种基于知识图谱与语义图技术的口语理解方法,步骤1或5中的口语理解神经网络,其特征在于构建一个同时读入句子本身与其逻辑表达式的神经网络,进行意图猜测和槽位解析,具体包括:
(1)逻辑表达式信息提取,逻辑表达式序列对应的前向隐藏层状态lfh=[lfh1,lfh2,lfh3,…,lfh|L|]满足:
类似的,反向隐藏层状态lbh=[lbh1,lbh2,lbh3,…,lbh|L|]同样满足:
逻辑表达式的最终描述结果sL=[lfh|L|,lbh1]
LSTM表示长短时记忆网络的状态转移方程,φl(li)表示逻辑表达式序列单元li在映射方程φl计算下得到对应向量;
(2)进行槽位填充时,更新过程满足:
s0=tanh(W(s)(sL))
(4.17)
si=f(s)(si-1,yi-1,hi,ci)
(4.18)
ei,k=g(si-1,hk)
(4.21)
其中yi-1表示生成的标签序列的第i-1个值;在输出时刻i,ci表示注意力机制下的输入,si表示当前隐藏层状态;W(s)表示隐藏层状态初始化方程,参数sL来自上述步骤(1)中的计算结果;ci表示当前注意力机制下的输入值,ai,j表示当前步骤下输入词语xj的注意力得分,ei,k表示词语xk的权重,根据权重换算公式g计算上一时刻状态si-1与词语隐藏层状态hk得到;
(3)意图解析是对所有的隐藏层状态s=(s1,s2,...,s|w|)汇总,分类,输出意图信息的分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910315854.1A CN110188342B (zh) | 2019-04-19 | 2019-04-19 | 一种基于知识图谱与语义图技术的口语理解方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910315854.1A CN110188342B (zh) | 2019-04-19 | 2019-04-19 | 一种基于知识图谱与语义图技术的口语理解方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110188342A CN110188342A (zh) | 2019-08-30 |
CN110188342B true CN110188342B (zh) | 2020-04-07 |
Family
ID=67714762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910315854.1A Active CN110188342B (zh) | 2019-04-19 | 2019-04-19 | 一种基于知识图谱与语义图技术的口语理解方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110188342B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111914074B (zh) * | 2020-07-16 | 2023-06-20 | 华中师范大学 | 基于深度学习与知识图谱的限定领域对话生成方法及*** |
CN112183062B (zh) * | 2020-09-28 | 2024-04-19 | 云知声智能科技股份有限公司 | 一种基于交替解码的口语理解方法、电子设备和存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8180633B2 (en) * | 2007-03-08 | 2012-05-15 | Nec Laboratories America, Inc. | Fast semantic extraction using a neural network architecture |
CN102591988B (zh) * | 2012-01-16 | 2014-10-15 | 西安电子科技大学 | 基于语义图的短文本分类方法 |
CN106126492B (zh) * | 2016-06-07 | 2019-02-05 | 北京高地信息技术有限公司 | 基于双向lstm神经网络的语句识别方法及装置 |
CN107577662A (zh) * | 2017-08-08 | 2018-01-12 | 上海交通大学 | 面向中文文本的语义理解***及方法 |
-
2019
- 2019-04-19 CN CN201910315854.1A patent/CN110188342B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110188342A (zh) | 2019-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108763504B (zh) | 一种基于强化双通道序列学习的对话回复生成方法及*** | |
CN110134757B (zh) | 一种基于多头注意力机制的事件论元角色抽取方法 | |
WO2019198386A1 (ja) | リクエスト言換システム、リクエスト言換モデル及びリクエスト判定モデルの訓練方法、及び対話システム | |
CN111859978A (zh) | 一种基于深度学习的情感文本生成方法 | |
CN111506732B (zh) | 一种文本多层次标签分类方法 | |
CN110033008B (zh) | 一种基于模态变换与文本归纳的图像描述生成方法 | |
CN106407333A (zh) | 基于人工智能的口语查询识别方法及装置 | |
CN113657115B (zh) | 一种基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法 | |
CN112507733B (zh) | 基于依存图网络的汉越神经机器翻译方法 | |
CN112349294B (zh) | 语音处理方法及装置、计算机可读介质、电子设备 | |
CN110188342B (zh) | 一种基于知识图谱与语义图技术的口语理解方法 | |
CN112561718A (zh) | 基于BiLSTM权重共享的案件微博评价对象情感倾向性分析方法 | |
CN114925195A (zh) | 一种融合词汇编码与结构编码的标准内容文本摘要生成方法 | |
CN114818717A (zh) | 融合词汇和句法信息的中文命名实体识别方法及*** | |
CN114168754A (zh) | 一种基于句法依赖和融合信息的关系抽取方法 | |
CN114722835A (zh) | 基于lda和bert融合改进模型的文本情感识别方法 | |
CN115630653A (zh) | 一种基于BERT与BiLSTM的网络流行语情感分析方法 | |
CN111563148A (zh) | 一种基于词组多样性的对话生成方法 | |
CN113255360A (zh) | 基于层次化自注意力网络的文档评级方法和装置 | |
CN115376547B (zh) | 发音评测方法、装置、计算机设备和存储介质 | |
CN116842150A (zh) | 基于对比学习的变分自编码器回复生成方法 | |
CN116258147A (zh) | 一种基于异构图卷积的多模态评论情感分析方法及*** | |
CN116257630A (zh) | 一种基于对比学习的方面级情感分析方法及装置 | |
CN116127954A (zh) | 一种基于词典的新工科专业中文知识概念抽取方法 | |
CN115510230A (zh) | 一种基于多维特征融合与比较增强学习机制的蒙古语情感分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210429 Address after: Room 405, 6-8 Jiaogong Road, Xihu District, Hangzhou City, Zhejiang Province, 310013 Patentee after: Hangzhou Taoyi Data Technology Co.,Ltd. Address before: Hangzhou City, Zhejiang province 310018 Xiasha Higher Education Park No. 2 street Patentee before: HANGZHOU DIANZI University |
|
TR01 | Transfer of patent right |