CN112183062A - 一种基于交替解码的口语理解方法、电子设备和存储介质 - Google Patents

一种基于交替解码的口语理解方法、电子设备和存储介质 Download PDF

Info

Publication number
CN112183062A
CN112183062A CN202011045822.3A CN202011045822A CN112183062A CN 112183062 A CN112183062 A CN 112183062A CN 202011045822 A CN202011045822 A CN 202011045822A CN 112183062 A CN112183062 A CN 112183062A
Authority
CN
China
Prior art keywords
word
decoding
sequence
level
intention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011045822.3A
Other languages
English (en)
Other versions
CN112183062B (zh
Inventor
刘广灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unisound Intelligent Technology Co Ltd
Xiamen Yunzhixin Intelligent Technology Co Ltd
Original Assignee
Unisound Intelligent Technology Co Ltd
Xiamen Yunzhixin Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unisound Intelligent Technology Co Ltd, Xiamen Yunzhixin Intelligent Technology Co Ltd filed Critical Unisound Intelligent Technology Co Ltd
Priority to CN202011045822.3A priority Critical patent/CN112183062B/zh
Publication of CN112183062A publication Critical patent/CN112183062A/zh
Application granted granted Critical
Publication of CN112183062B publication Critical patent/CN112183062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于交替解码的口语理解方法、电子设备和存储介质，本发明提出将词级别的意图识别和词级别的槽填充进行交替解码，并且使用句子级别的意图识别结果初始化整个解码状态，通过如此方式可以从全局和局部两个角度实现意图识别和槽位填充相互贡献，从而提升口语理解任务的效果。

Description

一种基于交替解码的口语理解方法、电子设备和存储介质
技术领域
本发明涉及人机对话***技术领域，具体涉及一种基于交替解码的口语理解方法、电子设备和存储介质。
背景技术
口语理解主要包括两个子任务：意图识别(Intent Detection)和槽位填充(SlotFilling)。意图识别和槽位填充两个任务不是相互独立的，槽位填充高度依赖于意图识别的结果，同时槽位填充也可以促进意图的识别。现有技术将两个任务联合建模来充分利用两个任务共有的知识信息，通常采用多任务(Multi-task)框架，两个子任务共享编码层，然后将两部分的损失函数相加来建模。
现有的使用多任务框架，采用共享编码层、损失函数相加是一种隐式联合建模的方法，该方法没有显式地建模意图识别和槽位填充两个子任务之间的相互作用关系；也有研究提出Slot-Gated方法和SF-ID方法进行初步探索，但现有的模型还是不能充分利用槽与意图之间的共现关系，限制了它们的潜在性能。
发明内容
为了解决上述问题，本发明提出将词级别的意图识别和词级别的槽填充进行交替解码，并且使用句子级别的意图识别结果初始化整个解码状态，通过如此方式可以从全局和局部两个角度实现意图识别和槽位填充相互贡献，从而提升口语理解任务的效果。
根据本发明实施例的一个方面，提供一种基于交替解码的口语理解方法，包括：
S100基于输入序列得到预训练语言模型BERT的语义向量序列，以所述输入序列的第一个标记为分类标记；
S200根据所述分类标记得到对应的最终隐藏状态，基于所述最终隐藏状态使用全连接神经网络和Softmax函数进行句子级别意图识别，得到句子级别全局意图信息；
S300基于所述语义向量序列和所述句子级别全局意图信息进行词级别意图识别和槽位填充交替解码；
S400基于所述交替解码的结果获取意图识别和槽位填充的结果。
优选地，所述交替解码包括：基于所述语义向量序列和所述句子级别全局意图信息得到对应的解码器隐藏状态，对所述解码器隐藏状态解码得到输出序列，所述输出序列长度为2n，基于所述输出序列得到词级别意图识别序列和词级别槽位填充序列，其中，所述解码器为单向的LSTM。
优选地，所述解码实施为将意图标签和槽标签映射到高维嵌入空间，显式地对分类类别进行区分和语义表示，以促进对分类标签的理解。
优选地，还包括：
S310当解码到第i步，且i为奇数时，在预测第([i/2]+1)个词的意图时，基于所述语义向量序列、解析前一个词的意图和前一个词对应的槽位信息，其中，i∈[0,2n]。
优选地，解码方法如下：
Figure BDA0002707924630000021
y[i/2]+1＝argmax(softmax(Wy i))，
其中，Wy和Wo都是可训练参数，符号[]表示取整操作，
Figure BDA0002707924630000031
表示意图标签y[i/2]的嵌入向量，
Figure BDA0002707924630000032
表示槽标签o[i/2]的嵌入表示，
所述语义向量序列表示为e＝(e[cls],e1,e2,e3,e4,...,en)，
所述输出序列表示为y＝(y1,o1,y2,o2,y3,o3,...,yn,on)，
所述词级别意图识别序列为yi＝(y1,y2,y3,...,yn)，
所述词级别槽位填充序列为ys＝(o1,o2,o3,...,on)。
优选地，还包括：
S320当解码到第i步，且i为偶数时，在预测第[i/2]词的槽位时，解析当前词的意图信息和前一个词的槽位信息，其中，i∈[0,2n]。
优选地，解码方法如下：
Figure BDA0002707924630000033
o[i/2]＝argmax(softmax(Wo i))，
其中，Wy和Wo都是可训练参数，符号[]表示取整操作，
Figure BDA0002707924630000034
表示意图标签y[i/2]的嵌入向量，
Figure BDA0002707924630000035
表示槽标签o[i/2]的嵌入表示，
所述语义向量序列表示为e＝(e[cls],e1,e2,e3,e4,...,en)，
所述输出序列表示为y＝(y1,o1,y2,o2,y3,o3,...,yn,on)，
所述词级别意图识别序列为yi＝(y1,y2,y3,...,yn)，
所述词级别槽位填充序列为ys＝(o1,o2,o3,...,on)。
优选地，还包括：
S330词级别交替解码的损失函数计算：使用负对数似然作为损失函数，来优化模型参数。
优选地，使用计划采样机制对所述解码器进行训练。
优选地，在所述预测阶段中，对整句话的意图结果采用所有词意图的投票结果进行决定，并使用贪婪搜索进行采样得到槽位预测结果。
根据本发明实施例的另一个方面，提供一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现前述方法。
根据本发明实施例的又一个方面，提供一种非临时性计算机可读存储介质，其上存储有可执行指令，所述可执行指令在处理器上运行时，实现前述方法。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明提出的口语理解的模型示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出的口语理解的模型如图1所示，模型使用预训练语言模型BERT(Bidirectional Encoder Representations from Transformers)作为编码层，使用BERT得到的语义向量序列表示进行词级别的序列解码。其中本发明提出将词级别的意图识别和词级别的槽填充进行交替解码，并且使用句子级别的意图识别结果初始化整个解码状态，通过如此方式可以从全局和局部两个角度实现意图识别和槽位填充相互贡献，从而提升口语理解任务的效果。
具体方法流程如下：
第1步，得到预训练语言模型BERT的语义向量序列编码表示：
BERT模型结构是一个基于多层双向的Transformer编码器，它的输入包括词嵌入、句子嵌入和位置嵌入三部分。输入序列的第一个标记始终是特殊分类标记[CLS]，该特殊标记对应的最终隐藏状态被用于分类任务；并且使用特殊标记[SEP]作为序列的最后一个标记。本发明输入表示为x＝([cls],x1,x2,x3,x4,...,xn)，BERT得到的语义向量序列编码表示为e＝(e[cls],e1,e2,e3,e4,...,en)。
第2步，得到句子级别意图识别的结果：
根据BERT得到的特殊符号[CLS]对应的最终隐藏状态，使用全连接神经网络(FCN,Full Connected Network)和Softmax函数进行句子级别意图识别，最终得到句子级别全局意图信息y[cls]＝softmax(FCN(e[cls]))，然后使用句子级别全局意图信息y[cls]指导词级意图识别和槽位填充的交替解码过程，确保整体一致性。
其中，全连接神经网络FCN解析：对n-1层和n层而言，n-1层的任意一个节点，都和第n层所有节点有连接。即第n层的每个节点在进行计算的时候，激活函数的输入是n-1层所有节点的加权，从而获得全连接层的权重矩阵。
全连接层将权重矩阵与输入向量相乘再加上偏置，将n个(-∞,+∞)的实数映射为K个(-∞,+∞)的实数(分数)；Softmax将K个(-∞,+∞)的实数映射为K个(0,1)的实数(概率)，同时保证它们之和为1。具体如下：
y[CLS]＝softmax(FCN(e[cls]))＝softmax(WTx+b)
其中，x为全连接层的输入，Wn×K为权重b为偏置项，y[CLS]为Softmax输出的概率。
若拆成每个类别的概率如下：
y[cls]＝softmax(FCN(e[cls]))＝softmax(W[CLS]·x+b[CLS])
其中，W[CLS]为全连接层中第n层的一个节点与第n-1层所有节点权重组成的向量。
第3步，进行词级别意图识别和槽位填充交替解码：
使用词级别意图识别是为了降低当整个句子的意图被错误预测时对所有单词的槽位预测产生的负面影响。
本发明将语义向量序列解码得到的输出序列表示为y＝(y1,o1,y2,o2,y3,o3,...,yn,on)，序列长度为2n；对应的解码器的隐藏状态表示为＝( 1, 2, 3,..., 2n)；其中词级别意图识别解码结果序列为yi＝(y1,y2,y3,...,yn)，词级别槽位填充的结果序列为ys＝(o1,o2,o3,...,on)。
本发明采用一个单向的LSTM作为解码器，LSTM指长短时记忆网络的状态转移方程，在解码到第i步时，i∈[0,2n]，对应的解码器隐藏状态的计算过程如下：
第3.1步，当i为奇数时，在预测第([i/2]+1)个词的意图时，解析前一个词的意图和前一个词对应的槽位信息。使用如下公式对词级别的意图进行解码：
Figure BDA0002707924630000071
y[i/2]+1＝argmax(softmax(Wy i))。
第3.2步，当i为偶数时，在预测第[i/2]词的槽位时，解析当前词的意图信息和前一个词的槽位信息。解码过程为：
Figure BDA0002707924630000072
o[i/2]＝argmax(softmax(Wo i))，
其中Wy和Wo都是可训练参数，符号[]表示取整操作。
Figure BDA0002707924630000073
表示意图标签y[i/2]的嵌入向量，
Figure BDA0002707924630000074
表示槽标签o[i/2]的嵌入表示，将标签映射到高维嵌入空间一定程度上显式地对分类类别进行了区分和语义表示，从而促进模型对分类标签的理解。
第3.3步，词级别交替解码的损失函数计算：本发明使用负对数似然作为损失函数，来优化模型参数，即L(y)＝-log(y)。并且在解码器训练过程中使用计划采样(SS，Schedule Sampling)机制来解决训练和预测的信息存在偏差的问题。在计划采样中，即采样率P在训练的过程中是变化的。一开始训练不充分，采样率P减小，尽量使用真实的标签作为输入，随着训练的进行，将采样率P增大，多采用自身的输出作为下一个预测的输入。随着训练的进行，采样率P越来越大，训练模型最终和预测模型一样，消除了训练和预测的信息之间的偏差。
第4步，预测阶段意图识别和槽位填充的结果获取：
因为使用词级别意图识别的方式，所以最终整句话的意图结果采用所有词意图的投票结果进行决定；使用贪婪搜索进行采样得到槽位预测结果，如Dijkstra算法、Prim算法、Kruskal算法等，进行求解时，每次都要保证是最优解，使每次取的覆盖范围最大，以在每一步选择中都采取最好或者最优(即最有利)的选择，从而希望能够导致结果是最好或者最优。此外使用条件随机场(CRF)可能会产生负面影响。
本发明将意图识别建模为词级别分类任务，并且通过词级交替解码框架显式建模句子级意图识别、词级意图识别和词级槽位填充三者之间的交互关系，通过三者相互辅助来提升口语理解的潜在性能。由此，显著改善常规方法将意图识别当做句子级分类任务，将槽位填充当做序列标注任务中不能充分利用槽与意图之间的共现关系的问题。
本发明实施例提供的基于交替解码的口语理解方法可以软件功能模块的形式实现并作为独立的产品销售或使用，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (12)

1.一种基于交替解码的口语理解方法，其特征在于，包括：
S100基于输入序列得到预训练语言模型BERT的语义向量序列，以所述输入序列的第一个标记为分类标记；
S200根据所述分类标记得到对应的最终隐藏状态，基于所述最终隐藏状态使用全连接神经网络和Softmax函数进行句子级别意图识别，得到句子级别全局意图信息；
S300基于所述语义向量序列和所述句子级别全局意图信息进行词级别意图识别和槽位填充交替解码；
S400基于所述交替解码的结果获取意图识别和槽位填充的结果。
2.如权利要求1所述的基于交替解码的口语理解方法，其特征在于，所述交替解码包括：
基于所述语义向量序列和所述句子级别全局意图信息得到对应的解码器隐藏状态，
对所述解码器隐藏状态解码得到输出序列，所述输出序列长度为2n，基于所述输出序列得到词级别意图识别序列和词级别槽位填充序列，其中，所述解码器为单向的LSTM。
3.如权利要求2所述的基于交替解码的口语理解方法，其特征在于，
所述解码实施为将意图标签和槽标签映射到高维嵌入空间，显式地对分类类别进行区分和语义表示，以促进对分类标签的理解。
4.如权利要求2所述的基于交替解码的口语理解方法，其特征在于，还包括：
S310当解码到第i步，且i为奇数时，在预测第([i/2]+1)个词的意图时，基于所述语义向量序列、解析前一个词的意图和前一个词对应的槽位信息，其中，i∈[0，2n]。
5.如权利要求4所述的基于交替解码的口语理解方法，其特征在于，解码方法如下：
Figure FDA0002707924620000021
y[i/2]+1＝argmax(softmax(Wyi))，
其中，Wy和Wo都是可训练参数，符号[]表示取整操作，
Figure FDA0002707924620000022
表示意图标签y[i/2]的嵌入向量，
Figure FDA0002707924620000023
表示槽标签o[i/2]的嵌入表示，
所述语义向量序列表示为e＝(e[cls]，e1，e2，e3，e4，...，en)，
所述输出序列表示为y＝(y1，o1，y2，o2，y3，o3，...，yn，on)，
所述词级别意图识别序列为yi＝(y1，y2，y3，...，yn)，
所述词级别槽位填充序列为ys＝(o1，o2，o3，...，on)。
6.如权利要求4所述的基于交替解码的口语理解方法，其特征在于，还包括：
S320当解码到第i步，且i为偶数时，在预测第[i/2]词的槽位时，解析当前词的意图信息和前一个词的槽位信息，其中，i∈[0，2n]。
7.如权利要求6所述的基于交替解码的口语理解方法，其特征在于，
解码方法如下：
Figure FDA0002707924620000024
o[i/2]＝argmax(softmax(Woi))，
其中，Wy和Wo都是可训练参数，符号[]表示取整操作，
Figure FDA0002707924620000025
表示意图标签y[i/2]的嵌入向量，
Figure FDA0002707924620000031
表示槽标签o[i/2]的嵌入表示，
所述语义向量序列表示为e＝(e[cls]，e1，e2，e3，e4，...，en)，
所述输出序列表示为y＝(y1，o1，y2，o2，y3，o3，...，yn，on)，
所述词级别意图识别序列为yi＝(y1，y2，y3，...，yn)，
所述词级别槽位填充序列为ys＝(o1，o2，o3，...，on)。
8.如权利要求6所述的基于交替解码的口语理解方法，其特征在于，还包括：
S330词级别交替解码的损失函数计算：使用负对数似然作为损失函数，来优化模型参数。
9.如权利要求8所述的基于交替解码的口语理解方法，其特征在于，
使用计划采样机制对所述解码器进行训练。
10.如权利要求1-9任一项所述的基于交替解码的口语理解方法，其特征在于，
在所述预测阶段中，对整句话的意图结果采用所有词意图的投票结果进行决定，并使用贪婪搜索进行采样得到槽位预测结果。
11.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1-10中任一所述的方法。
12.一种非临时性计算机可读存储介质，其上存储有可执行指令，所述可执行指令在处理器上运行时，实现根据权利要求1-10中任一所述的方法。
CN202011045822.3A 2020-09-28 2020-09-28 一种基于交替解码的口语理解方法、电子设备和存储介质 Active CN112183062B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011045822.3A CN112183062B (zh) 2020-09-28 2020-09-28 一种基于交替解码的口语理解方法、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011045822.3A CN112183062B (zh) 2020-09-28 2020-09-28 一种基于交替解码的口语理解方法、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112183062A true CN112183062A (zh) 2021-01-05
CN112183062B CN112183062B (zh) 2024-04-19

Family

ID=73945683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011045822.3A Active CN112183062B (zh) 2020-09-28 2020-09-28 一种基于交替解码的口语理解方法、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112183062B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114021582A (zh) * 2021-12-30 2022-02-08 深圳市北科瑞声科技股份有限公司 结合语音信息的口语理解方法、装置、设备及存储介质
WO2022198750A1 (zh) * 2021-03-26 2022-09-29 南京邮电大学 语义识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858030A (zh) * 2019-02-11 2019-06-07 北京邮电大学 双向的意图槽值交叉相关的任务型对话理解***及方法
US20190244603A1 (en) * 2018-02-06 2019-08-08 Robert Bosch Gmbh Methods and Systems for Intent Detection and Slot Filling in Spoken Dialogue Systems
CN110188342A (zh) * 2019-04-19 2019-08-30 杭州电子科技大学 一种基于知识图谱与语义图技术的口语理解方法
CN110838288A (zh) * 2019-11-26 2020-02-25 杭州博拉哲科技有限公司 一种语音交互方法及其***和对话设备
CN111177341A (zh) * 2019-12-11 2020-05-19 江苏艾佳家居用品有限公司 一种基于端到端的id+sf模型的用户对话需求提取方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190244603A1 (en) * 2018-02-06 2019-08-08 Robert Bosch Gmbh Methods and Systems for Intent Detection and Slot Filling in Spoken Dialogue Systems
CN109858030A (zh) * 2019-02-11 2019-06-07 北京邮电大学 双向的意图槽值交叉相关的任务型对话理解***及方法
CN110188342A (zh) * 2019-04-19 2019-08-30 杭州电子科技大学 一种基于知识图谱与语义图技术的口语理解方法
CN110838288A (zh) * 2019-11-26 2020-02-25 杭州博拉哲科技有限公司 一种语音交互方法及其***和对话设备
CN111177341A (zh) * 2019-12-11 2020-05-19 江苏艾佳家居用品有限公司 一种基于端到端的id+sf模型的用户对话需求提取方法及***

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022198750A1 (zh) * 2021-03-26 2022-09-29 南京邮电大学 语义识别方法
JP2023522502A (ja) * 2021-03-26 2023-05-31 南京郵電大学 セマンティック認識方法
JP7370033B2 (ja) 2021-03-26 2023-10-27 南京郵電大学 セマンティック認識方法
CN114021582A (zh) * 2021-12-30 2022-02-08 深圳市北科瑞声科技股份有限公司 结合语音信息的口语理解方法、装置、设备及存储介质
CN114021582B (zh) * 2021-12-30 2022-04-01 深圳市北科瑞声科技股份有限公司 结合语音信息的口语理解方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112183062B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
Yao et al. An improved LSTM structure for natural language processing
CN108962224B (zh) 口语理解和语言模型联合建模方法、对话方法及***
CN110516253B (zh) 中文口语语义理解方法及***
De Mori Spoken language understanding: A survey
Chen et al. Syntax or semantics? knowledge-guided joint semantic frame parsing
CN111062217B (zh) 语言信息的处理方法、装置、存储介质及电子设备
US20210232948A1 (en) Question responding apparatus, question responding method and program
CN109214006B (zh) 图像增强的层次化语义表示的自然语言推理方法
CN112183061B (zh) 一种多意图口语理解方法、电子设备和存储介质
CN111144110A (zh) 拼音标注方法、装置、服务器及存储介质
CN112037773B (zh) 一种n最优口语语义识别方法、装置及电子设备
CN111738016A (zh) 多意图识别方法及相关设备
WO2019235103A1 (ja) 質問生成装置、質問生成方法及びプログラム
CN110678882A (zh) 使用机器学习从电子文档选择回答跨距
CN111581970B (zh) 一种网络语境的文本识别方法、装置及存储介质
CN113743099A (zh) 基于自注意力机制方面术语提取***、方法、介质、终端
CN115186147B (zh) 对话内容的生成方法及装置、存储介质、终端
CN112183062A (zh) 一种基于交替解码的口语理解方法、电子设备和存储介质
Hori et al. Statistical dialog management applied to WFST-based dialog systems
CN115964459B (zh) 基于食品安全认知图谱的多跳推理问答方法及***
CN113326367B (zh) 基于端到端文本生成的任务型对话方法和***
CN114528387A (zh) 基于对话流自举的深度学习对话策略模型构建方法和***
CN112364659B (zh) 一种无监督的语义表示自动识别方法及装置
CN112307179A (zh) 文本匹配方法、装置、设备及存储介质
CN116362242A (zh) 一种小样本槽值提取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant