CN112131861A - 基于层次化多头交互注意力的对话状态生成方法 - Google Patents
基于层次化多头交互注意力的对话状态生成方法 Download PDFInfo
- Publication number
- CN112131861A CN112131861A CN202011341577.0A CN202011341577A CN112131861A CN 112131861 A CN112131861 A CN 112131861A CN 202011341577 A CN202011341577 A CN 202011341577A CN 112131861 A CN112131861 A CN 112131861A
- Authority
- CN
- China
- Prior art keywords
- processed
- dialog
- dialog text
- representation
- context
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000003993 interaction Effects 0.000 title claims abstract description 21
- 239000013598 vector Substances 0.000 claims abstract description 69
- 230000007246 mechanism Effects 0.000 claims abstract description 45
- 230000014509 gene expression Effects 0.000 claims abstract description 28
- 230000002452 interceptive effect Effects 0.000 claims abstract description 22
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000010606 normalization Methods 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 11
- 238000002372 labelling Methods 0.000 description 8
- 208000024891 symptom Diseases 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002650 habitual effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明属于任务型对话技术领域,具体涉及了一种基于层次化多头交互注意力的对话状态生成方法,旨在解决现有技术精度和准确度低以及成本高、效率低的问题。本发明包括:基于文本词典进行对话文本预处理;通过编码器进行各句子的独立编码,获得对话文本的上下文表示;对解码器输入应用自我注意力机制,获得当前时刻的解码器输入向量;应用多头交互式注意力机制,融合字级别和句子级别的上下文表示,获得对话文本当前时刻的上下文向量表示;结合当前时刻的解码器输入向量,通过非线性映射获得实体和状态作为对话文本的对话状态。本发明可以在无字级别标注信息的情况下取得非常好的效果,不仅节约了数据标注的成本,也提高了模型的精确性与精度。
Description
技术领域
本发明属于任务型对话技术领域,具体涉及了一种基于层次化多头交互注意力的对话状态生成方法。
背景技术
任务型对话***是在某一特定领域,通过自然语言交互的形式,辅助用户完成某种特定任务的人机交互***。目前任务型对话***在各个垂直领域中都有很大的需求,尤其医疗领域。在医疗对话***中,对用户对话文本的分析和理解是构建医疗对话***的第一步。首先需要识别出用户文本以及对话历史中出现的症状、检查、药物等疾病相关的实体,然后推断出这些实体的状态信息。
在医疗对话文本中,语法结构不规范,口语化严重的现象普遍存在。同一种症状或检查会有各种不同的口语化的表述形式或习惯性的缩写形式。甚至,有些实体知识是隐含在一段对话中的,需要对一部分对话进行推断才能判断实体类型。因此在医疗领域的对话理解模块中不可或缺的一步是进行实体归一化操作,将口语化不规范的文本转化为医疗领域专业的实体文本。传统实体识别的方法是基于序列标注的方法,需要先识别出文本中的实体,然后再进行归一化处理。这种两阶段式的方法会有错误的累积,并且序列标注的方法需要字级别的标注信息,耗时耗力,另外在对话中,还存在大量冗余的与疾病无关的信息。此外,这种标注方式不能处理隐式的实体类型。
为了避免两阶段带来的累积错误的问题,现有技术也提出了端到端生成的医疗对话文本的实体归一化方法,可以直接根据对话历史文本生成归一化后的实体和状态,避免了中间的错误累积和过程。然而这些现有技术将上下文看作一段文本,而忽略了对话文本信息具有多轮交互性的最大的特点,因而医疗对话文本的实体归一化结果的精度和准确度还达不到预期,并且很多实体归一化方法也需要提供字级别标注信息,成本高、效率低。
发明内容
为了解决现有技术中的上述问题,即现有端到端方法忽略了对话文本信息具有多轮交互性的特点,对话状态生成的精度和准确度低以及对文字级别标注信息依赖较大,从而成本高、效率低的问题,本发明提供了一种基于层次化多头交互注意力的对话状态生成方法,该方法包括:
步骤S10,基于文本词典对获取的待处理对话文本进行预处理,获得待处理对话文本对应的词向量;所述文本词典为统计文本语料中非重复字/词获得的字/词与id的对应关系;
步骤S20,基于所述待处理对话文本对应的词向量,通过编码器进行各个句子的独立编码,获得待处理对话文本的上下文表示;
以解码器上一时刻输出作为当前时刻输入,并通过自注意力机制编码当前时刻输入的历史向量化表示,将解码器当前时刻输入与所述历史向量化表示相加作为当前时刻的解码器输入向量;所述解码器,其第0时刻的输入为设定字符;
步骤S30,基于待处理对话文本的上下文表示和当前时刻的解码器输入向量,通过多头注意力机制计算待处理对话文本针对当前时刻解码器输入的上下文表示,获取待处理对话文本当前时刻的上下文向量表示;
步骤S40,基于所述待处理对话文本当前时刻的上下文向量表示以及当前时刻的解码器输入向量,进行非线性映射获得实体和状态作为待处理对话文本的对话状态;
其中,所述编码器、解码器分别为一个多层的基于Transformer构建的神经网络。
在一些优选的实施例中,所述待处理对话文本的上下文表示,其计算方法为:
其中, 表示编码器的层归一化模块, 表示编码器的前馈网络, 是编码器的多头自注意力机制, 和 分别代表待处理对话文本 中第 个
句子在编码器的第 层和第 网络的输出;所述待处理对话文本 中所有句子在编
码器的最后一层的输出构成待处理对话文本的上下文表示。
在一些优选的实施例中,所述历史向量化表示,其计算方法为:
在一些优选的实施例中,步骤S30包括:
步骤S31,将待处理对话文本的上下文表示中所有的单词隐向量表示拼接为一个序列,并基于当前时刻的解码器输入向量进行拼接序列的多头注意力权重的计算,获得待处理对话文本的多头注意力权重;
步骤S32,基于所述多头注意力权重以及拼接序列,获得待处理对话文本的字级别上下文表示;基于所述多头注意力权重,分别在句子内计算加权的句子向量,获得句子的加权向量化表示;
步骤S33,基于所述句子的加权向量化表示,在多头内进行自我注意力机制的计算,获得待处理对话文本的句子级别的上下文表示;
步骤S34,进行待处理对话文本的字级别和句子级别的上下文表示的融合,并对融合后的上下文进行层归一化和线性化,获得待处理对话文本当前时刻的上下文向量表示。
在一些优选的实施例中,步骤S31中进行拼接序列的多头注意力权重的计算,其方法为:
其中, 表示在 时刻的第个头的注意力权重, 为解码器经过自注意力机制
后得到的向量化表示, 表示拼接的文本序列的向量, 表示第 个头内向量的维
度, 是稀疏归一化函数, 和 为可训练的参数, 和 分别表示第
个头的query矩阵和key矩阵。
在一些优选的实施例中,步骤S32中基于所述多头注意力权重以及拼接序列,获得待处理对话文本的字级别上下文表示,其方法为:
在一些优选的实施例中,步骤S32中基于所述多头注意力权重,分别在句子内计算加权的句子向量,获得句子的加权向量化表示,其方法为:
在一些优选的实施例中,步骤S33中基于所述句子的加权向量化表示,在多头内进行自我注意力机制的计算,获得待处理对话文本的句子级别的上下文表示,其方法为:
在一些优选的实施例中,步骤S34中进行待处理对话文本的字级别和句子级别的上下文表示的融合,其方法为:
在一些优选的实施例中,步骤S34中对融合后的上下文进行层归一化和线性化,获得待处理对话文本的上下文向量表示,其方法为:
本发明的有益效果:
(1)本发明基于层次化多头交互注意力的对话状态生成方法,通过层次化多头交互式注意力机制充分利用了对话文本信息的多轮交互性的特点,通过端到端的方法直接根据对话文本生成归一化后的实体,避免了现有技术两阶段式的方法可能带来的累积误差,医疗实体和状态生成的准确度和精度高。
(2)本发明基于层次化多头交互注意力的对话状态生成方法,只需少量的标注信息,无需提供字级别标注信息,就可以生成准确的实体状态信息,从而提升了模型训练和应用的效率,并且进一步降低了成本和资源的占用。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本发明基于层次化多头交互注意力的对话状态生成方法一种实施例的网络结构示意图;
图2是基于层次化多头交互注意力的对话状态生成方法一种实施例的样例数据、字级别及轮次级别的注意力机制的可视化图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于层次化多头交互注意力的对话状态生成方法,采用端到端的生成式方法,直接根据对话历史文本生成归一化之后的实体,避免了中间的错误累积的过程。并且,通过层次化的多头交互式注意力机制来获取基于对话交互的相关的上下文信息,从而为实体的生成和状态的推断找到可靠的背景依据,避开了传统端到端生成的方法将上下文看作一段文本,而忽略对话文本最大的特点是信息具有多轮交互性的问题。
医疗任务型对话中,医疗对话文本的口语化、不规范以及信息冗余的特点,导致传统基于序列标注的实体识别方法需要再经过归一化处理的操作得到最终的实体识别的结果,且对于实体状态的推断需要单独的模型来处理。这种两阶段式的方法不仅需要更多的标注信息,且容易误差累积。本发明基于层次化多头交互注意力的对话状态生成方法,根据医疗对话文本的对话片段,直接端到端的生成对话片段中所包含的所有实体及其对应的状态信息,并且针对多轮对话的信息交互的特点,通过层次化的多头交互式注意力机制在每个生成时刻都去捕获基于当前时刻的字级别以及轮次级别的上下文信息,来共同判断当前时刻的文本,避免了字级别的标注信息以及错误累积,可以生成更准确的实体状态信息,成本低、效率高。
本发明的一种基于层次化多头交互注意力的对话状态生成方法,该方法包括:
步骤S10,基于文本词典对获取的待处理对话文本进行预处理,获得待处理对话文本对应的词向量;所述文本词典为统计文本语料中非重复字/词获得的字/词与id的对应关系;
步骤S20,基于所述待处理对话文本对应的词向量,通过编码器进行各个句子的独立编码,获得待处理对话文本的上下文表示;
以解码器上一时刻输出作为当前时刻输入,并通过自注意力机制编码当前时刻输入的历史向量化表示,将解码器当前时刻输入与所述历史向量化表示相加作为当前时刻的解码器输入向量;所述解码器,其第0时刻的输入为设定字符;
步骤S30,基于待处理对话文本的上下文表示和当前时刻的解码器输入向量,通过多头注意力机制计算待处理对话文本针对当前时刻解码器输入的上下文表示,获取待处理对话文本当前时刻的上下文向量表示;
步骤S40,基于所述待处理对话文本当前时刻的上下文向量表示以及当前时刻的解码器输入向量,进行非线性映射获得实体和状态作为待处理对话文本的对话状态;
其中,所述编码器、解码器分别为一个多层的基于Transformer构建的神经网络。
为了更清晰地对本发明基于层次化多头交互注意力的对话状态生成方法进行说明,下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的基于层次化多头交互注意力的对话状态生成方法,包括步骤S10-步骤S40,各步骤详细描述如下:
步骤S10,基于文本词典对获取的待处理对话文本进行预处理,获得待处理对话文本对应的词向量;所述文本词典为统计文本语料中非重复字/词获得的字/词与id的对应关系。
在基于层次化多头交互注意力的对话状态生成方法的训练过程中,词典包括文本词典和标签词典。文本词典即统计获取的文本中不重复的字/词形成的列表,列表中每一个字/词对应一个唯一的id,通过id可以获取对应的字/词,也可以通过字/词获取对应的id。标签词典即统计获取的标签中不重复的字/词形成的列表,同样地,列表中每一个字/词对应一个唯一的id,通过id可以获取对应的字/词,也可以通过字/词获取对应的id。标签词典对应了对话文本生成的对话状态的实体和状态。
步骤S20,基于所述待处理对话文本对应的词向量,通过编码器进行各个句子的独立编码,获得待处理对话文本的上下文表示。
通过编码器将对话文本编码为向量表示,其中,对话文本中的各个句子独立编码,每个单词都有其独立的编码表示,将编码器输出表示作为待处理对话文本表示;在解码器端,以解码器上一时刻的输出作为当前时刻的输入(0时刻输入特定字符)通过自注意力机制编码当前时刻输入历史的向量化表示,将当前时刻输入与历史编码向量相加作为解码器输入向量。
其中, 表示编码器的层归一化模块, 表示编码器的前馈网络, 是编码器的多头自注意力机制, 和 分别代表待处理对话文本中第 个句
子在编码器的第 层和第 网络的输出;所述待处理对话文本 中所有句子在编码
器的最后一层的输出构成待处理对话文本的上下文表示。
以解码器上一时刻输出作为当前时刻输入,并通过自注意力机制编码当前时刻输入的历史向量化表示,将解码器当前时刻输入与所述历史向量化表示相加作为当前时刻的解码器输入向量;所述解码器,其第0时刻的输入为设定字符。
解码器的结构与编码器一样,也是一个多层的基于Transformer的神经网络结构,在基于层次化多头交互注意力的对话状态生成方法的训练过程中,解码器的第一层网络输入为对话文本对应的标注信息,其他层的输入为上一层的输出;而在测试和应用过程中,解码器的第一层网络输入为设定字符,其他层的输入为上一层的输出。
历史向量化表示,其计算方法如式(4)和式(5)所示:
其中, 表示解码器的层归一化模块, 表示解码器的前馈网络, 是解码器的多头自注意力机制, 和 分别代表解码器的历史输入在当前时刻
解码器的第 层和第 网络的输出(0层为当前时刻解码器输入历史的词向量)。
步骤S30,基于待处理对话文本的上下文表示和当前时刻的解码器输入向量,通过多头注意力机制计算待处理对话文本针对当前时刻解码器输入的上下文表示,获取待处理对话文本当前时刻的上下文向量表示。
步骤S31,将待处理对话文本的上下文表示中所有的单词隐向量表示拼接为一个序列,并基于当前时刻的解码器输入向量进行拼接序列的多头注意力权重的计算,获得待处理对话文本的多头注意力权重,如式(6)-式(8)所示:
其中, 表示在 时刻的第 个头的注意力权重,为解码器经过自注意力机制后
得到的向量化表示, 表示拼接的文本序列的向量, 表示第 个头内向量的维
度, 是稀疏归一化函数, 和 为可训练的参数, 和 分别表示第
个头的query矩阵和key矩阵。
步骤S32,基于所述多头注意力权重以及拼接序列,获得待处理对话文本的字级别上下文表示;基于所述多头注意力权重,分别在句子内计算加权的句子向量,获得句子的加权向量化表示。
基于所述多头注意力权重以及拼接序列,获得待处理对话文本的字级别上下文表示,如式(9)-式(11)所示:
基于所述多头注意力权重,分别在句子内计算加权的句子向量,获得句子的加权向量化表示,如式(12)所示:
步骤S33,基于所述句子的加权向量化表示,在多头内进行自我注意力机制的计算,获得待处理对话文本的句子级别的上下文表示,如式(13)-式(16)所示:
步骤S34,进行待处理对话文本的字级别和句子级别的上下文表示的融合,并对融合后的上下文进行层归一化和线性化,获得待处理对话文本当前时刻的上下文向量表示。
进行待处理对话文本的字级别和句子级别的上下文表示的融合,如式(17)所示:
对融合后的上下文进行层归一化和线性化,获得待处理对话文本的上下文向量表示,如式(18)所示:
步骤S40,基于所述待处理对话文本当前时刻的上下文向量表示以及当前时刻的解码器输入向量,进行非线性映射获得实体和状态作为待处理对话文本的对话状态。
为了验证本发明方法,选用两个开放的高质量的数据集Chunyu和CMDD作为测试数据集,Chunyu和CMDD数据集都是从国内医疗平台爬取的医疗对话数据。Chunyu数据集实体类别包括症状、检查、手术以及一般信息,状态包括医生阳性、医生阴性、阴性、阳性和未知5个类别。CMDD数据的标注相对较简单,实体类别只有症状,状态只有阴性、阳性和未知。
实验选用基于匹配的MIE模型、基于两阶段法的SA-T模型、传统端到端Transformer模型和基于层次化注意力机制的Transformer模型与本发明方法进行对比,表1和表2分别为几个模型在Chunyu和CMDD数据集上的测试结果:
表1
表2
从表1和表2中可以看出:(1)本发明的方法在两个数据集中的效果都要好于基线***;(2)相比较于基于匹配的模型MIE来说,本发明的方法有更高的召回率,相比较于两阶段法的SA-T模型来说,本发明的方法有更高的精确度;(3)相比较于传统端到端Transformer模型,本发明的方法效果更好,因为本发明的方法充分考虑到对话中信息交互的特点。Hier-Transformer模型是层次化的注意力机制但没有多头交互的模块,与该模型对比,进一步验证了本发明的多头交互的注意力机制的有效性。
如表3所述,为本发明基于层次化多头交互注意力的对话状态生成方法一种实施例的样例数据、字级别的可视化图表:
表3
表3中的时刻是针对已生成的症状“感冒”生成其对应状态的时刻,黑色加粗斜体是字级别的注意力机制的权重的top5个权重所对应的词,可见根据注意力所关注到的信息可以很好的推断出感冒的状态是阴性,Turn-0、Turn-1、Turn-2、Turn-3和Turn-4分别代表对话轮次的序号。
如图2所示,为本发明基于层次化多头交互注意力的对话状态生成方法一种实施例的轮次级别的注意力机制的可视化图,对应于表3中的Turn-0、Turn-1、Turn-2、Turn-3和Turn-4的对话轮次,图中可视化了轮次级别注意力权重,从图中可以看出本发明的方法可以很好的注意到关键信息的句子和单词。
本发明第二实施例的基于层次化多头交互注意力的对话状态生成***,基于上述的基于层次化多头交互注意力的对话状态生成方法,该***包括以下模块:
预处理模块,基于文本词典对获取的待处理对话文本进行预处理,获得待处理对话文本对应的词向量;所述文本词典为统计文本语料中非重复字/词获得的字/词与id的对应关系;
编码模块,基于所述待处理对话文本对应的词向量,通过编码器进行各个句子的独立编码,获得待处理对话文本的上下文表示;
解码模块,以解码器上一时刻输出作为当前时刻输入,并通过自注意力机制编码当前时刻输入的历史向量化表示,将解码器当前时刻输入与所述历史向量化表示相加作为当前时刻的解码器输入向量;所述解码器,其第0时刻的输入为设定字符;
多头注意力模块,基于待处理对话文本的上下文表示和当前时刻的解码器输入向量,通过多头注意力机制计算待处理对话文本针对当前时刻解码器输入的上下文表示,获取待处理对话文本当前时刻的上下文向量表示;
映射模块,基于所述待处理对话文本当前时刻的上下文向量表示以及当前时刻的解码器输入向量,进行非线性映射获得实体和状态作为待处理对话文本的对话状态;
输出模块,将获取的待处理对话文本的对话状态输出。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
需要说明的是,上述实施例提供的基于层次化多头交互注意力的医疗实体和状态生成***,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定。
本发明第三实施例的一种存储装置,其中存储有多条程序,所述程序适于由处理器加载并执行以实现上述的基于层次化多头交互注意力的对话状态生成方法。
本发明第四实施例的一种处理装置,包括处理器、存储装置;处理器,适于执行各条程序;存储装置,适于存储多条程序;所述程序适于由处理器加载并执行以实现上述的基于层次化多头交互注意力的对话状态生成方法。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的存储装置、处理装置的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的模块、方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
术语“第一”、 “第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于层次化多头交互注意力的对话状态生成方法,其特征在于,该方法包括:
步骤S10,基于文本词典对获取的待处理对话文本进行预处理,获得待处理对话文本对应的词向量;所述文本词典为统计文本语料中非重复字/词获得的字/词与id的对应关系;
步骤S20,基于所述待处理对话文本对应的词向量,通过编码器进行各个句子的独立编码,获得待处理对话文本的上下文表示;
以解码器上一时刻输出作为当前时刻输入,并通过自注意力机制编码当前时刻输入的历史向量化表示,将解码器当前时刻输入与所述历史向量化表示相加作为当前时刻的解码器输入向量;所述解码器,其第0时刻的输入为设定字符;
步骤S30,基于待处理对话文本的上下文表示和当前时刻的解码器输入向量,通过多头注意力机制计算待处理对话文本针对当前时刻解码器输入的上下文表示,获取待处理对话文本当前时刻的上下文向量表示;
步骤S40,基于所述待处理对话文本当前时刻的上下文向量表示以及当前时刻的解码器输入向量,进行非线性映射获得实体和状态作为待处理对话文本的对话状态;
其中,所述编码器、解码器分别为一个多层的基于Transformer构建的神经网络。
4.根据权利要求1所述的基于层次化多头交互注意力的对话状态生成方法,其特征在于,步骤S30包括:
步骤S31,将待处理对话文本的上下文表示中所有的单词隐向量表示拼接为一个序列,并基于当前时刻的解码器输入向量进行拼接序列的多头注意力权重的计算,获得待处理对话文本的多头注意力权重;
步骤S32,基于所述多头注意力权重以及拼接序列,获得待处理对话文本的字级别上下文表示;基于所述多头注意力权重,分别在句子内计算加权的句子向量,获得句子的加权向量化表示;
步骤S33,基于所述句子的加权向量化表示,在多头内进行自我注意力机制的计算,获得待处理对话文本的句子级别的上下文表示;
步骤S34,进行待处理对话文本的字级别和句子级别的上下文表示的融合,并对融合后的上下文进行层归一化和线性化,获得待处理对话文本当前时刻的上下文向量表示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011341577.0A CN112131861B (zh) | 2020-11-25 | 2020-11-25 | 基于层次化多头交互注意力的对话状态生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011341577.0A CN112131861B (zh) | 2020-11-25 | 2020-11-25 | 基于层次化多头交互注意力的对话状态生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112131861A true CN112131861A (zh) | 2020-12-25 |
CN112131861B CN112131861B (zh) | 2021-03-16 |
Family
ID=73852319
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011341577.0A Active CN112131861B (zh) | 2020-11-25 | 2020-11-25 | 基于层次化多头交互注意力的对话状态生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112131861B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111625639A (zh) * | 2020-06-02 | 2020-09-04 | 中国人民解放军国防科技大学 | 一种基于多轮响应生成的上下文建模方法 |
CN113033710A (zh) * | 2021-05-19 | 2021-06-25 | 广东众聚人工智能科技有限公司 | 一种时间序列分类方法、装置及计算机设备 |
CN113515617A (zh) * | 2021-07-30 | 2021-10-19 | 中央财经大学 | 一种对话生成模型的方法、装置以及设备 |
CN113609301A (zh) * | 2021-07-05 | 2021-11-05 | 上海交通大学 | 一种基于知识图谱的对话方法、介质及*** |
CN113642319A (zh) * | 2021-07-29 | 2021-11-12 | 北京百度网讯科技有限公司 | 文本处理方法、装置、电子设备及存储介质 |
CN113705652A (zh) * | 2021-08-23 | 2021-11-26 | 西安交通大学 | 一种基于指针生成网络的任务型对话状态追踪***及方法 |
CN114999610A (zh) * | 2022-03-31 | 2022-09-02 | 华东师范大学 | 基于深度学习的情绪感知与支持的对话***构建方法 |
CN115292491A (zh) * | 2022-08-04 | 2022-11-04 | 四川大学 | 基于ctmsn-ehi的任务型多轮对话信息处理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110188167A (zh) * | 2019-05-17 | 2019-08-30 | 北京邮电大学 | 一种融入外部知识的端到端对话方法及*** |
CN110838288A (zh) * | 2019-11-26 | 2020-02-25 | 杭州博拉哲科技有限公司 | 一种语音交互方法及其***和对话设备 |
US20200134442A1 (en) * | 2018-10-29 | 2020-04-30 | Microsoft Technology Licensing, Llc | Task detection in communications using domain adaptation |
CN111125326A (zh) * | 2019-12-06 | 2020-05-08 | 贝壳技术有限公司 | 用于实现人机对话的方法、装置、介质以及电子设备 |
-
2020
- 2020-11-25 CN CN202011341577.0A patent/CN112131861B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200134442A1 (en) * | 2018-10-29 | 2020-04-30 | Microsoft Technology Licensing, Llc | Task detection in communications using domain adaptation |
CN110188167A (zh) * | 2019-05-17 | 2019-08-30 | 北京邮电大学 | 一种融入外部知识的端到端对话方法及*** |
CN110838288A (zh) * | 2019-11-26 | 2020-02-25 | 杭州博拉哲科技有限公司 | 一种语音交互方法及其***和对话设备 |
CN111125326A (zh) * | 2019-12-06 | 2020-05-08 | 贝壳技术有限公司 | 用于实现人机对话的方法、装置、介质以及电子设备 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111625639A (zh) * | 2020-06-02 | 2020-09-04 | 中国人民解放军国防科技大学 | 一种基于多轮响应生成的上下文建模方法 |
CN113033710A (zh) * | 2021-05-19 | 2021-06-25 | 广东众聚人工智能科技有限公司 | 一种时间序列分类方法、装置及计算机设备 |
CN113609301A (zh) * | 2021-07-05 | 2021-11-05 | 上海交通大学 | 一种基于知识图谱的对话方法、介质及*** |
CN113642319A (zh) * | 2021-07-29 | 2021-11-12 | 北京百度网讯科技有限公司 | 文本处理方法、装置、电子设备及存储介质 |
CN113515617A (zh) * | 2021-07-30 | 2021-10-19 | 中央财经大学 | 一种对话生成模型的方法、装置以及设备 |
CN113705652A (zh) * | 2021-08-23 | 2021-11-26 | 西安交通大学 | 一种基于指针生成网络的任务型对话状态追踪***及方法 |
CN113705652B (zh) * | 2021-08-23 | 2024-05-28 | 西安交通大学 | 一种基于指针生成网络的任务型对话状态追踪***及方法 |
CN114999610A (zh) * | 2022-03-31 | 2022-09-02 | 华东师范大学 | 基于深度学习的情绪感知与支持的对话***构建方法 |
CN115292491A (zh) * | 2022-08-04 | 2022-11-04 | 四川大学 | 基于ctmsn-ehi的任务型多轮对话信息处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112131861B (zh) | 2021-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112131861B (zh) | 基于层次化多头交互注意力的对话状态生成方法 | |
CN110196894B (zh) | 语言模型的训练方法和预测方法 | |
CN111126068A (zh) | 一种中文命名实体识别方法和装置及电子设备 | |
CN111738016A (zh) | 多意图识别方法及相关设备 | |
CN109635197B (zh) | 搜索方法、装置、电子设备及存储介质 | |
CN113449801B (zh) | 一种基于多级图像上下文编解码的图像人物行为描述生成方法 | |
CN111177351A (zh) | 基于规则的自然语言表达意图获取方法、装置和*** | |
Leopold et al. | Using hidden Markov models for the accurate linguistic analysis of process model activity labels | |
CN112100348A (zh) | 一种多粒度注意力机制的知识库问答关系检测方法及*** | |
CN111428470A (zh) | 文本连贯性判定及其模型训练方法、电子设备及可读介质 | |
Nguyen et al. | Hierarchical character embeddings: Learning phonological and semantic representations in languages of logographic origin using recursive neural networks | |
CN115630145A (zh) | 一种基于多粒度情感的对话推荐方法及*** | |
CN115238045A (zh) | 一种生成式事件论元抽取方法、***及存储介质 | |
CN115935969A (zh) | 基于多模态信息融合的异构数据特征提取方法 | |
Chaudhuri et al. | Grounding dialogue systems via knowledge graph aware decoding with pre-trained transformers | |
CN114048301B (zh) | 一种基于满意度的用户模拟方法及*** | |
CN116341651A (zh) | 实体识别模型训练方法、装置、电子设备及存储介质 | |
CN111966782A (zh) | 多轮对话的检索方法、装置、存储介质及电子设备 | |
CN117251581A (zh) | 一种基于文本分析的设备故障信息诊断方法 | |
CN110909174B (zh) | 一种基于知识图谱的简单问答中实体链接的改进方法 | |
CN116521872A (zh) | 一种认知和情感的联合识别方法、***及电子设备 | |
CN115270792A (zh) | 一种医疗实体识别方法及装置 | |
Arehalli et al. | Neural networks as cognitive models of the processing of syntactic constraints | |
JP6910061B2 (ja) | テキスト生成装置、テキスト生成方法及びテキスト生成プログラム | |
CN112487811A (zh) | 基于强化学习的级联信息提取***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |