CN111460115B - 智能人机对话模型训练方法、模型训练装置及电子设备 - Google Patents
智能人机对话模型训练方法、模型训练装置及电子设备 Download PDFInfo
- Publication number
- CN111460115B CN111460115B CN202010187709.2A CN202010187709A CN111460115B CN 111460115 B CN111460115 B CN 111460115B CN 202010187709 A CN202010187709 A CN 202010187709A CN 111460115 B CN111460115 B CN 111460115B
- Authority
- CN
- China
- Prior art keywords
- vector
- model
- matrix
- sentences
- dialogue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 title claims abstract description 45
- 239000013598 vector Substances 0.000 claims abstract description 269
- 239000011159 matrix material Substances 0.000 claims abstract description 132
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 102
- 230000009466 transformation Effects 0.000 claims abstract description 49
- 230000009471 action Effects 0.000 claims abstract description 44
- 230000006399 behavior Effects 0.000 claims abstract description 36
- 230000006870 function Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 230000001131 transforming effect Effects 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 abstract description 45
- 230000008569 process Effects 0.000 description 12
- 230000007704 transition Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 229940108461 rennet Drugs 0.000 description 1
- 108010058314 rennet Proteins 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Machine Translation (AREA)
Abstract
本申请提供了一种智能人机对话模型训练方法、装置、电子设备及计算机可读存储介质，该方法包括：获取当前轮次的用户语句及前一轮次的***语句，拼接并输入至BERT模型中，得到当前对话矩阵；将当前对话矩阵输入至待训练的第一双向GRU模型中，得到会话语义向量；对会话语义向量进行第一线性变换得到意图向量，并对会话语义向量进行第二线性变换得到对话行为向量；根据意图向量计算得到意图损失，并根据对话行为向量计算得到对话行为损失；基于意图损失及对话行为损失进行反向传播，对各个待训练的模型的模型参数进行更新。本申请方案融合了BERT模型及GRU模型来编码历史记忆，并在语义解析时融合了前一轮的***语句，可以得到准确度更高的语义解析模型。
Description
技术领域
本申请属于人工智能技术领域，尤其涉及一种智能人机对话模型训练方法、模型训练装置、电子设备及计算机可读存储介质。
背景技术
随着技术的发展，人机对话交互***得到了日益广泛的应用，为了实现自动化的人机对话，计算机需要从用户输入的文字中解析出蕴含的意图、对话行为类别，并抽取出其中的关键词，来制定相应的答复策略。近些年来，随着深度学习技术的发展及计算机运算能力的提升，人们开始将深度学习技术应用在人机对话***当中。然而，当前处理基于多轮会话的多任务语义解析这一任务的代表模型仍存在准确率不高等问题，无法满足人们的需求。
发明内容
本申请实施例提供了一种智能人机对话模型训练方法、模型训练装置、电子设备及计算机可读存储介质，可获得准确度更高的语义解析模型。
第一方面，本申请提供了一种智能人机对话模型训练方法，包括：
获取当前轮次的用户语句及前一轮次的***语句；
将上述用户语句及上述***语句拼接并输入至BERT模型中，得到当前对话矩阵；
将上述当前对话矩阵输入至待训练的第一双向GRU模型中，得到会话语义向量，其中，上述会话语义向量基于上述第一双向GRU模型在第一方向上的第一输出结果及第二方向上的第二输出结果拼接而得，上述第一双向GRU模型的初始隐藏层基于其它语句而构建，上述其它语句为除上述***语句之外的历史轮次的语句；
对上述会话语义向量进行第一线性变换得到意图向量，并对上述会话语义向量进行第二线性变换得到对话行为向量；
根据上述意图向量计算得到意图损失，并根据上述对话行为向量计算得到对话行为损失；
基于上述意图损失及上述对话行为损失进行反向传播，对各个待训练的模型的模型参数进行更新。
第二方面，本申请提供了一种智能人机对话模型训练装置，包括：
语句获取单元，用于获取当前轮次的用户语句及前一轮次的***语句；
对话矩阵获取单元，用于将上述用户语句及上述***语句拼接并输入至BERT模型中，得到当前对话矩阵；
会话语义向量获取单元，用于将上述当前对话矩阵输入至待训练的第一双向GRU模型中，得到会话语义向量，其中，上述会话语义向量基于上述第一双向GRU模型在第一方向上的第一输出结果及第二方向上的第二输出结果拼接而得，上述第一双向GRU模型的初始隐藏层基于其它语句而构建，上述其它语句为除上述***语句之外的历史轮次的语句；
线性变换单元，用于对上述会话语义向量进行第一线性变换得到意图向量，并对上述会话语义向量进行第二线性变换得到对话行为向量；
损失计算单元，用于根据上述意图向量计算得到意图损失，并根据上述对话行为向量计算得到对话行为损失；
参数更新单元，用于基于上述意图损失及上述对话行为损失进行反向传播，对各个待训练的模型的模型参数进行更新。
第三方面，本申请提供了一种电子设备，上述电子设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。
第五方面，本申请提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。
由上可见，通过本申请方案，首先获取当前轮次的用户语句及前一轮次的***语句，拼接并输入至BERT模型中，得到当前对话矩阵，然后将当前对话矩阵输入至待训练的第一双向GRU模型中，得到会话语义向量，再对会话语义向量进行第一线性变换得到意图向量，并对会话语义向量进行第二线性变换得到对话行为向量，接着根据意图向量计算得到意图损失，并根据对话行为向量计算得到对话行为损失，最后基于意图损失及对话行为损失进行反向传播，对各个待训练的模型的模型参数进行更新。本申请方案融合了BERT模型及GRU模型来编码历史记忆，并在语义解析时融合了前一轮的***语句，可以得到准确度更高的语义解析模型。可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的智能人机对话模型训练方法的流程示意图；
图2是本申请一实施例提供的第一双向GRU模型与BERT模型的工作流程示意图；
图3是本申请一实施例提供的第二双向GRU模型与BERT模型的工作流程示意图；
图4是本申请一实施例提供的单向GRU模型的工作流程示意图；
图5是本申请一实施例提供的智能人机对话模型训练装置的结构框图；
图6是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
实施例一
下面对本申请实施例提供的一种智能人机对话模型训练方法进行描述，请参阅图1，本申请实施例中的智能人机对话模型训练方法包括：
步骤101，获取当前轮次的用户语句及前一轮次的***语句；
在本申请实施例中，对于一组人机会话，可以按对话轮次的顺序对每一轮次的语句进行编号，为了区分用户的输入及智能答复***的答复，本申请实施例以字符u来表示训练过程中测试人员所输入的用户语句，以字符s来表示智能问答***所反馈的***语句，以下标表示语句所属的轮次，如此一来，就可以得到会话序列(u1，s2，u3，s4，…，st-1，ut)，也即，当前轮次的用户语句被记为ut，前一轮次的***语句被记为st-1。请参阅图2，通过本申请所提出的智能人机对话模型训练方法所训练得到的语义分析模型最终可实现对用户语句的意图、用户语句所属的对话行为类别及用户语句所包含的命名实体的识别，智能问答***可基于识别得到的上述结果生成对应的***语句并反馈给用户，实现人机对话。
步骤102，将上述用户语句及上述***语句拼接并输入至BERT模型中，得到当前对话矩阵；
在本申请实施例中，请参阅图2，上述语义分析模型实际由若干个模型所构成，这其中就包括BERT(Bidirectional Encoder Representation from Transformers)模型，需要注意的是，上述BERT模型是预先已经训练好的模型，也即，本申请所提出的智能人机对话模型训练方法并不需要对该BERT模型进行训练。考虑到当前会话的前一轮会话通常对于当前会话的理解也具有相当重要的意义，而现有技术中往往会忽略前一轮会话，导致信息的损失，因而本申请实施例中选择将当前轮次的用户语句ut以及前一轮次的***语句st-1共同作为BERT模型的输入，具体为将用户语句ut以及***语句st-1拼接为一个句子后再输入至BERT模型中，也即，不是将用户语句ut以及***语句st-1单独作为输入，而是将二者拼接起来后，以一个句子的形式作为输入，以此使得语义解析模型能够在语义解析的过程中更加有效地利用来自上一轮会话的信息，避免了信息的丢失。
可选地，记对用户语句ut以及***语句st-1进行了拼接操作后所得到的一个句子为拼接语句，则上述BERT模型可以先对上述拼接语句进行预处理，上述预处理具体为按字切分处理。也即，BERT模型可以先调用tokenizer对上述拼接语句按字进行切分，得到多个token(也即得到token序列)；再将切分所得到的token序列真正投入到BERT模型中，取出该BERT模型的最顶层的每一个token所对应的隐藏层，即可拼接得到一个预设第一尺寸的矩阵，该矩阵即为当前对话矩阵；也即，上述当前对话矩阵实际上是将拼接后所得的拼接语句输入该BERT模型后，由BERT模型最后一层所输出的所有向量组成的矩阵。仅作为示例，上述第一尺寸可以为[128*768]，其中，上述“128”为经过0向量填充处理后的token序列长度，由于该token序列包含了用户语句ut及***语句st-1，所以这个值较大，且该值可以根据不同应用场景的需要而进行调整；上述“768”为定值，为BERT模型输出隐藏层的维数。
步骤103，将上述当前对话矩阵输入至待训练的第一双向GRU模型中，得到会话语义向量；
在本申请实施例中，请参阅图2，语义解析模型中还包括有双向GRU(GatedRecurrent Unit)模型。上述当前对话矩阵被输入至一双向GRU模型中，考虑到语义解析模型中可能存在多个双向GRU模型，因而为了区分，将本步骤所涉及到的双向GRU模型记为第一双向GRU模型，将该第一双向GRU模型所涉及到的两个方向记为第一方向及第二方向。因而，上述会话语义向量实际上是基于上述第一双向GRU模型在第一方向上的第一输出结果及第二方向上的第二输出结果拼接而得。具体地，上述第一双向GRU模型的初始隐藏层基于其它语句而构建，上述其它语句为除上述***语句之外的历史轮次的语句，也即语句u1，s2，u3，s4，…，st-3，ut-2。需要注意的是，由于第一双向GRU模型涉及两个方向，因而，上述初始隐藏层实际上指的是两个方向上的初始隐藏层，分别为第一方向上的初始隐藏层以及第二方向上的初始隐藏层；也即，第一方向上的初始隐藏层以及第二方向上的初始隐藏层均基于上述其它语句而构建。
具体地，由于上述第一双向GRU模型涉及两个方向，因而，在将上述当前对话矩阵输入至上述第一双向GRU模型之后，可以是将上述第一双向GRU模型在上述第一方向上的最末隐藏层的输出作为第一输出结果，同时将上述第一双向GRU模型在上述第二方向上的最末隐藏层的输出作为第二输出结果，随后对上述第一输出结果及上述第二输出结果进行拼接，得到上述会话语义向量。可以认为，该会话语义向量为含有上下文信息的用户语句的语义表征。在附图2中，该会话语义向量被标记为I。
可选地，请参阅图3，上述第一双向GRU模型的初始隐藏层的可以通过如下方式构建：
A1、分别获取各个其它语句的语句向量；
其中，上述其它语句指的是语句u1，s2，u3，s4，…，st-3，ut-2，此处可以先获取语句u1，s2，u3，s4，…，st-3，ut-2的语句向量，其中，上述语句向量为语句的语义表征。具体地，每个语句的语句向量可通过如下方式生成：
A11、对目标其它语句进行按字切分处理，得到得到切分后的序列；
其中，上述目标其它语句为上述其它语句中的任一语句，也即，该目标其它语句可以是u(i)，也可以是s(i)，上述u(i)用于表达u1，u3，……，ut-2中的任一语句，上述s(i)用于表达s2，s4，……，st-3中的任一语句。该目标其它语句将首先通过BERT模型调用tokenizer进行按字切分处理，得到切分后的序列，也即token序列。
A12、将切分后的序列输入至上述BERT模型中，得到上述目标其它语句的语句矩阵；
其中，通过取出BERT模型最顶层每个token对应的隐藏层，可以拼接得到一个预设第二尺寸的矩阵，该矩阵即为该目标其它语句的语句矩阵；也即，与上述当前对话矩阵相类似地，上述语句矩阵为将目标其它语句输入BERT模型后，由BERT模型最后一层所输出的所有向量组成的矩阵。仅作为示例，上述当前对话矩阵的尺寸可以为[64*768]，其中，上述“64”为经过0向量填充处理后的token序列长度，由于该token序列仅包含目标其它语句，所以这个值相较于上述当前对话矩阵所涉及到的尺寸“128”来说会小一些，且该值可以根据不同应用场景的需要而进行调整；上述“768”为定值，为BERT模型输出隐藏层的维数。
A13、将上述语句矩阵输入至待训练的第二双向GRU模型中，得到上述目标其它语句的语句向量。
其中，步骤A13所涉及到的双向GRU模型不同于上述第一双向GRU模型，因而，此处将步骤A13所涉及到的双向GRU模型记为第二双向GRU模型，并记上述第二双向GRU模型所涉及的两个方向为第三方向及第四方向。需要注意的是，上述第二双向GRU模型也是待训练的模型之一。
具体地，由于上述第二双向GRU模型涉及两个方向，因而，在将上述语句矩阵输入至上述第二双向GRU模型之后，可以是将上述第二双向GRU模型在上述第三方向上的最末隐藏层的输出作为第三输出结果，同时将上述第二双向GRU模型在上述第四方向上的最末隐藏层的输出作为第四输出结果，随后对上述第三输出结果及上述第四输出结果进行拼接，得到上述目标其它语句的语句向量。为了便于说明，可以记上述目标其它语句的语句向量为mi。上述语句向量在生成后可存在预设的数据缓存区域。当对话进行到当前轮次的ut时，即可以从上述数据缓存区域获得每一个其它语句的语句向量，也即，得到语句u1的语句向量m1，s2的语句向量m2，u3的语句向量m3，s4的语句向量m4，…，st-3的语句向量mt-3，ut-2的语句向量mt-2。上述各个其它语句的语句向量可组成语义表征向量组[m1,m2,……,mt-2]。
A2、将各个语句向量输入至待训练的单向GRU模型中；
其中，请参阅图4，可以将上述语义表征向量组[m1,m2,……,mt-2]输入至单向GRU模型中，需要注意的是，上述单向GRU模型也是待训练的模型之一。
A3、将上述单向GRU模型的最末隐藏层所输出的向量作为记忆编码向量；
A4、基于上述记忆编码向量构建上述第一双向GRU模型的初始隐藏层。
其中，可以将上述记忆编码向量记为M，则在本申请实施例中，可以将上述记忆编码向量M作为上述第一双向GRU模型在两个方向上的初始隐藏层h0。
步骤104，对上述会话语义向量进行第一线性变换得到意图向量，并对上述会话语义向量进行第二线性变换得到对话行为向量；
在本申请实施例中，可以通过对会话语义向量进行线性变换。映射得到意图向量以及对话行为向量，其中，考虑到线性变换的对象均为会话语义向量，因而为了区分这两次线性变换操作，将用以得到意图向量的线性变换操作记为第一线性变换，将用以得到对话行为向量的线性变换操作记为第二线性变换。
可选地，上述对上述会话语义向量进行第一线性变换得到意图向量的操作可具体包括：
B1、根据预设的第一参数矩阵对上述会话语义向量进行线性变换，得到第一中间向量；
其中，上述第一参数矩阵的矩阵行数根据上述会话语义向量的维度而确定，上述第一参数矩阵的矩阵列数根据预设的意图类别的总数而确定，上述第一中间向量的维度为上述意图类别的总数。具体地，上述意图类别由研发人员预先提出，例如，可以有“听音乐”、“定航班”、“去城市”及“吃食物”等多个意图类别，每一个意图类别代表一种意图。假定会话语义向量的维度为m，并假定研发人员所提出的意图类别共有n类，则上述第一参数矩阵的尺寸为[m*n]。则上述根据预设的第一参数矩阵对上述会话语义向量进行线性变换的操作，具体为将会话语义向量与上述第一参数矩阵相乘，即可得到一n维的第一中间向量。
B2、基于预设的第一激活函数对上述第一中间向量进行变换，得到意图向量。
其中，上述第一激活函数具体为softmax函数。通过softmax可将第一中间向量转换为一个概率向量，也即意图向量。上述意图向量中的各个维度用于表示上述用户语句属于各个意图类别的概率，也即，该意图向量中每一维即为语义分析模型对不同意图的概率预测。例如，上述意图向量的第一维对应的意图类别为“听音乐”，则该第一维的元素(假定为p1)即为语义分析模型所预测的上述用户语句ut表达“听音乐”这一意图的概率。
可选地，上述对上述会话语义向量进行第二线性变换得到对话行为向量的操作可具体包括：
C1、根据预设的第二参数矩阵对上述会话语义向量进行线性变换，得到第二中间向量；
其中，上述第二参数矩阵的矩阵行数根据上述会话语义向量的维度而确定，上述第二参数矩阵的矩阵列数根据预设的对话行为类别的总数而确定，上述第二中间向量的维度为上述对话行为类别的总数。具体地，与意图类别类似，上述对话行为类别由研发人员预先提出，每一个对话行为类别代表一种对话行为。假定会话语义向量的维度为m，并假定研发人员所提出的对话行为类别共有l类，则上述第一参数矩阵的尺寸为[m*l]。则上述根据预设的第二参数矩阵对上述会话语义向量进行线性变换的操作，具体为将会话语义向量与上述第二参数矩阵相乘，即可得到一l维的第二中间向量。
C2、基于预设的第二激活函数对上述第二中间向量进行变换，得到对话行为向量。
其中，上述第二激活函数具体为sigmoid函数。通过softmax可将第一中间向量转换为一个每一维度的值域为[0,1]的向量，也即对话行为向量。上述意图向量中的各个维度用于表示上述用户语句命中各个对话行为类别的得分，若某一维上的分数大于0.5，则认为该用户语句蕴含了这一维对应的对话行为，也即，用户语句命中了这一维对应的对话行为。需要注意的是，一个用户语句可以命中多种对话行为，也即，可能存在多个维度的分数大于0.5。
步骤105，根据上述意图向量计算得到意图损失，并根据上述对话行为向量计算得到对话行为损失；
在本申请实施例中，每一用户语句都携带有意图标签yintent以及对话行为标签yact，其中，该意图标签用于表达用户语句的真实意图，该对话行为标签用于表达用户语句的真实对话行为，因而，上述语义分析模型在训练的过程中，可将该意图向量与上述用户语句的意图标签yintent通过交叉熵损失函数来计算意图损失，将对话行为向量与上述用户语句的对话行为标签yact通过多标签BCE损失函数来计算对话行为损失。
步骤106，基于上述意图损失及上述对话行为损失进行反向传播，对各个待训练的模型的模型参数进行更新。
在本申请实施例中，可以将上述意图损失及上述对话行为损失相加，以作为语义分析模型的总损失，并通过反向梯度传播对各个待训练的模型的模型参数进行更新，上述待训练的模型包括上述第一双向GRU模型、第二双向GRU模型及单向GRU模型等，此处不作限定。
可选地，上述语义分析模型中还可以包括LSTM-CRF模型，则上述智能人机对话模型训练方法还包括：取出第一双向GRU模型中与上述用户语句ut的每个token相对应的隐藏层作为上述LSTM-CRF模型的输入；在对CRF概率转移矩阵进行初始化时，强制约束任何非相关类别的实体标记转移到该类别的I开头的标记的概率为0，并令其为常量，不随训练过程调整；或者，上述CRF概率转移矩阵若是对数概率矩阵，则令其等于一个很小的值，例如-10000。也即是说，上述CRF概率转移矩阵中，存在某些位置所表达的状态转移关系可能性很小，基于此，可以将CRF概率转移矩阵中这些所表达的状态转移关系可能性很小的位置的值强制设为0或某一很小的值。在训练时，可以根据极大似然估计原理，将输入的实体序列在所有可能的实体序列中出现的概率取负对数后作为结构化损失函数，以得到语义分析模型的结构化损失。
可选地，在存在结构化损失函数的情况下，上述语义解析模型的总损失也应该考虑到上述结构化损失函数，因而上述步骤105可以表现为：
将基于该结构化损失函数所得到的结构化损失进行量纲调整，其中，上述量纲调整的操作具体为将结构化损失除以(100*当前轮次的用户语句的序列长度)；
将量纲调整后的结构化损失与上述意图损失及上述对话行为损失相加，得到上述语义解析模型的总损失；
相应地，上述步骤106可以表现为：
通过上述总损失进行反向传播，对各个待训练的模型的模型参数进行更新。
可选地，上述语义解析模型还可以结合词典信息进行训练集预测。则在拥有词典的前提下，为了利用词典信息来辅助词槽识别，本申请实施例可以将用户语句ut中的词语与相关词典进行匹配，具体过程如下：
分别对每个词典构建哈希索引，其中，哈希索引中的键为词典中的词汇；
生成一个行数等于词典个数，列数等于用户语句ut的长度的0矩阵，该矩阵可以被记为词典匹配矩阵；
基于字片段(n-gram)长度由长至短的顺序(也即，从字片段长度为用户语句ut的长度至长度为1的顺序)依次遍历句子中所有尚未被标记的字片段；
查询遍历到的字片段是否出现在对应词典中；若出现，则对上述词典匹配矩阵中对应行及对应列的元素赋值，具体为：将列标为字片段的首字符(对应英语则为首个token,由BERT模型的切分方法决定)，行标为对应词典的元素标为1，将列标为字片段的后续字符，行标为对应词典的元素标为-1；
取出各个字符对应的列向量，作为该字符词典匹配信息的编码；
则在训练语义分析模型时，可以将每个字对应的列向量与BERT输出的当前对话矩阵中与这个字相关的向量拼接到一起，输入到后续的第一双向GRU网络中，通过这种方式实现词典信息与语义分析模型的融合。需要注意的是，在训练过程中，为了保证语义分析模型对上述词典之外的实体的识别能力，可以随机屏蔽掉词典中预设比例的词条，该预设比例可以是50％，也可以是研发人员所设定的其它值，此处不作限定，以避免语义分析模型过分依赖词典匹配的信息；而在预测时，为保证词典覆盖率，则需要对所有词条进行匹配。其中，上述屏蔽的方式有两种：第一种是在上述语义分析模型初始化时就随机将每个词典中预设比例的词条进行屏蔽，并在训练过程中由始至终屏蔽这些词条；第二种是每一轮训练开始时，对每个词典都重新随机选择预设比例的词条进行屏蔽。也即，上述第一种方式是在训练的过程中由始至终屏蔽同一批词条，也就是说，被屏蔽的词条是固定的；而上述第二种方式是在每个轮次的训练时都更换一批词条进行屏蔽，也就是说，被屏蔽的词条是动态变化的。在本申请实施例中，优选第一种方式进行屏蔽，以使得训练得到的语义解析模型有更强的学习适应能力。
为了更好的说明上述词典信息对语义解析模型的影响，下面以具体的实例进行说明：
假设词典类别总共有3个，分别为singer、album、song，输入的用户语句为“我想听周杰伦的Jay专辑”，其中，字片段“周杰伦”命中了singer这一词典，则列标为该字片段的首字符(也即“周”)，行标为singer的元素被赋予“1”；该字片段的后续字符(也即“杰”及“伦”)，行标为singer的元素被赋予“-1”。而针对命中多个词典的情况，例如，字片段“Jay”既命中singer，又命中了album，可以均进行赋值，彼此之间不会发生冲突。基于此，可以得到如下的词典匹配矩阵：
| 我 | 想 | 听 | 周 | 杰 | 伦 | 的 | Jay | 专 | 辑 | |
| singer | 0 | 0 | 0 | 1 | -1 | -1 | 0 | 1 | 0 | 0 |
| album | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 |
| song | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
通过上述词典匹配矩阵可知，字符“周”对应的列向量为[1,0,0]，因而可以将[1,0,0]拼接到上述BERT模型对应于字符“周”所输出的向量中，形成一个768+3维的向量，并一起输入至后续的第一双向GRU模型中。
由上可见，本申请方案中所提出的语义解析模型融合了BERT模型、多个双向GRU模型、单向GRU模型以及LSTM-CRF模型。通过融合BERT模型及GRU模型赖编码历史记忆，并在语义解析时融合了前一轮的***语句，可以得到准确度更高的语义解析模型；通过对LSTM-CRF模型的概率转移矩阵进行约束，可以避免出现违反标记规则的实体识别序列。进一步地，上述语义解析模型还可以融合词典信息，以提升实体识别效果。该语义解析模型可以广泛地应用于机器人、智能音箱、智能客服、语音助手、智能诊断等依赖于人机交互的***中，在对用户语句的处理准确率上有显著优势。
实施例二
本申请实施例二提供了一种智能人机对话模型训练装置，上述智能人机对话装置可集成于电子设备中，如图5所示，本申请实施例中的智能人机对话模型训练装置500包括：
语句获取单元501，用于获取当前轮次的用户语句及前一轮次的***语句；
对话矩阵获取单元502，用于将上述用户语句及上述***语句拼接并输入至BERT模型中，得到当前对话矩阵；
会话语义向量获取单元503，用于将上述当前对话矩阵输入至待训练的第一双向GRU模型中，得到会话语义向量，其中，上述会话语义向量基于上述第一双向GRU模型在第一方向上的第一输出结果及第二方向上的第二输出结果拼接而得，上述第一双向GRU模型的初始隐藏层基于其它语句而构建，上述其它语句为除上述***语句之外的历史轮次的语句；
线性变换单元504，用于对上述会话语义向量进行第一线性变换得到意图向量，并对上述会话语义向量进行第二线性变换得到对话行为向量；
损失计算单元505，用于根据上述意图向量计算得到意图损失，并根据上述对话行为向量计算得到对话行为损失；
参数更新单元506，用于基于上述意图损失及上述对话行为损失进行反向传播，对各个待训练的模型的模型参数进行更新。
可选地，上述智能人机对话模型训练装置500还包括：
语句向量获取单元，用于分别获取各个其它语句的语句向量，其中，上述语句向量为语句的语义表征；
语句向量输入单元，用于将各个语句向量输入至待训练的单向GRU模型中；
记忆编码向量获取单元，用于将上述单向GRU模型的最末隐藏层所输出的向量作为记忆编码向量；
初始隐藏层构建单元，用于基于上述记忆编码向量构建上述第一双向GRU模型的初始隐藏层。
可选地，上述语句向量获取单元包括：
切分处理子单元，用于对目标其它语句进行按字切分处理，得到切分后的序列，其中，上述目标其它语句为上述其它语句中的任一语句；
语句矩阵获取子单元，用于将切分后的序列输入至上述BERT模型中，得到上述目标其它语句的语句矩阵；
语句向量获取子单元，用于将上述语句矩阵输入至待训练的第二双向GRU模型中，得到上述目标其它语句的语句向量，其中，上述目标其它语句的语句向量基于上述第二双向GRU模型在第三方向上的第三输出结果及第四方向上的第四输出结果拼接而得。
可选地，上述语句向量获取子单元，具体用于在将上述语句矩阵输入至上述第二双向GRU模型之后，将上述第二双向GRU模型在上述第三方向上的最末隐藏层的输出作为第三输出结果，将上述第二双向GRU模型在上述第四方向上的最末隐藏层的输出作为第四输出结果，对上述第三输出结果及上述第四输出结果进行拼接，得到上述目标其它语句的语句向量。
可选地，上述会话语义向量获取单元503，具体用于在将上述当前对话矩阵输入至上述第一双向GRU模型之后，将上述第一双向GRU模型在上述第一方向上的最末隐藏层的输出作为第一输出结果，将上述第一双向GRU模型在上述第二方向上的最末隐藏层的输出作为第二输出结果，对上述第一输出结果及上述第二输出结果进行拼接，得到上述会话语义向量。
可选地，上述线性变换单元504，包括：
第一线性变换子单元，用于根据预设的第一参数矩阵对上述会话语义向量进行线性变换，得到第一中间向量，其中，上述第一参数矩阵的矩阵行数根据上述会话语义向量的维度而确定，上述第一参数矩阵的矩阵列数根据预设的意图类别的总数而确定，上述第一中间向量的维度为上述意图类别的总数；
第一激活子单元，用于基于预设的第一激活函数对上述第一中间向量进行变换，得到意图向量，其中，上述意图向量中的各个维度用于表示上述用户语句属于各个意图类别的概率。
可选地，上述线性变换单元504，包括：
第二线性变换子单元，用于根据预设的第二参数矩阵对上述会话语义向量进行线性变换，得到第二中间向量，其中，上述第二参数矩阵的矩阵行数根据上述会话语义向量的维度而确定，上述第二参数矩阵的矩阵列数根据预设的对话行为类别的总数而确定，上述第二中间向量的维度为上述对话行为类别的总数；
第二激活子单元，用于基于预设的第二激活函数对上述第二中间向量进行变换，得到对话行为向量，其中，上述意图向量中的各个维度用于表示上述用户语句命中各个对话行为类别的得分。
可选地，上述智能人机对话模型训练装置500还包括：
LSTM-CRF输入获取单元，用于取出第一双向GRU模型中与上述用户语句的每个字相对应的隐藏层作为上述LSTM-CRF模型的输入；
强制约束单元，用于在对CRF概率转移矩阵进行初始化时，强制约束任何非相关类别的实体标记转移到该类别的I开头的标记的概率为预设数值，并令其为常量，不随训练过程调整；
结构化损失计算单元，用于根据极大似然估计原理，将输入的实体序列在所有可能的实体序列中出现的概率取负对数后作为结构化损失函数，以得到语义分析模型的结构化损失。
可选地，上述损失计算单元505包括：
结构化损失调整子单元，用于将基于该结构化损失函数所得到的结构化损失进行量纲调整，其中，上述量纲调整的操作具体为将结构化损失除以(100*序列长度)；
总损失确定子单元，用于将量纲调整后的结构化损失与上述意图损失及上述对话行为损失相加，得到上述语义解析模型的总损失；
相应地，上述参数更新单元506，具体用于通过上述总损失进行反向传播，对各个待训练的模型的模型参数进行更新。
可选地，上述智能人机对话模型训练装置500还包括：
哈希索引建立单元，用于分别对每个词典构建哈希索引，其中，哈希索引中的键为词典中的词汇；
词典匹配矩阵初始化单元，用于生成一个行数等于词典个数，列数等于用户语句ut的长度的0矩阵，该矩阵可以被记为词典匹配矩阵；
遍历子单元，用于基于字片段长度由长至短的顺序依次遍历句子中所有尚未被标记的字片段；
查询单元，用于查询遍历到的字片段是否出现在对应词典中；
元素赋值单元，用于若遍历到的字片段出现在对应词典中，则对上述词典匹配矩阵中对应行及对应列的元素赋值，具体为：将列标为字片段的首字符，行标为对应词典的元素标为1，将列标为字片段的后续字符，行标为对应词典的元素标为-1；
编码单元，用于取出各个字符对应的列向量，作为该字符词典匹配信息的编码；
相应地，上述会话语义向量获取单元，具体用于将每个字对应的列向量与BERT输出的当前对话矩阵中与上述字相关的向量拼接到一起，输入至待训练的第一双向GRU网络中，得到会话语义向量。
可选地，上述智能人机对话模型训练装置500还包括：
屏蔽单元，用于在训练开始前，随机屏蔽掉每一词典中预设比例的词条。
由上可见，本申请方案中所提出的智能人机对话模型训练装置可以对融合了BERT模型、多个双向GRU模型、单向GRU模型以及LSTM-CRF模型的语义解析模型进行训练。上述语义解析模型通过融合BERT模型及GRU模型赖编码历史记忆，并在语义解析时融合了前一轮的***语句，可以得到准确度更高的语义解析模型；通过对LSTM-CRF模型的概率转移矩阵进行约束，可以避免出现违反标记规则的实体识别序列。进一步地，上述语义解析模型还可以融合词典信息，以提升实体识别效果。该语义解析模型可以广泛地应用于机器人、智能音箱、智能客服、语音助手、智能诊断等依赖于人机交互的***中，在对用户语句的处理准确率上有显著优势。
实施例三
本申请实施例三提供了一种电子设备，请参阅图6，本申请实施例中的电子设备6包括：存储器601，一个或多个处理器602(图6中仅示出一个)及存储在存储器601上并可在处理器上运行的计算机程序。其中：存储器601用于存储软件程序以及模块，处理器602通过运行存储在存储器601的软件程序以及单元，从而执行各种功能应用以及数据处理，以获取上述预设事件对应的资源。具体地，处理器602通过运行存储在存储器601的上述计算机程序时实现以下步骤：
获取当前轮次的用户语句及前一轮次的***语句；
将上述用户语句及上述***语句拼接并输入至BERT模型中，得到当前对话矩阵；
将上述当前对话矩阵输入至待训练的第一双向GRU模型中，得到会话语义向量，其中，上述会话语义向量基于上述第一双向GRU模型在第一方向上的第一输出结果及第二方向上的第二输出结果拼接而得，上述第一双向GRU模型的初始隐藏层基于其它语句而构建，上述其它语句为除上述***语句之外的历史轮次的语句；
对上述会话语义向量进行第一线性变换得到意图向量，并对上述会话语义向量进行第二线性变换得到对话行为向量；
根据上述意图向量计算得到意图损失，并根据上述对话行为向量计算得到对话行为损失；
基于上述意图损失及上述对话行为损失进行反向传播，对各个待训练的模型的模型参数进行更新。
假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，处理器602通过运行存储在存储器601的上述计算机程序时还实现以下步骤：
分别获取各个其它语句的语句向量，其中，上述语句向量为语句的语义表征；
将各个语句向量输入至待训练的单向GRU模型中；
将上述单向GRU模型的最末隐藏层所输出的向量作为记忆编码向量；
基于上述记忆编码向量构建上述第一双向GRU模型的初始隐藏层。
在上述第二种可能的实施方式作为基础而提供的第三种可能的实施方式中，上述分别获取各个其它语句的语句向量，包括：
对目标其它语句进行按字切分处理，得到切分后的序列，其中，上述目标其它语句为上述其它语句中的任一语句；
将切分后的序列输入至上述BERT模型中，得到上述目标其它语句的语句矩阵；
将上述语句矩阵输入至待训练的第二双向GRU模型中，得到上述目标其它语句的语句向量，其中，上述目标其它语句的语句向量基于上述第二双向GRU模型在第三方向上的第三输出结果及第四方向上的第四输出结果拼接而得。
在上述三种可能的实施方式作为基础而提供的第四种可能的实施方式中，上述将上述语句矩阵输入至待训练的第二双向GRU模型中，得到上述目标其它语句的语句向量，包括：
在将上述语句矩阵输入至上述第二双向GRU模型之后，将上述第二双向GRU模型在上述第三方向上的最末隐藏层的输出作为第三输出结果；
将上述第二双向GRU模型在上述第四方向上的最末隐藏层的输出作为第四输出结果；
对上述第三输出结果及上述第四输出结果进行拼接，得到上述目标其它语句的语句向量。
在上述第一种可能的实施方式作为基础，或者上述第二种可能的实施方式作为基础，或者上述第三种可能的实施方式作为基础，或者上述第四种可能的实施方式作为基础而提供的第五种可能的实施方式中，上述将上述当前对话矩阵输入至待训练的第一双向GRU模型中，得到会话语义向量，包括：
在将上述当前对话矩阵输入至上述第一双向GRU模型之后，将上述第一双向GRU模型在上述第一方向上的最末隐藏层的输出作为第一输出结果；
将上述第一双向GRU模型在上述第二方向上的最末隐藏层的输出作为第二输出结果；
对上述第一输出结果及上述第二输出结果进行拼接，得到上述会话语义向量。
在在上述第一种可能的实施方式作为基础，或者上述第二种可能的实施方式作为基础，或者上述第三种可能的实施方式作为基础，或者上述第四种可能的实施方式作为基础而提供的第六种可能的实施方式中，处理器602通过运行存储在存储器601的上述计算机程序时还实现以下步骤：
上述对上述会话语义向量进行第一线性变换得到意图向量，包括：
根据预设的第一参数矩阵对上述会话语义向量进行线性变换，得到第一中间向量，其中，上述第一参数矩阵的矩阵行数根据上述会话语义向量的维度而确定，上述第一参数矩阵的矩阵列数根据预设的意图类别的总数而确定，上述第一中间向量的维度为上述意图类别的总数；
基于预设的第一激活函数对上述第一中间向量进行变换，得到意图向量，其中，上述意图向量中的各个维度用于表示上述用户语句属于各个意图类别的概率。
在在上述第一种可能的实施方式作为基础，或者上述第二种可能的实施方式作为基础，或者上述第三种可能的实施方式作为基础，或者上述第四种可能的实施方式作为基础而提供的第七种可能的实施方式中，上述对上述会话语义向量进行第二线性变换得到对话行为向量，包括：
根据预设的第二参数矩阵对上述会话语义向量进行线性变换，得到第二中间向量，其中，上述第二参数矩阵的矩阵行数根据上述会话语义向量的维度而确定，上述第二参数矩阵的矩阵列数根据预设的对话行为类别的总数而确定，上述第二中间向量的维度为上述对话行为类别的总数；
基于预设的第二激活函数对上述第二中间向量进行变换，得到对话行为向量，其中，上述意图向量中的各个维度用于表示上述用户语句命中各个对话行为类别的得分。
应当理解，在本申请实施例中，所称处理器602可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Arra6，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器601可以包括只读存储器和随机存取存储器，并向处理器602提供指令和数据。存储器601的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器601还可以存储设备类别的信息。
由上可见，本申请方案中所提出的电子设备可以对融合了BERT模型、多个双向GRU模型、单向GRU模型以及LSTM-CRF模型的语义解析模型进行训练。上述语义解析模型通过融合BERT模型及GRU模型赖编码历史记忆，并在语义解析时融合了前一轮的***语句，可以得到准确度更高的语义解析模型；通过对LSTM-CRF模型的概率转移矩阵进行约束，可以避免出现违反标记规则的实体识别序列。进一步地，上述语义解析模型还可以融合词典信息，以提升实体识别效果。该语义解析模型可以广泛地应用于机器人、智能音箱、智能客服、语音助手、智能诊断等依赖于人机交互的***中，在对用户语句的处理准确率上有显著优势。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的***实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关联的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机可读存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括是电载波信号和电信信号。
以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (7)
1.一种智能人机对话模型训练方法，其特征在于，包括：
获取当前轮次的用户语句及前一轮次的***语句；
将所述用户语句及所述***语句拼接并输入至BERT模型中，得到当前对话矩阵；
将所述当前对话矩阵输入至待训练的第一双向GRU模型中，得到会话语义向量，其中，所述会话语义向量基于所述第一双向GRU模型在第一方向上的第一输出结果及第二方向上的第二输出结果拼接而得，所述第一双向GRU模型的初始隐藏层基于其它语句而构建，所述其它语句为除所述***语句之外的历史轮次的语句；
对所述会话语义向量进行第一线性变换得到意图向量，并对所述会话语义向量进行第二线性变换得到对话行为向量；
根据所述意图向量计算得到意图损失，并根据所述对话行为向量计算得到对话行为损失；
基于所述意图损失及所述对话行为损失进行反向传播，对各个待训练的模型的模型参数进行更新；
其中，所述将所述当前对话矩阵输入至待训练的第一双向GRU模型中，得到会话语义向量，包括：
在将所述当前对话矩阵输入至所述第一双向GRU模型之后，将所述第一双向GRU模型在所述第一方向上的最末隐藏层的输出作为第一输出结果；
将所述第一双向GRU模型在所述第二方向上的最末隐藏层的输出作为第二输出结果；
对所述第一输出结果及所述第二输出结果进行拼接，得到所述会话语义向量；
其中，所述对所述会话语义向量进行第一线性变换得到意图向量，包括：
根据预设的第一参数矩阵对所述会话语义向量进行线性变换，得到第一中间向量，其中，所述第一参数矩阵的矩阵行数根据所述会话语义向量的维度而确定，所述第一参数矩阵的矩阵列数根据预设的意图类别的总数而确定，所述第一中间向量的维度为所述意图类别的总数；
基于预设的第一激活函数对所述第一中间向量进行变换，得到意图向量，其中，所述意图向量中的各个维度用于表示所述用户语句属于各个意图类别的概率；
其中，所述对所述会话语义向量进行第二线性变换得到对话行为向量，包括：
根据预设的第二参数矩阵对所述会话语义向量进行线性变换，得到第二中间向量，其中，所述第二参数矩阵的矩阵行数根据所述会话语义向量的维度而确定，所述第二参数矩阵的矩阵列数根据预设的对话行为类别的总数而确定，所述第二中间向量的维度为所述对话行为类别的总数；
基于预设的第二激活函数对所述第二中间向量进行变换，得到对话行为向量，其中，所述意图向量中的各个维度用于表示所述用户语句命中各个对话行为类别的得分。
2.如权利要求1所述的智能人机对话模型训练方法，其特征在于，所述智能人机对话模型训练方法还包括：
分别获取各个其它语句的语句向量，其中，所述语句向量为语句的语义表征；
将各个语句向量输入至待训练的单向GRU模型中；
将所述单向GRU模型的最末隐藏层所输出的向量作为记忆编码向量；
基于所述记忆编码向量构建所述第一双向GRU模型的初始隐藏层。
3.如权利要求2所述的智能人机对话模型训练方法，其特征在于，所述分别获取各个其它语句的语句向量，包括：
对目标其它语句进行按字切分处理，得到切分后的序列，其中，所述目标其它语句为所述其它语句中的任一语句；
将切分后的序列输入至所述BERT模型中，得到所述目标其它语句的语句矩阵；
将所述语句矩阵输入至待训练的第二双向GRU模型中，得到所述目标其它语句的语句向量，其中，所述目标其它语句的语句向量基于所述第二双向GRU模型在第三方向上的第三输出结果及第四方向上的第四输出结果拼接而得。
4.如权利要求3所述的智能人机对话模型训练方法，其特征在于，所述将所述语句矩阵输入至待训练的第二双向GRU模型中，得到所述目标其它语句的语句向量，包括：
在将所述语句矩阵输入至所述第二双向GRU模型之后，将所述第二双向GRU模型在所述第三方向上的最末隐藏层的输出作为第三输出结果；
将所述第二双向GRU模型在所述第四方向上的最末隐藏层的输出作为第四输出结果；
对所述第三输出结果及所述第四输出结果进行拼接，得到所述目标其它语句的语句向量。
5.一种智能人机对话模型训练装置，其特征在于，包括：
语句获取单元，用于获取当前轮次的用户语句及前一轮次的***语句；
对话矩阵获取单元，用于将所述用户语句及所述***语句拼接并输入至BERT模型中，得到当前对话矩阵；
会话语义向量获取单元，用于将所述当前对话矩阵输入至待训练的第一双向GRU模型中，得到会话语义向量，其中，所述会话语义向量基于所述第一双向GRU模型在第一方向上的第一输出结果及第二方向上的第二输出结果拼接而得，所述第一双向GRU模型的初始隐藏层基于其它语句而构建，所述其它语句为除所述***语句之外的历史轮次的语句；
线性变换单元，用于对所述会话语义向量进行第一线性变换得到意图向量，并对所述会话语义向量进行第二线性变换得到对话行为向量；
损失计算单元，用于根据所述意图向量计算得到意图损失，并根据所述对话行为向量计算得到对话行为损失；
参数更新单元，用于基于所述意图损失及所述对话行为损失进行反向传播，对各个待训练的模型的模型参数进行更新；
其中，所述会话语义向量获取单元，具体用于在将所述当前对话矩阵输入至所述第一双向GRU模型之后，将所述第一双向GRU模型在所述第一方向上的最末隐藏层的输出作为第一输出结果，将所述第一双向GRU模型在所述第二方向上的最末隐藏层的输出作为第二输出结果，对所述第一输出结果及所述第二输出结果进行拼接，得到所述会话语义向量；
其中，所述线性变换单元，包括：
第一线性变换子单元，用于根据预设的第一参数矩阵对所述会话语义向量进行线性变换，得到第一中间向量，其中，所述第一参数矩阵的矩阵行数根据所述会话语义向量的维度而确定，所述第一参数矩阵的矩阵列数根据预设的意图类别的总数而确定，所述第一中间向量的维度为所述意图类别的总数；
第一激活子单元，用于基于预设的第一激活函数对所述第一中间向量进行变换，得到意图向量，其中，所述意图向量中的各个维度用于表示所述用户语句属于各个意图类别的概率；
其中，所述线性变换单元，包括：
第二线性变换子单元，用于根据预设的第二参数矩阵对所述会话语义向量进行线性变换，得到第二中间向量，其中，所述第二参数矩阵的矩阵行数根据所述会话语义向量的维度而确定，所述第二参数矩阵的矩阵列数根据预设的对话行为类别的总数而确定，所述第二中间向量的维度为所述对话行为类别的总数；
第二激活子单元，用于基于预设的第二激活函数对所述第二中间向量进行变换，得到对话行为向量，其中，所述意图向量中的各个维度用于表示所述用户语句命中各个对话行为类别的得分。
6.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的方法。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010187709.2A CN111460115B (zh) | 2020-03-17 | 2020-03-17 | 智能人机对话模型训练方法、模型训练装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010187709.2A CN111460115B (zh) | 2020-03-17 | 2020-03-17 | 智能人机对话模型训练方法、模型训练装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111460115A CN111460115A (zh) | 2020-07-28 |
| CN111460115B true CN111460115B (zh) | 2023-05-26 |
Family
ID=71682088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010187709.2A Active CN111460115B (zh) | 2020-03-17 | 2020-03-17 | 智能人机对话模型训练方法、模型训练装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111460115B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112528668A (zh) * | 2020-11-27 | 2021-03-19 | 湖北大学 | 深层情感语义识别方法、***、介质、计算机设备及终端 |
| CN112579760B (zh) * | 2020-12-29 | 2024-01-19 | 深圳市优必选科技股份有限公司 | 人机对话方法、装置、计算机设备及可读存储介质 |
| CN113158691B (zh) * | 2021-04-15 | 2023-02-28 | 清华大学 | 基于混合知识管理的对话方法、装置和电子设备 |
| CN113139045B (zh) * | 2021-05-13 | 2023-05-05 | 八维(杭州)科技有限公司 | 一种基于任务驱动型人机对话的选择性问答方法 |
| CN113326365B (zh) * | 2021-06-24 | 2023-11-07 | 中国平安人寿保险股份有限公司 | 回复语句生成方法、装置、设备及存储介质 |
| CN113934825B (zh) * | 2021-12-21 | 2022-03-08 | 北京云迹科技有限公司 | 一种问题回答方法、装置和电子设备 |
| CN114417891B (zh) * | 2022-01-22 | 2023-05-09 | 平安科技（深圳）有限公司 | 基于粗糙语义的回复语句确定方法、装置及电子设备 |
| CN114490994B (zh) * | 2022-03-28 | 2022-06-28 | 北京沃丰时代数据科技有限公司 | 对话管理方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109522545A (zh) * | 2018-10-11 | 2019-03-26 | 华东师范大学 | 一种对多轮对话连贯性质量的评估方法 |
| CN109885670A (zh) * | 2019-02-13 | 2019-06-14 | 北京航空航天大学 | 一种面向话题文本的交互注意力编码情感分析方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6828667B2 (ja) * | 2017-11-28 | 2021-02-10 | トヨタ自動車株式会社 | 音声対話装置、音声対話方法及びプログラム |
-
2020
- 2020-03-17 CN CN202010187709.2A patent/CN111460115B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109522545A (zh) * | 2018-10-11 | 2019-03-26 | 华东师范大学 | 一种对多轮对话连贯性质量的评估方法 |
| CN109885670A (zh) * | 2019-02-13 | 2019-06-14 | 北京航空航天大学 | 一种面向话题文本的交互注意力编码情感分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111460115A (zh) | 2020-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111460115B (zh) | 智能人机对话模型训练方法、模型训练装置及电子设备 | |
| CN111191016B (zh) | 一种多轮对话处理方法、装置及计算设备 | |
| CN112100354B (zh) | 人机对话方法、装置、设备及存储介质 | |
| US12008336B2 (en) | Multimodal translation method, apparatus, electronic device and computer-readable storage medium | |
| CN111026857B (zh) | 对话状态跟踪方法、人机对话方法及*** | |
| CN110678882B (zh) | 使用机器学习从电子文档选择回答跨距的方法及*** | |
| CN111931513A (zh) | 一种文本的意图识别方法及装置 | |
| JP2023535709A (ja) | 言語表現モデルシステム、事前訓練方法、装置、機器及び媒体 | |
| CN110990555B (zh) | 端到端检索式对话方法与***及计算机设备 | |
| CN112163067A (zh) | 一种语句答复方法、语句答复装置及电子设备 | |
| CN112668333A (zh) | 命名实体的识别方法和设备、以及计算机可读存储介质 | |
| CN111079418A (zh) | 命名体识别方法、装置、电子设备和存储介质 | |
| CN111814479B (zh) | 一种企业简称生成及其模型的训练方法及装置 | |
| CN116127001A (zh) | 敏感词检测方法、装置、计算机设备及存储介质 | |
| CN112487813B (zh) | 命名实体识别方法及***、电子设备及存储介质 | |
| CN117056494B (zh) | 开放域问答的方法、装置、电子设备和计算机存储介质 | |
| CN111563161B (zh) | 一种语句识别方法、语句识别装置及智能设备 | |
| CN117370512A (zh) | 回复对话的方法、装置、设备及存储介质 | |
| CN113051935A (zh) | 智能翻译方法、装置、终端设备及计算机可读存储介质 | |
| CN110750967A (zh) | 一种发音的标注方法、装置、计算机设备和存储介质 | |
| WO2023137903A1 (zh) | 基于粗糙语义的回复语句确定方法、装置及电子设备 | |
| CN116186219A (zh) | 一种人机对话交互方法方法、***及存储介质 | |
| CN115906855A (zh) | 一种字词信息融合的中文地址命名实体识别方法及装置 | |
| CN112183114B (zh) | 模型训练、语义完整性识别方法和装置 | |
| CN117235205A (zh) | 命名实体识别方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |