CN117851909A - 一种基于跳跃连接的多循环决策意图识别***及方法 - Google Patents

Abstract

本发明涉及神经网络技术领域，揭露了一种基于跳跃连接的多循环决策意图识别***及方法，该***包括多组循环跳跃神经网络构建模块、多组循环分析流神经网络构建模块、意图决策识别模块、意图标签概率更新模块及决策意图确定模块，构建多组循环神经网络，对多组循环神经网络进行特征补全，将多组意图分类器添加至多组循环跳跃神经网络中，得到多组循环分析流神经网络；将用户指令转换为指令向量，利用多组循环分析流神经网络对指令向量进行意图决策识别；根据意图标签概率确定目标用户的目标意图，提取目标意图的反馈语义，通过反馈语义更新意图标签概率；根据更新后的意图标签概率确定目标用户的决策意图。本发明可以提高意图识别的精确度。

Description

一种基于跳跃连接的多循环决策意图识别***及方法

技术领域

本发明涉及神经网络技术领域，尤其涉及一种基于跳跃连接的多循环决策意图识别***及方法。

背景技术

随着自然语言处理技术的快速发展，意图识别成为了对话***和交互式应用中的核心技术之一，各种机器学习算法和深度学习算法模型被广泛应用于意图识别任务中，但为了能够准确识别用户的意图，需要对用户意图进行准确的特征分析，以进行意图识别。

现有的意图识别技术多为利用传统的机器学习算法，通常从输入文本中提取特征，并将其输入到分类器中的进行意图分类。实际应用中，仅仅依据单层神经网络对数据提取特征，导致存在没有见过的数据时，神经网络可能无法准确分类意图，从而对进行意图识别的精确度较低。

发明内容

本发明提供一种基于跳跃连接的多循环决策意图识别***及方法，其主要目的在于解决进行意图识别的精确度较低的问题。

为实现上述目的，本发明提供的一种基于跳跃连接的多循环决策意图识别***，所述***包括多组循环跳跃神经网络构建模块、多组循环分析流神经网络构建模块、意图决策识别模块、意图标签概率更新模块及决策意图确定模块，其中，

所述多组循环跳跃神经网络构建模块，用于根据预设的意图类别构建多组循环神经网络，利用预设的跳跃连接方式对所述多组循环神经网络进行特征补全，得到多组循环跳跃神经网络；

所述多组循环分析流神经网络构建模块，用于将预设的多组意图分类器添加至所述多组循环跳跃神经网络中，得到多组循环分析流神经网络；

所述意图决策识别模块，用于获取目标用户的用户指令，将所述用户指令转换为指令向量，利用所述多组循环分析流神经网络对所述指令向量进行意图决策识别，得到意图标签概率；

所述意图标签概率更新模块，用于根据所述意图标签概率确定所述目标用户的目标意图，提取所述目标意图的反馈语义，通过所述反馈语义更新所述意图标签概率，其中所述通过所述反馈语义更新所述意图标签概率时，具体用于：

对所述反馈语义进行语义量化，得到反馈量化值；

根据所述反馈量化值更新所述意图标签概率，其中所述意图标签概率计算公式为：其中，/>为第/>个意图标签的更新后的意图标签概率，/>为第/>个意图标签的目标意图概率，/>为第/>个意图标签的反馈量化值，/>为第一意图标签阈值，/>为第二意图标签阈值，/>为标签更新权重，/>为外部因素权重，/>为第/>个意图标签的目标更新意图概率，/>为外部因影响标签概率；

所述决策意图确定模块，用于根据更新后的意图标签概率确定所述目标用户的决策意图。

可选地，所述多组循环跳跃神经网络构建模块在根据预设的意图类别构建多组循环神经网络时，具体用于：

根据预设的意图类别提取意图类别训练数据；

逐一根据预设的意图类别构建每个意图对应的独立循环神经网络模型；

利用所述意图类别训练数据对所述独立循环神经网络模型进行训练，得到意图识别循环神经网络；

将所有的意图识别循环神经网络进行并联，得到多组循环神经网络。

可选地，所述多组循环跳跃神经网络构建模块在利用预设的跳跃连接方式对所述多组循环神经网络进行特征补全，得到多组循环跳跃神经网络时，具体用于：

根据预设的跳跃连接方式确定动态跳跃连接层；

在所述多组循环神经网络中确定所述动态跳跃连接层的跳跃连接位置；

按照所述跳跃连接位置将所述动态跳跃连接层添加至所述多组循环神经网络中，得到多组循环跳跃神经网络。

可选地，所述多组循环分析流神经网络构建模块在将预设的多组意图分类器添加至所述多组循环跳跃神经网络中，得到多组循环分析流神经网络时，具体用于：

在所述多组循环跳跃神经网络的输出端添加预设的多组意图分类器，得到多组意图循环神经网络；

根据预设的意图训练数据对所述多组意图循环神经网络进行联合训练，得到多组意图循环跳跃神经网络；

利用如下预设的损失函数计算所述多组意图循环跳跃神经网络的损失值：其中，/>为所述损失值，/>为循环控制权重，/>为第/>个分类器的真实概率值，/>为第/>个分类器的评估概率值，/>为指数函数，/>为意图分类器的数量；

当所述损失值小于预设的损失阈值时，将所述多组意图循环跳跃神经网络作为所述多组循环分析流神经网络。

可选地，所述意图决策识别模块在将所述用户指令转换为指令向量时，具体用于：

将所述用户指令进行格式转换，得到用户指令文本；

对所述用户指令文本进行文本增强处理，得到增强指令；

将所述增强指令进行词嵌入处理，得到指令词向量；

将所述指令词向量组合为所述用户指令对应的指令向量。

可选地，所述意图决策识别模块在利用所述多组循环分析流神经网络对所述指令向量进行意图决策识别，得到意图标签概率时，具体用于：

利用所述多组循环分析流神经网络中的多组循环神经网络提取所述指令向量对应的指令特征；

根据所述多组循环分析流神经网络中的跳跃连接对所述指令特征进行特征补全，得到所述指令向量对应的全局层次指令特征；

利用所述多组循环分析流神经网络中的意图分类器计算所述全局层次指令特征对应的意图标签概率：其中，/>为第/>个意图分类器中第/>个意图标签的意图标签概率，/>为指数函数，/>为第/>个意图分类器中第/>个意图标签的意图标签值，/>为意图分类器的数量，/>为意图标签的数量。

可选地，所述意图决策识别模块在根据所述多组循环分析流神经网络中的跳跃连接对所述指令特征进行特征补全，得到所述指令向量对应的全局层次指令特征时，具体用于：

提取所述指令向量对应的初始局部特征；

根据所述跳跃连接将所述初始局部特征与所述指令特征进行连接，得到局部层次指令特征；

根据所述局部层次指令特征及所述指令特征确定全局层次指令特征。

可选地，所述意图标签概率更新模块在根据所述意图标签概率确定所述目标用户的目标意图时，具体用于：

根据所述意图标签概率生成标签概率分布；

根据所述标签概率分布计算每个意图标签的目标意图概率：其中，/>为第/>个意图标签的目标意图概率，/>为第/>个意图分类器中第/>个意图标签的意图标签概率，/>为意图分类器的数量，/>为意图标签的数量；

选取所述目标意图概率最大的意图标签作为所述目标用户的目标意图。

可选地，所述决策意图确定模块在根据更新后的意图标签概率确定所述目标用户的决策意图时，具体用于：

根据更新后的意图标签概率生成标签更新概率分布；

根据所述标签更新概率分布计算每个意图标签的更新意图概率；

选取所述更新意图概率最大的意图标签作为目标用户的决策意图。

为了解决上述问题，本发明还提供一种基于跳跃连接的多循环决策意图识别方法，所述方法包括：

根据预设的意图类别构建多组循环神经网络，利用预设的跳跃连接方式对所述多组循环神经网络进行特征补全，得到多组循环跳跃神经网络；

将预设的多组意图分类器添加至所述多组循环跳跃神经网络中，得到多组循环分析流神经网络；

获取目标用户的用户指令，将所述用户指令转换为指令向量，利用所述多组循环分析流神经网络对所述指令向量进行意图决策识别，得到意图标签概率；

根据所述意图标签概率确定所述目标用户的目标意图，提取所述目标意图的反馈语义，通过所述反馈语义更新所述意图标签概率，其中所述通过所述反馈语义更新所述意图标签概率时，具体用于：

对所述反馈语义进行语义量化，得到反馈量化值；

根据所述反馈量化值更新所述意图标签概率，其中所述意图标签概率计算公式为：其中，/>为第/>个意图标签的更新后的意图标签概率，/>为第/>个意图标签的目标意图概率，/>为第/>个意图标签的反馈量化值，/>为第一意图标签阈值，/>为第二意图标签阈值，/>为标签更新权重，/>为外部因素权重，/>为第/>个意图标签的目标更新意图概率，/>为外部因影响标签概率；

根据更新后的意图标签概率确定所述目标用户的决策意图。

本发明实施例通过意图类别设计并训练多组独立的循环神经网络模型，每个循环神经网络对应一个特定的意图类别，用于捕获该意图的语义信息；使用跳跃连接方式，将多组循环神经网络的中间层特征进行融合，以获取更丰富和全面的特征表示；将意图分类器添加到多组循环跳跃神经网络中，形成多组循环分析流神经网络；将多组意图分类器添加至循环跳跃神经网络中，能够充分利用不同类型的模型对输入文本进行分析和预测，提高了模型的鲁棒性和准确性；通过提取目标意图的反馈语义并反向传播更新意图标签概率，可以实现自适应学习和迭代优化，从而不断提高意图识别性能，提升数据分析的精确度，最终分析出的意图可用于对物联网设备等进行设备操控。因此本发明提出的基于跳跃连接的多循环决策意图识别***及方法，可以解决进行意图识别时的精确度较低的问题。

附图说明

图1为本发明一实施例提供的基于跳跃连接的多循环决策意图识别***的功能模块图；

图2为本发明一实施例提供的基于跳跃连接的多循环决策意图识别***的运行方法的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

实际上，基于跳跃连接的多循环决策意图识别***所部署的服务端设备可能是由一台或多台设备构成的。上述基于跳跃连接的多循环决策意图识别***可以实现为：业务实例、虚拟机、硬件设备。比如，该基于跳跃连接的多循环决策意图识别***可以实现为部署在云节点中的一个或多个设备上的一种业务实例。简单来说，该基于跳跃连接的多循环决策意图识别***可以理解为是部署在云节点上的一种软件，用于为各用户端提供基于跳跃连接的多循环决策意图识别***。或者，该基于跳跃连接的多循环决策意图识别***也可以实现为部署在云节点中的一个或多个设备上的一种虚拟机。该虚拟机中安装有用于管理各用户端的应用软件。或者，该基于跳跃连接的多循环决策意图识别***还可以实现为由众多相同或不同类型的硬件设备构成的服务端，设置一个或多个硬件设备用于为各用户端提供基于跳跃连接的多循环决策意图识别***。

在实现形式上，基于跳跃连接的多循环决策意图识别***和用户端相互适应。即，基于跳跃连接的多循环决策意图识别***作为安装于云服务平台的应用，则用户端作为与该应用建立通信连接的客户端；或实现基于跳跃连接的多循环决策意图识别***作为网站实现，则用户端作为网页实现；再或实现基于跳跃连接的多循环决策意图识别***作为云服务平台实现，则用户端作为即时通信应用中的小程序实现。

参照图1所示，是本发明一实施例提供的基于跳跃连接的多循环决策意图识别***的功能模块图。

本发明所述基于跳跃连接的多循环决策意图识别***100可以设置于云端服务器中，在实现形式上，可以作为一个或多个服务设备，也可以作为一应用安装于云端(例如移动服务运营方的服务器、服务器集群等)上，或者也可以开发为网站。根据实现的功能，所述基于跳跃连接的多循环决策意图识别***100可以包括多组循环跳跃神经网络构建模块101、多组循环分析流神经网络构建模块102、意图决策识别模块103、意图标签概率更新模块104及决策意图确定模块105。本发明所述模块也可以称之为单元，是指一种能够被设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在设备的存储器中。

本发明实施例中，基于跳跃连接的多循环决策意图识别***中，上述各个模块均可独立实现，且与其他模块调用。这里的调用可以理解为，某一模块可以连接另一类型的多个模块，并为其连接的多个模块提供相应服务。比如，分享评测模块可以调用同一信息采集模块，以获取该信息采集模块采集的信息基于上述特性，本发明实施例提供的基于跳跃连接的多循环决策意图识别***中，无需修改程序代码，即可通过增加模块、并直接调用的形式来调整基于跳跃连接的多循环决策意图识别***架构的适用范围，实现集群式水平拓展，以便达到快捷灵活拓展基于跳跃连接的多循环决策意图识别***的目的。实际应用中，上述模块可以设置在同一设备或不同设备中，也可以是设置在虚拟设备中，例如云端服务器中的服务实例。

下面结合具体实施例，分别针对基于跳跃连接的多循环决策意图识别***的各个组成部分以及具体工作流程进行说明：

所述多组循环跳跃神经网络构建模块101，用于根据预设的意图类别构建多组循环神经网络，利用预设的跳跃连接方式对所述多组循环神经网络进行特征补全，得到多组循环跳跃神经网络。

本发明实施例中，所述多组循环神经网络是指每个意图类别对应一个循环神经网络，将多个意图类别对应的循环神经网络组合为多组循环神经网络。

本发明实施例中，所述多组循环跳跃神经网络构建模块101在根据预设的意图类别构建多组循环神经网络时，具体用于：

根据预设的意图类别提取意图类别训练数据；

逐一根据预设的意图类别构建每个意图对应的独立循环神经网络模型；

利用所述意图类别训练数据对所述独立循环神经网络模型进行训练，得到意图识别循环神经网络；

将所有的意图识别循环神经网络进行并联，得到多组循环神经网络。

详细地，首先确定需要识别的意图类别，例如“查询天气”、“预订机票”、“播放音乐”等。收集和整理与各个意图类别相关的训练数据，包括输入文本和对应的标签（即意图类别），根据预设的意图类别从整体的训练数据集中提取每个意图类别对应的训练数据，训练数据包括对应意图的输入文本以及相应的意图标签，对于每个意图类别构建一个独立的循环神经网络模型，用于识别该意图类别，可以选择LSTM（Long Short-Term Memory）或GRU（Gated Recurrent Unit）等结构，针对每个意图类别对应的独立循环神经网络模型，分别利用对应意图类别的训练数据进行训练，确保每个模型能够专门针对特定意图进行学习和优化，使模型能够准确地将输入文本分类到相应的意图类别；对训练好的模型进行评估，可以使用验证集或交叉验证等方法评估模型的性能，如准确率、召回率和F1值等指标；根据评估结果对模型进行优化和调参，以提高模型的泛化能力和准确性；将构建好的多个意图类别对应的循环神经网络模型整合在一起，形成一个多组循环神经网络模型，用于整体的意图识别任务；可以构建多组循环神经网络模型，实现对不同意图类别的准确识别和分类。

进一步地，为了能够利用循环神经网络对数据分析地更加准确，需要在多组循环神经网络中添加跳跃连接，使得信息可以更加直接地在网络中传递，避免信息在深层网络中丢失或扭曲，有助于提高模型的表征能力。

本发明实施例中，所述多组循环跳跃神经网络是指在多组循环神经网络中引入跳跃连接，通过跳跃连接，底层的特征信息可以更快地传播到高层，帮助模型更快地收敛到最优解。

本发明实施例中，所述多组循环跳跃神经网络构建模块101在利用预设的跳跃连接方式对所述多组循环神经网络进行特征补全，得到多组循环跳跃神经网络时，具体用于：

根据预设的跳跃连接方式确定动态跳跃连接层；

在所述多组循环神经网络中确定所述动态跳跃连接层的跳跃连接位置；

按照所述跳跃连接位置将所述动态跳跃连接层添加至所述多组循环神经网络中，得到多组循环跳跃神经网络。

详细地，在每个循环神经网络模型中，可以选择将某一层的输出连接到另一层的输入，以实现信息的跳跃传递，从而根据预设的跳跃连接方式，确定动态跳跃连接层的结构和参数，其中所述动态跳跃连接层是指可以自定义设定跳跃连接层的结构和参数，以便动态改变跳跃连接层，从而可以帮助模型更好地捕捉不同层之间的特征表示，并促进信息的交互和整合。

具体地，在多组循环神经网络中，根据预设的跳跃连接方式，确定动态跳跃连接层的跳跃连接位置，在每个循环神经网络的不同层次上，可以选择不同的跳跃连接位置，按照所确定的跳跃连接位置，将动态跳跃连接层添加至多组循环神经网络中，从而得到多组循环跳跃神经网络，即在各个循环神经网络模型之间添加跳跃连接，将其中一部分模型的输出作为另一部分模型的输入，实现信息的跳跃传递和特征补全，在多组循环跳跃神经网络中，跳跃连接层的结构和参数是预设的，但是跳跃连接位置可以根据神经网络的网络层所确定，因此通过跳跃连接，在不同层次的循环神经网络之间建立了直接连接，有效地提高了模型的表征能力和泛化能力，从而提高了模型的性能和效率。

进一步地，通过将意图分类器与循环跳跃神经网络集成在一起，可以共享循环跳跃神经网络中学到的特征表示，则意图分类器可以直接利用循环跳跃神经网络提取的抽象特征，从而更好地理解和分类输入的意图。

所述多组循环分析流神经网络构建模块102，用于将预设的多组意图分类器添加至所述多组循环跳跃神经网络中，得到多组循环分析流神经网络。

本发明实施例中，所述多组循环分析流神经网络是指是一种结合了多组循环神经网络和意图分类器的神经网络模型，在这个模型中，每个循环神经网络负责处理输入数据的序列信息，并将学习到的特征表示传递给相应的意图分类器进行分类，从而识别出用户的意图。

本发明实施例中，所述多组循环分析流神经网络构建模块102在将预设的多组意图分类器添加至所述多组循环跳跃神经网络中，得到多组循环分析流神经网络时，具体用于：

在所述多组循环跳跃神经网络的输出端添加预设的多组意图分类器，得到多组意图循环神经网络；

根据预设的意图训练数据对所述多组意图循环神经网络进行联合训练，得到多组意图循环跳跃神经网络；

利用如下预设的损失函数计算所述多组意图循环跳跃神经网络的损失值：其中，/>为所述损失值，/>为循环控制权重，/>为第/>个分类器的真实概率值，/>为第/>个分类器的评估概率值，/>为指数函数，/>为意图分类器的数量；

当所述损失值小于预设的损失阈值时，将所述多组意图循环跳跃神经网络作为所述多组循环分析流神经网络。

详细地，在多组循环跳跃神经网络的输出端添加预设的多组意图分类器，得到多组意图循环神经网络，则在每个循环跳跃神经网络的输出端都有对应的意图分类器，用于对输入数据进行意图分类；进而根据预设的意图训练数据，对多组意图循环神经网络进行联合训练，在训练过程中，通过反向传播算法优化整个网络的参数，包括循环跳跃神经网络和意图分类器的参数，以最大化分类性能。

具体地，利用预设的损失函数计算多组意图循环跳跃神经网络的损失值，损失函数考虑了每个分类器的真实概率值和评估概率值，以及循环控制权重，其中循环控制权重是用来调节每个分类器对整体损失的贡献程度的参数，可以控制不同分类器之间的重要性，从而影响整体损失值的计算结果，通过调节循环控制权重，可以控制每个分类器在损失计算中的比重，从而影响模型的训练和优化过程，在损失函数中，循环控制权重影响了每个分类器的损失值在计算总体损失时所占的比例，通过合理设置循环控制权重，可以使模型更好地适应任务需求，提高模型的性能和泛化能力；进而当损失值小于预设的损失阈值时，表示模型已经收敛到一个较好的状态，将多组意图循环跳跃神经网络作为最终的多组循环分析流神经网络，则多组循环分析流神经网络可以用于进行意图分类任务，结合了循环跳跃神经网络和多组意图分类器的优势，具有更好的性能和泛化能力。

进一步地，利用预先构建的具有多组循环分析流的神经网络对用户意图进行决策识别，其中，每组神经网络中，均利用跳跃链接方式进行特征补全，从而提升数据分析的精确度，最终分析出的意图可用于对物联网设备等进行设备操控。

所述意图决策识别模块103，用于获取目标用户的用户指令，将所述用户指令转换为指令向量，利用所述多组循环分析流神经网络对所述指令向量进行意图决策识别，得到意图标签概率。

本发明实施例中，所述用户指令是指用户对物联网设备控制的语音指令，通过语音指令实现对物联网设备的操控，其中，可通过具有数据抓取功能的计算机语句（如Java语句、Python语句等）从预先存储的存储区域获取目标用户的用户指令。

进一步地，为了能够利用多组循环分析流神经网络识别出用户指令对应的用户意图，需要将用户指令转换为神经网络所能识别的语言，因此，需要将用户指令转换为指令向量，即将自然语言的信息转化为数学表示，有利于计算机进行进一步的处理和分析。

本发明实施例中，所述指令向量是指将原始的用户指令转换为语义丰富的指令向量表示，从而方便计算机对用户指令进行语义理解和处理。

本发明实施例中，所述意图决策识别模块103在将所述用户指令转换为指令向量时，具体用于：

将所述用户指令进行格式转换，得到用户指令文本；

对所述用户指令文本进行文本增强处理，得到增强指令；

将所述增强指令进行词嵌入处理，得到指令词向量；

将所述指令词向量组合为所述用户指令对应的指令向量。

详细地，将用户指令转换为文本形式，即用户指令文本；进而对用户指令进行文本预处理，包括分词、去除停用词、词干提取等操作，以准备将其转换为向量表示；从而利用词嵌入模型（如Word2Vec、GloVe、FastText等）将词语映射到高维空间中的向量表示，即指令词向量，通常捕捉了单词之间的语义和关联性；将经过词嵌入的单词向量组合成代表整个句子的向量，可以通过简单的平均操作或更复杂的循环神经网络（RNN）或长短时记忆网络（LSTM）等模型来实现，从而将原始的用户指令转换为语义丰富的指令向量表示，方便计算机对用户指令进行语义理解和处理。

进一步地，利用多组循环分析流神经网络可对用户指令进行意图决策识别，有利于更全面地理解指令的含义和意图。

本发明实施例中，所述意图标签概率是指通过softmax函数计算得出，表示模型对用户指令对应的每个可能的意图标签的预测概率，即给定输入数据（如全局层次指令特征），经过神经网络模型的处理后得到一个向量，该向量的每个元素对应一个可能的意图标签，然后通过softmax函数将这些原始分数转化为归一化的概率值。

本发明实施例中，所述意图决策识别模块103在利用所述多组循环分析流神经网络对所述指令向量进行意图决策识别，得到意图标签概率时，具体用于：

利用所述多组循环分析流神经网络中的多组循环神经网络提取所述指令向量对应的指令特征；

根据所述多组循环分析流神经网络中的跳跃连接对所述指令特征进行特征补全，得到所述指令向量对应的全局层次指令特征；

利用所述多组循环分析流神经网络中的意图分类器计算所述全局层次指令特征对应的意图标签概率：其中，/>为第/>个意图分类器中第/>个意图标签的意图标签概率，/>为指数函数，/>为第/>个意图分类器中第/>个意图标签的意图标签值，/>为意图分类器的数量，/>为意图标签的数量。

详细地，利用多组循环分析流神经网络中的多组循环神经网络对指令向量进行处理，每个循环神经网络都负责提取一组指令特征，而循环神经网络可以是不同层次或不同方向的RNN，例如单向LSTM、双向LSTM等，通过多组循环神经网络，可以捕捉到不同层次和角度的指令特征；利用多组循环分析流神经网络中的跳跃连接，将不同组的指令特征进行特征补全，跳跃连接可以将低层次的特征与高层次的特征相连，使得模型能够综合利用不同层次的指令特征，从而得到更全局的层次指令特征。

本发明实施例中，所述全局层次指令特征在多组循环分析流神经网络中，通过跳跃连接将不同层次的局部特征整合后得到的表示整个指令向量的特征。这些特征能够捕捉到整个指令的全局信息，包括各个部分之间的关联和整体的语义含义，从而更好地表达了指令的整体特征。

本发明实施例中，所述意图决策识别模块103在根据所述多组循环分析流神经网络中的跳跃连接对所述指令特征进行特征补全，得到所述指令向量对应的全局层次指令特征时，具体用于：

提取所述指令向量对应的初始局部特征；

根据所述跳跃连接将所述初始局部特征与所述指令特征进行连接，得到局部层次指令特征；

根据所述局部层次指令特征及所述指令特征确定全局层次指令特征。

详细地，初始局部特征是指指令向量最初的向量特征，通过跳跃连接将指令向量的初始局部特征与通过多组循环神经网络提取的最终的指令特征进行连接，得到局部层次指令特征，而跳跃连接用于将不同层次的指令特征进行连接，从而实现特征补全，在多组循环分析流神经网络中，不同层次的循环神经网络分别可以提取不同层次的指令特征，对于每个层次的指令特征，可以通过跳跃连接将其与前面所有层次的指令特征进行连接，得到局部层次指令特征，在得到局部层次指令特征后，还需要将它们与全局层次指令特征进行结合，从而得到最终的全局层次指令特征。具体来说，可以将局部层次指令特征与全局层次指令特征进行拼接、加权求和或者其他方式的组合，得到最终的指令特征表示，能够充分利用不同层次和角度的指令特征，具有更好的表达能力，从而有助于提高意图识别的性能。

具体地，利用多组循环分流神经网络中的意图分类器对全局层次指令特征进行处理，意图分类器可以是一个全连接层或者其他分类模型，用于计算全层次指令特征对应的意图标签概率；对于每个意图分类器，利用softmax函数计算全层次指令特征对应的意图标签概率，softmax函数将模型输出的原始分数转化为归一化的概率分布，使得每个意图标签的概率值都在0到1之间，并且所有概率之和为1，可以利用多组循环分析流神经网络对指令向量进行意图决策识别，并得到每个意图标签的概率作为输出结果，则每个意图分类器对应若干个意图标签概率，可得到多组意图标签概率。

进一步地，通过计算各个意图标签的概率，可以确定用户的目标意图，从而提高了意图识别的准确性，从而可以更准确地实现对物联网设备的控制。

所述意图标签概率更新模块104，用于根据所述意图标签概率确定所述目标用户的目标意图，提取所述目标意图的反馈语义，通过所述反馈语义更新所述意图标签概率。

本发明实施例中，所述目标意图是指根据意图标签概率所确定的用户在与***或服务进行交互时想要实现的具体目标或意图。

本发明实施例中，所述意图标签概率更新模块104在根据所述意图标签概率确定所述目标用户的目标意图时，具体用于：

根据所述意图标签概率生成标签概率分布；

根据所述标签概率分布计算每个意图标签的目标意图概率：其中，/>为第/>个意图标签的目标意图概率，/>为第/>个意图分类器中第/>个意图标签的意图标签概率，/>为意图分类器的数量，/>为意图标签的数量；

选取所述目标意图概率最大的意图标签作为所述目标用户的目标意图。

详细地，对于每个意图分类器，计算每个意图标签的概率，将每个意图分类器的意图标签概率按照意图标签的数量进行组织，形成标签概率分布，对于每个意图标签，计算其目标意图概率，可以通过将各个意图分类器中相同标签的概率进行加权平均得到，在计算出每个意图标签的目标意图概率后，从中选择概率最大的意图标签作为目标用户的目标意图，从而能够有效地结合多个分类器的信息，提高对用户意图的准确性和可靠性。

进一步地，为了识别更准确地用户意图，需要基于用户的反馈语义，更准确地分析用户意图，从而更精确地调整意图标签的概率分布，则反馈语义可以为***提供实时的用户意图信息，能够动态地调整意图标签的概率分布，可以根据用户的实际反馈不断优化意图识别模型，提高模型对用户意图的准确识别能力。

本发明实施例中，更新意图标签概率是指根据用户所反馈的结果对意图标签进行更新，从而得到更加准确地用户指令对应的用户意图标签概率，进而根据用户意图标签概率确定用户意图。

本发明实施例中，所述意图标签概率更新模块104在通过所述反馈语义更新所述意图标签概率时，具体用于：

对所述反馈语义进行语义量化，得到反馈量化值；

根据所述反馈量化值更新所述意图标签概率，其中所述意图标签概率计算公式为：其中，/>为第/>个意图标签的更新后的意图标签概率，/>为第/>个意图标签的目标意图概率，/>为第/>个意图标签的反馈量化值，/>为第一意图标签阈值，/>为第二意图标签阈值，/>为标签更新权重，/>为外部因素权重，/>为第/>个意图标签的目标更新意图概率，/>为外部因影响标签概率。

详细地，所述反馈量化值是指对反馈语义进行数值量化之后，以数值的形式表示反馈语义，若反馈语义为对目标意图表示认可，则反馈量化值为数值1，若反馈语义为对目标意图表示不认可，则反馈量化值为数值0，进而根据反馈量化值更新由多组循环分析流神经网络计算得到的意图标签概率。

具体地，第一意图标签阈值为数值1，第二意图标签阈值为0，则当目标用户对于其中某一意图标签的反馈量化值为数值1，则将由多组循环分析流神经网络计算得到的意图标签概率对应的意图标签还作为更新后的意图标签概率，而当目标用户对于其中某一意图标签的反馈量化值为数值0，则重新由多组循环分析流神经网络计算意图标签概率，进而将意图标签概率与外部影响因素的影响标签概率之间加权融合，从而得到更准确的意图标签概率，其中标签更新权重/>的是在更新意图标签概率时，不同标签之间的权重比例，标签更新权重可以根据标签的重要性和相关性来确定，例如可以根据历史数据中各标签的出现频率来设定初始权重；外部因素权重/>的是在更新意图标签概率时，考虑到的外部因素对标签概率的影响程度，则外部因素可以包括用户属性、环境因素、时间因素等，可以逐步引入不同的外部因素并自定义设定对应的外部因素权重，通过不断调整找到最佳的标签更新权重和外部因素权重配置，可以更准确地理解用户反馈。

示例性地，当初始确定用户的目标意图为对物联网设备调整音量，若用户的反馈量化值为1，则不需要目标意图进行更新；若当用户的反馈量化值为0，表示目标用户不认可此目标意图，则需要重新利用多组循环分析流神经网络计算意图标签概率，将计算出的更新意图标签概率与外部因素标签概率进行加权融合，以得到最终的意图标签概率，如物联网设备外部因素为用户未说清或者周围环境嘈杂，可以自定义外部标签概率，表示该外部因素对应的发生概率。例如，可以将"环境嘈杂"标签配置为0.7，表示环境嘈杂的可能性较大，进而根据意图标签概率及外部因素概重新对标签概率进行排序，并选择出更新后的标签概率最大的标签作为目标用户的目标意图。

进一步地，可以根据更新后的意图标签概率确定最终的目标用户的决策意图，即直至更新后的目标意图对应的反馈量化值为数值1时，才会终止多组循环分析流神经网络重新计算意图标签概率，得到最终的目标用户的决策意图，从而提升数据分析的精确度，最终分析出的意图可用于对物联网设备等进行设备操控。

所述决策意图确定模块105，用于根据更新后的意图标签概率确定所述目标用户的决策意图。

本发明实施例中，所述决策意图是指根据更新后意图标签概率所确定的用户在与***或服务进行交互时想要实现的具体目标或意图。

本发明实施例中，所述决策意图确定模块105在根据更新后的意图标签概率确定所述目标用户的决策意图时，具体用于：

根据更新后的意图标签概率生成标签更新概率分布；

根据所述标签更新概率分布计算每个意图标签的更新意图概率；

选取所述更新意图概率最大的意图标签作为目标用户的决策意图。

详细地，根据外部标签和相应的概率值，生成一个标签更新概率分布。该分布表示了每个外部标签发生的可能性，对于每个意图标签，结合标签更新概率分布和与之关联的外部标签概率，计算其更新意图概率，其中所述根据所述标签更新概率分布计算每个意图标签的更新意图概率的步骤与所述根据所述意图标签概率确定所述目标用户的目标意图步骤一致，在此不再赘述。

具体地，从计算得到的每个意图标签的更新意图概率中，选取概率最大的意图标签作为目标用户的决策意图。这个概率最大的意图标签表示***最为确定用户的意图是该标签对应的意图，可以准确地捕捉用户的意图，提供个性化的服务和决策支持，从而实现对物联网设备等进行准确设备操控。

本发明实施例通过意图类别设计并训练多组独立的循环神经网络模型，每个循环神经网络对应一个特定的意图类别，用于捕获该意图的语义信息；使用跳跃连接方式，将多组循环神经网络的中间层特征进行融合，以获取更丰富和全面的特征表示；将意图分类器添加到多组循环跳跃神经网络中，形成多组循环分析流神经网络；将多组意图分类器添加至循环跳跃神经网络中，能够充分利用不同类型的模型对输入文本进行分析和预测，提高了模型的鲁棒性和准确性；通过提取目标意图的反馈语义并反向传播更新意图标签概率，可以实现自适应学习和迭代优化，从而不断提高意图识别性能，提升数据分析的精确度，最终分析出的意图可用于对物联网设备等进行设备操控。因此本发明提出的基于跳跃连接的多循环决策意图识别***及方法，可以解决进行意图识别时的精确度较低的问题。

参照图2所示，为本发明一实施例提供的基于跳跃连接的多循环决策意图识别***的运行方法的流程示意图。在本实施例中，所述基于跳跃连接的多循环决策意图识别***的运行方法包括：

S1、根据预设的意图类别构建多组循环神经网络，利用预设的跳跃连接方式对所述多组循环神经网络进行特征补全，得到多组循环跳跃神经网络；

S2、将预设的多组意图分类器添加至所述多组循环跳跃神经网络中，得到多组循环分析流神经网络；

S3、获取目标用户的用户指令，将所述用户指令转换为指令向量，利用所述多组循环分析流神经网络对所述指令向量进行意图决策识别，得到意图标签概率；

S4、根据所述意图标签概率确定所述目标用户的目标意图，提取所述目标意图的反馈语义，通过所述反馈语义更新所述意图标签概率；

S5、根据更新后的意图标签概率确定所述目标用户的决策意图。

在本发明所提供的几个实施例中，应该理解到，所揭露的***和方法，可以通过其它的方式实现。例如，以上所描述的***实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围并不仅依据上述说明进行限定，因此旨在将落在保护范围内的等同要件的含义和范围内的所有变化涵括在本发明内。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。***权利要求中陈述的多个单元或***也可以由一个单元或***通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于跳跃连接的多循环决策意图识别***，其特征在于，所述***包括多组循环跳跃神经网络构建模块、多组循环分析流神经网络构建模块、意图决策识别模块、意图标签概率更新模块及决策意图确定模块，其中，

所述多组循环跳跃神经网络构建模块，用于根据预设的意图类别构建多组循环神经网络，利用预设的跳跃连接方式对所述多组循环神经网络进行特征补全，得到多组循环跳跃神经网络；

所述多组循环分析流神经网络构建模块，用于将预设的多组意图分类器添加至所述多组循环跳跃神经网络中，得到多组循环分析流神经网络；

所述意图决策识别模块，用于获取目标用户的用户指令，将所述用户指令转换为指令向量，利用所述多组循环分析流神经网络对所述指令向量进行意图决策识别，得到意图标签概率；

所述意图标签概率更新模块，用于根据所述意图标签概率确定所述目标用户的目标意图，提取所述目标意图的反馈语义，通过所述反馈语义更新所述意图标签概率，其中所述通过所述反馈语义更新所述意图标签概率时，具体用于：

对所述反馈语义进行语义量化，得到反馈量化值；

根据所述反馈量化值更新所述意图标签概率，其中所述意图标签概率计算公式为：其中，/>为第/>个意图标签的更新后的意图标签概率，/>为第/>个意图标签的目标意图概率，/>为第/>个意图标签的反馈量化值，/>为第一意图标签阈值，为第二意图标签阈值，/>为标签更新权重，/>为外部因素权重，/>为第/>个意图标签的目标更新意图概率，/>为外部因影响标签概率；

所述决策意图确定模块，用于根据更新后的意图标签概率确定所述目标用户的决策意图。

2.如权利要求1所述的基于跳跃连接的多循环决策意图识别***，其特征在于，所述多组循环跳跃神经网络构建模块在根据预设的意图类别构建多组循环神经网络时，具体用于：

根据预设的意图类别提取意图类别训练数据；

逐一根据预设的意图类别构建每个意图对应的独立循环神经网络模型；

利用所述意图类别训练数据对所述独立循环神经网络模型进行训练，得到意图识别循环神经网络；

将所有的意图识别循环神经网络进行并联，得到多组循环神经网络。

3.如权利要求1所述的基于跳跃连接的多循环决策意图识别***，其特征在于，所述多组循环跳跃神经网络构建模块在利用预设的跳跃连接方式对所述多组循环神经网络进行特征补全，得到多组循环跳跃神经网络时，具体用于：

根据预设的跳跃连接方式确定动态跳跃连接层；

在所述多组循环神经网络中确定所述动态跳跃连接层的跳跃连接位置；

按照所述跳跃连接位置将所述动态跳跃连接层添加至所述多组循环神经网络中，得到多组循环跳跃神经网络。

4.如权利要求1所述的基于跳跃连接的多循环决策意图识别***，其特征在于，所述多组循环分析流神经网络构建模块在将预设的多组意图分类器添加至所述多组循环跳跃神经网络中，得到多组循环分析流神经网络时，具体用于：

在所述多组循环跳跃神经网络的输出端添加预设的多组意图分类器，得到多组意图循环神经网络；

根据预设的意图训练数据对所述多组意图循环神经网络进行联合训练，得到多组意图循环跳跃神经网络；

利用如下预设的损失函数计算所述多组意图循环跳跃神经网络的损失值：其中，/>为所述损失值，/>为循环控制权重，/>为第/>个分类器的真实概率值，/>为第/>个分类器的评估概率值，/>为指数函数，/>为意图分类器的数量；

当所述损失值小于预设的损失阈值时，将所述多组意图循环跳跃神经网络作为所述多组循环分析流神经网络。

5.如权利要求1所述的基于跳跃连接的多循环决策意图识别***，其特征在于，所述意图决策识别模块在将所述用户指令转换为指令向量时，具体用于：

将所述用户指令进行格式转换，得到用户指令文本；

对所述用户指令文本进行文本增强处理，得到增强指令；

将所述增强指令进行词嵌入处理，得到指令词向量；

将所述指令词向量组合为所述用户指令对应的指令向量。

6.如权利要求1所述的基于跳跃连接的多循环决策意图识别***，其特征在于，所述意图决策识别模块在利用所述多组循环分析流神经网络对所述指令向量进行意图决策识别，得到意图标签概率时，具体用于：

利用所述多组循环分析流神经网络中的多组循环神经网络提取所述指令向量对应的指令特征；

根据所述多组循环分析流神经网络中的跳跃连接对所述指令特征进行特征补全，得到所述指令向量对应的全局层次指令特征；

利用所述多组循环分析流神经网络中的意图分类器计算所述全局层次指令特征对应的意图标签概率：其中，/>为第/>个意图分类器中第/>个意图标签的意图标签概率，/>为指数函数，/>为第/>个意图分类器中第/>个意图标签的意图标签值，/>为意图分类器的数量，/>为意图标签的数量。

7.如权利要求6所述的基于跳跃连接的多循环决策意图识别***，其特征在于，所述意图决策识别模块在根据所述多组循环分析流神经网络中的跳跃连接对所述指令特征进行特征补全，得到所述指令向量对应的全局层次指令特征时，具体用于：

提取所述指令向量对应的初始局部特征；

根据所述跳跃连接将所述初始局部特征与所述指令特征进行连接，得到局部层次指令特征；

根据所述局部层次指令特征及所述指令特征确定全局层次指令特征。

8.如权利要求1所述的基于跳跃连接的多循环决策意图识别***，其特征在于，所述意图标签概率更新模块在根据所述意图标签概率确定所述目标用户的目标意图时，具体用于：

根据所述意图标签概率生成标签概率分布；

根据所述标签概率分布计算每个意图标签的目标意图概率：其中，为第/>个意图标签的目标意图概率，/>为第/>个意图分类器中第/>个意图标签的意图标签概率，/>为意图分类器的数量，/>为意图标签的数量；

选取所述目标意图概率最大的意图标签作为所述目标用户的目标意图。

9.如权利要求1所述的基于跳跃连接的多循环决策意图识别***，其特征在于，所述决策意图确定模块在根据更新后的意图标签概率确定所述目标用户的决策意图时，具体用于：

根据更新后的意图标签概率生成标签更新概率分布；

根据所述标签更新概率分布计算每个意图标签的更新意图概率；

选取所述更新意图概率最大的意图标签作为目标用户的决策意图。

10.一种基于跳跃连接的多循环决策意图识别***的运行方法，其特征在于，用于实现如权利要求1-9中任一项所述的基于跳跃连接的多循环决策意图识别***，所述方法包括：

根据预设的意图类别构建多组循环神经网络，利用预设的跳跃连接方式对所述多组循环神经网络进行特征补全，得到多组循环跳跃神经网络；

将预设的多组意图分类器添加至所述多组循环跳跃神经网络中，得到多组循环分析流神经网络；

获取目标用户的用户指令，将所述用户指令转换为指令向量，利用所述多组循环分析流神经网络对所述指令向量进行意图决策识别，得到意图标签概率；

根据所述意图标签概率确定所述目标用户的目标意图，提取所述目标意图的反馈语义，通过所述反馈语义更新所述意图标签概率，其中所述通过所述反馈语义更新所述意图标签概率时，具体用于：

对所述反馈语义进行语义量化，得到反馈量化值；

根据所述反馈量化值更新所述意图标签概率，其中所述意图标签概率计算公式为：其中，/>为第/>个意图标签的更新后的意图标签概率，/>为第个意图标签的目标意图概率，/>为第/>个意图标签的反馈量化值，/>为第一意图标签阈值，/>为第二意图标签阈值，/>为标签更新权重，/>为外部因素权重，/>为第/>个意图标签的目标更新意图概率，/>为外部因影响标签概率；

根据更新后的意图标签概率确定所述目标用户的决策意图。