CN106022294A - 一种面向智能机器人的人机交互方法及装置 - Google Patents

Abstract

一种面向智能机器人的人机交互方法及装置，其中，该方法包括：图像解析步骤，对获取到的预设时长内的关于目标的图像序列进行解析，得到目标的行为信息；交互决策步骤，根据目标的行为信息进行主动交互决策，并根据决策结果生成主动交互指令；交互输出步骤，根据主动交互指令生成主动交互的多模态数据并输出。与现有基于视觉的人机交互方法相比，本方法实现了对目标行为的准确预测，并根据该行为预测结果实现了智能机器人与用户之间更加有效、更加个性化的交互，从而提高了智能机器人的用户体验以及用户粘度。

Description

一种面向智能机器人的人机交互方法及装置

技术领域

本发明涉及机器人技术领域，具体地说，涉及一种面向智能机器人的人机交互方法及装置。

背景技术

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。

现有的智能机器人在与用户进行人机交互的过程中，只能被动地对用户输入的交互信息进行应答，这也就使得整个交互过程单调、不够顺畅，从而影响了智能机器人的用户体验。

发明内容

为解决上述问题，本发明提供了一种面向智能机器人的人机交互方法，其包括：

图像解析步骤，对获取到的预设时长内的关于目标的图像序列进行解析，得到所述目标的行为信息；

交互决策步骤，根据所述目标的行为信息进行主动交互决策，并根据决策结果生成主动交互指令；

交互输出步骤，根据所述主动交互指令生成主动交互的多模态数据并输出。

根据本发明的一个实施例，所述图像解析步骤包括：

对获取到的所述预设时长内的图像序列进行解析，得到所述图像序列的特征向量序列；

利用预设神经网络对所述特征向量序列进行分析，得到所述目标的行为信息。

根据本发明的一个实施例，利用循环神经网络来对所述特征向量序列进行分析，以得到所述目标的行为信息。

根据本发明的一个实施例，所述目标的行为信息包括目标的当前行为和/或目标的行为趋势。

根据本发明的一个实施例，在所述图像解析步骤中，利用目标日常行为模式对所述目标的图像序列进行图像序列解析，得到所述目标的行为趋势，其中，所述目标日常行为模式是利用采集到的目标日常行为数据训练得到的；

在所述交互决策步骤中，判断所述目标的当前行为与所述行为趋势是否匹配，如果不匹配，则生成相应的主动交互指令，以对所述目标的行为进行提示或纠正。

本发明还提供了一种面向智能机器人的人机交互装置，其包括：

图像解析模块，其用于对获取到的预设时长内的关于目标的图像序列进行解析，得到所述目标的行为信息；

交互决策模块，其用于根据所述目标的行为信息进行主动交互决策，并根据决策结果生成主动交互指令；

交互输出模块，其用于根据所述主动交互指令生成主动交互的多模态数据并输出。

根据本发明的一个实施例，所述图像解析模块配置为首先对获取到的所述预设时长内的图像序列进行解析，得到所述图像序列的特征向量序列，随后利用预设神经网络对所述特征向量序列进行分析，得到所述目标的行为信息。

根据本发明的一个实施例，所述图像解析模块配置为利用循环神经网络来对所述特征向量序列进行分析，以得到所述目标的行为信息。

根据本发明的一个实施例，所述目标的行为信息包括目标的当前行为和/或目标的行为趋势。

根据本发明的一个实施例，所述图像解析模块配置为利用目标日常行为模式对所述目标的图像序列进行图像序列解析，得到所述目标的行为趋势，其中，所述目标日常行为模式是利用采集到的目标日常行为数据训练得到的；

所述交互决策模块配置为判断所述目标的当前行为与所述行为趋势是否匹配，如果不匹配，则生成相应的主动交互指令，以对所述目标的行为进行提示或纠正。

由于在大部分情况下，人类的行为或者其他物体的行为都是通过一系列的动作来完成的，只通过其中一个动作显然无法准确、清楚地了解人类或物体的相关行为。本发明所提供的方法基于捕捉到的图像序列来分析出图像中用户行为信息或者物体行为信息，并根据分析结果进行相应的主动交互。

同时，该方法利用循环神经网络来对图像序列的特征向量序列进行分析来得到目标的行为信息，与现有的采用前馈神经网络的方法相比，本方法能够更加准确地对目标的行为分析和预测，这有助于后续更加合理地与用户进行主动交互，从而提高了智能机器人的用户体验以及用户粘性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：

图1是根据本发明一个实施例的面向智能机器人的人机交互方法的流程图；

图2是根据本发明一个实施例的生成目标的行为信息的流程图；

图3是根据本发明一个实施例的循环神经网络的结构示意图；

图4是根据本发明一个实施例的基于循环神经网络的目标行为预测的结构示意图；

图5是根据本发明另一个实施例的面向智能机器人的人机交互方法的流程图；

图6是根据本发明一个实施例的面向智能机器人的人机交互装置的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本发明实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本发明可以不用这里的具体细节或者所描述的特定方式来实施。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

视觉机器人将视觉处理与机器人技术相结合，使得机器人具有了与周围环境相交互的能力，加强了机器人在抓取、搬运、跟踪、装配以及危险环境作业等领域的应用。

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。

基于机器视觉的人机交互是一种重要的人机交互方式，现有的基于机器视觉的人机交互方式往往只应用于对用户的表情或身份的识别，这种交互方式已无法满足人们对人机交互日益提高的要求。

针对现有人机交互方法所存在的问题，本发明提供了一种新的面向智能机器人的人机交互方法。为了更加清楚地阐述本发明所提供的方法的实现原理以及实现过程，以下分别结合不同的实施例来对该方法进行进一步的阐述。

实施例一：

图1示出了本实施例所提供的面向智能机器人的人机交互方法的流程图。

如图1所示，本实施例中，该方法首先在步骤S101中获取目标的图像，从而得到图像序列。具体地，本实施例中，该方法优选地通过智能机器人所配置的摄像头来进行图像获取。当智能机器人处于开机状态时，该方法通过摄像头持续进行图像捕捉，从而得到目标的图像序列。

需要指出的是，本实施例中，优选地，即使智能机器人处于开机状态但未被唤醒，本方法仍能够通过例如摄像头等图像获取设备来持续进行图像捕捉。当然，在本发明的其他实施例中，该方法还可以采用其他合理的方式来获取目标的图像序列，本发明不限于此。

同时，还需要指出的是，在本发明的不同实施例中，上述目标即可以指代用户，也可以指代其它移动物体，本发明同样不限于此。

在得到目标的图像序列后，该方法在步骤S102中对预设时长内的图像序列进行解析，从而得到目标的行为信息。

例如，如图2所示，本实施例中，在对预设时长内的图像序列进行解析时，该方法优选地首先在步骤S201中对预设时长内的图像序列进行解析，得到该图像序列的特征向量序列。

具体地，该方法通过对预设时长内的各个图像进行特征点提取，从而得到各个图像的特征向量。对应于各个图像在图像序列中的顺序，通过整合所得到的各个图像的特征向量，便可以得到该图像序列所对应的特征向量序列。

需要说明的是，在本发明的不同实施例中，如何选取图像的特征点以及特征点的具体提取过程可以根据实际需要采用不同的方案来实现，这对于本领域技术人员来说并不需要付出创造性的劳动，故在此不对如何提取上述特征向量序列的具体过程进行赘述。

同时，还需要指出的是，在本发明的不同实施例中，根据不同的实际需要，上述预设时长的具体取值(即对应于所分析图像序列中所包含的图像的数量)可以配置为不同的合理值，本发明不限于此。

如图2所示，当得到图像序列所对应的特征向量序列后，该方法在步骤S202中利用预设神经网络来对该特征向量序列进行分析，从而得到目标的行为信息。

对于传统的人工神经网络来说，从输入层到隐含层再到输出层，层与层之间是全连接的，而各层中各个节点是无连接的。因此，传统的神经网络对于人机交互中的很多数据处理情况无能为力。例如，对于用户输入的一段语句，当需要预测句子的下一个单词是什么时，由于一个句子中前后单词并不是孤立的，因此通常需要结合句子前面的单词来进行预测。而传统的人工神经网络则无法实现这种单词预测功能。

针对上述情况，本方法在步骤S202中优选地采用循环神经网络(RNN)来对特征向量序列进行分析来得到目标的行为信息。

循环神经网络建立在与传统的前馈神经网络相同的计算单元上，但组成这些神经元相互连接的架构有所不同。正如前面内容所阐述的那样，前馈神经网络是建立在层面之上，其中信息从输入层向输出层单向流动，在这些连通模式中不存在不定向的循环。而循环神经网络无需在层面之间构建，同时在其连通模式中存在有不定向循环。事实上，对于循环神经网络来说，其神经元在实际中是允许彼此相连的。

RNNs之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为该神经网络会对前面的信息进行记忆并应用于当前输出的计算中，即如图3所示，隐藏层之间的节点不再是无连接的，而是有连接的。并且，隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。理论上，RNNs能够对任何长度的序列数据进行处理。

本实施例所提供的方法在利用循环神经网络对特征向量进行分析时，采用了如图4所示的神经网络结构，其中，这个神经网络(401)主要用于对捕捉的图像序列进行解析以达到理解目标行为的目的，并把该图像序列编码成一个向量，该向量便是目标行为的解析表示；随后把这个向量输入到分类器(402)，预测目标行为，对于本实施例来说，即生成目标的行为信息。

需要指出的是，在本发明的其他实施例中，该方法所使用的循环神经网络的个数还可以为其他合理值，同时多个循环神经万络之间的连接结构还可以为其他合理结构，本发明不限于此。

此外，还需要指出的是，在本发明的不同实施例中，根据不同的需要，该方法在步骤S102中所得到的目标的行为信息既可以目标的当前行为，也可以是目标的行为趋势，本发明同样不限于此。

再次如图1所示，当得到目标的行为信息后，该方法在步骤S103中根据目标的行为信息进行主动交互决策，并根据决策结果生成主动交互指令。最后，在步骤S104中，该方法便可以根据步骤S103中所生成的主动交互指令生成主动交互的多模态数据并进行输出。

由于在大部分情况下，人类的行为或者其他物体的行为都是通过一系列的动作来完成的，只通过其中一个动作显然无法准确、清楚地了解人类或物体的相关行为。本实施例所提供的方法基于捕捉到的图像序列来分析出图像中用户行为信息或者物体行为信息，并根据分析结果进行相应的主动交互。

同时，该方法利用循环神经网络来对图像序列的特征向量序列进行分析来得到目标的行为信息，与现有的采用前馈神经网络的方法相比，本方法能够更加准确地对目标的行为分析和预测，这有助于后续更加合理地与用户进行主动交互，从而提高了智能机器人的用户体验以及用户粘性。

实施例二：

图5示出了本实施例所提供的面向智能机器人的人机交互方法的流程图。

如图5所示，本实施例所提供的方法首先在步骤S501中获取目标的图像，得到目标的图像序列。具体地，该方法获取目标的图像序列的实现原理与实现过程与实施例一中步骤S101所涉及的内容类似，故在此不再赘述。

当得到目标的图像序列后，本方法在步骤S502中利用目标日常行为模式对步骤S501中所得到的图像序列进行解析，从而得到目标的行为趋势。具体地，本实施例中所使用的目标日常行为模式是利用采集到的目标日常行为数据训练得到。

本实施例中，利用目标日常行为模式，可以根据步骤S501中所获取到的目标的图像序列来得到目标的行为趋势，即将目标的图像序列作为输入，利用目标日常行为模式即可得到作为输出的目标的行为趋势。其中，目标日常行为模式优选地可以通过循环神经网络进行构建。需要指出的是，本实施例中，该方法采用循环神经网络预测图像序列得到目标的行为趋势。

如图5所示，当得到目标的行为趋势后，该方法在步骤S503中判断目标的当前行为与步骤S503中得到的行为趋势是否匹配。如果匹配，则表明目标当前的行为与其日常行为习惯相符，因此该方法步进行额外操作；而如果不匹配，则表明目标当前的行为与其日常行为习惯不相符，因此此时该方法将在步骤S504中生成相应的主动交互指令，并在步骤S505中根据该主动交互指令生成主动交互的多模态数据并输出。

例如，对于某个用户，该用户早晨的日常行为习惯是“起床-穿衣-洗涮-吃饭”，通过捕捉该用户的图像序列，该方法在捕捉到该用户的“穿衣”动作后，利用针对于该用户的用于行为模式可以预测出该用户下一步的动作通常是“洗涮”，然而该方法实际捕捉到的用户所做的动作是“吃饭”。此时该方法也就可以在步骤S503中判断出此时目标的当前行为(即“吃饭”)与其行为趋势(即“洗涮”)不匹配，因此该方法将生成相应的主动交互指令，并最终输出诸如“哎呀，你是不是忘了洗涮了啊”的语音提示。

当然，根据应用场景的不同，该方法所输出的数据还可以通过其他一种或多种形式来呈现(例如图像和/或动作等)，本发明不限于此。

从上述描述中可以看出，本实施例所提供的方法能够利用目标行为模式来根据所获取到的目标的图像序列对目标的行为进行预测，并在目标的实际行为与预测结果不相符时对用户进行提示。与现有基于视觉的人机交互方法相比，本方法实现了对目标行为的准确预测，并根据该行为预测结果实现了智能机器人与用户之间更加有效、更加个性化的交互，从而提高了智能机器人的用户体验以及用户粘度。

本发明还提供了一种面向智能机器人的人机交互装置，图6示出了本实施例中该装置的结构示意图。

如图6所示，本实施例所提供的人机交互装置优选地包括：图像解析模块601、交互决策模块602以及交互输出模块603。其中，图像解析模块601用于对获取到的预设时长内的关于目标的图像序列进行解析，从而得到目标的行为信息。

具体地，本实施例中，图像解析模块601优选地通过通过智能机器人所配置的摄像头来进行图像获取。当智能机器人处于开机状态时，图像解析模块601通过摄像头持续进行图像捕捉，从而得到目标的图像序列。

在得到目标的图像序列后，图像解析模块601将对预设时长内的图像序列进行解析，从而得到目标的行为信息。具体地，本实施例中，图像解析模块601在对预设时长内的图像序列进行解析时，其优选地首先对预设时长内的图像序列进行解析，得到该图像序列的特征向量序列；随后利用预设神经网络对该特征向量序列进行分析，从而得到目标的行为信息。

具体地，本实施例中，图像解析模块601对图像序列进行解析以得到目标的行为信息的具体过程与上述实施例一中图2所涉及的内容类似，故在此不再对该过程进行赘述。

当得到目标的行为信息后，图像解析模块601会将该行为信息传输给交互决策模块602，以由交互决策模块602根据目标的行为信息进行主动交互决策，并根据决策结果生成主动交互指令。

本实施例中，交互决策模块602会将生成的主动交互指令传输给交互输出模块603，交互输出模块603会根据该主动交互指令生成主动交互的多模态数据并进行输出。

具体地，交互决策模块602优选地判断目标的当前行为与图像解析模块601传输来的目标的行为趋势是否匹配。如果匹配，则表明目标当前的行为与其日常行为习惯相符，因此该装置也就不需要进行额外操作；而如果不匹配，则表明目标当前的行为与其日常行为习惯不相符，因此此时交互决策模块602将生成相应的主动交互指令，并将该主动交互指令传输给交互输出模块603，以由交互输出模块603根据该主动交互指令生成主动交互的多模态数据并输出。

需要指出的是，在本发明的不同实施例中，根据实际需要，交互输出模块603可以采用不同的结构或设备来实现，本发明不限于此。例如，在本发明的一个实施例中，交互输出模块603可以采用显示屏、机械手臂以及音频输出装置等来实现。

与现有基于视觉的人机交互装置相比，本装置实现了对目标行为的准确预测，并根据该行为预测结果实现了智能机器人与用户之间更加有效、更加个性化的交互，从而提高了智能机器人的用户体验以及用户粘度。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构或处理步骤，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然上述示例用于说明本发明在一个或多个应用中的原理，但对于本领域的技术人员来说，在不背离本发明的原理和思想的情况下，明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此，本发明由所附的权利要求书来限定。

Claims (10)

1.一种面向智能机器人的人机交互方法，其特征在于，包括：

图像解析步骤，对获取到的预设时长内的关于目标的图像序列进行解析，得到所述目标的行为信息；

交互决策步骤，根据所述目标的行为信息进行主动交互决策，并根据决策结果生成主动交互指令；

交互输出步骤，根据所述主动交互指令生成主动交互的多模态数据并输出。

2.根据权利要求1所述的方法，其特征在于，所述图像解析步骤包括：

对获取到的所述预设时长内的图像序列进行解析，得到所述图像序列的特征向量序列；

利用预设神经网络对所述特征向量序列进行分析，得到所述目标的行为信息。

3.根据权利要求2所述的方法，其特征在于，利用循环神经网络来对所述特征向量序列进行分析，以得到所述目标的行为信息。

4.根据权利要求1～3中任一项所述的方法，其特征在于，所述目标的行为信息包括目标的当前行为和/或目标的行为趋势。

5.根据权利要求1所述的方法，其特征在于，在所述图像解析步骤中，利用目标日常行为模式对所述目标的图像序列进行图像序列解析，得到所述目标的行为趋势，其中，所述目标日常行为模式是利用采集到的目标日常行为数据训练得到的；

在所述交互决策步骤中，判断所述目标的当前行为与所述行为趋势是否匹配，如果不匹配，则生成相应的主动交互指令，以对所述目标的行为进行提示或纠正。

6.一种面向智能机器人的人机交互装置，其特征在于，包括：

图像解析模块，其用于对获取到的预设时长内的关于目标的图像序列进行解析，得到所述目标的行为信息；

交互决策模块，其用于根据所述目标的行为信息进行主动交互决策，并根据决策结果生成主动交互指令；

交互输出模块，其用于根据所述主动交互指令生成主动交互的多模态数据并输出。

7.根据权利要求6所述的装置，其特征在于，所述图像解析模块配置为首先对获取到的所述预设时长内的图像序列进行解析，得到所述图像序列的特征向量序列，随后利用预设神经网络对所述特征向量序列进行分析，得到所述目标的行为信息。

8.根据权利要求7所述的装置，其特征在于，所述图像解析模块配置为利用循环神经网络来对所述特征向量序列进行分析，以得到所述目标的行为信息。

9.根据权利要求6～8中任一项所述的装置，其特征在于，所述目标的行为信息包括目标的当前行为和/或目标的行为趋势。

10.根据权利要求6所述的装置，其特征在于，所述图像解析模块配置为利用目标日常行为模式对所述目标的图像序列进行图像序列解析，得到所述目标的行为趋势，其中，所述目标日常行为模式是利用采集到的目标日常行为数据训练得到的；

所述交互决策模块配置为判断所述目标的当前行为与所述行为趋势是否匹配，如果不匹配，则生成相应的主动交互指令，以对所述目标的行为进行提示或纠正。