CN105740948B - 一种面向智能机器人的交互方法及装置 - Google Patents

Abstract

一种面向智能机器人的交互方法及装置，该方法包括：应答状态确定步骤，根据获取到用户输入的多模态应答信息判断用户是否对当前交互话题作出回答，得到用户的应答状态；交互处理步骤，根据应答状态，生成相应的控制信号来控制智能机器人产生相应的多模态输出信号。该方法能够在人机交互过程中用户未做回答的情况下，主动结合交互上下文、交互场景以及用户的表情和动作，做出更加合理以及人性化的表达，从而提高了用户体验。

Description

一种面向智能机器人的交互方法及装置

技术领域

本发明涉及人机交互技术领域，具体地说，涉及一种面向智能机器人的交互方法及装置。

背景技术

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人。

发明内容

为解决上述问题，本发明提供了一种面向智能机器人的交互方法，所述方法包括：

应答状态确定步骤，根据获取到的用户输入的多模态应答信息判断用户是否对当前交互话题作出回答，得到用户的应答状态；

交互处理步骤，根据所述应答状态，生成相应的控制信号来控制所述智能机器人产生相应的多模态输出信号。

根据本发明的一个实施例，在所述应答状态确定步骤中，

判断在预设时长内所述用户是否对所述当前交互话题进行了回答，如未进行回答，则判定所述用户的应答状态为未做应答。

根据本发明的一个实施例，在所述交互处理步骤中，如所述用户的应答状态为未做应答，则根据在所述预设时长内所获取到的用户信息确定所述用户的行为状态，并根据所述行为状态生成相应的控制信号来控制所述智能机器人产生相应的多模态输出信号。

根据本发明的一个实施例，所述用户信息包括用户图像信息，在所述交互处理步骤中，根据所述用户图像信息确定用户是否远离所述智能机器人，如远离，则将所述智能机器人的工作状态切换为休眠状态或控制所述智能机器人输出预设唤回信息。

根据本发明的一个实施例，在所述交互处理步骤中，根据所述用户图像信息确定所述用户关于所述当前交互话题的第一情感信息，其中，当所述用户未远离所述智能机器人时，根据所述第一情感信息控制所述智能机器人进行二次回答或引导用户进行交互。

根据本发明的一个实施例，所述用户信息还包括用户动作信息，在所述交互处理步骤中，还根据所述用户动作信息确定所述用户关于所述当前交互话题的第二情感信息。

本发明还提供了一种面向智能机器人的交互装置，所述装置包括：

应答状态确定模块，用于根据获取到的用户输入的的交互应答信息判断用户是否对当前交互话题作出回答，得到用户的应答状态；

交互处理模块，用于根据所述应答状态，生成相应的控制信号来控制所述智能机器人产生相应的多模态输出信号。

根据本发明的一个实施例，所述应答状态确定模块配置为判断在预设时长内所述用户是否对所述当前交互话题进行了回答，如未进行回答，则判定所述用户的应答状态为未做应答。

根据本发明的一个实施例，如所述用户的应答状态为未做应答，所述交互处理模块配置为根据在所述预设时长内所获取到的用户信息确定所述用户的行为状态，并根据所述行为状态生成相应的控制信号来控制所述智能机器人产生相应的多模态输出信号。

根据本发明的一个实施例，所述用户信息包括用户图像信息，所述交互处理模块配置为根据所述用户图像信息确定用户是否远离所述智能机器人，如远离，则将所述智能机器人的工作状态切换为休眠状态或控制所述智能机器人输出预设唤回信息。

根据本发明的一个实施例，所述交互处理模块还配置为根据所述用户图像信息确定所述用户关于所述当前交互话题的第一情感信息，其中，当所述用户未远离所述智能机器人时，根据所述第一情感信息控制所述智能机器人进行二次回答或引导用户进行交互。

根据本发明的一个实施例，所述用户信息还包括用户动作信息，所述交互处理模块配置为还根据所述用户动作信息确定所述用户关于所述当前交互话题的第二情感信息。

本发明所提供的方法及装置能够在人机交互过程中用户未做回答的情况下，主动结合交互上下文、交互场景以及用户的表情和动作，做出更加合理以及人性化的表达，从而提高了用户体验。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：

图1是根据本发明一个实施例的面向智能机器人的交互方法的流程图；

图2是根据本发明一个实施例的确定用户应答状态的流程图；

图3是根据本发明一个实施例的交互方法在用户对当前交互话题未做应答时的操作流程；

图4是根据本发明一个实施例的交互方法在用户对当前交互话题未做应答时的操作流程；

图5是根据本发明一个实施例的交互方法在用户对当前交互话题未做应答时的操作流程；

图6是根据本发明一个实施例的交互方法在用户对当前交互话题未做应答时的操作流程；

图7是根据本发明一个实施例的面向智能机器人的交互装置的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本发明实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本发明可以不用这里的具体细节或者所描述的特定方式来实施。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明提供了一种新的面向智能机器人的交互方法，图1示出了该方法的流程图。

如图1所示，本方法首先在步骤S101中获取用户输入的多模态应答信息。需要指出的是，本发明所提供的方法能够通过智能机器人的相关设备获取多种类型的应答信息。具体的，在步骤S101中所获取到的应答信息可以是语音、图像和动作等信息中的任一项或几项的组合，本发明不限于此。

当获取到用户输入的多模态应答信息后，该方法在步骤S102中根据所获取到的多模态应答信息来判断用户是否对当前交互话题做出回答，从而得到用户的应答状态。

本实施例所提供的方法在步骤S102中优选地通过超时判断的方式来确定用户的应答状态，图2示出了确定用户应答状态的流程图。

如图2所示，本实施例中，在步骤S201中获取用户输入的多模态应答信息，并在步骤S202中根据所获取的多模态应答信息判断该多模态应答信息中是否包含预设应答信息。

需要指出的是，本实施例中，由于步骤S201的实现原理以及实现过程与上述步骤S101的实现原理以及实现过程相同，因此为了描述的简便，在此不再赘述。

如果在步骤S202中判断出所获取的多模态应答信息中包含预设应答信息，则表示用户对当前交互话题作出了应答，因此此时该方法便控制机器人进行正常对话。

而如果在步骤S202中判断出所获取的多模态应答信息中没有包含预设应答信息，那么则表示用户尚未对当前交互话题做出应答。而为了避免因用户反馈较慢而对判断结果造成的干扰，本实施例所提供的方法采用了延时判断的方式，即判断在预设时长内所接收到的多模态应答信息中是否包含预设应答信息。

具体地，如图2所示，当在步骤S202中判断出所获取的多模态应答信息中没有包含预设应答信息后，本实施例所提供的方法在步骤S203中进一步判断是否达到预设时长。如果没有达到预设时长，那么则返回步骤S201以继续获取用户输入的多模态应答信息；而如果达到了预设时长，那么则表示用于在预设时长内均没有对当前交互话题做出应答，因此该方法也就可以在步骤S204中判定用户的应答状态为未作应答。

需要指出的是，在本发明的不同实施例中，上述预设时长可以根据不同的实际需要设置为不同的合理值(例如5秒至10秒等)，本发明不限于此。

再次如图1所示，当在步骤S102中得到了用户的应答状态后，该方法将在步骤S103中根据用户的应答状态生成相应的控制信号来控制智能机器人产生相应的多模态输出信号。

本实施例中，智能机器人能够产生的多模态输出信号优选地包括：语音信号、动作信号以及图像信号等。需要指出的是，在本发明的其他实施例中，根据实际需要，智能机器人所能够产生的多模态输出信号既可以仅包含以上所列信号中的某一种或某几种信号，也可以包含其他未列出的合理信号，以及以上所列信号中的某一种或某几种信号与其他合理信号的组合等，本发明同样不限于此。

具体地，本实施例中，如果用户的应答状态为对当前交互话题进行了回答，那么该方法控制智能机器人进行正常交互。例如如果当前交互话题为“天气”，而用户输入了应答信息“今天天气真好”，此时该方法可以控制智能机器人输出“那就出去走走吧，不能辜负了真么好的天气啊”，以此来实现用户与智能机器人之间的人性化交互。

而如果用户的应答状态为未做应答，那么则根据在上述预设时长内所获取到的用户信息确定用户的行为状态，并根据用户的行为状态生成相应的控制信号来控制智能机器人产生相应的多模态输出信号。

为了更加清楚地阐述本实施例所提供的面向智能机器人的交互方法的原理、实现过程以及优点，以下结合不同的实施例来对用户未做应答时该方法的操作流程进行进一步地说明。

实施例一：

图3示出了本实施例所提供的面向智能机器人的交互方法在用户对当前交互话题未做应答时的操作流程。

如图3所示，本实施例中，当判断出用户未对当前交互话题做出应答时，该方法在步骤S301中获取用户图像信息。具体地，本实施例中，该方法获取用户图像信息优选地是通过配置在智能机器人中的摄像头来实现的。当然，在本发明的其他实施例中，该方法还可以通过其他合理方式来获取用户图像，本发明不限于此。

当获取到用户图像后，该方法在步骤S302中通过对用户图像进行分析来判断用户是否远离该智能机器人。具体地，本实施例所提供的方法首先分别对获取到的多帧图像进行人脸识别，从而定位出人脸在图像中的位置，随后通过对多帧图像中人脸位置的对比，以此判断出用户是否离开智能机器人。

需要指出的是，在本发明的其他实施例中，该方法还可以其他合理方式来判断用户是否远离智能机器人，本发明不限于此。例如在本发明的一个实施例中，该方法还可以仅选取预设时长内的最后一帧图像，并通过第该最后一帧图像进行分析来判断该帧图像中是否包含用户的体貌信息，如果该帧图像中没有包含用户的体貌信息或用户的体貌信息所占比例过小，那么则表示用户已离开智能机器人。

需要指出的是，本发明所涉及的用户远离智能机器人既可以表示获取到的用于图像信息中不包含用户信息，也可以表示由于用户距离智能机器人过远而导致获取到的用户图像信息中所包含的用于用户信息过少，本发明不限于此。

在步骤S302中，如果根据获取到的用户图像信息判断出用户远离了智能机器人，那么该方法则在步骤S303中将智能机器人的工作状态切换为休眠状态，以降低智能机器人的功耗。

需要指出的是，在本发明的其他实施例中，如果根据获取到的用户图像信息判断出用户远离了智能机器人，该方法在步骤S303中还可以进行其他合理的动作，本发明不限于此。例如在本发明的一个实施例中，根据实际应用功能场景，当期望智能机器人表现得更加积极或是活泼时，该方法还可以在步骤S303中产生相应的控制信号来控制智能机器人输出预设唤回信息，以最大限度地使得用户与智能机器人之间的人机交互得以继续。

例如，当判断出用户远离智能机器人后，该方法在步骤S303中可以控制智能机器人输出诸如“别走，不要不理我”之类的语音信息，以使得用户重新走近智能机器人来实现后续的人机交互。

如图3所示，如果在步骤S302根据获取到的用户图像信息判断出用户未远离智能机器人，该方法则在步骤S304中产生相应的控制信号以控制智能机器人进行二次回答或引导用户进行交互。

例如，当检测到用户在预设时长内均未对当前交互话题做出回答，同时用户也未远离智能机器人，那么该方法则在步骤S304中重新将前一次的回答信息输出一遍，以防止由于用户未听清或未听到前一次的回答信息而未做出相关反馈的情况。

实施例二：

图4示出了本实施例所提供的面向智能机器人的交互方法在用户对当前交互话题未做应答时的操作流程。

如图4所示，本实施例中，当判断出用户未对当前交互话题做出应答时，该方法在步骤S301中获取用户图像信息，随后在步骤S402中通过对用户图像进行分析来判断用户是否远离该智能机器人。如果根据获取到的用户图像信息判断出用户远离了智能机器人，那么该方法则在步骤S403中将智能机器人的工作状态切换为休眠状态或控制智能机器人输出预设唤回信息。

需要指出的是，本实施例所提供的方法中步骤S401至步骤S403与上述实施例中所提供的方法中步骤S301至步骤S303的实现原理以及实现过程相同，因此在此不再赘述。

本实施例总，如果在步骤S403根据获取到的用户图像信息判断出用户未远离智能机器人，该方法则在步骤S404中根据步骤S401中所获取到的用户图像信息获取用户的第一情感信息，并在步骤S405中根据用户的第一情感信息来产生相应的控制信号以控制智能机器人进行二次回答或引导用户进行交互。

本实施例中，在步骤S404中优选地对用户图像信息进行表情识别，从而得到用户的表情类型(即用户的第一情感信息)。其中，该方法在步骤S404中能识别的用户表情类型优选地包括：高兴、愤怒、悲伤、害怕以及中性等类型。当然，在本发明的其他实施例中，该方法在步骤S404中所能够识别出的表情类型还可以包含其他合理类型，本发明不限于此。

从上述描述中可以看出，相较于实施例一所提供的方法，本实施例所提供的方法还能够根据用户的情感状态来控制智能机器人进行响应，这样也就使得智能机器人表现得更加人性化。

例如，如果在步骤S404中识别出用户的当前表情为“害怕”，那么这显然说明用户不希望继续进行当前交互话题，因此该方法也就可以在步骤S405中主动停止当前交互话题并转为其他话题(例如输出诸如“哈哈，那是骗你的，别害怕了”等语音信息，或输出诸如“抚摸用户头部”等动作信息，抑或是同时输出语音信息和动作信息)，从而避免用户继续处于非正面的情绪中。

实施例三：

图5示出了本实施例所提供的面向智能机器人的交互方法在用户对当前交互话题未做应答时的操作流程。

如图5所示，本实施例中，当判断出用户未对当前交互话题做出应答时，该方法在步骤S501中获取用户动作信息，随后在步骤S502中根据所获取到的用户的动作信息生成相应的控制信号来控制智能机器人产生相应的多模态输出信息。

具体地，本实施例中，该方法在步骤S501中优选地通过配置在智能机器人中的传感器来获取用户动作信息。其中，步骤S501中所涉及的传感器包括安装在机器人壳体的不同位置处的压力传感器、红外传感器以及体感传感器等，以获取用户的不同动作。当然在本发明的其他实施例中，步骤S501中所涉及的传感器还可以包含其他合理类型的传感器，本发明不限于此。

在步骤S501中，该方法根据智能机器人的不同传感器的坐标以及传感器信号，可以识别出“轻拍”、“重拍”、“抚摸”以及“挥手”等动作及其组合。而在步骤S502中，根据步骤S501中所识别出的用户动作信息可以更加准确、合理地对智能机器人进行控制，从而使得智能机器人更加人性化。

例如如果该方法判断出用户在预设时长内未对当前交互话题做出回答，并且在步骤S501中识别出用户在机器人的头部做出“重拍”动作时，该方法可以在步骤S502中控制智能机器人不再继续当前交互话题或控制智能机器人主动远离用户，以避免用户继续保持对智能机器人处于近似“愤怒”的情绪中。

实施例四：

图6示出了本实施例所提供的面向智能机器人的交互方法在用户对当前交互话题未做应答时的操作流程。

如图6所示，本实施例中，当判断出用户未对当前交互话题做出应答时，该方法在步骤S601中获取用户动作信息，随后在步骤S602中根据用户动作信息获取用户的第二情感信息，并在步骤S603中根据用户的第二情感信息以及当前交互话题生成相应的控制信号来控制智能机器人产生相应的多模态输出信号。

需要指出的是，由于本实施例所提供的方法中步骤S601的实现原理以及实现过程与实施例三中所提供的方法中步骤S501的实现原理以及实现过程相同，故在此不再赘述。

本实施例中，预先定义有用户动作与用户情感信息的映射关系，因此在步骤S602中也就可以根据用户用作信息获取到用户对当前交互话题的第二情感信息。本实施例中，该方法在步骤S602中能识别的用户情感信息优选地包括：高兴、愤怒、悲伤、害怕以及中性等类型。在步骤S603中，该方法也就根据用户的第二情感信息以及当前交互话题更加准确地控制智能机器人产生相应的多模态输出信号。

例如，如果当前交互话题为“讲故事”，并且智能机器人输出了语音信息“我给你讲个恐怖故事”，而如果在步骤S601中根据用户动作信息判断出用户的第二情感信息为“害怕”，那么显然此时用户不希望问答***将恐怖故事讲出，而该方法则可以将用户的这种期望有效地识别出来，从而在步骤S603中输出诸如“好吧，看来你不想听，那我讲个笑话吧”等多模态输出信息。

需要指出的是，在本发明的其他实施例中，上述实施例中的技术特征可以进行合理组合，以获取更优秀的技术效果，本发明不限于此。例如在本发明的一个实施例中，该方法还可以同时获取用户图像信息和用户动作信息，以更加准确地控制智能机器人进行响应。

本发明还提供了一种新的面向智能机器人的交互装置，图7示出了该装置的结构示意图。

如图7所示，该装置包括应答状态确定模块701和交互处理模块702。其中，应答状态确定模块701用根据获取到的多模态应答信息判断用户是否对当前交互话题作出回答，从而得到用户的应答状态。

需要指出的是，本发明所提供的装置通过能够通过智能机器人的相关设备获取多种类型的应答信息。具体的，应答状态确定模块701所获取到的应答信息可以是语音、图像和动作等信息中的任一项或几项的组合，本发明不限于此。

本实施例中，应答状态确定模块701优选地通过超时判断的方式来确定用户的应答状态，其实现原理以及实现过程如上述图2所示，在此不再赘述。

当得到用户的应答状态后，应答状态确定模块701会将用户的应答状态传输给交互处理模块702，以由交互处理模块702根据用户的应答状态，生成相应的控制信号来控制所述智能机器人产生相应的多模态输出信号

本实施例中，智能机器人能够产生的多模态输出信号优选地包括：语音信号、动作信号以及图像信号等。需要指出的是，在本发明的其他实施例中，根据实际需要，智能机器人所能够产生的多模态输出信号既可以仅包含以上所列信号中的某一种或某几种信号，也可以包含其他未列出的合理信号，以及以上所列信号中的某一种或某几种信号与其他合理信号的组合等，本发明同样不限于此。

具体地，本实施例中，如果用户的应答状态为对当前交互话题进行了回答，那么交互处理模块702则控制智能机器人进行正常交互。而如果用户的应答状态为未做应答，那么交互处理模块702则根据在预设时长内所获取到的用户信息确定用户的行为状态，并根据用户的行为状态生成相应的控制信号来控制智能机器人产生相应的多模态输出信号。

本实施例中，如果用户的应答状态为未做应答，交互处理模块702进行的操作与上述图2至图6所示的内容相同，故在此不再赘述。

从上述描述中可以看出，本发明所提供的装置能够在人机交互过程中用户未做回答的情况下，主动结合交互上下文、交互场景以及用户的表情和动作，做出更加合理以及人性化的表达，从而提高了用户体验。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定处理步骤，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然上述示例用于说明本发明在一个或多个应用中的原理，但对于本领域的技术人员来说，在不背离本发明的原理和思想的情况下，明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此，本发明由所附的权利要求书来限定。

Claims (8)

1.一种面向智能机器人的交互方法，其特征在于，所述方法包括：

应答状态确定步骤，在人机交互过程中，根据获取到的用户输入的多模态应答信息判断用户是否对当前交互话题作出回答，得到用户的应答状态；

交互处理步骤，如所述用户的应答状态为对当前交互话题进行了回答，则控制所述智能机器人进行话题交互；如所述用户的应答状态为未做应答，则根据在预设时长内所获取到的用户信息确定所述用户的与机器人的远近状态、表情状态和/或动作状态，并根据这些状态生成相应的控制信号来控制所述智能机器人产生相应的多模态输出信号；

在所述交互处理步骤中，所述用户信息包括用户图像信息，根据所述用户图像信息确定所述用户关于所述当前交互话题的第一情感信息，其中，当所述用户未远离所述智能机器人时，根据所述第一情感信息控制所述智能机器人进行二次回答或引导用户进行交互。

2.如权利要求1所述的方法，其特征在于，在所述应答状态确定步骤中，判断在预设时长内所述用户是否对所述当前交互话题进行了回答，如未进行回答，则判定所述用户的应答状态为未做应答。

3.如权利要求1所述的方法，其特征在于，所述用户信息包括用户图像信息，在所述交互处理步骤中，根据所述用户图像信息确定用户是否远离所述智能机器人，如远离，则将所述智能机器人的工作状态切换为休眠状态或控制所述智能机器人输出预设唤回信息。

4.如权利要求1或3所述的方法，其特征在于，所述用户信息还包括用户动作信息，在所述交互处理步骤中，还根据所述用户动作信息确定所述用户关于所述当前交互话题的第二情感信息。

5.一种面向智能机器人的交互装置，其特征在于，所述装置包括：

应答状态确定模块，用于在人机交互过程中，根据获取到的用户输入的的交互应答信息判断用户是否对当前交互话题作出回答，得到用户的应答状态；

交互处理模块，用于在所述用户的应答状态为对当前交互话题进行了回答时，则控制所述智能机器人进行话题交互；用于在所述用户的应答状态为未做应答，则根据在预设时长内所获取到的用户信息确定所述用户的与机器人的远近状态、表情状态和/或动作状态，并根据这些状态生成相应的控制信号来控制所述智能机器人产生相应的多模态输出信号；

所述用户信息包括用户图像信息，所述交互处理模块还配置为根据所述用户图像信息确定所述用户关于所述当前交互话题的第一情感信息，其中，当所述用户未远离所述智能机器人时，根据所述第一情感信息控制所述智能机器人进行二次回答或引导用户进行交互。

6.如权利要求5所述的装置，其特征在于，所述应答状态确定模块配置为判断在预设时长内所述用户是否对所述当前交互话题进行了回答，如未进行回答，则判定所述用户的应答状态为未做应答。

7.如权利要求5所述的装置，其特征在于，所述用户信息包括用户图像信息，所述交互处理模块配置为根据所述用户图像信息确定用户是否远离所述智能机器人，如远离，则将所述智能机器人的工作状态切换为休眠状态或控制所述智能机器人输出预设唤回信息。

8.如权利要求5或7所述的装置，其特征在于，所述用户信息还包括用户动作信息，所述交互处理模块配置为还根据所述用户动作信息确定所述用户关于所述当前交互话题的第二情感信息。