CN106354255A - 一种面向机器人产品的人机交互方法及装置 - Google Patents

Abstract

一种面向机器人产品的人机交互方法及装置，其中，机器人产品安装有机器人操作***，机器人操作***执行人机交互方法，该方法包括：交互信息获取步骤，获取用户输入的多模态交互信息，多模态交互信息指示登录至目标机器人产品；用户切换步骤，根据多模态交互信息判断是否需要进行登录目标机器人产品的有效用户切换；其中，如果需要，则根据多模态交互信息对当前用户进行身份识别，并根据识别结果进行登录目标机器人产品的有效用户的切换。该方法能使得机器人产品在多个用户之间进行有效切换，从而使得机器人产品能够同时与多个用户进行有序地交互，从而提高了整个交互过程的流畅性和连贯性。

Description

一种面向机器人产品的人机交互方法及装置

技术领域

本发明涉及机器人技术领域，具体地说，涉及一种面向机器人产品的人机交互方法及装置。

背景技术

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。

在人机交互过程中，用户对智能机器人的交互需求日益增多，需要智能机器人不断提高自身的交互能力，实现与用户的多方面交互，满足用户的多种多样的用户需求。

发明内容

为解决上述问题，本发明提供了一种面向机器人产品的人机交互方法，机器人产品安装有机器人操作***，所述机器人操作***执行所述人机交互方法，所述方法包括：

交互信息获取步骤，获取用户输入的多模态交互信息，所述多模态交互信息指示登录至目标机器人产品；

用户切换步骤，根据所述多模态交互信息判断是否需要进行登录目标机器人产品的有效用户切换；

其中，如果需要，则根据所述多模态交互信息对当前用户进行身份识别，并根据识别结果进行登录所述目标机器人产品的有效用户的切换。

根据本发明的一个实施例，在所述用户切换步骤中，还根据当前交互场景信息采用非准确识别模型或准确识别模型来进行登录所述目标机器人产品的有效用户的切换。

根据本发明的一个实施例，采用非准确识别模型进行所述所述目标机器人产品的有效用户的切换的步骤包括：

对所述多模态交互信息进行解析，根据解析结果确定所述多模态交互信息中是否包含预设特征；

如果包含，则将所述当前用户设置为登录所述目标机器人产品的有效用户。

根据本发明的一个实施例，采用准确识别模型进行登录所述目标机器人产品的有效用户的切换的步骤包括：

根据所述多模态交互信息对所述当前用户进行身份识别，并根据所述识别结果获取所述当前用户的身份信息；

将所述当前用户的身份信息与预设身份信息集合进行匹配，如果匹配成功，则将所述当前用户设置为登录所述机器人产品的有效用户。

根据本发明的一个实施例，所述方法还包括：

根据所述多模态交互信息判断当前用户是否为已登陆至目标机器人产品的有效用户，如果是，则保持在先登录状态进行多模态交互。

根据本发明的一个实施例，所述智能机器人产品包括以下所列项中的任一项或几项：

机器人操作***、机器人应用程序、机器人功能和机器人开发网页。

本发明还提供了一种面向机器人产品的人机交互装置，机器人产品安装有机器人操作***，所述机器人操作***控制所述人机交互装置运行，所述装置包括：

交互信息获取模块，其用于获取用户输入的多模态交互信息，所述多模态交互信息指示登录至目标机器人产品；

用户切换模块，其用于根据所述多模态交互信息判断是否需要进行登录目标机器人产品的有效用户切换；

其中，如果需要，所述用户切换模块则配置为根据所述多模态交互信息对当前用户进行身份识别，并根据识别结果进行登录所述目标机器人产品的有效用户的切换。

根据本发明的一个实施例，所述用户切换模块配置为还根据当前交互场景信息采用非准确识别模型或准确识别模型来进行登录所述目标机器人产品的有效用户的切换。

根据本发明的一个实施例，采用非准确识别模型进行所述所述目标机器人产品的有效用户的切换的步骤包括：

对所述多模态交互信息进行解析，根据解析结果确定所述多模态交互信息中是否包含预设特征；

如果包含，则将所述当前用户设置为登录所述目标机器人产品的有效用户。

根据本发明的一个实施例，采用准确识别模型进行登录所述目标机器人产品的有效用户的切换的步骤包括：

根据所述多模态交互信息对所述当前用户进行身份识别，并根据所述识别结果获取所述当前用户的身份信息；

将所述当前用户的身份信息与预设身份信息集合进行匹配，如果匹配成功，则将所述当前用户设置为登录所述机器人产品的有效用户。

根据本发明的一个实施例，所述用户切换模块还配置为根据所述多模态交互信息判断当前用户是否为已登陆至目标机器人产品的有效用户，如果是，则保持在先登录状态进行多模态交互。

根据本发明的一个实施例，所述智能机器人产品包括以下所列项中的任一项或几项：

机器人操作***、机器人应用程序、机器人功能和机器人开发网页。

本发明所提供的面向机器人产品的人机交互方法及装置能使得机器人产品在多个用户之间进行有效切换，从而使得机器人产品能够同时与多个用户进行有序地交互，从而提高了整个交互过程的流畅性和连贯性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：

图1是根据本发明一个实施例面向机器人产品的人机交互方法的实现流程图；

图2是根据本发明另一个实施例的面向机器人产品的人机交互方法的实现流程图；

图3是根据本发明一个实施例的采用准确识别模型进行登录目标机器人产品的有效用户切换的流程图；

图4是根据本发明一个实施例的面向机器人产品的人机交互装置的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本发明实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本发明可以不用这里的具体细节或者所描述的特定方式来实施。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

机器人产品的登录***不同于现有的手机以及个人计算机的登录***，机器人产品在很大程度上需要同时与多个用户进行交互，因此如果面向机器人产品的登录***仍采用现有的收集以及个人计算机的登录***的话，那么很可能会造成多个用户中的某一个能够与机器人产品进行交互，而其他用户则无法与机器人产品进行交互。

针对现有技术中所存在的上述问题，本发明提供了一种新的面向机器人产品的人机交互方法，该方法能够实现机器人产品同时与多个用户之间的正常交互。需要指出的是，本发明所涉及的机器人产品既可以指机器人操作***，也可以指机器人应用程序，还可以指机器人产品的相应功能，抑或是机器人开发网页等其它人机交互装置、设备或交互界面。

为了更加清楚地阐述本发明所提供的面向机器人产品的人机交互方法的实现原理、实现过程以及优点，以下分别结合不同的实施例来对该人机交互方法作进一步的说明。

实施例一：

多人与机器人产品进行交互的过程中，机器人产品的交互对象(即当前登录该机器人产品的有效用户)是在不断变换的。例如，在机器人产品未与用户进行交互的情况下，用户A触发了与机器人产品间的交互，这样用户A也就成为了该机器人产品的有效用户；在机器人产品未与用户进行交互的情况下，用户A和用户B在机器人产品的识别状态下，用户B触发了与机器人产品间的交互，这样B也就成为了该机器人产品的有效用户；在机器人产品与用户进行交互的情况下，用户A和用户B在产品的识别状态下，用户A接替用户B触发了与机器人产品间的交互，这样用户A也就成为了该机器人产品的有效用户。

图1示出了本实施例所提供的面向机器人产品的人机交互方法的实现流程图。

如图1所示，本实施例所提供的人机交互方法首先在步骤S101中获取用户输入的多模态交互信息，其中，该多模态交互信息指示登录至目标机器人产品。

需要指出的是，在本发明的不同实施例中，该方法在步骤S101中所获取到的多模态交互信息可以根据实际需要为不同的信息形式，本发明不限于此。例如在本发明的一个实施例中，该方法在步骤S101中所获取到的多模态交互信息可以为用户图像信息；在本发明的另一个实施例中，该方法在步骤S101中所获取到的多模态交互信息可以为用户语音信息；在本发明的另一个实施例中，该方法在步骤S101中所获取到的多模态交互信息可以为用户肢体信息和/或用户手势信息；而在本发明的再一个实施例中，该方法在步骤S101中所获取到的多模态交互信息既可以为以上所列项的任意组合，也可以是其他未列出的合理信息与以上所列项的任意组合。

在得到用户输入的多模态交互信息后，该方法会在步骤S102中对步骤S101所获取到的用户输入的多模态交互信息进行分析，并根据分析结果判断当前是否需要进行登录目标机器人产品的有效用户的切换。

具体地，本实施例中，该方法会根据步骤S101中所获取到的多模态交互信息生成针对于该用户的特征信息，并将该特征信息与机器人产品当前有效用户的特征信息相匹配。如果二者匹配，那么则表示用户并未发生改变，因此此时也就不需要进行登录目标机器人产品的有效用户的切换；而如果二者不匹配，那么则表示输入多模态交互信息的用户不再是机器人***的当前有效用户，因此也就需要进行登录目标机器人产品的有效用户的切换。

例如，用户A与用户B在交替地与机器人产品进行交互，如果机器人产品的当前有效用户为用户A，那么在下一时刻当用户B开始与机器人产品进行交互时，由于该方法在步骤S101中所获取到的多模态交互信息为用户B输入的或与用户B有关的交互信息，因此该多模态交互信息所反应的为用户B的特征。因此该方法在步骤S102中也就可以判断出用户B的特征与机器人产品当前有效用户的特征(即用户A的特征)是不匹配的，因此也就需要进行登录机器人产品的有效用户的切换，即此时需要将登录到机器人产品的有效用户由用户A切换为用户B。

需要指出的是，在本发明的其他实施例中，还可以采用其他合理的方式来判断是否需要进行登录机器人产品的有效用户的切换，本发明不限于此。

如果需要进行登录目标机器人产品的有效用户的切换，那么该方法将在步骤S103中根据步骤S101中所获取到的多模态交互信息对当前用户进行身份识别，并在步骤S104中根据步骤S103中的识别结果来进行登录目标机器人产品的有效用户的切换。

如果用户处于运动状态，那么该用户可能会频繁出入机器人产品视野，如果机器人产品频繁地将该用户的登录状态在登录与未登录之间进行切换地话，这不仅会大大增加机器人产品需要处理的数据量，还会对用户与机器人产品之间交互的流畅性和连贯性造成不利影响。

对于上述问题，本实施例所提供的方法还会根据步骤S101中所获取到的多模态交互信息判断当前用户是否为此前已登陆至目标机器人产品的有效用户。如果是，则保持该当前用户在先登录状态来与机器人产品进行多模态交互。这样，如果用户频繁的出入机器人产品视野的话，机器人产品也就可以在一定时长内保持该用户的登录状态，从而使得机器人产品不必在该用户每次进入机器人产品视野时重复进行登录该机器人产品的有效用户的切换，这样不仅能够有效减少机器人产品需要处理的数据量，还能够提高用户与机器人产品之间的交互的流程性和连贯性。

从上述描述中可以看出，本实施例所提供的面向机器人产品的人机交互方法能使得机器人产品在多个用户之间进行有效切换，从而使得机器人产品能够同时与多个用户进行有序地交互，从而提高了整个交互过程的流畅性和连贯性。

实施例二：

图2示出了本实施例所提供的面向机器人产品的人机交互方法的实现流程图。

如图2所示，本实施例所提供的人机交互方法首先在步骤S201中获取输入的多模态交互信息，其中，该多模态交互信息指示登录至目标机器人产品。在获得到多模态交互信息后，该方法在步骤S202中对该多模态交互信息进行分析，并根据分析结果判断是否需要进行登录目标机器人产品的有效用户的切换。

需要指出的是，本实施例中，步骤S201与步骤S202的实现原理以及实现过程与上述实施例一中步骤S101以及步骤S102的实现原理以及实现过程类似，故在此不再对步骤S201和步骤S202进行赘述。

如图2所示，本实施例中，当在步骤S202中判断出需要进行登录目标机器人产品的有效用户的切换时，该方法会在步骤S203中获取当前场景信息，当前场景信息能够表征用户以及机器人产品所处的时间信息以及空间信息。具体地，本实施例中，该方法在步骤S203中所获取到的场景信息优选地包括：时间信息、地点信息、环境信息和人物信息。其中，时间信息能够表征当前对话过程所发生的具体时间，地点信息能够表征当前对话过程所发生的具***置，环境信息则能够表征当前对话过程中用户以及机器人产品周围的相关事物，而人物信息则能够表征当前对话中所涉及的人物以及相关设备/装置。其中，时间信息和位置信息可以分别通过GPS的授时功能和定位功能来获取，环境信息和/或人物信息可以通过机器人视觉来捕获。

在步骤S204中，该方法将根据步骤S203中所获取到的当前场景信息确定识别模型。本实施例中，该方法在步骤S204总将根据当前场景信息来确定是采用非准确识别模型还是准确识别模型来进行登录目标机器人产品的有效用户的切换。

例如，如果当前场景信息表征用户与机器人产品的当前交互环境为家庭环境等对用户身份要求并不严格的环境时，那么机器人产品对于处于房间内部的用于来说都是可用的，因此机器人产品也就不需要精确地确定出当前用户的身份ID，即只需要采用非准确识别模型来进行登录目标机器人产品的有效用户的切换。

本实施例中，在步骤S205中采用非准确识别模型来进行登录目标机器人产品的有效用户的切换时，首先对步骤S201中所获取到的多么模态交互信息进行解析，并根据据结果确定多模态交互信息中是否包含预设特征。如果多模态交互信息中包含有预设特征，那么则将当前用户设置为登录目标机器人产品的有效用户；否则不将当前用户设置为登录目标机器人产品的有效用户。

在家庭交互环境中，如果该方法在步骤S201中所获取到的多模态交互信息包括图形信息，那么该方法则会通过对图像信息进行解析判断该图像信息中是否存在人脸，如果存在，则会判定图像信息中包含预设特征，从而将对应于该图像信息中人脸的用户(即当前用户)设置为登录目标机器人产品的有效用户。

需要指出的是，在本发明的不同实施例中，根据实际需要，该方法判断多模态信息中是否包含预设特征既可以是人脸，也可以是声纹，还可以是肢体等特征，本发明不限于此。

而如果当前交互场景表征用于与机器人产品的当前交互环境为户外环境等对用户身份要求十分严格的环境时，那么由于机器人产品并不是对每个用户都是可用的，因此机器人产品就需要准确地确定出用户的身份信息，并根据用户的身份信息来确定当前用户是否可以被设置为登录目标机器人产品的有效用户，即目标机器人产品是否对于当前用户来说是可用的，这样也就需要采用准确识别模型来进行登录目标机器人产品的有效用户的切换。

具体地，如图3所示，本实施例中，在步骤S205中采用准确识别模型进行登录目标机器人产品的有效用户的切换的过程中，该方法首先在步骤S301中根据步骤S201中所获取到的多模态交互信息对当前用户进行身份识别，并根据识别结果获取当前用户的身份信息。

例如，该方法在步骤S201中所获取到的多模态交互信息中包括图像信息和语音信息，在步骤S301中，该方法会利用图像处理技术和音频解析技术来根据上述图像信息和语音信息分别得到人脸信息和声纹信息，而该人脸信息以及声纹信息也就可以作为当前用户的身份信息。

需要指出的是，在本发明的其他实施例中，该方法根据所获取到的多模态交互信息还可以得到相应的手势信息和/或肢体信息来作为用户的身份信息，本发明不限于此。同时，还需要指出的是，根据实际所获取到的多模态交互信息的不同，该方法在步骤S301中所得到的用户的身份信息既可以是以上所列信息中的任一项或几项，也可以是其他未列出的合理信息与以上所列信息的任意组合，本发明同样不限于此。

在得到当前用户的身份信息后，该方法会在步骤S302中将当前用户的身份信息与预设身份信息集合进行匹配。其中，如果当前用户的身份信息与预设身份信息集合匹配成功，那么该方法则在步骤S303中将当前用户设置为登录目标机器人产品的有效用户；而如果当前用户的身份信息与预设身份信息集合无法成功匹配，那么该方法则在步骤S304中将当前用户设置为登录目标机器人产品的非有效用户。

具体地，例如，机器人产品所存储的预设身份信息集合中包含多个可以称为登录该目标机器人产品的有效用户的用户人脸信息，如果步骤S301中所得到的人脸信息为上述存储的用户人脸信息中的某一张人脸，那么当前用户则可以称为登录该目标机器人产品的有效用户。

需要指出的是，在本发明的其他实施例中，为了提高机器人产品的安全性，还可以集合多种身份信息同时来判断前用户的身份信息与预设身份信息集合是否匹配，本发明不限于此。

同时，还需要指出的是，在本发明的不同实施例中，上述预设身份信息集合可以有特定用户预设设定，也可以有机器人产品在与用户进行交互过程中进行采集(例如统计1小时或1天内交互过的用户的身份信息来得到预设身份信息集合)，本发明同样不限于此。

本实施例还提供了一种面向机器人产品的人机交互装置，其中，机器人产品安装有机器人操作***，机器人操作***控制该人机交互装置运行。图4示出了本实施例中该装置的结构示意图。

如图4所示，本实施例所提供的人机交互装置优选地包括：交互信息获取模块401和用户切换模块402。其中，交互信息获取模块401用于获取用户输入的多模态交互信息，该多模态交互信息指示登陆至目标机器人产品。需要指出的是，本实施例中，交互信息获取模块401获取多模态交互信息的原理以及过程与实施例一中步骤S101所涉及的内容类似，故在此不再对交互信息获取模块401作进一步地说明。

在得到多模态交互信息后，交互信息获取模块401会将得到的多模态交互信息传输给用户切换模块402。用户切换模块402会根据该多模态交互信息判断是否需要进行登录目标机器人产品的有效用户切换。其中，如果需要进行切换，那么用户切换模块402则会根据多模态交互信息对当前用户进行身份识别，并根据识别结果进行登录目标机器人产品的有效用户的切换。

需要指出的是，在本发明的不同实施例中，用户切换模块402既可以采用如实施例一中步骤S102至步骤S104所示的方式来进行登陆目标机器人产品的有效用户的切换，也可以采用如实施例二中步骤S202至步骤S205所示的方式来进行登陆目标机器人产品的有效用户的切换，本发明不限于此。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构或处理步骤，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然上述示例用于说明本发明在一个或多个应用中的原理，但对于本领域的技术人员来说，在不背离本发明的原理和思想的情况下，明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此，本发明由所附的权利要求书来限定。

Claims (11)

1.一种面向机器人产品的人机交互方法，其特征在于，机器人产品安装有机器人操作***，所述机器人操作***执行所述人机交互方法，所述方法包括：

交互信息获取步骤，获取用户输入的多模态交互信息，所述多模态交互信息指示登录至目标机器人产品；

用户切换步骤，根据所述多模态交互信息判断是否需要进行登录目标机器人产品的有效用户切换；

其中，如果需要，则根据所述多模态交互信息对当前用户进行身份识别，并根据识别结果进行登录所述目标机器人产品的有效用户的切换。

2.如权利要求1所述的方法，其特征在于，在所述用户切换步骤中，还根据当前交互场景信息采用非准确识别模型或准确识别模型来进行登录所述目标机器人产品的有效用户的切换。

3.如权利要求2所述的方法，其特征在于，采用非准确识别模型进行所述所述目标机器人产品的有效用户的切换的步骤包括：

对所述多模态交互信息进行解析，根据解析结果确定所述多模态交互信息中是否包含预设特征；

如果包含，则将所述当前用户设置为登录所述目标机器人产品的有效用户。

4.如权利要求2或3所述的方法，其特征在于，采用准确识别模型进行登录所述目标机器人产品的有效用户的切换的步骤包括：

根据所述多模态交互信息对所述当前用户进行身份识别，并根据所述识别结果获取所述当前用户的身份信息；

将所述当前用户的身份信息与预设身份信息集合进行匹配，如果匹配成功，则将所述当前用户设置为登录所述机器人产品的有效用户。

5.如权利要求2～4中任一项所述的方法，其特征在于，还包括：

根据所述多模态交互信息判断当前用户是否为已登陆至目标机器人产品的有效用户，如果是，则保持在先登录状态进行多模态交互。

6.如权利要求1～5中任一项所述的方法，其特征在于，所述智能机器人产品包括以下所列项中的任一项或几项：

机器人操作***、机器人应用程序、机器人功能和机器人开发网页。

7.一种面向机器人产品的人机交互装置，其特征在于，机器人产品安装有机器人操作***，所述机器人操作***控制所述人机交互装置运行，所述装置包括：

交互信息获取模块，其用于获取用户输入的多模态交互信息，所述多模态交互信息指示登录至目标机器人产品；

用户切换模块，其用于根据所述多模态交互信息判断是否需要进行登录目标机器人产品的有效用户切换；

其中，如果需要，所述用户切换模块则配置为根据所述多模态交互信息对当前用户进行身份识别，并根据识别结果进行登录所述目标机器人产品的有效用户的切换。

8.如权利要求7所述的装置，其特征在于，所述用户切换模块配置为还根据当前交互场景信息采用非准确识别模型或准确识别模型来进行登录所述目标机器人产品的有效用户的切换。

9.如权利要求8所述的装置，其特征在于，采用非准确识别模型进行所述所述目标机器人产品的有效用户的切换的步骤包括：

对所述多模态交互信息进行解析，根据解析结果确定所述多模态交互信息中是否包含预设特征；

如果包含，则将所述当前用户设置为登录所述目标机器人产品的有效用户。

10.如权利要求8或9所述的装置，其特征在于，采用准确识别模型进行登录所述目标机器人产品的有效用户的切换的步骤包括：

根据所述多模态交互信息对所述当前用户进行身份识别，并根据所述识别结果获取所述当前用户的身份信息；

将所述当前用户的身份信息与预设身份信息集合进行匹配，如果匹配成功，则将所述当前用户设置为登录所述机器人产品的有效用户。

11.如权利要求8～10中任一项所述的装置，其特征在于，所述用户切换模块还配置为根据所述多模态交互信息判断当前用户是否为已登陆至目标机器人产品的有效用户，如果是，则保持在先登录状态进行多模态交互。