CN109857929A - 一种用于智能机器人的人机交互方法及装置 - Google Patents

Abstract

一种用于智能机器人的人机交互方法，在绘本阅读模式下，该方法包括：步骤一、获取关于当前用户的多模态交互信息；步骤二、根据多模态交互信息判断是否满足预设主动推送条件，如果满足，则执行步骤三；步骤三、根据多模态交互信息生成相应的绘本推荐信息并输出。本方法能够主动地判断是否需要向用户推送绘本故事，这样也就可以避免现有的只会对所识别得到的绘本图像进行阅读而导致的用户体验不佳的问题，其能够使得智能机器人表现地更加生动以及了解用户的实际需求，这样也就提高了智能机器人的用户体验以及用户粘度。

Description

一种用于智能机器人的人机交互方法及装置

技术领域

本发明涉及机器人技术领域，具体地说，涉及一种用于智能机器人的人机交互方法及装置。

背景技术

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。因此，提升智能机器人的交互能力，改善机器人的类人性和智能性，是现在亟需解决的重要问题。

发明内容

为解决上述问题，本发明提供了一种用于智能机器人的人机交互方法，在绘本阅读模式下，所述方法包括：

步骤一、获取关于当前用户的多模态交互信息；

步骤二、根据所述多模态交互信息判断是否满足预设主动推送条件，如果满足，则执行步骤三；

步骤三、根据所述多模态交互信息生成相应的绘本推荐信息并输出。

根据本发明的一个实施例，在所述步骤二中，如果一绘本阅读完毕后在第一预设时长内无法获取到所述当前用户所输入的新的绘本信息，则判定满足预设主动推送条件。

根据本发明的一个实施例，在所述步骤二中，如果在绘本阅读过程中检测当前页识别多次失败，则判定满足所述预设主动推送条件。

根据本发明的一个实施例，如果在绘本阅读过程中检测当前页识别多次失败，则在所述步骤三中生成第一问询信息并获取所述当前用户针对所述第一问询信息的反馈信息，根据所述反馈信息继续当前绘本的阅读或是切换绘本。

根据本发明的一个实施例，在所述步骤二中，如果检测到所述当前用户在当前页停留的时长超过第二预设时长时，则判定满足预设主动推送条件。

根据本发明的一个实施例，在所述步骤二中，根据所述多模态交互信息确定所述当前用户的情绪信息，其中，如果所述当前用户的情绪信息属于预设正面情绪或是预设负面情绪，则判定满足预设主动推送条件，从而在所述步骤三中根据所述用户的情绪信息生成所述绘本推荐信息。

根据本发明的一个实施例，在所述步骤二中，根据所述多模态交互信息确定所述当前用户的交互意图，并根据所述交互意图判断是否满足预设主动推送条件，如果满足，则在所述步骤三中根据所述交互意图生成相应的绘本推荐信息。

根据本发明的一个实施例，所述方法还包括：

步骤四、获取所述当前用户针对所述绘本推荐信息的反馈信息，并根据该反馈信息推送相应绘本或是继续当前操作。

本发明还提供了一种程序产品，其上存储有可执行如上任一项所述的方法步骤的程序代码。

本发明还提供了一种面向智能机器人的人机交互***，其特征在于，所述***装配有操作***，所述操作***能够装载并执行如上所述的程序产品。

本发明还提供了一种用于智能机器人的人机交互装置，所述装置包括：

交互信息获取模块，其用于获取关于当前用户的多模态交互信息；

绘本推荐信息生成模块，其用于根据所述多模态交互信息判断是否满足预设主动推送条件，如果满足，则根据所述多模态交互信息生成相应的绘本推荐信息并输出。

根据本发明的一个实施例，如果一绘本阅读完毕后在第一预设时长内无法获取到所述当前用户所输入的新的绘本信息，所述绘本推荐信息生成模块则配置为判定满足预设主动推送条件。

根据本发明的一个实施例，如果在绘本阅读过程中检测当前页识别多次失败，所述绘本推荐信息生成模块则配置为判定满足所述预设主动推送条件。

根据本发明的一个实施例，如果在绘本阅读过程中检测当前页识别多次失败，所述绘本推荐信息生成模块则配置为生成第一问询信息并获取所述当前用户针对所述第一问询信息的反馈信息，根据所述反馈信息继续当前绘本的阅读或是切换绘本。

根据本发明的一个实施例，如果检测到所述当前用户在当前页停留的时长超过第二预设时长时，所述绘本推荐信息生成模块则配置为判定满足预设主动推送条件。

根据本发明的一个实施例，所述绘本推荐信息生成模块配置为根据所述多模态交互信息确定所述当前用户的情绪信息，其中，如果所述当前用户的情绪信息属于预设正面情绪或是预设负面情绪，则判定满足预设主动推送条件，从而根据所述用户的情绪信息生成所述绘本推荐信息。

根据本发明的一个实施例，所述绘本推荐信息生成模块配置为根据所述多模态交互信息确定所述当前用户的交互意图，并根据所述交互意图判断是否满足预设主动推送条件，如果满足，则根据所述交互意图生成相应的绘本推荐信息。

根据本发明的一个实施例，所述方法还包括：

绘本推送模块，其用于获取所述当前用户针对所述绘本推荐信息的反馈信息，并根据该反馈信息推送相应绘本或是继续当前操作。

本发明还提供了一种儿童专用智能设备，所述设备包括处理器以及存储装置，其中，所述存储装置存储有程序，所述处理器用于执行所述存储装置中的程序以实现如上任一项所述的方法。

本发明所提供的用于智能机器人的人机交互方法能够主动地判断是否需要向用户推送绘本故事，这样也就可以避免现有的只会对所识别得到的绘本图像进行阅读而导致的用户体验不佳的问题。本方法根据所获取到的关于用户的多模态交互信息来确定出用户的实际状态，进而根据用户的实际状态(例如翻书情况、情绪状态以及交互意图等)来调整智能机器人的绘本阅读状态，从而使得智能机器人表现地更加生动以及了解用户的实际需求，这样也就提高了智能机器人的用户体验以及用户粘度。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：

图1是根据本发明一个实施例的用于智能机器人的人机交互方法的实现流程示意图；

图2至图7是根据本发明不同实施例的用于智能机器人的人机交互方法的实现流程示意图；

图8是根据本发明一个实施例的用于智能机器人的人机交互装置的结构示意图；

图9是根据本发明一个实施例的用于智能机器人的人机交互相同的实现流程示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本发明实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本发明可以不用这里的具体细节或者所描述的特定方式来实施。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

随着人工智能的发展，越来越多的绘本阅读机器人推向儿童早教市场，通过识别卡片上的物体，例如各种形状交通工具、乐器、动植物等内容进行语音播报或者屏幕显示，从而提升儿童的认知能力。

然而，现有的绘本阅读机器人只会对所识别得到的绘本图像进行阅读，其无法根据用户的实际状态来调整自身的绘本阅读状态，从而使得绘本阅读机器人表现得过于呆板，不利于绘本阅读机器人的推广使用。

针对现有技术中所存在的问题，本发明提供了一种新的用于智能机器人的人机交互方法，该方法能够实现人机交互过程中对绘本的主动推送，从而提高设备的用户体验。

图1示出了该用于智能机器人的人机交互方法的实现流程示意图。

如图1所示，该方法在实施过程中首先会在步骤S101中获取关于当前用户的多模态交互信息。需要指出的是，在本发明的不同实施例中，根据不同的实际情况，在绘本阅读模式下，该方法在步骤S101中所获取到的关于用户的多模态交互信息可以包含不同合理形式的交互信息。例如，在本发明的一个实施例中，该方法在步骤S101中所获取到的关于用户的多模态交互信息既可以是包含用户的图像信息或是语音信息，也可以是包含绘本状态的图像信息，也可以是通过物联方式从移动客户端传来的信息。

在得到关于当前用户的多模态交互信息后，该方法会在步骤S102中根据步骤S101中所获取到的上述多模态交互信息来判断是否满足预设主动推送条件。其中，如果上述多模态交互信息表征当前交互情景满足预设主动推送条件，那么该方法将会在步骤S103中根据步骤S101中所获取到的上述关于用户的多模态交互信号来生成相应的绘本推荐信息并输出给当前用户。

如图1所示，可选地，该方法在将生成的绘本推荐信息输出给当前用户后，会在步骤S104中持续地获取当前用户针对上述绘本推荐信息所输入的反馈信息。在得到上述反馈信息后，该方法会在步骤S105中根据该反馈信息来推送相应的绘本或是继续当前操作。

例如，如果用户对该方法在步骤S103中所输出的绘本推荐信息不感兴趣，那么该方法在步骤S104中将可能无法获取到有效的反馈信息或是获取到表征用户期望继续进行当前绘本阅读的信息，此时该方法也就会在步骤S105中继续当前操作。

而如果用户对该方法在步骤S103中所输出的主动绘本推荐信息(例如“任性的小狮子”)感兴趣的话，那么该方法在步骤S104中则将获取到正面的反馈信息(例如用户输入的“嗯，我想听这个故事”或是“快说快说”等)，此时该方法也就会在步骤S105中将对应于该绘本推荐信息的绘本推送给当前用户。

需要指出的是，在本发明的一些实施例中，该方法在步骤S104中所获取到的当前用户的反馈信息也可能是诸如“我想听任性的小狮子”，那么此时该方法在步骤S105中则会根据当前用户的上述反馈信息来重新确定所需要推送的绘本(即故事“任性的小狮子”)，并将该绘本内容输出给当前用户(例如向当前用户播放“任性的小狮子”绘本的故事语音等)。

需要指出的是，本实施例中，当智能机器人开机后，该方法同样会判定此时满足预设主动主动推送条件，从而根据主动地根据所获取到的多模态交互信息来生成相应的绘本推荐信息并输出。

为了更加清楚地说明本发明所提供的用于智能机器人的人机交互方法的实现原理、实现过程以及优点，以下分别结合不同的实施例来对该方法作进一步的阐述。

实施例一：

图2示出了本实施例所提供的用于智能机器人的人机交互方法的实现流程示意图。

如图2所示，本实施例中，当当前绘本阅读完毕后，该方法在实施过程中会在步骤S201中获取关于当前用户的多模态交互信息，其原理以及过程与上述步骤S101中所描述的类似，故在此不再对步骤S201的相关内容进行赘述。

在得到关于当前用户的多模态交互信息后，本实施例中，该方法会在步骤S202中根据所获取到当前用户所输入的多模态交互信息来判断当前用户是否在当前绘本阅读完毕后的第一预设时长内获取到新的绘本信息“例如绘本封面或是新的绘本内页”。

具体地，本实施例中，在当前绘本阅读完毕后，该方法优选地开始计时并持续获取绘本封面或绘本内页识别图像。

需要指出的是，上述第一预设时长的具体取值可以根据实际需要配置为不同的合理值，本发明并不对上述第一预设时长的具体取值进行限定。

本实施例中，如果计时时长达到第一预设时长时还未获取新的绘本信息，那么该方法则会判定此时满足预设主动推送条件，从而执行步骤S203至步骤S205。其中，上述步骤S203至步骤S205的实现原理以及实现过程与上述步骤S103至步骤S105所记载的内容类似，故在此不再对步骤S203至步骤S205的具体内容进行赘述。

实施例二：

图3示出了本实施例所提供的用于智能机器人的人机交互方法的实现流程示意图。

如图3所示，本实施例中，该方法会在步骤S301中获取关于当前用户的多模态交互信息。具体地，本实施例中，该方法在步骤S301中所获取到的上述多模态交互信息优选地包括绘本图像信息。

在得到多模态交互信息后，该方法会在步骤S302中根据上述多模态集后信息来检测是否能够检测到有效的绘本内页。其中，如果在绘本阅读过程中检测当前页识别多次失败，那么该方法也就会判定此时满足预设主动推送条件。

例如，如果当前用户在不断的翻书，那么由于绘本不会在某一绘本页停留足够时长，该方法根据所获取到的绘本图像也就无法识别出当前页，从而导致对于绘本的当前页识别失败。当绘本当前页识别失败的次数达到指定次数(该指定次数可以根据实际需要配置为不同的合理值，在此不进行限定)，该方法则会在步骤S302中判定此时满足预设主动推送条件。

如图3所示，本实施例中，如果满足预设主动推送条件，该方法将会在步骤S303中根据所获取到的多模态交互信息生成相应的绘本推荐信息并输出。

优选地，该方法在向当前用户输出绘本推荐信息后，会在步骤S304中持续获取当前用户针对上述绘本推荐信息的反馈信息，并在步骤S305中根据上述反馈信息推送相应的绘本给当前用户会是继续当前操作。

本实施例中，上述步骤S303至步骤S305的实现原理以及实现过程与上述步骤S103至步骤S105的相关内容类似，故在此不再对上述步骤S303至步骤S305的具体内容进行赘述。

实施例三：

图4示出了本实施例所提供的用于智能机器人的人机交互方法的实现流程示意图。

如图4所示，本实施例所提供的方法会在步骤S401中获取关于当前用户的多模态交互信息。具体地，本实施例中，该方法在步骤S401中所获取到的上述多模态交互信息优选地包括绘本图像信息。

在得到多模态交互信息后，该方法会在步骤S402中根据上述多模态交互信息来检测是否能够检测到有效的绘本页，或者，在绘本阅读过程中检测绘本末页，即当前页为绘本的最后一页。其中，如果在绘本阅读过程中检测当前页识别多次失败，那么该方法也就会判定此时满足预设主动推送条件。

其中，上述步骤S401和步骤S402的具体实现原理以及实现过程与上述步骤S301和步骤S302所公开的内容类似，故在此不再对上述步骤S401和步骤S402进行赘述。

如图4所示，本实施例中，如果满足预设主动推送条件，那么则表示当前用户很可能不喜欢当前绘本，因此该方法将会在步骤S403中生成并输出第一问询信息。随后，该方法会在步骤S404中持续地获取当前用户针对上述第一问询信息的反馈信息，并在步骤S405中根据上述反馈信息来继续当前绘本的阅读或是切换绘本。

例如，如果在绘本阅读过程中检测当前页识别多次失败，该方法会与当前用户进行语音互动，向用户输出诸如“你不喜欢这本书么”的语音信息。当前用户针对针对上述语音信息会输入相应的反馈信息。其中，如果当前用户所输入的反馈信息为“我不喜欢”的语音信息时，那么该方法则会切换绘本，从而向当前用户推送其他绘本；而如果当前用户所输入的反馈信息为“我喜欢啊”的语音信息时，那么该方法则会继续当前绘本的阅读。

实施例四：

图5示出了本实施例所提供的用于智能机器人的人机交互方法的实现流程示意图。

如图5所示，本实施例所提供的用户智能机器人的人机交互方法会在步骤S501中获取关于当前用户的多模态交互信息。具体地，本实施例中，该方法在步骤S501中所获取到的上述多模态交互信息优选地包括绘本图像信息。

随后，该方法会在步骤S502中根据步骤S501中所获取到的多模态交互信息来判断当前用户在当前页的停留时长。其中，如果当前用户在当前页的停留时长超过第二预设时长，那么也就表示当前用户很可能对于当前绘本不感兴趣。因此，此时该方法将会在步骤S503中判定此时满足预设主动推送条件，从而根据步骤S501中所获取到的多模态交互信息来生成相应的绘本推荐信息并输出。

需要指出的是，本发明并不对上述第二预设时长的具体取值进行限定，在本发明的不同实施例中，上述第二预设时长可以根据实际需要配置为不同的合理值。

当然，在本发明的其他实施例中，根据实际需要，该方法还可以在输出绘本推荐信息后，还可以获取当前用户针对绘本提意见信息的反馈信息，并根据该反馈信息推送相应的绘本或是继续当前操作。其中，该方法获取反馈信息以及根据反馈信息推送相应绘本或是继续当前操作的原理以及过程与上述步骤S104和步骤S105所阐述的内容类似，故在此不再对此进行赘述。

实施例五：

图6示出了本实施例所提供的用于智能机器人的人机交互方法的实现流程示意图。

如图6所示，本实施例所提供的用户智能机器人的人机交互方法会在步骤S601中获取关于当前用户的多模态交互信息。本实施例中，该方法在步骤S601中所获取到的多模态交互信息优选地包括关于当前用户的图像信息和/或语音信息。

该方法在步骤S602中优选地会根据上述多模态交互信息来确定当前用户的情绪信息。本实施例中，可选地，该方法可以根据用户的图像信息来通过人脸识别的方式来确定出当前用户的人脸位置，从而进一步识别出人脸所表征的情绪信息，进而得到当前用户的情绪信息。

当然，在本发明的其他实施例中，根据实际情况，该方法还可以采用其他合理方式来确定当前用户的情绪信息，本发明不限于此。例如，在本发明的一个实施例中，该方法还可以通过对用户的声纹信息进行识别来确定当前用户的情绪信息，抑或是采用多种途径结合的方式来确定当前用户的情绪信息。

如图6所示，在得到当前用户的情绪信息后，该方法会在步骤S603中判断步骤S602中所得到的当前用户的情绪信息是否属于预设正面情绪或是预设负面情绪。

其中，如果当前用户的情绪信息属于预设正面情绪信息或是预设负面信息，该方法则会在步骤S604中判定满足预设主动推送条件，进而根据用户的情绪信息生成所述绘本推荐信息。

例如，如果识别到用户在读到某一页时比较开心或是比较悲伤，那么该方法则会通过主动推送的方式向当前用户推送相应的绘本推荐信息。

实施例六：

图7示出了本实施例所提供的用于智能机器人的人机交互方法的实现流程示意图。

如图7所示，本实施例所提供的用户智能机器人的人机交互方法会在步骤S701中获取关于当前用户的多模态交互信息。随后，该方法会在步骤S702中根据上述多模态交互信息来确定当前用户的交互意图。

本实施例中，该方法优选地会利用预设意图图谱来确定出用户的交互意图。交互意图可以视为机器人以自身视角来尝试理解人机交互过程中，用户在某种主题或者话题下期望达到某种目的的打算。由于交互话题所涉及的内容较为广泛，因此该方法也就需要以意图图谱来挖掘和确定在后续人机交互过程中用户需要从机器人获取的信息(即机器人需要向用户反馈的信息)。

具体地，本实施例中，在根据交互话题来确定用户的交互意图时，该方法首先会在预设意图图谱中确定出上述交互话题所对应的节点，随后在预设意图图谱中确定出以上述交互话题所对应的节点为初始节点的连线所对应的节点(即终端节点)，从而根据终端节点来确定出用户交互意图。

由于与初始节点所连接的节点可能存在多个，因此该方法所确定出的终端节点也就可能为多个。针对这种情况，本实施例中，该方法首先会根据与初始节点相连接的多个节点确定出多个候选用户意图，随后对这些候选用户意图进行置信度排序，并根据排序结果来确定出所需要的用户意图。

具体地，本实施例中，该方法根据预设意图图片中各个节点连线的权重来对这些候选用户意图进行排序，并选取权重最大的候选用户意图来作为最终所需要的用户意图。

当然，在本发明的其它实施例中，该方法还可以采用其它合理方式来根据多模态输入信息确定出用户意图，本发明不限于此。

随后，该方法会在步骤S703中判断上述交互意图判断是否满足预设主动推送条件。如果满足，该方法则优选地会在步骤S704中根据上述交互意图来生成相应的绘本推荐信息。

例如，当用户向智能机器人输入了诸如“你会读XX书么”的语音交互信息，该方法通过对上述语音交互信息进行交互意图识别来确定出当前用户的交互意图。随后，基于上述交互意图，该方法会查询绘本相关知识图谱，以确定是否能够推送XX书的相关内容。其中，如果能够推送XX书的相关内容，那么该方法则会生成相应的指示信息并输出，从而提示当前用户拿取这本书，进而给用户讲述这本书的相关内容，从而实现绘本的推送。

需要指出的是，在本发明的其他实施例中，该方法还可以通过将上述实施例中的某一个或某几个进行结合来得到新的人机交互方法，以实现对故事绘本的主动推送。

由于本实施例所提供用于智能机器人的人机交互方法描述的是在计算机***中实现的。该计算机***例如可以设置在机器人的控制核心处理器中。例如，本文所述的方法可以实现为能以控制逻辑来执行的软件，其由机器人操作***中的CPU来执行。本文所述的功能可以实现为存储在非暂时性有形计算机可读介质中的程序指令集合。

当以这种方式实现时，该计算机程序包括一组指令，当该组指令由计算机运行时其促使计算机执行能实施上述功能的方法。可编程逻辑可以暂时或永久地安装在非暂时性有形计算机可读介质中，例如只读存储器芯片、计算机存储器、磁盘或其他存储介质。除了以软件来实现之外，本文所述的逻辑可利用分立部件、集成电路、与可编程逻辑设备(诸如，现场可编程门阵列(FPGA)或微处理器)结合使用的可编程逻辑，或者包括它们任意组合的任何其他设备来体现。所有此类实施例旨在落入本发明的范围之内。

从上述描述中可以看出，本发明所提供的用于智能机器人的人机交互方法能够主动地判断是否需要向用户推送绘本故事，这样也就可以避免现有的只会对所识别得到的绘本图像进行阅读而导致的用户体验不佳的问题。本方法根据所获取到的关于用户的多模态交互信息来确定出用户的实际状态，进而根据用户的实际状态(例如翻书情况、情绪状态以及交互意图等)来调整智能机器人的绘本阅读状态，从而使得智能机器人表现地更加生动以及了解用户的实际需求，这样也就提高了智能机器人的用户体验以及用户粘度。

同时，本发明还提供了一种用于智能机器人的人机交互装置。其中，图8示出了本实施例中该人机交互装置的结构示意图。

如图8所示，本实施例所提供的人机交互装置优选地包括：交互信息获取模块801、绘本推荐信息生成模块802以及绘本推送模块803。其中，交互信息获取模块801用于获取关于当前用户的多模态交互信息，

绘本推荐信息生成模块802与交互信息获取模块801连接，其能够根据交互信息获取模块801所传输来的多模态交互信息来判断是否满足预设主动推送条件。其中，如果满足预设主动推送条件，绘本推荐信息生成模块802则会根据多模态交互信息生成相应的绘本推荐信息并输出。

本实施例中，绘本推送模块803作为选配构建，其与绘本推荐信息生成模块802连接。绘本推送模块803能够获取当前用户针对所述绘本推荐信息的反馈信息，并根据该反馈信息推送相应绘本或是继续当前操作。

需要指出的是，本实施例中，交互信息获取模块801、绘本推荐信息生成模块802以及绘本推送模块803实现其各自功能的原理以及过程与上述步骤S101至步骤S105所公开的内容类似，故在此不再对交互信息获取模块801、绘本推荐信息生成模块802以及绘本推送模块803的具体内容进行赘述。

本发明还提供了一种儿童专用智能设备，该儿童专用智能设备包括处理器以及存储装置，其中，存储装置存储有程序，而处理器则能够执行存储装置中的程序，以实现如上任一项所述的方法。

本发明还提供了一种程序产品，该程序产品存储有程序代码，该代码***作***执行时能够实现如上所述的用于智能机器人的人机交互方法。此外，本发明还提供了一种面向智能机器人的人机交互***，该***装配有操作***，该操作***能够装载并执行如上的程序产品。

具体地，如图9所示，本实施例中，该面向智能机器人的人机交互***儿童专用设备901以及云端服务器902。儿童专用设备901能够与云端服务器902配合地执行能够实现前述面向智能机器人的人机交互方法的程序代码，进而向用户推送相应的绘本故事。

具体地，本实施例中，儿童专用设备901用于获取关于当前用户的多模态交互信息，并将该多模态交互信息传输至云端服务器902。例如，儿童专用设备901可以通过获取绘本904的相关图像来确定当前用户903的阅读状态，同时，儿童专用设备901还可以通过获取绘本904的相关图像来获取相应的绘本内容信息，并根据该绘本内容信息生成并输出相应的绘本语音信息，从而实现绘本阅读功能。

云端服务器902则能够根据儿童专用设备901所传输来的多模态交互信息来判断是否满足预设主动推送条件。如果满足预设主动推送条件，云端服务器902则会根据所述多模态交互信息生成相应的绘本推荐信息并将该绘本推荐信息传输至儿童专用设备901。儿童专用设备901接收到上述绘本推荐信息后，会将该绘本推荐信息输出给当前用户903。

本实施例中，该人机交互***利用云端服务器902强大的数据处理能力来快速地确定是否满足预设主动推送条件并生成相应的绘本推荐信息，这样也就可以降低对儿童专用设备901的数据处理能力的要求，不仅能够提高交互效率，还能够有效减小儿童专用设备901的体积以及成本。

需要指出的是，在本发明的不同实施例中，可选地，对于该人机交互***来说，还可以将部分数据处理功能交由儿童专用设备901来实现，本发明不限于此。

在本发明的不同实施例中，上述儿童专用设备901可以为包括支持感知、控制等输入输出模块的智能设备，例如平板电脑、机器人、手机、故事机或绘本阅读机器人，能够给小朋友讲故事，实时解答小朋友提出的问题以及具备丰富的表演力。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构或处理步骤，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然上述示例用于说明本发明在一个或多个应用中的原理，但对于本领域的技术人员来说，在不背离本发明的原理和思想的情况下，明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此，本发明由所附的权利要求书来限定。

Claims (12)

1.一种用于智能机器人的人机交互方法，其特征在于，在绘本阅读模式下，所述方法包括：

步骤一、获取关于当前用户的多模态交互信息；

步骤二、根据所述多模态交互信息判断是否满足预设主动推送条件，如果满足，则执行步骤三；

步骤三、根据所述多模态交互信息生成相应的绘本推荐信息并输出。

2.如权利要求1所述的人机交互方法，其特征在于，在所述步骤二中，如果一绘本阅读完毕后在第一预设时长内无法获取到所述当前用户所输入的新的绘本信息，则判定满足预设主动推送条件。

3.如权利要求1或2所述的人机交互方法，其特征在于，在所述步骤二中，如果在绘本阅读过程中检测当前页识别多次失败，则判定满足所述预设主动推送条件。

4.如权利要求1所述的人机交互方法，其特征在于，如果在绘本阅读过程中检测当前页识别多次失败，则在所述步骤三中生成第一问询信息并获取所述当前用户针对所述第一问询信息的反馈信息，根据所述反馈信息继续当前绘本的阅读或是切换绘本。

5.如权利要求1～4中任一项所述的方法，其特征在于，在所述步骤二中，如果检测到所述当前用户在当前页停留的时长超过第二预设时长时，则判定满足预设主动推送条件。

6.如权利要求1～5中任一项所述的方法，其特征在于，在所述步骤二中，根据所述多模态交互信息确定所述当前用户的情绪信息，其中，如果所述当前用户的情绪信息属于预设正面情绪或是预设负面情绪，则判定满足预设主动推送条件，从而在所述步骤三中根据所述用户的情绪信息生成所述绘本推荐信息。

7.如权利要求1～6中任一项所述的方法，其特征在于，在所述步骤二中，根据所述多模态交互信息确定所述当前用户的交互意图，并根据所述交互意图判断是否满足预设主动推送条件，如果满足，则在所述步骤三中根据所述交互意图生成相应的绘本推荐信息。

8.如权利要求1～7中任一项所述的方法，其特征在于，所述方法还包括：

步骤四、获取所述当前用户针对所述绘本推荐信息的反馈信息，并根据该反馈信息推送相应绘本或是继续当前操作。

9.一种程序产品，其上存储有可执行如权利要求1～8中任一项所述的方法步骤的程序代码。

10.一种面向智能机器人的人机交互***，其特征在于，所述***装配有操作***，所述操作***能够装载并执行如权利要求9所述的程序产品。

11.一种用于智能机器人的人机交互装置，其特征在于，所述装置包括：

交互信息获取模块，其用于获取关于当前用户的多模态交互信息；

绘本推荐信息生成模块，其用于根据所述多模态交互信息判断是否满足预设主动推送条件，如果满足，则根据所述多模态交互信息生成相应的绘本推荐信息并输出。

12.一种儿童专用智能设备，其特征在于，所述设备包括处理器以及存储装置，其中，所述存储装置存储有程序，所述处理器用于执行所述存储装置中的程序以实现如权利要求1～8中任一项所述的方法。