CN106541408A - 基于智能机器人的儿童行为引导方法及*** - Google Patents

Abstract

本发明公开了一种基于智能机器人的儿童行为引导方法及***，该引导方法包括获取家长与儿童的多模态输入信息，并对所述多模态输入信息进行解析；根据解析的结果判断是否需要对当前的儿童行为进行引导，并在判断为需要引导时生成行为引导的决策；基于决策结果输出多模态表达。该引导方法能够实现较好的沟通效果，解决了现阶段由于家长缺乏带孩子的经验而不能与孩子良好交互的问题。

Description

基于智能机器人的儿童行为引导方法及***

技术领域

本发明属于智能机器人领域，尤其设计一种基于智能机器人的儿童行为引导方法及***。

背景技术

随着智能机器人技术的发展，智能机器人的应用已经逐渐深入到人们生活的各个方面。从辅助教学、医疗卫生到公共服务的各个方面，都能见到智能机器人忙碌的身影。

同时，人们对智能机器人的需求也日益增多，不再仅仅停留于对指令的执行阶段，人们更希望利用智能机器人自身的功能来为他们提供更多的建议与帮助。因此，需要不断提高智能机器人的交互能力，来满足用户的交互需求。

发明内容

本发明所要解决的技术问题之一是需要提供一种满足用户交互需求的智能机器人。

为了解决上述技术问题，本申请的实施例首先提供了一种基于智能机器人的儿童行为引导方法，包括：获取家长与儿童的多模态输入信息，并对所述多模态输入信息进行解析；根据解析的结果判断是否需要对当前的儿童行为进行引导，并在判断为需要引导时生成行为引导的决策；基于决策结果输出多模态表达。

优选地，所述对所述多模态输入信息进行解析，包括结合所述多模态输入信息进行人群感知、意图感知与场景感知。

优选地，所述根据解析的结果判断是否需要对当前的儿童行为进行引导，包括：根据意图感知与场景感知的结果对针对当前的儿童行为进行引导的需求程度进行评分，当所述评分高于设定的分数阈值时，判断为需要对当前的儿童行为进行引导；当所述评分低于或等于设定的分数阈值时，判断为不需要对当前的儿童行为进行引导。

优选地，所述根据意图感知与场景感知的结果对针对当前的儿童行为进行引导的需求程度进行评分，包括：从所述意图感知与场景感知的结果中提取设定词汇和/或设定体态；将与提取得到的设定词汇和/或设定体态对应的分数加权求和以获取针对当前的儿童行为进行引导的需求程度的评分。

优选地，所述基于决策结果输出多模态表达，包括语音输出、动作输出与表情输出。

本申请的实施例还提供了一种基于智能机器人的儿童行为引导***，包括：解析模块，其获取家长与儿童的多模态输入信息，并对所述多模态输入信息进行解析；决策模块，其根据解析的结果判断是否需要对当前的儿童行为进行引导，并在判断为需要引导时生成行为引导的决策；输出模块，其基于决策结果输出多模态表达。

优选地，所述解析模块结合所述多模态输入信息进行人群感知、意图感知与场景感知。

优选地，所述决策模块根据意图感知与场景感知的结果对针对当前的儿童行为进行引导的需求程度进行评分，当所述评分高于设定的分数阈值时，判断为需要对当前的儿童行为进行引导；当所述评分低于或等于设定的分数阈值时，判断为不需要对当前的儿童行为进行引导。

优选地，所述决策模块在根据意图感知与场景感知的结果对针对当前的儿童行为进行引导的需求程度进行评分时，包括：从所述意图感知与场景感知的结果中提取设定词汇和/或设定体态；将与提取得到的设定词汇和/或设定体态对应的分数加权求和以获取针对当前的儿童行为进行引导的需求程度的评分。

优选地，所述输出模块基于输出的多模态表达包括语音输出、动作输出与表情输出。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

通过基于智能机器人的多模态输入功能，获取家长与儿童交互场景中的人群、场景、体态等各方面的信息，并对各种感知信息进行综合判断和决策，再由智能机器人根据判断和决策的结果通过语言、动作、表情等多种方式来进行多模态的表达输出，通过智能机器人实现对儿童的行为引导，解决由于家长缺乏经验不能对儿童进行正确行为引导，影响儿童身心健康的问题。

本发明的其他优点、目标，和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书，权利要求书，以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。

图1为根据本发明第一实施例的基于智能机器人的儿童行为引导方法的流程示意图；

图2为根据本发明第二实施例的基于智能机器人的儿童行为引导方法的流程示意图；

图3为根据本发明第三实施例的基于智能机器人的儿童行为引导***的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。

由于对生活场景、常识不熟悉，儿童经常会需要合适的行为引导，但由于绝大多数家长没受到过相对正确的沟通培训和情绪控制，有意无意的威胁、恐吓、利诱小孩，这些方式都是不正确的，影响儿童的身心健康。

例如，家长送儿童上幼儿园时，特别是在家长和小孩的分离时刻，儿童容易舍不得而苦恼。

本发明针对上述问题提出解决方案。

第一实施例：

图1为根据本发明第一实施例的基于智能机器人的儿童行为引导方法的流程示意图，如图所示，该方法包括以下步骤：

步骤S110、获取家长与儿童的多模态输入信息，并对多模态输入信息进行解析。

步骤S120、根据解析的结果判断是否需要对当前的儿童行为进行引导，并在判断为需要引导时生成行为引导的决策。

步骤S130、基于决策结果输出多模态表达。

具体的，在步骤S110中，智能机器人接收来自家长与儿童交互场景中交互双方的多模态输入信息。多模态输入信息可以为语言输入信息、图像输入信息以及通过传感器采集到的信息等。本实施例中对接收多模态信息的方式和信息的形式不做限定。

智能机器人对接收到的多模态输入信息进行解析，包括结合各种多模态输入信息进行人群感知、意图感知和场景感知。

智能机器人在得到解析结果后，在步骤S120中，根据解析结果判断是否需要对当前的儿童行为进行引导。

本实施例中所说的人群感知是指判断当前场景的人物信息，以判断是否属于儿童行为引导的范围。人群感知的过程可以由智能机器人对图像信息等多模态输入进行解析来实现。

举例而言，智能机器人首先利用摄像头对当前场景进行捕捉，可以拍摄静态的图像信息，也可以获取动态的视频信息。本实施例中对此不做限定，由智能机器人视觉模块的功能设定决定。

通过对图像信息或视频信息的分析，智能机器人能够判断出当前场景中的人物信息，例如人物的性别信息与人物的年龄信息，进而确定家长的性别和年龄，儿童的性别与年龄，从而可以将当前家长与儿童的交互场景进行初步的定位。

进一步地，通过对图像信息或视频信息的分析，智能机器人还能够判断出当前场景中各人物的情绪状态，例如判断家长是否处于急躁、生气等情绪状态中，或是儿童处于不理睬、哭泣等情绪状态中，或是家长和儿童同时各自处于上面的状态中。

智能机器人根据当前场景中的各人物的情绪状态来判断是否需要对家长与儿童之间的交互行为进行干预。举例而言，如果当前场景中家长和儿童均处于平静的、缓和的交互中时，则不需要对当前的交互行为进行干预。如果当前场景中家长或儿童一方的情绪表现为较强烈、或是不友好，不配合，则需要对当前的交互行为进行干预。

本实施例中所说的意图感知是指根据用户的语言来判断当前交互场景中各人物的意图，进而根据人物的意图来判断是否需要对当前的交互行为进行干预。这是因为，通过图像信息来获知的家长和/或儿童的的情绪状态可能会不足以作出判断或作出错误的判断。

在本发明实施例中，通过增加意图感知来辅助判断。智能机器人首先对用户的语音输入信息进行采集和存储。然后调用其内部语音分析模块对用户语音信息中所透露出的用户的潜在的意图进行分析。例如通过分析家长的语音输入“好好说话！”可以获知家长目前对待儿童的不配合的行为采取了一种较为强制或者压制的处理方法，很有可能使得当前家长与儿童的交流进一步升级为争吵。

如果上述交互场景中家长和儿童的动作都表现得不剧烈，那么通过图像识别就无法作出正确的判断。而智能机器人在通过意图感知获得了家长的意图后，就会结合人群感知和意图感知的信息作出综合判断。

通过将人群感知和意图感知相结合，进一步提高了智能机器人对当前交互场景的实际情况判断的准确性。

本实施例中所说的场景感知是指利用摄像头获取的图像信息，或利用各种传感器获取当前环境中的特征信息。获取到的场景信息可以包括时间信息、空间信息、温度信息等，智能机器人结合上述场景信息来对当前交互场景进行识别，进而判断是否需要对家长与儿童之间的交互行为进行干预。

下面将通过具体的示例说明如何结合人群感知、意图感知和场景感知的结果对是否需要干预家长与儿童之间的交互行为进行判断。

在示例1中，家长与儿童处于如下交互场景中，小孩不愿意上幼儿园，例如他可能通过语言来表达自己的意愿，“不嘛，我不想上幼儿园”，同时还通过动作来表达自己的想法，例如不停地摇晃自己的身体，或是不正面面对家长。而这时家长是想让孩子去上幼儿园的，例如对孩子说“上幼儿园去”，但同时又对孩子表现出来的不配合无能为力，不知道怎样才能说服孩子去上幼儿园，家长与孩子之间交互陷入沟通困境。

智能机器人首先会通过摄像头获取当前交互场景中的图像信息和视频信息，并通过图像识别等手段来进行人群感知，从而确定当前交互场景是家长与儿童之间的交互场景。

进一步地，智能机器人结合人群感知和意图感知，例如通过“上幼儿园去”识别出家长的意图是让孩子去幼儿园，而通过“不嘛，我不想上幼儿园”识别孩子的意图是不想去幼儿园，即双方的意图相反可能导致交互冲突。

智能机器人还会结合人群感知所获得人物的情绪来综合判断。例如通过孩子不停地摇晃自己的身体，或是不正面面对家长，以及通过家长双手插腰等情绪特征判断出家长与孩子之间的沟通很不顺利，且家长似乎不知道怎样才能说服孩子去幼儿园。

智能机器人综合上述人群感知与意图感知的各种信息，判断出需要对家长与儿童之间的交互行为进行干预。

进一步地，如果当前交互的场景为晚上，地点为在卧室里，也就是说，实际上家长和孩子是在对第二天即将发生的事进行交互，那么考虑到孩子可能马上就要睡觉了，去不去幼儿园的事可以到第二天早上的时候再讨论，若此时再结合一些其他的情况，例如智能机器人已经判断出家长与孩子之间的冲突并不是非常激烈，则智能机器人通过结合上述场景信息，就会作出不需要对家长与儿童之间的交互行为进行干预的判断，等到第二天再重新作出判断。

当然，如果当前交互的场景为早上7点的客厅里，那么即使智能机器人已经判断出家长与孩子之间的冲突并不是非常激烈，机器人也很可能结合当前的场景信息，作出需要对家长与儿童之间的交互行为进行干预的判断。

通过上述示例可以看出，智能机器人利用场景感知所获得的场景信息辅助判断，有利于提高判断的准确性，改善服务质量。

智能机器人进行场景感知主要是通过摄像头或各种传感器获取地点信息、温度信息等空间信息，而时间的信息的获取可以通过智能机器人自身的计时***或是通过连接网络获取。本实施例中对智能机器人进行场景感知的具体手段不做限定。

本实施例中，通过智能机器人获取多模态信息，并通过结合各种多模态信息进行综合判断，有利于提高智能机器人对是否需要对当前的儿童行为进行引导的判断的准确性。

接下来，在步骤S120中，智能机器人还在判断需要对儿童行为进行引导时，声称具体的决策。在步骤S130中，智能机器人根据具体的决策进行输出多模态表达。

举例而言，仍如前面实施例中的场景，智能机器人为了说服孩子去上幼儿园，作出决策为应该用引导性的语言，比如转移话题，并采用友好的态度、适当的表情等来跟小朋友沟通。

于是，智能机器人的决策结果可以包括，对小孩说，“宝贝，爸爸很爱你，妈妈也很爱你，所以我们想让你上幼儿园”，进而转移话题，“下午你想让爸爸还是妈妈来接你？”。在语音输出的同时，智能机器人可以伴随着身体、手势、表情的表达。例如智能机器人进行动作输出，去尝试用手去拉小朋友的手，促进他的调整。

本实施例中的多模态输出包括但不限于智能机器人的语音输出、动作输出以及表情输出。

智能机器人的判断和决策可以由云端大脑完成的。由智能机器人收集各种感知信息，并将各种感知信息发送给云端大脑，云端大脑可以基于对智能库进行搜索来得到决策的结果，也可以基于决策模型来得到决策的结果，本实施例中对其不做限定。

在得到决策结果后，云端大脑根据决策的结果生成多模态表达指令，并将多模态表达指令传输给智能机器人。智能机器人根据多模态表达指令进行具体的多模态输出表达。

在本发明实施例中，借用机器人智能的感知、决策、引导功能，进行儿童行为引导。具体的，基于智能机器人的多模态输入功能，获取家长与儿童交互场景中的人群、场景、体态等各方面的信息，并对各种感知信息进行综合判断和决策，再由智能机器人根据判断和决策的结果通过语言、动作、表情等多种方式来进行多模态的表达输出，通过智能机器人实现对儿童的行为引导，解决由于家长缺乏经验不能对儿童进行正确行为引导，影响儿童身心健康的问题。

第二实施例：

图2为根据本发明第二实施例的基于智能机器人的儿童行为引导方法的流程示意图，如图所示，该方法包括以下步骤：

步骤S210、获取家长与儿童的多模态输入信息，并对多模态输入信息进行解析。

步骤S220、根据意图感知与场景感知的结果对针对当前的儿童行为进行引导的需求程度进行评分。

步骤S230、当评分低于或等于设定的分数阈值时，判断为不需要对当前的儿童行为进行引导。

步骤S240、当评分高于设定的分数阈值时，判断为需要对当前的儿童行为进行引导。

步骤S250、在判断为需要引导时生成行为引导的决策。

步骤S260、基于决策结果输出多模态表达。

具体的，在步骤S210中，智能机器人接收来自家长与儿童交互场景中交互双方的多模态输入信息。多模态输入信息可以为语言输入信息、图像输入信息以及通过传感器采集到的信息等。

智能机器人对接收到的多模态输入信息进行解析，包括结合各种多模态输入信息进行人群感知、意图感知和场景感知。

该步骤执行与步骤S110相同的操作，此处不再赘述。

在步骤S220中，根据意图感知与场景感知的结果对针对当前的儿童行为进行引导的需求程度进行评分，还可以具体包括：

步骤S221、从意图感知与场景感知的结果中提取设定词汇和/或设定体态。

步骤S222、将与提取得到的设定词汇和/或设定体态对应的分数加权求和以获取针对当前的儿童行为进行引导的需求程度的评分。

举例而言，若当前场景中，家长对孩子说“听话，不听话的话不喜欢你了”，这种带有轻微恐吓的方式是不符合正确的沟通需求的。因此，智能机器人可能会预先将“不喜欢”定义为设定词汇，并预设与该设定词汇对应的分数，例如2分。那么，当智能机器人从对家长的意图感知中提取到“不喜欢”这个词时，就将针对当前的儿童行为进行引导的需求程度的评分加2。

又比如，若当前场景中，家长渐渐失去沟通的耐心，生气的插起腰时，这种方式也是不符合正确的沟通需求的。因此，智能机器人可能会预先将“插腰”这个动作定义为设定体态，并预设与该设定体态对应的分数，例如4分。那么，当智能机器人从对家长的情绪感知中提取到“插腰”这个动作时，就将针对当前的儿童行为进行引导的需求程度的评分加4。

在得到针对当前的儿童行为进行引导的需求程度的评分后，可以根据与设定的分数阈值进行比较来决定是否需要对儿童行为进行引导。具体的，在步骤S230或步骤S240中进行判断。

最后，在步骤S250和步骤S260中，由云端大脑生成行为引导的决策，再由智能机器人根据决策的结果输出多模态表达。其操作与第一实施例相同，此处不再赘述。

本实施例中，通过预设设定词汇和/或设定体态，并建立对应的评分机制，使得智能机器人能够方便地度量针对当前的儿童行为进行引导的需求程度。同时根据沟通需求来分别设定不同的分数，有利于获得更加合理的判断，提高智能机器人在对是否需要对儿童行为进行引导时的判断。

第三实施例：

图3为根据本发明第三实施例的基于智能机器人的儿童行为引导***的结构示意图，如图所示，该***包括：

解析模块31，其获取家长与儿童的多模态输入信息，并对多模态输入信息进行解析。

决策模块32，其根据解析的结果判断是否需要对当前的儿童行为进行引导，并在判断为需要引导时生成行为引导的决策。

输出模块33，其基于决策结果输出多模态表达。

进一步地，决策模块32还可以划分为提取单元321和评分单元322，其中，

提取单元321，其从意图感知与场景感知的结果中提取设定词汇和/或设定体态。

评分单元322，其将与提取得到的设定词汇和/或设定体态对应的分数加权求和以获取针对当前的儿童行为进行引导的需求程度的评分。

决策模块32根据评分结果作出判断：

当评分高于设定的分数阈值时，判断为需要对当前的儿童行为进行引导。

当评分低于或等于设定的分数阈值时，判断为不需要对当前的儿童行为进行引导。

上述各功能模块的具体操作可以参考第一实施例和第二实施例的相应方法步骤得出，此处不再赘述。

本发明实施例的基于智能机器人的儿童行为引导***，通过智能机器人获取多模态信息，并通过结合各种多模态信息进行综合判断，有利于提高智能机器人对是否需要对当前的儿童行为进行引导的判断的准确性。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种基于智能机器人的儿童行为引导方法，包括：

获取家长与儿童的多模态输入信息，并对所述多模态输入信息进行解析；

根据解析的结果判断是否需要对当前的儿童行为进行引导，并在判断为需要引导时生成行为引导的决策；

基于决策结果输出多模态表达。

2.根据权利要求1所述的方法，其特征在于，所述对所述多模态输入信息进行解析，包括结合所述多模态输入信息进行人群感知、意图感知与场景感知。

3.根据权利要求2所述的方法，其特征在于，所述根据解析的结果判断是否需要对当前的儿童行为进行引导，包括：

根据意图感知与场景感知的结果对针对当前的儿童行为进行引导的需求程度进行评分，

当所述评分高于设定的分数阈值时，判断为需要对当前的儿童行为进行引导；

当所述评分低于或等于设定的分数阈值时，判断为不需要对当前的儿童行为进行引导。

4.根据权利要求3所述的方法，其特征在于，所述根据意图感知与场景感知的结果对针对当前的儿童行为进行引导的需求程度进行评分，包括：

从所述意图感知与场景感知的结果中提取设定词汇和/或设定体态；

将与提取得到的设定词汇和/或设定体态对应的分数加权求和以获取针对当前的儿童行为进行引导的需求程度的评分。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述基于决策结果输出多模态表达，包括语音输出、动作输出与表情输出。

6.一种基于智能机器人的儿童行为引导***，包括：

解析模块，其获取家长与儿童的多模态输入信息，并对所述多模态输入信息进行解析；

决策模块，其根据解析的结果判断是否需要对当前的儿童行为进行引导，并在判断为需要引导时生成行为引导的决策；

输出模块，其基于决策结果输出多模态表达。

7.根据权利要求6所述的***，其特征在于，所述解析模块结合所述多模态输入信息进行人群感知、意图感知与场景感知。

8.根据权利要求7所述的***，其特征在于，所述决策模块根据意图感知与场景感知的结果对针对当前的儿童行为进行引导的需求程度进行评分，

当所述评分高于设定的分数阈值时，判断为需要对当前的儿童行为进行引导；

当所述评分低于或等于设定的分数阈值时，判断为不需要对当前的儿童行为进行引导。

9.根据权利要求8所述的***，其特征在于，所述决策模块在根据意图感知与场景感知的结果对针对当前的儿童行为进行引导的需求程度进行评分时，包括：

从所述意图感知与场景感知的结果中提取设定词汇和/或设定体态；

将与提取得到的设定词汇和/或设定体态对应的分数加权求和以获取针对当前的儿童行为进行引导的需求程度的评分。

10.根据权利要求6至9中任一项所述的***，其特征在于，所述输出模块基于输出的多模态表达包括语音输出、动作输出与表情输出。