CN106997449A - 具有人脸识别功能的机器人和人脸识别方法 - Google Patents

Abstract

本发明涉及一种具有人脸识别功能的机器人和人脸识别方法。该具有人脸识别功能的机器人与外部的服务器配合，包括图像采集单元、图像识别单元、通信单元以及控制器。图像采集单元用于捕捉一个以上的外部场景图像。图像识别单元用于从一个以上的外部场景图像中获取具备识别特征点的人脸图像。通信单元用于与外部的服务器进行通信。控制器连接该图像采集单元和该通信单元，用于将具备识别特征点的人脸图像通过该通信单元传输至外部的服务器进行人脸识别并接收外部的服务器回传的人脸识别结果，根据该人脸识别结果启动对应的互动模式。本发明通过人脸识别算法获得人脸识别结果，可以针对不同个体作出不同互动模式，从而实现了互动模式的个性化。

Description

具有人脸识别功能的机器人和人脸识别方法

技术领域

本发明涉及机器人，尤其涉及一种具有人脸识别功能的机器人和人脸识别方法。

背景技术

随着人类城市化进程的推进，人们的工作节奏不断加快，人口老龄化和空巢老人的出现，对于宠物陪伴的需求与日俱增。但是真实的宠物照料护理非常费时，而且需要一定的活动空间，对于居住面积不大的家庭是个难题。

最近几年，机器人正朝着智能化方向发展，开始具有感觉和感知等功能。因此能够与人交流的家庭陪伴型机器人逐渐成为可能。

目前家庭陪伴型机器人能够与人类进行简单的互动，例如动作的模仿和声音的模仿，但是其互动行为与真实的宠物相比还相去甚远。其中一个重要的缺失是，家庭陪伴型机器人不具备人脸识别功能，因此无法与家庭成员进行个性化的互动。

发明内容

本发明所要解决的技术问题是提供一种具有人脸识别功能的机器人和人脸识别方法，可以实现机器人尤其是家庭陪伴型机器人对人脸的识别。

本发明为解决上述技术问题而采用的技术方案是一种具有人脸识别功能的机器人，其与外部的服务器配合，包括图像采集单元、图像识别单元、通信单元以及控制器。图像采集单元用于捕捉一个以上的外部场景图像。图像识别单元用于从一个以上的外部场景图像中获取具备识别特征点的人脸图像。通信单元用于与外部的服务器进行通信。控制器连接该图像采集单元和该通信单元，用于将具备识别特征点的人脸图像通过该通信单元传输至外部的服务器进行人脸识别并接收外部的服务器回传的人脸识别结果，根据该人脸识别结果启动对应的互动模式。

在本发明的一实施例中，该控制器响应于人脸识别启动指令而开启该图像采集单元。

在本发明的一实施例中，该人脸识别启动指令包含在语音信号中，该机器人还包括语音信号采集单元、连接该语音信号采集单元和该控制器的语音信号识别单元，该语音信号采集单元用于采集外部输入的语音信号，该语音信号识别单元用于识别该语音信号中的人脸识别启动指令。

在本发明的一实施例中，该人脸识别启动指令包含在触摸信号中，该机器人还包括触摸信号检测单元、连接该触摸信号检测单元和该控制器的触摸信号识别单元，该触摸信号检测单元用于检测触摸动作以产生该触摸信号，该触摸信号识别单元用于识别该触摸信号中的人脸识别启动指令。

在本发明的一实施例中，该人脸识别启动指令包含在无线信号中，该机器人还包括无线信号通讯单元、连接该无线信号通讯单元和该控制器的无线信号识别单元，该无线信号通讯单元用于接收外部传输的无线信号，该无线信号识别单元用于识别该无线信号中的人脸识别启动指令。

在本发明的一实施例中，该控制器在选定多个图像中存在具备识别特征点的人脸图像之后还排除不具有识别特征点的人脸图像。

在本发明的一实施例中，该控制器用于载入与该人脸识别结果关联的特征资料库，该互动模式包含在该特征资料库中。

在本发明的一实施例中，该互动模式由以下参数至少其中之一定义：配合度、亲密度、以及智能度，其中该配合度表征机器人对个体的指令的配合程度，该亲密度表征机器人与个体接触的亲密程度，该智能度表征机器人的智能等级。

在本发明的一实施例中，该通信单元将该具备识别特征点的人脸图像传输至外部的服务器的方式包括以下其中之一：通过无线局域网传输该人脸图像到一本地服务器；通过接入互联网的无线局域网传输该人脸图像到一云端服务器；通过移动互联网传输该人脸图像到一云端服务器。

本发明还提出一种人脸识别方法，包括以下步骤：捕捉一个以上的外部场景图像；从一个以上的外部场景图像中获取具备识别特征点的人脸图像；将具备识别特征点的人脸图像传输至外部的服务器以供该服务器进行人脸识别；并接收该服务器回传的人脸识别结果；以及根据该人脸识别结果启动对应的互动模式。

在本发明的一实施例中，上述方法还包括以下步骤：响应于人脸识别启动指令，开启捕捉一个以上的外部场景图像。

在本发明的一实施例中，该人脸识别启动指令包含在语音信号中，所述响应于人脸识别启动指令为：采集外部输入的语音信号，识别该语音信号中的人脸识别启动指令并进行响应。

在本发明的一实施例中，该人脸识别启动指令包含在触摸信号中，所述响应于人脸识别启动指令为：检测触摸动作以产生该触摸信号，识别该触摸信号中的人脸识别启动指令并进行响应。

在本发明的一实施例中，该人脸识别启动指令包含在无线信号中，所述响应于人脸识别启动指令为：接收外部传输的无线信号，识别该无线信号中的人脸识别启动指令并进行响应。

在本发明的一实施例中，从一个以上的外部场景图像中获取具备识别特征点的人脸图像的步骤包括：a.判断一外部场景图像是否包含具备识别特征点的人脸图像；b.如果该外部场景图像包含具备识别特征点的人脸图像，则进入步骤d，否则进入步骤c；c.继续捕捉外部场景图像，并返回步骤a；d.获取该人脸图像。

在本发明的一实施例中，根据该人脸识别结果启动对应的互动模式之前还包括：载入与该人脸识别结果关联的特征资料库，该互动模式包含在该特征资料库中。

在本发明的一实施例中，该互动模式由以下参数的至少其中之一定义：配合度、亲密度、以及智能度，其中该配合度表征机器人对个体的指令的配合程度，该亲密度表征机器人与个体接触的亲密程度，该智能度表征机器人的智能等级。

在本发明的一实施例中，将该具备识别特征点的人脸图像从该机器人传输到外部的服务器的步骤包括以下其中之一：通过无线局域网传输该人脸图像到一本地服务器；通过接入互联网的无线局域网传输该人脸图像到一云端服务器；通过移动互联网传输该人脸图像到一云端服务器。

本发明由于采用以上技术方案，使之与现有技术相比，通过人脸识别算法获得人脸识别结果，可以针对不同个体作出不同互动模式，从而实现了互动模式的个性化。本发明的人脸识别的部分工作都不依赖机器人的资源进行，可以使得机器人的硬件配置和成本降低，而且提高了人脸识别的效率。

附图说明

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：

图1示出本发明一实施例的具有人脸识别功能的机器人的***框图；

图2示出本发明另一实施例的具有人脸识别功能的机器人的***框图；

图3示出本发明一实施例的人脸识别方法流程图。

具体实施方式

本发明的实施例描述机器人的人脸识别方法和***，该方法和***尤其适用于家庭陪伴型机器人。当然可以理解，该方法和***也可适用于其它具有高交互需求的机器人，例如商业服务机器人。在本发明的实施例中，将人脸识别与机器人的互动模式关联。根据识别出的不同个体，赋予机器人不同的互动模式，从而实现个性化的互动。

图1示出本发明一实施例的具有人脸识别功能的机器人的***框图。参考图1所示，本实施例的机器人100包括图像采集单元101、图像识别单元102、通信单元103、执行单元104以及控制器105。图像采集单元101用于捕捉一个以上的外部场景图像，其实例是摄像头。图像采集单元101可以连续采集图像，也可以间隔一定时间采集一帧或几帧图像，视具体场合而定。图像识别单元102连接图像采集单元101，其用于从一个以上的外部场景图像中获取具备识别特征点的人脸图像。通信单元103配置为与一服务器200进行通信，以实现机器人的对外通信功能。控制器105连接图像采集单元101、通信单元103以及执行单元104，用于控制机器人的整体运作。例如控制器105可根据需要命令例如图像采集单元101的各个输入设备捕捉外部信息，或者命令例如执行单元104的设备执行相应动作。

在人脸识别的工作流程中，控制器105配置为执行如下步骤：将具备识别特征点的人脸图像通过通信单元103传输至外部的服务器200进行人脸识别；接收外部的服务器回传的人脸识别结果；根据人脸识别结果启动对应的互动模式。除此之外，控制器105还可配置为对人脸图像进行初步的处理。

本实施例的一个特点是，人脸识别的大部分工作并不利用机器人的内部资源完成，而是依靠外部的服务器。机器人100对捕捉的外部场景图像所进行的处理步骤是初步处理，旨在从中选定存在人脸的人脸图像，然后将这些人脸图像以及人脸识别请求发送给服务器200，请求执行人脸识别。服务器200配备了执行人脸识别算法的程序，可以响应于人脸识别请求，对图像进行特征点分析，并与人脸库进行比对，获得人脸识别信息。在此，服务器200中的人脸识别算法可以使用已知的算法，在此不再详细展开。

图2示出本发明另一实施例的具有人脸识别功能的机器人的***框图。参考图2所示，本实施例的机器人100包括图像采集单元101、图像识别单元102、通信单元103、执行单元104以及控制器107。图像采集单元101用于捕捉一个以上的外部场景图像，其实例是摄像头。图像采集单元101可以连续采集图像，也可以间隔一定时间采集一帧或几帧图像，视具体场合而定。图像识别单元102连接图像采集单元101，其用于从一个以上的外部场景图像中获取具备识别特征点的人脸图像。语音信号采集单元106配置为采集语音信号，主要是人声信号。语音信号中包含了机器人感兴趣的各种指令。例如招呼机器人的指令、令机器人完成跑、跳等动作的指令。语音信号采集单元106的实例是麦克风。语音信号识别单元107连接语音信号采集单元106和控制器105，配置为识别语音信号中的指令。通信单元103配置为与一服务器200进行通信，以实现机器人的对外通信功能。控制器105连接图像采集单元101、语音信号采集单元106、语音信号识别单元107、通信单元103以及执行单元104，用于控制机器人的整体运作。例如控制器105可根据需要命令例如图像采集单元101、语音信号采集单元106的各个输入设备捕捉外部信息，或者命令例如执行单元104的设备执行相应动作。

在人脸识别的工作流程中，控制器105配置为执行如下步骤：将具备识别特征点的人脸图像通过通信单元103传输至外部的服务器200进行人脸识别；接收外部的服务器回传的人脸识别结果；根据人脸识别结果启动对应的互动模式。除此之外，控制器105还可配置为对人脸图像进行初步的处理。

机器人可常规地处于待机或休眠状态，等待使用者的启动(例如人声呼唤)。在一个实例中，语音信号采集单元106采集语音信号，语音信号识别单元106可以识别语音信号中的人脸识别启动指令并传输给控制器105，控制器105响应于这一启动指令，据此开启图像采集单元101开始工作。当然可以理解，控制器105可以在其它状况下开启图像采集单元101。例如控制器105响应于使用者的开关按钮开启图像采集单元101。

本实施例的一个特点是，人脸识别的大部分工作并不利用机器人的内部资源完成，而是依靠外部的服务器。机器人100对捕捉的外部场景图像所进行的处理步骤是初步处理，旨在从中选定存在人脸的人脸图像，然后将这些人脸图像以及人脸识别请求发送给服务器200，请求执行人脸识别。服务器200配备了执行人脸识别算法的程序，可以响应于人脸识别请求，对图像进行特征点分析，并与人脸库进行比对，获得人脸识别信息。在此，服务器200中的人脸识别算法可以使用已知的算法，在此不再详细展开。

在图像识别单元102中，还可以判断一外部场景图像是否包含具备识别特征点的人脸图像，如果有则获取该人脸图像，如果没有则通知图像采集单元101继续捕捉外部场景图像。

通信单元103可以使用多种方式来传输人脸图像给服务器200。例如通信单元103可通过无线局域网传输人脸图像到本地服务器。本地服务器的例子是设于家庭或者其它小型场所中的个人计算机或者工作站，其上运行人脸识别软件。人脸识别软件中可预先建立家庭成员的人脸库，供比对识别。通信单元105还可通过接入互联网的无线局域网传输人脸图像到云端服务器。云端服务器可预先获得并建立家庭成员的人脸库，供比对识别。作为替代，通信单元103还可通过移动互联网传输人脸图像到云端服务器。在商业服务机器人典型地使用云端服务器以存储足够容量的人脸库及提供足够强大的处理资源。

在上述的例子中，人脸识别启动指令是包含在语音信号中。在替代例子中，人脸识别启动指令也可以包含在触摸信号或者无线信号中。例如机器人包括触摸信号检测单元、连接该触摸信号检测单元和该控制器的触摸信号识别单元，该触摸信号检测单元用于检测触摸动作以产生该触摸信号，该触摸信号识别单元用于识别该触摸信号中的人脸识别启动指令；或者机器人包括无线信号通讯单元、连接该无线信号通讯单元和该控制器的无线信号识别单元，该无线信号通讯单元用于接收外部传输的无线信号，该无线信号识别单元用于识别该无线信号中的人脸识别启动指令。

执行单元104可包括行走机构、肢体动作机构、表情控制机构以及扬声器等。执行单元104将按照控制器105指定的各种不同互动模式与个人展开互动。可以用不同的维度来定义互动模式，例如配合度、亲密度、以及智能度。配合度表征机器人对个体的指令的配合程度。机器人可以对个体的一些指令给出积极配合，而对另一些指令不做出配合。亲密度表征机器人与个体接触的亲密程度，例如距离远近、友好动作(例如拥抱)/表情(例如笑脸)、不友好动作/表情的有无和/或频率等。智能度表征机器人的智能等级，例如记忆、运算、比较、判断、学习和逻辑推理等技能的多少。通过配合度、亲密度、以及智能度的配合，可以定义各种各样个性化的互动模式。这些互动模式还可随着机器人与个体的长期互动过程不断修正和演化，以体现互动的成果。

上述的互动模式的各个维度都可以通过执行单元104的行走机构、肢体动作机构、表情控制机构以及扬声器，或者其它可用的机构体现。例如亲密度中的距离远近可通过行走机构执行，友好/不友好动作可通过肢体动作机构执行，友好/不友好表情可通过表情控制机构执行。而机器人与人之间的语音互动可通过语音信号采集单元和扬声器执行。

当然可以理解，在不同的场合，互动模式的定义方式可以做出调整，例如在商业服务型机器人中，不同的互动模式可以反映机器人对不同个体的偏好、性格等方面的认知。无论在哪一种场合中，都可以建立不同的特征资料库，这些特征资料库可以与人脸识别结果(例如人脸识别结果指向的个体)关联，并在特征资料库中包含互动模式。控制器105可在人脸识别后载入特征资料库，从而启动其中包含的互动模式。

图3示出本发明一实施例的人脸识别方法流程图。该方法可以在图1、图2所示的***中执行，也可以在其它***中执行。参考图3所示，本实施例的一种机器人的人脸识别方法，包括以下步骤：

在步骤301，捕捉一个以上的外部场景图像；

在步骤302，从一个以上的外部场景图像中获取具备识别特征点的人脸图像；

在步骤303，将具备识别特征点的人脸图像传输至外部的服务器以供该服务器进行人脸识别；

在步骤304，接收从服务器回传的人脸识别结果；

在步骤305，根据人脸识别结果启动对应的互动模式。

在步骤302中，从一个以上的外部场景图像中获取具备识别特征点的人脸图像的步骤包括：a.判断一外部场景图像是否包含具备识别特征点的人脸图像；b.如果该外部场景图像包含具备识别特征点的人脸图像，则进入步骤d，否则进入步骤c；c.继续捕捉外部场景图像，并返回步骤a；d.获取该人脸图像。

在步骤305之前，可以载入与该人脸识别结果关联的特征资料库，该特征资料库中包含上述互动模式。

本发明上述实施例的具有人脸识别功能的机器人和人脸识别方法，通过搭载在机器人上的图像采集设备在场景中捕捉到图像，然后在本地做基本的人脸分析处理，找出人脸图像后上传到服务器，在服务器利用人脸识别算法对上传的人脸进行特征点分析，与人脸库进行比对，获得人脸识别结果。最后将人脸识别结果从服务器回传到机器人，可以针对不同个体作出不同互动模式，从而实现了互动模式的个性化。本发明的人脸识别的部分工作都不依赖机器人的资源进行，可以使得机器人的硬件配置和成本降低，而且提高了人脸识别的效率。

虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可作出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims (14)

1.一种具有人脸识别功能的机器人，其与外部的服务器配合，其特征在于，包括：

图像采集单元，用于捕捉一个以上的外部场景图像；

图像识别单元，用于从一个以上的外部场景图像中获取具备识别特征点的人脸图像；

通信单元，用于与外部的服务器进行通信；

控制器，连接该图像识别单元和该通信单元，用于将具备识别特征点的人脸图像通过该通信单元传输至外部的服务器进行人脸识别并接收外部的服务器回传的人脸识别结果，根据该人脸识别结果启动对应的互动模式。

2.如权利要求1所述的具有人脸识别功能的机器人，其特征在于，该控制器响应于人脸识别启动指令而开启该图像采集单元。

3.如权利要求2所述的具有人脸识别功能的机器人，其特征在于，该人脸识别启动指令包含在语音信号中，该机器人还包括语音信号采集单元、连接该语音信号采集单元和该控制器的语音信号识别单元，该语音信号采集单元用于采集外部输入的语音信号，该语音信号识别单元用于识别该语音信号中的人脸识别启动指令；或该人脸识别启动指令包含在触摸信号中，该机器人还包括触摸信号检测单元、连接该触摸信号检测单元和该控制器的触摸信号识别单元，该触摸信号检测单元用于检测触摸动作以产生该触摸信号，该触摸信号识别单元用于识别该触摸信号中的人脸识别启动指令；或该人脸识别启动指令包含在无线信号中，该机器人还包括无线信号通讯单元、连接该无线信号通讯单元和该控制器的无线信号识别单元，该无线信号通讯单元用于接收外部传输的无线信号，该无线信号识别单元用于识别该无线信号中的人脸识别启动指令。

4.如权利要求1所述的具有人脸识别功能的机器人，其特征在于，该控制器在图像识别单元从一个以上的外部场景图像中获取具备识别特征点的人脸图像之后还排除不具备识别特征点的人脸图像。

5.如权利要求1所述的具有人脸识别功能的机器人，其特征在于，该控制器用于载入与该人脸识别结果关联的特征资料库，该互动模式包含在该特征资料库中。

6.如权利要求1所述的具有人脸识别功能的机器人，其特征在于，该互动模式由以下参数至少其中之一定义：配合度、亲密度、以及智能度，其中该配合度表征机器人对个体指令的配合程度，该亲密度表征机器人与个体接触的亲密程度，该智能度表征机器人的智能等级。

7.如权利要求1所述的具有人脸识别功能的机器人，其特征在于，该通信单元将该具备识别特征点的人脸图像传输至外部的服务器的方式包括以下其中之一：

通过无线局域网传输该人脸图像到一本地服务器；

通过接入互联网的无线局域网传输该人脸图像到一云端服务器；

通过移动互联网传输该人脸图像到一云端服务器。

8.一种应用权利要求1-7任一项所述具有人脸识别功能的机器人的人脸识别方法，其特征在于，包括以下步骤：

捕捉一个以上的外部场景图像；

从一个以上的外部场景图像中获取具备识别特征点的人脸图像；

将具备识别特征点的人脸图像传输至外部的服务器以供该服务器进行人脸识别；

并接收该服务器回传的人脸识别结果；以及

根据该人脸识别结果启动对应的互动模式。

9.如权利要求8所述的人脸识别方法，还包括以下步骤：

响应于人脸识别启动指令，开启捕捉一个以上的外部场景图像。

10.如权利要求9所述的人脸识别方法，其特征在于，该人脸识别启动指令包含在语音信号中，所述响应于人脸识别启动指令为：采集外部输入的语音信号，识别该语音信号中的人脸识别启动指令并进行响应；或

该人脸识别启动指令包含在触摸信号中，所述响应于人脸识别启动指令为：检测触摸动作以产生该触摸信号，识别该触摸信号中的人脸识别启动指令并进行响应；或

该人脸识别启动指令包含在无线信号中，所述响应于人脸识别启动指令为：接收外部传输的无线信号，识别该无线信号中的人脸识别启动指令并进行响应。

11.如权利要求8所述的人脸识别方法，其特征在于，从一个以上的外部场景图像中获取具备识别特征点的人脸图像的步骤包括：

a.判断一外部场景图像是否包含具备识别特征点的人脸图像；

b.如果该外部场景图像包含具备识别特征点的人脸图像，则进入步骤d，否则进入步骤c；

c.继续捕捉外部场景图像，并返回步骤a；

d.获取该人脸图像。

12.如权利要求8所述的人脸识别方法，其特征在于，根据该人脸识别结果启动对应的互动模式之前还包括：载入与该人脸识别结果关联的特征资料库，该互动模式包含在该特征资料库中。

13.如权利要求8所述的人脸识别方法，其特征在于，该互动模式由以下参数的至少其中之一定义：配合度、亲密度、以及智能度，其中该配合度表征机器人对个体指令的配合程度，该亲密度表征机器人与个体接触的亲密程度，该智能度表征机器人的智能等级。

14.如权利要求8所述的人脸识别方法，其特征在于，将该具备识别特征点的人脸图像传输至外部的服务器的方式包括以下其中之一：

通过无线局域网传输该人脸图像到一本地服务器；

通过接入互联网的无线局域网传输该人脸图像到一云端服务器；

通过移动互联网传输该人脸图像到一云端服务器。