CN105182983A - 基于移动机器人的人脸实时跟踪方法和跟踪*** - Google Patents

Abstract

本发明涉及种基于移动机器人的人脸实时跟踪方法，包括以下步骤：利用深度摄像头拍照采集目标的脸部图像信息、距离信息；利用红外温度传感器采集体温信息；利用人脸检测模块确认是否为活的人脸信息，并利用特征对比识别模块确认目标的身份；利用控制驱动模块控制机械运动模块移动机器人，避开错误目标，或实时跟踪经确认身份的目标。

Description

基于移动机器人的人脸实时跟踪方法和跟踪***

技术领域

本发明涉及移动机器人领域，特别涉及一种基于移动机器人的人脸实时跟踪方法和跟踪***。

背景技术

与70年代的机器人浪潮相比，现在的机器人研究有两个特点：一是对机器人的智能定位有了更加符合实际的标准，也就是不要机器人具有像人类一样的高智能，而是只要求机器人在某种程度上具有自主处理问题的能力；另一个特点是许多新技术及控制方法(例如，神经网络、传感器融合、虚拟现实、计算机视觉以及多agent技术等)被引入到机器人的研究中，研究重点的转变使得机器人研究走向了健康而平稳发展的道路，并不断取得新的研究成果。

随着传感器、控制、驱动以及新材料等技术的发展，近年来移动机器人的研究在多方面取得了很大的进展。另外，移动机器人具有较高的智能水平且可用于服务业及其他范围中，大大增强了机器人的应用范围和功能。据专家预测，智能机器人的数量最终超过工业机器人。目前，许多国家都在从事智能机器人的研究，作为世界机器人生产前茅的日本一直比较重视民用智能机器人的发展。它主要用于三个方面：一是家务劳动和环境应用，包括服务机器人及相关的家务劳动自动化；二是生活支持应用，为老年人和身体残疾者提供帮助；三是生活和教育方面的应用。从世界范围来看，一些经济和技术实力比较雄厚的国家均制定了自己近期和长期机器人发展计划，如美国、法国、日本和意大利等。

路径跟踪技术是移动机器人***中重要的模块之一。移动机器人有多种路径跟踪技术，根据环境信息的完整程度、路径跟踪指示信号类型、路径跟踪地域等因素不同，主要包括基于地图路径跟踪、基于路标路径跟踪、基于视觉路径跟踪以及基于感知器路径跟踪等。

机器视觉是用摄像机和计算机来代替人眼和大脑，对周围环境进行感知、解释和理解。目标跟踪作为机器视觉领域的一个重要研究方向，在诸多领域有着广泛的应用前景，随着近年来机器人技术的迅猛发展，基于视觉的机器人目标跟踪成为研究的热点。

发明内容

有鉴于此，本发明提供一种基于移动机器人的人脸实时跟踪方法和跟踪***。

一种基于移动机器人的人脸实时跟踪方法，包括以下步骤：

向机器人发出指令，要求机器人与身份信息库中一预定人脸进行交互；

寻找目标，利用深度摄像头拍照采集目标的脸部图像信息、距离信息；同时利用红外温度传感器采集目标的体温信息；

将脸部图像信息、距离信息以及体温信息传送至人脸检测模块，判断被检测目标是否为人脸以及是否为活动生命体，当被检测目标为非人脸或非活的生命体时，启动驱动跟踪模块进行移动机器人，以避开被测目标；当被检测目标为活的人脸时，继续执行后续动作；

经过人脸检测模块检测后，将活的人脸信息传送到特征提取模块，提取特征信息；

将所提取的特征信息传送到特征对比识别模块，使其与身份信息库中的信息进行对比，从而识别目标是否为所述身份信息库中的预定人脸，当确认不是预定人脸时，启动驱动跟踪模块进行移动机器人，以避开被测目标；当确认是预定人脸时，进行交互活动；

将目标被确认是预定人脸后，将目标的距离信息传送至驱动跟踪模块，利用驱动跟踪模块调整机器人的移动，使得深度摄像头和红外温度传感器和目标的距离保持在合适的距离范围，确保机器人与目标的交互过程正常进行。

优选地，所述人脸检测模块的检测过程包括以下步骤：

调整深度摄像头拍照角度，使得目标人脸显示在深度摄像头所获取的视频图像的中心位置，D代表深度摄像头获取的处于图像中心的目标的距离；

在所述深度摄像头拍照的同时，利用红外温度传感器获取目标的温度，T代表红外温度传感器测量的温度；

T_d代表经距离修正的人脸表面温度，当T_d，T以及D满足表达式T_d＝f(T,D)，Tmin，Tmax分别为最小和最大温度值，当Tmin<T_d<Tmax时，检测目标为活的人脸。

优选地，所述机器人与目标进行交互活动过程中，利用一位置反馈模块实时反馈目标的位置信息至所述控制驱动模块，该控制驱动模块实时控制所述机械运动模块移动机器人，对目标进行实时跟踪，确保目标始终处于所述深度摄像头的视频图像的中心位置，且处于所述红外温度传感器的检测范围。

另外，本发明还提供一种基于移动机器人的人脸实时跟踪***，包括：信息采集模块、人脸检测模块、特征提取模块、身份信息库、特征对比识别模块、控制驱动模块以及机械运动模块，所述信息采集模块包括深度摄像头和红外温度传感器，所述深度摄像头采集目标的脸部图像信息、目标的位置信息，所述红外温度传感器采集目标的体温信息，所述信息采集模块将所述脸部图像信息、位置信息、体温信息传送至所述人脸检测模块，所述人脸检测模块判断被测目标是否为活的人脸，当检测结果非活的人脸时，将该结果信息传送至控制驱动模块，控制所述机械运动模块移动机器人避开当前目标，当检测结果为活的人脸时，将该结果信息传送至所述特征提取模块，所述特征提取模块提取目标的特征信息并将所述特征信息传送至所述特征对比识别模块，所述特征对比识别模块将目标的特征信息与所述身份信息库中的特征信息进行对比识别，当识别结果为身份信息库中预定的目标人脸时，机器人进行人机交互，当识别结果非份信息库中预定的目标人脸时，将该结果信息传送至控制驱动模块，控制所述机械运动模块移动机器人避开当前目标。

优选地，所述基于移动机器人的人脸实时跟踪***，还包括一位置反馈模块，用于实时反馈目标的位置信息至所述控制驱动模块。

优选地，所述基于移动机器人的人脸实时跟踪***中，所述机械运动模块包括底盘驱动轮和头部旋转件，所述底盘驱动轮驱动机器人底盘移动，所述头部旋转件驱动机器人头部旋转，从而调整所述深度摄像头的拍摄范围。

优选地，所述机械运动模块的头部旋转件包括第一头部旋转件和第二头部旋转件，所述第一头部旋转件驱动机器人的头部在竖直方向的空间内旋转，所述第二头部旋转件驱动机器人的头部在水平方向的空间内内旋转。

与现有技术相比，本发明具有以下优点：

首先，在信息采集模块中，利用深度摄像头和红外温度传感器结合起来，综合利用人脸图像信息和体温信息共同作为检测判断人脸的信息，以从两个方面进行人脸的检测。

其次，利用控制驱动模块、机械运动模块、位置反馈模块的协同作用，控制机器人底盘的移动以及控制机器人头部的旋转，使得在人机交互过程中，达成对目标的实时跟踪。

附图说明

图1是本发明基于移动机器人的人脸实时跟踪***示意图。

图2是图1中人脸检测模块的工作流程示意图。

图3是本发明基于移动机器人的人脸实时跟踪***应用于机器人的一个实施方式示意图。

图4是本发明基于移动机器人的人脸实时跟踪方法的流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施方案，对本发明进行详细说明。应当理解，此处所描述的具体实施方案仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于移动机器人的人脸实时跟踪方法和跟踪***。

如图1所示，基于移动机器人的人脸实时跟踪***100，包括信息采集模块110、人脸检测模块120、特征提取模块130、身份信息库140、特征对比识别模块150、控制驱动模块160、机械运动模块170以及位置反馈模块180。

信息采集模块110包括深度摄像头111和红外温度传感器112。深度摄像头110对周围环境中的物体进行拍照，用于获取人脸图像信息、人脸的距离信息(或者位置信息)。红外温度传感器120用于获取目标人体的温度，以便确定被测目标是活的人体。

人脸检测模块120是要将周围环境中人的特点和环境中其他物体的特点区分开来。本发明中，一方面，通过人脸图像特征的检测可以将人脸和其他动物、家具、家电等物体区别开来；另一方面，通过体温信息的检测，可以判断被检测目标是活的生命体。经过这两种信息的综合检测，可以确定被测目标为活人。

人脸检测模块120的工作流程如图2所示。其中，所用到的人脸检测算法可以是常用的算法，例如基于Harr特征的级联分类器，或基于LBP特征的级联分类器等。人脸检测模块120的检测过程包括以下步骤：机器人随机移动寻找目标人脸，通过信息采集模块110的深度摄像头111检测人脸，调整机器人头部角度，使得所检测的目标人脸显示在机器人所获取的视频图像的中心位置，红外温度传感器120获取目标的温度，T代表红外温度传感器测量的温度，D代表深度摄像头获取的处于图像中心的目标物件(例如人脸)的距离，T_d是经距离修正的真实人脸表面温度，T_d，T以及D的关系表达式为：T_d＝f(T,D)，Tmin，Tmax分别为最小和最大温度值。例如Tmin＝34℃，Tmax＝38℃。如果T_d的范围介于Tmin和Tmax之间，检测结果确认目标即为活的人脸。

例如，当被测目标是家电时，由于家电的温度和人体温度差别很大，T_d不会介于Tmin和Tmax之间，经过人脸检测模块120后可判断被测目标非人体，从而驱动机器人进行避让运动。当被检测目标为人体时，继续进行后续的动作。

特征提取模块130是选择合适的特征，使得人体识别的准确率较高。

本发明中，提取的特征包括人脸图像特征和人体温度特征。人脸图像特征通常分为几何特征、代数特征等。几何特征是以人脸器官的形状和几何关系为基础的特征，包括几何特征曲率和面部几何特征点。几何特征曲率是指人脸的轮廓线曲率。面部几何特征点包括眼睛、鼻子、嘴、下巴等各个器官，以及它们之间的相对位置和距离。这些特征具有位置、视点、大小等不变性。要求选取几何特征具有一定的独特性，能够反映不同人脸之间的差别，同时又具有一定的弹性以消除时间跨度、光照等因素的影响。代数特征是将人脸图像用特定的变换方法投影在降维子空间，形成人脸的代数特征。如经过奇异值变换得到奇异值特征、经过K-L变换得到特征脸特征、小波变换得到的小波特征等。

人脸特征的提取就是针对人脸的某些特征进行的，例如，根据人脸几何特征实现人脸特征的提取。

身份信息库140中存储有机器人***中预先录入的人的特征信息。例如，本发明***用于家用服务机器人时，家庭成员的身份信息可以预先通过拍摄人脸图像，将人脸的特征信息记载道身份信息库150中。

特征对比识别模块150，为了将特征提取模块130所提取的目标特征信息和身份信息库140中的特征信息通过算法进行对比，判断目标人脸是否为身份信息库140中的某一人。例如，将目标人脸的特征与身份信息库140中存储的某一人的特征通过一定的算法对比，计算二者的马氏距离，如果马氏距离小于指定阈值，则认为目标就是身份信息库140中的这个人。

例如，家庭成员1向机器人发出指令，要求机器人跟家庭成员2讲故事。机器人接到指令后，开始在家中移动，寻找家庭成员2，当机器人移动到某一人的跟前时，开始拍照采集人脸图像信息、距离信息，同时采集体温信息，经过人脸检测模块120分析后发现被测目标是一个活人，接下来提取被测人脸的特征信息，然后和身份信息库中预先存储的家庭成员2的特征信息进行对比，利用特征对比识别模块150计算出目标人脸的特征数据和身份信息库140存储的家庭成员2的特征数据的马氏距离，如果马氏距离小于指定阈值，则认为目标就是家庭成员2。接下来，机器人开始和目标(即家庭成员2)进行交互，即，给家庭成员2讲故事。

控制驱动模块160是在机器人和目标进行交互过程中，控制机械运动模块170的运动行为。第一，可以根据特征对比识别模块150的指令，例如识别结果不是所要跟踪的目标人脸时，指示控制驱动模块160控制机械运动模块170进行移动机器人的位置，搜索下一个目标。第二，也可以根据人脸检测模块120的指令寻找下一个目标，例如人脸检测模块120检测出的目标不是人脸，例如是家电时，指示控制驱动模块160控制机械运动模块170进行移动机器人的位置，避开家电，并搜索下一个目标。第三，可根据位置反馈模块180反馈出的人脸的位置信息(或距离信息)，指示控制驱动模块160控制机械运动模块170，例如可以控制底盘驱动轮驱动机器人整体移动，也可以控制机器人头部旋转件驱动机器人头部旋转，使得深度摄像头的拍摄角度发生变化，从而实时对目标人脸图像进行拍摄。例如，机器人给家庭成员2讲故事的过程中，家庭成员2可能不是静止不动的，随着家庭成员2的走动，机器人要进行实时跟踪。

机械运动模块170包括底盘驱动轮171和头部旋转件172。底盘驱动轮171数量不限，本实施例中为两个底盘驱动轮171，安装于机器人的底部，用于驱动机器人整体移动，以调整机器人与目标之间的距离。头部旋转件172设置于机器人的头部或颈部，使得机器人的头部可以自由旋转，从而调整深度摄像头111的拍摄范围。头部旋转件172包括第一头部旋转件172a和第二头部旋转件172b，第一头部旋转件172a使得机器人的头部在竖直方向的空间内旋转，第二头部旋转件172b使得机器人的头部在水平方向的空间内内旋转，使得机器人的头部根据被测目标人脸的位置调整深度摄像头111的拍摄范围，已获得准确的人脸图像信息。

如图3所示，本发明的基于移动机器人的人脸实时跟踪***，应用到一家用服务机器人上的机器人结构示意图。所示机器人结构包括头部11、机身12以及底盘13。机器人头部11上设深度摄像头111和红外温度传感器112。人脸检测模块120、特征提取模块130、身份信息库140、特征对比识别模块150、控制驱动模块160均设置在机身12内部。机械运动模块170的底盘驱动轮171设置在底盘13，机械运动模块170的头部旋转件172设置在机器人的颈部。机械运动模块170均与控制驱动模块160电连接，受控制驱动模块160的控制而进行运动或旋转。位置反馈模块180一端和机械运动模块170电连接，一端与控制驱动模块160电连接。

如图4所示，本发明基于移动机器人的人脸实时跟踪方法，包括以下步骤：

S201：启动机器人，向机器人发出指令，要求机器人与身份信息库中的预定目标进行交互。

机器人在进行人机交互之前，根据需要建立身份信息库。例如将家庭所有成员的特征信息录入到身份信息库140中，并进行一一对应，每个家庭成员对应自己特有的特征信息。录入过程，即，利用深度摄像头111对每个家庭成员进行拍照采集其人脸特征信息，并进行存储、记录。

本实施例中，例如，向机器人发出指令，要求机器人跟家庭成员2进行交换，例如，机器人给家庭成员2讲故事。

S202：寻找目标，利用深度摄像头111拍照采集目标的脸部图像信息、距离信息；同时利用红外温度传感器112采集目标的体温信息。

机器人接到指令后，开始在家中移动，寻找目标，当机器人移动到某一目标的跟前时，利用深度摄像头111对跟前的目标进行拍照，采集目标的脸部图像信息、距离信息；同时利用红外温度传感器112采集体温信息。

S203：将S202步获得的脸部图像信息、距离信息以及体温信息传送至人脸检测模块120，判断被检测目标是否为人脸以及是否为活动生命体，当被检测目标不是人脸，或者是人的照片但是根据体温信息判定不是活的人时，该信息传送至控制驱动模块160，控制驱动模块160控制机械运动模块170移动机器人，以避开被测目标，寻找另一目标；当被检测目标为活的人脸时，继续执行后续动作。

例如，当目标是宠物狗时，通过人脸检测模块120可判断出目标非人脸，该信息传送至控制驱动模块160，控制驱动模块160控制机械运动模块170移动机器人，避开宠物狗，寻找另一个目标。当目标是人的照片时，人脸检测模块120虽然检测到人脸图像，但是综合体温信息，判断不是活的生命体，该信息传送至控制驱动模块160，控制驱动模块160控制机械运动模块170移动机器人，避开人的照片，寻找另一个目标。当被检测目标的体温为活的生命体的温度范围，且脸部图像信息为人脸，则进入下一步过程。

S204：经过人脸检测模块120检测后，确认为活的人脸信息传送到特征提取模块130，提取特征信息。

S205：将所提取的特征信息传送到特征对比识别模块150，使其与身份信息库140中的信息进行对比，从而识别目标是否为身份信息库140中家庭成员2的特征信息，当确认不是家庭成员2时，该信息传送至控制驱动模块160，控制驱动模块160控制机械运动模块170移动机器人，避开目标，寻找另一个目标；当对别识别后确认为家庭成员2时，进行交互活动。

S206：当目标被确认为家庭成员2时，将目标的距离信息传送至控制驱动模块160，利用控制驱动模块160控制机械运动模块170移动机器人，使得深度摄像头111和红外温度传感器112和目标的距离保持在合适的距离范围，即，目标实时处于深度摄像头111对人脸的精确拍摄角度范围内，红外温度传感器112测量体温的有效距离范围内，从而确保机器人与目标的交互过程正常进行。

机器人给家庭成员2讲故事的过程中，家庭成员2可能不是静止不动的，随着家庭成员2的走动，位置反馈模块180实时反馈目标(即家庭成员2)的位置信息(即距离信息)至控制驱动模块160，使得控制驱动模块160实时控制机械运动模块170移动机器人，对家庭成员2进行实时跟踪，确保家庭成员2始终处于深度摄像头111的拍摄范围，且处于红外温度传感器112的检测范围，使得交互过程持续进行。避免交互过程中家庭成员2移动出机器人的拍摄范围、体温感测范围之外，从而中断交互过程。

与现有技术相比，本发明具有以下优点：

首先，在信息采集模块中，利用深度摄像头和红外温度传感器结合起来，综合利用人脸图像信息和体温信息共同作为检测判断人脸的信息，以从两个方面进行人脸的检测。

其次，利用控制驱动模块160、机械运动模块170、位置反馈模块的协同作用，控制机器人底盘的移动以及控制机器人头部的旋转，使得在人机交互过程中，达成对目标的实时跟踪。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其他形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (7)

1.一种基于移动机器人的人脸实时跟踪方法，包括以下步骤：

向机器人发出指令，要求机器人与身份信息库中一预定人脸进行交互；

寻找目标，利用深度摄像头拍照采集目标的脸部图像信息、距离信息；同时利用红外温度传感器采集目标的体温信息；

将脸部图像信息、距离信息以及体温信息传送至人脸检测模块，判断被检测目标是否为人脸以及是否为活动生命体，当被检测目标为非人脸或非活的生命体时，启动驱动跟踪模块进行移动机器人，以避开被测目标；当被检测目标为活的人脸时，继续执行后续动作；

经过人脸检测模块检测后，将活的人脸信息传送到特征提取模块，提取特征信息；

将所提取的特征信息传送到特征对比识别模块，使其与身份信息库中的信息进行对比，从而识别目标是否为所述身份信息库中的预定人脸，当确认不是预定人脸时，启动驱动跟踪模块进行移动机器人，以避开被测目标；当确认是预定人脸时，进行交互活动；

将目标被确认是预定人脸后，将目标的距离信息传送至驱动跟踪模块，利用驱动跟踪模块调整机器人的移动，使得深度摄像头和红外温度传感器和目标的距离保持在合适的距离范围，确保机器人与目标的交互过程正常进行。

2.如权利要1所述的方法，其特征在于，所述人脸检测模块的检测过程包括以下步骤：

调整深度摄像头拍照角度，使得目标人脸显示在深度摄像头所获取的视频图像的中心位置，D代表深度摄像头获取的处于图像中心的目标的距离；

在所述深度摄像头拍照的同时，利用红外温度传感器获取目标的温度，T代表红外温度传感器测量的温度；

T_d代表经距离修正的人脸表面温度，当T_d，T以及D满足表达式T_d＝f(T,D)，Tmin，Tmax分别为最小和最大温度值，当Tmin<T_d<Tmax时，检测目标为活的人脸。

3.如权利要1所述的方法，其特征在于，所述机器人与目标进行交互活动过程中，利用一位置反馈模块实时反馈目标的位置信息至所述控制驱动模块，该控制驱动模块实时控制所述机械运动模块移动机器人，对目标进行实时跟踪，确保目标始终处于所述深度摄像头的视频图像的中心位置，且处于所述红外温度传感器的检测范围。

4.一种基于移动机器人的人脸实时跟踪***，包括：信息采集模块、人脸检测模块、特征提取模块、身份信息库、特征对比识别模块、控制驱动模块以及机械运动模块，所述信息采集模块包括深度摄像头和红外温度传感器，所述深度摄像头采集目标的脸部图像信息、目标的位置信息，所述红外温度传感器采集目标的体温信息，所述信息采集模块将所述脸部图像信息、位置信息、体温信息传送至所述人脸检测模块，所述人脸检测模块判断被测目标是否为活的人脸，当检测结果非活的人脸时，将该结果信息传送至控制驱动模块，控制所述机械运动模块移动机器人避开当前目标，当检测结果为活的人脸时，将该结果信息传送至所述特征提取模块，所述特征提取模块提取目标的特征信息并将所述特征信息传送至所述特征对比识别模块，所述特征对比识别模块将目标的特征信息与所述身份信息库中的特征信息进行对比识别，当识别结果为身份信息库中预定的目标人脸时，机器人进行人机交互，当识别结果非份信息库中预定的目标人脸时，将该结果信息传送至控制驱动模块，控制所述机械运动模块移动机器人避开当前目标。

5.如权利要求4所述的基于移动机器人的人脸实时跟踪***，其特征在于，还包括一位置反馈模块，用于实时反馈目标的位置信息至所述控制驱动模块。

6.如权利要求4所述的基于移动机器人的人脸实时跟踪***，其特征在于，所述机械运动模块包括底盘驱动轮和头部旋转件，所述底盘驱动轮驱动机器人底盘移动，所述头部旋转件驱动机器人头部旋转，从而调整所述深度摄像头的拍摄范围。

7.如权利要求6所述的基于移动机器人的人脸实时跟踪***，其特征在于，所述头部旋转件包括第一头部旋转件和第二头部旋转件，所述第一头部旋转件驱动机器人的头部在竖直方向的空间内旋转，所述第二头部旋转件驱动机器人的头部在水平方向的空间内内旋转。