CN103679203A - 机器人的人脸检测与情感识别***及方法 - Google Patents

机器人的人脸检测与情感识别***及方法 Download PDF

Info

Publication number
CN103679203A
CN103679203A CN201310694112.7A CN201310694112A CN103679203A CN 103679203 A CN103679203 A CN 103679203A CN 201310694112 A CN201310694112 A CN 201310694112A CN 103679203 A CN103679203 A CN 103679203A
Authority
CN
China
Prior art keywords
expression
face
people
expressive features
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310694112.7A
Other languages
English (en)
Other versions
CN103679203B (zh
Inventor
蔡则苏
王丙祥
王玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIANGSU JIUXIANG AUTOMOBILE APPLIANCE GROUP CO Ltd
Original Assignee
JIANGSU JIUXIANG AUTOMOBILE APPLIANCE GROUP CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JIANGSU JIUXIANG AUTOMOBILE APPLIANCE GROUP CO Ltd filed Critical JIANGSU JIUXIANG AUTOMOBILE APPLIANCE GROUP CO Ltd
Priority to CN201310694112.7A priority Critical patent/CN103679203B/zh
Publication of CN103679203A publication Critical patent/CN103679203A/zh
Application granted granted Critical
Publication of CN103679203B publication Critical patent/CN103679203B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种机器人的人脸检测及情感识别***及方法,该***包括:人脸表情库采集模块,利用视频采集装置采集大量人脸表情彩色图像帧,进行处理后生成人脸表情库;原始表情库构建模块,利用人脸表情库的训练图像,对训练图像去除图像冗余信息后进行表情特征提取,形成原始表情特征库;特征库重构模块,使用基于距离哈希法将原始表情特征库重构为结构化的哈希表;现场表情特征提取模块,利用视频采集装置采集现场人脸表情彩色图像帧,并进行现场表情特征提取;表情识别模块,将该现场表情特征模块提取的现场表情特征在重构后的特征库中利用k近邻分类算法来识别人脸表情,通过本发明,可提升家居机器人的家庭监控和陪护能力。

Description

机器人的人脸检测与情感识别***及方法
技术领域
本发明涉及智能机器人技术领域,特别是涉及一种用于智能机器人的机器人的人脸检测与情感识别***及方法。
背景技术
现有的家庭服务机器人的人脸识别能力有限,尤其是情感识别能力非常有限,无法对家庭中老人或者儿童的情感状态进行全方位的识别,比如中国专利申请CN200720077448.9描述了一种具有人脸识别的智能机器人,其包括:具有腿部电机、手臂电机、脖子电机及喇叭的机器人本体;装设在所述机器人本体上且用于摄取人脸图像的摄像装置;以及用于将所述摄像装置摄取的人脸图像与预先存储的人脸图像进行比较以识别所摄取的人脸图像的人脸识别单元;中国专利申请 201220365083.0描述了一种人脸识别的安保机器人,其由安保机器人本体、安装在所述安保机器人本体表面用于摄取人脸图像的摄像装置、装在所属安保机器人本体内部且用于将所述摄像装置摄取的人脸图像与预先存储的人脸图像进行比较识别的人脸识别模块、用于处理数据且向其它模块发送指令的数据处理模块、用于供使用者发出指示以使安保机器人执行安防动作的远程遥控模块组成,这两件专利申请中的人脸识别模块,仅仅通过所述摄像装置摄取的人脸图像与预先存储的人脸图像进行比较以识别所摄取的人脸图像,但识别能力有限,特别是针对存储较多人脸图像时,无法有效完成人脸的识别。
另外,中国实用新型专利CN201120506957.5则提供了一种助老与助残机器人,其包括一个能够旋转的单目视觉***、用于识别生活用品和来访客人以及障碍物体、一双用于实现人手动作的五指形仿人机械手和用于驱动机器人行走的三角联动轮驱动结构该助老与助残机器人尽管具有防盗监测、安全检查、监护诊疗、辅助行走、物品搬运、家电控制、清洁卫生、家庭娱乐、报时催醒、儿童教育等功能,但没有人脸检测和情感识别的功能,无法对家庭中的老人和孩子的状态进行有效识别。
综上所述,现有针对家庭机器人应用的人脸检测和情感识别***主要由可移动摄像头和固定摄像头组成,只是单纯实现人脸识别***,智能化程度有限,并且无法感知周围其他信息,不能对老人和孩子的情感状态进行综合分析,从而进行全方位的陪护服务。因此,实有必要提出一种技术手段,以解决上述问题。
发明内容
为克服上述现有技术存在的不足,本发明之主要目的在于提供一种机器人的人脸检测与情感识别***及方法,其使得机器人成为能够进行人脸识别和情感识别的家庭监控机器人 ,实现了通过机器人提供老人情感状态监护和儿童的陪护的目的,提升了家居机器人的家庭监控和陪护能力。
为达上述及其它目的,本发明提出一种机器人的人脸检测及情感识别***,至少包括:
人脸表情库采集模块,利用视频采集装置采集大量人脸表情彩色图像帧,将其预处理后,利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位并进行人脸旋转,最后利用人脸几何结构特征对表情区精确定位,生成存储用于表情特征提取的训练图像集的人脸表情库;
原始表情库构建模块,利用人脸表情库的训练图像,对训练图像去除图像冗余信息后进行表情特征提取,并将表情特征保存为文件形成原始表情特征库;
特征库重构模块,使用基于距离哈希法将原始表情特征库重构为结构化的哈希表;
现场表情特征提取模块,从该视频采集装置采集现场人脸表情彩色图像帧进行预处理后,利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位,并进行人脸旋转,利用人脸几何结构特征对表情区精确定位,生成现场人脸表情图像,并对现象人脸表情图像进行现场表情特征提取;
表情识别模块,将该现场表情特征模块提取的现场表情特征在重构后的表情特征库中利用K近邻分类算法来识别人脸表情。
进一步地,该预处理为将彩色图像帧转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化。
进一步地,该原始表情库构建模块使用主成分分析法降维去除图像冗余信息,进行表情特征提取。
进一步地,该视频采集装置为摄像头,设置于该机器人的头部,其位置改变受控于该机器人的头部运动装置。
进一步地,该摄像头设置于该机器人的头部眼球中。
为达到上述目的,本发明还提供一种机器人的人脸检测及情感识别方法,包括如下步骤:
步骤一,从视频采集装置采集大量人脸表情彩色图像帧,将其预处理后,利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位并进行人脸旋转,最后利用人脸几何结构特征对表情区精确定位,生成存储用于表情特征提取的训练图像集的人脸表情库;
步骤二,利用人脸表情库的训练图像,去除图像冗余信息后进行表情特征提取,并将表情特征保存为文件形成原始表情特征库;
步骤三,使用基于距离哈希法将原始表情特征库重构为结构化的哈希表;
步骤四,从该视频采集装置中采集现场人脸表情彩色图像帧,将其预处理后,进行人脸检测、人眼检测、人脸旋转并利用人脸几何结构特征对表情区精确定位,生成现场人脸表情;
步骤五,利用现场人脸表情图像,去除图像冗余信息,进行现场表情特征提取;
步骤六,将现场提取的表情特征在重构的表情特征库中利用K近邻分类算法识别人脸表情。
进一步地,该预处理为将彩色图像帧转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化。
进一步地,于步骤二及步骤五中,使用主成分分析法降维去除图像冗余信息后,进行表情特征提取。
进一步地,利用主成分分析法进行特征提取是把该训练图像集转换为特征集,其中每一个主成分对应一个特征值,特征值越大其对应的主成分就越重要,按特征值从大到小的顺序选择一定数目的主成分构造表情特征。
进一步地,于步骤三中,基于距离哈希法将原始表情特征库重构为结构化的哈希表的步骤为创建个长度为的哈希表,将每一个表情特征分别***到该个哈希表中,将此哈希表作为检索数据库。
与现有技术相比,本发明一种机器人的人脸检测及情感识别***及方法通过训练表情提取、训练表情特征提取、重构表情特征、现场表情提取、现场表情特征提取及表情识别等步骤,使得机器人成为能够进行人脸识别和情感识别的家庭监控机器人 ,实现了通过机器人提供老人情感状态监护和儿童的陪护的目的,提升了家居机器人的家庭监控和陪护能力。
附图说明
图1为本发明所应用之机器人的的***架构图;
图2为本发明之较佳实施例中机器人的结构设置示意图;
图3为本发明一种机器人的人脸检测及情感识别***的***架构图;
图4为本发明较佳实施例中训练表情库主成分示意图;
图5为本发明较佳实施例中训练表情库平均图像示意图
图6为本发明一种机器人的人脸检测与情感识别方法的步骤流程图;
图7为本发明一种机器人的人脸检测与情感识别方法所采用的实验***界面示意图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式,本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用,本说明书中的各项细节亦可基于不同观点与应用,在不背离本发明的精神下进行各种修饰与变更。
在介绍本发明之人脸检测与情感识别***之前,先对本发明所应用之机器人的结构进行描述。图1为本发明所应用之机器人的的***架构图。如图1所示,本发明所应用之机器人包括主控***210、运动装置220、头部动作装置230、人机交互***240、视频采集模块250、无线收发模块260、语音采集模块270、里程测量装置280及遥控接收器290,主控***210控制机器人其他各部分协调工作,包括硬件和软件两部分,硬件由DSP、MCU等组成,软件上可划分为路径规划模块、障碍物检测、人脸检测、情感检测、环境检测、异常检测、里程信息以及信息融合模块,人脸检测和情感识别连接视频采集装置1,用于采集人脸信息和识别人的喜怒哀乐等表情,环境感知和异常检测连接视频采集模块2,主要用于感知外部环境和检测外部环境异常信息,里程信息连接里程信息测量装置280,以取得里程信息,障碍物检测连接超声波传感器,用于检测外部障碍物到机器人的距离,信息融合将外部视频采集模块、语音采集模块、超声波传感器、电量检测及充电模块采集到的信息及里程信息进行融合,以判断机器人该进行充电还是继续服务,是否需要规避障碍物,是否需要响应召唤命令;运动装置220包括底盘驱动器、电机驱动模块、直流电机M1/M2、驱动轮1/2及传动机构、万向轮、电池组、超声波传感器、电量检测及充电模块,运动装置主要用于接收主控***210命令以驱动机器人行走,在行走过程中完成超声波测距并回馈给主控***210以进行后续控制,在服务过程中及时检测电池电量并回馈给主控***210以判断是否需要进行充电;头部动作装置230包括头部控制器、舵机1/2及传动结构,用于接收主控***210的命令进行头部俯仰和左右旋转,由头部带动安装于头部的视频采集装置1/2的单目摄像头1/2的运动以获取图像信息,在本发明中,舵机1负责控制机器人脖子的俯仰转动,舵机2控制头部的左右转动,从而可以控制眼球(视频采集装置1和视频采集装置2)的转动;人机交互***240连接主控***210,其包括显示屏、键盘、发音***等常用输入输出设备,以利于显示机器人状态和人工输入信息命令;视频采集模块250包含视频采集装置1和视频采集装置2,视频采集装置1包含一普通单目摄像头及其采集电路,用于获取人脸检测和情感识别所需信息,视频采集装置2包含一广角单目摄像头及其采集电路,用于获取环境感知和异常检测所需信息,视频采集模块安装于机器人头部,其位置改变受控于头部运动装置230;无线收发模块260在主控***210控制下通过通信网络向用户(主人)发送信息和接收命令;语音采集模块270采集外界语音信息至主控***210以判断是否语音信息或命令;里程测量装置280用于测量行走里程并将里程信息上传给主控***210进行处理。
图2为本发明之较佳实施例中机器人的结构设置示意图。在本发明较佳实施例中,主控***通过通讯模块控制步进电机控制***控制机器人的左右手臂和头部转动,主控***之人脸检测与情感识别模块通过USB接口获取摄像头1所采集的人脸信息和识别人的喜怒哀乐等表情,环境检测模块通过USB接口获取获环境感知和异常检测所需信息,主控***通过分线器连接连接多个麦克(语音采集装置)采集外界语音信息以判断是否语音信息或命令;主控***与底盘控制器连接,通过底盘控制器控制下位机控制***以控制左右轮电机运动,同时利用超声波检测器进行超声波避障路径规划,并控制电量检测及充电模块进行电量检测及自动充电。
图3为本发明一种机器人的人脸检测及情感识别***的***架构图。如图3所示,本发明一种机器人的人脸检测及情感识别***,至少包括人脸表情库采集模块30、原始表情特征库构建模块31、特征库重构模块32、现场表情特征提取模块33以及表情识别模块34。
其中,人脸表情库采集模块30从视频采集装置1(摄像头)中采集大量人脸表情图像帧(彩色图像帧),将其转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化后(预处理),分别利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位,并进行人脸旋转,最后利用人脸几何结构特征对表情区精确定位,生成用于表情特征提取的训练图像集——人脸表情库。
在本发明较佳实施例中,人脸几何结构特征主要包括:“三庭五眼”。“三庭五眼”是人们通过长期观察总结出的人脸长与宽的一般标准比例。人脸从上到下由三个等长区域组成:发际线到眉毛,眉毛到鼻尖,鼻尖到下颚,这就是“三庭”;从左到右由五个等宽区域组成:左发际线到左外眼角,左外眼角到左内眼角,左内眼角到右内眼角,右内眼角到右外眼角,右外眼角到右发际线,这就是“五眼”。根据“三庭五眼”理论,可以精确定位眉毛到下颚,左外眼角到右外眼角这一矩形区域,这就是最终的人脸表情区域,对表情区进行精确定位后图像携带的无用信息减少了,这样不仅会提高表情识别的准确率,还会加快表情识别的速度,生成更有效的训练图像集,用于表情特征提取。
原始表情库构建模块31利用人脸表情库的训练图像,使用主成分分析法(PCA)降维去除图像冗余信息,进行表情特征提取,并将表情特征保存为文件形成原始表情特征库。
在本发明较佳实施例中,原始表情特征库的建立如下:
(1)使用PCA (Principal Component Analysis,主成分分析)提取人脸表情特征。
对于一副人脸图像来说,最能体现其表情特征的区域是嘴巴、眼睛和面颊。若能提取表情最显著的特征,识别准确率和效率都将有很大的提升。而提取人脸表情特征的一种简单有效的方法就是主成分分析(PCA)。令,那么一幅的人脸图像可表示成空间的一个向量,幅人脸图像组成的训练集可表示为,即一个的矩阵,其中。PCA的目标是通过一个基变换把原始数据X重新表示为Y,即。其中是矩阵,是矩阵。基于PCA的特征提取就是把训练集X转换为特征集Y。其中每一个主成分对应一个特征值,特征值越大其对应的主成分就越重要,按特征值从大到小的顺序选择一定数目的主成分构造表情特征,能够在保证较高识别率的前提下尽量降低特征的维度。
图4为本发明较佳实施例中训练表情库主成分示意图,图5为本发明较佳实施例中训练表情库平均图像示意图。如图4及图5,本发明分别针对标准的JAFFE表情库和针对特定个体采集的表情库(简称个性化库)进行试验。JAFFE库中包含7种表情(6种基本表情+1种平静态表情),共由213幅表情图片组成,其中140幅用来训练提取主成分。个性化库采集了900幅图片,其中450幅用来训练提取主成分。对训练表情库进行主成分分析得到的主成分和平均图像如图4、图5所示,其中(a)为JAFFE表情库,(b)为个性化库。实验发现表情库的主成分,即特征向量,同人脸检测的特征脸十分相似。
特征库重构模块32使用基于距离哈希法(DBH)将原始表情特征库重构为结构化的哈希表,用作提高表情识别效率。
对上述训练图像集进行PCA降维建立原始表情特征库后,该特征库是由多个表情特征组成的矩阵,识别时需将待测表情与特征库中的每一个特征进行相似度比对,当特征库的规模较大时识别的效率很低。为了避免在整个表情特征库中进行相似度比对,本发明使用基于距离哈希(Distance-Based Hashing, DBH)把特征库重构为结构化的哈希表,使特征库中的特征能够按相似度聚集。这样就只需在相应桶中进行检索,达到对原特征库进行裁剪的目的。基于DBH的人脸表情特征库重构基本思想是创建个长度为的哈希表,将每一个表情特征分别***到这个哈希表中,将此哈希表作为检索数据库。
现场表情特征提取模块33将从视频采集装置1采集的现场人脸表情彩色图像帧转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化,然后分别利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位,并进行人脸旋转,最后利用人脸几何结构特征对表情区精确定位,生成现场人脸表情,并使用主成分分析法(PCA)降维去除图像冗余信息,进行现场表情特征提取,将现场表情特征输送至表情识别模块34。
表情识别模块34将现场表情特征模块33提取的现场表情特征在重构后的表情特征库中利用K近邻分类算法(K-Nearest Neighbor algorithm,KNN)来识别人脸表情,以此来指导机器人对老人和儿童的行为进行预测。
图6为本发明一种机器人的人脸检测与情感识别方法的步骤流程图。如图4所示,本发明一种机器人的人脸检测与情感识别方法,包括如下步骤:
步骤601,训练表情提取。首先从视频采集装置(摄像头)中采集大量人脸表情彩色图像帧,将其转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化,接着进行利用人脸检测器、人眼检测器进行人脸检测、人眼检测,并对人脸旋转,同时利用人脸几何结构特征对表情区精确定位,生成用于表情特征提取的训练图像集,即建立人脸表情库。
步骤602,训练表情特征提取。利用人脸表情库的训练图像,使用主成分分析法(PCA)降维去除图像冗余信息,进行表情特征提取,并将表情特征保存为文件形成原始表情特征库。
在本发明较佳实施例中,使用PCA (Principal Component Analysis,主成分分析)提取人脸表情特征。
对于一副人脸图像来说,最能体现其表情特征的区域是嘴巴、眼睛和面颊。若能提取表情最显著的特征,识别准确率和效率都将有很大的提升。而提取人脸表情特征的一种简单有效的方法就是主成分分析(PCA)。令,那么一幅的人脸图像可表示成空间的一个向量,幅人脸图像组成的训练集可表示为,即一个的矩阵,其中。PCA的目标是通过一个基变换把原始数据X重新表示为Y,即。其中是矩阵,是矩阵。基于PCA的特征提取就是把训练集X转换为特征集Y。其中每一个主成分对应一个特征值,特征值越大其对应的主成分就越重要,按特征值从大到小的顺序选择一定数目的主成分构造表情特征,能够在保证较高识别率的前提下尽量降低特征的维度。
步骤603,重构表情特征。使用基于距离哈希法(DBH)将原始表情特征库重构为结构化的哈希表,用作提高表情识别效率。
对上述训练图像集进行PCA降维建立原始表情特征库后,该特征库是由多个表情特征组成的矩阵,识别时需将待测表情与特征库中的每一个特征进行相似度比对,当特征库的规模较大时识别的效率很低。为了避免在整个表情特征库中进行相似度比对,本发明使用基于距离哈希(Distance-Based Hashing, DBH)把特征库重构为结构化的哈希表,使特征库中的特征能够按相似度聚集。这样就只需在相应桶中进行检索,达到对原特征库进行裁剪的目的。基于DBH的人脸表情特征库重构基本思想是创建个长度为的哈希表,将每一个表情特征分别***到这个哈希表中,将此哈希表作为检索数据库。
步骤604,现场表情提取。从视频采集装置(摄像头)中采集现场人脸表情彩色图像帧,将其转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化,接着进行人脸检测、人眼检测、人脸旋转并利用人脸几何结构特征对表情区精确定位,生成现场人脸表情。
步骤605,现场表情特征提取,利用现场人脸表情,使用主成分分析法(PCA)降维去除图像冗余信息,进行现场表情特征提取,并将现场表情特征输送至表情识别模块;
步骤606,人脸表情识别,将现场提取的表情特征在重构的表情特征库中利用K近邻分类算法(K-Nearest Neighbor algorithm,KNN)来识别人脸表情,以此来指导机器人对老人和儿童的行为进行预测。
以下通过对家庭服务机器人人脸表情识别的实验对本发明进一步介绍。
本发明所采用的实验***界面如图7所示,主要由7个部分组成:(1)视频框,用来显示从摄像头采集到的视频图像、表情库采集结果和表情识别结果;(2)表情库采集框,用来控制表情库的采集;(3)表情识别框,用来控制表情识别;(4)DBH训练框,用来训练DBH参数;(5)表情训练框,用来控制表情特征库的训练;(6)信息框,用来显示部分运行结果和出错信息;(7)样本数框,用来确定每种表情采集的样本数目。
通过对摄像头中采集的图像帧进行一系列处理后,***可完成高兴、悲伤、惊讶、厌恶、生气、恐惧等6种基本表情的识别。
综上所述,本发明一种机器人的人脸检测及情感识别***及方法通过训练表情提取、训练表情特征提取、重构表情特征、现场表情提取、现场表情特征提取及表情识别等步骤,使得机器人成为能够进行人脸识别和情感识别的家庭监控机器人 ,实现了通过机器人提供老人情感状态监护和儿童的陪护的目的,提升了家居机器人的家庭监控和陪护能力。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下,对上述实施例进行修饰与改变。因此,本发明的权利保护范围,应如权利要求书所列。

Claims (10)

1.一种机器人的人脸检测及情感识别***,至少包括:
人脸表情库采集模块,利用视频采集装置采集大量人脸表情彩色图像帧,将其预处理后,利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位并进行人脸旋转,最后利用人脸几何结构特征对表情区精确定位,生成存储用于表情特征提取的训练图像集的人脸表情库;
原始表情库构建模块,利用人脸表情库的训练图像,对训练图像去除图像冗余信息后进行表情特征提取,并将表情特征保存为文件形成原始表情特征库;
特征库重构模块,使用基于距离哈希法将原始表情特征库重构为结构化的哈希表;
现场表情特征提取模块,从该视频采集装置采集现场人脸表情彩色图像帧进行预处理后,利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位,并进行人脸旋转,利用人脸几何结构特征对表情区精确定位,生成现场人脸表情图像,并对现象人脸表情图像进行现场表情特征提取;
表情识别模块,将该现场表情特征模块提取的现场表情特征在重构后的表情特征库中利用K近邻分类算法来识别人脸表情。
2.如权利要求1所述的一种机器人的人脸检测及情感识别***,其特征在于:该预处理为将彩色图像帧转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化。
3.如权利要求1所述的一种机器人的人脸检测及情感识别***,其特征在于:该原始表情库构建模块使用主成分分析法降维去除图像冗余信息,进行表情特征提取。
4.如权利要求1所述的一种机器人的人脸检测及情感识别***,其特征在于:该视频采集装置为摄像头,设置于该机器人的头部,其位置改变受控于该机器人的头部运动装置。
5.如权利要求4所述的一种机器人的人脸检测及情感识别***,其特征在于:该摄像头设置于该机器人的头部眼球中。
6.一种机器人的人脸检测及情感识别方法,包括如下步骤:
步骤一,从视频采集装置采集大量人脸表情彩色图像帧,将其预处理后,利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位并进行人脸旋转,最后利用人脸几何结构特征对表情区精确定位,生成存储用于表情特征提取的训练图像集的人脸表情库;
步骤二,利用人脸表情库的训练图像,去除图像冗余信息后进行表情特征提取,并将表情特征保存为文件形成原始表情特征库;
步骤三,使用基于距离哈希法将原始表情特征库重构为结构化的哈希表;
步骤四,从该视频采集装置中采集现场人脸表情彩色图像帧,将其预处理后,进行人脸检测、人眼检测、人脸旋转并利用人脸几何结构特征对表情区精确定位,生成现场人脸表情;
步骤五,利用现场人脸表情图像,去除图像冗余信息,进行现场表情特征提取;
步骤六,将现场提取的表情特征在重构的表情特征库中利用K近邻分类算法识别人脸表情。
7.如权利要求6所述的一种机器人的人脸检测及情感识别方法,其特征在于:该预处理为将彩色图像帧转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化。
8.如权利要求6所述的一种机器人的人脸检测及情感识别方法,其特征在于:于步骤二及步骤五中,使用主成分分析法降维去除图像冗余信息后,进行表情特征提取。
9.如权利要求8所述的一种机器人的人脸检测及情感识别方法,其特征在于:利用主成分分析法进行特征提取是把该训练图像集转换为特征集,其中每一个主成分对应一个特征值,特征值越大其对应的主成分就越重要,按特征值从大到小的顺序选择一定数目的主成分构造表情特征。
10.如权利要求6所述的一种机器人的人脸检测及情感识别方法,其特征在于:于步骤三中,基于距离哈希法将原始表情特征库重构为结构化的哈希表的步骤为创建个长度为的哈希表,将每一个表情特征分别***到该个哈希表中,将此哈希表作为检索数据库。
CN201310694112.7A 2013-12-18 2013-12-18 机器人的人脸检测与情感识别***及方法 Expired - Fee Related CN103679203B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310694112.7A CN103679203B (zh) 2013-12-18 2013-12-18 机器人的人脸检测与情感识别***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310694112.7A CN103679203B (zh) 2013-12-18 2013-12-18 机器人的人脸检测与情感识别***及方法

Publications (2)

Publication Number Publication Date
CN103679203A true CN103679203A (zh) 2014-03-26
CN103679203B CN103679203B (zh) 2015-06-17

Family

ID=50316691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310694112.7A Expired - Fee Related CN103679203B (zh) 2013-12-18 2013-12-18 机器人的人脸检测与情感识别***及方法

Country Status (1)

Country Link
CN (1) CN103679203B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408693A (zh) * 2014-11-27 2015-03-11 苏州大学 一种彩色图像重构与识别方法及***
CN104486331A (zh) * 2014-12-11 2015-04-01 上海元趣信息技术有限公司 多媒体文件的处理方法、客户端及互动***
CN104700094A (zh) * 2015-03-31 2015-06-10 江苏久祥汽车电器集团有限公司 一种用于智能机器人的人脸识别方法及***
CN104835507A (zh) * 2015-03-30 2015-08-12 渤海大学 一种串并结合的多模式情感信息融合与识别方法
CN105590084A (zh) * 2014-11-03 2016-05-18 贵州亿丰升华科技机器人有限公司 一种机器人人脸检测跟踪情感检测***
CN105843068A (zh) * 2016-06-02 2016-08-10 安徽声讯信息技术有限公司 一种基于情感机器人的智能家居环境协同控制***
CN105843118A (zh) * 2016-03-25 2016-08-10 北京光年无限科技有限公司 一种机器人交互方法及机器人***
CN105938543A (zh) * 2016-03-30 2016-09-14 乐视控股(北京)有限公司 一种基于防沉迷的终端运行控制方法、设备及***
CN106346475A (zh) * 2016-11-01 2017-01-25 上海木爷机器人技术有限公司 机器人和机器人控制方法
CN106407882A (zh) * 2016-07-26 2017-02-15 河源市勇艺达科技股份有限公司 机器人通过人脸检测实现头部转动的方法及装置
CN106778497A (zh) * 2016-11-12 2017-05-31 上海任道信息科技有限公司 一种基于综合检测的智能养老看护方法及***
CN106778861A (zh) * 2016-12-12 2017-05-31 齐鲁工业大学 一种关键特征的筛选方法
CN107085717A (zh) * 2017-05-24 2017-08-22 努比亚技术有限公司 一种家庭监控方法、服务端及计算机可读存储介质
CN107103269A (zh) * 2016-02-23 2017-08-29 芋头科技(杭州)有限公司 一种表情反馈方法及智能机器人
CN108573695A (zh) * 2017-03-08 2018-09-25 松下知识产权经营株式会社 装置、机器人、方法以及程序
CN108656130A (zh) * 2018-05-31 2018-10-16 芜湖星途机器人科技有限公司 自动找人机器人
CN108875660A (zh) * 2018-06-26 2018-11-23 肖哲睿 一种基于云计算的交互式机器人
CN109145837A (zh) * 2018-08-28 2019-01-04 厦门理工学院 人脸情感识别方法、装置、终端设备和存储介质
CN109871870A (zh) * 2019-01-15 2019-06-11 中国科学院信息工程研究所 一种大数据流中的基于最近邻的时间敏感性异常检测方法
CN110135357A (zh) * 2019-05-17 2019-08-16 西南大学 一种基于远程遥感的幸福感实时检测方法
CN110472610A (zh) * 2019-08-22 2019-11-19 王旭敏 一种自深度优化的人脸识别装置及其方法
CN110555401A (zh) * 2019-08-26 2019-12-10 浙江大学 一种基于表情识别的自适应情感表达***及方法
WO2020057570A1 (en) * 2018-09-18 2020-03-26 AI Gaspar Limited System and process for identification and illumination of anatomical sites of a person and articles at such sites
CN113059563A (zh) * 2021-03-25 2021-07-02 湖南翰坤实业有限公司 智能陪伴机器人
CN113059574A (zh) * 2021-03-25 2021-07-02 湖南翰坤实业有限公司 陪伴机器人智能陪伴方法及智能陪伴机器人

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201900020548A1 (it) * 2019-11-07 2021-05-07 Identivisuals S R L Sistema e metodo di rilevazione del benessere psicofisico in un ambiente chiuso

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101786272A (zh) * 2010-01-05 2010-07-28 深圳先进技术研究院 一种用于家庭智能监控服务的多感知机器人
CN102566474A (zh) * 2012-03-12 2012-07-11 上海大学 仿人面部表情机器人交互***和方法以及人脸检测和跟踪方法
CN103186774A (zh) * 2013-03-21 2013-07-03 北京工业大学 一种基于半监督学习的多姿态人脸表情识别方法
CN103268156A (zh) * 2013-05-24 2013-08-28 徐州医学院 一种基于人机交互的腕带式手势识别装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101786272A (zh) * 2010-01-05 2010-07-28 深圳先进技术研究院 一种用于家庭智能监控服务的多感知机器人
CN102566474A (zh) * 2012-03-12 2012-07-11 上海大学 仿人面部表情机器人交互***和方法以及人脸检测和跟踪方法
CN103186774A (zh) * 2013-03-21 2013-07-03 北京工业大学 一种基于半监督学习的多姿态人脸表情识别方法
CN103268156A (zh) * 2013-05-24 2013-08-28 徐州医学院 一种基于人机交互的腕带式手势识别装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
蔡则苏等: "基于PCA特征提取和距离哈希K近邻分类的人脸表情识别", 《智能计算机与应用》, vol. 2, no. 1, 29 February 2012 (2012-02-29), pages 1 - 3 *
赵思成: "人脸表情识别及其在视频分类与推荐中的应用", 《中国优秀硕士学位论文全文数据库》, 6 January 2012 (2012-01-06), pages 13 - 23 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105590084A (zh) * 2014-11-03 2016-05-18 贵州亿丰升华科技机器人有限公司 一种机器人人脸检测跟踪情感检测***
CN104408693A (zh) * 2014-11-27 2015-03-11 苏州大学 一种彩色图像重构与识别方法及***
CN104486331A (zh) * 2014-12-11 2015-04-01 上海元趣信息技术有限公司 多媒体文件的处理方法、客户端及互动***
CN104835507A (zh) * 2015-03-30 2015-08-12 渤海大学 一种串并结合的多模式情感信息融合与识别方法
CN104835507B (zh) * 2015-03-30 2018-01-16 渤海大学 一种串并结合的多模式情感信息融合与识别方法
CN104700094A (zh) * 2015-03-31 2015-06-10 江苏久祥汽车电器集团有限公司 一种用于智能机器人的人脸识别方法及***
CN107103269A (zh) * 2016-02-23 2017-08-29 芋头科技(杭州)有限公司 一种表情反馈方法及智能机器人
US11819996B2 (en) 2016-02-23 2023-11-21 Yutou Technology (Hangzhou) Co., Ltd. Expression feedback method and smart robot
WO2017143951A1 (zh) * 2016-02-23 2017-08-31 芋头科技(杭州)有限公司 一种表情反馈方法及智能机器人
CN105843118A (zh) * 2016-03-25 2016-08-10 北京光年无限科技有限公司 一种机器人交互方法及机器人***
CN105843118B (zh) * 2016-03-25 2018-07-27 北京光年无限科技有限公司 一种机器人交互方法及机器人***
CN105938543A (zh) * 2016-03-30 2016-09-14 乐视控股(北京)有限公司 一种基于防沉迷的终端运行控制方法、设备及***
CN105843068A (zh) * 2016-06-02 2016-08-10 安徽声讯信息技术有限公司 一种基于情感机器人的智能家居环境协同控制***
CN106407882A (zh) * 2016-07-26 2017-02-15 河源市勇艺达科技股份有限公司 机器人通过人脸检测实现头部转动的方法及装置
CN106346475A (zh) * 2016-11-01 2017-01-25 上海木爷机器人技术有限公司 机器人和机器人控制方法
CN106778497A (zh) * 2016-11-12 2017-05-31 上海任道信息科技有限公司 一种基于综合检测的智能养老看护方法及***
CN106778861A (zh) * 2016-12-12 2017-05-31 齐鲁工业大学 一种关键特征的筛选方法
CN108573695A (zh) * 2017-03-08 2018-09-25 松下知识产权经营株式会社 装置、机器人、方法以及程序
CN107085717A (zh) * 2017-05-24 2017-08-22 努比亚技术有限公司 一种家庭监控方法、服务端及计算机可读存储介质
CN108656130A (zh) * 2018-05-31 2018-10-16 芜湖星途机器人科技有限公司 自动找人机器人
CN108875660A (zh) * 2018-06-26 2018-11-23 肖哲睿 一种基于云计算的交互式机器人
CN109145837A (zh) * 2018-08-28 2019-01-04 厦门理工学院 人脸情感识别方法、装置、终端设备和存储介质
WO2020057570A1 (en) * 2018-09-18 2020-03-26 AI Gaspar Limited System and process for identification and illumination of anatomical sites of a person and articles at such sites
CN109871870B (zh) * 2019-01-15 2021-05-25 中国科学院信息工程研究所 一种大数据流中的基于最近邻的时间敏感性异常检测方法
CN109871870A (zh) * 2019-01-15 2019-06-11 中国科学院信息工程研究所 一种大数据流中的基于最近邻的时间敏感性异常检测方法
CN110135357A (zh) * 2019-05-17 2019-08-16 西南大学 一种基于远程遥感的幸福感实时检测方法
CN110135357B (zh) * 2019-05-17 2021-09-21 西南大学 一种基于远程遥感的幸福感实时检测方法
CN110472610A (zh) * 2019-08-22 2019-11-19 王旭敏 一种自深度优化的人脸识别装置及其方法
CN110555401A (zh) * 2019-08-26 2019-12-10 浙江大学 一种基于表情识别的自适应情感表达***及方法
CN113059563A (zh) * 2021-03-25 2021-07-02 湖南翰坤实业有限公司 智能陪伴机器人
CN113059574A (zh) * 2021-03-25 2021-07-02 湖南翰坤实业有限公司 陪伴机器人智能陪伴方法及智能陪伴机器人

Also Published As

Publication number Publication date
CN103679203B (zh) 2015-06-17

Similar Documents

Publication Publication Date Title
CN103679203B (zh) 机器人的人脸检测与情感识别***及方法
JP6929366B2 (ja) ドライバ監視及び応答システム
Hu et al. Bio-inspired embedded vision system for autonomous micro-robots: The LGMD case
CN110605724B (zh) 一种智能养老陪伴机器人
Rabhi et al. Intelligent control wheelchair using a new visual joystick
EP3709134A1 (en) Tool and method for annotating a human pose in 3d point cloud data
CN112842690B (zh) 具有维度数据缩减的机器视觉
CN105825268B (zh) 面向机器人动作学习的数据处理方法和***
CN103116279B (zh) 脑控机器人***的模糊离散事件共享控制方法
CN108127669A (zh) 一种基于动作融合的机器人示教***及实施方法
CN110216674B (zh) 一种冗余自由度机械臂视觉伺服避障***
CN107428004A (zh) 对象数据的自动收集和标记
CN103324287B (zh) 基于眼动和笔触数据的计算机辅助草图绘制的方法和***
CN105912980A (zh) 无人机以及无人机***
EP4003666A1 (en) Visual teach and repeat mobile manipulation system
Xiong et al. S3D-CNN: skeleton-based 3D consecutive-low-pooling neural network for fall detection
CN101947152A (zh) 仿人形义肢的脑电-语音控制***及工作方法
CN106377228A (zh) 基于Kinect的无人机操作员状态监视与分层控制方法
Wu et al. Anticipating daily intention using on-wrist motion triggered sensing
CN116617011B (zh) 基于生理信号的轮椅操控方法、装置、终端及介质
CN105590084A (zh) 一种机器人人脸检测跟踪情感检测***
CN106726208A (zh) 一种智能轮椅控制***
CN111134974B (zh) 一种基于增强现实和多模态生物信号的轮椅机器人***
Salh et al. Intelligent surveillance robot
Ageishi et al. Real-time hand-gesture recognition based on deep neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150617

Termination date: 20191218