CN103268150A - 一种基于表情识别的智能机器人管控***及管控方法 - Google Patents

一种基于表情识别的智能机器人管控***及管控方法 Download PDF

Info

Publication number
CN103268150A
CN103268150A CN201310174351XA CN201310174351A CN103268150A CN 103268150 A CN103268150 A CN 103268150A CN 201310174351X A CN201310174351X A CN 201310174351XA CN 201310174351 A CN201310174351 A CN 201310174351A CN 103268150 A CN103268150 A CN 103268150A
Authority
CN
China
Prior art keywords
expression
module
intelligent robot
sample
facial expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310174351XA
Other languages
English (en)
Inventor
张会林
孙利华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Fufeng Technology Co Ltd
Original Assignee
Suzhou Fufeng Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Fufeng Technology Co Ltd filed Critical Suzhou Fufeng Technology Co Ltd
Priority to CN201310174351XA priority Critical patent/CN103268150A/zh
Publication of CN103268150A publication Critical patent/CN103268150A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

本发明涉及一种基于表情识别的智能机器人管控***及其方法，其特征在于，包括：表情采集单元，用于采集人脸表情图像，并将其转换为特征数据进行存储；样本表情数据库，存储有海量样本人脸表情图像及其样本特征数据；处理单元，包括调用样本表情数据库中的样本特征数据和表情采集单元中的特征数据进行比较分析；遥控装置，用于接收处理单元根据分析结果发出的指令，并发出信号；信号接收装置，设于家电设备中，用于接收遥控装置发出的信号并触发家电设备工作。本发明智能机器人管控***以人脸表情作为交互方式，无需用户主动操作，可随时随地根据用户表情做出相应服务动作，满足用户需要。

Description

一种基于表情识别的智能机器人管控***及管控方法
技术领域
本发明涉及一种智能管控***，尤其涉及一种人机交互的智能管控***。
背景技术
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、记忆存储和比对辨识，达到识别不同人身份的目的。
人脸表情识别相较于人脸识别更进一步，其通过对静态的表情和动态变化的表情的分析判断，获取人的情感信息，从而达到了解和基于了解满足人们需要的目的。
    现代生活中，越来越多的家庭引入了智能机器人进行生活服务，例如扫地，吸尘，端茶，娱乐等，虽然用户可以进行一定的时间预定和服务种类选择，但每次都需要用户自主进行操作，无法满足生活节奏快和工作压力大的现代都市人对服务产品主动化、智能化的需求。
发明内容
本发明克服了现有技术的不足，提供一种基于表情识别、人机互动性好、可主动、及时、灵活的利用现有家电满足用户需求的智能机器人管控***。
为达到上述目的，本发明采用的技术方案为：一种基于表情识别的智能机器人管控***，其特征在于，包括：
表情采集单元，用于采集人脸表情图像，并将其转换为特征数据进行存储；
样本表情数据库，存储有海量样本人脸表情图像及其样本特征数据；
处理单元，包括调用样本表情数据库中的样本特征数据和表情采集单元中的特征数据进行比较分析；
遥控装置，用于接收处理单元根据分析结果发出的指令，并发出信号；
信号接收装置，设于家电设备中，用于接收遥控装置发出的信号并触发家电设备工作。
优选的，所述家电设备包括多种电器，处理单元发出的若干指令与遥控装置发出的若干信号一一对应，遥控装置发出的信号对应、并触发相应的电器工作。
优选的，所述智能机器人管控***还包括具有第一人机交互模块的控制单元，所述第一人机交互模块根据用户选择，默认或改变处理单元指令与遥控装置各信号的对应触发关系。
优选的，所述控制单元还包括第二人机交互模块，所述第二人机交互模块根据用户的输入，增加样本人脸表情图像至样本表情数据库。
优选的，所述表情采集单元包括图像捕捉模块和启动或停止图像捕捉模块的启停模块，启停模块开启时，图像捕捉模块持续捕捉人脸图像，启停模块停止时，图像捕捉模块暂停捕捉人脸图像。
优选的，所述处理单元包括判断模块，用于计算和判断表情采集单元在一段时间内传送的同一人脸表情图像的变化，根据变化值触发所述启停模块开启或停止。
本发明还提供一种基于表情识别的智能机器人管控***的管控方法，包括如下步骤：
（1）图像捕捉模块捕捉到用户的表情图像；
（2）分析模块调出表情采集单元的特征数据和数据库中的样本特征数据进行相似度比较，识别出表情并发出相应的指令给遥控装置；
（3）遥控装置接收指令并发送对应的信号给特定的电器，进而触发特定电器的工作。
本发明解决了背景技术中存在的缺陷，本发明的智能机器人管控***以人脸表情作为交互方式，无需用户主动操作，可随时随地根据用户表情触发相应家电进行服务，利用现有家电设备资源，满足用户需要。尤其可根据识别的表情变化，灵活调整工作的电器，满足用户变化的需求。可以设置人机交互模块，供用户随心选择特定表情所代表的心情和状态下需要的服务。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明实施例的***结构示意图。
具体实施方式
现在结合附图和实施例对本发明作进一步详细的说明，这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1所示，一种基于表情识别的智能机器人管控***，用于设有家电设备的住宅，包括机器人本体，设置在机器人本体中的处理器，分别与处理器相连的存储器和摄像装置，以及与处理器相连的遥控装置。
摄像装置中设有表情采集单元，用于通过摄像头采集人脸表情图像，并将其转换为特征数据进行存储；
存储器中设有样本表情数据库，存储有海量样本人脸表情图像及其样本特征数据；
处理器中设置处理单元，包括调用样本表情数据库中的样本特征数据和表情采集单元中的特征数据进行比较分析；
遥控装置，用于接收处理单元根据分析结果发出的指令，并发出信号；
信号接收装置，设于家电设备中，用于接收遥控装置发出的信号并触发家电设备工作。
具体的，处理单元，通过比较样本表情数据库中的样本特征数据和表情采集单元中的特征数据，得出相比较的两个人脸表情图像的相似度，进而识别出人脸表情。不同的表情主要根据嘴巴，眼部，鼻子的动作变化，例如嘴角的弯曲弧度，弯曲方向，眼睛的张开大小、弯曲程度，面部是否有泪痕。因此，对这些典型特征进行重点比较。
通常家电设备包含多种电器，处理单元发出的若干指令与遥控装置发出的若干信号一一对应，遥控装置发出的信号对应、并触发相应的电器工作。例如家电设备包括音乐播放器、电热水器、电视、调光灯、电饭煲，处理单元分析得到表情结果后，向遥控装置发出对应的指令，遥控装置发出相应的信号给目标电器中的信号接收装置，触发该电器工作。例如分析表情结果为疲惫，寒冷，处理分析单元向遥控装置发出烧热水洗澡的指令，遥控装置发出对应的信号触发电热水器开始工作，加热洗澡水。用户可以方便快捷的享受到服务。
优选的，本发明智能机器人管控***还包括具有第一人机交互模块的控制单元，控制单元设置在与处理器相连的控制器中，此时遥控装置也设置在控制器中。第一人机交互模块根据用户选择，默认或改变处理单元指令与遥控装置各信号的对应触发关系。例如默认状态下，处理单元识别到疲劳的表情时，发出的指令对应的是触发音乐播放器的遥控信号，用户通过第一人机交互模块进行更改后，相同的表情则对应触发电热水器开始加热的遥控信号。
优选的，控制单元还包括第二人机交互模块，第二人机交互模块根据用户的输入，增加样本人脸表情图像至样本表情数据库。用户的输入方式可以是通过移动存储设备直接向第二人机交互模块输入，或者通过图像捕捉模块现场采集后输入交互模块，再由第二人机交互模块传送并存储到样本表情数据库，丰富库存图像，提高识别准确性。新增图像可以是用户本人或者公众脸部表情图像，当使用用户本人表情图像时，智能机器人管控***工作时识别的准确率更高，能更加贴合用户需要。使用现场采集的用户本人表情图像作为新增样本图像时，图像的光线明暗等与工作时捕捉到的用户本人表情更相近，进一步提高识别准确性。
优选的，表情采集单元包括图像捕捉模块和启动或停止图像捕捉模块的启停模块，启停模块开启时，图像捕捉模块持续捕捉人脸图像，启停模块停止时，图像捕捉模块暂停捕捉人脸图像。进一步优选，处理单元包括判断模块，用于计算和判断表情采集单元在一段时间内传送的同一人脸表情图像的变化，根据变化值触发所述启停模块开启或停止。例如，启停模块开启图像捕捉模块，并最先捕捉到用户的疲劳表情，触发调光灯光线变暗、变柔和，此过程中，图像捕捉模块仍在持续捕捉表情，并传送给判断模块识别，调光灯调节到较暗光线一段时间后，判断模块识别到表情变为放松，则可以触发调光灯变亮、启动其他电器，例如打开电视，或者不触发电器工作而直接使启停模块停止，暂停捕捉图像。可以持续跟踪服务用户，直到获得较好的心理状态。表情采集单元中还可以设置计时器，用于触发启停模块开启一定时间后的停止或暂停一定时间后的开启。例如设定持续捕捉1分钟后暂停1小时，再重新开始捕捉1分钟，如此循环。持续捕捉的可以是单帧的图像也可以是连续的视频图像。
基于本发明智能机器人管控***的管控方法，包括如下步骤：
图像捕捉模块捕捉到用户的表情图像，分析模块识别表情并发出相应的指令给遥控装置，遥控装置发送对应的信号给特定的电器，进而触发特定电器的工作。具体的，分析模块调出表情采集单元的特征数据和数据库中的样本特征数据进行相似度比较，识别出表情，进而通过控制器触发相应的电器工作。用户通过控制单元进行选择可以使管控***的服务更好的贴近和满足自身要求。
另外，处理单元进行表情识别时，也可采用下面的方法：利用ASM算法提取出采集的人脸图像的形状模型和特征点，利用Gabor小波变换算法提取特征点的幅值纹理特征，并由幅值纹理特征投影得到待识别特征脸。样本表情数据库中存储的样本人脸表情图像也事先通过相同的方法转化为样本特征脸，通过比较待识别特征脸与样本特征脸的相似度，识别出待识别表情。
以上依据本发明的理想实施例为启示，通过上述的说明内容，相关人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定技术性范围。

Claims (7)

1. 一种基于表情识别的智能机器人管控***，其特征在于，包括：
表情采集单元，用于采集人脸表情图像，并将其转换为特征数据进行存储；
样本表情数据库，存储有海量样本人脸表情图像及其样本特征数据；
处理单元，包括调用样本表情数据库中的样本特征数据和表情采集单元中的特征数据进行比较分析；
遥控装置，用于接收处理单元根据分析结果发出的指令，并发出信号；
信号接收装置，设于家电设备中，用于接收遥控装置发出的信号并触发家电设备工作。
2. 根据权利要求1所述的一种基于表情识别的智能机器人管控***，其特征在于：所述家电设备包括多种电器，处理单元发出的若干指令与遥控装置发出的若干信号一一对应，遥控装置发出的信号对应、并触发相应的电器工作。
3. 根据权利要求2所述的一种基于表情识别的智能机器人管控***，其特征在于：还包括具有第一人机交互模块的控制单元，所述第一人机交互模块根据用户选择，默认或改变处理单元指令与遥控装置各信号的对应触发关系。
4. 根据权利要求3所述的一种基于表情识别的智能机器人管控***，其特征在于：所述控制单元还包括第二人机交互模块，所述第二人机交互模块根据用户的输入，增加样本人脸表情图像至样本表情数据库。
5. 根据权利要求4所述的一种基于表情识别的智能机器人管控***，其特征在于：所述表情采集单元包括图像捕捉模块和启动或停止图像捕捉模块的启停模块，启停模块开启时，图像捕捉模块持续捕捉人脸图像，启停模块停止时，图像捕捉模块暂停捕捉人脸图像。
6. 根据权利要求5所述的一种基于表情识别的智能机器人管控***，其特征在于：所述处理单元包括判断模块，用于计算和判断表情采集单元在一段时间内传送的同一人脸表情图像的变化，根据变化值触发所述启停模块开启或停止。
7. 根据权利要求1所述的一种基于表情识别的智能机器人管控***的管控方法，其特征在于，包括如下步骤：
（1）图像捕捉模块捕捉到用户的表情图像；
（2）分析模块调出表情采集单元的特征数据和数据库中的样本特征数据进行相似度比较，识别出表情并发出相应的指令给遥控装置；
（3）遥控装置接收指令并发送对应的信号给特定的电器，进而触发特定电器的工作。
CN201310174351XA 2013-05-13 2013-05-13 一种基于表情识别的智能机器人管控***及管控方法 Pending CN103268150A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310174351XA CN103268150A (zh) 2013-05-13 2013-05-13 一种基于表情识别的智能机器人管控***及管控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310174351XA CN103268150A (zh) 2013-05-13 2013-05-13 一种基于表情识别的智能机器人管控***及管控方法

Publications (1)

Publication Number Publication Date
CN103268150A true CN103268150A (zh) 2013-08-28

Family

ID=49011785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310174351XA Pending CN103268150A (zh) 2013-05-13 2013-05-13 一种基于表情识别的智能机器人管控***及管控方法

Country Status (1)

Country Link
CN (1) CN103268150A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077579A (zh) * 2014-07-14 2014-10-01 上海工程技术大学 基于专家***的人脸表情图像识别方法
CN104700094A (zh) * 2015-03-31 2015-06-10 江苏久祥汽车电器集团有限公司 一种用于智能机器人的人脸识别方法及***
CN105511608A (zh) * 2015-11-30 2016-04-20 北京光年无限科技有限公司 基于智能机器人的交互方法及装置、智能机器人
CN105607504A (zh) * 2016-03-15 2016-05-25 美的集团股份有限公司 智能家居***、智能家居控制的装置和方法
CN105843050A (zh) * 2016-03-18 2016-08-10 美的集团股份有限公司 智能家居***、智能家居控制装置和方法
CN106817541A (zh) * 2017-01-10 2017-06-09 惠州Tcl移动通信有限公司 一种基于面部表情控制拍照的方法及***
CN107657963A (zh) * 2016-07-25 2018-02-02 韦创科技有限公司 哭声辨识***与哭声辨识方法
CN107807537A (zh) * 2017-11-16 2018-03-16 四川长虹电器股份有限公司 基于人脸表情识别的智慧家电控制***及方法
TWI618994B (zh) * 2015-06-30 2018-03-21 芋頭科技(杭州)有限公司 機器人活躍程度智能控制系統及方法
CN111207516A (zh) * 2020-02-27 2020-05-29 常熟高通智能装备有限公司 智能开关及智能控制出水温度的热水器及智能控制方法
CN113963528A (zh) * 2021-10-20 2022-01-21 浙江理工大学 一种人机交互***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080052643A1 (en) * 2006-08-25 2008-02-28 Kabushiki Kaisha Toshiba Interface apparatus and interface method
CN201289739Y (zh) * 2008-11-18 2009-08-12 天津三星电子有限公司 自动表情识别遥控视频播放机
CN102117117A (zh) * 2010-01-06 2011-07-06 致伸科技股份有限公司 利用图像提取装置辨识使用者姿势进行控制的***及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080052643A1 (en) * 2006-08-25 2008-02-28 Kabushiki Kaisha Toshiba Interface apparatus and interface method
CN201289739Y (zh) * 2008-11-18 2009-08-12 天津三星电子有限公司 自动表情识别遥控视频播放机
CN102117117A (zh) * 2010-01-06 2011-07-06 致伸科技股份有限公司 利用图像提取装置辨识使用者姿势进行控制的***及方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077579B (zh) * 2014-07-14 2017-07-04 上海工程技术大学 基于专家***的人脸表情图像识别方法
CN104077579A (zh) * 2014-07-14 2014-10-01 上海工程技术大学 基于专家***的人脸表情图像识别方法
CN104700094A (zh) * 2015-03-31 2015-06-10 江苏久祥汽车电器集团有限公司 一种用于智能机器人的人脸识别方法及***
TWI618994B (zh) * 2015-06-30 2018-03-21 芋頭科技(杭州)有限公司 機器人活躍程度智能控制系統及方法
CN105511608A (zh) * 2015-11-30 2016-04-20 北京光年无限科技有限公司 基于智能机器人的交互方法及装置、智能机器人
CN105511608B (zh) * 2015-11-30 2018-12-25 北京光年无限科技有限公司 基于智能机器人的交互方法及装置、智能机器人
CN105607504A (zh) * 2016-03-15 2016-05-25 美的集团股份有限公司 智能家居***、智能家居控制的装置和方法
CN105843050A (zh) * 2016-03-18 2016-08-10 美的集团股份有限公司 智能家居***、智能家居控制装置和方法
CN107657963A (zh) * 2016-07-25 2018-02-02 韦创科技有限公司 哭声辨识***与哭声辨识方法
CN106817541A (zh) * 2017-01-10 2017-06-09 惠州Tcl移动通信有限公司 一种基于面部表情控制拍照的方法及***
CN107807537A (zh) * 2017-11-16 2018-03-16 四川长虹电器股份有限公司 基于人脸表情识别的智慧家电控制***及方法
CN111207516A (zh) * 2020-02-27 2020-05-29 常熟高通智能装备有限公司 智能开关及智能控制出水温度的热水器及智能控制方法
CN113963528A (zh) * 2021-10-20 2022-01-21 浙江理工大学 一种人机交互***

Similar Documents

Publication Publication Date Title
CN103268150A (zh) 一种基于表情识别的智能机器人管控***及管控方法
CN103246879A (zh) 一种基于表情识别的智能机器人***
CN105700363B (zh) 一种智能家居设备语音控制装置的唤醒方法及***
CN105204351B (zh) 空调机组的控制方法及装置
CN103729585B (zh) 一种家庭自动化***
CN109074819A (zh) 基于操作-声音的多模式命令的优选控制方法及应用其的电子设备
CN105045140A (zh) 智能控制受控设备的方法和装置
CN103220583A (zh) 基于智能电视的检测用户疲劳度的***及方法
CN104582187A (zh) 基于人脸识别和表情识别的记录与灯光控制***及方法
CN110426962A (zh) 一种智能家居设备的控制方法及***
CN109951363B (zh) 数据处理方法、装置及***
CN106019958B (zh) 手势识别控制方法、手势识别控制装置和家用电器
TW201426405A (zh) 智能切換裝置及其智慧切換方法和系統
CN113268004A (zh) 一种场景创建方法、装置、计算机设备及存储介质
CN109814722A (zh) 一种多模态人机交互***及交互方法
CN109168086A (zh) 一种视频播放设备的控制方法、***以及可读存储介质
JP6152853B2 (ja) 制御方法及びプログラム
CN210222780U (zh) 一种人脸及手型手势的双模态识别***
CN111522285A (zh) 一种智能家居的环境数据共享方法
CN111023690A (zh) 一种基于智能冰箱的食物识别***
CN110109369A (zh) 一种基于不同受控方式家电设备控制***及方法
CN106951071B (zh) 一种基于动作捕捉的设备控制方法和装置
WO2018023523A1 (zh) 一种运动及情感识别家居控制***
CN110531627A (zh) 一种家电权限的控制方法及装置
CN111007806B (zh) 智能家居的控制方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20130828

RJ01 Rejection of invention patent application after publication