CN108492404B

CN108492404B - 一种附加表情识别的人脸锁开锁方法及装置

Info

Publication number: CN108492404B
Application number: CN201810122322.1A
Authority: CN
Inventors: 梁光兰; 张克军; 苏剑波
Original assignee: Shanghai Lingzhi Technology Co ltd
Current assignee: Shanghai Lingzhi Technology Co ltd
Priority date: 2018-02-07
Filing date: 2018-02-07
Publication date: 2020-10-09
Anticipated expiration: 2038-02-07
Also published as: CN108492404A

Abstract

本发明公开了一种附加表情识别的人脸锁开锁方法及装置，该方法包括以下步骤：S1、检测是否有人员靠近，若有，则采集人员的实时人脸图像信息，若否，则不动作；S2、判断人员是否具有开锁权限；若是，则执行步骤S3，若否，则不开锁；S3、判断人员是成人还是儿童，若为成人，则进行开锁；若为儿童，则执行步骤S4；S4、采集儿童的实时开锁表情，并判断是正常表情还是异常表情，若为正常表情，则进行开锁，若为异常表情，则不开门且进行预警处理。本发明采用了多重验证开锁权限的方式，解决了儿童单独回家时可能被不法分子尾随的安全隐患，从而有效提高人脸锁的安全性，同时，本发明不需要携带电子端，使用起来更加简单方便。

Description

一种附加表情识别的人脸锁开锁方法及装置

技术领域

本发明涉及智能门锁技术领域，尤其涉及一种附加表情识别的人脸锁开锁方法及装置。

背景技术

人脸识别具有非接触，更便捷的优势，在银行、机场、智能家居等很多场所得到了广泛的应用。将人脸识别技术应用于门锁，大大增加了生活的便利性，尤其是现在越来越多的儿童放学后独自回家，刷脸入户即可免除出门带钥匙的繁琐，又能避免钥匙丢失带来的不安全隐患。然而，针对这种儿童放学独自回家的现象，万一有不法分子尾随儿童入户偷窃，很可能带来财产和生命的安全隐患。

目前，防止尾随的门锁或者门禁技术不多，申请号为CN201710335436.X的专利公布了一种自动识别进门尾随人员的门禁***，其根据进门电子端信息检索与该电子端关联的用户图像信息，并与进门人图像信息进行比对；识别与检索的用户图像信息不匹配的进门人是尾随人。申请号为CN201710287460.0的专利公布了一种智能识别进门尾随门禁***，其提出监控装置通过图像信息识别的进门用户状态信息与监测的进门电子端的状态信息不一致时，判断有人尾随进门。上述方案中的电子端包括智能钥匙，有源门禁卡、智能手机等，用户需要携带电子端才能进门，其不能体现智能设备的使用便捷性。

发明内容

本发明主要是解决现有技术中所存在的技术问题，从而提供一种的安全性高、使用简单方便的附加表情识别的人脸锁开锁方法及装置。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

本发明提供的附加表情识别的人脸锁开锁方法，其包括以下步骤：

S1、检测是否有人员靠近，若有，则采集所述人员的实时人脸图像信息，若否，则不动作；

S2、判断所述人员是否具有开锁权限；若是，则执行步骤S3，若否，则不开锁；

S3、判断所述人员是成人还是儿童，若为成人，则进行开锁；若为儿童，则执行步骤S4；

S4、采集所述儿童的实时开锁表情，并判断是正常表情还是异常表情，若为正常表情，则进行开锁，若为异常表情，则不开锁且进行预警处理；

判断正常表情还是异常表情的原理为：基于稀疏特征挑选下的PLDA人脸表情分析，先使用稀疏特征挑选出表情的完备特征集，然后，采用PLDA方法对表情特征进行精挑选，从而得到一个单纯含有表情的子空间；

所述步骤S4中，判断正常表情还是异常表情的方法包括：基于贝叶斯的方法计算所述实时开锁表情和所述预设开锁表情在表情空间中的似然值，所述似然值作为距离度量判断实时开锁表情的类型，并应用kNN分类器输出识别结果。

进一步地，所述步骤S1之前包括步骤：

S00、采集具有开锁权限的人员的预设人脸图像信息，并生成预设人脸图像数据库；

S01、采集具有开锁权限的人员中儿童的预设开锁表情，并生成预设表情数据库。

进一步地，所述步骤S2具体包括：

S21、在采集到的所述实时人脸图像信息中提取对变化鲁棒的人脸特征算子；

S22、将所述人脸特征算子与所述预设人脸图像数据库中的预设人脸图像信息进行匹配，并生成反映匹配程度的数值；

S23、检测所述数值是否超过阈值，若是，则判断所述人员具有开锁权限。

进一步地，所述正常表情包括微笑和高兴，所述异常表情包括愤怒，厌恶、恐惧、悲伤和惊讶。

进一步地，所述步骤S4中的预警处理包括：自动发送提示短信到其他具有开锁权限的人员的智能终端上或远程报警。

本发明提供的附加表情识别的人脸锁装置，其包括：

感应模块，用于检测是否有人员靠近；

图像采集模块，用于采集所述人员的实时人脸图像信息，以及用于采集儿童的实时开锁表情；

主控制器，包括人脸识别模块、表情识别模块和处理模块，所述人脸识别模块用于识别所述人员的人脸特征，所述表情识别模块用于识别所述儿童的表情特征，所述处理模块用于根据所述人员的人脸特征和/或所述儿童的表情特征判断是否具有开锁权限；

门锁机械模块，用于根据所述处理模块的判断结果打开或关闭所述门锁。

进一步地，还包括存储模块，所述存储模块用于采集家庭用户中所有人的预设人脸图像信息，并生成预设人脸图像数据库进行存储；所述存储模块还用于采集家庭用户中儿童的预设开锁表情，并生成预设表情数据库进行存储。

进一步地，还包括显示模块，所述显示模块用于可视化存储所述图像采集模块采集的实时人脸图像信息和所述儿童的实时开锁表情。

进一步地，还包括智能终端、通讯模块和报警模块，所述处理模块与所述报警模块相连接，且所述处理模块经所述通讯模块与所述智能终端相连接。

本发明的有益效果在于：通过采集靠近人脸锁处的人员的实时人脸图像信息，将其与预设人脸图像数据库进行对比，判断是否具有开锁权限以及是否为儿童，若为儿童，则采集儿童的实时开锁表情，并与预设表情数据库进行对比，判断是否具有开锁权限，本发明采用了多重验证开锁权限的方式，使其能根据儿童的表情有效检测出是否存在异常情况，并解决了儿童单独回家时可能被不法分子尾随的安全隐患，从而有效提高人脸锁的安全性，同时，本发明不需要携带电子端，使用起来更加简单方便。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的附加表情识别的人脸锁开锁方法的方法流程图；

图2是本发明的附加表情识别的人脸锁开锁方法的结构框图。

具体实施方式

下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

参阅图1-2所示，本发明的附加表情识别的人脸锁开锁方法，其包括以下步骤：

S1、检测是否有人员靠近，若有，则采集人员的实时人脸图像信息，若否，则不动作；在本发明中，为了起到节能效果，人脸锁初始状态时处于休眠状态，只有当感应模块检测到有人员靠近时，才启动人脸锁，并开始进行人脸图像的实时采集。

S2、判断人员是否具有开锁权限；若是，则执行步骤S3，若否，则不开锁；

S3、判断人员是成人还是儿童，若为成人，则进行开锁；若为儿童，则执行步骤S4；

S4、采集儿童的实时开锁表情，并判断是正常表情还是异常表情，若为正常表情，则进行开锁，若为异常表情，则不开锁且进行预警处理。本发明中的正常表情包括微笑和高兴，异常表情包括愤怒，厌恶、恐惧、悲伤和惊讶。

本发明通过采集靠近人脸锁处的人员的实时人脸图像信息，将其与预设人脸图像数据库进行对比，判断是否具有开锁权限以及是否为儿童，若为儿童，则采集儿童的实时开锁表情，并与预设表情数据库进行对比，判断是否具有开锁权限，本发明采用了多重验证开锁权限的方式，使其能根据儿童的表情有效检测出是否存在异常情况，并解决了儿童单独回家时可能被不法分子尾随的安全隐患，从而有效提高人脸锁的安全性，同时，本发明不需要携带电子端，使用起来更加简单方便。

具体地，步骤S1之前包括步骤：

S00、采集具有开锁权限的人员的预设人脸图像信息，并生成预设人脸图像数据库；本实施例中，具有开锁权限的人员可以为家庭组成员，包括家庭组成员中的成人和儿童，当然，还可以给其他的管理人员设置开锁权限。

具体地，步骤S2具体包括：

S21、在采集到的实时人脸图像信息中提取对变化鲁棒的人脸特征算子；

S22、将人脸特征算子与预设人脸图像数据库中的预设人脸图像信息进行匹配，并生成反映匹配程度的数值；

S23、检测数值是否超过阈值，若是，则判断人员具有开锁权限。

本发明中，判断正常表情还是异常表情的原理为：基于稀疏特征挑选下的PLDA人脸表情分析，先使用稀疏特征挑选出表情的完备特征集，然后，采用PLDA方法对表情特征进行精挑选，从而得到一个单纯含有表情的子空间，具体地，本实施例的步骤S4中，判断正常表情还是异常表情的方法包括：基于贝叶斯的方法计算实时开锁表情和预设开锁表情在表情空间中的似然值，似然值作为距离度量判断实时开锁表情的类型，并应用kNN分类器输出识别结果。

本发明中，步骤S4中的预警处理包括：自动发送提示短信到其他具有开锁权限的人员的智能终端上或远程报警。

本发明的附加表情识别的人脸锁装置，其包括：

感应模块1，用于检测是否有人员靠近；

图像采集模块2，用于采集人员的实时人脸图像信息，以及用于采集儿童的实时开锁表情；

主控制器3，包括人脸识别模块31、表情识别模块32和处理模块33，人脸识别模块31用于识别人员的人脸特征，表情识别模块32用于识别儿童的表情特征，处理模块33用于根据人员的人脸特征和/或儿童的表情特征判断是否具有开锁权限；具体地，人脸识别模块31的功能是排除人脸姿态变化、环境光照变化或者背景复杂的影响，将人脸位置标定出来，并自动标定出人脸特征点。表情识别模块32的功能是提取对变化鲁棒的人脸特征算子，并与预设人脸图像数据库中录入的预设人脸图像信息进行匹配，得到一个反映匹配程度的数值，当该数值超过阈值时，认为是预设人脸图像数据库中的具有开门权限的人员。

门锁机械模块4，用于根据处理模块33的判断结果打开或关闭门锁。

还包括存储模块5，存储模块5用于采集具有开锁权限的人员的预设人脸图像信息，并生成预设人脸图像数据库进行存储；存储模块5还用于采集具有开锁权限的人员中儿童的预设开锁表情，并生成预设表情数据库进行存储。

还包括显示模块6，显示模块6用于可视化存储图像采集模块2采集的实时人脸图像信息和儿童的实时开锁表情，显示模块6内存储的图像或者视频还可以远程方式发送到其他成员的智能终端7上或者保存以备以后导出查看。

还包括智能终端7、通讯模块8和报警模块9，处理模块33与报警模块9相连接，且处理模块33经通讯模块8与智能终端7相连接。本发明中的通讯模块8主要为2G、3G、4G或WiFi等通讯网络，智能终端7可以为IPAD、手机等。通过处理模块33控制报警模块9生成短信等报警信号，并通过通讯模块8发送到智能终端7中，从而起到远程报警的作用。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims

1.一种附加表情识别的人脸锁开锁方法，其特征在于，包括以下步骤：

2.如权利要求1所述的附加表情识别的人脸锁开锁方法，其特征在于,所述步骤S1之前包括步骤：

3.如权利要求2所述的附加表情识别的人脸锁开锁方法，其特征在于,所述步骤S2具体包括：

4.如权利要求1-3任一项所述的附加表情识别的人脸锁开锁方法，其特征在于,所述正常表情包括微笑和高兴，所述异常表情包括愤怒，厌恶、恐惧、悲伤和惊讶。

5.如权利要求1所述的附加表情识别的人脸锁开锁方法，其特征在于,所述步骤S4中的预警处理包括：自动发送提示短信到其他具有开锁权限的人员的智能终端上或远程报警。

6.一种采用如权利要求1-5任一项所述的附加表情识别的人脸锁开锁方法的装置，其特征在于,包括：

感应模块，用于检测是否有人员靠近；

7.如权利要求6所述的附加表情识别的人脸锁装置，其特征在于,还包括存储模块，所述存储模块用于采集具有开锁权限的人员的预设人脸图像信息，并生成预设人脸图像数据库进行存储；所述存储模块还用于采集具有开锁权限的人员中儿童的预设开锁表情，并生成预设表情数据库进行存储。

8.如权利要求6所述的附加表情识别的人脸锁装置，其特征在于,还包括显示模块，所述显示模块用于可视化存储所述图像采集模块采集的实时人脸图像信息和所述儿童的实时开锁表情。

9.如权利要求6所述的附加表情识别的人脸锁装置，其特征在于,还包括智能终端、通讯模块和报警模块，所述处理模块与所述报警模块相连接，且所述处理模块经所述通讯模块与所述智能终端相连接。