CN105354552B - 一种基于人脸识别和表情分析的在线监测***与方法 - Google Patents
一种基于人脸识别和表情分析的在线监测***与方法 Download PDFInfo
- Publication number
- CN105354552B CN105354552B CN201510759205.2A CN201510759205A CN105354552B CN 105354552 B CN105354552 B CN 105354552B CN 201510759205 A CN201510759205 A CN 201510759205A CN 105354552 B CN105354552 B CN 105354552B
- Authority
- CN
- China
- Prior art keywords
- image
- security protection
- module
- personnel
- facial image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了一种基于人脸识别和表情分析的在线监测***与方法,其***包括顺次连接的图像采集模块、数据分析中心和安防调度中心；图像采集模块用于对安防区域内的人脸图像进行采集，数据分析中心用于对采集到的图像进行人脸和表情分析，安防调度中心用于根据数据分析中心分析得到的结果进行安防调度，确保安防区域内的安全。本发明提供了一种基于人脸识别和表情分析的在线监测***与方法，能够通过人脸图像对安防区域内的人员是否为非法进入进行判定，并由采取安防调度措施；同时还能够对合法进入人员进行表情分析，对其是否存在安全隐患进行判定，并在存在安全隐患时采取安防调度措施，保证安防区域的安全与稳定。
Description
技术领域
本发明涉及一种基于人脸识别和表情分析的在线监测***与方法。
背景技术
安全防范***是指采用人防、物防、技防等技术手段，具有探测、延迟、反应等基本功能，用于预防、制止违法犯罪行为和重大治安事件，对维护社会治安稳定具有重大的作用。
现有的安防***大多都设置有门禁设备，而门禁设备大多是基于指纹检测的，在生活社区中，除了门禁检测之外并没有对小区内部进行监控和安防的手段，很可能有外来人员跟着小区内部住户，在开门时间内随着住户进入小区，存在着一定的安全隐患。
在生活社区中有着一些非常重要的设施，比如供电设备，供网设备等，如果被认为破坏，将会严重影响生活质量，一般情况下，外部人员很难进入社区，社区内部的住户也不可能会去破坏这些设施，但是却不排除发生一些特殊情况，比如社区内部成员酗酒后，就有可能在无意识中破坏这些设备了。
在生活中，表情往往能够反应心情状况和生理状况；而人在不同表情时，面部各个部分的轮廓和形状也是不同的，比如在高兴时，眉毛和嘴角都会有相应的变化，在酗酒后，从眼部表情也能看出相应变化。
因此，结合图像和表情分析来进行安防***部署并实施进行安防监测对维护治安稳定有着巨大的好处。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于人脸识别和表情分析的在线监测***与方法，能够通过人脸图像对安防区域内的人员是否为非法进入进行判定，并由采取安防调度措施；同时还能够对合法进入人员进行表情分析，对其是否存在安全隐患进行判定，并在存在安全隐患时采取安防调度措施，保证安防区域的安全与稳定。
本发明的目的是通过以下技术方案来实现的：一种基于人脸识别和表情分析的在线监测***，包括顺次连接的图像采集模块、数据分析中心和安防调度中心；
所述的图像采集模块用于对安防区域内的人脸图像进行采集；
所述的数据分析中心包括图像分析模块、表情分析模块和存储模块；图像分析模块和表情分析模块分别与存储模块连接；
所述的图像分析模块用于对采集到的图像进行分析，判断图像对应的人员身份是否具有进入安防区域的权限；
所述的表情分析模块用于对采集到的图像进行人脸表情分析，得到对应的危险参数；
所述的存储模块用于存储具有安防区域进入权限的人员的人脸图像，该图像在对应人员表情正常时进行统一拍摄；
所述的安防调度中心用于根据数据分析中心分析得到的结果进行安防调度，确保安防区域内的安全。
所述的图像采集模块包括图像预处理模块和安防区域内分布式的多个摄像头，所述的图像预处理模块用于对摄像头采集到的图像进行预处理，得到与存储器中图像大小一致的人脸图像。
所述的一种基于人脸识别和表情分析的在线监测***的实现方法，包括以下步骤：
S1.利用图像采集模块对安防***区域内的流动人员进行人脸图像采集，并将采集到的数据实时传输给数据分析中心；
S2.数据分析中心对当前采集到的图像进行图像分析，判断是否能够在存储模块中找到与当前采集到的图像对应的人脸图像：
（1）能够在存储模块中找到与当前采集到的图像对应的人脸图像，对应人员具有进入安防区域的权限，为合法进入，提取存储模块该人员对应的人脸图像，并跳转至步骤S3；
（2）不能够在存储模块中找到与当前采集到的图像对应的人脸图像，对应人员不具有进入安防区域的权限，为非法进入，跳转至步骤S5；
S3.数据分析中心对当前采集到的人脸图像进行表情分析，得出对应的危险参数；
S4.数据分析中心判断危险参数是否小于危险参数阈值：
（1）如果危险参数小于危险参数阈值，表情正常，不存在安全隐患，本次分析结束，等待图像采集模块采集传输下一张人脸图像，并对其进行步骤S2~S5的处理；
（2）如果危险参数不小于危险参数阈值，表情不正常，跳转至步骤S5；
S5.安防调度中心采取相应的安防调度措施，确保安防区域的安全，本次分析结束，等待图像采集模块采集传输下一张人脸图像，并对其进行步骤S2~S5的处理。
所述的步骤S1包括以下子步骤：
S11.安防区域内的摄像头实时对经过的人员进行图像采集，并将采集到图像实时传输给图像预处理模块；
S12.图像预处理模块对采集到的图像进行预处理，得到人脸图像，并调整得到的人脸图像使其与存储器中图像大小一致；
S13.将预处理后的人脸图像实时传输给数据分析中心。
所述的步骤S3包括以下子步骤：
S31.定义当前采集到的人脸图像为图像A，以图像A的中心为坐标原点o，建立x-o-y直角坐标系；
S32.定义从存储模块中提取出的人脸图像为图像B，将图像B与图像A重叠放置；
S33.对于人脸上的点M(人脸上的任意一点)，求出其在图像A中对应的像素点坐标A1（x1，y1）,并求出其在图像B中对应的像素点坐标B1（x2，y2）；
S34.求出x-o-y直角坐标系中A1与B1的距离；
S35.对于人脸上每一个点，重复S33~S34，求得该点在图像A和图像B中对应的坐标距离，直到所有点对应的坐标距离求解完成；
S36.将所有点对应的坐标距离进行求和，得到危险参数。
进一步地，在对参数进行求个过程中，可以考虑对人脸上眉毛、嘴巴和眼睛对应的所有点进行特殊处理：在进行距离求和过程中，将眉毛、嘴巴和眼睛对应的所有点在两个图像中对应的坐标距离放大10倍（乘以10），再参与求和得到危险参数。
步骤S5中安防调度中心采取相应的安防调度措施，确保安防区域的安全，分为以下两种情况：
（1）根据数据分析中心对图像的分析，在不具有进入安防区域权限的人员非法进入时，安全调度模块提醒保安找到并请出该非法进入的人员；
（2）根据数据分析中心对表情的分析，在人员为合法进入且其人脸图像人脸图像的危险参数不小于阈值时，安防调度将对应的人脸图像提供给保安，并提醒保安进行人工判别和确认；保安在对人脸图像进行人工判定，确认对应人员具有安全隐患后，对其进行持续监控。
本发明的有益效果是：（1）能够通过人脸图像对安防区域内的人员是否为非法进入进行判定，并由采取安防调度措施，保证了安防区域的安全稳定。
（2）对合法进入人员进行表情分析，对其是否存在安全隐患进行判定，并在存在安全隐患时采取安防调度措施，保证安防区域的安全与稳定。
（3）进行表情分析时，在同一个坐标系下，将正常的人脸图像和当前采集到的人脸图像中对应像素点距离求和得到参数，再根据参数和阈值相比较的方法，能够有效筛选出表情不正常的人脸图像，从而进一步通过人工分析判定是否存在安全隐患，避免了判断错误引起的额外工作量。
附图说明
图1为本发明***的原理框图；
图2为本发明方法流程图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，一种基于人脸识别和表情分析的在线监测***，包括顺次连接的图像采集模块、数据分析中心和安防调度中心；
所述的图像采集模块用于对安防区域内的人脸图像进行采集；
所述的数据分析中心包括图像分析模块、表情分析模块和存储模块；图像分析模块和表情分析模块分别与存储模块连接；
所述的图像分析模块用于对采集到的图像进行分析，判断图像对应的人员身份是否具有进入安防区域的权限；图像分析模块也可以称作是人脸识别模块；
所述的表情分析模块用于对采集到的图像进行人脸表情分析，得到对应的危险参数；
所述的存储模块用于存储具有安防区域进入权限的人员的人脸图像，该图像在对应人员表情正常时进行统一拍摄；
所述的安防调度中心用于根据数据分析中心分析得到的结果进行安防调度，确保安防区域内的安全。
所述的图像采集模块包括图像预处理模块和安防区域内分布式的多个摄像头，所述的图像预处理模块用于对摄像头采集到的图像进行预处理，得到与存储器中图像大小一致的人脸图像。
如图2所示，所述的一种基于人脸识别和表情分析的在线监测***的实现方法，包括以下步骤：
S1.利用图像采集模块对安防***区域内的流动人员进行人脸图像采集，并将采集到的数据实时传输给数据分析中心；
S2.数据分析中心对当前采集到的图像进行图像分析，判断是否能够在存储模块中找到与当前采集到的图像对应的人脸图像：
（1）能够在存储模块中找到与当前采集到的图像对应的人脸图像，对应人员具有进入安防区域的权限，为合法进入，提取存储模块该人员对应的人脸图像，并跳转至步骤S3；
（2）不能够在存储模块中找到与当前采集到的图像对应的人脸图像，对应人员不具有进入安防区域的权限，为非法进入，跳转至步骤S5；
S3.数据分析中心对当前采集到的人脸图像进行表情分析，得出对应的危险参数；
S4.数据分析中心判断危险参数是否小于危险参数阈值：
（1）如果危险参数小于危险参数阈值，表情正常，不存在安全隐患，本次分析结束，等待图像采集模块采集传输下一张人脸图像，并对其进行步骤S2~S5的处理；
（2）如果危险参数不小于危险参数阈值，表情不正常，跳转至步骤S5；
S5.安防调度中心采取相应的安防调度措施，确保安防区域的安全，本次分析结束，等待图像采集模块采集传输下一张人脸图像，并对其进行步骤S2~S5的处理。
所述的步骤S1包括以下子步骤：
S11.安防区域内的摄像头实时对经过的人员进行图像采集，并将采集到图像传输给图像预处理模块；
S12.图像预处理模块对采集到的图像进行预处理，得到人脸图像，并调整得到的人脸图像使其与存储器中图像大小一致；
S13.将预处理后的人脸图像实时传输给数据分析中心。
进一步地,由于图像采集模块采集数据和传输数据的实时性,数据分析中心正在分析的图像只有一张；即使多个分布式的摄像头看起来同时在摄像，但是将其进行摄像的时间精细化，总会有细微的时间差距，而这细微的时间差距已经足够计算机软件或者程序处理完一张图像了(当前采集到的人脸图像)；所以不会出现数据在缓存区中等待处理的情况，当前正在处理的图像也只有一张；而这种采集和处理的实时性就保证了安全隐患的及时发现，避免时间延误带来的不必要损失。
所述的步骤S3包括以下子步骤：
S31.定义当前采集到的人脸图像为图像A，以图像A的中心为坐标原点o，建立x-o-y直角坐标系；
S32.定义从存储模块中提取出的人脸图像为图像B，将图像B与图像A重叠放置；
S33.对于人脸上的点M，求出其在图像A中对应的像素点坐标A1（x1，y1）,并求出其在图像B中对应的像素点坐标B1（x2，y2）；
S34.求出x-o-y直角坐标系中A1与B1的距离；
S35.对于人脸上每一个点，重复S33~S34，求得该点在图像A和图像B中对应的坐标距离，直到所有点对应的坐标距离求解完成；
S36.将所有点对应的坐标距离进行求和，得到危险参数。
进一步地，在对参数进行求个过程中，可以考虑对人脸上眉毛、嘴巴和眼睛对应的所有点进行特殊处理：在进行距离求和过程中，将眉毛、嘴巴和眼睛对应的所有点在两个图像中对应的坐标距离放大10倍（乘以10），再参与求和得到危险参数。
步骤S5中安防调度中心采取相应的安防调度措施，确保安防区域的安全，分为以下两种情况：
（1）根据数据分析中心对图像的分析，在不具有进入安防区域权限的人员非法进入时，安全调度模块提醒保安找到并请出该非法进入的人员；
（2）根据数据分析中心对表情的分析，在人员为合法进入且其人脸图像人脸图像的危险参数不小于阈值时，安防调度将对应的人脸图像提供给保安，并提醒保安进行人工判别和确认；保安在对人脸图像进行人工判定，确认对应人员具有安全隐患后，对其进行持续监控。
Claims (3)
1.一种基于人脸识别和表情分析的在线监测***的实现方法，所述在线监测***包括顺次连接的图像采集模块、数据分析中心和安防调度中心；
所述的图像采集模块用于对安防区域内的人脸图像进行采集；
所述的数据分析中心包括图像分析模块、表情分析模块和存储模块；图像分析模块和表情分析模块分别与存储模块连接；
所述的图像分析模块用于对采集到的图像进行分析，判断图像对应的人员身份是否具有进入安防区域的权限；
所述的表情分析模块用于对采集到的图像进行人脸表情分析，得到对应的危险参数；
所述的存储模块用于存储具有安防区域进入权限的人员的人脸图像，该图像在对应人员表情正常时进行统一拍摄；
所述的安防调度中心用于根据数据分析中心分析得到的结果进行安防调度，确保安防区域内的安全；
所述的图像采集模块包括图像预处理模块和安防区域内分布式的多个摄像头，所述的图像预处理模块用于对摄像头采集到的图像进行预处理，得到与存储器中图像大小一致的人脸图像；
其实现方法特征在于：包括以下步骤：
S1.利用图像采集模块对安防***区域内的流动人员进行人脸图像采集，并将采集到的数据实时传输给数据分析中心；
S2.数据分析中心对当前采集到的图像进行图像分析，判断是否能够在存储模块中找到与当前采集到的图像对应的人脸图像：
（1）能够在存储模块中找到与当前采集到的图像对应的人脸图像，对应人员具有进入安防区域的权限，为合法进入，提取存储模块该人员对应的人脸图像，并跳转至步骤S3；
（2）不能够在存储模块中找到与当前采集到的图像对应的人脸图像，对应人员不具有进入安防区域的权限，为非法进入，跳转至步骤S5；
S3.数据分析中心对当前采集到的人脸图像进行表情分析，得出对应的危险参数；
S4.数据分析中心判断危险参数是否小于危险参数阈值：
（1）如果危险参数小于危险参数阈值，表情正常，不存在安全隐患，本次分析结束，等待图像采集模块采集传输下一张人脸图像，并对其进行步骤S2~S5的处理；
（2）如果危险参数不小于危险参数阈值，表情不正常，跳转至步骤S5；
S5.安防调度中心采取相应的安防调度措施，确保安防区域的安全，本次分析结束，等待图像采集模块采集传输下一张人脸图像，并对其进行步骤S2~S5的处理；
所述的步骤S3包括以下子步骤：
S31.定义当前采集到的人脸图像为图像A，以图像A的中心为坐标原点o，建立x-o-y直角坐标系；
S32.定义从存储模块中提取出的人脸图像为图像B，将图像B与图像A重叠放置；
S33.对于人脸上的点M，求出其在图像A中对应的像素点坐标A1（x1，y1）,并求出其在图像B中对应的像素点坐标B1（x2，y2）；
S34.求出x-o-y直角坐标系中A1与B1的距离；
S35.对于人脸上每一个点，重复S33~S34，求得该点在图像A和图像B中对应的坐标距离，直到所有点对应的坐标距离求解完成；
S36.将所有点对应的坐标距离进行求和，得到危险参数。
2.根据权利要求1所述的一种基于人脸识别和表情分析的在线监测***的实现方法，其特征在于：所述的步骤S1包括以下子步骤：
S11.安防区域内的摄像头实时对经过的人员进行图像采集，并将采集到图像实时传输给图像预处理模块；
S12.图像预处理模块对采集到的图像进行预处理，得到人脸图像，并调整得到的人脸图像使其与存储器中图像大小一致；
S13.将预处理后的人脸图像实时传输给数据分析中心。
3.根据权利要求1所述的一种基于人脸识别和表情分析的在线监测***的实现方法，其特征在于：步骤S5中安防调度中心采取相应的安防调度措施，确保安防区域的安全，分为以下两种情况：
（1）根据数据分析中心对图像的分析，在不具有进入安防区域权限的人员非法进入时，安全调度模块提醒保安找到并请出该非法进入的人员；
（2）根据数据分析中心对表情的分析，在人员为合法进入且其人脸图像人脸图像的危险参数不小于阈值时，安防调度将对应的人脸图像提供给保安，并提醒保安进行人工判别和确认。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510759205.2A CN105354552B (zh) | 2015-11-10 | 2015-11-10 | 一种基于人脸识别和表情分析的在线监测***与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510759205.2A CN105354552B (zh) | 2015-11-10 | 2015-11-10 | 一种基于人脸识别和表情分析的在线监测***与方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105354552A CN105354552A (zh) | 2016-02-24 |
| CN105354552B true CN105354552B (zh) | 2019-02-05 |
Family
ID=55330520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510759205.2A Active CN105354552B (zh) | 2015-11-10 | 2015-11-10 | 一种基于人脸识别和表情分析的在线监测***与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105354552B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977617A (zh) * | 2017-11-24 | 2018-05-01 | 合肥博焱智能科技有限公司 | 一种表情自适应人脸识别*** |
| CN108492404B (zh) * | 2018-02-07 | 2020-10-09 | 上海灵至科技有限公司 | 一种附加表情识别的人脸锁开锁方法及装置 |
| CN109345370A (zh) * | 2018-08-29 | 2019-02-15 | 中国建设银行股份有限公司 | 基于人脸识别的风险预测方法、装置、终端及可读介质 |
| CN111209769B (zh) * | 2018-11-06 | 2024-03-08 | 深圳市商汤科技有限公司 | 身份验证***及方法、电子设备和存储介质 |
| CN109584050A (zh) * | 2018-12-14 | 2019-04-05 | 深圳壹账通智能科技有限公司 | 基于微表情识别的用户风险程度分析方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101093603A (zh) * | 2007-07-03 | 2007-12-26 | 北京智安邦科技有限公司 | 智能视频监控设备模组和***及其监控方法 |
| CN102103617A (zh) * | 2009-12-22 | 2011-06-22 | 华为终端有限公司 | 获取表情含义的方法和装置 |
| CN102970438A (zh) * | 2012-11-29 | 2013-03-13 | 广东欧珀移动通信有限公司 | 一种手机自动报警方法及自动报警装置 |
| CN103647953A (zh) * | 2013-12-25 | 2014-03-19 | 句容云影响软件技术开发有限公司 | 一种智能监控***及方法 |
-
2015
- 2015-11-10 CN CN201510759205.2A patent/CN105354552B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101093603A (zh) * | 2007-07-03 | 2007-12-26 | 北京智安邦科技有限公司 | 智能视频监控设备模组和***及其监控方法 |
| CN102103617A (zh) * | 2009-12-22 | 2011-06-22 | 华为终端有限公司 | 获取表情含义的方法和装置 |
| CN102970438A (zh) * | 2012-11-29 | 2013-03-13 | 广东欧珀移动通信有限公司 | 一种手机自动报警方法及自动报警装置 |
| CN103647953A (zh) * | 2013-12-25 | 2014-03-19 | 句容云影响软件技术开发有限公司 | 一种智能监控***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105354552A (zh) | 2016-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105335727B (zh) | 基于图像和体感分析的身份认证***与方法 | |
| CN105354552B (zh) | 一种基于人脸识别和表情分析的在线监测***与方法 | |
| CN110477925B (zh) | 一种针对敬老院老人的跌倒检测与预警方法及*** | |
| Kong et al. | A HOG-SVM based fall detection IoT system for elderly persons using deep sensor | |
| CN103714631B (zh) | 基于人脸识别的atm取款机智能监控*** | |
| CN111797677B (zh) | 一种基于面部虹膜识别和热成像技术的人脸识别活体检测方法 | |
| CN110795963A (zh) | 一种基于人脸识别的监控方法、装置及设备 | |
| CN106446831A (zh) | 一种人脸识别方法及装置 | |
| CN108364374A (zh) | 基于深度学习的人脸门禁控制装置及方法 | |
| CN111564224A (zh) | 一种具有健康监测的智能监控***及其实现方法 | |
| CN107392177A (zh) | 一种人体身份识别验证方法及其装置 | |
| CN111582110B (zh) | 一种基于人脸识别的安检人员行为分析方法、装置及设备 | |
| CN108416289A (zh) | 一种高空作业人员安全带佩戴检测装置及检测预警方法 | |
| CN110472574A (zh) | 一种检测着装不规范的方法、装置及*** | |
| RU2713876C1 (ru) | Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания | |
| EP3424408B1 (en) | Fatigue state determination device and fatigue state determination method | |
| Alioua et al. | Eye state analysis using iris detection based on Circular Hough Transform | |
| CN110070055A (zh) | 一种基于深度学习的基建场景安全检测***及方法 | |
| CN113822164A (zh) | 动态情绪识别方法、装置、计算机设备和存储介质 | |
| CN111652185A (zh) | 一种基于违章行为识别的安全施工方法、***、装置及存储介质 | |
| Li et al. | Video is all you need: Attacking PPG-based biometric authentication | |
| CN107220623A (zh) | 一种人脸识别方法及*** | |
| CN110795981A (zh) | 一种高压氧舱人脸识别交互方法及*** | |
| Cheng et al. | Evaluation of facial paralysis degree based on regions | |
| CN110175522A (zh) | 考勤方法、***及相关产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |