CN210222780U - 一种人脸及手型手势的双模态识别*** - Google Patents
一种人脸及手型手势的双模态识别*** Download PDFInfo
- Publication number
- CN210222780U CN210222780U CN201921773730.XU CN201921773730U CN210222780U CN 210222780 U CN210222780 U CN 210222780U CN 201921773730 U CN201921773730 U CN 201921773730U CN 210222780 U CN210222780 U CN 210222780U
- Authority
- CN
- China
- Prior art keywords
- image processing
- visual image
- processing module
- module
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本实用新型涉及双模态识别技术领域，特别涉及一种人脸及手型手势的双模态识别***，包括视频图像处理前端和控制后端，视频图像处理前端包视觉图像处理模块、视觉图像采集摄像头、红外感应传感器、触摸屏、电源模块和4G通讯模块，视觉图像采集摄像头通过导线与视觉图像处理模块连接，用于采集用户的手形手势特征和脸部图像信息，并将图像信息转化为标准信号输出给视觉图像处理模块；红外感应传感器通过导线与视觉图像处理模块连接，输出触发电平信号到视觉图像处理模块，通过视觉图像处理模块控制视觉图像采集摄像头工作。本实用新型能够识别人脸及手型手势，控制门禁或家居设备的工作，提高门禁或家居设备的使用准确性和便利性。
Description
技术领域
本实用新型涉及双模态识别技术领域，特别涉及一种人脸及手型手势的双模态识别***。
背景技术
随着人工智能技术的日趋成熟，越来越多的人脸识别设备、手型手势识别设备实现了产品化和商业化，使得人脸及手型手势的基于生物特征的认证方式得到越来越多的应用。人脸解锁是通过人脸识别或人脸验证技术进行权限管理的一种手段，终端***可以利用人脸这一生物特征作为权限保护的密码。首先离线采集某权限用户的若干人脸图像，经过预处理和特征提取后建立该用户的人脸特征库；当具备多个权限用户时，会对每个用户建立单独的特征库；在线解锁时，采集到用户的图像信息，再经过人脸检测和特征提取后，在预先建立的人脸特征库中检索，查找是否存在相似的数据。如果存在相似度大于某阈值的数据，则认为识别成功，该用户具备权限，解锁成功；如果在库中找不到相似数据，则认为该用户不具备权限，解锁失败。
人脸的权限管理存在安全性的漏洞：如果终端设备摄像头拍摄的不是真实的人脸，而是某权限用户的照片或视频，同样可以解锁成功，此外也不能解决双胞胎或者长相相似或者经过化妆伪装的人之间的解锁，仍然具有很大的安全隐患。手势相对于语言来说是一种表达人们想法的单独的补充模式，在对话中与手势相关联的信息是一种语句的时间和空间结构，可以用机器来提取它们。
实用新型内容
为了解决上述问题，本实用新型提供了一种人脸及手型手势的双模态识别***，能够识别人脸及手型手势，控制门禁或家居设备的工作，提高门禁或家居设备的使用准确性和便利性。
为了实现上述目的，本实用新型采用以下技术方案来实现：一种人脸及手型手势的双模态识别***，包括视频图像处理前端和控制后端，所述视频图像处理前端包视觉图像处理模块、视觉图像采集摄像头、红外感应传感器、触摸屏、电源模块和4G通讯模块，所述视觉图像采集摄像头通过导线与视觉图像处理模块连接，用于采集用户的手形手势特征和脸部图像信息，并将图像信息转化为标准信号输出给视觉图像处理模块；所述红外感应传感器通过导线与视觉图像处理模块连接，用于感应接近的活体，并输出触发电平信号到视觉图像处理模块，通过视觉图像处理模块控制视觉图像采集摄像头工作；所述电源模块通过导线与视觉图像处理模块连接，为整个视频图像处理前端供电；所述触摸屏通过导线与视觉图像处理模块连接，用于与视觉图像处理模块实现交互；所述4G通讯模块通过导线与视觉图像处理模块连接，用于与控制后端实现远程通信，将采集的图像数据储存在控制后端。
进一步地，所述控制后端包括云平台和PC机，所述云平台通过4G无线信号与4G通讯模块进行远程通讯，所述云平台与PC机进行无线通讯，PC机用于查看图像数据，并可远程操作控制视频图像处理前端的工作。
进一步地，所述电源模块包括蓄电池电源模块和直流市电电源。
相比现有技术，本实用新型的有益效果在于：本实用新型的人脸及手型手势的双模态识别***设置在任何便于用户提供脸部或手部图像信息的地方，视觉图像采集摄像头获取到位于其采集区域中的用户的脸部或手部的图像信息，其中脸部信息为用户的各种表情，手部信息为用户的不同手势动作，并将该图像信息发送给视觉图像处理模块，视觉图像处理模块将接收到的图像信息与预先存储的标准脸部表情或标准手势动作进行比较，当该图像信息与某一个标准脸部表情或标准手势动作一致时，则通过视觉图像处理模块作出判断，给出控制信号，控制门禁、智能家居设备等装置工作，通过人脸及手型手势的双模态识别提高门禁或家居设备的使用准确性和便利性。同时，视觉图像处理模块将该图像信息通过4G通讯模块发送至云平台，并储存在云平台中，管理人员可通过联网的PC机查看图像数据，并对图像数据进行分析和处理，便于大数据时代的数据应用，管理人员还可通过联网的PC机远程操作控制视频图像处理前端的工作，使得对视频图像处理前端的操作更加便捷。
附图说明
图1是本实用新型的人脸及手型手势的双模态识别***的***原理框图。
图中：1、视觉图像处理模块；2、视觉图像采集摄像头；3、红外感应传感器；4、触摸屏；5、电源模块；6、4G通讯模块；7、云平台；8、PC机。
具体实施方式
为了使本领域技术人员更好地理解本实用新型的技术方案，下面结合附图对本实用新型进行详细描述，本部分的描述仅是示范性和解释性，不应对本实用新型的保护范围有任何的限制作用。
实施例1
如图1所示，一种人脸及手型手势的双模态识别***，包括视频图像处理前端和控制后端，视频图像处理前端包视觉图像处理模块1、视觉图像采集摄像头2、红外感应传感器3、触摸屏4、电源模块5和4G通讯模块6，视觉图像采集摄像头2通过导线与视觉图像处理模块1连接，用于采集用户的手形手势特征和脸部图像信息，并将图像信息转化为标准信号输出给视觉图像处理模块1，视觉图像采集摄像头2使用手创品牌openmv4h7型号的摄像头，视觉图像处理模块1使用手创品牌的OpenMv4型视觉图像处理模块，其内置STM32H7主控芯片，能够实现高达400Mhz的主工作频率，图像处理延时更低，速率更高。
红外感应传感器3通过导线与视觉图像处理模块1连接，用于感应接近的活体，并输出触发电平信号到视觉图像处理模块1，通过视觉图像处理模块1控制视觉图像采集摄像头2工作，红外感应传感器3使用Risym品牌的HC-SR501RD-624人体红外感应传感器，能够实现活体红外感应功能，其工作电压为5～20v，感应范围为7米以内，感应距离可以根据需要进行调节。电源模块5通过导线与视觉图像处理模块1连接，为整个视频图像处理前端供电，电源模块5包括蓄电池电源模块和直流市电电源，蓄电池电源模块包括24v锂电池和24转5v电压转换电路，直流市电电源使用220v转5v开关电源。触摸屏4通过导线与视觉图像处理模块1连接，使用工业级的8寸电容触摸屏，用于与视觉图像处理模块1实现交互，对***进行设置操作。
4G通讯模块6通过导线与视觉图像处理模块1连接，4G通讯模块6使用有人牌的USR-G780 V2型号4G通讯模块，其使用RS232和RS485接口类型，与OpenMv4型视觉图像处理模块连接方便，用于与控制后端实现远程通信，将采集的图像数据储存在控制后端。控制后端包括云平台7和PC机8，云平台7通过4G无线信号与4G通讯模块6进行远程通讯，云平台7与PC机8进行无线通讯，将控制前端的原始手形手势特征和脸部图像信息储存在云平台中，云平台7优选阿里云平台，可储存视频、图片、文件，对接方便，PC机8用于查看图像数据，并可远程操作控制视频图像处理前端的工作。
如图1所示，本实用新型的人脸及手型手势的双模态识别***可以设置在任何便于用户提供脸部或手部图像信息的地方，视觉图像采集摄像头2和红外感应传感器3安装在一起，设置在采集用户脸部或手部图像信息的最前端，视觉图像采集摄像头2能够获取到位于其采集区域中的用户的脸部或手部的图像信息，其中脸部信息为用户的各种表情，手部信息为用户的不同手势动作，并将该图像信息发送给视觉图像处理模块1，视觉图像处理模块1将接收到的图像信息与预先存储的标准脸部表情或标准手势动作进行比较，当该图像信息与某一个标准脸部表情或标准手势动作一致时，则通过视觉图像处理模块1作出判断，给出控制信号，控制门禁、智能家居设备等装置工作，通过人脸及手型手势的双模态识别提高门禁或家居设备的使用准确性和便利性。同时，视觉图像处理模块1将该图像信息通过4G通讯模块6发送至云平台12，并储存在云平台中，管理人员可通过联网的PC机8查看图像数据，并对图像数据进行分析和处理，便于大数据时代的数据应用，管理人员还可通过联网的PC机8远程操作控制视频图像处理前端的工作，使得对视频图像处理前端的操作更加便捷。
以上显示和描述了本实用新型的基本原理、主要特征和优点。本行业的技术人员应该了解，本实用新型不受上述实施例的限制，上述实施例和说明书中的描述的只是说明本实用新型的原理，在不脱离本实用新型精神和范围的前提下，本实用新型还会有各种变化和改进，这些变化和改进都落入要求保护的本实用新型范围内。本实用新型要求保护范围由所附的权利要求书及其等效物界定。
Claims (3)
1.一种人脸及手型手势的双模态识别***，其特征在于：包括视频图像处理前端和控制后端，所述视频图像处理前端包视觉图像处理模块(1)、视觉图像采集摄像头(2)、红外感应传感器(3)、触摸屏(4)、电源模块(5)和4G通讯模块(6)，所述视觉图像采集摄像头(2)通过导线与视觉图像处理模块(1)连接，用于采集用户的手形手势特征和脸部图像信息，并将图像信息转化为标准信号输出给视觉图像处理模块(1)；所述红外感应传感器(3)通过导线与视觉图像处理模块(1)连接，用于感应接近的活体，并输出触发电平信号到视觉图像处理模块(1)，通过视觉图像处理模块(1)控制视觉图像采集摄像头(2)工作；所述电源模块(5)通过导线与视觉图像处理模块(1)连接，为整个视频图像处理前端供电；所述触摸屏(4)通过导线与视觉图像处理模块(1)连接，用于与视觉图像处理模块(1)实现交互；所述4G通讯模块(6)通过导线与视觉图像处理模块(1)连接，用于与控制后端实现远程通信，将采集的图像数据储存在控制后端。
2.根据权利要求1所述的人脸及手型手势的双模态识别***，其特征在于：所述控制后端包括云平台(7)和PC机(8)，所述云平台(7)通过4G无线信号与4G通讯模块(6)进行远程通讯，所述云平台(7)与PC机(8)进行无线通讯，PC机(8)用于查看图像数据，并可远程操作控制视频图像处理前端的工作。
3.根据权利要求2所述的人脸及手型手势的双模态识别***，其特征在于：所述电源模块(5)包括蓄电池电源模块和直流市电电源。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201921773730.XU CN210222780U (zh) | 2019-10-22 | 2019-10-22 | 一种人脸及手型手势的双模态识别*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201921773730.XU CN210222780U (zh) | 2019-10-22 | 2019-10-22 | 一种人脸及手型手势的双模态识别*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN210222780U true CN210222780U (zh) | 2020-03-31 |
Family
ID=69921338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201921773730.XU Active CN210222780U (zh) | 2019-10-22 | 2019-10-22 | 一种人脸及手型手势的双模态识别*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN210222780U (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111522260A (zh) * | 2020-04-24 | 2020-08-11 | 徐建红 | 基于信息抓取识别及大数据的智能辅助服务方法及其*** |
| CN112631422A (zh) * | 2020-12-10 | 2021-04-09 | 西安理工大学 | 一种基于人体行为触发的媒体交互*** |
-
2019
- 2019-10-22 CN CN201921773730.XU patent/CN210222780U/zh active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111522260A (zh) * | 2020-04-24 | 2020-08-11 | 徐建红 | 基于信息抓取识别及大数据的智能辅助服务方法及其*** |
| CN112631422A (zh) * | 2020-12-10 | 2021-04-09 | 西安理工大学 | 一种基于人体行为触发的媒体交互*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105700363B (zh) | 一种智能家居设备语音控制装置的唤醒方法及*** | |
| CN210222780U (zh) | 一种人脸及手型手势的双模态识别*** | |
| CN104933344A (zh) | 基于多生物特征模态的移动终端用户身份认证装置及方法 | |
| CN104217480A (zh) | 一种基于指纹和指静脉联合识别的智能门禁*** | |
| CN202196458U (zh) | 一种人脸识别*** | |
| EP3610738B1 (en) | Method and system for unlocking electronic cigarette | |
| CN103677267A (zh) | 移动终端及其唤醒方法、装置 | |
| CN105608649A (zh) | 一种基于人脸识别的酒店入住管理*** | |
| CN101980305A (zh) | 基于人脸识别与3g通信的家庭智能门禁*** | |
| CN205427946U (zh) | 一种酒店入住管理*** | |
| CN102103409A (zh) | 基于运动轨迹识别的人机交互方法及装置 | |
| CN101211484A (zh) | 防止在atm取款时密码被偷窥的方法及装置 | |
| CN106682607A (zh) | 一种基于低功耗嵌入式和红外触发的离线人脸识别***及方法 | |
| CN203366348U (zh) | 一种人脸识别***及门禁*** | |
| CN202502458U (zh) | 具有人脸检测识别功能的休眠唤醒*** | |
| CN210573837U (zh) | 一种智能人脸识别*** | |
| CN103268150A (zh) | 一种基于表情识别的智能机器人管控***及管控方法 | |
| WO2024016883A1 (zh) | 车辆控制***、方法、装置、设备及介质 | |
| CN109636960A (zh) | 3d人脸识别智能门锁及3d人脸解锁方法 | |
| CN108958620A (zh) | 一种基于前臂表面肌电的虚拟键盘设计方法 | |
| CN104796539A (zh) | 一种控制终端状态的方法 | |
| CN110647732B (zh) | 一种基于生物识别特征的语音交互方法、***、介质和设备 | |
| CN215954383U (zh) | 一种可选择解锁方式的门禁*** | |
| CN106780863A (zh) | 一种基于虹膜技术的小区门禁*** | |
| CN204204058U (zh) | 一种基于指纹和指静脉联合识别的智能门禁*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant |