CN114218543A - 一种基于多场景表情识别的加密解锁***及方法 - Google Patents

一种基于多场景表情识别的加密解锁***及方法 Download PDF

Info

Publication number
CN114218543A
CN114218543A CN202111435070.6A CN202111435070A CN114218543A CN 114218543 A CN114218543 A CN 114218543A CN 202111435070 A CN202111435070 A CN 202111435070A CN 114218543 A CN114218543 A CN 114218543A
Authority
CN
China
Prior art keywords
face
expression
image
user
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111435070.6A
Other languages
English (en)
Inventor
张通
刘炳秀
陈俊龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202111435070.6A priority Critical patent/CN114218543A/zh
Publication of CN114218543A publication Critical patent/CN114218543A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G06F21/46—Structures or tools for the administration of authentication by designing passwords or checking the strength of passwords

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种基于表情识别的多场景加密解锁***，包括摄像模块、数据采集模块、数据存储模块、数据处理模块、解锁应用模块；数据采集模块通过摄像模块对用户进行拍摄，获取人脸图像并利用用户的人脸图像建立身份信息，并提示用户按顺序采集用户的表情序列设置表情密码；数据存储模块存储相关信息；数据处理模块对表情序列进行分析，对人脸图像进行活体检测、特征提取和人脸识别，比对身份信息，再对人脸图像进行表情识别，得到指令，通过比对指令与用户的表情密码，得到比对结果；通过比对结果完成解锁，进行不同场景下***的应用；本发明***的可复用性强，并且可以有效应对不同的场景下可能存在的攻击，保证用户的信息安全与体验。

Description

一种基于多场景表情识别的加密解锁***及方法
技术领域
本发明涉及表情识别的研究领域，特别涉及一种基于多场景表情识别的加密解锁***及方法。
背景技术
现有的人脸识别***
现有的人脸识别***已被广泛应用于出入管理、门禁考勤、监控管理、照片搜索。现今人脸识别技术较为成熟，通过摄像仪器采集实时影像，在其中进行人脸检测截取得到人脸图像，然后进行预处理，并采用人工神经网络进行人脸检测，提取特征，通过特征匹配与检索，最终输出某一类表情的分类结果。
现有的密码解锁***
出于对电脑、手机、甚至是软件隐私的保护，各种形式的密码解锁方式被研发并应用，解锁也变得更加快捷、个性、人性化。最初的数字密码解锁，仅仅是设置简单数字的排列组合，再到手势解锁,其本质就是根据绘制的路径,记录连线的按扭。随着技术发展，解锁程序日益多元化，发展出了多种较数字、图形密码更具趣味性的解锁功能，如指纹解锁、人脸解锁、声音解锁、虹膜解锁等。然而这些识别方式的安全性都是相对的，没有绝对安全的识别方式。在安全性与便捷性之间进行取舍，不仅要看技术的发展水平，还要考虑消费者的接受程度。
现有的云服务器技术
云服务器是由CPU、内存、操作***、云硬盘组成的基础的计算组件，并通过将耗费计算单元资源的软件部署在对应的云服务上，面向用户的各类需求，提供计算、存储、网络等服务。如今云服务器因其安全可靠、可弹性伸缩的计算服务，用户可以迅速创建组件云服务器，无需购买硬件，高效运维，管理及扩展比物理服务器更简单方便的优势，可以满足不同的使用场景及用户的多重需求，被互联网行业种中小企业、个人用户广泛应用。
现有面部表情识别的设备及技术
通过面部摄像提取面部表情特征，并使用经过训练的分类器识别不同的面部表情。面部表情是指通过脸部肌肉、眼部肌肉和口部肌肉的变换而表现出各种情绪状态。人类的七种主要感情：愤怒、高兴、悲伤、惊讶、厌恶、恐惧、自然都由与其相对应的面部表情以公式化方式来体现。通过人脸检测、人脸配准、特征提取、表情分类这四个步骤实现对表情的识别后分析图片主角当前的心情。
现有人脸活体检测的设备及技术
为攻击人脸识别***，不法分子通过收集合法用户的人脸图像并制作照片、视频、面具等多种假体人脸的方式对***进行破解。活体检测技术通过辨别获取的人脸图像是来自活体人脸还是假体人来提高了人脸识别***的安全性。目前的活体检测主要分两类：一类为依靠图片分类模型的活体检测；另一类为配合式活体检测，需要用户配合完成转头、眨眼等动作。
现有的人脸识别解锁、支付***对抗不同类型的攻击技术的能力不足，对安全漏洞的研究不完善，入侵者使用某种伪像模仿真实用户，或令算法无法识别正确的用户人脸等方法攻击***；现有的数字密码过于简单，针对单一的数字密码现今已有众多的低成本、易实现的破解方法，存在形式简单、不安全性高等问题，越来越无法满足用户的需求；现有的密码***很少通过人脸表情进行解锁，尽管近几年人脸识别的技术方面有了飞速的发展，可是进一步利用人脸表情解锁的技术发展却尚未成熟，未被广泛应用；现有的人脸表情密码***仅以单一的面部表情为解码，复杂程度较低，内容形式不够丰富；(6)现有的人脸识别的活体检测技术大多需要用户配合完成抬头、眨眼、闭眼、甚至朗读文字等行为，花费时间较长，用户体验较差；或者是需要高昂的仪器如红外摄像头、多光谱摄像头来检测，虽然准确率高，但是成本过高，无法广泛普及。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于多场景表情识别的加密解锁***及方法。
本发明的第一目的在于提供一种基于表情识别的多场景加密解锁***；
本发明的第二目的在于提供一种基于表情识别的多场景加密解锁方法本发明的第一目的通过以下的技术方案实现：
一种基于表情识别的多场景加密解锁***，包括摄像模块、数据采集模块、数据存储模块、数据处理模块、解锁应用模块；
所述数据采集模块通过摄像模块对用户进行拍摄，获取人脸图像并利用用户的人脸图像建立身份信息，并提示用户按顺序采集用户的表情序列设置表情密码；
所述数据存储模块存储数据采集模块所采集的人脸图像、身份信息以及对应用户的表情密码；
所述数据处理模块对表情序列进行分析，对人脸图像中为活体人脸的人脸图像进行特征提取和人脸识别，比对数据存储模块中的身份信息，进而对人脸图像进行表情识别，得到数字或字母指令，通过比对该指令与数据存储模块中用户的表情密码，得到比对结果；
解锁应用模块通过比对结果完成加密和解锁，并进行后续不同场景下***的应用。
进一步地，所述摄像模块为终端摄像模块，能及时采集用户的人脸图像。
进一步地，所述数据采集模块通过摄像模块获取人脸图像，利用用户的人脸图像在数据存储模块建立身份信息并保存，建立身份信息后按密码序列对用户进行表情图片的采集，进而设置表情密码。
进一步地，所述数据处理模块包括活体检测模块、人脸识别模块、面部表情识别模块；
所述活体检测模块对整体图像进行预处理，整体图像包含背景图像和人脸图像，所述预处理为：对整体图像进行裁剪、对齐、分割，并对整体图像的空间进行变换和叠加，通过从时域到频域、空域或者改变其颜色空间来进行操作；预处理后利用神经网络对整体图像进行深度特征提取，根据其特征判断整体图像中的人脸是否来自活体，所述判断检测整体图像是否出现光影异常、手机边框、纸张、显示器、塑料材质反光、皮肤纹路异常；
所述人脸识别模块对静态的人脸图像进行预处理，所述预处理为：采用人工神经网络进行人脸检测，确定人脸位置、大小、位姿，并准确识别人脸不同特征的位置，并进行人脸对齐，再经过一系列数据增强操作后对人脸图像进行灰度和几何归一化；预处理后通过网络模型提取人脸图像中人脸的深度特征，即对人脸图片数据进行建模和分析过程，提取的人脸图像的特征数据与数据存储模块中存储的特征模板进行搜索匹配与对比，根据相似程度对人脸的身份信息判断人脸图像对应的用户是否录入***；
所述面部表情识别模块对数据采集模块获取的人脸图像的面部表情图像进行预处理，所述预处理为：采用人工神经网络进行人脸检测，确定人脸位置、大小、位姿，并准确识别人脸不同特征的位置，并进行人脸对齐，再经过一系列数据增强操作后对人脸图像进行灰度和几何归一化；预处理后对面部表情图像进行帧聚合，利用深度学习算法提取人脸表情深度特征，联合多帧，将面部表情图像输入CNN，输出表情分类结果，并将表情分类结果转换为数字指令。
进一步地，所述解锁应用模块根据数据处理模块和数据存储模块的身份信息和表情密码的比对结果来控制终端是否解锁，若身份信息不匹配，则通过终端提示用户，身份信息不存在，请先设置身份信息；若表情密码不正确，提示用户重新输入；身份信息、表情密码均正确则根据场景完成相应的应用。
本发明的第二目的通过以下的技术方案实现：
一种基于表情识别的多场景加密解锁方法，包括以下步骤：
通过摄像模块对用户进行拍摄，获取人脸图像并利用用户的人脸图像建立身份信息，并提示用户按顺序采集用户的表情序列设置表情密码；
对表情序列进行分析，对人脸图像中为活体人脸的人脸图像进行特征提取和识别，比对数据存储模块中的身份信息，进而对人脸图像进行识别，得到数字或字母指令，通过比对该指令与数据存储模块中用户的表情密码，得到比对结果；
通过比对结果完成加密和解锁，并进行后续不同场景下***的应用。
进一步地，所述表情序列的表情包括：愤怒、高兴、悲伤、惊讶、厌恶、恐惧、自然，设定密码长度与表情相应标识，通过其相应标识设定密码。
进一步地，所述通过其相应标识设定密码，具体为对表情设定数字或字母指令，通过数字或字母指令设定密码和密码长度。
进一步地，所述对整体图像中为活体的人脸图像部分进行特征提取和识别，包括活体检测、人脸识别、面部表情识别；
所述活体检测具体为：对整体图像进行预处理，整体图像包含背景图像和人脸图像，所述预处理为：对整体图像进行裁剪、对齐、分割，并对整体图像的空间进行变换和叠加，通过从时域到频域、空域或者改变其颜色空间来进行操作；预处理后利用神经网络对整体图像进行深度特征提取，根据其特征判断整体图像中的人脸是否来自活体，所述判断检测整体图像是否出现光影异常、手机边框、纸张、显示器、塑料材质反光、皮肤纹路异常；
所述人脸识别具体为：对静态的人脸图像进行预处理，所述预处理为：采用人工神经网络进行人脸检测，确定人脸位置、大小、位姿，并准确识别人脸不同特征的位置，并进行人脸对齐，再经过一系列数据增强操作后对人脸图像进行灰度和几何归一化；预处理后通过网络模型提取人脸图像中人脸的深度特征，即对人脸图片数据进行建模和分析过程，提取的人脸图像的特征数据与数据存储模块中存储的特征模板进行搜索匹配与对比，根据相似程度对人脸的身份信息判断人脸图像对应的用户是否录入***；
所述面部表情识别具体为：对数据采集模块获取的人脸图像的面部表情图像进行预处理，所述预处理为：采用人工神经网络进行人脸检测，确定人脸位置、大小、位姿，并准确识别人脸不同特征的位置，并进行人脸对齐，再经过一系列数据增强操作后对人脸图像进行灰度和几何归一化；预处理后对面部表情图像进行帧聚合，利用深度学习算法提取人脸表情深度特征，联合多帧，将面部表情图像输入CNN，输出表情分类结果，并将表情分类结果转换为数字指令。
进一步地，所述通过比对结果完成加密和解锁，并进行后续不同场景下***的应用，具体为：根据数据处理模块和数据存储模块的身份信息和表情密码的比对比对结果来控制终端是否解锁，若身份信息不匹配，则通过终端提示用户，身份信息不存在，请先设置身份信息；若表情密码不正确，提示用户重新输入；身份信息、表情密码均正确则根据场景完成相应的应用。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明便捷易实施，能够满足多种场合的需求。本发明可通过识别电脑、手机、门禁等终端的摄像头拍摄用户的面部表情图像并转换成密码，复用性高，简单方便。
2、本发明可通过摄像头拍摄人体的面部图像，识别面部表情并转换成数字指令,实时在线识别用户的面部表情，增加了密码的复杂度，降低了密码被破解的风险，同时则增添了趣味性。
3、本发明利用活体检测对面部表情图片中背景以及人脸进行检测，防止各种2D,3D方式的假体攻击，保证在各种场景下用户信息的安全，提高***整体的安全性。
4、本发明数据处理和相应的算法模块均为可执行的程序代码进行描述再通过云服务器后台读出并执行，无需复杂硬件设备处理数据，节省产品所占空间，数据处理高效，提高用户使用体验。
5、本发明整个***支持无线通信，可将数据无线传输到存储模块，方便实现数据存储、处理和数据分析操作，有数据保存快，不会丢失，增强了数据存储的安全性和可靠性。可后续对数据进行修改，处理等操作。
6、本发明可用于门禁、电脑、手机解锁，员工日常考勤打卡，网上支付等场景，***的可复用性强，并且可以有效应对不同的场景下可能存在的攻击，保证用户的信息安全与体验
附图说明
图1是本发明所述一种基于多场景表情识别的加密解锁***的***结构框图；
图2是本发明所述实施例1中数据处理模块结构框图；
图3是一种基于多场景表情识别的加密解锁方法的流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1：
一种基于多场景表情识别的加密解锁***，如图1所示，包括摄像模块、数据采集模块、数据存储模块、数据处理模块、解锁应用模块；
所述数据采集模块通过摄像模块对用户进行拍摄，获取人脸图像并利用用户的人脸图像建立身份信息，并提示用户按顺序采集用户的表情序列设置表情密码；
所述数据存储模块存储数据采集模块所采集的人脸图像、身份信息以及对应用户的表情密码；
所述数据处理模块对表情序列进行分析，对人脸图像中为活体人脸的人脸图像进行特征提取和人脸识别，比对数据存储模块中的身份信息，进而对人脸图像进行表情识别，得到数字或字母指令，通过比对该指令与数据存储模块中用户的表情密码，得到比对结果；
解锁应用模块通过比对结果完成加密和解锁，并进行后续不同场景下***的应用。
具体如下：
数据采集模块：
数据采集模块是用来采集用户的身份、人脸图像数据、面部表情密码数据信息，传输到数据存储模块中，方便计算模块对这些数据进行分析处理。用户通过利用终端如电脑、手机、软件、门禁的摄像头拍摄人脸图像，数据采集模块采集用户人脸图片，并将其传输到数据存储模块建立身份信息档案。档案建立完成后采集模块再按密码序列对用户进行表情图片的采集，再将表情图片数据传输到计算模块进行识别。
数据存储模块：
数据存储模块接收数据采集模块采集的用户身份信息、人脸图像数据，以及计算模块识别用户设置的表情密码得到的密码指令，并为后续用户解锁提供与计算模块的识别结果比对数据，以判断身份、密码是否正确。
数据处理模块：
数据处理模块主要由人脸识别模块、面部表情识别模块和活体检测模块三大部分组成，如图2所示，在通过算法识别出人脸及表情后，确认不是非法假体攻击后，负责完成从获取的人脸图像与数据存储模块中的人脸图像进行特征比对和检索，以及密码是否匹配等关键功能。
人脸识别模块
该模块负责从静态图片进行预处理，采用人工神经网络进行人脸检测，根据人脸检测出人脸定位点(landmark)进行人脸对齐，数据增强后，对图像进行灰度和几何归一化。预处理后提取出图像中的人脸特征，并对人脸数据进行建模和分析，抽取出相应的人脸特征，进而对特征进行检索匹配与对比，判断该图片上的用户是否录入***；具体为：所述人脸识别模块对静态的人脸图像进行预处理，所述预处理为：采用人工神经网络进行人脸检测，确定人脸位置、大小、位姿，并准确识别人脸不同特征的位置，包括眼角、瞳孔、嘴巴、鼻子，并进行人脸对齐，再经过一系列数据增强操作后对人脸图像进行灰度和几何归一化，所述一系列数据增强操作包括滤波、平移、翻转、旋转；预处理后通过网络模型提取人脸图像中人脸的深度特征，即对人脸图片数据进行建模和分析过程，提取的人脸图像的特征数据与数据存储模块中存储的特征模板进行搜索匹配与对比，根据相似程度对人脸的身份信息判断人脸图像对应的用户是否录入***。
面部表情识别模块
面部表情识别模块接收来采集模块的面部表情图片后，首先对表情图像进行预处理，同样经过人脸定位点对齐，数据增强后，对图像进行灰度和几何归一化。预处理过后进行帧聚合，利用深度学习算法提取人脸表情深度特征，联合多帧，将面部图像输入CNN，输出某一类表情的分类结果。7种不同的情绪：愤怒、高兴、悲伤、惊讶、厌恶、恐惧、自然其中情绪分别代表数字1-7，也可以使用其他标识代表，将分类结果转换成数字指令；
活体检测模块
活体检测模块首先对图像进行预处理，整体图像包含背景图像和人脸图像，所述预处理为：对整体图像进行裁剪、对齐、分割，并对整体图像的空间进行变换和叠加，通过从时域到频域、空域或者改变其颜色空间来进行操作；预处理后利用神经网络对整体图像进行特征提取，根据其特征进行分类，并判断整体图像中的人脸是否来自活体，所述判断为检测整体图像中是否出现光影异常、手机边框、纸张、显示器、塑料材质反光、皮肤纹路异常。
解锁应用模块：
应用模块根据计算模块与存储模块的身份及密码比对结果来控制终端是否解锁，若身份不正确，通过终端提示用户，身份信息不存在，请先设置身份信息；若身份证确密码不正确，提示用户重新输入；身份、密码均正确则根据场景完成相应的应用。如门禁、电脑、手机、软件等是否可以被打开；网上支付是否成功；考勤***是否记录打卡信息。
实施例2
一种基于多场景表情识别的加密解锁方法，如图3所示，包括以下步骤：
通过摄像模块对用户进行拍摄，获取人脸图像并利用用户的人脸图像建立身份信息，并提示用户按顺序采集用户的表情序列设置表情密码；
对表情序列进行分析，对人脸图像中为活体人脸的人脸图像进行特征提取和识别，比对数据存储模块中的身份信息，进而对人脸图像进行识别，得到数字指令，通过数字指令比对数据存储模块中用户的表情密码，得到比对结果；
通过比对结果完成加密和解锁，并进行后续不同场景下***的应用。
进一步地，所述表情序列的表情包括：愤怒、高兴、悲伤、惊讶、厌恶、恐惧、自然，设定密码长度与表情相应标识，通过其相应标识设定密码。
进一步地，所述对表情设定相应标识，具体为对表情设定数字或字母指令，通过数字或字母指令设定密码和密码长度。
进一步地，所述对人脸图像中为活体人脸的人脸图像进行特征提取和识别，包括人脸识别、面部表情识别、活体检测；
所述活体检测具体为：对整体图像进行预处理，整体图像包含背景图像和人脸图像，所述预处理为：对整体图像进行裁剪、对齐、分割，并对整体图像的空间进行变换和叠加，通过从时域到频域、空域或者改变其颜色空间来进行操作；预处理后利用神经网络对整体图像进行深度特征提取，根据其特征判断整体图像中的人脸是否来自活体，所述判断检测整体图像是否出现光影异常、手机边框、纸张、显示器、塑料材质反光、皮肤纹路异常；
所述人脸识别具体为：对静态的人脸图像进行预处理，所述预处理为：采用人工神经网络进行人脸检测，确定人脸位置、大小、位姿，并准确识别人脸不同特征的位置，并进行人脸对齐，再经过一系列数据增强操作后对人脸图像进行灰度和几何归一化；预处理后通过网络模型提取人脸图像中人脸的深度特征，即对人脸图片数据进行建模和分析过程，提取的人脸图像的特征数据与数据存储模块中存储的特征模板进行搜索匹配与对比，根据相似程度对人脸的身份信息判断人脸图像对应的用户是否录入***；
所述面部表情识别具体为：对数据采集模块获取的人脸图像的面部表情图像进行预处理，所述预处理为：采用人工神经网络进行人脸检测，确定人脸位置、大小、位姿，并准确识别人脸不同特征的位置，并进行人脸对齐，再经过一系列数据增强操作后对人脸图像进行灰度和几何归一化；预处理后对面部表情图像进行帧聚合，利用深度学习算法提取人脸表情深度特征，联合多帧，将面部表情图像输入CNN，输出表情分类结果，并将表情分类结果转换为数字指令。
进一步地，所述通过比对结果完成加密和解锁，并进行后续不同场景下***的应用，具体为：根据数据处理模块和数据存储模块的身份信息和表情密码的比对比对结果来控制终端是否解锁，若身份信息不匹配，则通过终端提示用户，身份信息不存在，请先设置身份信息；若表情密码不正确，提示用户重新输入；身份信息、表情密码均正确则根据场景完成相应的应用。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于表情识别的多场景加密解锁***，其特征在于，包括摄像模块、数据采集模块、数据存储模块、数据处理模块、解锁应用模块；
所述数据采集模块通过摄像模块对用户进行拍摄，获取人脸图像并利用用户的人脸图像建立身份信息，并提示用户按顺序采集用户的表情序列设置表情密码；
所述数据存储模块存储数据采集模块所采集的人脸图像、身份信息以及对应用户的表情密码；
所述数据处理模块对表情序列进行分析，对人脸图像中为活体人脸的人脸图像进行特征提取和人脸识别，比对数据存储模块中的身份信息，进而对人脸图像进行表情识别，得到数字或字母指令，通过比对该指令与数据存储模块中用户的表情密码，得到比对结果；
解锁应用模块通过比对结果完成加密和解锁，并进行后续不同场景下***的应用。
2.根据权利要求1所述的一种基于表情识别的多场景加密解锁***，其特征在于，所述摄像模块为终端摄像模块，能及时采集用户的人脸图像。
3.根据权利要求1所述的一种基于表情识别的多场景加密解锁***，其特征在于，所述数据采集模块通过摄像模块获取人脸图像，利用用户的人脸图像在数据存储模块建立身份信息并保存，建立身份信息后按密码序列对用户进行表情图片的采集，进而设置表情密码。
4.根据权利要求1所述的一种基于表情识别的多场景加密解锁***，其特征在于，所述数据处理模块包括活体检测模块、人脸识别模块、面部表情识别模块；
所述活体检测模块对整体图像进行预处理，整体图像包含背景图像和人脸图像，所述预处理为：对整体图像进行裁剪、对齐、分割，并对整体图像的空间进行变换和叠加，通过从时域到频域、空域或者改变其颜色空间来进行操作；预处理后利用神经网络对整体图像进行深度特征提取，根据其特征判断整体图像中的人脸是否来自活体，所述判断检测整体图像是否出现光影异常、手机边框、纸张、显示器、塑料材质反光、皮肤纹路异常；
所述人脸识别模块对静态的人脸图像进行预处理，所述预处理为：采用人工神经网络进行人脸检测，确定人脸位置、大小、位姿，并准确识别人脸不同特征的位置，并进行人脸对齐，再经过一系列数据增强操作后对人脸图像进行灰度和几何归一化；预处理后通过网络模型提取人脸图像中人脸的深度特征，即对人脸图片数据进行建模和分析过程，提取的人脸图像的特征数据与数据存储模块中存储的特征模板进行搜索匹配与对比，根据相似程度对人脸的身份信息判断人脸图像对应的用户是否录入***；
所述面部表情识别模块对数据采集模块获取的人脸图像的面部表情图像进行预处理，所述预处理为：采用人工神经网络进行人脸检测，确定人脸位置、大小、位姿，并准确识别人脸不同特征的位置，并进行人脸对齐，再经过一系列数据增强操作后对人脸图像进行灰度和几何归一化；预处理后对面部表情图像进行帧聚合，利用深度学习算法提取人脸表情深度特征，联合多帧，将面部表情图像输入CNN，输出表情分类结果，并将表情分类结果转换为数字指令。
5.根据权利要求1所述的一种基于表情识别的多场景加密解锁***，其特征在于，所述解锁应用模块根据数据处理模块和数据存储模块的身份信息和表情密码的比对结果来控制终端是否解锁，若身份信息不匹配，则通过终端提示用户，身份信息不存在，请先设置身份信息；若表情密码不正确，提示用户重新输入；身份信息、表情密码均正确则根据场景完成相应的应用。
6.一种基于表情识别的多场景加密解锁方法，其特征在于，包括以下步骤：
通过摄像模块对用户进行拍摄，获取人脸图像并利用用户的人脸图像建立身份信息，并提示用户按顺序采集用户的表情序列设置表情密码；
对表情序列进行分析，对人脸图像中为活体人脸的人脸图像进行特征提取和识别，比对数据存储模块中的身份信息，进而对人脸图像进行识别，得到数字或字母指令，通过比对该指令与数据存储模块中用户的表情密码，得到比对结果；
通过比对结果完成加密和解锁，并进行后续不同场景下***的应用。
7.根据权利要求6所述的一种基于表情识别的多场景加密解锁方法，其特征在于，所述表情序列的表情包括：愤怒、高兴、悲伤、惊讶、厌恶、恐惧、自然，设定密码长度与表情相应标识，通过其相应标识设定密码。
8.根据权利要求7所述的一种基于表情识别的多场景加密解锁方法，其特征在于，所述通过其相应标识设定密码，具体为对表情设定数字或字母指令，通过数字或字母指令设定密码和密码长度。
9.根据权利要求6所述的一种基于表情识别的多场景加密解锁方法，其特征在于，所述对整体图像中为活体的人脸图像部分进行特征提取和识别，包括活体检测、人脸识别、面部表情识别；
所述活体检测具体为：对整体图像进行预处理，整体图像包含背景图像和人脸图像，所述预处理为：对整体图像进行裁剪、对齐、分割，并对整体图像的空间进行变换和叠加，通过从时域到频域、空域或者改变其颜色空间来进行操作；预处理后利用神经网络对整体图像进行深度特征提取，根据其特征判断整体图像中的人脸是否来自活体，所述判断检测整体图像是否出现光影异常、手机边框、纸张、显示器、塑料材质反光、皮肤纹路异常；
所述人脸识别具体为：对静态的人脸图像进行预处理，所述预处理为：采用人工神经网络进行人脸检测，确定人脸位置、大小、位姿，并准确识别人脸不同特征的位置，并进行人脸对齐，再经过一系列数据增强操作后对人脸图像进行灰度和几何归一化；预处理后通过网络模型提取人脸图像中人脸的深度特征，即对人脸图片数据进行建模和分析过程，提取的人脸图像的特征数据与数据存储模块中存储的特征模板进行搜索匹配与对比，根据相似程度对人脸的身份信息判断人脸图像对应的用户是否录入***；
所述面部表情识别具体为：对数据采集模块获取的人脸图像的面部表情图像进行预处理，所述预处理为：采用人工神经网络进行人脸检测，确定人脸位置、大小、位姿，并准确识别人脸不同特征的位置，并进行人脸对齐，再经过一系列数据增强操作后对人脸图像进行灰度和几何归一化；预处理后对面部表情图像进行帧聚合，利用深度学习算法提取人脸表情深度特征，联合多帧，将面部表情图像输入CNN，输出表情分类结果，并将表情分类结果转换为数字指令。
10.根据权利要求6所述的一种基于表情识别的多场景加密解锁方法，其特征在于，所述通过比对结果完成加密和解锁，并进行后续不同场景下***的应用，具体为：根据数据处理模块和数据存储模块的身份信息和表情密码的比对比对结果来控制终端是否解锁，若身份信息不匹配，则通过终端提示用户，身份信息不存在，请先设置身份信息；若表情密码不正确，提示用户重新输入；身份信息、表情密码均正确则根据场景完成相应的应用。
CN202111435070.6A 2021-11-29 2021-11-29 一种基于多场景表情识别的加密解锁***及方法 Pending CN114218543A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111435070.6A CN114218543A (zh) 2021-11-29 2021-11-29 一种基于多场景表情识别的加密解锁***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111435070.6A CN114218543A (zh) 2021-11-29 2021-11-29 一种基于多场景表情识别的加密解锁***及方法

Publications (1)

Publication Number Publication Date
CN114218543A true CN114218543A (zh) 2022-03-22

Family

ID=80698899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111435070.6A Pending CN114218543A (zh) 2021-11-29 2021-11-29 一种基于多场景表情识别的加密解锁***及方法

Country Status (1)

Country Link
CN (1) CN114218543A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453196A (zh) * 2023-04-22 2023-07-18 北京易知环宇文化传媒有限公司 一种人脸识别方法及***
CN116664140A (zh) * 2023-08-02 2023-08-29 华北电力大学 一种基于区块链的碳排放权交易方法
CN117495384A (zh) * 2023-11-07 2024-02-02 广州准捷电子科技有限公司 一种基于ai人脸识别技术的ktv刷脸支付方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453196A (zh) * 2023-04-22 2023-07-18 北京易知环宇文化传媒有限公司 一种人脸识别方法及***
CN116453196B (zh) * 2023-04-22 2023-11-17 深圳市中惠伟业科技有限公司 一种人脸识别方法及***
CN116664140A (zh) * 2023-08-02 2023-08-29 华北电力大学 一种基于区块链的碳排放权交易方法
CN116664140B (zh) * 2023-08-02 2023-09-29 华北电力大学 一种基于区块链的碳排放权交易方法
CN117495384A (zh) * 2023-11-07 2024-02-02 广州准捷电子科技有限公司 一种基于ai人脸识别技术的ktv刷脸支付方法
CN117495384B (zh) * 2023-11-07 2024-04-26 广州准捷电子科技有限公司 一种基于ai人脸识别技术的ktv刷脸支付方法

Similar Documents

Publication Publication Date Title
Yuan et al. Fingerprint liveness detection using an improved CNN with image scale equalization
CN108985134B (zh) 基于双目摄像机的人脸活体检测及刷脸交易方法及***
CN104361276B (zh) 一种多模态生物特征身份认证方法及***
CN114218543A (zh) 一种基于多场景表情识别的加密解锁***及方法
CN109359548A (zh) 多人脸识别监控方法及装置、电子设备及存储介质
CN111462379A (zh) 一种含掌静脉和人脸识别的门禁管理方法、***及介质
CN113591747B (zh) 一种基于深度学习的多场景虹膜识别方法
CN110599187A (zh) 一种基于人脸识别的支付方法、装置、计算机设备和存储介质
CN205644823U (zh) 社保自助服务终端装置
Yin et al. Fusion of face recognition and facial expression detection for authentication: a proposed model
WO2023158408A1 (en) Face recognition method
Kadhim et al. A multimodal biometric database and case study for face recognition based deep learning
Chen et al. An Identity Authentication Method Based on Multi-modal Feature Fusion
CN111428670B (zh) 人脸检测方法、装置、存储介质及设备
Heusch et al. A comprehensive experimental and reproducible study on selfie biometrics in multistream and heterogeneous settings
Zhou et al. Finger-knuckle assisted slap fingerprint identification for higher security and convenience
CN113190819A (zh) 基于活体融合特征的认证方法、装置及计算机设备
Nethravathi et al. Advanced Face Recognition Based Door Unlock System Using Arduino & MATLAB
Peña et al. Processing of Images Based on Machine Learning to Avoid Unauthorized Entry
CN109859409A (zh) 一种现金设备上的生物识别方法
Koodalsamy et al. Face Recognition using Deep Learning
Adebayo et al. Combating Terrorism with Biometric Authentication Using Face Recognition
Melin et al. Human Recognition using Face, Fingerprint and Voice
Zhang et al. Single Biometric Recognition Research: A Summary
Bakshe et al. Hand geometry techniques: a review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination