CN117037244A - 人脸安全检测方法、装置、计算机设备和存储介质 - Google Patents
人脸安全检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN117037244A CN117037244A CN202310934411.7A CN202310934411A CN117037244A CN 117037244 A CN117037244 A CN 117037244A CN 202310934411 A CN202310934411 A CN 202310934411A CN 117037244 A CN117037244 A CN 117037244A
- Authority
- CN
- China
- Prior art keywords
- range motion
- optical flow
- moments
- feature
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 33
- 230000033001 locomotion Effects 0.000 claims abstract description 174
- 239000013598 vector Substances 0.000 claims abstract description 137
- 230000003287 optical effect Effects 0.000 claims abstract description 95
- 230000001815 facial effect Effects 0.000 claims abstract description 92
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 22
- 238000004590 computer program Methods 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及安全检测技术领域，具体涉及一种人脸安全检测方法、装置、计算机设备和存储介质。所述方法包括：获取多个连续时刻的面部图像信息；基于所述面部图像信息，采用卷积神经网络模型进行提取多个连续时刻的面部特征；根据所述面部特征，获取所述面部特征的光流向量；根据所述光流向量，获得长程运动特征和相邻时刻间的短程运动特征；分析所述长程运动特征和所述相邻时刻间的短程运动特征，获得人脸的匹配度。本申请具有在用户登录应用界面时，提高人脸检测的安全性的效果。
Description
技术领域
本申请涉及安全检测技术领域，特别是涉及一种人脸安全检测方法、装置、计算机设备和存储介质。
背景技术
随着人脸识别技术的快速发展和广泛应用，人脸安全问题也日益受到关注。在许多领域，如安全监控、身份验证和金融交易等，人脸安全检测成为了重要的技术需求。为了确保人脸识别***的可靠性和安全性，研究人员不断提出新的方法和装置来应对潜在的安全威胁和攻击。
在用户登录APP应用时，传统的人脸安全检测方法主要基于静态图像的分析和特征提取。这些方法对人脸的形状、纹理和颜色进行分析，通过比较和匹配来判断人脸的真实性。然而，这些方法容易受到攻击者的欺骗，例如使用照片、视频或面具等。
因此，亟需一种人脸安全检测方法、装置、计算机设备和存储介质来解决上述问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够在用户登录APP应用时提高人脸检测安全性的人脸安全检测方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种人脸安全检测方法。所述方法包括：
获取多个连续时刻的面部图像信息；
基于所述面部图像信息，采用卷积神经网络模型进行提取多个连续时刻的面部特征；
根据所述面部特征，获取所述面部特征的光流向量；
根据所述光流向量，获得长程运动特征和相邻时刻间的短程运动特征；
分析所述长程运动特征和所述相邻时刻间的短程运动特征，获得人脸的匹配度。
在其中一个实施例中，所述根据所述面部特征，获取所述面部特征的光流向量，包括：
根据所述面部特征，通过特征匹配算法获得相邻时刻间的表征相同的特征元素的特征点对；
比较所述特征点对的亮度变化，获得亮度残差，所述亮度残差用于表示相同的特征元素在相邻时刻间的亮度差异；
根据所述亮度残差，获取所述面部特征的光流向量。
在其中一个实施例中，所述短程运动特征，包括：光流向量的平均值、光流向量的方向分布状态、光流向量的梯度值、光流向量的时空特征和光流向量的稠密度。
在其中一个实施例中，所述根据所述光流向量，获得长程运动特征，包括：
采用时序处理模型，按照时间顺序将所述光流向量输入至所述时序处理模型中；
获得多个连续时刻的时间步的运动状态；
根据多个连续时刻的时间步的运动状态，生成运动状态时间序列；
根据所述运动状态时间序列，获得长程运动特征。
在其中一个实施例中，所述分析所述长程运动特征和所述相邻时刻间的短程运动特征，获得人脸的匹配度，包括：
根据长程运动特征，获得长程运动特征向量；
根据短程运动特征，获得短程运动特征向量；
按照拼接融合、加权平均融合或时间步交替融合的计算方式，将长程运动特征向量和短程运动特征向量进行融合处理，得到融合后的运动特征；
根据融合后的运动特征和预存于本地文件的面部图像信息，获得人脸的匹配度。
在其中一个实施例中，所述获取多个连续时刻的面部图像信息，包括：
在用户进入登录验证页面的情况下，通过手机摄像方式连续采集多个时刻的用户人脸图像；
分别对多个时刻的用户人脸图像进行编号存储处理，获取多个连续时刻的面部图像信息。
第二方面，本申请还提供了一种人脸安全检测装置。所述装置包括：
图像采集模块，用于获取多个连续时刻的面部图像信息；
特征提取模块，用于基于所述面部图像信息，采用卷积神经网络模型进行提取多个连续时刻的面部特征；
计算模块，用于根据所述面部特征，获取所述面部特征的光流向量；
计算模块，还用于根据所述光流向量，获得长程运动特征和相邻时刻间的短程运动特征；
计算模块，还用于分析所述长程运动特征和所述相邻时刻间的短程运动特征，获得人脸的匹配度。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取多个连续时刻的面部图像信息；
基于所述面部图像信息，采用卷积神经网络模型进行提取多个连续时刻的面部特征；
根据所述面部特征，获取所述面部特征的光流向量；
根据所述光流向量，获得长程运动特征和相邻时刻间的短程运动特征；
分析所述长程运动特征和所述相邻时刻间的短程运动特征，获得人脸的匹配度。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取多个连续时刻的面部图像信息；
基于所述面部图像信息，采用卷积神经网络模型进行提取多个连续时刻的面部特征；
根据所述面部特征，获取所述面部特征的光流向量；
根据所述光流向量，获得长程运动特征和相邻时刻间的短程运动特征；
分析所述长程运动特征和所述相邻时刻间的短程运动特征，获得人脸的匹配度。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取多个连续时刻的面部图像信息；
基于所述面部图像信息，采用卷积神经网络模型进行提取多个连续时刻的面部特征；
根据所述面部特征，获取所述面部特征的光流向量；
根据所述光流向量，获得长程运动特征和相邻时刻间的短程运动特征；
分析所述长程运动特征和所述相邻时刻间的短程运动特征，获得人脸的匹配度。
上述人脸安全检测方法、装置、计算机设备、存储介质和计算机程序产品，在用户登录APP应用界面时，通过摄像头采集多个连续时刻的面部图像，通过使用卷积神经网络模型从多个连续时刻的面部图像中提取面部特征，并通过光流向量分析长程运动特征和相邻时刻间的短程运动特征，采集对比不同时间尺度上特征的变化情况，识别是否为本人进行操作，进而提升软件安全性。
附图说明
图1为一个实施例中人脸安全检测方法的应用环境图；
图2为一个实施例中人脸安全检测方法的流程示意图；
图3为一个实施例中步骤S210的展开流程示意图；
图4为一个实施例中人脸安全检测装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的人脸安全检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储***可以存储服务器104需要处理的面部图像信息数据。数据存储***可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，服务器104获取多个连续时刻的面部图像信息；基于面部图像信息，采用卷积神经网络模型进行提取多个连续时刻的面部特征；根据面部特征，获取面部特征的光流向量；根据光流向量，获得长程运动特征和相邻时刻间的短程运动特征；分析长程运动特征和相邻时刻间的短程运动特征，获得人脸的匹配度。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种人脸安全检测方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S202：获取多个连续时刻的面部图像信息。
具体地，本申请应用于用户在登录手机银行APP时进行身份认证的场景，在用户登录时，服务器可以调用操作***提供的摄像头API来获取连续的面部图像。
步骤S204：基于面部图像信息，采用卷积神经网络模型进行提取多个连续时刻的面部特征。
具体地，在收集多个连续时刻的面部图像之后，对图像进行预处理，如调整大小、归一化等。使用深度学习框架(如TensorFlow、PyTorch等)构建卷积神经网络模型。卷积神经网络模型包括卷积层和池化层，其中，卷积层可以帮助提取面部图像中的特征，而池化层可以降低特征的维度。可以根据具体任务和数据集的特点设计合适的网络结构。将准备好的面部图像数据输入到卷积神经网络模型中。通常，需要将图像转换为模型所需的张量形式，并进行归一化处理。然后使用训练数据集对卷积神经网络模型进行训练。通过反向传播算法和优化器来调整模型参数，使得模型能够准确地提取面部特征。
在训练完成后，可以使用该训练好的卷积神经网络模型来提取面部图像的特征。将连续时刻的面部图像输入到模型中，获取模型的中间层的输出作为面部特征。如果有多个连续时刻的面部特征，可以通过一些特征融合的方法，如拼接、加权平均等，将这些特征融合成一个更综合的特征表示。
通过以上步骤，可以基于面部图像信息，利用卷积神经网络模型提取多个连续时刻的面部特征。这些特征可以用于后续的人脸识别、表情识别、姿势识别等任务。
步骤S206：根据面部特征，获取面部特征的光流向量。
具体地，首先，使用面部识别算法，如基于深度学习的人脸检测和关键点定位方法，识别和定位面部特征，例如眼睛、鼻子、嘴巴等。在连续的视频帧中，选择一个参考帧作为起始帧。对于下一帧，应用光流估计算法，例如Lucas-Kanade光流算法或基于深度学习的光流估计方法，来估计每个面部特征点的光流向量。光流向量表示了每个特征点在两个连续帧之间的位移。对于连续的视频帧，重复步骤，计算每个面部特征点的光流向量。
步骤S208：根据光流向量，获得长程运动特征和相邻时刻间的短程运动特征。
具体地，使用光流算法(如Lucas-Kanade、Horn-Schunck等)计算相邻帧之间的光流向量。光流向量描述了图像中每个像素点在时间上的运动方向和速度。通过分析光流向量的整体分布，可以获得长程运动特征。常见的方法是计算光流向量的平均值和标准差，来描述整个图像或特定区域的运动趋势和幅度。利用光流向量的局部变化来获得相邻时刻间的短程运动特征。
步骤S210：分析长程运动特征和相邻时刻间的短程运动特征，获得人脸的匹配度。
具体地，将长程运动特征和短程运动特征整理为矩阵，并对长程运动特征和短程运动特征进行特征处理和融合，以获得更具有代表性和区分性的特征表示。通过分析长程运动特征，获取用户在一段时间内的行为模式和运动习惯，行为模式和运动习惯包括用户特定的动作、行走路径、手势等。长程运动特征能解析出更细微的动作特征和变化，例如用户的微表情、手指移动等。这些特征可以用于判断用户是否具有独特的生物特征，以及验证是否与用户的已有特征数据匹配。比较上述得到的特征表示和存储在本地的用户本人的特征差异，判别是否为用户本人。用户本人的特征是在用户初次使用应用或设备时，要求用户进行注册时所记录的特征。
在一个实施例中，获取多个连续时刻的面部图像信息，包括：
在用户进入登录验证页面的情况下，通过手机摄像方式连续采集多个时刻的用户人脸图像；分别对多个时刻的用户人脸图像进行编号存储处理，获取多个连续时刻的面部图像信息。
本实施例中，为了采集用户的图片，需要准备相应的图片采集设备，本申请采用手机自带的摄像头进行图片采集。确定采集的时间点T_1、T_2、...、T_n。这些时间点应该是连续的且依次递增的，以便后续处理时可以按照时间顺序进行分析。采集时间点从用户进行登录验证操作后开始。在每个时间点T_i，调用手机摄像头进行图片采集，捕捉用户的图像。将每个时间点T_i采集到的图像进行存储，并为每个图像分配一个对应的编号input_i。确保图像和编号之间的对应关系是准确的，方便后续的特征提取和分析。
在一个实施例中，如图3所示，根据面部特征，获取面部特征的光流向量，包括：
根据面部特征，通过特征匹配算法获得相邻时刻间的表征相同的特征元素的特征点对；比较特征点对的亮度变化，获得亮度残差，亮度残差用于表示相同的特征元素在相邻时刻间的亮度差异；根据亮度残差，获取面部特征的光流向量。
光流向量表示不同时刻特征点的变化，包含了物体运动方向和速度的信息。
首先利用移动端运行的卷积神经网络模型提取input_1、input_2、…、input_n的特征feature_1、feature_2、…、feature_n。对于相邻时刻的特征，例如feature_1和feature_2，通过特征匹配算法找到在两个相邻时刻中表示相同物体或特征的特征点对。在完成特征匹配后，基于亮度变化计算所有特征点对在两个时刻之间的亮度残差。常见的使用亮度残差计算光流向量的方法：首先，选择两个连续的图像帧，分别记为I1和I2。对于每个像素位置(x,y)，在第一帧I1的位置(x,y)处取一个小的窗口或区域。在第二帧I2中，通过在第一帧的位置(x,y)处的像素周围搜索，找到一个与窗口内像素最相似的像素位置(x+Δx,y+Δy)。计算亮度残差：R＝I1(x,y)-I2(x+Δx,y+Δy)。重复步骤2至4，对于图像中的每个像素位置(x,y)，计算亮度残差。根据亮度残差的大小和方向，得到光流向量：V＝(Δx,Δy)。通过以上步骤，可以计算得到每个像素的光流向量，用于表示像素在两个连续图像帧之间的运动方向和速度。
在一个实施例中，短程运动特征，包括：光流向量的平均值、光流向量的方向分布状态、光流向量的梯度值、光流向量的时空特征和光流向量的稠密度。
利用光流向量的局部变化来获得相邻时刻间的短程运动特征。可以采用以下方法：
光流向量差异：计算相邻帧间的光流向量差异，可以得到短程运动特征。一种常见的差异度量是计算两个向量之间的欧氏距离或角度差。
光流向量密度：根据光流向量的密度分布来分析短程运动特征。可以将图像划分为多个小区域，统计每个区域内的光流向量数量或密度，以反映局部运动特征。
光流向量方向直方图：将光流向量的方向进行统计分析，生成方向直方图。可以通过统计每个方向上的光流向量数量或密度，来描述图像中不同方向上的运动特征。
以上是一些常见的方法，根据实际应用场景和需求，可以选择适合的方法来提取长程和短程运动特征。另外，还可以结合其他计算机视觉算法和技术，如目标跟踪、图像分割等，来进一步分析和应用光流向量。
在一个实施例中，根据光流向量，获得长程运动特征，包括：
采用时序处理模型，按照时间顺序将光流向量输入至时序处理模型中；
获得多个连续时刻的时间步的运动状态；
根据多个连续时刻的时间步的运动状态，生成运动状态时间序列；
根据运动状态时间序列，获得长程运动特征。
具体地，时序处理模型在本方案中采用GRU模块，GRU模块是一种循环神经网络(RNN)的变体，通过一些门控机制来控制信息的流动和记忆的更新。GRU模块的设计允许它在处理时间序列数据时有效地捕捉长程依赖关系，适用于分析和建模具有时序性的数据。通过使用GRU模块，可以对不同光流向量间的长程运动特征进行建模，进而实现对用户运动或行为的分析和预测。
计算得到的不同时刻间的光流向量作为输入数据。每个光流向量可以视为一个时间步的输入；将输入的光流向量按照时间顺序输入到GRU模块中。在每个时间步，GRU模块根据当前输入和前一个时间步的状态进行计算。由于GRU模块内部的门控机制，它可以在处理时间序列数据时学习和捕捉长程依赖关系。在捕捉不同光流向量间的长程运动特征时，GRU模块可以通过自适应地更新和传递记忆状态来实现。根据需要，可以从GRU模块中获取每个时间步的运动状态。运动状态包括用户特定的动作、行走路径、手势等。运动状态时间序列是指在一段时间内记录或观测到的物体或***的运动状态的序列。它是一系列时间上连续的数据点，每个数据点代表一个特定时间点上的运动状态。整理运动状态时间序列，得到相邻时刻的长程运动特征。
在一个实施例中，分析长程运动特征和相邻时刻间的短程运动特征，获得人脸的匹配度，包括：
步骤S302：根据长程运动特征，获得长程运动特征向量。
步骤S304：根据短程运动特征，获得短程运动特征向量。
步骤S306：按照拼接融合、加权平均融合或时间步交替融合的计算方式，将长程运动特征向量和短程运动特征向量进行融合处理，得到融合后的运动特征。
步骤S308：根据融合后的运动特征和预存于本地文件的面部图像信息，获得人脸的匹配度。
具体地，将长程运动特征和短程运动特征整理为矩阵，以下是一个示例矩阵，用于展示如何整理长程运动特征和短程运动特征：
假设有n个时刻的长程运动特征和短程运动特征，每个特征表示为一个向量。长程运动特征表示为M1，M2，...，Mn，短程运动特征表示为S1，S2，...，Sn；将这些特征整理为2n×m的矩阵，其中m是每个运动信息的维度；矩阵的前n行表示长程运动特征，后n行表示短程运动特征。
示例：
在矩阵中，每一行表示一个时刻的长程或短程运动特征向量，每一列表示该向量的一个特征。通过整理为矩阵，可以更方便地处理和分析长程和短程运动特征，并进行特征处理和融合，以获得更具代表性和区分性的特征。
分别将长程运动特征矩阵的时间序列向量S1、S2、...、Sn和短程运动特征矩阵的时间序列向量M1、M2、...、Mn拼接融合为一个向量，最终得到包含长程运动特征和短程运动特征的时间序列向量；有以下三种方式进行操作：
1)拼接融合：将向量S和向量M按照顺序拼接在一起，形成一个更长的向量。这样的融合方式可以保留原始向量的顺序和时序信息，将S和M的特征有机地结合在一起。
2)加权平均融合：给向量S和向量M分别赋予不同的权重，然后按照权重对它们进行加权平均。权重通过经验设置完成。开发人员根据领域专业知识和经验，基于任务性质及对数据特征的理解和观察，以及对各个向量对结果的贡献的主观评估，本方案优选给予向量M较高的权重。
3)按照时间步交替融合：按照时间步交替选择向量S和向量M的元素，构成融合后的向量。例如，首先选择S的第一个元素，然后选择M的第一个元素，接着选择S的第二个元素，再选择M的第二个元素，依此类推。这样的融合方式可以交叉地融合两个向量，保留二者之间的时序信息。
最后，将所有向量按照时间顺序拼接在一起即为最终的目标向量(即为融合后的运动特征)。每种融合策略都可以将不同的特征信息融合到目标向量中。拼接融合将原始向量的特征按顺序连接，保留了每个向量的独立信息，可以保留原始向量的顺序和时序信息；加权平均融合通过权重调整将不同向量的特征进行平均，可以根据权重的设置突出某个向量的影响力；按照时间步交替融合可以将不同时刻的特征有机地结合在一起。这样可以充分利用不同特征之间的关系和互补性。通过按照时间步交替融合的策略，目标向量可以保留原始向量之间的时序关系。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的人脸安全检测方法的人脸安全检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个人脸安全检测装置实施例中的具体限定可以参见上文中对于人脸安全检测方法的限定，在此不再赘述。
在一个实施例中，如图4所示，提供了一种人脸安全检测装置，包括：图像采集模块402，用于获取多个连续时刻的面部图像信息；
特征提取模块404，用于基于面部图像信息，采用卷积神经网络模型进行提取多个连续时刻的面部特征；
计算模块406，用于根据面部特征，获取面部特征的光流向量；
计算模块406，还用于根据光流向量，获得长程运动特征和相邻时刻间的短程运动特征；
计算模块406，还用于分析长程运动特征和相邻时刻间的短程运动特征，获得人脸的匹配度。
在一个实施例中，特征提取模块404，还用于根据面部特征，通过特征匹配算法获得相邻时刻间的表征相同的特征元素的特征点对。
计算模块406，还用于比较特征点对的亮度变化，获得亮度残差，亮度残差用于表示相同的特征元素在相邻时刻间的亮度差异；还用于根据亮度残差，获取面部特征的光流向量。
在一个实施例中，短程运动特征，包括：光流向量的平均值、光流向量的方向分布状态、光流向量的梯度值、光流向量的时空特征和光流向量的稠密度。
在一个实施例中，计算模块406，还用于采用时序处理模型，按照时间顺序将光流向量输入至时序处理模型中；还用于获得多个连续时刻的时间步的运动状态；还用于根据多个连续时刻的时间步的运动状态，生成运动状态时间序列；还用于根据运动状态时间序列，获得长程运动特征。
在一个实施例中，分析长程运动特征和相邻时刻间的短程运动特征，获得人脸的匹配度，包括：
计算模块406，还用于根据长程运动特征，获得长程运动特征向量；还用于根据短程运动特征，获得短程运动特征向量；还用于按照拼接融合、加权平均融合或时间步交替融合的计算方式，将长程运动特征向量和短程运动特征向量进行融合处理，得到融合后的运动特征；还用于根据融合后的运动特征和预存于本地文件的面部图像信息，获得人脸的匹配度。
在一个实施例中，图像采集模块402，还用于在用户进入登录验证页面的情况下，通过手机摄像方式连续采集多个时刻的用户人脸图像；计算模块406，还用于分别对多个时刻的用户人脸图像进行编号存储处理，获取多个连续时刻的面部图像信息。
上述人脸安全检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取多个连续时刻的面部图像信息；
基于面部图像信息，采用卷积神经网络模型进行提取多个连续时刻的面部特征；
根据面部特征，获取面部特征的光流向量；
根据光流向量，获得长程运动特征和相邻时刻间的短程运动特征；
分析长程运动特征和相邻时刻间的短程运动特征，获得人脸的匹配度。
该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过***总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到***总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种人脸安全检测方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取多个连续时刻的面部图像信息；
基于面部图像信息，采用卷积神经网络模型进行提取多个连续时刻的面部特征；
根据面部特征，获取面部特征的光流向量；
根据光流向量，获得长程运动特征和相邻时刻间的短程运动特征；
分析长程运动特征和相邻时刻间的短程运动特征，获得人脸的匹配度。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取多个连续时刻的面部图像信息；
基于面部图像信息，采用卷积神经网络模型进行提取多个连续时刻的面部特征；
根据面部特征，获取面部特征的光流向量；
根据光流向量，获得长程运动特征和相邻时刻间的短程运动特征；
分析长程运动特征和相邻时刻间的短程运动特征，获得人脸的匹配度。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种人脸安全检测方法，其特征在于，所述方法包括：
获取多个连续时刻的面部图像信息；
基于所述面部图像信息，采用卷积神经网络模型进行提取多个连续时刻的面部特征；
根据所述面部特征，获取所述面部特征的光流向量；
根据所述光流向量，获得长程运动特征和相邻时刻间的短程运动特征；
分析所述长程运动特征和所述相邻时刻间的短程运动特征，获得人脸的匹配度。
2.根据权利要求1所述的方法，其特征在于，所述根据所述面部特征，获取所述面部特征的光流向量，包括：
根据所述面部特征，通过特征匹配算法获得相邻时刻间的表征相同的特征元素的特征点对；
比较所述特征点对的亮度变化，获得亮度残差，所述亮度残差用于表示相同的特征元素在相邻时刻间的亮度差异；
根据所述亮度残差，获取所述面部特征的光流向量。
3.根据权利要求2所述的方法，其特征在于，所述短程运动特征，包括：光流向量的平均值、光流向量的方向分布状态、光流向量的梯度值、光流向量的时空特征和光流向量的稠密度。
4.根据权利要求1所述的方法，其特征在于，所述根据所述光流向量，获得长程运动特征，包括：
采用时序处理模型，按照时间顺序将所述光流向量输入至所述时序处理模型中；
获得多个连续时刻的时间步的运动状态；
根据多个连续时刻的时间步的运动状态，生成运动状态时间序列；
根据所述运动状态时间序列，获得长程运动特征。
5.根据权利要求1任意一项所述的方法，其特征在于，所述分析所述长程运动特征和所述相邻时刻间的短程运动特征，获得人脸的匹配度，包括：
根据长程运动特征，获得长程运动特征向量；
根据短程运动特征，获得短程运动特征向量；
按照拼接融合、加权平均融合或时间步交替融合的计算方式，将长程运动特征向量和短程运动特征向量进行融合处理，得到融合后的运动特征；
根据融合后的运动特征和预存于本地文件的面部图像信息，获得人脸的匹配度。
6.根据权利要求1所述的方法，其特征在于，所述获取多个连续时刻的面部图像信息，包括：
在用户进入登录验证页面的情况下，通过手机摄像方式连续采集多个时刻的用户人脸图像；
分别对多个时刻的用户人脸图像进行编号存储处理，获取多个连续时刻的面部图像信息。
7.一种人脸安全检测装置，其特征在于，所述装置包括：
图像采集模块，用于获取多个连续时刻的面部图像信息；
特征提取模块，用于基于所述面部图像信息，采用卷积神经网络模型进行提取多个连续时刻的面部特征；
计算模块，用于根据所述面部特征，获取所述面部特征的光流向量；
计算模块，还用于根据所述光流向量，获得长程运动特征和相邻时刻间的短程运动特征；
计算模块，还用于分析所述长程运动特征和所述相邻时刻间的短程运动特征，获得人脸的匹配度。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310934411.7A CN117037244A (zh) | 2023-07-27 | 2023-07-27 | 人脸安全检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310934411.7A CN117037244A (zh) | 2023-07-27 | 2023-07-27 | 人脸安全检测方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117037244A true CN117037244A (zh) | 2023-11-10 |
Family
ID=88638270
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310934411.7A Pending CN117037244A (zh) | 2023-07-27 | 2023-07-27 | 人脸安全检测方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117037244A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975543A (zh) * | 2024-04-01 | 2024-05-03 | 武汉烽火信息集成技术有限公司 | 一种基于光流表情的区块链零知识身份认证凭证交互方法 |
-
2023
- 2023-07-27 CN CN202310934411.7A patent/CN117037244A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975543A (zh) * | 2024-04-01 | 2024-05-03 | 武汉烽火信息集成技术有限公司 | 一种基于光流表情的区块链零知识身份认证凭证交互方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10832069B2 (en) | Living body detection method, electronic device and computer readable medium | |
| US20210158023A1 (en) | System and Method for Generating Image Landmarks | |
| CN110765860B (zh) | 摔倒判定方法、装置、计算机设备及存储介质 | |
| KR20210073569A (ko) | 이미지 시맨틱 세그멘테이션 네트워크를 트레이닝하기 위한 방법, 장치, 디바이스 및 저장 매체 | |
| WO2020199611A1 (zh) | 活体检测方法和装置、电子设备及存储介质 | |
| WO2021169637A1 (zh) | 图像识别方法、装置、计算机设备及存储介质 | |
| CN111402294A (zh) | 目标跟踪方法、装置、计算机可读存储介质和计算机设备 | |
| CN111667001B (zh) | 目标重识别方法、装置、计算机设备和存储介质 | |
| CN109522790A (zh) | 人体属性识别方法、装置、存储介质及电子设备 | |
| WO2021218238A1 (zh) | 图像处理方法和图像处理装置 | |
| CN108875767A (zh) | 图像识别的方法、装置、***及计算机存储介质 | |
| Zhou et al. | Perceptually aware image retargeting for mobile devices | |
| CN111898561A (zh) | 一种人脸认证方法、装置、设备及介质 | |
| CN111507288A (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
| CN117037244A (zh) | 人脸安全检测方法、装置、计算机设备和存储介质 | |
| Chang et al. | Salgaze: Personalizing gaze estimation using visual saliency | |
| CN113891027B (zh) | 视频插帧模型训练方法、装置、计算机设备和存储介质 | |
| CN117237547B (zh) | 图像重建方法、重建模型的处理方法和装置 | |
| CN114998814B (zh) | 目标视频生成方法、装置、计算机设备和存储介质 | |
| CN116091541A (zh) | 眼动追踪方法、装置、电子设备、存储介质和程序产品 | |
| Yang et al. | Model-agnostic method: Exposing deepfake using pixel-wise spatial and temporal fingerprints | |
| CN111539420A (zh) | 基于注意力感知特征的全景图像显著性预测方法及*** | |
| CN111275183A (zh) | 视觉任务的处理方法、装置和电子*** | |
| CN112183299B (zh) | 行人属性预测方法、装置、电子设备及存储介质 | |
| CN112560753B (zh) | 基于特征融合的人脸识别方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |