CN111126190A - 一种基于自由能理论和动态纹理分析的伪装人脸识别方法 - Google Patents

一种基于自由能理论和动态纹理分析的伪装人脸识别方法 Download PDF

Info

Publication number
CN111126190A
CN111126190A CN201911259071.2A CN201911259071A CN111126190A CN 111126190 A CN111126190 A CN 111126190A CN 201911259071 A CN201911259071 A CN 201911259071A CN 111126190 A CN111126190 A CN 111126190A
Authority
CN
China
Prior art keywords
face
video
texture
free energy
adopting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911259071.2A
Other languages
English (en)
Other versions
CN111126190B (zh
Inventor
王中元
王光成
傅佑铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201911259071.2A priority Critical patent/CN111126190B/zh
Publication of CN111126190A publication Critical patent/CN111126190A/zh
Application granted granted Critical
Publication of CN111126190B publication Critical patent/CN111126190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自由能理论和动态纹理分析的伪装人脸识别方法，首先，采用线性自回归(Autoregressive，AR)生成模型来近似人脑生成机制，感知预测实际视觉信号，并进一步估计实际视觉信号与人脑感知预测信号之间差值的广义高斯分布；其次，采用局部二值模式(Local Binary Pattern，LBP)纹理算子从多个颜色空间提取视频每一帧的纹理图像，并进一步通过光流方向直方图(Histogram of Oriented Optical Flow，HOOF)提取人脸视频的动态纹理特征；最后，通过支持向量机(Support Vector Machine，SVM)融合上述自由能和动态纹理两组特征，实现对攻击人脸的检测。与现有人脸活体检测技术相比，本发明能够有效检测纸张抖动、视频重放以及3D面具攻击人脸等多种攻击模式。

Description

一种基于自由能理论和动态纹理分析的伪装人脸识别方法
技术领域
本发明属于人脸防伪技术领域，涉及一种人脸识别中伪装人脸的检测方法，具体涉及一种基于自由能理论和动态纹理分析的伪装人脸检测方法。
技术背景
近年来，随着人脸识别技术的快速发展，越来越多的场合使用人脸识别技术进行目标身份认证。犯罪活动随之出现了一种新的趋势，犯罪分子采取照片抖动、视频重放以及佩戴3D面具等攻击手段来欺骗人脸识别***。这些攻击手段使犯罪份子冒充他人身份从事违法活动，具有极大的社会危害性。图1为上述三种攻击手段的示例。
部分研究提出了基于活体检测的面部伪装识别技术，如基于纹理、光谱和交互动作的人脸伪装检测，基于深度信息的照片防伪识别，但佩戴3D面膜不违反活体的属性，无法通过上述活体检测技术识别这种3D攻击人脸。
英国神经科学家Friston指出，在关于人类的行为、感知和学习等方面，自由能模型能够解释和综合许多现有的人脑理论。与经典的贝叶斯人脑猜想相似，基于自由能的人脑理论的基本假设是，人类的认知过程是由一个自生成模型控制。基于这个模型，人脑会对接收到的视觉信号进行重建，推断出其中有意义的部分，同时丢弃不确定的残余部分。这个重建模型本质上是一个概率模型，包括一个相似项和一个先验项。视觉感知过程是根据视觉信号的后验概率来推断相似项。因为自生成模型的局部性，实际的视觉信号和人脑对其进行的感知预测之间会存在差异。这个差异和人脑对视觉信号的感知质量高度相关，可被用于检测攻击人脸。
近年来，Gu等提出了一种基于自由能理论、结构退化以及自然场景统计的无参考质量评价方法，该方法能够有效地对不同质量等级的图像做出排序。Boulkenafet等指出活体与非活体在RGB颜色空间里比较难以区分，但在HSV和YCbCr颜色空间里的纹理有明显差异。Xu等提出了一种用于表情识别和分类的面部动力学图谱。该方法利用光流估计算法对连续帧间的运动进行估计，通过运动主方向来表征表情的面部肌肉运动，从而区分不同种类的表情。上述研究为本发明从自由能理论和动态纹理分析的角度检测攻击人脸提供了借鉴。
发明内容
为了解决现有活体检测技术难以同时鉴别的照片抖动、视频重放以及3D面具攻击等技术问题，本发明提出一种基于自由能理论和动态纹理分析(HSV和YCbCr空间里的纹理特征，光流方向直方图)的伪装人脸检测方法。
本发明所采用的技术方案：一种基于自由能理论和动态纹理分析的伪装人脸识别方法，其特征在于，包括以下步骤：
步骤1：采用线性AR生成模型近似人脑生成机制对人脸视频进行预测；然后，估计实际视觉信号与人脑感知预测信号之间差值的广义高斯分布，作为第一组自由能特征；
步骤2：采用LBP纹理算子从HSV和YCbCr颜色通道提取人脸视频每一帧的纹理图像，并进一步采用HOOF提取整个人脸视频的运动纹理信息，作为第二组动态纹理特征；
步骤3：通过SVM融合上述两组特征对伪装人脸视频进行鉴别，所述伪装人脸视频包括照片抖动视频、视频重放以及3D面具伪装视频。
与现有活体检测方法相比，本发明具有以下优点和积极效果：
本发明能够识别现有活体检测技术难以同时鉴别的照片抖动、视频重放以及3D面具攻击。同时，本发明方法只基于普通的视频数据，因而具有普适性强的优点。
附图说明
图1为背景技术中三种攻击手段的示例图；左为照片抖动，中为视频重放，右为3D面具攻击；
图2：本发明实施例的流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图2，本发明提供的一种基于自由能理论和动态纹理分析的面部防伪方法，包括以下步骤：
步骤1：采用线性AR生成模型近似人脑生成机制对人脸视频进行预测；然后，估计实际视觉信号与人脑感知预测信号之间差值的广义高斯分布，作为第一组自由能特征；
步骤1的具体实现包括一下子步骤：
步骤1.1：采用线性AR生成模型近似人脑生成机制对实际视觉信号进行感知预测；
本发明采用线性AR模型近似人脑的生成机制。AR模型实现简单，对图像具有很强的描述能力，并且被广泛应用。AR模型定义为：
xn＝Xk(xn)λ+εn (1)
其中xn是当前的问题像素；Xk(xn)是由xn附近的k个像素组成的行向量；λ＝(λ1，λ2，...，λk)T是由AR系数组成的列向量；εn表示误差项。对于人脸视频帧I，使用AR模型计算Xk(xn)λopt，进而估计其预测图像I′。其中λopt是根据最小二乘法对xn计算得出的最优AR模型估计。
步骤1.2：估计实际视觉信号与人脑感知预测信号之间差值的广义高斯分布，作为第一组自由能特征；
自由能理论的核心思想是实际的视觉信号和人脑对其进行的感知预测之间会存在差异。这个差异和人脑对视觉信号的感知质量高度相关，能够有效地检测攻击人脸。我们首先将实际视觉信号和人脑感知预测之间存在的差异定义为：
R＝I–I’。 (2)
经相关研究以及本发明所做实验表明，实际视觉信号和人脑感知预测之间存在的残差信号符合广义高斯分布。因从，本发明进一步通过估计残差信号的广义高斯分布实现特征降维：
Figure BDA0002311109220000031
其中
Figure BDA0002311109220000032
伽马方程Γ(·)定义为
Figure BDA0002311109220000033
在方程(3)中，参数x为公式(2)中的R；在方程(5)中，参数a为公式(4)中的
Figure BDA0002311109220000041
和
Figure BDA0002311109220000042
t表示积分范围0-∞，参数α表示分布的“形状”，参数σ2表示分布的方差；参数α和σ2作为第一组自由能特征。
步骤2：采用LBP纹理算子从多个颜色通道提取人脸视频每一帧的纹理图像，并进一步采用HOOF提取整个人脸视频的运动纹理信息，作为第二组动态纹理特征；
步骤2的具体实现包括以下子步骤：
步骤2.1：采用LBP纹理算子从多个颜色空间提取人脸视频每一帧的纹理图像；
相关研究表明活体与非活体，在RGB颜色空间里比较难以区分，但在其他颜色空间里的纹理有明显差异。因此，本发明采用LBP纹理算子从HSV和YCbCr两个颜色空间提取人脸视频每一帧的纹理信息。LBP纹理算子的定义如下：
Figure BDA0002311109220000043
Figure BDA0002311109220000044
其中，(xc，yc)表示像素位置索引，P和R表示邻域的数量和半径，在本发明中P和R分别取8和3。gc和gi是中心位置以及邻域的像素值；
步骤2.2：采用HOOF提取整个人脸视频的运动纹理信息，作为第二组动态纹理特征；
光流被广泛用于面部表情识别、动作识别以及缺陷诊断等。因此，我们考虑采用光流方向直方图来捕捉视频帧之间的动态纹理信息。光流是一种密集运动估计算法，它通过解决方程(8)的优化问题来计算每个像素值的运动过程。
Figure BDA0002311109220000045
其中Vx和Vy分别是沿x和y轴的光流速度分量。然后相邻两帧的光流方向直方图，即HOOF()，通过幅值(m)对角度(θ)进行加权获得。m和θ的计算方式如下：
Figure BDA0002311109220000046
最终整幅人脸视频的动态纹理特征如下所示，
HOOFall＝[HOOF(F1，F2)，HOOF(F2，F3)，…，HOOF(Fn-1，Fn)]。 (10)
其中F1，F1，...，Fn表示整段视频包含的n帧对应的纹理图像。
步骤3：采用SVM融合上述两组特征对攻击人脸视频(包括照片抖动、视频重放以及3D面具攻击)进行鉴别；
本实施例通过SVM学习上述两组特征得到伪装人脸检测模型，然后进一步采用学到的伪装人脸检测模型对攻击人脸进行检测。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种基于自由能理论和动态纹理分析的伪装人脸识别方法，其特征在于，包括以下步骤：
步骤1：采用线性AR生成模型近似人脑生成机制对人脸视频进行预测；然后，估计实际视觉信号与人脑感知预测信号之间差值的广义高斯分布，作为第一组自由能特征；
步骤2：采用LBP纹理算子从HSV和YCbCr颜色通道提取人脸视频每一帧的纹理图像，并进一步采用HOOF提取整个人脸视频的运动纹理信息，作为第二组动态纹理特征；
步骤3：通过SVM融合上述两组特征对伪装人脸视频进行鉴别，所述伪装人脸视频包括照片抖动视频、视频重放以及3D面具伪装视频。
2.根据权利要求1所述的基于自由能理论和动态纹理分析的伪装人脸识别方法，其特征在于，步骤1的具体实现包括以下子步骤：
步骤1.1：采用线性AR生成模型近似人脑生成机制对实际视觉信号进行感知预测；
所述AR模型定义为：
xn＝Xk(xn)λ+εn (1)
其中xn是当前的问题像素；Xk(xn)是由xn附近的k个像素组成的行向量；λ＝(λ1，λ2，...，λk)T是由AR系数组成的列向量；εn表示误差项；
对于人脸视频帧I，使用AR模型计算Xk(xn)λopt，进而估计其预测图像I′；其中λopt是根据最小二乘法对xn计算得出的最优AR模型估计；
步骤1.2：估计实际视觉信号与人脑感知预测信号之间差值的广义高斯分布，作为第一组自由能特征；
首先将实际视觉信号和人脑感知预测之间存在的差异定义为：
R＝I–I′ (2)
然后通过估计残差信号的广义高斯分布实现特征降维：
Figure FDA0002311109210000011
其中
Figure FDA0002311109210000021
伽马方程Γ(·)定义为
Figure FDA0002311109210000022
在方程(3)中，参数x为公式(2)中的R；在方程(5)中，参数a为公式(4)中的
Figure FDA0002311109210000023
和
Figure FDA0002311109210000024
t表示积分范围0-∞，参数α表示分布的“形状”，参数σ2表示分布的方差；参数α和σ2作为第一组自由能特征。
3.根据权利要求2所述的基于自由能理论和动态纹理分析的伪装人脸识别方法，其特征在于，步骤2的具体实现包括以下子步骤：
步骤2.1：采用LBP纹理算子从多个颜色空间提取人脸视频每一帧的纹理图像；
采用LBP纹理算子从HSV和YCbCr两个颜色空间提取人脸视频每一帧的纹理信息；其中，LBP纹理算子的定义如下：
Figure FDA0002311109210000025
Figure FDA0002311109210000026
其中，(xc，yc)表示像素位置索引，P和R表示邻域的数量和半径，gc和gi是中心位置以及邻域的像素值；
步骤2.2：采用HOOF提取整个人脸视频的运动纹理信息，作为第二组动态纹理特征；
首先采用光流方向直方图来捕捉视频帧之间的动态纹理信息，光流通过解决方程(8)的优化问题来计算每个像素值的运动过程；
Figure FDA0002311109210000027
其中，Vx和Vy分别是沿x和y轴的光流速度分量；
然后相邻两帧的光流方向直方图HOOF()，通过幅值m对角度θ进行加权获得；m和θ的计算方式如下：
Figure FDA0002311109210000028
最终整幅人脸视频的动态纹理特征HOOFall为：
HOOFall＝[HOOF(F1，F2)，HOOF(F2，F3)，…，HOOF(Fn-1，Fn)] (10)
其中，F1，F1，...，Fn表示整段视频包含的n帧对应的纹理图像。
4.根据权利要求3所述的基于自由能理论和动态纹理分析的伪装人脸识别方法，其特征在于：步骤3中，通过SVM学习上述两组特征得到伪装人脸检测模型，然后进一步采用学到的伪装人脸检测模型对攻击人脸进行检测。
CN201911259071.2A 2019-12-10 2019-12-10 一种基于自由能理论和动态纹理分析的伪装人脸识别方法 Active CN111126190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911259071.2A CN111126190B (zh) 2019-12-10 2019-12-10 一种基于自由能理论和动态纹理分析的伪装人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911259071.2A CN111126190B (zh) 2019-12-10 2019-12-10 一种基于自由能理论和动态纹理分析的伪装人脸识别方法

Publications (2)

Publication Number Publication Date
CN111126190A true CN111126190A (zh) 2020-05-08
CN111126190B CN111126190B (zh) 2022-07-05

Family

ID=70498094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911259071.2A Active CN111126190B (zh) 2019-12-10 2019-12-10 一种基于自由能理论和动态纹理分析的伪装人脸识别方法

Country Status (1)

Country Link
CN (1) CN111126190B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797702A (zh) * 2020-06-11 2020-10-20 南京信息工程大学 基于空间局部二值模式与光流梯度的人脸伪造视频检测方法
CN112418041A (zh) * 2020-11-16 2021-02-26 武汉大学 一种基于人脸正面化的多姿态人脸识别方法
CN113283403A (zh) * 2021-07-21 2021-08-20 武汉大学 基于对抗学习的伪造人脸视频检测方法
WO2022120532A1 (en) * 2020-12-07 2022-06-16 Huawei Technologies Co., Ltd. Presentation attack detection
CN116824768A (zh) * 2023-08-30 2023-09-29 杭银消费金融股份有限公司 一种基于金融自助服务终端的人脸识别方法与介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1457015A (zh) * 2003-03-07 2003-11-19 北方交通大学 基于人脸识别和手形识别的双模态生物认证***
KR20160044668A (ko) * 2014-10-15 2016-04-26 서울시립대학교 산학협력단 얼굴 식별 방법, 얼굴 식별 장치 및 이 방법을 실행시키는 컴퓨터 프로그램
CN110084152A (zh) * 2019-04-10 2019-08-02 武汉大学 一种基于微表情识别的伪装人脸检测方法
CN110334808A (zh) * 2019-06-12 2019-10-15 武汉大学 一种基于对抗样本训练的对抗攻击防御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1457015A (zh) * 2003-03-07 2003-11-19 北方交通大学 基于人脸识别和手形识别的双模态生物认证***
KR20160044668A (ko) * 2014-10-15 2016-04-26 서울시립대학교 산학협력단 얼굴 식별 방법, 얼굴 식별 장치 및 이 방법을 실행시키는 컴퓨터 프로그램
CN110084152A (zh) * 2019-04-10 2019-08-02 武汉大学 一种基于微表情识别的伪装人脸检测方法
CN110334808A (zh) * 2019-06-12 2019-10-15 武汉大学 一种基于对抗样本训练的对抗攻击防御方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YONG-JIN LIU ET.AL: "A Main Directional Mean Optical Flow Feature for Spontaneous Micro-Expression Recognition", 《IEEE TRANSACTIONS ON AFFECTIVE COMPUTING 》 *
曹本: "基于深度学习特征提取的人脸认证算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797702A (zh) * 2020-06-11 2020-10-20 南京信息工程大学 基于空间局部二值模式与光流梯度的人脸伪造视频检测方法
CN112418041A (zh) * 2020-11-16 2021-02-26 武汉大学 一种基于人脸正面化的多姿态人脸识别方法
CN112418041B (zh) * 2020-11-16 2022-04-15 武汉大学 一种基于人脸正面化的多姿态人脸识别方法
WO2022120532A1 (en) * 2020-12-07 2022-06-16 Huawei Technologies Co., Ltd. Presentation attack detection
CN113283403A (zh) * 2021-07-21 2021-08-20 武汉大学 基于对抗学习的伪造人脸视频检测方法
CN116824768A (zh) * 2023-08-30 2023-09-29 杭银消费金融股份有限公司 一种基于金融自助服务终端的人脸识别方法与介质
CN116824768B (zh) * 2023-08-30 2023-11-28 杭银消费金融股份有限公司 一种基于金融自助服务终端的人脸识别方法与介质

Also Published As

Publication number Publication date
CN111126190B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN111126190B (zh) 一种基于自由能理论和动态纹理分析的伪装人脸识别方法
Liu et al. Learning deep models for face anti-spoofing: Binary or auxiliary supervision
Gu et al. Model-based referenceless quality metric of 3D synthesized images using local image description
Ullah et al. Light-DehazeNet: a novel lightweight CNN architecture for single image dehazing
Sun et al. A hybrid model for identity obfuscation by face replacement
Kusakunniran et al. Gait recognition under various viewing angles based on correlated motion regression
Chang et al. Tracking Multiple People Under Occlusion Using Multiple Cameras.
Zhou et al. Transforming traditional iris recognition systems to work in nonideal situations
US8295593B2 (en) Method of detecting red-eye objects in digital images using color, structural, and geometric characteristics
CN102214309B (zh) 一种基于头肩模型的特定人体识别方法
CN110619628A (zh) 一种人脸图像质量评估方法
CN106372629A (zh) 一种活体检测方法和装置
CN112991345B (zh) 图像真伪检测方法、装置、计算机设备和存储介质
CN108446690B (zh) 一种基于多视角动态特征的人脸活体检测方法
KR20110014067A (ko) 스테레오 컨텐트의 변환 방법 및 시스템
CN111523344A (zh) 人体活体检测***及方法
Hu et al. A proto-object based saliency model in three-dimensional space
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN108416291A (zh) 人脸检测识别方法、装置和***
Yeh et al. Face liveness detection based on perceptual image quality assessment features with multi-scale analysis
Xu et al. Identity-constrained noise modeling with metric learning for face anti-spoofing
Liu et al. Physics-guided spoof trace disentanglement for generic face anti-spoofing
CN115346197A (zh) 一种基于双向视频流的驾驶员分心行为识别方法
Li et al. Underwater motion deblurring based on cascaded attention mechanism
Sun et al. Multimodal face spoofing detection via RGB-D images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant