CN110458003A - 基于局部注意力模型的面部表情动作单元对抗合成方法 - Google Patents

基于局部注意力模型的面部表情动作单元对抗合成方法 Download PDF

Info

Publication number
CN110458003A
CN110458003A CN201910581532.1A CN201910581532A CN110458003A CN 110458003 A CN110458003 A CN 110458003A CN 201910581532 A CN201910581532 A CN 201910581532A CN 110458003 A CN110458003 A CN 110458003A
Authority
CN
China
Prior art keywords
model
face
intensity
facial
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910581532.1A
Other languages
English (en)
Other versions
CN110458003B (zh
Inventor
刘志磊
张翠翠
刘迪一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910581532.1A priority Critical patent/CN110458003B/zh
Publication of CN110458003A publication Critical patent/CN110458003A/zh
Application granted granted Critical
Publication of CN110458003B publication Critical patent/CN110458003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及计算机视觉和情感计算等领域，为增加AU表情数据集的多样性和普适性，本发明采取的技术方案是，基于局部注意力模型的面部表情动作单元对抗合成方法，通过局部注意力模型对面部运动单元AU区域进行特征提取，然后对局部区域进行对抗生成，最后再对增强数据进行AU强度的评估，以检测生成图像的质量。本发明主要应用于图像处理、人脸识别等场合。

Description

基于局部注意力模型的面部表情动作单元对抗合成方法
技术领域：
本发明涉及计算机视觉和情感计算等领域，尤其涉及一种基于条件对抗自编码器(Conditional Adversarial Autoencoder，CAAE)和局部注意力模型(Local AttentionModel)相结合的人脸表情运动单元合成方法，该方法可以被广泛用于数据增强、提高人脸表情识别模型精度等应用。
背景技术：
面部表情能够揭示人的内心活动、精神状态以及向外传达的社交行为。随着人工智能的发展，以人为中心的面部表情识别已逐渐受到业界和学术界的普遍关注。在面部表情分析领域，人类表情的标注方式主要有两种：基于情感类别的标注(如：喜悦、愤怒等)和基于面部运动编码***(Facial Action Coding System,FACS)的标注。前者属于主观标注，适用于表情识别和理解领域；后者根据面部肌肉运动将面部表情分解成30多个具有不同强度的主要运动单元AU(Action Units)进行更加客观定量标注，更适用于对面部表情的合成和控制领域，而且AU的检测与识别对于理解和描述人脸表情有着重要的意义。基于此，面部的AU检测与分析已逐渐成为计算机视觉领域和情感计算领域的热门研究内容之一。
虽然已有方法对AU标注已经取得一些进展，但是由于面部AU标注非常复杂，现有的AU表情数据集的相对较小，依赖于大量复杂样本的深度模型很难应用于AU分析,导致现有的AU识别与检测仍多基于传统的手工特征和分类模型，应用识别模型和识别结果难以满足复杂环境下表情分析的需求。此外，现有AU数据的不均衡现象严重，也影响了AU识别和检测模型的准确率。因此，如何对现有的AU数据集从数据规模和标签均衡性等方面进行扩充，以满足基于深度模型的AU检测和识别的需求以及解决数据集标签不均衡问题，已经成为本领域亟需解决的一个问题。
由于面部AU标注的复杂性，且容易受到不同脸型、不同表情、不同光照及脸部姿势的影响，基于AU标注的人脸面部表情运动单元合成仍然面临不少挑战和困难，难以得到广泛应用。而现有对AU生成的技术，普遍存在丢失细节、缺乏真实性等问题。为克服现有技术的不足，本发明旨在建立一种新的基于条件对抗自编码器，并结合局部注意力模型的人脸表情运动单元合成方法，对任意人脸图像上多个局部AU进行任意强度和任意组合的具有一定自然度的人脸表情合成，以用于增加AU表情数据集的多样性和普适性。本发明可以被广泛用于数据增强、提高人脸识别模型精度等应用，进而来解决目前AU检测器训练数据标注不足和样本标签不均衡等问题。
发明内容：
为克服现有技术的不足，本发明旨在增加AU表情数据集的多样性和普适性，本发明采取的技术方案是，基于局部注意力模型的面部表情动作单元对抗合成方法，通过局部注意力模型对面部运动单元AU区域进行特征提取，然后对局部区域进行对抗生成，最后再对增强数据进行AU强度的评估，以检测生成图像的质量。
具体步骤如下：
(1)首先，通过局部注意力模型对人脸的局部区域进行特征提取，并基于条件对抗自编码生成模型对局部注意力模型提取的AU特征分布进行学习和建模，形成去除原有AU强度后的人脸特征向量；随后，在自编码生成器的特征层加入指定AU强度的标签信息，从而生成相应AU强度的图像,以达到改变AU强度的效果，从而，建立指定不同强度不同组合的面部运动单元标注与局部注意力模型所提取的初始AU特征分布之间的有效映射；
(2)然后，通过条件自编码器对抗生成模型中的判别器对生成指定AU强度的人脸图像的真实度进行判别，同局部注意力对抗生成模型的生成结果进行博弈优化；
(3)最后，将能够生成目标表情的模型参数应用于面部表情运动单元的生成模型中，实现对不平衡AU数据集的增强与扩充，并将所生成的数据应用于提高AU识别模型精度的工作当中。
步骤(1)中，将基于人脸关键点的AU高斯分布区域作为局部注意力模型的初始化输入，通过AU的识别损失函数对AU的注意力区域进行学习，其识别损失函数的计算方式如下：
其中，Rau(*)是AU注意力区域重定义模型，Dau(*)是预训练AU强度识别模型，是已知AU强度标注的输入图像，y0是的AU强度标注，是均方差损失函数MSE(Meansquared error)，是局部注意力模型所学习出的AU注意力区域；
局部AU生成器将采用条件对抗自编码网络模型CAAE实现对任意给定面部AU编码进行面部表情运动单元合成，CAAE模型通过生成器和判别器两个子***的目标博弈，实现将所关注的AU信息去除，形成保留除AU以外的人脸身份信息，然后在CAAE的特征层加入所期望的指定AU编码，进而实现对不同AU编码条件下面部表情运动特征分布的有效合成；
然后，将所有的局部面部运动单元整合成全局人脸，从而保留初始人脸非AU注意力区域的特征性。
步骤(2)中，CAAE模型是将局部输入的人脸表情区域，进行编码生成隐变量z,将隐变量z与真实的标注l进行融合，作为生成器decoder的输入，生成与l标注强度相同的AU；再将生成的AU区域与真实的表情区域送入判别器D中，进行博弈对抗训练；与此同时，中间生成的隐变量z与均匀分布P(z)进行对抗训练，从而使z更服从于除AU表情信息以外的面部信息分布。其生成z的对抗损失计算如下：
其中，Log(*)是以2为底的对数函数，Dz(*)是z判别器的输出，z*是均匀分布，x是服从于数据集的图像分布，E(*)是编码器(encoder)的输出，是对服从均匀分布的z求均方差损失，是对服从原数据概率分布pdata(x)的x求均方差损失。
其生成局部AU的对抗损失计算如下：
其中，x,l是服从输入数据集的相互对应的图像和AU标注,Dimg(*)是图像的判别器，G(*)是生成器decoder的输出，对服从pdata(x,l)的概率分布求均方差损失；
然后，将所有的局部面部运动单元整合成全局人脸，从而保留初始人脸非AU注意力区域的特征性，其计算公式如下：
其中，It是生成的目标图像，Is是输入的原始图像，Gi(Is×ri,yi)是生成器(decoder)对第i个AU区域的输出，ri对应单一AU的注意力区域，yi是目标图像的AU标注，n是AU类别的数量。
步骤(3)中，将增强数据集与原数据集分别训练深度模型后，计算深度模型识别AU强度的准确率是否存在差异。所选用的评估标准是绝对平均损失MAE(Mean AbsoluteError)，其计算方式如下：
是第i个样本的第j个AU的真实标注，是第i个样本的第j个AU的预测结果，N表示样本数量，M表示单个样本AU的数量。
本发明的特点及有益效果是：
(1)本发明最大的创新点在于提出了一种基于局部注意力模型和条件对抗自编码生成模型的AU编码人脸面部表情运动合成***，可以实现对不同强度的面部运动单元实现有效合成，具有重要的研究和应用价值；
(2)本发明利用人工智能前沿技术—深度学***台。
(3)本发明同时可以应用于数据增强、提高人脸表情识别模型精度的研究中。
附图说明：
图1：本发明实施步骤图。
图2：CAAE模型。
图3：本发明验证数据增强框架图。
图4：最终效果图。
具体实施方式：
本发明通过局部注意力模型对面部运动单元AU区域进行特征提取，然后对局部区域进行对抗生成，最后再对增强数据进行AU强度的评估，以检测生成图像的质量。
本发明具体步骤如下：
首先，通过局部注意力模型对人脸的局部区域进行特征提取，并基于条件对抗自编码生成模型对局部注意力模型提取的AU特征分布进行学习和建模，形成去除原有AU强度后的人脸特征向量；随后，在自编码生成器的特征层加入指定AU强度的标签信息，从而生成相应AU强度的图像,以达到改变AU强度的效果，从而，建立指定不同强度不同组合的面部运动单元标注与局部注意力模型所提取的初始AU特征分布之间的有效映射；
然后，通过条件自编码器对抗生成模型中的判别器对生成指定AU强度的人脸图像的真实度进行判别，同局部注意力对抗生成模型的生成结果进行博弈优化；
最后，将能够生成目标表情的模型参数应用于面部表情运动单元的生成模型中，实现对不平衡AU数据集的增强与扩充，并将所生成的数据应用于提高AU识别模型精度的工作当中。
下面结合附图和具体实例进一步详细说明本发明。
本发明的具体实施步骤如图1所示，主要包括以下三个步骤：
(1)面向真实人脸的局部注意力模型构建及AU注意力区域的特征分解
首先，将基于人脸关键点的AU高斯分布区域作为局部注意力模型的初始化输入，通过AU的识别损失函数对AU的注意力区域进行学习，其识别损失函数的计算方式如下：
其中，Rau(*)是AU注意力区域重定义模型，Dau(*)是预训练AU强度识别模型，是已知AU强度标注的输入图像，y0是的AU强度标注，是均方差损失函数(Meansquared error，MSE)。是局部注意力模型所学习出的AU注意力区域。
(2)基于条件对抗自编码网络的面部表情运动单元合成
对全局人脸使用预训练的AU注意力模型提取出局部AU注意力区域，局部AU生成器将采用条件对抗自编码网络模型(CAAE)实现对任意给定面部AU编码进行面部表情运动单元合成。较传统的生成模型不同，CAAE模型通过生成器和判别器两个子***的目标博弈，实现将所关注的AU信息去除，形成保留除AU以外的人脸身份信息，然后在CAAE的特征层加入所期望的指定AU编码，进而实现对不同AU编码条件下面部表情运动特征分布的有效合成。本发明所采用CAAE模型框架如图2所示：
CAAE模型是将局部输入的人脸表情区域，进行编码生成隐变量z,将隐变量z与真实的标注l进行融合，作为生成器(decoder)的输入，生成与l标注强度相同的AU。再将生成的AU区域与真实的表情区域送入判别器D中，进行博弈对抗训练。与此同时，中间生成的隐变量z与均匀分布P(z)进行对抗训练，从而使z更服从于除AU表情信息以外的面部信息分布。其生成z的对抗损失计算如下：
其中，Log(*)是以2为底的对数函数，Dz(*)是z判别器的输出，z*是均匀分布，x是服从于数据集的图像分布，E(*)是编码器(encoder)的输出,是对服从均匀分布的z求均方差损失，是对服从原数据概率分布pdata(x)的x求均方差损失。
其生成局部AU的对抗损失计算如下：
其中，x,l是服从输入数据集的相互对应的图像和AU标注,Dimg(*)是图像的判别器，G(*)是生成器(decoder)的输出，对x,l服从pdata(x,l)的概率分布求均方差损失。
然后，还会采用图像修复的思想，将所有的局部面部运动单元整合成全局人脸，从而保留初始人脸非AU注意力区域的特征性。其计算公式如下：
其中，It是生成的目标图像，Is是输入的原始图像，Gi(Is×ri,yi)是生成器(decoder)对第i个AU区域的输出，ri对应单一AU的注意力区域，yi是目标图像的AU标注，n是AU类别的数量。
(3)对增强的数据集进行测试与评估
分析所生成的AU人脸表情数据集对基于深度学***均损失(Mean Absolute Error，MAE)，其计算方式如下：
是第i个样本的第j个AU的真实标注，是第i个样本的第j个AU的预测结果，N表示样本数量，M表示单个样本AU的数量。
对比使用增强数据集与原数据集分别训练深度模型后，深度模型识别AU强度的准确率是否存在差异。其实验框图如3所示。其MAE的的结果如表1所示，其中MAE(l,yreal)是真实图像与标注之间的MAE值，MAE(l,yfake)是生成图像与标注之间的MAE值
总结：
本发明提出了一种基于条件生成自编码器的真实人脸表情运动单元合成方法，以用于人脸表情数据集的增强与扩充。通过结合局部注意力模型和深度学***台，在人脸生成与微表情识别等领域的推广与应用具有重要的价值。

Claims (5)

1.一种基于局部注意力模型的面部表情动作单元对抗合成方法，其特征是，通过局部注意力模型对面部运动单元AU区域进行特征提取，然后对局部区域进行对抗生成，最后再对增强数据进行AU强度的评估，以检测生成图像的质量。
2.如权利要求1所述的基于局部注意力模型的面部表情动作单元对抗合成方法，其特征是，具体步骤细化如下：
步骤(1)，通过局部注意力模型对人脸的局部区域进行特征提取，并基于条件对抗自编码生成模型对局部注意力模型提取的AU特征分布进行学习和建模，形成去除原有AU强度后的人脸特征向量；随后，在自编码生成器的特征层加入指定AU强度的标签信息，从而生成相应AU强度的图像,以达到改变AU强度的效果，从而，建立指定不同强度不同组合的面部运动单元标注与局部注意力模型所提取的初始AU特征分布之间的有效映射；
步骤(2)，通过条件自编码器对抗生成模型中的判别器对生成指定AU强度的人脸图像的真实度进行判别，同局部注意力对抗生成模型的生成结果进行博弈优化；
步骤(3)，将能够生成目标表情的模型参数应用于面部表情运动单元的生成模型中，实现对不平衡AU数据集的增强与扩充，并将所生成的数据应用于提高AU识别模型精度的工作当中。
3.如权利要求1所述的基于局部注意力模型的面部表情动作单元对抗合成方法，其特征是，步骤(1)中，将基于人脸关键点的AU高斯分布区域作为局部注意力模型的初始化输入，通过AU的识别损失函数对AU的注意力区域进行学习，其识别损失函数的计算方式如下：
其中，Rau(*)是AU注意力区域重定义模型，Dau(*)是预训练AU强度识别模型，是已知AU强度标注的输入图像，y0是的AU强度标注，是均方差损失函数MSE(Meansquared error)，是局部注意力模型所学习出的AU注意力区域；
局部AU生成器将采用条件对抗自编码网络模型CAAE实现对任意给定面部AU编码进行面部表情运动单元合成，CAAE模型通过生成器和判别器两个子***的目标博弈，实现将所关注的AU信息去除，形成保留除AU以外的人脸身份信息，然后在CAAE的特征层加入所期望的指定AU编码，进而实现对不同AU编码条件下面部表情运动特征分布的有效合成；
然后，将所有的局部面部运动单元整合成全局人脸，从而保留初始人脸非AU注意力区域的特征性。
4.如权利要求1所述的基于局部注意力模型的面部表情动作单元对抗合成方法，其特征是，步骤(2)中，CAAE模型是将局部输入的人脸表情区域，进行编码生成隐变量z,将隐变量z与真实的标注l进行融合，作为生成器decoder的输入，生成与l标注强度相同的AU；再将生成的AU区域与真实的表情区域送入判别器D中，进行博弈对抗训练；与此同时，中间生成的隐变量z与均匀分布P(z)进行对抗训练，从而使z更服从于除AU表情信息以外的面部信息分布，生成z的对抗损失计算如下：
其中，Log(*)是以2为底的对数函数，Dz(*)是z判别器的输出，z*是均匀分布，x是服从于数据集的图像分布，E(*)是编码器(encoder)的输出，是对服从均匀分布的z求均方差损失，是对服从原数据概率分布pdata(x)的x求均方差损失；生成局部AU的对抗损失计算如下：
其中，x,l是服从输入数据集的相互对应的图像和AU标注,Dimg(*)是图像的判别器，G(*)是生成器decoder的输出，对服从pdata(x,l)的概率分布求均方差损失；
然后，将所有的局部面部运动单元整合成全局人脸，从而保留初始人脸非AU注意力区域的特征性，其计算公式如下：
其中，It是生成的目标图像，Is是输入的原始图像，Gi(Is×ri,yi)是生成器(decoder)对第i个AU区域的输出，ri对应单一AU的注意力区域，yi是目标图像的AU标注，n是AU类别的数量。
5.如权利要求1所述的基于局部注意力模型的面部表情动作单元对抗合成方法，其特征是，步骤(3)中，将增强数据集与原数据集分别训练深度模型后，计算深度模型识别AU强度的准确率是否存在差异。所选用的评估标准是绝对平均损失MAE(Mean AbsoluteError)，其计算方式如下：
是第i个样本的第j个AU的真实标注，是第i个样本的第j个AU的预测结果，N表示样本数量，M表示单个样本AU的数量。
CN201910581532.1A 2019-06-29 2019-06-29 基于局部注意力模型的面部表情动作单元对抗合成方法 Active CN110458003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910581532.1A CN110458003B (zh) 2019-06-29 2019-06-29 基于局部注意力模型的面部表情动作单元对抗合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910581532.1A CN110458003B (zh) 2019-06-29 2019-06-29 基于局部注意力模型的面部表情动作单元对抗合成方法

Publications (2)

Publication Number Publication Date
CN110458003A true CN110458003A (zh) 2019-11-15
CN110458003B CN110458003B (zh) 2023-09-19

Family

ID=68481852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910581532.1A Active CN110458003B (zh) 2019-06-29 2019-06-29 基于局部注意力模型的面部表情动作单元对抗合成方法

Country Status (1)

Country Link
CN (1) CN110458003B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242976A (zh) * 2020-01-08 2020-06-05 北京天睿空间科技股份有限公司 一种利用注意力机制的航空器检测跟踪方法
CN112365412A (zh) * 2020-10-27 2021-02-12 天津大学 基于动态的面部表情动作单元信息的人脸修复方法
CN112435185A (zh) * 2020-11-19 2021-03-02 北京工业大学 模糊花粉图片处理方法、装置及电子设备
CN112541445A (zh) * 2020-12-16 2021-03-23 中国联合网络通信集团有限公司 人脸表情的迁移方法、装置、电子设备及存储介质
CN113743388A (zh) * 2021-11-08 2021-12-03 武汉烽火信息集成技术有限公司 一种面部au关键点检测的方法、装置和电子设备
CN114360005A (zh) * 2021-12-14 2022-04-15 武汉烽火信息集成技术有限公司 一种基于AU区域和多层级Transformer融合模块的微表情分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977629A (zh) * 2017-12-04 2018-05-01 电子科技大学 一种基于特征分离对抗网络的人脸图像衰老合成方法
CN109543745A (zh) * 2018-11-20 2019-03-29 江南大学 基于条件对抗自编码网络的特征学习方法及图像识别方法
CN109903363A (zh) * 2019-01-31 2019-06-18 天津大学 条件生成对抗网络三维人脸表情运动单元合成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977629A (zh) * 2017-12-04 2018-05-01 电子科技大学 一种基于特征分离对抗网络的人脸图像衰老合成方法
CN109543745A (zh) * 2018-11-20 2019-03-29 江南大学 基于条件对抗自编码网络的特征学习方法及图像识别方法
CN109903363A (zh) * 2019-01-31 2019-06-18 天津大学 条件生成对抗网络三维人脸表情运动单元合成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHIFEI ZHANG, YANG SONG, HAIRONG QI: "Age Progression/Regression by Conditional Adversarial Autoencoder", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242976A (zh) * 2020-01-08 2020-06-05 北京天睿空间科技股份有限公司 一种利用注意力机制的航空器检测跟踪方法
CN112365412A (zh) * 2020-10-27 2021-02-12 天津大学 基于动态的面部表情动作单元信息的人脸修复方法
CN112435185A (zh) * 2020-11-19 2021-03-02 北京工业大学 模糊花粉图片处理方法、装置及电子设备
CN112541445A (zh) * 2020-12-16 2021-03-23 中国联合网络通信集团有限公司 人脸表情的迁移方法、装置、电子设备及存储介质
CN112541445B (zh) * 2020-12-16 2023-07-18 中国联合网络通信集团有限公司 人脸表情的迁移方法、装置、电子设备及存储介质
CN113743388A (zh) * 2021-11-08 2021-12-03 武汉烽火信息集成技术有限公司 一种面部au关键点检测的方法、装置和电子设备
CN114360005A (zh) * 2021-12-14 2022-04-15 武汉烽火信息集成技术有限公司 一种基于AU区域和多层级Transformer融合模块的微表情分类方法
CN114360005B (zh) * 2021-12-14 2024-03-22 武汉烽火信息集成技术有限公司 一种基于AU区域和多层级Transformer融合模块的微表情分类方法

Also Published As

Publication number Publication date
CN110458003B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN110458003A (zh) 基于局部注意力模型的面部表情动作单元对抗合成方法
CN106548208B (zh) 一种照片图像快速智能风格化方法
CN107330444A (zh) 一种基于生成对抗网络的图像自动文本标注方法
CN110084228A (zh) 一种基于双流卷积神经网络的危险行为自动识别方法
CN107506722A (zh) 一种基于深度稀疏卷积神经网络人脸情感识别方法
CN105869178B (zh) 一种基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法
CN107220600A (zh) 一种基于深度学习的图片生成方法及生成对抗网络
CN106920243A (zh) 改进的全卷积神经网络的陶瓷材质件序列图像分割方法
CN108009509A (zh) 车辆目标检测方法
Sadjadi et al. The 2019 NIST Audio-Visual Speaker Recognition Evaluation.
CN109101865A (zh) 一种基于深度学习的行人重识别方法
CN108171770A (zh) 一种基于生成式对抗网络的人脸表情编辑方法
CN109741328A (zh) 一种基于生成式对抗网络的汽车表观质量检测方法
CN108399248A (zh) 一种时序数据预测方法、装置及设备
CN101393645A (zh) 一种手写体汉字的计算机生成与美化方法
CN109583419A (zh) 一种基于深度卷积网络的情绪预测***
CN108681689B (zh) 基于生成对抗网络的帧率增强步态识别方法及装置
CN109934810A (zh) 一种基于改进粒子群小波神经网络的缺陷分类方法
CN109886356A (zh) 一种基于三分支神经网络的目标追踪方法
CN110097091A (zh) 训练与推理数据分布不一致条件下的图像细粒度识别方法
CN109829414A (zh) 一种基于标签不确定性和人体组件模型的行人再识别方法
CN109101869A (zh) 多任务学习深度网络的测试方法、设备及存储介质
Cheng et al. A deep structure for facial expression recognition under partial occlusion
CN106446804A (zh) 一种基于elm的多粒度虹膜识别方法
CN108647772A (zh) 一种用于边坡监测数据粗差剔除的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant