CN110942503B - 一种基于虚拟人脸模型的微表情数据生成方法 - Google Patents
一种基于虚拟人脸模型的微表情数据生成方法 Download PDFInfo
- Publication number
- CN110942503B CN110942503B CN201911104316.4A CN201911104316A CN110942503B CN 110942503 B CN110942503 B CN 110942503B CN 201911104316 A CN201911104316 A CN 201911104316A CN 110942503 B CN110942503 B CN 110942503B
- Authority
- CN
- China
- Prior art keywords
- expression
- micro
- action unit
- target
- face model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000014509 gene expression Effects 0.000 claims abstract description 113
- 230000009471 action Effects 0.000 claims abstract description 100
- 230000003287 optical effect Effects 0.000 claims description 36
- 239000013598 vector Substances 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000002441 reversible effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims description 6
- 230000000903 blocking effect Effects 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000001276 controlling effect Effects 0.000 description 9
- 238000013434 data augmentation Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000000386 athletic effect Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- OUXCBPLFCPMLQZ-WOPPDYDQSA-N 4-amino-1-[(2r,3s,4s,5r)-4-hydroxy-5-(hydroxymethyl)-3-methyloxolan-2-yl]-5-iodopyrimidin-2-one Chemical compound C[C@H]1[C@H](O)[C@@H](CO)O[C@H]1N1C(=O)N=C(N)C(I)=C1 OUXCBPLFCPMLQZ-WOPPDYDQSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 101100136092 Drosophila melanogaster peng gene Proteins 0.000 description 1
- 206010028347 Muscle twitching Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于虚拟人脸模型的微表情数据生成方法,包括如下步骤:步骤1:基于真实微表情数据集,获取微表情的运动信息,包括各种微表情的动作单元组合及相应的运动强度和运动高峰位置;生成虚拟人脸模型;步骤2:对虚拟人脸模型添加微表情运动信息,从而生成微表情数据。本发明方法能够产生高质量的微表情数据。
Description
技术领域
本发明属于微表情识别领域,具体涉及一种基于虚拟人脸模型的微表情数据(微表***数据)生成方法。
背景技术
深度学习技术目前在计算机视觉领域的应用是十分广泛,并且给某些传统图像识别方法带来了长足的进步。而深度学习的很重要一部分是需要大量高质量数据才能训练出有效的模型用于具体问题。而对于很多问题并没有足够多的数据,比如微表情识别。目前公开的微表情数据集只有5个左右,一共只有不到1000组数据。而训练一个深度学习中的神经网络模型动辄需要几千上万组数据,大型项目的神经神经网络模型训练需要千万级的数据量。解决数据量不足的问题对于深度学习技术的应用具有十分重要的意义。
目前针对数据量不足的问题往往会使用数据增广技术。在计算机视觉领域,由于采集真实数据并对数据标定要花费时间成本和人工成本,特别是像微表情这种有一定专业性的问题,标定数据还需要心理学专业人士,需要的成本更加昂贵,所以需要更多数据时往往会使用数据增广技术。数据增广技术指通过图像平移、旋转等方法对原有数据进行操作,从而生成基于原始数据的新数据以增加数据量。在微表情识别领域,由于微表情数据都为视频,所以数据增广的方式相较于静态图像有所不同。Min Peng等人在《Dual TemporalScale Convolutional Neural Network for Micro-Expression Recognition》一文中通过用随机选用同一类微表***中的随机帧拼接出一个新视频的方法来进行微表情数据增广。但是这种方法生成的微表情数据会丢失掉很多微表情的特征信息从而造成新生成数据质量不高,从而会影响到训练的模型对微表情的识别效果。此方法生成的微表情数据质量不高的主要原因有两点,第一,由于同一类表情的表现方式往往不同,不同个体对同一种表情的表达方式不一样,比如在有的样本中表现方式是嘴角上扬,在有的样本中表现方式是眉毛挑动,而将两种不同样本的表现方式融合到一起产生的表情可能并非此类微表情的表现方式。第二,由于微表情的运动幅度十分微弱,如果静态地去观测微表***数据中的某一帧往往是无法判别该表情是哪一类的。所以视频中的面部运动是判断微表情的关键信息,而随机拼接微表***帧的数据增广方法会打乱视频数据中的时序信息,从而对视频中的运动造成严重的破坏。
在此背景下,研究一种能够产生高质量的微表情数据的数据增广方法对于计算机视觉领域中的微表情识别问题显得尤为重要。
发明内容
本发明所要解决的技术问题是,针对现有微表情数据增广方法中产生的微表情数据质量不高的问题,提供一种基于虚拟人脸模型的微表情数据生成方法,能够产生高质量的微表情数据。
本发明所采用的技术方案如下:
一种基于虚拟人脸模型的微表情数据生成方法,包括以下步骤:
步骤1:基于真实微表情数据集,获取微表情的运动信息;
生成虚拟人脸模型;
步骤2:对虚拟人脸模型添加微表情运动信息,从而生成微表情数据。
进一步地,所述步骤1中获取的微表情运动信息包括各种微表情的动作单元组合及相应的运动强度和运动高峰位置。
进一步地,在所述步骤1中,根据获取的微表情运动信息确定目标动作单元组合及相应的目标运动强度和目标运动高峰位置,其中目标是指计划生成的。
进一步地,在所述步骤1中,根据获取的微表情运动信息确定目标动作单元组合的具体步骤如下:
首先基于真实微表情数据集,确定其中每一个微表情分别由哪种动作单元组合表示;
然后统计表示同一微表情的各种动作单元组合的出现频率;
最后选取出现频率较高的动作单元组合作为目标动作单元组合。
进一步地,选取出现频率较高的动作单元组合作为目标动作单元组合的方法为:
设Q种动作单元组合均表示表情e,其中第i种动作单元组合在真实微表情数据集中的出现频率,即第i种动作单元组合在真实微表情数据集出现的次数与这Q种动作单元组合在真实微表情数据集出现的总次数的比值为Fi e,其中i=1,2,3,…,Q;将Q种动作单元组合按照出现频率大小倒序排列,将排列靠前的动作单元组合的出现频率依次相加,直到得到的出现频率之和超过设定阈值,则选定出现频率进行了相加操作的这些动作单元组合作为目标动作单元组合。
进一步地,确定某一种目标动作单元组合的目标运动强度的具体步骤如下:
首先选取真实微表情数据集中所有包含该种动作单元组合的视频数据作为其样本;
然后计算其每一个样本的最大区域光流强度M,计算步骤为:
1)将该样本中的图像进行平均分块,得到多个图像小块;确定其中包含运动单元的图像小块,记为[B1,B2,…,Bm];
2)计算该样本第1帧与第j帧图像之间各个包含运动单元的图像小块上的光流强度总和Ej,计算过程如公式(1):
在本方法中未选取整个图像的光流强度来计算样本中动作单元组合的运动强度,而是选取包含运动单元的图像小块(即整个图像中的部分图像块)来进行计算,是考虑到面部图像其他区域的光流中有部分噪音产生的运动,如果将这些部分的也计算到微表情动作单元组合的运动强度中,会降低计算结果准确性,因此本方法计算得到的结果准确性高;
3)选择出最大的Ej作为该样本的最大区域光流强度M,即:
再统计该种目标动作单元组合所有样本的最大区域光流强度M的分布情况,选取出现频率较高的最大区域光流强度作为该目标动作单元组合的目标运动强度。
进一步地,选取出现频率较高的最大区域光流强度作为某一目标动作单元组合的目标运动强度的方法为:
设该目标动作单元组合的样本有T个,其中第t个样本的最大光流强度为Mt,其中t=1,2,3,…,T;对Mt的值进行统计后,设Mt的出现频率为Pt;将Mt按照出现频率大小倒序排列,将排列靠前的Mt的出现频率依次相加,直到得到的出现频率之和超过设定阈值,则选定出现频率进行了相加操作的Mt作为该目标动作单元组合的目标运动强度,记为Mreal。
进一步地,确定某一种目标动作单元组合的目标运动高峰位置的具体步骤如下:
设该目标动作单元组合的样本有T个,第t个样本的运动高峰位置为Rt,其中t=1,2,3,…,T;对Rt的值进行统计后,设Rt的出现频率为Ut;将Rt按照出现频率大小倒序排列,将排列靠前的Rt的出现频率依次相加,直到得到的出现频率之和超过设定阈值,则选定出现频率进行了相加操作的Rt作为该目标动作单元组合的目标运动高峰位置,记为RME。
进一步地,所述步骤1中使用三维人脸模型生成软件(如facegen软件)生成虚拟人脸模型。
进一步地,将生成的第i个虚拟人脸模型记为(Si,Ti),其中Si是虚拟人脸模型的形状向量,其控制虚拟人脸模型的形状,Ti是虚拟人脸模型的纹理向量,其控制虚拟人脸模型的纹理;
所述步骤2中,根据多种目标动作单元组合及其多个目标运动强度和多个目标运动高峰位置对不同的虚拟人脸模型添加微表情运动信息,从而可以生成多个微表情数据;根据某一种目标动作单元组合及其一个目标运动强度Mreal和一个目标运动高峰位置RME对一个虚拟人脸模型添加微表情运动信息,生成一个微表情数据,即一个合成样本视频的具体方法如下:
步骤2.1、根据该种目标动作单元组合所表示的表情种类,计算同一个人脸模型在带有该种表情和没有表情时的形状向量和纹理向量变化,计算公式如下:
ΔSe=Sexpression-Sneutral,ΔTe=Texpression-Tneutral (3)
其中,Sexpression和Sneutral分别代表同一个人脸模型人脸模型在带有该种表情和没有表情时的形状向量,Texpression和Tneutral分别代表同一个人脸模型该人脸模型在带有该种表情和没有表情时的纹理向量;
其中,λ为控制表情运动强度的参数;
步骤2.2、根据该种目标动作单元组合的目标运动强度Mreal确定控制表情最大运动强度的参数λME的取值,具体过程如下:
以0为初始值,以s为步长,遍历[0,1]范围内所有取值,依次将它们作为λ值,代入公式(4)中,得到相应的人脸模型计算计算虚拟人脸模型(Si,Ti)与人脸模型之间各个包含运动单元的图像小块上的光流强度总和E,并将E与目标运动强度Mreal对比,选取最接近Mreal的区域光流强度总和对应的λ值作为控制表情最大运动强度的参数λME的取值;
步骤2.3、结合确定的目标运动高峰位置RME,生成合成样本视频,步骤如下:
有益效果:
本发明公开了一种基于虚拟人脸视频的微表情数据生成方法,能生成接近真实的虚拟微表情数据(视频)。相对于采集真实的微表情数据,并对数据进行标定,本发明降低了时间成本和人工成本;相对于现有的微表情数据增广方法,本发明能够高质量地保持微表情数据中运动信息,从而提高了产生的微表情数据(微表情增广数据)的质量,能够产生高质量的微表情数据。本发明减轻了数据量不足这一问题对于在微表情识别问题上应用计算机视觉技术/深度学习技术的影响,能够便于应用深度学习技术训练出更准确的微表情识别模型。
附图说明
图1为本发明实施例流程图;
图2为本发明实施例面部平均分块示意图;
图3为一个表情样本的示例。图3(a)到图3(j)表示视频的第1到第10帧;
具体实施方式
以下结合附图和具体实施例对本发明进行进一步具体说明。
本实施例公开了一种基于虚拟人脸模型的微表情数据生成方法,包括以下步骤:
步骤1:基于真实微表情数据集(如CASME II数据集等),获取微表情的运动信息;
生成虚拟人脸模型;
步骤2:对虚拟人脸模型添加微表情运动信息,从而生成微表情数据。
进一步地,所述步骤1中获取的微表情运动信息包括各种微表情的动作单元组合及相应的运动强度和运动高峰位置。
进一步地,所述步骤1中,根据获取的微表情运动信息确定目标动作单元组合(即计划生成的动作单元组合)及其目标运动强度和目标运动高峰位置,具体步骤如下:
步骤1.1、确定目标动作单元组合;
基于真实微表情数据集,确定其中每一个微表情分别由哪种动作单元组合表示;
统计各种动作单元组合的出现频率;选取出现频率较高的动作单元组合作为目标动作单元组合;
设Q种动作单元组合均表示表情e,其中第i种动作单元组合在真实微表情数据集中的出现频率(第i种动作单元组合在真实微表情数据集出现的次数与这Q种动作单元组合在真实微表情数据集出现的总次数的比值)为Fi e,其中i=1,2,3,…,Q;将Q种动作单元组合按照出现频率大小倒序排列,将排列靠前的动作单元组合的出现频率依次相加,直到得到的出现频率之和超过设定阈值(本实施例中取为70%),则选定出现频率进行了相加操作的这些动作单元组合作为目标动作单元组合;
步骤1.2、确定每一种目标动作单元组合的目标运动强度;
对于每一种目标动作单元组合,首先选取真实微表情数据集中所有包含该种动作单元组合的视频数据作为其样本;然后计算其每一个样本的最大区域光流强度M(作为该样本中该动作单元组合的运动强度);计算步骤为:
1)将该样本中的图像进行平均分块,得到多个图像小块(如图2,本实施例中进行4×4的平均分块,得到16个图像小块);确定其中包含运动单元的图像小块,记为[B1,B2,…,Bm];
2)依次计算该样本第1帧与第j帧图像之间各个包含运动单元的图像小块上的光流强度总和Ej;在本方法中未选取整个图像的光流强度来计算样本中动作单元组合的运动强度,而是选取包含运动单元的图像小块(即整个图像中的部分图像块)来进行计算,是考虑到面部图像其他区域的光流中有部分噪音产生的运动,如果将这些部分的也计算到微表情动作单元组合的运动强度中,会降低计算结果准确性,因此本方法计算得到的结果准确性高;该样本第j帧图像对应的区域光流强度总和Ej的计算过程如公式(1):
其中,表示该样本第1帧与第j帧图像之间第k个包含运动单元的图像小块上像素点(x,y)处的光流(即像素点在两帧图像相应图像小块上的位置变动,即位移),l为样本的帧数;H和W代表图像小块的高和宽,它们的值为图像原来的高和宽除以相应方向的分块数(本实施例中为4);
在计算出该样本各帧图像对应的区域光流强度总和Ej后,选择出最大的Ej作为该样本的最大区域光流强度M,即:
对于每一种目标动作单元组合,统计其所有样本的最大区域光流强度M的分布情况,选取出现频率较高的最大区域光流强度作为该目标动作单元组合的目标运动强度;设某一目标动作单元组合的样本有T个,其中第t个样本的最大光流强度为Mt,其中t=1,2,3,…,T;对Mt的值进行统计后,设Mt的出现频率(Mt在Mt,t=1,2,3,…,T中出现的次数与T的比值)为Pt;将Mt按照出现频率大小倒序排列,将排列靠前的Mt的出现频率依次相加,直到得到的出现频率之和超过设定阈值(本实施例中取为70%),则选定相应的Mt(出现频率进行了相加操作的Mt)作为该目标动作单元组合的目标运动强度;
步骤1.3、确定每一种目标动作单元组合的目标运动高峰位置;
运动高峰位置指微表情运动强度达到最大的点相对于与整个微表情运动的时间位置。对于没有运动高峰位置标记的微表情数据集,如SMIC等,运动高峰位置等于视频中对应的区域光流强度总和最大的一帧图像的帧序号与该视频总帧数的比值,即对于有运动高峰位置标记的微表情数据集,如CASMEⅡ,则可以直接根据已有的运动高峰位置标记确定运动高峰位置。为了找到真实微表情中运动高峰出现的位置规律,对于每一种目标动作单元组合,统计其各样本的运动高峰位置。设某一目标动作单元组合的样本有T个,第t个样本的运动高峰位置为Rt,其中t=1,2,3,…,T;对Rt的值进行统计后,设Rt的出现频率(Rt在Rt,t=1,2,3,…,T中出现的次数与T的比值)为Ut;将Rt按照出现频率大小倒序排列,将排列靠前的Rt的出现频率依次相加,直到得到的出现频率之和超过设定阈值(本实施例中取为70%),则选定相应的Rt(即出现频率进行了相加操作的Rt)作为该目标动作单元组合的目标运动高峰位置。
进一步地,所述步骤1中使用三维人脸模型生成软件(如facegen软件)生成虚拟人脸模型;其具体过程如下:使用三维人脸模型生成软件生成多个人脸模型,其中第i个虚拟人脸模型记为(Si,Ti),其中Si是虚拟人脸模型的形状向量,其控制虚拟人脸模型的形状,Ti是虚拟人脸模型的纹理向量,其控制虚拟人脸模型的纹理。可以通过facegen软件生成人脸模型,该软件提供一个基础人脸模型,通过调控该软件提供的许多人脸特征参数,如眼睛大小,眉毛高低等来生成不同的人脸模型,在生成人脸模型的过程中,Si和Ti已由软件自动计算。可根据真实微表情数据集中的人脸特点(性别,胖瘦等),生成相似的人脸模型。
进一步地,所述步骤2中,根据多种目标动作单元组合及其多个目标运动强度和多个目标运动高峰位置对不同的虚拟人脸模型添加微表情运动信息,从而可以生成多个微表情数据,即多个合成样本视频;根据某一种目标动作单元组合及其一个目标运动强度Mreal和一个目标运动高峰位置RME对一个虚拟人脸模型添加微表情运动信息,生成一个微表情数据,即一个合成样本视频的具体方法如下:
步骤2.1、由于面部表情的运动模式对不同的人都是相同的,因此可以根据目标动作单元组合所表示的表情种类,计算同一个人脸模型在带有该种表情和没有表情时的形状向量和纹理向量变化,然后将变化模式推广到其他人脸模型上,从而可以获得带有该种表情的不同的人脸模型。
同一个人脸模型在带有该种表情和没有表情时的形状向量和纹理向量的变化计算公式如下:
ΔSe=Sexpression-Sneutral,ΔTe=Texpression-Tneutral (3)
其中,Sexpression和Sneutral分别代表同一个人脸模型人脸模型在带有该种表情和没有表情时的形状向量,Texpression和Tneutral分别代表同一个人脸模型该人脸模型在带有该种表情和没有表情时的纹理向量;
其中,λ为控制表情运动强度的参数;
步骤2.2、由于目前的人脸模型运动都是通过常规表情确定的,所以对于常规表情,λ的取值范围为[0,1]。但是微表情的运动强度要远远低于常规表情运动,所以对于微表情需要在[0,1]之间取一个控制表情最大运动强度的参数λME,通过调节λME的取值以及出现位置,完成对前面确定的目标运动强度和运动高峰位置的模拟。根据该种目标动作单元组合的目标运动强度Mreal确定参数λME的取值,具体过程如下:
对于该种目标动作单元组合的运动,以0为初始值,以s为步长(本实施例中s取为0.01),遍历[0,1]范围内所有取值,依次将它们作为λ值,代入公式(4)中,得到相应的人脸模型计算计算虚拟人脸模型(Si,Ti)与人脸模型之间各个包含运动单元的图像小块上的光流强度总和E,并将E与目标运动强度Mreal对比,选取最接近Mreal的区域光流强度总和对应的λ值作为控制表情最大运动强度的参数λME的取值。
步骤2.3、在确定好控制表情最大运动强度的参数λME的取值以后,结合确定的目标运动高峰位置RME,生成合成样本视频,即微表情增广数据;对于一个合成样本视频,整个表情运动可以通过控制参数λ的取值变化来实现。对于一个N帧的合成样本视频,该视频由两部分组成,即从表情开始到表情高峰,从表情高峰到表情结束。从表情开始到表情高峰部分帧数为round(N×RME),从表情高峰到表情结束部分的帧数为round[N×(1-RME)],其中round()表示四舍五入取整函数。公式(5)和公式(6)表现了这两个部分图像的生成过程。
Claims (6)
1.一种基于虚拟人脸模型的微表情数据生成方法,其特征在于,包括以下步骤:
步骤1:基于真实微表情数据集,获取微表情的运动信息;
生成虚拟人脸模型;
步骤2:对虚拟人脸模型添加微表情运动信息,从而生成微表情数据;
在所述步骤1中,根据获取的微表情运动信息确定目标动作单元组合及相应的目标运动强度和目标运动高峰位置,其中目标是指计划生成的;
在所述步骤1中,根据获取的微表情运动信息确定目标动作单元组合的具体步骤如下:
首先基于真实微表情数据集,确定其中每一个微表情分别由哪种动作单元组合表示;
然后统计表示同一微表情的各种动作单元组合的出现频率;
最后选取出现频率较高的动作单元组合作为目标动作单元组合;
选取出现频率较高的动作单元组合作为目标动作单元组合的方法为:
设Q种动作单元组合均表示表情e,其中第i种动作单元组合在真实微表情数据集中的出现频率,即第i种动作单元组合在真实微表情数据集出现的次数与这Q种动作单元组合在真实微表情数据集出现的总次数的比值为Fi e,其中i=1,2,3,…,Q;将Q种动作单元组合按照出现频率大小倒序排列,将排列靠前的动作单元组合的出现频率依次相加,直到得到的出现频率之和超过设定阈值,则选定出现频率进行了相加操作的这些动作单元组合作为目标动作单元组合;
将生成的第i个虚拟人脸模型记为(Si,Ti),其中Si是虚拟人脸模型的形状向量,其控制虚拟人脸模型的形状,Ti是虚拟人脸模型的纹理向量,其控制虚拟人脸模型的纹理;
所述步骤2中,根据目标动作单元组合及其目标运动强度和目标运动高峰位置对虚拟人脸模型添加微表情运动信息,从而生成微表情数据;根据某一种目标动作单元组合及其一个目标运动强度Mreal和一个目标运动高峰位置RME对一个虚拟人脸模型添加微表情运动信息,生成一个微表情数据,即一个合成样本视频的具体方法如下:
步骤2.1、根据该种目标动作单元组合所表示的表情种类,计算同一个人脸模型在带有该种表情和没有表情时的形状向量和纹理向量变化,计算公式如下:
ΔSe=Sexpression-Sneutral,ΔTe=Texpression-Tneutral (3)
其中,Sexpression和Sneutral分别代表同一个人脸模型人脸模型在带有该种表情和没有表情时的形状向量,Texpression和Tneutral分别代表同一个人脸模型该人脸模型在带有该种表情和没有表情时的纹理向量;
其中,λ为控制表情运动强度的参数;
步骤2.2、根据该种目标动作单元组合的目标运动强度Mreal确定控制表情最大运动强度的参数λME的取值,具体过程如下:
以0为初始值,以s为步长,遍历[0,1]范围内所有取值,依次将它们作为λ值,代入公式(4)中,得到相应的人脸模型计算虚拟人脸模型(Si,Ti)与人脸模型之间各个包含运动单元的图像小块上的光流强度总和E,并将E与目标运动强度Mreal对比,选取最接近Mreal的区域光流强度总和对应的λ值作为控制表情最大运动强度的参数λME的取值;
步骤2.3、结合确定的目标运动高峰位置RME,生成合成样本视频,步骤如下:
2.根据权利要求1所述的基于虚拟人脸模型的微表情数据生成方法,其特征在于,所述步骤1中获取的微表情运动信息包括各种微表情的动作单元组合及相应的运动强度和运动高峰位置。
3.根据权利要求1所述的基于虚拟人脸模型的微表情数据生成方法,其特征在于,确定某一种目标动作单元组合的目标运动强度的具体步骤如下:
首先选取真实微表情数据集中所有包含该种动作单元组合的视频数据作为其样本;
然后计算其每一个样本的最大区域光流强度M,计算步骤为:
1)将该样本中的图像进行平均分块,得到多个图像小块;确定其中包含运动单元的图像小块,记为[B1,B2,…,Bm];
2)计算该样本第1帧与第j帧图像之间各个包含运动单元的图像小块上的光流强度总和Ej,计算过程如公式(1):
3)选择出最大的Ej作为该样本的最大区域光流强度M,即:
再统计该种目标动作单元组合所有样本的最大区域光流强度M的分布情况,选取出现频率较高的最大区域光流强度作为该目标动作单元组合的目标运动强度。
4.根据权利要求3所述的基于虚拟人脸模型的微表情数据生成方法,其特征在于,选取出现频率较高的最大区域光流强度作为某一目标动作单元组合的目标运动强度的方法为:
设该目标动作单元组合的样本有T个,其中第t个样本的最大光流强度为Mt,其中t=1,2,3,…,T;对Mt的值进行统计后,设Mt的出现频率为Pt;将Mt按照出现频率大小倒序排列,将排列靠前的Mt的出现频率依次相加,直到得到的出现频率之和超过设定阈值,则选定出现频率进行了相加操作的Mt作为该目标动作单元组合的目标运动强度,记为Mreal。
5.根据权利要求1所述的基于虚拟人脸模型的微表情数据生成方法,其特征在于,确定某一种目标动作单元组合的目标运动高峰位置的具体步骤如下:
设该目标动作单元组合的样本有T个,第t个样本的运动高峰位置为Rt,其中t=1,2,3,…,T;对Rt的值进行统计后,设Rt的出现频率为Ut;将Rt按照出现频率大小倒序排列,将排列靠前的Rt的出现频率依次相加,直到得到的出现频率之和超过设定阈值,则选定出现频率进行了相加操作的Rt作为该目标动作单元组合的目标运动高峰位置,记为RME。
6.根据权利要求1所述的基于虚拟人脸模型的微表情数据生成方法,其特征在于,所述步骤1中使用三维人脸模型生成软件生成虚拟人脸模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911104316.4A CN110942503B (zh) | 2019-11-13 | 2019-11-13 | 一种基于虚拟人脸模型的微表情数据生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911104316.4A CN110942503B (zh) | 2019-11-13 | 2019-11-13 | 一种基于虚拟人脸模型的微表情数据生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110942503A CN110942503A (zh) | 2020-03-31 |
CN110942503B true CN110942503B (zh) | 2022-02-11 |
Family
ID=69907577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911104316.4A Active CN110942503B (zh) | 2019-11-13 | 2019-11-13 | 一种基于虚拟人脸模型的微表情数据生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110942503B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117974853B (zh) * | 2024-03-29 | 2024-06-11 | 成都工业学院 | 同源微表情图像自适应切换生成方法、***、终端及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107358206A (zh) * | 2017-07-13 | 2017-11-17 | 山东大学 | 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法 |
CN107705341A (zh) * | 2016-08-08 | 2018-02-16 | 创奇思科研有限公司 | 用户表情头像生成的方法及其装置 |
CN109493403A (zh) * | 2018-11-13 | 2019-03-19 | 北京中科嘉宁科技有限公司 | 一种基于运动单元表情映射实现人脸动画的方法 |
CN109903363A (zh) * | 2019-01-31 | 2019-06-18 | 天津大学 | 条件生成对抗网络三维人脸表情运动单元合成方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101777116B (zh) * | 2009-12-23 | 2012-07-25 | 中国科学院自动化研究所 | 一种基于动作跟踪的脸部表情分析方法 |
EP2960862B1 (en) * | 2014-06-24 | 2017-03-22 | Vicarious Perception Technologies B.V. | A method for stabilizing vital sign measurements using parametric facial appearance models via remote sensors |
US20180024726A1 (en) * | 2016-07-21 | 2018-01-25 | Cives Consulting AS | Personified Emoji |
CN109101953A (zh) * | 2018-09-07 | 2018-12-28 | 大连东锐软件有限公司 | 基于人类面部表情的分区要素化的表情动作生成方法 |
-
2019
- 2019-11-13 CN CN201911104316.4A patent/CN110942503B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107705341A (zh) * | 2016-08-08 | 2018-02-16 | 创奇思科研有限公司 | 用户表情头像生成的方法及其装置 |
CN107358206A (zh) * | 2017-07-13 | 2017-11-17 | 山东大学 | 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法 |
CN109493403A (zh) * | 2018-11-13 | 2019-03-19 | 北京中科嘉宁科技有限公司 | 一种基于运动单元表情映射实现人脸动画的方法 |
CN109903363A (zh) * | 2019-01-31 | 2019-06-18 | 天津大学 | 条件生成对抗网络三维人脸表情运动单元合成方法 |
Non-Patent Citations (4)
Title |
---|
CASME II: An Improved Spontaneous Micro-Expression Database and the Baseline Evaluation;Wen-Jing Yan,etc;《PLOS ONE》;20140127;第9卷(第1期);P1-8 * |
Spatiotemporal feature extraction for facial expression recognition;Siti Khairuni Amalina Kamarol1,etc;《The Institution of Engineering and Technology》;20160214;P1-8 * |
完整虚拟人头部建模及面部表情合成研究;曹宁哲;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170115(第01期);I138-611 * |
微表情数据库的建立和微表情监测技术研究;王建超;《中国优秀硕士学位论文全文数据库 信息科技辑》;20171015(第10期);I138-239 * |
Also Published As
Publication number | Publication date |
---|---|
CN110942503A (zh) | 2020-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bhunia et al. | Person image synthesis via denoising diffusion model | |
CN105513114A (zh) | 三维动画生成的方法和装置 | |
CN111275518A (zh) | 一种基于混合光流的视频虚拟试穿方法及装置 | |
CN106778628A (zh) | 一种基于tof深度相机的面部表情捕捉方法 | |
CN109033945B (zh) | 一种基于深度学习的人体轮廓提取方法 | |
CN109584153A (zh) | 修饰眼部的方法、装置和*** | |
CN108363973A (zh) | 一种无约束的3d表情迁移方法 | |
KR101261737B1 (ko) | 얼굴 애니메이션 리타게팅 방법 및 이를 위한 기록 매체 | |
CN111539262B (zh) | 一种基于单张图片的运动转移方法及*** | |
CN108470178B (zh) | 一种结合深度可信度评价因子的深度图显著性检测方法 | |
CN111325661B (zh) | 一种名为msgan的图像的季节风格转换模型及方法 | |
CN108830237A (zh) | 一种人脸表情的识别方法 | |
CN108615256A (zh) | 一种人脸三维重建方法及装置 | |
CN114723643A (zh) | 一种基于强化学习和美学评估的低光图像增强方法 | |
CN110942503B (zh) | 一种基于虚拟人脸模型的微表情数据生成方法 | |
CN111950430A (zh) | 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、*** | |
CN111428555B (zh) | 一种分关节的手部姿态估计方法 | |
CN111080754B (zh) | 一种头部肢体特征点连线的人物动画制作方法及装置 | |
CN112116699A (zh) | 一种基于3d人脸跟踪的实时真人虚拟试发方法 | |
CN110223368A (zh) | 一种基于深度学习的面部无标记运动捕捉方法 | |
CN113947520A (zh) | 一种基于生成对抗网络实现人脸妆容转换的方法 | |
CN109902824A (zh) | 一种用自适应控制学习改进生成对抗网络方法 | |
CN113810683A (zh) | 一种客观评估水下视频质量的无参考评价方法 | |
CN115937150A (zh) | 基于点结构化信息网络的点云质量计算方法 | |
CN114783039A (zh) | 一种3d人体模型驱动的运动迁移方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |