CN109902656A - 一种面部动作单元的识别方法、*** - Google Patents

Abstract

本发明涉及一种面部动作单元的识别方法、***，基于历史目标面部特征点、历史目标空间形态、历史空间特征表征参数、历史空间特征表征参数的表征指标变化范围及所述历史空间特征表征参数的权重关系构建面部动作单元识别模型，进而进行面部动作单元的运动的识别。面部动作单元的识别能够识别面部表情的细微变化，结果可以用于进行面部微表情的分析以及面部表情的分析。本发明所涉及的方法对样本库样本质量和数量要求较低，计算速度快，调参时间短，操作简单，无需大量成本投入且能保证高效的准确度，并且对目标面部动作单元(AU)识别能力强，无论其单独发生或组合发生，均可识别，且应用简单。

Description

一种面部动作单元的识别方法、***

技术领域

本发明涉及面部动作单元识别，尤其涉及一种面部动作单元的识别方法、***。

背景技术

面部动作编码***(FACS)，是一种基于最初由瑞典解剖学家Carl-HermanHjortsj联开发的***，通过面部外观对人类面部动作进行分类。后来由Paul Ekman和WallaceV.Friesen采用，并作了深入的研究，通过观察和生物反馈，描绘出不同的脸部肌肉动作和不同表情的对应关系，并于1978年出版。

面部动作编码***(FACS)，根据人脸的解剖学特点，可将其划分成若干既相互独立又相互联系的动作单元(Action Units，AU)，这些面部动作单元的运动特征及其所控制的主要区域可以反映出面部表情。

目前，随着计算机技术和信息技术的发展，深度学习技术得到了广泛的应用。业内在AU识别方面，大多是收集大量AU样本，搭建卷积神经网络训练出AU特征识别模型，进而用来进行AU特征识别与分类，但该种方法对样本库样本质量和数量要求较高，调参时间长，且准确率不高。尤其是有些存在互斥关系或递进关系的AU，关系界定不清，很容易出现耦合，导致识别错误。此外，面部动作单元的肌肉的动作程度，也称AU强度，其幅值的大小也取决于被识别者的天生的相貌特征，不同相貌的人即使做同样的肌肉动作，所呈现的AU强度也可能不同，这势必会导致识别出的AU强度有所差异，因此有必要设置一个初始化环节用来均衡由于人的相貌所导致的差异。但是现有的AU识别算法鲜有该环节的设置，即会导致在识别初期便引入识别误差，进一步，导致后续任何基于面部动作单元(AU)所开展的工作，如表情识别、微表情识别、状态识别等环节识别失误的加剧。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种面部动作单元的识别方法、***。

根据本发明的一个方面，提供了一种面部动作单元的识别方法，包括以下步骤：

将待识别脸部图像的面部特征点(Lmks)输入面部动作单元(AU)识别模型用于识别待识别脸部图像的运动单元(AU)，其中，所述面部动作单元(AU)识别模型的构建过程包括：

基于面部行为编码***(FACS)对面部动作单元(AU)的特征描述，分析历史目标面部动作单元(AU)的运动特征，对其运动规则进行提取，进行所述面部动作单元(AU)的运动表达确定；

根据历史目标动作单元(AU)的运动状态从面部特征点集合中选取出与其关联的历史目标面部特征点(Lmks)；

根据所述历史目标面部特征点(Lmks)的空间关系确认通过所述历史目标面部特征点(Lmks)形成的历史目标空间形态，并根据历史目标空间形态配置用于识别历史目标运动单元的历史空间特征表征参数；

利用大数据决策分析，确定历史目标面部动作单元(AU)历史空间特征表征参数的表征指标变化范围及历史空间特征表征参数的权重关系；

基于历史目标面部特征点(Lmks)、历史目标空间形态、历史空间特征表征参数、历史空间特征表征参数的表征指标变化范围及所述历史空间特征表征参数的权重关系构建面部动作单元识别模型。

进一步的，所述的面部动作单元的识别方法，还包括：

采集脸部图像或历史脸部图像；

将所述脸部图像或历史脸部图像输入面部特征点提取模型进行面部特征点(Lmks)或历史面部特征点(Lmks)的提取。

进一步的，历史目标面部动作单元(AU)为表征与面部永久性特征眉毛、眼睛、鼻子、嘴唇及下巴至少一项相关运动状态的运动单元(AU)。该历史目标面部动作单元(AU)可为AU01、AU02、AU04-AU07、AU09、AU12、AU15、AU16、AU17、AU23-AU27。

进一步的，上述所述利用大数据决策分析具体包括:

首先，利用重要度决策进行重要历史目标面部动作单元(AU)的历史空间特征表征参数的提取；

其次，利用干扰度最小原则进行最优表征参数子集的确定；

再者，结合每个特征表征参数的累计分布曲线，进行历史目标面部动作单元(AU)历史空间特征表征参数的表征指标范围的确定；

第四，基于主成分分析法对最优历史空间特征表征参数的权重关系进行确定。

历史目标空间形态为所述历史目标面部特征点(Lmks)构建的几何形态。

根据所述历史目标面部特征点(Lmks)的空间关系确认通过所述历史目标面部特征点(Lmks)形成的历史目标空间形态：

根据所述历史目标面部特征点(Lmks)的空间位置及相互之间的方位从所述历史目标面部特征点(Lmks)中选取特定历史目标面部特征点(Lmks)进行关联，形成以特定历史目标面部特征点(Lmks)为节点的特征点关联轨迹，所述特征点关联轨迹与所述历史目标面部特征点(Lmks)形成所述几何形态。

所述历史空间特征表征参数包括：

所述特征点关联轨迹中特定节点之间的距离及相对距离的变化趋势、

所述特征点关联轨迹之间的相对距离、

所述特征点关联轨迹之间的相对方位、

剩余历史目标面部特征点与所述特征点关联轨迹的相对距离中至少一项。

根据本发明的另一个方面，提供了一种面部动作单元的识别***，包括：

识别单元，配置用于将待识别脸部图像的面部特征点(Lmks)输入面部动作单元(AU)识别模型用于识别待识别脸部图像的运动单元(AU)；

所述面部动作单元(AU)识别模型构建单元，配置用于：

基于面部行为编码***(FACS)对面部动作单元(AU)的特征描述，分析历史目标面部动作单元(AU)的运动特征，对其运动规则进行提取，进行所述面部动作单元(AU)的运动表达确定；

根据历史目标面部运动单元(AU)的运动状态从面部特征点(Lmks)集合中选取出与其关联的历史目标面部特征点(Lmks)；

根据所述历史目标面部特征点(Lmks)的空间关系确认通过所述历史目标面部特征点(Lmks)形成的历史目标空间形态，并根据历史目标空间形态配置用于识别历史目标运动单元的历史空间特征表征参数；

利用大数据决策分析确定历史目标面部动作单元(AU)历史空间特征表征参数的表征指标变化范围及历史空间特征表征参数的权重关系；

基于历史目标面部特征点(Lmks)、历史目标空间形态、历史空间特征表征参数、历史空间特征表征参数的表征指标变化范围及所述历史空间特征表征参数的权重关系构建面部动作单元识别模型。

其中，历史目标空间形态为所述历史目标面部特征点(Lmks)构建的几何形态。

所述面部动作单元识别模型构建单元还配置用于：

根据所述历史目标面部特征点(Lmks)的空间位置及相互之间的方位从所述历史目标面部特征点(Lmks)中选取特定历史目标面部特征点进行关联，形成以特定历史目标面部特征点(Lmks)为节点的特征点关联轨迹，所述特征点关联轨迹与所述历史目标面部特征点(Lmks)形成所述几何形态。

所述历史空间特征表征参数包括：

所述特征点关联轨迹中特定节点之间的距离及相对距离的变化趋势、

所述特征点关联轨迹之间的相对距离、

所述特征点关联轨迹之间的相对方位、

剩余历史目标面部特征点与所述特征点关联轨迹的相对距离中至少一项。

与现有技术相比，本发明具有以下有益效果：

1、本发明示例的面部动作单元AU识别方法，

基于面部行为编码***(FACS)对面部动作单元(AU)的特征描述，分析历史目标面部动作单元(AU)的运动特征，对其运动规则进行提取，进而进行该面部动作单元(AU)的运动表达确定，对由于人的相貌所导致的差异进行了均衡，保证在被识别者天生的相貌特征的基础上，识别被识别者的各种表情中所呈现出的面部动作单元(AU)的发生程度(AU强度)，确保后续AU识别以及AU强度的表达的准确进行；

通过大数据统计决策确定历史目标面部动作单元(AU)历史空间特征表征参数的表征指标变化范围及历史空间特征表征参数的权重关系；最终，通过基于历史目标面部特征点(Lmks)、历史目标空间形态、历史空间特征表征参数、历史空间特征表征参数的表征指标变化范围及所述历史空间特征表征参数的权重关系构建面部动作单元(AU)识别模型，进而进行面部动作单元(AU)的运动的识别。该识别方法逻辑清晰，能够准备表达各面部动作单元(AU)的含义，对存在互斥关系或递进关系AU也能清晰的界定，识别效果明显，避免了AU耦合的发生，针对该面部动作单元(AU)的识别能够识别面部表情的细微变化，结果可以用于进行面部微表情的分析以及面部表情的分析。本发明所涉及的对目标面部动作单元(AU)识别能力强，无论其单独发生或组合发生，均可识别，且应用简单。

2、本发明示例的基于规则提取和大数据统计决策的面部动作单元的识别***，组成简单，通过各个组成***及单元之间相互配合，创造性的对由于人的相貌所导致的差异进行了均衡，保证本***在被识别者天生的相貌特征的基础上，识别被识别者的各种表情中所呈现出的面部动作单元(AU)的发生程度(AU强度)，确保了后续AU识别以及AU强度的表达的准确进行，本***的整个识别过程操作简单，成本低，无需收集大量AU样本，无需搭建卷积神经网络用于训练AU特征识别模型，对样本库样本质量和数量要求较低，调参时间短，且准确率高。能够准备表达各面部动作单元(AU)的含义，能够清晰的界定面部动作单元(AU)之间的关系，面部动作单元(AU)识别效果明显，确保后续任何基于面部动作单元(AU)能够开展的工作，如表情识别，微表情识别、状态识别等均能优质进行。

附图说明

图1为与内眉运动相关的历史目标面部特点示意图一；

图2为与内眉运动相关的历史目标面部特点示意图二；

图3为与内眉运动相关的历史目标面部特点示意图三；

图4为与内眉运动相关的历史目标面部特点示意图四；

图5为与外眉运动相关的历史目标面部特点示意图一；

图6为与外眉运动相关的历史目标面部特点示意图二；

图7为与外眉运动相关的历史目标面部特点示意图三；

图8为与外眉运动相关的历史目标面部特点示意图四；

图9为与外眉运动相关的历史目标面部特点示意图；

图10为与眉中运动相关的历史目标面部特点示意图一；

图11为与眉中运动相关的历史目标面部特点示意图二；

图12为与眉中运动相关的历史目标面部特点示意图三；

图13为与眉中运动相关的历史目标面部特点示意图四；

图14为与上眼睑运动相关的历史目标面部特点示意图；

图15为与眼睛运动相关的历史目标面部特点示意图一；

图16为与眼睛运动相关的历史目标面部特点示意图二；

图17为与眼睛运动相关的历史目标面部特点示意图三；

图18为与眼睛运动相关的历史目标面部特点示意图四；

图19为与眼睛运动相关的历史目标面部特点示意图五；

图20为与眼睛运动相关的历史目标面部特点示意图六；

图21为与鼻子运动相关的历史目标面部特点示意图一；

图22为与鼻子运动相关的历史目标面部特点示意图二；

图23为与鼻子运动相关的历史目标面部特点示意图三；

图24为与鼻子运动相关的历史目标面部特点示意图四；

图25为与鼻子运动相关的历史目标面部特点示意图五；

图26为与鼻子运动相关的历史目标面部特点示意图六；

图27为与鼻子运动相关的历史目标面部特点示意图七；

图28为与鼻子运动相关的历史目标面部特点示意图八；

图29为与嘴巴运动相关的历史目标面部特点示意图一；

图30为与嘴巴运动相关的历史目标面部特点示意图二；

图31为与嘴巴运动相关的历史目标面部特点示意图三；

图32为与嘴巴运动相关的历史目标面部特点示意图四；

图33为与嘴巴运动相关的历史目标面部特点示意图五；

图34为与嘴巴运动相关的历史目标面部特点示意图六；

图35为与嘴巴运动相关的历史目标面部特点示意图七；

图36为与嘴巴运动相关的历史目标面部特点示意图八；

图37为与嘴巴运动相关的历史目标面部特点示意图九；

图38为与嘴巴运动相关的历史目标面部特点示意图十；

图39为与嘴巴运动相关的历史目标面部特点示意图十一；

图40为与嘴巴运动相关的历史目标面部特点示意图十二；

图41为与下巴运动相关的历史目标面部特点示意图一；

图42为与下巴运动相关的历史目标面部特点示意图二；

图43为与下巴运动相关的历史目标面部特点示意图三；

图44为与下巴运动相关的历史目标面部特点示意图四；

图45为与下巴运动相关的历史目标面部特点示意图五；

图46为上述指标选取的证明图；

图47为利用大数据分析对表征AU001历史空间特征表征参数的最大指标集中各指标的变化的极值的示意图；

图48为假设是正向变化时AU1各表征指标的变化趋势示意图；

图49为假设是负向变化时AU1各表征指标的变化趋势示意图；

图50为各指标的变化速度图；

图51为各指标的变化概率分布直方图；

图52为各指标的变化累计分布图；

图53为CK+算法与本专利算法AU&情绪对应图谱；

图54为无初始化环节的AU识别算法(以Openface算法为例)和本专利所提出的AU识别在不同基础相貌的被试者惊讶表情下的AU识别结果对照图，其中，图片选自CK+库，上图为初始帧，下图为表情峰值帧；

图55为无初始化环节的AU识别算法(以Openface算法为例)和本专利所提出的AU识别在不同基础相貌的被试者高兴表情下的AU识别结果对照图，其中，图片选自CK+库，上图为初始帧，下图为表情峰值帧；

图56为无初始化环节的AU识别算法(以Openface算法为例)和本专利所提出的AU识别在不同基础相貌的被试者愤怒表情下的AU识别结果对照图，其中，图片选自CK+库，上图为初始帧，下图为表情峰值帧。

具体实施方式

为了更好的了解本发明的技术方案，下面结合具体实施例、说明书附图对本发明作进一步说明。

实施例一：

本实施例提供了一种面部动作单元(AU)识别方法，包括以下步骤：

S1、采集脸部图像或历史脸部图像，将所述历史脸部图像输入面部特征点提取模型进行历史面部特征点的提取(如，提取出68个面部特征点)。

S2、基于面部行为编码***(FACS)对面部动作单元(AU)的特征描述，在全部历史面部特征点(面部特征点集合)的基础上，分析历史目标面部动作单元(AU)的运动特征，对其运动规则进行提取，进而进行该面部动作单元(AU)的运动表达确定，(如与眉毛内侧运动相关的全部历史空间特征表征参数为21到31与35连线的距离、21到32与34连线的距离、21到39与42连线的距离、21到00与16连线的距离、20到31与35连线的距离、20到32与34连线的距离、20到39与42连线的距离、20到00与16连线的距离、27到21与22连线的距离、28到21与22连线的距离、29到21与22连线的距离、30到21与22连线的距离、33到21与22连线的距离)，对由于人的相貌所导致的差异进行了均衡，保证在被识别者天生的相貌特征的基础上，识别被识别者的各种表情中所呈现出的面部动作单元(AU)的发生程度(AU强度)，确保后续AU识别以及AU强度的表达的准确进行。

S3、根据历史目标运动单元AU的运动状态从面部特征点(Lmks)集合中选取出与其关联的历史目标面部特征点(Lmks)。该历史目标面部动作单元为表征与面部永久性特征之眉毛、眼睛、鼻子、嘴唇及下巴至少一项相关运动状态的运动单元，如AU01、AU02、AU04-AU07、AU09、AU12、AU15、AU16、AU17、AU23-AU27。

S4、根据所述历史目标面部特征点(Lmks)的空间关系确认通过所述历史目标面部特征点(Lmks)形成的历史目标空间形态，历史目标空间形态为所述历史目标面部特征点(Lmks)构建的几何形态，具体根据所述历史目标面部特征点(Lmks)的空间位置及相互之间的方位从所述历史目标面部特征点(Lmks)中选取特定历史目标面部特征点进行关联，形成以特定历史目标面部特征点(Lmks)为节点的特征点关联轨迹，所述特征点关联轨迹与所述历史目标面部特征点形成所述几何形态，并根据历史目标空间形态配置用于识别历史目标运动单元的历史空间特征表征参数。

所述历史空间特征表征参数包括：

所述特征点关联轨迹中特定节点之间的距离(如与眼睛运动相关的运动单元中特定历史目标面部特征点39-42之间的距离)、所述特征点到特征点关联轨迹之间的相对距离(如与嘴巴运动相关的运动单元中特定历史目标面部特征点51-57形成的特征点关联轨迹、特定历史目标面部特征点48-54形成的特征点关联轨迹之间的相对距离)、所述特征点关联轨迹之间的相对方位(如与嘴巴运动相关的运动单元中特定历史目标面部特征点48-50形成的特征点关联轨迹、特定历史目标面部特征点48-58形成的另一特征点关联轨迹之间的相对方位，即两特征点关联轨迹间的夹角方向及度数)、剩余历史目标面部特征点与所述特征点关联轨迹的相对距离(如历史目标面部特征点21至由眉毛运动相关的运动单元中特定历史目标面部特征点39-42形成的特征点关联轨迹的相对距离)中至少一项。

不同的历史目标AU与不同的面部器官运动相关(眉毛、眼睛、鼻子、嘴唇和下巴)，不同的面部器官运动关联着与之相应的历史目标面部特征点，及相应的历史空间特征表征参数均相应变化。如图1-45，其中：

图1为与内眉运动相关的历史目标面部特点20、23、21、22、28、29、30、33，其中，历史目标面部特点21-22关联形成特征点关联轨迹，历史目标面部特点20与23关联形成另一特征点关联轨迹，相应的历史空间特征表征参数为特征点28、29、30、33到特征点关联轨迹21与22连线或20与23连线的相对距离，即鼻梁和鼻根上的面部特征点到内眉连线的距离。

图2为与内眉运动相关的历史目标面部特点20、23、21、22、31、32、33、34、35，其中，历史目标面部特点31与35和32与34分别关联形成相应的特征点关联轨迹，相应的历史空间特征表征参数为历史目标面部特点20或23或21或22至特征点关联轨迹31与35连线或32与34连线的相对距离，即内眉到鼻孔连线的距离。

图3为与内眉运动相关的历史目标面部特点20、23、21、22、39、42，其中，历史目标面部特点39-42关联形成特征点关联轨迹，相应的历史空间特征表征参数为历史目标面部特点20或23或21或22至特征点关联轨迹39与42连线的相对距离，即内眉到内眼角连线的距离。

图4为与内眉运动相关的历史目标面部特点20、23、21、22、00、16，其中，历史目标面部特点00、16关联形成特征点关联轨迹，相应的历史空间特征表征参数为历史目标面部特点20或23或21或22至特征点关联轨迹00与16连线的相对距离，即内眉到脸部连线的距离。

图5为与外眉运动相关的历史目标面部特点18、25、17、26、28、29、30、33，其中，历史目标面部特点18与25关联形成特征点关联轨迹，历史目标面部特点17与26关联形成另一特征点关联轨迹，，相应的历史空间特征表征参数为特征点28、29、30、33到特征点关联轨迹18与25连线或17与26连线的相对距离，即鼻梁和鼻根的面部特征点到外眉连线的距离。

图6为与外眉运动相关的历史目标面部特点18、25、17、26、31、32、34、35，其中，历史目标面部特点31与35和32与34分别关联形成相应的特征点关联轨迹，相应的历史空间特征表征参数为历史目标面部特点18或25至特征点关联轨迹31与35连线或32与34连线的相对距离，即外眉到鼻孔连线的距离。

图7为与眉毛运动相关的历史目标面部特点21、22，其中，历史目标面部特点21与22关联形成特征点关联轨迹，相应的历史空间特征表征参数为特征点关联轨迹中历史目标面部特点21与22之间相对距离的变化趋势(较基准相对距离变大或变小)。

图8为与外眉运动相关的历史目标面部特点18、25、17、26、39、42，其中,历史目标面部特点39与42关联形成特征点关联轨迹，相应的历史空间特征表征参数为历史目标面部特点18或25或17或26至特征点关联轨迹39与42连线的相对距离，即外眉到内眼角连线的距离。

图9为与外眉运动相关的历史目标面部特点18、25、17、26、0、16，其中，历史目标面部特点00与16关联形成特征点关联轨迹，相应的历史空间特征表征参数为历史目标面部特点18或25或17或26至特征点关联轨迹00与16连线的相对距离，即外眉到脸部连线的距离。

图10为与眉中运动相关的历史目标面部特点19、24、28、29、30、33，其中，历史目标面部特点19-24关联形成特征点关联轨迹，相应的历史空间特征表征参数为特征点28、29、30、33到特征点关联轨迹19与24连线的相对距离，即鼻梁和鼻根点到眉中连线的距离。

图11为与眉中运动相关的历史目标面部特点1924、31、32、34、35，其中，历史目标面部特点31与35和32与34分别关联形成相应的特征点关联轨迹，相应的历史空间特征表征参数为历史目标面部特点19或24至特征点关联轨迹31与35连线或32与34连线的相对距离，即眉中到鼻连线的距离。

图12为与眉中运动相关的历史目标面部特点19、24、39、42，其中，历史目标面部特点39-42关联形成特征点关联轨迹，相应的历史空间特征表征参数为历史目标面部特点19或24至特征点关联轨迹39与42连线的相对距离，即眉中到内眼角连线的距离。

图13为与眉中运动相关的历史目标面部特点19、24、00、16，其中，历史目标面部特点00与16关联形成特征点关联轨迹，相应的历史空间特征表征参数为历史目标面部特点19或24至特征点关联轨迹00与16连线的相对距离，即眉中到脸部连线的距离。

图14为与上眼睑运动相关的历史目标面部特点37、38、19、20，43、44、23、24其中，历史目标面部特点19与37和20与38分别关联形成相应的特征点关联轨迹历史目标面部特点23与43和24与4分别关联形成相应的另一特征点关联轨迹，相应的历史空间特征表征参数为特征点关联轨迹19与37连线或20与38连线中各自历史目标面部特点之间相对距离的变化趋势(较相应的基准相对距离变大或变小)或23与43连线或24与44连线中各自历史目标面部特点之间相对距离的变化趋势。

图15为与眼睛运动相关的历史目标面部特点36、39、42、45，其中，历史目标面部特点36与39关联形成特征点关联轨迹，历史目标面部特点42与45关联形成另一特征点关联轨迹，相应的历史空间特征表征参数为相应特征点关联轨迹中两历史目标面部特点的相对距离。

图16为与眼睛运动相关的历史目标面部特点37、38、41、40、43、44、47、46其中，历史目标面部特点37与41和38与40分别关联形成相应的特征点关联轨迹，历史目标面部特点43与47和44与46分别关联形成相应的另一特征点关联轨迹，相应的历史空间特征表征参数为两特征点关联轨迹37与41连线或38与40连线中各自历史目标面部特点之间相对距离的变化趋势(较相应的基准相对距离变大或变小)或43与47连线或44与46连线中各自历史目标面部特点之间相对距离的变化趋势。

图17为与眼睛运动相关的历史目标面部特点36、38、39、42、43、45，其中，历史目标面部特点36、38、39相互关联形成特征点关联轨迹组，历史目标面部特点42、43、45相互关联形成另一特征点关联轨迹组，相应的历史空间特征表征参数为特征点关联轨迹之间的相对方向及夹角。

图18为与眼睛运动相关的历史目标面部特点36、37、41、38、39、40，其中，历史目标面部特点37、36、41关联形成特征点关联轨迹，历史目标面部特点38、39、40关联形成另一特征点关联轨迹，相应的历史空间特征表征参数为两特征点关联轨迹各自的夹角。

图19为与眼睛运动相关的历史目标面部特点36、37、38、39、40、41、42、43、44、45、46、47，其中，历史目标面部特点37与41、38与40、36与39分别关联形成相应的特征点关联轨迹，历史目标面部特点43与47、44与46、42与45分别关联形成相应的另一特征点关联轨迹，相应的历史空间特征表征参数为相应特征点关联轨迹中各自历史目标面部特点的相对距离，即眼睛宽与高。

图20为与眼睛运动相关的历史目标面部特点39、42，其中，历史目标面部特点39与42关联形成特征点关联轨迹，相应的历史空间特征表征参数为两历史目标面部特点的相对距离。

图21为与鼻子运动相关的历史目标面部特点27、28、29、30、33，其中，历史目标面部特点27与28、27与29、27与30、27与33分别关联形成相应的特征点关联轨迹，相应的历史空间特征表征参数为两历史目标面部特点的相对距离。

图22为与鼻子运动相关的历史目标面部特点29、30、33，其中，历史目标面部特点229与30、29与33分别关联形成相应的特征点关联轨迹，相应的历史空间特征表征参数为相应特征点关联轨迹中两历史目标面部特点的相对距离。

图23为与鼻子运动相关的历史目标面部特点27、28、51，其中，历史目标面部特点27与51、28与51分别关联形成相应的特征点关联轨迹，相应的历史空间特征表征参数为相应特征点关联轨迹中两历史目标面部特点的相对距离。

图24为与鼻子运动相关的历史目标面部特点29、30、51，其中，历史目标面部特点29与51、30与51分别关联形成相应的特征点关联轨迹，相应的历史空间特征表征参数为相应特征点关联轨迹中两历史目标面部特点的相对距离。

图25为与鼻子运动相关的历史目标面部特点31、32、34、35，其中，历史目标面部特点31与35、32与34分别关联形成相应的特征点关联轨迹，相应的历史空间特征表征参数为相应特征点关联轨迹中两历史目标面部特点的相对距离。

图24为与鼻子运动相关的历史目标面部特点33、51，其中，历史目标面部特点33与51关联形成特征点关联轨迹，相应的历史空间特征表征参数为特征点关联轨迹中两历史目标面部特点的相对距离。

图27为与鼻子运动相关的历史目标面部特27、28、29、30、31、35，其中，历史目标面部特点27、31、35相互关联形成特征点关联轨迹组，历史目标面部特点28、31、35相互关联形成特征点关联轨迹组，历史目标面部特点29、31、35相互关联形成特征点关联轨迹组，历史目标面部特点30、31、35相互关联形成特征点关联轨迹组，相应的历史空间特征表征参数为特征点关联轨迹之间的相对方向及夹角。

图28为与鼻子运动相关的历史目标面部特点21、22、27、28、29、30，其中，历史目标面部特点21、27、22相互关联形成特征点关联轨迹组，历史目标面部特点21、28、22相互关联形成特征点关联轨迹组，历史目标面部特点21、29、22相互关联形成特征点关联轨迹组，历史目标面部特点21、30、22相互关联形成特征点关联轨迹组，相应的历史空间特征表征参数为特征点关联轨迹之间的相对方向及夹角。

图29为与嘴巴运动相关的历史目标面部特点50、49、48、59、58、52、53、54、55、56，其中，历史目标面部特点49、48、59相互关联形成特征点关联轨迹组，历史目标面部特点50、48、59相互关联形成特征点关联轨迹组，历史目标面部特点53、54、55相互关联形成特征点关联轨迹组，历史目标面部特点52、54、56相互关联形成特征点关联轨迹组，相应的历史空间特征表征参数为特征点关联轨迹之间的相对方向及夹角，即左右嘴角。

图30为与嘴巴运动相关的历史目标面部特点48、51、54、57，其中，历史目标面部特点48、51、54相互关联形成特征点关联轨迹组，历史目标面部特点48、57、54相互关联形成另一特征点关联轨迹组，相应的历史空间特征表征参数为两特征点关联轨迹各自的夹角、夹角方向及其相对夹角，即上下嘴唇的弯曲角度。

图31为与嘴巴运动相关的历史目标面部特点27、28、29、30、33、48、54，其中，历史目标面部特点27,48,54相互关联形成特征点关联轨迹组，历史目标面部特点28,48,54相互关联形成特征点关联轨迹组，历史目标面部特点29,48,54相互关联形成特征点关联轨迹组，历史目标面部特点30,48,54相互关联形成特征点关联轨迹组，历史目标面部特点33,48,54相互关联形成特征点关联轨迹组，相应的历史空间特征表征参数为特征点关联轨迹之间的相对方向及夹角，即鼻梁、鼻根与嘴角组成的角。

图32为与嘴巴运动相关的历史目标面部特点27、28、29、30、33、48、54，其中，历史目标面部特征点48与54关联形成特征点关联轨迹，相应的历史空间特征表征参数为历史目标面部特点27或28或29或30或33至特征点关联轨迹48与54连线的相对距离，即鼻梁或鼻根上的面部特征点到嘴角连线的距离。

图33为与嘴巴运动相关的历史目标面部特点39、42、48、54，其中，历史目标面部特点39与42关联形成特征点关联轨迹，相应的历史空间特征表征参数为历史目标面部特点48或54分别至特征点关联轨迹39与42连线的相对距离，即嘴角到内眼角连线的垂线距离。

图34为与嘴巴运动相关的历史目标面部特点48、54、21、22、20、23，其中，历史目标面部特点21与22、20与23关联形成特征点关联轨迹，相应的历史空间特征表征参数为历史目标面部特点48或54分别至特征点关联轨迹21与22连线、20与23连线的相对距离，即嘴角到内眉连线的垂线距离。

图35为与嘴巴运动相关的历史目标面部特点48、54、17、18、25、26，其中，历史目标面部特点17与26、18与25分别关联形成相应的特征点关联轨迹，相应的历史空间特征表征参数为历史目标面部特点48或54分别至特征点关联轨迹17与26连线、18与25连线的相对距离，即嘴角到外眉连线的垂线距离。

图36为与嘴巴运动相关的历史目标面部特点48、54、19、24，其中，历史目标面部特点19与24关联形成特征点关联轨迹，相应的历史空间特征表征参数为历史目标面部特点48或54分别至特征点关联轨迹19与24连线的相对距离，即嘴角到眉中连线的垂线距离。

图37为与嘴巴运动相关的历史目标面部特点48、54、29、30，其中，历史目标面部特征点29与48、29与54、30与48、30与54分别关联形成相应的特征点关联轨迹，相应的历史空间特征表征参数为相应特征点关联轨迹中两历史目标面部特点之间相对距离的变化趋势(较相应的基准相对距离变大或变小)。

图38为与嘴巴运动相关的历史目标面部特点48、54、51、57，其中，历史目标面部特点48与54关联形成特征点关联轨迹，历史目标面部特点51与57关联形成另一特征点关联轨迹，相应的历史空间特征表征参数为两特征点关联轨迹中相应历史目标面部特点之间的相对距离，即嘴宽和嘴高。

图39为与嘴巴运动相关的历史目标面部特点27、28、29、30、33、51，其中，历史目标面部特点27与51、28与51、29与51、30与51、33与51分别关联形成相应的特征点关联轨迹，相应的历史空间特征表征参数为相应特征点关联轨迹中两历史目标面部特点的相对距离。

图40为与嘴巴运动相关的历史目标面部特点27、28、29、30、33、57，其中，历史目标面部特点27与57、28与57、29与57、30与57、33与57分别关联形成相应的特征点关联轨迹，相应的历史空间特征表征参数为相应特征点关联轨迹中两历史目标面部特点的相对距离。

图41为与下巴运动相关的历史目标面部特点51、48、54、8，其中，历史目标面部特点51、48、8相互关联形成特征点关联轨迹组，历史目标面部特点51、54、8相互关联形成特征点关联轨迹组，相应的历史空间特征表征参数为特征点关联轨迹之间的相对方向及夹角，即上唇点、嘴角和下巴组成的角。

图42为与下巴运动相关的历史目标面部特点57、48、54、8，其中，历史目标面部特点57、48、8相互关联形成特征点关联轨迹组，历史目标面部特点57、54、8相互关联形成特征点关联轨迹组，相应的历史空间特征表征参数为特征点关联轨迹之间的相对方向及夹角，即下唇点、嘴角和下巴组成的角。

图43为与下巴运动相关的历史目标面部特点56、57、58，其中，历史目标面部特点56与9、57与8、58与7分别关联形成相应的特征点关联轨迹，相应的历史空间特征表征参数为相应特征点关联轨迹中两历史目标面部特点的相对距离。

图44为与下巴运动相关的历史目标面部特点48、54、8，其中，历史目标面部特点48与54关联形成特征点关联轨迹，相应的历史空间特征表征参数为历史目标面部特点8至特征点关联轨迹48与54连线的相对距离，即下巴到嘴角连线的垂线。

图45为与下巴运动相关的历史目标面部特点31、32、34、35、8，其中，历史目标面部特点31与35、32与34分别关联形成相应的特征点关联轨迹，相应的历史空间特征表征参数为历史目标面部特点8至特征点关联轨迹31与35连线、32与34连线的相对距离，即下巴到鼻孔连线的垂线。

S5、利用大数据决策分析，首先，利用重要度决策进行重要历史目标面部动作单元(AU)的历史空间特征表征参数的提取，(如与眉毛内侧运动相关的全部历史空间特征表征参数为21到31与35连线的距离、21到32与34连线的距离、21到39与42连线的距离、20到31与35连线的距离、20到32与34连线的距离、20到39与42连线的距离、27到21与22连线的距离、28到21与22连线的距离、29到21与22连线的距离、30到21与22连线的距离、33到21与22连线的距离)；

S6、利用大数据决策分析，其次，利用干扰度最小原则进行最优表征参数子集的确定，(如与眉毛内侧运动相关的最优历史空间特征表征参数为21到31与35连线的距离、21到32与34连线的距离、20到31与35连线的距离、20到32与34连线的距离、28到21与22连线的距离、29到21与22连线的距离)；

S7、利用大数据决策分析，再者，结合每个特征表征参数的累计分布曲线，进行历史目标面部动作单元(AU)历史空间特征表征参数的表征指标变化范围的确定(如与眉毛内侧运动相关的最优历史空间特征表征参数中，21到31与35连线的距离的变化范围为+12.70％、21到32与34连线的距离的变化范围为11.79％、20到31与35连线的距离的变化范围为+11.58％、20到32与34连线的距离的变化范围为+10.34％、28到21与22连线的距离的变化范围为+25.10％、29到21与22连线的距离的变化范围为+16.19％)；

S8、利用大数据决策分析，第四，基于主成分分析法对最优历史空间特征表征参数的权重关系进行确定，需先进行历史目标AU指标之间的关系分析，进而判断历史目标AU之间是是否存在递进关系(比如AU25、AU26、AU27)或互斥关系(比如AU12和AU15)，最终确定每个历史目标AU相应的历史空间特征表征参数的权重关系。

以AU01为例进行说明，AU01和其他AU不存在递进或互斥关系，因此，最终确定每个历史目标AU相应的历史空间特征表征参数之间的权重为同等权重；

S9、基于历史目标面部特点、历史目标空间形态、历史空间特征表征参数、历史空间特征表征参数的表征指标变化范围及所述历史空间特征表征参数的权重关系构建面部动作单元识别模型。

S10、采集待识别脸部图像，将所述待识别脸部图像输入面部特征点提取模型进行待识别脸部图像面部特征点的提取，将待识别脸部图像的面部特征点输入面部动作单元识别模型用于识别待识别脸部图像的运动单元。

上述AU识别方法具体步骤为：

S1、导入历史图像；

S2、利用人脸识别算法(如MTCNN算法等)，通过人脸识别、人脸对齐等技术从该实时历史图像中提取实时历史脸部图像；

S3、将该实时历史脸部图像输入面部特征点提取模型(如CLM、CLNF算法)等，进行人脸面部特征点的提取；

S4、利用该面部特征点提取模型从该实时历史脸部图像中识别出68个面部特征点；

S5、基于面部行为编码***(FACS)对面部动作单元(AU)的特征描述，在全部历史面部特征点(面部特征点集合)的基础上，分析历史目标面部动作单元(AU)的运动特征，对其运动规则进行提取，进而进行该面部动作单元(AU)的运动表达确定，(如与眉毛内侧运动相关的全部历史空间特征表征参数为21到31与35连线的距离、21到32与34连线的距离、21到39与42连线的距离、21到00与16连线的距离、20到31与35连线的距离、20到32与34连线的距离、20到39与42连线的距离、20到00与16连线的距离、27到21与22连线的距离、28到21与22连线的距离、29到21与22连线的距离、30到21与22连线的距离、33到21与22连线的距离)，对由于人的相貌所导致的差异进行了均衡，保证在被识别者天生的相貌特征的基础上，识别被识别者的各种表情中所呈现出的面部动作单元(AU)的发生程度(AU强度)，确保后续AU识别以及AU强度的表达的准确进行；

S6、选取能够表征五官(眉毛、眼睛、鼻子、嘴唇)和下巴运动情况的历史目标AU，如AU01、AU02、AU04-AU07、AU09、AU12、AU15、AU16、AU17、AU23-AU27等；

S7、根据68个面部特征点，分析该实时历史脸部图像中与上述每个历史目标AU相应五官(眉毛、眼睛、鼻子、嘴唇)和下巴运动相关的历史目标面部特征点。

以AU01为例进行说明，AU01是与五官中内侧眉毛运动相关的面部动作单元，分析与该面部动作单元对应的内侧眉毛运动相关的全部历史目标面部特征点，根据所述历史目标面部特征点(如历史目标面部特征点21、31、35)的空间位置及相互之间的方位从所述历史目标面部特征点中选取特定历史目标面部特征点(如31、35)进行关联，形成以特定历史目标面部特征点为节点的特征点关联轨迹，所述特征点关联轨迹与所述历史目标面部特征点形成所述几何形态，并根据历史目标空间形态配置用于识别历史目标运动单元的历史空间特征表征参数，所述历史空间特征表征参数包括所述特征点关联轨迹中特定节点之间的距离、所述特征点关联轨迹之间的相对距离、所述特征点关联轨迹之间的相对方位、剩余历史目标面部特征点与所述特征点关联轨迹的相对距离中至少一项，对于AU01对应的内侧眉毛运动相关的历史目标面部特征点，如21、31、35，其相应的历史空间特征表征参数可为剩余历史目标面部特征点与所述特征点关联轨迹的相对距离，具体为面部特征点21到面部特征点31和面部特征点35的连线的距离。

根据上述方法，分析与该面部动作单元对应的内侧眉毛运动相关的全部历史目标面部特征点包括：21、22、27、28、29、30、33，特征点之间的空间位置关联包括：21、22的连线、39、42的连线、31、35的连线、32、34的连线、00、16的连线。则能够表征眉毛内侧运动的历史空间特征表征参数包括：

21到31与35连线的距离；

21到32与34连线的距离；

21到39与42连线的距离；

21到00与16连线的距离；

20到31与35连线的距离；

20到32与34连线的距离；

20到39与42连线的距离；

20到00与16连线的距离；

27到21与22连线的距离；

28到21与22连线的距离；

29到21与22连线的距离；

30到21与22连线的距离；

33到21与22连线的距离；

S8、利用大数据决策分析，利用重要度决策进行重要历史目标动作单元(AU)的历史空间特征表征参数的提取，确定该实时历史脸部图像中内侧眉毛运动相关的上述每个历史目标AU相应五官(眉毛、眼睛、鼻子、嘴唇)和下巴运动相关的重要历史空间特征表征参数；以AU01为例进行说明，包括：

21到31与35连线的距离；

21到32与34连线的距离；

21到39与42连线的距离；

20到31与35连线的距离；

20到32与34连线的距离；

20到39与42连线的距离；

27到21与22连线的距离；

28到21与22连线的距离；

29到21与22连线的距离；

30到21与22连线的距离；

33到21与22连线的距离；

S9、利用大数据决策分析，利用干扰度最小原则进行最优表征参数子集的确定，确定该实时历史脸部图像中内侧眉毛运动相关的上述每个历史目标AU相应五官(眉毛、眼睛、鼻子、嘴唇)和下巴运动相关的最优历史空间特征表征参数，以AU01为例进行说明，包括：

21到31与35连线的距离；

21到32与34连线的距离；

20到31与35连线的距离；

20到32与34连线的距离；

28到21与22连线的距离；

29到21与22连线的距离；

S10、利用大数据决策分析，对表征每个历史目标AU历史空间特征表征参数的最大指标集中各指标的变化趋势(即确定是变大或变小)，以及对最大指标集中的关键指标进行选取。以AU01为例进行说明，如利用大数据分析历史面部特征点21到历史面部特征点32和面部特征点34的连线的距离的变化趋势、历史面部特征点21到历史面部特征点33和面部特征点35的连线的距离的变化趋势，历史面部特征点29到历史面部特征点21和面部特征点22的连线的距离的变化趋势，历史面部特征点30到历史面部特征点21和面部特征点22的连线的距离的变化趋势，历史面部特征点33到历史面部特征点21和面部特征点22的连线的距离的变化趋势，如图46-49所示。最后确所选最大指标集中的关键指标其变化趋势均为正向变化。

S11、利用大数据决策分析，将各指标相对于Neutral帧的变化比例进行累计分布分析，确定各指标的最大变化范围，即确定变化的极值。(如果是变大的话，就是正的变化百分之多少，如果是变小的话就是负的变化百分之多少)，生成历史空间特征表征参数的表征指标范围，以AU01为例进行说明，如利用利用大数据分析历史面部特征点21到历史面部特征点31和面部特征点35的连线的距离的变化速度图及变化速度图、历史面部特征点21到历史面部特征点32和面部特征点34的连线的距离的变化速度图及变化速度图，历史面部特征点20到历史面部特征点31和面部特征点35的连线的距离的变化速度图及变化速度图，历史面部特征点20到历史面部特征点32和面部特征点35的连线的距离的变化速度图及变化速度图，历史面部特征点28到历史面部特征点21和面部特征点22的连线的距离的变化速度图及变化速度图，历史面部特征点29到历史面部特征点21和面部特征点22的连线的距离的变化速度图及变化速度图，如图50-52所示。

以AU001为例，利用大数据决策分析，将各指标相对于Neutral帧的变化比例进行累计分布分析后确定的各指标的变化的极值为：

(1)针对历史面部特征点(内眉点)21到鼻孔连线的距离：

quota1-1：历史面部特征点21到历史面部特征点31和面部特征点35的连线的距离,变化方向是正向，最大比例是12.70％。

quota1-2：历史面部特征点21到历史面部特征点32和历史面部特征点34的连线的距离,变化方向是正向，最大比例是11.79％。

(2)针对内眉点20到鼻孔连线的距离：

quota2-1：历史面部特征点20到历史面部特征点31和历史面部特征点35的连线的距离,变化方向是正向，最大比例是11.58％。

quota2-2：历史面部特征点20到历史面部特征点32和历史面部特征点34的连线的距离,变化方向是正向，最大比例是10.34％。

(3)鼻梁点28和29到内眉连线的距离：

quota3-1：历史面部特征点28到历史面部特征点21和历史面部特征点22的连线的距离,变化方向是正向，最大比例是25.10％。

quota3-2：历史面部特征点29到历史面部特征点21和历史面部特征点22的连线的距离,变化方向是正向，最大比例是16.19％。

S12、在权重确定环节，需先进行历史目标AU指标之间的关系分析，进而判断历史目标AU之间是是否存在递进关系(比如AU25、AU26、AU27)或互斥关系(比如AU12和AU15)，最终确定每个历史目标AU相应的历史空间特征表征参数的权重关系。以AU01为例进行说明，

AU01和其他AU不存在递进或互斥关系，因此，最终确定每个历史目标AU相应的历史空间特征表征参数之间的权重为同等权重。

S13、基于历史目标面部特点、历史目标空间形态、历史空间特征表征参数、历史空间特征表征参数的权重关系及所述历史空间特征表征参数的表征指标范围构建AU识别模型。

S14、采集待识别脸部图像，将所述待识别脸部图像输入面部特征点提取模型进行待识别脸部图像面部特征点的提取，将待识别脸部图像的面部特征点输入AU识别模型用于识别待识别脸部图像的运动单元。该面部动作单元识别模型能够准确识别的待识别脸部图像为摄像范围(相对于摄像头坐标系原点而言)为：上下左右：-20°至+20°，距离是：前后300-600mm，采集的脸部图像。

将本实施例面部动作单元(AU)识别方法与现有识别方法进行对比分析，可知面部动作单元(AU)识别方法优势明显：

取三种表情：愤怒(Anger)、快乐(Happy)和惊讶(Surprise)。

对比分析中所选择的图片库为CK+图片库，该表情库是由美国宾夕法尼亚州匹兹堡(Piitsburgh)的卡内基梅隆大学(Carnegie Mellon University，CMU)的机器人研究所和心理学系共同建立的基于动作单元编码的人脸表情图像数据库，Cohn-Kanade AU-CodedFacial Expression Image Database，简称CKACFEID。该数据库是迄今为止研究面部表情分析最全面的测试平台。

(1)优势1为：

CK+表情库中的AU标签和表情标签的对应图谱(Emotion-AU的对应关系图)以及本算法基于CK+表情库中的图片所识别的AU进而生成的AU标签和表情标签的对应图谱(Emotion-AU的对应关系图)如图53所示。

本实施例面部动作单元(AU)识别方法在三种表情图片库中所识别的AU数量与CK+算法中所识别的AU数量大致相同。但根据FACS对AU的定义可知，有些AU之间存在互斥关系或递进关系，例如AU12和AU15为互斥关系，AU01、AU02和AU04为互斥关系，AU15和AU17为递进关系、AU23和AU24为递进关系、AU16、AU25、AU26、AU27为递进关系。上述关系如界定不清，尤其是递进关系，很容易出现耦合。

从上图中可以看出，CK+算法：

在愤怒表情中，AU23和AU24同时被识别出来，并且AU强度近似。

在高兴表情中，AU25、AU26同时被识别出来，并且AU强度近似。

在惊讶表情中，AU25、AU26、AU27也同时被识别出来，并且AU25、AU26的强度近似。

在识别过程中出现了AU之间的耦合现象。

而本实施例面部动作单元(AU)识别方法在FACS定义的基础上，逻辑清晰，能够对各个AU进行准确表达，能够清晰的界定AU之间的关系，AU识别效果明显，有利于后续任何基于AU能够开展的工作，如表情识别，微表情识别、状态识别等。

(2)优势2：

面部动作单元的肌肉的动作程度，也称AU强度，其幅值的大小也取决于被识别者的天生的相貌特征，不同相貌的人即使做同样的肌肉动作，所呈现的AU强度也可能不同，这势必会导致识别出的AU强度有所差异，因此，有必要设置一个初始化环节用以均衡掉由于人的相貌所导致的差异。但是现有的AU识别算法鲜有该环节的设置，即会导致在识别初期便引入识别误差，进一步，导致后续任何基于面部动作单元(AU)所开展的工作，如表情识别、微表情识别、状态识别等环节识别失误的加剧。

本实施例面部动作单元(AU)识别方法创造性的设置了初始化环节。初始化环节的优势在于对由于人的相貌所导致的差异进行了均衡，即在被识别者天生的相貌特征的基础上，识别被识别者的各种表情中所呈现出的AU的发生程度(AU强度)。因此，该环节能够更准确的进行AU识别以及AU强度的表达。

无初始化环节的AU识别算法(以Openface算法为例)和本专利所提出的AU识别在不同基础相貌的被试者的不同表情下的AU识别结果(包括AU的出现和AU出现的强度)如图54-56所示。每种情绪中，左侧为正常相貌的被试，右侧为非正常相貌的被试，如天生皱眉，天生嘴角下拉，天生嘴角倾斜等。

在惊讶表情组里，对于正常相貌的被试者来说，初始帧所呈现的各AU的强度几乎为0，其惊讶表情中AU的识别效果与本实施例面部动作单元(AU)识别方法(本算法)的识别效果基本相同，但存在递进关系的AU25和AU26没有加以区分，而本算法能够识别且能够加以区分；但对于非正常相貌的被试者来说，由于该被试天生嘴角下拉，导致该被试在无表情下Openface算法仍然能够识别其AU的发生，如AU15，AU04等，这是不准确的，但本算法中，由于初始化环节的存在，便不存在这种问题。

在高兴表情组里，对于正常相貌的被试者来说，初始帧所呈现的各AU的强度几乎为0，其高兴表情中AU的识别效果与本算法的识别效果基本相同。但对于非正常相貌的被试者来说，由于该被试天生眉毛与眼睛距离较近，鼻子微皱，导致该被试者在无表情下Openface算法仍然能够识别其AU的发生，如AU04，AU09等，这是不准确的，但本算法中，由于初始化环节的存在，便不存在这种问题。

在愤怒表情组里，对于正常相貌的被试者来说，初始帧所呈现的各AU的强度几乎为0，其愤怒表情中AU的识别效果与本算法基本相同，但对于非正常相貌的被试者来说，由于该被试天生嘴角下拉，导致该被试在无表情下Openface算法仍然能够识别其AU的发生，如AU09，AU04等，这是不准确的，但本算法中，由于初始化环节的存在，便不存在这种问题。

综上可知，本实施例面部动作单元(AU)识别准确度远优于现有识别方法。

本实施例面部动作单元的识别***，包括：

识别单元，配置用于将待识别脸部图像的面部特征点输入面部动作单元识别模型用于识别待识别脸部图像的运动单元；

所述面部动作单元识别模型构建单元，配置用于：

基于面部行为编码***对面部动作单元的特征描述，分析目标历史面部动作单元的运动特征，对其运动规则进行提取，进行该面部动作单元的运动表达确定；

根据历史面部动作单元的运动特征及运动表达从面部特征点集合中选取出与其关联的历史目标面部特征点；

根据所述历史目标面部特征点的空间关系确认通过所述历史目标面部特征点形成的历史目标空间形态，并根据历史目标空间形态配置用于识别历史目标运动单元的历史空间特征表征参数；

利用大数据决策分析确定历史目标面部动作单元历史空间特征表征参数的表征指标变化范围及历史空间特征表征参数的权重关系；

基于历史目标面部特征点、历史目标空间形态、历史空间特征表征参数、历史空间特征表征参数的表征指标变化范围及所述历史空间特征表征参数的权重关系构建面部动作单元识别模型。

其中，历史目标空间形态为所述历史目标面部特征点构建的几何形态。

所述面部动作单元识别模型构建单元还配置用于：

根据所述历史目标面部特征点的空间位置及相互之间的方位从所述历史目标面部特征点中选取特定历史目标面部特征点进行关联，形成以特定历史目标面部特征点为节点的特征点关联轨迹，所述特征点关联轨迹与所述历史目标面部特征点形成所述几何形态。

所述历史空间特征表征参数包括所述特征点关联轨迹中特定节点之间的距离、所述特征点关联轨迹之间的相对距离、所述特征点关联轨迹之间的相对方位、剩余历史目标面部特征点与所述特征点关联轨迹的相对距离中至少一项。

应当理解，上述基于规则的面部动作单元识别***记载的诸子***或单元与上述面部动作单元识别方法描述的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于上述基于规则的面部动作单元识别***的诸子***及其中包含的单元，在此不再赘述。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能。

Claims (10)

1.一种面部动作单元的识别方法，其特征是，包括以下步骤：

将待识别脸部图像的面部特征点输入面部动作单元识别模型用于识别待识别脸部图像的运动单元，其中，所述面部动作单元识别模型的构建过程包括：

基于面部行为编码***对面部动作单元的特征描述，分析历史目标面部动作单元的运动特征，对其运动规则进行提取，进行所述历史目标面部动作单元的运动表达确定；

根据历史目标面部动作单元的运动特征及运动表达从面部特征点集合中选取出与其关联的历史目标面部特征点；

根据所述历史目标面部特征点的空间关系确认通过所述历史目标面部特征点形成的历史目标空间形态，并根据历史目标空间形态配置用于识别历史目标面部动作单元的历史空间特征表征参数；

利用大数据决策分析确定历史目标面部动作单元历史空间特征表征参数的表征指标变化范围及历史空间特征表征参数的权重关系；

基于历史目标面部特征点、历史目标空间形态、历史空间特征表征参数、历史空间特征表征参数的表征指标变化范围及所述历史空间特征表征参数的权重关系构建面部动作单元识别模型。

2.根据权利要求1所述的面部动作单元的识别方法，其特征是，还包括：

采集脸部图像或历史脸部图像；

将所述脸部图像或历史脸部图像输入面部特征点提取模型进行面部特征点或历史面部特征点的提取。

3.根据权利要求1所述的面部动作单元的识别方法，其特征是，历史目标面部动作单元为表征与面部永久性特征之眉毛、眼睛、鼻子、嘴唇及下巴至少一项相关运动状态的面部动作单元。

4.根据权利要求3所述的面部动作单元的识别方法，其特征是，历史目标空间形态为所述历史目标面部特征点构建的几何形态。

5.根据权利要求2或4所述的面部动作单元的识别方法，其特征是，根据所述历史目标面部特征点的空间关系确认通过所述历史目标面部特征点形成的历史目标空间形态：

根据所述历史目标面部特征点的空间位置及相互之间的方位从所述历史目标面部特征点中选取特定历史目标面部特征点进行关联，形成以特定历史目标面部特征点为节点的特征点关联轨迹，所述特征点关联轨迹与所述历史目标面部特征点形成所述几何形态。

6.根据权利要求1所述的面部动作单元的识别方法，其特征是，所述历史空间特征表征参数包括：

所述特征点关联轨迹中特定节点之间的距离及相对距离的变化趋势、

所述特征点关联轨迹之间的相对距离、

所述特征点关联轨迹之间的相对方位、

剩余历史目标面部特征点与所述特征点关联轨迹的相对距离中至少一项。

7.一种面部动作单元的识别***，其特征是，包括：

识别单元，配置用于将待识别脸部图像的面部特征点输入面部动作单元识别模型用于识别待识别脸部图像的运动单元；

所述AU识别模型构建单元，配置用于：

基于面部行为编码***对面部动作单元的特征描述，分析目标历史面部动作单元的运动特征，对其运动规则进行提取，进行该面部动作单元的运动表达确定；

根据历史面部动作单元的运动特征及运动表达从面部特征点集合中选取出与其关联的历史目标面部特征点；

根据所述历史目标面部特征点的空间关系确认通过所述历史目标面部特征点形成的历史目标空间形态，并根据历史目标空间形态配置用于识别历史目标运动单元的历史空间特征表征参数；

利用大数据决策分析确定历史目标面部动作单元历史空间特征表征参数的表征指标变化范围及历史空间特征表征参数的权重关系；

基于历史目标面部特征点、历史目标空间形态、历史空间特征表征参数、历史空间特征表征参数的表征指标变化范围及所述历史空间特征表征参数的权重关系构建面部动作单元识别模型。

8.根据权利要求7所述的面部动作单元的识别***，其特征是，历史目标空间形态为所述历史目标面部特征点构建的几何形态。

9.根据权利要求8所述的面部动作单元的识别***，其特征是，所述面部动作单元识别模型构建单元还配置用于：

根据所述历史目标面部特征点的空间位置及相互之间的方位从所述历史目标面部特征点中选取特定历史目标面部特征点进行关联，形成以特定历史目标面部特征点为节点的特征点关联轨迹，所述特征点关联轨迹与所述历史目标面部特征点形成所述几何形态。

10.根据权利要求9所述的面部动作单元识别***，其特征是，所述历史空间特征表征参数包括：

所述特征点关联轨迹中特定节点之间的距离及相对距离的变化趋势、

所述特征点关联轨迹之间的相对距离、

所述特征点关联轨迹之间的相对方位、

剩余历史目标面部特征点与所述特征点关联轨迹的相对距离中至少一项。