CN111401294A - 基于自适应特征融合的多任务人脸属性分类方法及*** - Google Patents

基于自适应特征融合的多任务人脸属性分类方法及*** Download PDF

Info

Publication number
CN111401294A
CN111401294A CN202010228805.7A CN202010228805A CN111401294A CN 111401294 A CN111401294 A CN 111401294A CN 202010228805 A CN202010228805 A CN 202010228805A CN 111401294 A CN111401294 A CN 111401294A
Authority
CN
China
Prior art keywords
fusion
face
feature fusion
adaptive feature
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010228805.7A
Other languages
English (en)
Other versions
CN111401294B (zh
Inventor
崔超然
申朕
黄瑾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Finance and Economics
Original Assignee
Shandong University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Finance and Economics filed Critical Shandong University of Finance and Economics
Priority to CN202010228805.7A priority Critical patent/CN111401294B/zh
Publication of CN111401294A publication Critical patent/CN111401294A/zh
Application granted granted Critical
Publication of CN111401294B publication Critical patent/CN111401294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于自适应特征融合的多任务人脸属性分类方法及***，包括：获取待分类的人脸图像；对待分类的人脸图像进行预处理操作；将预处理后的待分类的人脸图像输入到基于自适应特征融合的多任务人脸属性分类模型中，得到图像在每一个人脸属性上不同类别的概率，选取概率最大的类别作为在对应属性上的分类结果。本公开构建了一个自适应特征融合层，将不同任务的网络分支连接起来，形成一个统一的多任务深度卷积神经网络，使不同任务之间可以有效地共享信息，分类准确度效果提升显著。

Description

基于自适应特征融合的多任务人脸属性分类方法及***
技术领域
本公开涉及计算机视觉和机器学习技术领域，特别是涉及基于自适应特征融合的多任务人脸属性分类方法及***。
背景技术
本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。
近年来，深度卷积神经网络在许多计算机视觉任务上都取得了突破性的成绩，如目标检测、语义分割、深度预测等。多任务深度卷积神经网络旨在共同地处理多个相关任务，在提升学习效率的同时，通过任务间的特征交互提升预测准确率和泛化性能，防止过拟合。
在实现多任务深度卷积神经网络时，最常见的方案是构建基于参数硬共享的网络架构。在该方案中，不同任务共享较低的网络层，并在较高的网络层上维持各自的分支。在进行训练之前，需要凭借经验人工地指定共享网络层。这种做法缺乏理论指导，对于共享网络层不合理的选择也可能导致方法性能的严重下滑。
鉴于此，许多研究者提出通过学习不同任务在单个网络层上的最优特征组合来自动构建共享网络层，从而避免了参数硬共享时复杂的枚举过程和模型训练过程。
例如，在Cross Stitch方法中(参见IshanMisra,AbhinavShrivastava,AbhinavGupta,and Martial Hebert.Cross-stitch networks for multi-task learning.InProceedings of the IEEE Conference on Computer Vision and PatternRecognition,pages 3994-4003,2016)，研究者通过学习不同任务在同一通道上特征图(feature map)的线性组合来实现特征融合；在NDDR方法中(参见Yuan Gao,Jiayi Ma,Mingbo Zhao,Wei Liu,and Alan L Yuille.Nddr-cnn:Layer wise feature fusing inmulti-task CNNs by neural discriminative dimensionality reduction.InProceedings of the IEEE Conference on Computer Vision and PatternRecognition,pages 3205–3214,2019)，研究者将来自不同任务的特征图沿着通道维度进行堆叠，并使用1×1卷积对其进行降维，以满足后续网络分支对特征图通道尺寸的要求。
在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：
尽管上述工作在实验中已被证明可以获得较好的性能，但是它们本质上都是学习构建了一个固定的特征融合策略。在训练结束后，所有输入样本都对应于同一组特征融合权重。导致特征融合后的特征不能够很好的表达图像的特性。
发明内容
为了解决现有技术的不足，本公开提供了基于自适应特征融合的多任务人脸属性分类方法及***；在多任务人脸属性分类中，对于某些样本，任务间需要进行融合的特征可能非常相似；而对于另一些样本，特征的差异可能很大甚至彼此之间互补。因此，在进行多任务学习的特征融合时，应充分考虑待融合特征的自身特点。受此启发，本公开在设计多任务深度卷积神经网络时引入一种动态特征融合机制，根据特征之间的依赖关系，自适应地将它们融合来实现任务间特征的共享和交互。
第一方面，本公开提供了基于自适应特征融合的多任务人脸属性分类方法；
基于自适应特征融合的多任务人脸属性分类方法，包括：
获取待分类的人脸图像；
对待分类的人脸图像进行预处理操作；
将预处理后的待分类的人脸图像输入到基于自适应特征融合的多任务人脸属性分类模型中，得到图像在每一个人脸属性上不同类别的概率，选取概率最大的类别作为在对应属性上的分类结果。
第二方面，本公开提供了基于自适应特征融合的多任务人脸属性分类***；
基于自适应特征融合的多任务人脸属性分类***，包括：
获取模块，其被配置为：获取待分类的人脸图像；
预处理模块，其被配置为：对待分类的人脸图像进行预处理操作；
分类模块，其被配置为：将预处理后的待分类的人脸图像输入到基于自适应特征融合的多任务人脸属性分类模型中，得到图像在每一个人脸属性上不同类别的概率，选取概率最大的类别作为在对应属性上的分类结果。
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
与现有技术相比，本公开的有益效果是：
本公开通过将多任务深度卷积神经网络中不同任务特征图之间的关系考虑进来，即在进行特征融合时，根据特征图的自身特点来决定特征信息共享或保留的程度。
在实现时，本公开构建了一个自适应特征融合层，将不同任务的网络分支连接起来，形成一个统一的多任务深度卷积神经网络，使不同任务之间可以有效地共享信息，分类准确度效果提升显著。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是本公开实施例一的基于自适应特征融合的深度多任务学习方法流程图。
图2是本公开实施例一的利用自适应特征融合层连接两个任务的网络分支，形成统一的多任务深度卷积神经网络的示意图；
图3是本公开实施例一的一个特征融合层内部连接示意图；
图4是本公开实施例一的通道层次融合模块内部连接关系示意图；
图5是本公开实施例一的空间层次融合模块示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一，本实施例提供了基于自适应特征融合的多任务人脸属性分类方法；
如图1所示，基于自适应特征融合的多任务人脸属性分类方法，包括：
S1：获取待分类的人脸图像；
S2：对待分类的人脸图像进行预处理操作；
S3：将预处理后的待分类的人脸图像输入到基于自适应特征融合的多任务人脸属性分类模型中，得到图像在每一个人脸属性上不同类别的概率，选取概率最大的类别作为在对应属性上的分类结果。
作为一个或多个实施例，所述预处理操作，具体包括：
首先，将所有图像放缩到224×224像素；
然后，计算训练集图像的像素平均值，使每一幅待分类的人脸图像均减去所述像素平均值进行归一化操作。
作为一个或多个实施例，所述基于自适应特征融合的多任务人脸属性分类模型的获取步骤包括：
构建基于自适应特征融合的多任务神经网络模型；
构建训练集，所述训练集包括：若干幅人脸图像，其中每一幅人脸图像均包括至少两种已知属性；
对训练集图像进行预处理操作，包括：首先，将所有图像放缩到224×224像素；然后，计算训练集图像的像素平均值，使每一幅图像分别减去该均值进行归一化操作；最后，在每次训练前，以设定概率对训练图像进行水平翻转和高斯模糊处理；
利用预处理操作后的图像对基于自适应特征融合的多任务神经网络模型进行训练，得到训练好的基于自适应特征融合的多任务神经网络模型；即为基于自适应特征融合的多任务人脸属性分类模型。
上述技术方案的有益效果是：通过预处理步骤，可以有效地扩充训练样本的数量，提升训练样本的多样性。
应理解的，所述已知属性，至少包括以下实例中的一种或多种：年龄、性别、表情等。
应理解的，在本实施例中，选取Adience数据集来实现对人脸图像同时进行年龄分类和性别分类任务。在Adience数据集中，年龄分类任务中分为0-2、4-6、8-12、15-20、25-32、38-43、48-53、60+共计八个类别；性别分类中共包含男和女两个类别；
应理解的，模型训练好的标准是损失函数达到最小值。采用交叉熵损失函数，定义在性别分类上的损失为Lage，在年龄分类上的损失为Lsex，则总的损失函数为L＝λLage+Lsex。其中，λ为平衡模型两类损失的超参数。考虑到性别分类为二分类问题，而年龄分类为多分类问题，设定λ的值为1/2。采用随机梯度下降算法对网络进行训练，确定能使得损失函数最小的网络权重；
作为一个或多个实施例，所述基于自适应特征融合的多任务神经网络模型，包括：
并列的两个网络分支：第一网络分支和第二网络分支；
第一网络分支，包括：依次连接的卷积层组A1、卷积层组A2、卷积层组A3、卷积层组A4、卷积层组A5、全连接层A6和softmax层A7；
第二网络分支，包括：依次连接的卷积层组B1、卷积层组B2、卷积层组B3、卷积层组B4、卷积层组B5、全连接层B6和Softmax层B7；
第一网络分支与第二网络分支对应的卷积层组通过四个自适应特征融合层进行连接。
进一步地，所述第一网络分支与第二网络分支对应的卷积层组通过四个自适应特征融合层进行连接，具体包括：
卷积层组A1的输出端和卷积层组B1的输出端均与第一自适应特征融合层的输入端连接；
卷积层组A2的输入端和卷积层组B2的输入端均与第一自适应特征融合层的输出端连接；
卷积层组A2的输出端和卷积层组B2的输出端均与第二自适应特征融合层的输入端连接；
卷积层组A3的输入端和卷积层组B3的输入端均与第二自适应特征融合层的输出端连接；
卷积层组A3的输出端和卷积层组B3的输出端均与第三自适应特征融合层的输入端连接；
卷积层组A4的输入端和卷积层组B4的输入端均与第三自适应特征融合层的输出端连接；
卷积层组A4的输出端和卷积层组B4的输出端均与第四自适应特征融合层的输入端连接；
卷积层组A5的输入端和卷积层组B5的输入端均与第四自适应特征融合层的输出端连接。
应理解的，上述基于自适应特征融合的多任务神经网络模型的工作原理是：
第一网络分支和第二网络分支接受同一幅输入图像，第一网络分支负责对输入图像中人脸的年龄进行分类，第二网络分支负责对输入图像中人脸的性别进行分类，网络分支的输出代表输入图像在对应属性上属于各类别的概率；
第一网络分支和第二网络分支的结构相同，都基于ResNet101网络结构(参见Kaiming He,Xiangyu Zhang,ShaoqingRen,and Jian Sun.Deep residual learning forimage recognition.In Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition,pages 770–778,2016)。每个网络分支由五个卷积层组、一个全连接层和一个softmax层组成。其中，每个卷积层组均包括若干个连续的卷积层和一个最大池化层。
分别引入第一至第四自适应特征融合层，将第一网络分支与第二网络分支对应的卷积层组进行连接，从而实现两个任务间的特征交互，构造一个统一的多任务深度卷积神经网络，该网络的结构如附图2所示。
进一步地，第一网络分支的全连接层A6对输入的特征图进行非线性变换，将其映射为一个列向量；列向量的维度等于年龄属性上类别的个数，每一维对应一个特定的年龄类别；
进一步地，第二网络分支的全连接层B6对输入的特征图进行非线性变换，将其映射为一个列向量；列向量的维度等于性别属性上类别的个数，每一维对应一个特定的性别类别。
进一步地，第一网络分支的Softmax层A7将输入向量的每一维转换为一个概率值，代表输入图像在年龄属性各类别上的概率；
进一步地，第二网络分支的Softmax层B7将输入向量的每一维转换为一个概率值，代表输入图像在性别属性各类别上的概率；
作为一个或多个实施例，所述第一自适应特征融合层、第二自适应特征融合层、第三自适应特征融合层与第四自适应特征融合层的结构是一样的。
作为一个或多个实施例，如图3所示，所述第一自适应特征融合层，包括：
依次连接的通道层次融合模块和空间层次融合模块，其中，通道层次融合模块的输入端即为当前自适应特征融合层的输入端；空间层次融合模块的输出端即为当前自适应特征融合层的输出端。
作为一个或多个实施例，所述通道层次融合模块，包括：
并列的第一平均池化层和第二平均池化层；
所述第一平均池化层和第二平均池化层的输出端均与串联单元连接；
所述串联单元与第一全连接层连接，第一全连接层与第二全连接层连接；
第二全连接层分别与第三和第四全连接层连接；
第三全连接层与第一Softmax函数层连接；
第四全连接层与第二Softmax函数层连接；
第一Softmax函数层分别与第一乘法器和第二乘法器连接；
第二Softmax函数层与分别第三乘法器和第四乘法器连接；
第一乘法器和第二乘法器均与第一加法器连接；
第三乘法器和第四乘法器均与第二加法器连接。
作为一个或多个实施例，如图4所示，所述通道层次融合模块，工作原理包括：
首先，在通道层次融合模块中，将两个网络分支输入的原始特征图xA和xB分别沿通道维度进行平均池化得到
Figure BDA0002428644860000091
和
Figure BDA0002428644860000092
并将
Figure BDA0002428644860000093
和
Figure BDA0002428644860000094
连接在一起；
然后，将连接后的结果分别经过第一全连接层与第二全连接层进行降维处理得到两个引导向量
Figure BDA0002428644860000101
和
Figure BDA0002428644860000102
使
Figure BDA0002428644860000103
经过第三全连接层，得到xA和xB分别对应的融合权重向量
Figure BDA0002428644860000104
和
Figure BDA0002428644860000105
使
Figure BDA0002428644860000106
经过第四全连接层，得到xA和xB分别对应的融合权重向量
Figure BDA0002428644860000107
和
Figure BDA0002428644860000108
其中，
Figure BDA0002428644860000109
和
Figure BDA00024286448600001010
的维度等于原始特征图xA的通道数，
Figure BDA00024286448600001011
和
Figure BDA00024286448600001012
的维度等于原始特征图xB的通道数；
将
Figure BDA00024286448600001013
和
Figure BDA00024286448600001014
在对应位置元素上两两地进行Softmax操作，使得
Figure BDA00024286448600001015
将
Figure BDA00024286448600001016
和
Figure BDA00024286448600001017
在对应位置元素上两两地进行Softmax操作，使得
Figure BDA00024286448600001018
最后，将原始特征图与融合权重向量相乘并相加，分别得到
Figure BDA00024286448600001019
和
Figure BDA00024286448600001020
即
Figure BDA00024286448600001021
将
Figure BDA00024286448600001022
和
Figure BDA00024286448600001023
输入到空间层次融合模块。
作为一个或多个实施例，所述空间层次融合模块，包括：
并列的第三平均池化层和第四平均池化层；
所述第三平均池化层和第四平均池化层的输出端均与堆叠单元连接；
所述堆叠单元分别与第一卷积层和第二卷积层连接；
第一卷积层与第五全连接层连接，第二卷积层与第六全连接层连接；
第五全连接层与第三Softmax函数层连接；第六全连接层与第四Softmax函数层连接；
第三Softmax函数层分别与第五乘法器和第六乘法器连接；
第四Softmax函数层与分别第七乘法器和第八乘法器连接；
第五乘法器和第六乘法器均与第三加法器连接；
第七乘法器和第八乘法器均与第四加法器连接。
作为一个或多个实施例，如图5所示，所述空间层次融合模块，工作原理包括：
首先，在空间层次融合模块中，将输入特征图
Figure BDA0002428644860000111
和
Figure BDA0002428644860000112
分别沿空间维度进行平均池化得到
Figure BDA0002428644860000113
和
Figure BDA0002428644860000114
并将
Figure BDA0002428644860000115
和
Figure BDA0002428644860000116
堆叠在一起；
然后，将堆叠后的结果分别经过两个卷积层，每个卷积层中只有一个1×1的卷积核，得到两个引导矩阵
Figure BDA0002428644860000117
和
Figure BDA0002428644860000118
将
Figure BDA0002428644860000119
向量化并经过一个全连接层，得到
Figure BDA00024286448600001110
和分别对应的融合权重向量
Figure BDA00024286448600001111
和
Figure BDA00024286448600001112
将
Figure BDA00024286448600001113
向量化并经过一个全连接层，得到
Figure BDA00024286448600001114
和
Figure BDA00024286448600001115
分别对应的融合权重向量
Figure BDA00024286448600001116
和
Figure BDA00024286448600001117
将
Figure BDA00024286448600001118
和
Figure BDA00024286448600001119
矩阵化，使它们的尺寸等于输入特征图
Figure BDA00024286448600001120
的空间尺寸。
将
Figure BDA00024286448600001121
和
Figure BDA00024286448600001122
矩阵化，使它们的尺寸等于输入特征图
Figure BDA00024286448600001123
的空间尺寸；
将
Figure BDA00024286448600001124
和
Figure BDA00024286448600001125
在对应位置元素上两两地进行Softmax操作，使得
Figure BDA00024286448600001126
将
Figure BDA00024286448600001127
和
Figure BDA00024286448600001128
在对应位置元素上两两地进行Softmax操作，使得
Figure BDA00024286448600001129
最后，将输入特征图与融合权重向量相乘并相加，分别得到
Figure BDA00024286448600001130
和
Figure BDA00024286448600001131
即
Figure BDA00024286448600001132
将
Figure BDA00024286448600001133
和
Figure BDA00024286448600001134
分别输入到第一网络分支和第二网络分支的下一个卷积层组中。
本公开将多任务深度卷积神经网络中不同任务特征图之间的关系考虑进来，即在进行特征融合时，根据特征图的自身特点来决定特征信息共享或保留的程度，实现了自适应的特征融合。
实施例二，本实施例提供了基于自适应特征融合的多任务人脸属性分类***；
基于自适应特征融合的多任务人脸属性分类***，包括：
获取模块，其被配置为：获取待分类的人脸图像；
预处理模块，其被配置为：对待分类的人脸图像进行预处理操作；
分类模块，其被配置为：将预处理后的待分类的人脸图像输入到基于自适应特征融合的多任务人脸属性分类模型中，得到图像在每一个人脸属性上不同类别的概率，选取概率最大的类别作为在对应属性上的分类结果。
实施例三，本实施例还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例一所述的方法。
实施例四，本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.基于自适应特征融合的多任务人脸属性分类方法，其特征是，包括：
获取待分类的人脸图像；
对待分类的人脸图像进行预处理操作；
将预处理后的待分类的人脸图像输入到基于自适应特征融合的多任务人脸属性分类模型中，得到图像在每一个人脸属性上不同类别的概率，选取概率最大的类别作为在对应属性上的分类结果。
2.如权利要求1所述的方法，其特征是，所述预处理操作，具体包括：
首先，将所有图像放缩到224×224像素；
然后，计算训练集图像的像素平均值，使每一幅待分类的人脸图像均减去所述像素平均值进行归一化操作。
3.如权利要求1所述的方法，其特征是，所述基于自适应特征融合的多任务人脸属性分类模型的获取步骤包括：
构建基于自适应特征融合的多任务神经网络模型；
构建训练集，所述训练集包括：若干幅人脸图像，其中每一幅人脸图像均包括至少两种已知属性；
对训练集图像进行预处理操作，包括：首先，将所有图像放缩到224×224像素；然后，计算训练集图像的像素平均值，使每一幅图像分别减去该均值进行归一化操作；最后，在每次训练前，以设定概率对训练图像进行水平翻转和高斯模糊处理；
利用预处理操作后的图像对基于自适应特征融合的多任务神经网络模型进行训练，得到训练好的基于自适应特征融合的多任务神经网络模型；即为基于自适应特征融合的多任务人脸属性分类模型。
4.如权利要求3所述的方法，其特征是，所述基于自适应特征融合的多任务神经网络模型，包括：
并列的两个网络分支：第一网络分支和第二网络分支；
第一网络分支，包括：依次连接的卷积层组A1、卷积层组A2、卷积层组A3、卷积层组A4、卷积层组A5、全连接层A6和softmax层A7；
第二网络分支，包括：依次连接的卷积层组B1、卷积层组B2、卷积层组B3、卷积层组B4、卷积层组B5、全连接层B6和Softmax层B7；
第一网络分支与第二网络分支对应的卷积层组通过四个自适应特征融合层进行连接。
5.如权利要求4所述的方法，其特征是，
基于自适应特征融合的多任务神经网络模型的工作原理是：
第一网络分支和第二网络分支接受同一幅输入图像，第一网络分支负责对输入图像中人脸的年龄进行分类，第二网络分支负责对输入图像中人脸的性别进行分类，网络分支的输出代表输入图像在对应属性上属于各类别的概率；
所述自适应特征融合层，包括：
依次连接的通道层次融合模块和空间层次融合模块，其中，通道层次融合模块的输入端即为当前自适应特征融合层的输入端；空间层次融合模块的输出端即为当前自适应特征融合层的输出端。
6.如权利要求5所述的方法，其特征是，所述通道层次融合模块，工作原理包括：
首先，在通道层次融合模块中，将两个网络分支输入的原始特征图xA和xB分别沿通道维度进行平均池化得到
Figure FDA0002428644850000021
和
Figure FDA0002428644850000022
并将
Figure FDA0002428644850000023
和
Figure FDA0002428644850000024
连接在一起；
然后，将连接后的结果分别经过第一全连接层与第二全连接层进行降维处理得到两个引导向量
Figure FDA0002428644850000031
和
Figure FDA0002428644850000032
使
Figure FDA0002428644850000033
经过第三全连接层，得到xA和xB分别对应的融合权重向量
Figure FDA0002428644850000034
和
Figure FDA0002428644850000035
使
Figure FDA0002428644850000036
经过第四全连接层，得到xA和xB分别对应的融合权重向量
Figure FDA0002428644850000037
和
Figure FDA0002428644850000038
其中，
Figure FDA0002428644850000039
和
Figure FDA00024286448500000310
的维度等于原始特征图xA的通道数，
Figure FDA00024286448500000311
和
Figure FDA00024286448500000312
的维度等于原始特征图xB的通道数；
将
Figure FDA00024286448500000313
和
Figure FDA00024286448500000314
在对应位置元素上两两地进行Softmax操作，使得
Figure FDA00024286448500000315
将
Figure FDA00024286448500000316
和
Figure FDA00024286448500000317
在对应位置元素上两两地进行Softmax操作，使得
Figure FDA00024286448500000318
最后，将原始特征图与融合权重向量相乘并相加，分别得到
Figure FDA00024286448500000319
和
Figure FDA00024286448500000320
即
Figure FDA00024286448500000321
和
Figure FDA00024286448500000322
将
Figure FDA00024286448500000323
和
Figure FDA00024286448500000324
输入到空间层次融合模块。
7.如权利要求5所述的方法，其特征是，所述空间层次融合模块，工作原理包括：
首先，在空间层次融合模块中，将输入特征图
Figure FDA00024286448500000325
和
Figure FDA00024286448500000326
分别沿空间维度进行平均池化得到
Figure FDA00024286448500000327
和
Figure FDA00024286448500000328
并将
Figure FDA00024286448500000329
和
Figure FDA00024286448500000330
堆叠在一起；
然后，将堆叠后的结果分别经过两个卷积层，每个卷积层中只有一个1×1的卷积核，得到两个引导矩阵
Figure FDA00024286448500000331
和
Figure FDA00024286448500000332
将
Figure FDA00024286448500000333
向量化并经过一个全连接层，得到
Figure FDA00024286448500000334
和分别对应的融合权重向量
Figure FDA00024286448500000335
和
Figure FDA00024286448500000336
将
Figure FDA00024286448500000337
向量化并经过一个全连接层，得到
Figure FDA00024286448500000338
和
Figure FDA00024286448500000339
分别对应的融合权重向量
Figure FDA00024286448500000340
和
Figure FDA00024286448500000341
将
Figure FDA00024286448500000342
和
Figure FDA00024286448500000343
矩阵化，使它们的尺寸等于输入特征图
Figure FDA00024286448500000344
的空间尺寸；
将
Figure FDA00024286448500000345
和
Figure FDA00024286448500000346
矩阵化，使它们的尺寸等于输入特征图
Figure FDA00024286448500000347
的空间尺寸；
将
Figure FDA0002428644850000041
和
Figure FDA0002428644850000042
在对应位置元素上两两地进行Softmax操作，使得
Figure FDA0002428644850000043
将
Figure FDA0002428644850000044
和
Figure FDA0002428644850000045
在对应位置元素上两两地进行Softmax操作，使得
Figure FDA0002428644850000046
最后，将输入特征图与融合权重向量相乘并相加，分别得到
Figure FDA0002428644850000047
和
Figure FDA0002428644850000048
即
Figure FDA0002428644850000049
和
Figure FDA00024286448500000410
将
Figure FDA00024286448500000411
和
Figure FDA00024286448500000412
分别输入到第一网络分支和第二网络分支的下一个卷积层组中。
8.基于自适应特征融合的多任务人脸属性分类***，其特征是，包括：
获取模块，其被配置为：获取待分类的人脸图像；
预处理模块，其被配置为：对待分类的人脸图像进行预处理操作；
分类模块，其被配置为：将预处理后的待分类的人脸图像输入到基于自适应特征融合的多任务人脸属性分类模型中，得到图像在每一个人脸属性上不同类别的概率，选取概率最大的类别作为在对应属性上的分类结果。
9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。
CN202010228805.7A 2020-03-27 2020-03-27 基于自适应特征融合的多任务人脸属性分类方法及*** Active CN111401294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010228805.7A CN111401294B (zh) 2020-03-27 2020-03-27 基于自适应特征融合的多任务人脸属性分类方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010228805.7A CN111401294B (zh) 2020-03-27 2020-03-27 基于自适应特征融合的多任务人脸属性分类方法及***

Publications (2)

Publication Number Publication Date
CN111401294A true CN111401294A (zh) 2020-07-10
CN111401294B CN111401294B (zh) 2022-07-15

Family

ID=71432935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010228805.7A Active CN111401294B (zh) 2020-03-27 2020-03-27 基于自适应特征融合的多任务人脸属性分类方法及***

Country Status (1)

Country Link
CN (1) CN111401294B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832522A (zh) * 2020-07-21 2020-10-27 深圳力维智联技术有限公司 人脸数据集的构建方法、***及计算机可读存储介质
CN112215157A (zh) * 2020-10-13 2021-01-12 北京中电兴发科技有限公司 一种基于多模型融合的人脸特征降维提取方法
CN112651960A (zh) * 2020-12-31 2021-04-13 上海联影智能医疗科技有限公司 一种图像处理方法、装置、设备及存储介质
CN112784776A (zh) * 2021-01-26 2021-05-11 山西三友和智慧信息技术股份有限公司 一种基于改进残差网络的bpd面部情绪识别方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529402A (zh) * 2016-09-27 2017-03-22 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN107766850A (zh) * 2017-11-30 2018-03-06 电子科技大学 基于结合人脸属性信息的人脸识别方法
CN108615010A (zh) * 2018-04-24 2018-10-02 重庆邮电大学 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN109919097A (zh) * 2019-03-08 2019-06-21 中国科学院自动化研究所 基于多任务学习的人脸和关键点联合检测***、方法
CN109978074A (zh) * 2019-04-04 2019-07-05 山东财经大学 基于深度多任务学习的图像美感和情感联合分类方法及***
CN110119689A (zh) * 2019-04-18 2019-08-13 五邑大学 一种基于多任务迁移学习的人脸美丽预测方法
CN110197217A (zh) * 2019-05-24 2019-09-03 中国矿业大学 一种基于深度交错融合分组卷积网络的图像分类方法
CN110796239A (zh) * 2019-10-30 2020-02-14 福州大学 一种通道与空间融合感知的深度学习目标检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529402A (zh) * 2016-09-27 2017-03-22 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN107766850A (zh) * 2017-11-30 2018-03-06 电子科技大学 基于结合人脸属性信息的人脸识别方法
CN108615010A (zh) * 2018-04-24 2018-10-02 重庆邮电大学 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN109919097A (zh) * 2019-03-08 2019-06-21 中国科学院自动化研究所 基于多任务学习的人脸和关键点联合检测***、方法
CN109978074A (zh) * 2019-04-04 2019-07-05 山东财经大学 基于深度多任务学习的图像美感和情感联合分类方法及***
CN110119689A (zh) * 2019-04-18 2019-08-13 五邑大学 一种基于多任务迁移学习的人脸美丽预测方法
CN110197217A (zh) * 2019-05-24 2019-09-03 中国矿业大学 一种基于深度交错融合分组卷积网络的图像分类方法
CN110796239A (zh) * 2019-10-30 2020-02-14 福州大学 一种通道与空间融合感知的深度学习目标检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SANGHYUN WOO等: "CBAM: Convolutional Block Attention Module", 《ARXIV:1807.06521V2》 *
YILONG CHEN等: "Channel-Unet: A Spatial Channel-Wise Convolutional Neural Network for Liver and Tumors Segmentation", 《FRONTIERS IN GENETICS》 *
曹洁等: "基于自适应特征融合的人脸识别", 《计算机工程与应》 *
谢郑楠: "基于多任务特征选择和自适应模型的人脸特征点检测", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832522A (zh) * 2020-07-21 2020-10-27 深圳力维智联技术有限公司 人脸数据集的构建方法、***及计算机可读存储介质
CN111832522B (zh) * 2020-07-21 2024-02-27 深圳力维智联技术有限公司 人脸数据集的构建方法、***及计算机可读存储介质
CN112215157A (zh) * 2020-10-13 2021-01-12 北京中电兴发科技有限公司 一种基于多模型融合的人脸特征降维提取方法
CN112215157B (zh) * 2020-10-13 2021-05-25 北京中电兴发科技有限公司 一种基于多模型融合的人脸特征降维提取方法
CN112651960A (zh) * 2020-12-31 2021-04-13 上海联影智能医疗科技有限公司 一种图像处理方法、装置、设备及存储介质
CN112784776A (zh) * 2021-01-26 2021-05-11 山西三友和智慧信息技术股份有限公司 一种基于改进残差网络的bpd面部情绪识别方法

Also Published As

Publication number Publication date
CN111401294B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN111401294B (zh) 基于自适应特征融合的多任务人脸属性分类方法及***
CN111767979B (zh) 神经网络的训练方法、图像处理方法、图像处理装置
CN110175671B (zh) 神经网络的构建方法、图像处理方法及装置
Gao et al. Global second-order pooling convolutional networks
CN112613581B (zh) 一种图像识别方法、***、计算机设备和存储介质
CN112926641B (zh) 基于多模态数据的三阶段特征融合旋转机械故障诊断方法
WO2021218517A1 (zh) 获取神经网络模型的方法、图像处理方法及装置
CN110717851A (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
CN112215332B (zh) 神经网络结构的搜索方法、图像处理方法和装置
CN112561027A (zh) 神经网络架构搜索方法、图像处理方法、装置和存储介质
CN111079767B (zh) 一种用于分割图像的神经网络模型及其图像分割方法
CN111950699A (zh) 一种基于特征空间相关性的神经网络正则化方法
CN113159067A (zh) 一种基于多粒度局部特征软关联聚合的细粒度图像辨识方法及装置
CN113298235A (zh) 一种多分支深度自注意力变换网络的神经网络架构及实现方法
CN112766458A (zh) 一种联合分类损失的双流有监督深度哈希图像检索方法
CN114648667B (zh) 一种基于轻量化双线性cnn模型的鸟类图像细粒度识别方法
CN114612761A (zh) 一种面向图像识别的网络架构搜索方法
CN115169548A (zh) 基于张量的持续学习方法和装置
CN113239949A (zh) 一种基于1d分组卷积神经网络的数据重构方法
CN114846382A (zh) 具有卷积神经网络实现的显微镜和方法
CN114298289A (zh) 一种数据处理的方法、数据处理设备及存储介质
CN115330759B (zh) 一种基于豪斯多夫距离计算距离损失的方法及装置
CN116246110A (zh) 基于改进胶囊网络的图像分类方法
CN116756391A (zh) 一种基于图数据增强的不平衡图节点神经网络分类方法
CN113516580B (zh) 提高神经网络图像处理效率的方法、装置及一种npu

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant