CN112233017B - 一种基于生成对抗网络的病态人脸数据增强方法 - Google Patents

一种基于生成对抗网络的病态人脸数据增强方法 Download PDF

Info

Publication number
CN112233017B
CN112233017B CN202011173820.2A CN202011173820A CN112233017B CN 112233017 B CN112233017 B CN 112233017B CN 202011173820 A CN202011173820 A CN 202011173820A CN 112233017 B CN112233017 B CN 112233017B
Authority
CN
China
Prior art keywords
face
image
pathological
images
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011173820.2A
Other languages
English (en)
Other versions
CN112233017A (zh
Inventor
陈雷
胡金雨
袁媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN202011173820.2A priority Critical patent/CN112233017B/zh
Publication of CN112233017A publication Critical patent/CN112233017A/zh
Application granted granted Critical
Publication of CN112233017B publication Critical patent/CN112233017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成对抗网络的病态人脸数据增强方法，包括获取病态人脸图像和健康态人脸图像并构建训练集；设计生成对抗网络模型，利用特征提取模块对输出图像病态程度进行自定义控制；将所述训练集输入生成对抗网络模型中进行训练，并调整参数优化生成对抗网络模型；将任意一张待处理的人脸源图像和任意一张病态人脸图像输入到所述优化后的生成对抗网络模型，将病态人脸图像的病态特征关键点迁移到人脸源图像上，合成为增强后的病态人脸图像。本发明解决了在缺少成对病态人脸图像的条件下病态人脸图像的自动增强生成，生成的病态人脸图像的病态特征更加清晰，视觉效果理想，为人脸图像的健康分析工作提供了足够多的样本数据。

Description

一种基于生成对抗网络的病态人脸数据增强方法
技术领域
本发明涉及图像到图像翻译方法技术领域，特别涉及一种基于生成对抗网络的病态人脸数据增强方法。
背景技术
近年来，人脸识别技术获得了长足进步，并越来越多地应用到健康医学领域。在中医诊断学中，某些面部特征如脸色、眼睛、嘴唇等能反映人体器官可能存在的病变和异常。我们通过计算机视觉技术从人脸图像上提取检测病态的细微特征如黑眼圈、痤疮、面色等可用于人体的健康状态评估和亚健康分析，所开发的***作为一种健康监测工具应用于公共卫生设施以及家庭日常保健，具有极其广泛的应用前景。
现有技术的不足之处在于，由于人脸图像较为隐私，又牵涉到医疗行为部分，因此用于健康医学领域的公开人脸数据资源甚少，大规模采集病态人脸数据难度较大，需要耗费大量人力与物力。同时常规的人脸数据集应用于基于人脸病态特征检测识别任务中效果并不理想，自拍相机的美颜功能/化妆修饰、图片分辨率低等一些问题使得面部细微病态特征如黑眼圈、痤疮等不明显，给人脸细微特征检测识别带来不小的困难，人脸数据存在类别严重不均衡的过采样问题。
发明内容
本发明的目的克服现有技术存在的不足，以对存在病态人脸数据严重不足的问题进行解决。
为实现以上目的，采用一种基于生成对抗网络的病态人脸数据增强方法，以解决上述背景技术中提出的问题。
一种基于生成对抗网络的病态人脸数据增强方法，包括：
S1、获取病态人脸图像和健康态人脸图像并构建训练集；
S2、设计生成对抗网络模型，利用加入生成对抗网络模型中的特征提取模块对输出图像病态程度进行自定义控制；
S3、将所述训练集输入生成对抗网络模型中进行训练，并调整参数优化生成对抗网络模型；
S4、将任意一张待处理的人脸源图像和任意一张病态人脸图像输入到所述优化后的生成对抗网络模型，将病态人脸图像的病态特征关键点迁移到人脸源图像上，合成为增强后的病态人脸图像。
作为本发明的进一步的方案：所述步骤S1获取病态人脸图像和健康态人脸图像并构建训练集的具体步骤包括：
S11、获取互联网中人脸图像数据，并删除分辨率低、光照条件差的人脸图像数据；
S12、根据人脸图像数据，筛选出病态人脸图像数据集和健康态人脸图像数据集，并构建病态人脸图像数据集；
S13、对病态人脸图像数据集中的所有人脸图像进行关键点检测，以人脸关键点进行人脸对齐，并根据两眼的人脸关键点位置将图像转化为尺寸归一化的人脸图像。
作为本发明的进一步的方案：所述S2设计生成对抗网络模型，利用加入生成对抗网络模型中的特征提取模块对输出图像病态程度进行自定义控制的具体步骤包括：
S21、设计生成对抗网络模型，生成对抗网络模型的生成网络采用双输入输出架构，将两个输入分支的输出特征图进行融合，再将融合后的特征图输出到若干个瓶颈残差结构，经过两个独立的反卷积网络上采样最终得到生成图像，所述输入分支包括下采样卷积模块和瓶颈残差结构，所述输出分支包括上采样反卷积模块和瓶颈残差结构；
S22、利用两个判别网络用于区分生成图像和真实图像，网络输入为一张健康态人脸源图像和一张病态人脸图像，输出的人脸图像与病态图像具有相同的病态特征，同时仍保留源图像的主体信息；
S23、在生成网络的输入分支中加入特征提取模块，对生成图像的病态程度进行自定义控制，采用掩膜控制模块对人脸局部区域进行病态特征迁移，实现生成对抗网络模型的损失函数。
作为本发明的进一步的方案：所述下采样卷积模块包含3个卷积层，其卷积核的大小分别为7×7、4×4、4×4，所述输入分支的瓶颈残差结构包含3个瓶颈层，其卷积核的大小均为3×3，所述上采样卷积模块包含2个反卷积层和1个卷积层，其卷积核的大小分别为4×4、4×4、7×7，所述输出分支的瓶颈残差结构包含3个瓶颈层，其卷积核的大小均为3×3。
所述步骤S23在生成网络的输入分支中加入特征提取模块，对生成图像的病态程度进行自定义控制，采用掩膜控制模块对人脸局部区域进行病态特征迁移，实现生成对抗网络模型的损失函数的具体步骤包括：
利用特征提取模块分别将两个输入分支的输出特征图送入到两个1×1的卷积层，用于将输入分支提取到的人脸内在特征提取出两个特征矩阵；
将迁移后的图像特征图输入到输出分支的下采样卷积模块最终生成图像；
源图像特征图迁移后的图像特征图的公式为：
Vx’＝(αΓx+(1-α)Γy)Vx+(αBx+(1-α)By)；
其中，为源图像特征图，Vx’为图像特征图，C、H、W分别表示通道数以及特征图的高和宽，系数α用于控制生成图像所迁移病态特征的病态程度，/>和表示源图像的特征矩阵沿着通道数重复扩展的特征张量，/>和表示病态图像的特征矩阵沿着通道数重复扩展的特征张量。
作为本发明的进一步的方案：所述掩膜控制模块采用PSPNet语义分割网络，通过对输入的人脸图像进行分割得到人脸掩膜M＝FP(x)表示各面部区域，所述各面部区域包括皮肤病皮损迁移的面部皮肤区域、眼部区域以及与病态特征无关的其他区域。
作为本发明的进一步的方案：所述损失函数包括判别网络DX和DY的损失函数，公式分别为：
其中，X和Y分别为健康态人脸源图像数据域和病态人脸图像数据域，x和y分别为两个数据域的样本，x～pdata(x)，y～pdata(y)为数据域满足的分布。
作为本发明的进一步的方案：所述损失函数包括生成网络的损失函数，所述生成网络的损失函数等于对抗性损失、感知损失、循环一致损失和直方图损失的加权和；
其中，对抗性损失函数公式为：
感知损失函数公式为：
循环一致损失函数公式为：
直方图损失函数公式为：
其中，和/>分别为判别网络DX和DY的对抗性损失函数，Fl()表示输入图像和生成图像经过训练的输出特征图，L2为测量输入图像和生成图像之间差异的损失，L1为对重构图像进行约束的损失，λf和λe为权重，/>和/>分别为生成图像G(x，y)面部皮肤区域和眼部区域的二元掩膜，/>和/>分别表示病态人脸图像y面部皮肤区域和眼部区域的二元掩膜，/>和/>分别为生成图像G(x，y)和病态人脸图像y在面部皮肤区域和眼部区域上的直方图匹配。
作为本发明的进一步的方案：所述步骤S3的具体步骤包括：
将训练集中的健康态人脸源图像和病态人脸图像输入到生成网络中，得到重构图像；
再将重构图像与真实的病态人脸图像输入到判别网络，将判别信息反向传递到生成网络。
作为本发明的进一步的方案：所述步骤S4的具体步骤包括：
对病态人脸图像数据集中的所有人脸图像进行关键点检测，以人脸关键点进行人脸对齐；
根据两眼的人脸关键点位置将图像转化为尺寸归一化的人脸图像，将所述人脸图像和病态人脸图像作为网络的输入，合成增强后的病态人脸图像。
与现有技术相比，本发明存在以下技术效果：通过采用上述的技术方案，采用建立掩膜控制模块以及具有直方图损失的加权型损失函数，将输入图像面部局部细微的病态特征成功迁移到待增强的人脸源图像上，同时保留人脸源图像的主体信息。在生成网络中加入特征提取模块对输出图像病态程度进行自定义控制，能够提高病态人脸数据的增强效果。解决了在缺少成对的病态人脸图像的条件下，实现了病态人脸图像的自动生成，生成的病态人脸图像病态特征清晰，视觉效果理想，为人脸图像的健康分析提供了足够多的样本数据。
附图说明
下面结合附图，对本发明的具体实施方式进行详细描述：
图1为本发明公开的病态人脸数据增强方法的步骤示意图；
图2为本发明公开的病态人脸数据增强方法的流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1和图2，本发明实施例中，一种基于生成对抗网络的病态人脸数据增强方法，包括：
S1、获取病态人脸图像和健康态人脸图像并构建训练集的具体步骤包括：
S11、获取互联网中人脸图像数据，并删除分辨率低、光照条件差的人脸图像数据；
S12、根据人脸图像数据，筛选出病态人脸图像数据集和健康态人脸图像数据集，并构建病态人脸图像数据集；
S13、对病态人脸图像数据集中的所有人脸图像进行关键点检测，以人脸关键点进行人脸对齐，并根据两眼的人脸关键点位置将图像转化为尺寸归一化的人脸图像。
步骤S1的具体实施方式为：
从互联网网站中爬取人脸数据，同时手动剔除出分辨率低、光照条件差的图像，筛选出含有病态人脸图像和健康态特征的人脸图像，进而构建病态人脸图像数据集。所述病态人脸图像数据集包括黑眼圈、眼袋、痤疮病态特征，所述健康态人脸图像数据集包括不含有明显的病态特征或者经过美颜滤镜、化妆技术手段修饰后的健康人脸图像数据。
并对对病态人脸图像数据集中的每张照片进行人脸关键点检测，并通过68个人脸关键点进行人脸对齐。根据两眼的人脸关键点位置将图像处理为尺寸归一化的人脸图像。
S2、设计生成对抗网络模型，利用加入生成对抗网络模型中的特征提取模块对输出图像病态程度进行自定义控制的具体步骤包括：
S21、设计生成对抗网络模型，生成对抗网络模型的生成网络采用双输入输出架构，将两个输入分支的输出特征图进行融合，再将融合后的特征图输出到若干个瓶颈残差结构，经过两个独立的反卷积网络上采样最终得到生成图像，所述输入分支包括下采样卷积模块和瓶颈残差结构，所述输出分支包括上采样反卷积模块和瓶颈残差结构；
S22、利用两个判别网络用于区分生成图像和真实图像，网络输入为一张健康态人脸源图像和一张病态人脸图像，输出的人脸图像与病态图像具有相同的病态特征，同时仍保留源图像的主体信息；
在一些公开的实施例中，步骤S21、S22的具体实施方式为：设计生成对抗网络模型，简称为MorbidityGAN。生成网络采用双输入输出架构。将两个输入分支的输出特征图进行融合。所述下采样卷积模块包含3个卷积层，其卷积核的大小分别为7×7、4×4、4×4，所述输入分支的瓶颈残差结构包含3个瓶颈层，其卷积核的大小均为3×3，所述上采样卷积模块包含2个反卷积层和1个卷积层，其卷积核的大小分别为4×4、4×4、7×7，所述输出分支的瓶颈残差结构包含3个瓶颈层，其卷积核的大小均为3×3。两个判别网络Dx和Dy，采用70×70输出矩阵的PatchGAN判别器结构区分图片真假。网络的输入为一张健康态人脸源图像和一张病态人脸图像，输出为具有与病态图像相同的病态特征的人脸图像。其中，生成网络采用Instance Normalization，激活函数是Rectified Linear Units(ReLu)。
S23、在生成网络的输入分支中加入特征提取模块，对生成图像的病态程度进行自定义控制，采用掩膜控制模块对人脸局部区域进行病态特征迁移，实现生成对抗网络模型的损失函数。
S3、将所述训练集输入生成对抗网络模型中进行训练，并调整参数优化生成对抗网络模型的具体步骤包括：
在模型训练过程基于Pytorch深度学习框架进行，将训练集中的健康态人脸源图像和病态人脸图像输入到生成网络中，得到重构图像，再将重构图像与真实的病态人脸图像输入到判别网络，将判别信息反向传递到生成网络。并根据指定迭代次数对网络参数进行更新。
S4、将任意一张待处理的人脸源图像和任意一张病态人脸图像输入到所述优化后的生成对抗网络模型，将病态人脸图像的病态特征关键点迁移到人脸源图像上，合成为增强后的病态人脸图像的具体步骤还包括：
对病态人脸图像数据集中的所有人脸图像进行关键点检测，以人脸关键点进行人脸对齐，根据两眼的人脸关键点位置将图像转化为尺寸归一化的人脸图像，将所述人脸图像和病态人脸图像作为网络的输入，合成增强后的病态人脸图像。
具体实施方式的所述特征提取模块分别将两个输入分支的输出特征图送入到两个1×1的卷积层，用于将输入分支提取到的人脸内在特征提取出两个特征矩阵；
将迁移后的图像特征图输入到输出分支的下采样卷积模块最终生成图像；
源图像特征图迁移后的图像特征图的公式为：
Vx’＝(αΓx+(1-α)Γy)Vx+(αBx+(1-α)By)；
其中，为源图像特征图，Vx’为图像特征图，C、H、W分别表示通道数以及特征图的高和宽，系数α用于控制生成图像所迁移病态特征的病态程度，/>和表示源图像的特征矩阵沿着通道数重复扩展的特征张量，/>和表示病态图像的特征矩阵沿着通道数重复扩展的特征张量。
具体实施方式的所述掩膜控制模块采用PSPNet语义分割网络，通过对输入的人脸图像进行分割得到人脸掩膜M＝FP(x)表示各面部区域，所述各面部区域包括用于病态面色、痤疮等皮肤病皮损迁移的面部皮肤区域，用于黑眼圈、眼袋迁移的眼部区域以及与病态特征无关的其他区域。
具体实施方式的所述判别网络是生成对抗网络模型的重要组成部分。针对健康态人脸源图像数据域X和病态人脸图像数据域Y采用两个判别网络Dx和Dy，采用70×70输出矩阵的PatchGAN判别器结构，用于区分生成图像和真实图像，向生成网络提供对抗性监督，使得输出的图像在原则上与真实图像无法区分，从全局特征上帮助生成网络的输出结果在视觉上更加自然和真实。
生成对抗网络模型的损失函数是整个训练过程的目标函数，其包括生成网络的损失函数和判别网络的损失函数。
所述判别网络Dx和Dy的损失函数，公式分别为：
其中，X和Y分别为健康态人脸源图像数据域和病态人脸图像数据域，x和y分别为两个数据域的样本，x～pdata(x)，y～pdata(y)为数据域满足的分布。
所述生成网络G的损失函数等于对抗性损失、感知损失、循环一致损失和直方图损失的加权和；
其中，对抗性损失函数公式为：
其中，和/>分别为判别网络Dx和Dy的对抗性损失函数。
利用生成对抗网络模型对原始人脸图像进行病态特征迁移时，生成网络需要保持年龄、性别、脸型等与病态特征无关的主体信息不变。不同于直接在像素级上测量差异，通过一个在ImageNet上预训练好的VGG-16模型提取高层特征，对原始图像和生成图像在隐含层上的激活值进行比较。
感知损失函数公式为：
其中，Fl( )表示输入图像和生成图像经过训练的输出特征图，式中使用L2损失测量输入图像和生成图像之间的差异。
为了防止非监督学习下网络在目标域生成随机图像，引入了循环一致性约束。对于数据域X的每张输入图片x，在图像循环翻译后应当生成与之相近的图像。
即x→G(x，y)→G(G(x，y))≈x。
循环一致损失函数公式为：
式中使用L1损失对重构图像进行约束。
根据掩膜生成网络得到的一张索引掩膜M，针对面部皮肤区域和眼部区域这两个重要的可变区域，我们生成两个对应的二进制掩膜：Mface和Meye。本发明采用直方图匹配策略并引入像素级直方图损失实现面部相关区域的色彩变换。对图像进行直方图匹配以获得一张重组图像，再计算MSE损失并反向传播梯度优化模型。直方图损失函数公式为：
其中，λf和λe为权重，和/>分别为生成图像G(x，y)面部皮肤区域和眼部区域的二元掩膜，/>和/>分别表示病态人脸图像y面部皮肤区域和眼部区域的二元掩膜，/>和/>分别为生成图像G(x，y)和病态人脸图像y在面部皮肤区域和眼部区域上的直方图匹配。
生成网络G的加权型损失函数公式为：
其中，λadv、λcyc、λper和λlocal分别表示各项权重，用于调整各损失项的影响比例。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，包括：
S1、获取病态人脸图像和健康态人脸图像并构建训练集；
S2、设计生成对抗网络模型，利用加入生成对抗网络模型中的特征提取模块对输出图像病态程度进行自定义控制，其具体步骤包括：
S21、设计生成对抗网络模型，生成对抗网络模型的生成网络采用双输入输出架构，将两个输入分支的输出特征图进行融合，再将融合后的特征图输出到若干个瓶颈残差结构，经过两个独立的反卷积网络上采样最终得到生成图像，所述输入分支包括下采样卷积模块和瓶颈残差结构，所述输出分支包括上采样反卷积模块和瓶颈残差结构；
所述下采样卷积模块包含3个卷积层，其卷积核的大小分别为7×7、4×4、4×4，所述输入分支的瓶颈残差结构包含3个瓶颈层，其卷积核的大小均为3×3，所述上采样卷积模块包含2个反卷积层和1个卷积层，其卷积核的大小分别为4×4、4×4、7×7，所述输出分支的瓶颈残差结构包含3个瓶颈层，其卷积核的大小均为3×3；
S22、利用两个判别网络用于区分生成图像和真实图像，网络输入为一张健康态人脸源图像和一张病态人脸图像，输出的人脸图像与病态图像具有相同的病态特征，同时仍保留源图像的主体信息；
S23、在生成网络的输入分支中加入特征提取模块，对生成图像的病态程度进行自定义控制，采用掩膜控制模块对人脸局部区域进行病态特征迁移，实现生成对抗网络模型的损失函数，其具体步骤包括：
利用特征提取模块分别将两个输入分支的输出特征图送入到两个1×1的卷积层，用于将输入分支提取到的人脸内在特征提取出两个特征矩阵；
将迁移后的图像特征图输入到输出分支的下采样卷积模块最终生成图像；
源图像特征图迁移后的图像特征图的公式为：
Vx′＝(αΓx+(1-α)Γy)Vx+(αBx+(1-α)By)；
其中，为源图像特征图，Vx’为图像特征图，C、H、W分别表示通道数以及特征图的高和宽，系数α用于控制生成图像所迁移病态特征的病态程度，/>和表示源图像的特征矩阵沿着通道数重复扩展的特征张量，/>和表示病态图像的特征矩阵沿着通道数重复扩展的特征张量；
S3、将所述训练集输入生成对抗网络模型中进行训练，并调整参数优化生成对抗网络模型；
S4、将任意一张待处理的人脸源图像和任意一张病态人脸图像输入到所述优化后的生成对抗网络模型，将病态人脸图像的病态特征关键点迁移到人脸源图像上，合成为增强后的病态人脸图像。
2.根据权利要求1所述一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，所述步骤S1获取病态人脸图像和健康态人脸图像并构建训练集的具体步骤包括：
S11、获取互联网中人脸图像数据，并删除分辨率低、光照条件差的人脸图像数据；
S12、根据人脸图像数据，筛选出病态人脸图像数据集和健康态人脸图像数据集，并构建病态人脸图像数据集；
S13、对病态人脸图像数据集中的所有人脸图像进行关键点检测，以人脸关键点进行人脸对齐，并根据两眼的人脸关键点位置将图像转化为尺寸归一化的人脸图像。
3.根据权利要求1所述一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，所述掩膜控制模块采用PSPNet语义分割网络，通过对输入的人脸图像进行分割得到人脸掩膜M＝FP(x)表示各面部区域，所述各面部区域包括皮肤病皮损迁移的面部皮肤区域、眼部区域以及与病态特征无关的其他区域。
4.根据权利要求1所述一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，所述损失函数包括判别网络DX和DY的损失函数，公式分别为：
其中，X和Y分别表示健康态人脸源图像数据域和病态人脸图像数据域，x和y分别表示两个数据域的样本，x～pdata(x)，y～pdata(y)表示数据域满足的分布。
5.根据权利要求1或4所述一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，所述损失函数包括生成网络的损失函数，所述生成网络的损失函数等于对抗性损失、感知损失、循环一致损失和直方图损失的加权和；
其中，对抗性损失函数公式为：
感知损失函数公式为：
循环一致损失函数公式为：
直方图损失函数公式为：
其中，和/>分别为判别网络Dx和DY的对抗性损失函数，Fl()表示输入图像和生成图像经过训练的输出特征图，L2为测量输入图像和生成图像之间差异的损失，L1为对重构图像进行约束的损失，λf和λe为权重，/>和/>分别为生成图像G(x，y)面部皮肤区域和眼部区域的二元掩膜，/>和/>分别表示病态人脸图像y面部皮肤区域和眼部区域的二元掩膜，/>和/>分别为生成图像G(x，y)和病态人脸图像y在面部皮肤区域和眼部区域上的直方图匹配。
6.根据权利要求1或5所述一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，所述步骤S3的具体步骤包括：
将训练集中的健康态人脸源图像和病态人脸图像输入到生成网络中，得到重构图像；
再将重构图像与真实的病态人脸图像输入到判别网络，将判别信息反向传递到生成网络。
7.根据权利要求1所述一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，所述步骤S4的具体步骤包括：
对病态人脸图像数据集中的所有人脸图像进行关键点检测，以人脸关键点进行人脸对齐；
根据两眼的人脸关键点位置将图像转化为尺寸归一化的人脸图像，将所述人脸图像和病态人脸图像作为网络的输入，合成增强后的病态人脸图像。
CN202011173820.2A 2020-10-28 2020-10-28 一种基于生成对抗网络的病态人脸数据增强方法 Active CN112233017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011173820.2A CN112233017B (zh) 2020-10-28 2020-10-28 一种基于生成对抗网络的病态人脸数据增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011173820.2A CN112233017B (zh) 2020-10-28 2020-10-28 一种基于生成对抗网络的病态人脸数据增强方法

Publications (2)

Publication Number Publication Date
CN112233017A CN112233017A (zh) 2021-01-15
CN112233017B true CN112233017B (zh) 2023-09-26

Family

ID=74110685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011173820.2A Active CN112233017B (zh) 2020-10-28 2020-10-28 一种基于生成对抗网络的病态人脸数据增强方法

Country Status (1)

Country Link
CN (1) CN112233017B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967260B (zh) * 2021-03-17 2024-01-26 中国科学院苏州生物医学工程技术研究所 基于弱监督学习的眼底荧光造影图像渗漏点检测方法
CN113780084B (zh) * 2021-08-11 2024-05-31 上海藤核智能科技有限公司 基于生成式对抗网络的人脸数据扩增方法、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
WO2019015466A1 (zh) * 2017-07-17 2019-01-24 广州广电运通金融电子股份有限公司 人证核实的方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
WO2019015466A1 (zh) * 2017-07-17 2019-01-24 广州广电运通金融电子股份有限公司 人证核实的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴晓燕 ; 钱真坤 ; .基于深度卷积生成式对抗网络的人脸恢复方法.计算机应用与软件.2020,(08),全文. *
周传华 ; 吴幸运 ; 李鸣 ; .基于WGAN单帧人脸图像超分辨率算法.计算机技术与发展.2020,(09),全文. *

Also Published As

Publication number Publication date
CN112233017A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN111597946B (zh) 图像生成器的处理方法、图像生成方法及装置
CN115018824B (zh) 一种基于CNN和Transformer融合的结肠镜息肉图像分割方法
CN113034505B (zh) 一种基于边缘感知网络的腺体细胞图像分割方法及装置
CN114998210B (zh) 一种基于深度学习目标检测的早产儿视网膜病变检测***
CN112233017B (zh) 一种基于生成对抗网络的病态人脸数据增强方法
Chen et al. Skin lesion segmentation using recurrent attentional convolutional networks
Djavanshir et al. A Review of artificial intelligence's neural networks (deep learning) applications in medical diagnosis and prediction
CN112052877A (zh) 一种基于级联增强网络的图片细粒度分类方法
CN115880720A (zh) 一种基于置信度分享的无标注场景自适应人体姿态和外形估计方法
Ramadan et al. DGCU–Net: A new dual gradient-color deep convolutional neural network for efficient skin lesion segmentation
CN113643297B (zh) 一种基于神经网络的计算机辅助牙龄分析方法
CN110473176A (zh) 图像处理方法及装置、眼底图像处理方法、电子设备
Aguirre Nilsson et al. Classification of ulcer images using convolutional neural networks
Salini et al. Deepfakes on retinal images using GAN
Xian et al. Automatic tongue image quality assessment using a multi-task deep learning model
CN116630964A (zh) 一种基于离散小波注意力网络的食品图像分割方法
Sankari et al. Automated detection of retinopathy of prematurity using quantum machine learning and deep learning techniques
Shimanto et al. Brain tumor detection and classification by SVM algorithm and performance analysis through CNN approach
CN110706209B (zh) 一种网格网络的大脑磁共振图像肿瘤定位方法
Kumar et al. Gannet devil optimization-based deep learning for skin lesion segmentation and identification
Babu et al. MRI and CT image fusion using cartoon-texture and QWT decomposition and cuckoo search-grey wolf optimization
Chen et al. A bypass-based U-net for medical image segmentation
Gou et al. Artificial intelligence multiprocessing scheme for pathology images based on transformer for nuclei segmentation
CN117437514B (zh) 一种基于CycleGan的***镜图像模态转换方法
CN112907525B (zh) 乳腺磁共振图像智能分类方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant