CN113421185A - 一种基于StyleGAN的移动端人脸年龄编辑方法 - Google Patents
一种基于StyleGAN的移动端人脸年龄编辑方法 Download PDFInfo
- Publication number
- CN113421185A CN113421185A CN202110966926.6A CN202110966926A CN113421185A CN 113421185 A CN113421185 A CN 113421185A CN 202110966926 A CN202110966926 A CN 202110966926A CN 113421185 A CN113421185 A CN 113421185A
- Authority
- CN
- China
- Prior art keywords
- face
- model
- age
- picture
- obtaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 52
- 239000013598 vector Substances 0.000 claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 230000000694 effects Effects 0.000 claims description 7
- 238000012706 support-vector machine Methods 0.000 claims description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 4
- 238000002156 mixing Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 abstract description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 206010014970 Ephelides Diseases 0.000 description 1
- 208000003351 Melanosis Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于StyleGAN的移动端人脸年龄编辑方法:S1、准备人脸图片训练数据集,并对人脸图片训练数据集中的部分人脸图片标注得到年龄标签;S2、利用所述人脸图片训练数据集训练特征提取模型和生成模型;S3、利用人脸图片训练数据集中的部分数据和特征提取模型训练人脸年龄分类器;S4、根据用户配置和预期等待时间选择分辨率和通道系数,输入生成模型得到子模型;S5、对于人脸年龄分类器,提取其系数,即为能够判断人脸年龄的属性向量;S6、利用子模型以及所述属性向量对待编辑人脸图片进行编辑。本发明技术方案可以降低部署和维护成本,增强用户数据安全性,避免个人隐私泄漏,去除软件对网络的依赖,使得用户可以随时随地的使用软件。
Description
技术领域
本发明属于图像处理技术领域,更具体地,涉及一种基于StyleGAN的移动端人脸年龄编辑方法。
背景技术
生成对抗网络(Generative Adversarial Networks,GAN)是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中两个模块:生成模型和判别模型的互相博弈学习产生相当好的输出。GAN能够生成不存在于真实世界的数据,在图像生成、图像去噪、数据增强方面有着重要的作用。
StyleGAN受风格迁移启发而设计了一种新的生成器网络结构。新的网络结构可以通过无监督式的自动学习对图像的高层语义属性做一定解耦分离,例如人脸图像的姿势和身份、所生成图像的随机变化如雀斑和头发等。也可以做到一定程度上的控制合成。
具体到人脸年龄编辑上来说,人脸年龄编辑是指通过给定一幅人脸图像,可以生成该人物在不同年龄段的图像。人脸年龄编辑已经成为电影后期制作的重要任务,在普通摄影中也越来越流行。在跨年龄人脸识别、娱乐、刑侦等领域也有着广泛的应用。例如,它可以用来帮助寻找走失的孩子或预测某人未来的样子。所以人脸年龄编辑还是具有很大的应用价值的。
StyleGAN已经可以实现逼真的图像合成,但由于大规模生成器的计算成本较高,通常不能在移动端设备(如智能手机)上直接运行,需要部署在具有较高的硬件配置的服务器上,这就不可避免的需要用户上传人脸图片,对用户的个人隐私造成很大的风险。此外由于需要用到网络,限制了用户的使用场景,网络不佳时影响数据上传和下载时的等待时间,严重影响软件批量部署和用户的使用体验。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于StyleGAN的移动端人脸年龄编辑方法,其目的在于直接部署在手机进行人脸年龄的编辑,由此解决***部署成本较高、需要上传图片数据、处理时间较长的技术问题。
为实现上述目的,本发明提供了一种基于StyleGAN的移动端人脸年龄编辑方法,包括:
S1、准备人脸图片训练数据集,并对人脸图片训练数据集中的部分人脸图片打分得到年龄标签;
S2、利用所述人脸图片训练数据集训练特征提取模型和生成模型;
S3、利用人脸图片训练数据集和特征提取模型训练人脸年龄分类器;
S6、利用子模型对待编辑人脸图片进行编辑。
本发明的一个实施例中,所述步骤S1包括:
本发明的一个实施例中,所述步骤S2中训练特征提取模型包括:
本发明的一个实施例中,所述步骤S2中训练生成模型包括:
本发明的一个实施例中,所述步骤S3包括:
本发明的一个实施例中,所述步骤S4包括:
本发明的一个实施例中,所述步骤S6包括:
编码器包括十个卷积层,一个最大池化层,一个全局平均池化层,一个全连接输出层,解码器包括三个卷积层,三个上采样层。
本发明的一个实施例中,所述步骤S29中:
为了保证不同的子模型输出与全网络的输出在视觉上尽可能保持一致,引入限制如下:
总体而言,通过本发明所构思的以上技术方案与现有技术相比,具有如下有益效果:
(1)降低部署和维护成本。在不影响人脸年龄编辑效果的前提下,大幅减少计算量,降低对硬件配置的依赖,从而使之能够直接运行在移动端设备(如智能手机)上,减少企业服务器运行和维护成本;
(2)增强用户数据安全性,避免个人隐私泄漏。软件部署在移动端设备上之后,用户不需要上传数据就可直接在移动端设备上得到输出结果,从而从根源上杜绝用户个人隐私泄漏,提高安全性;
(3)去除软件对网络的依赖,使得用户可以随时随地的使用软件,也不会由于网速问题造成等待时间过长的问题,优化用户的使用体验。
附图说明
图1是本发明实施例中一种基于StyleGAN的移动端人脸年龄编辑方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
为了实现本发明的目的,本发明提供了一种基于StyleGAN的移动端人脸年龄编辑方法,主要包含六部分:数据采集和标注部分、特征提取模型和生成模型训练部分、年龄分类模型训练部分、子模型选取部分、属性向量提取部分、人脸年龄图像编辑生成部分。
具体地,如图1所示,本发明基于StyleGAN的移动端人脸年龄编辑方法包括:
S1、准备人脸图片训练数据集,并对人脸图片训练数据集中的部分人脸图片标注得到年龄标签;具体地,包括如下子步骤:
S2、利用所述人脸图片训练数据集训练特征提取模型和生成模型;包括如下子步骤:
其中编码器包括十个卷积层,一个最大池化层,一个全局平均池化层,一个全连接输出层。解码器包括三个卷积层,三个上采样层。
则随机采样分辨率的输入就可以被表示为:
对应的对抗损失函数为:
S3、利用人脸图片训练数据集中的部分数据和特征提取模型训练人脸年龄分类器;子步骤如下:
S6、利用子模型对待编辑人脸图片进行编辑,子步骤如下:
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110966926.6A CN113421185B (zh) | 2021-08-23 | 2021-08-23 | 一种基于StyleGAN的移动端人脸年龄编辑方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110966926.6A CN113421185B (zh) | 2021-08-23 | 2021-08-23 | 一种基于StyleGAN的移动端人脸年龄编辑方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113421185A true CN113421185A (zh) | 2021-09-21 |
CN113421185B CN113421185B (zh) | 2021-11-05 |
Family
ID=77719240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110966926.6A Active CN113421185B (zh) | 2021-08-23 | 2021-08-23 | 一种基于StyleGAN的移动端人脸年龄编辑方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113421185B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116363737A (zh) * | 2023-06-01 | 2023-06-30 | 北京烽火万家科技有限公司 | 一种人脸图像属性编辑方法、***、电子设备及存储介质 |
CN116955579A (zh) * | 2023-09-21 | 2023-10-27 | 武汉轻度科技有限公司 | 一种基于关键词知识检索的聊天回复生成方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10643085B1 (en) * | 2019-01-30 | 2020-05-05 | StradVision, Inc. | Method and device for estimating height and weight of passengers using body part length and face information based on human's status recognition |
CN112669244A (zh) * | 2020-12-29 | 2021-04-16 | 中国平安人寿保险股份有限公司 | 人脸图像增强方法、装置、计算机设备以及可读存储介质 |
CN112862669A (zh) * | 2021-02-02 | 2021-05-28 | 百果园技术(新加坡)有限公司 | 图像生成模型的训练方法、生成方法、装置及设备 |
US20210209464A1 (en) * | 2020-01-08 | 2021-07-08 | Palo Alto Research Center Incorporated | System and method for synthetic image generation with localized editing |
-
2021
- 2021-08-23 CN CN202110966926.6A patent/CN113421185B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10643085B1 (en) * | 2019-01-30 | 2020-05-05 | StradVision, Inc. | Method and device for estimating height and weight of passengers using body part length and face information based on human's status recognition |
US20210209464A1 (en) * | 2020-01-08 | 2021-07-08 | Palo Alto Research Center Incorporated | System and method for synthetic image generation with localized editing |
CN112669244A (zh) * | 2020-12-29 | 2021-04-16 | 中国平安人寿保险股份有限公司 | 人脸图像增强方法、装置、计算机设备以及可读存储介质 |
CN112862669A (zh) * | 2021-02-02 | 2021-05-28 | 百果园技术(新加坡)有限公司 | 图像生成模型的训练方法、生成方法、装置及设备 |
Non-Patent Citations (2)
Title |
---|
TIANYI WEI 等: "A Simple Baseline for StyleGAN Inversion", 《COMPUTER VISION AND PATTERN RECOGNITION (CS.CV); GRAPHICS (CS.GR)》 * |
鞠怡轩 等: "基于属性法向量修改的人脸编辑算法", 《厦门大学学报(自然科学版)》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116363737A (zh) * | 2023-06-01 | 2023-06-30 | 北京烽火万家科技有限公司 | 一种人脸图像属性编辑方法、***、电子设备及存储介质 |
CN116363737B (zh) * | 2023-06-01 | 2023-07-28 | 北京烽火万家科技有限公司 | 一种人脸图像属性编辑方法、***、电子设备及存储介质 |
CN116955579A (zh) * | 2023-09-21 | 2023-10-27 | 武汉轻度科技有限公司 | 一种基于关键词知识检索的聊天回复生成方法和装置 |
CN116955579B (zh) * | 2023-09-21 | 2023-12-29 | 武汉轻度科技有限公司 | 一种基于关键词知识检索的聊天回复生成方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113421185B (zh) | 2021-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Rao et al. | Deep convolutional neural networks for sign language recognition | |
US11410364B2 (en) | Systems and methods for realistic head turns and face animation synthesis on mobile device | |
CN113421185B (zh) | 一种基于StyleGAN的移动端人脸年龄编辑方法 | |
WO2020150689A1 (en) | Systems and methods for realistic head turns and face animation synthesis on mobile device | |
Tu et al. | Image-to-video generation via 3D facial dynamics | |
RU2764144C1 (ru) | Быстрый двухслойный нейросетевой синтез реалистичных изображений нейронного аватара по одному снимку | |
CN112837215B (zh) | 一种基于生成对抗网络的图像形状变换方法 | |
CN115187706B (zh) | 一种人脸风格迁移的轻量化方法、***、存储介质和电子设备 | |
Wang et al. | Deeply supervised face completion with multi-context generative adversarial network | |
CN114723760B (zh) | 人像分割模型的训练方法、装置及人像分割方法、装置 | |
CN112507617A (zh) | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 | |
Kishore et al. | Selfie sign language recognition with convolutional neural networks | |
CN111860380A (zh) | 人脸图像生成方法、装置、服务器及存储介质 | |
Li et al. | Learning dual memory dictionaries for blind face restoration | |
Sun et al. | Masked lip-sync prediction by audio-visual contextual exploitation in transformers | |
CN111260577B (zh) | 基于多引导图和自适应特征融合的人脸图像复原*** | |
Zhang et al. | FCHP: Exploring the discriminative feature and feature correlation of feature maps for hierarchical DNN pruning and compression | |
WO2022252372A1 (zh) | 一种图像处理方法、装置、设备及计算机可读存储介质 | |
CN112634413B (zh) | 生成模型和生成3d动画的方法、装置、设备和存储介质 | |
WO2021177596A1 (en) | Fast bi-layer neural synthesis of one-shot realistic images of neural avatar | |
Chen et al. | Dreamidentity: Enhanced editability for efficient face-identity preserved image generation | |
CN109657589B (zh) | 一种基于人体交互动作的体验者动作生成方法 | |
CN113408381A (zh) | 基于自注意残差卷积神经网络的微表情分类方法 | |
Zhang et al. | E-MobileNeXt: face expression recognition model based on improved MobileNeXt | |
CN113393545A (zh) | 一种图像动漫化处理方法、装置、智能设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |