CN113256513B - 一种基于对抗神经网络的人像美化方法和*** - Google Patents

一种基于对抗神经网络的人像美化方法和*** Download PDF

Info

Publication number
CN113256513B
CN113256513B CN202110514754.9A CN202110514754A CN113256513B CN 113256513 B CN113256513 B CN 113256513B CN 202110514754 A CN202110514754 A CN 202110514754A CN 113256513 B CN113256513 B CN 113256513B
Authority
CN
China
Prior art keywords
portrait
natural
style
loss
beautified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110514754.9A
Other languages
English (en)
Other versions
CN113256513A (zh
Inventor
王鼎
谢衍涛
宋娜
陈继
梅启鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Gexiang Technology Co ltd
Original Assignee
Hangzhou Gexiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Gexiang Technology Co ltd filed Critical Hangzhou Gexiang Technology Co ltd
Priority to CN202110514754.9A priority Critical patent/CN113256513B/zh
Publication of CN113256513A publication Critical patent/CN113256513A/zh
Application granted granted Critical
Publication of CN113256513B publication Critical patent/CN113256513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于对抗神经网络的人像美化方法和***，其中，该方法包括：获取美化人像图和自然人像图，其中，美化人像图经美化人像风格提取器得到美化风格码，美化风格码通过美化人像生成器生成得到美化风格特征，自然人像图经自然人像风格提取器得到自然风格码，自然风格码通过自然人像生成器生成得到自然风格特征；对美化和自然风格特征进行逐级混合得到混合特征，并通过混合生成器将混合特征转换为美化后的自然人像，美化后的自然人像图和未处理的自然人像图组合生成成对样本集；最后，通过成对样本集训练迁移器，并通过训练好的迁移器对用户人像进行美化，得到用户人像美化图。提高了人像美化的准确度和效率，并降低了设计成本。

Description

一种基于对抗神经网络的人像美化方法和***
技术领域
本申请涉及图像处理技术领域，特别是涉及一种基于对抗神经网络的人像美化方法和***。
背景技术
随着消费电子技术的发展，消费者越来越方便的使用拍照设备拍摄人像，市场上对美化人像照片的技术需求越来越强烈；人像照片美化技术属于图像处理技术领域，通过对人像皮肤、五官、头发等区域进行处理生成更令人喜爱的图像效果。多年来，因为其巨大的商业价值，人像美化一直是图像处理领域的研究热点。其中，传统的图像处理方法是对美化目标进行算法分解，组合多个基础算法来实现美化；深度学习技术兴起以后，神经网络可以从大量的美化样本中学习到美化风格，并将其应用到新的人像照片上。然而，无论是传统分解算法还是新兴的深度学习算法，在实际的应用中都会有各种的限制。
在相关技术中，传统分解算法需要人工将美化效果分解成具体的基础算法，如模糊、颜色调整和叠加等，这对算法工程师有着很高的要求，既要熟悉美化风格又要设计出精巧的算法，还要有足够的鲁棒性能应对各种光照条件，设计难度很大；基于神经网络的方法能大大降低算法设计的难度，但效果较好的算法一般是有监督的学习算法，这种算法往往需要大量的成对样本，这种样本往往由设计师手工调整得到，因此，大量的样本往往需要大量的人工投入，实施成本很高；此外，近年来利用生成式对抗神经网络来编辑人像方法虽然可以回避人工制作样本的问题，但是又会面临特征缠绕的问题，无法单独编辑某一特征，比如用户只想美化人像，但是画面背景或者人物性别却被同时改变。
目前针对相关技术中，在对人像进行美化时，存在的特征缠绕或样本设计成本高的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于对抗神经网络的人像美化方法和***，以至少解决相关技术中在对人像进行美化时，存在的特征缠绕或样本设计成本高的问题。
第一方面，本申请实施例提供了一种基于对抗神经网络的人像美化方法，所述方法包括：
获取美化人像图和自然人像图，其中，所述美化人像图经美化人像风格提取器得到美化风格码，所述美化风格码通过美化人像生成器生成得到美化风格特征，所述自然人像图经自然人像风格提取器得到自然风格码，所述自然风格码通过自然人像生成器生成得到自然风格特征；
对所述美化风格特征和所述自然风格特征进行逐级混合得到混合特征，并通过混合生成器将所述混合特征转换为美化后的自然人像，所述美化后的自然人像图和所述自然人像图组合生成成对样本集；
通过所述成对样本集训练迁移器，得到训练好的迁移器，并通过所述训练好的迁移器对用户人像进行美化，得到用户人像美化图，其中，所述迁移器为U-NET网络结构。
在其中一些实施例中，在将所述自然人像图和所述美化后的自然人像图组合生成成对样本集之前，所述方法包括：
分别对所述美化人像风格提取器、所述美化人像生成器、所述自然人像风格提取器、所述自然人像生成器和所述混合生成器进行训练，其中，训练次序为：第一次序是对所述美化人像生成器和所述自然人像生成器进行训练，第二次序是对所述自然人像风格提取器和所述美化人像风格提取器进行训练，第三次序是对所述混合生成器进行训练。
在其中一些实施例中，对所述美化人像生成器和所述自然人像生成器进行训练包括：
通过所述美化风格码、所述自然风格码分别对所述美化人像生成器、所述自然人像生成器进行交替训练，直至收敛，其中所述美化人像生成器和所述自然人像生成器均为条件生成式对抗网络结构。
在其中一些实施例中，对所述自然人像风格提取器和所述美化人像风格提取器进行训练包括：
将输入图像和重建图像之间的L2范数作为损失函数，并通过所述自然人像图和训练好的自然人像生成器训练所述自然人像风格提取器，通过所述美化人像图和训练好的美化人像生成器训练所述美化人像风格提取器。
在其中一些实施例中，对所述混合生成器进行训练包括：
获取所述美化人像图和所述自然人像图，并通过综合损失函数对所述混合生成器进行训练，直至收敛，其中，所述综合损失函数Losstotal为：
Losstotal＝w1*Losssty+w2*Lossback+w3*Lossdis+w4*LossID
其中，w1,w2,w3,w4为经验系数，Losssty为风格损失函数，Lossback为背景重建损失函数，Lossdis为判别损失函数，LossID为人像一致性损失函数。
在其中一些实施例中，所述对所述美化风格特征和所述自然风格特征进行逐级混合得到混合特征包括：
根据分辨率尺寸对所述美化风格特征和所述自然风格特征进行逐级混合得到混合特征。
第二方面，本申请实施例提供了一种基于对抗神经网络的人像美化***，所述***包括：
生成模块，用于获取美化人像图和自然人像图，其中，所述美化人像图经美化人像风格提取器得到美化风格码，所述美化风格码通过美化人像生成器生成得到美化风格特征，所述自然人像图经自然人像风格提取器得到自然风格码，所述自然风格码通过自然人像生成器生成得到自然风格特征，
对所述美化风格特征和所述自然风格特征进行逐级混合得到混合特征，并通过混合生成器将所述混合特征转换为美化后的自然人像，所述美化后的自然人像图和所述自然人像图组合生成成对样本集；
美化模块，用于通过所述成对样本集训练迁移器，得到训练好的迁移器，并通过所述训练好的迁移器对用户人像进行美化，得到用户人像美化图，其中，所述迁移器为U-NET网络结构。
在其中一些实施例中，所述***还包括训练模块，
所述训练模块，用于在将所述自然人像图和所述美化后的自然人像图组合生成成对样本集之前，分别对所述美化人像风格提取器、所述美化人像生成器、所述自然人像风格提取器、所述自然人像生成器和所述混合生成器进行训练，其中，训练次序为：第一次序是对所述美化人像生成器和所述自然人像生成器进行训练，第二次序是对所述自然人像风格提取器和所述美化人像风格提取器进行训练，第三次序是对所述混合生成器进行训练。
第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于对抗神经网络的人像美化方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于对抗神经网络的人像美化方法。
本申请实施例提供的基于对抗神经网络的人像美化方法，获取美化人像图和自然人像图，其中，美化人像图经美化人像风格提取器得到美化风格码，该美化风格码通过美化人像生成器生成得到美化风格特征，自然人像图经自然人像风格提取器得到自然风格码，该自然风格码通过自然人像生成器生成得到自然风格特征；接着对美化风格特征和自然风格特征进行逐级混合得到混合特征，并通过混合生成器将该混合特征转换为美化后的自然人像，该美化后的自然人像图和未处理的自然人像图组合生成成对样本集；最后，通过成对样本集训练迁移器，得到训练好的迁移器，并通过该训练好的迁移器对用户人像进行美化，得到用户人像美化图，其中，迁移器为U-NET网络结构。
相比于现有技术中人工设计算法和人工收集成对样本，存在的特征缠绕或样本设计成本高的的问题，本申请通过生成式对抗神经网络生成成对样本，并用准确的成对样本有效约束迁移器只迁移指定风格特征，只需要指定一张风格样例图和指定美化部位，如五官或头发等，即可将样例图的美化风格应用到用户人像照片的指定部位上，不改变照片中的其他图像特征，提高了人像美化的准确度和效率，并降低了设计成本。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的人像美化的方法的流程图；
图2是根据本申请实施例的条件生成式对抗网络结构示意图；
图3是根据本申请实施例的混合生成器网络结构示意图；
图4是根据本申请实施例的混合生成器训练结构示意图；
图5是根据本申请实施例的成对样本生成器示意图；
图6是根据本申请实施例的人像美化的***的结构框图；
图7是根据本申请实施例的另一种人像美化的***的结构框图；
图8是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请提供了一种基于对抗神经网络的人像美化方法，图1是根据本申请实施例的人像美化的方法的流程图，如图1所示，该流程包括如下步骤：
步骤S101，获取美化人像图和自然人像图，其中，美化人像图经美化人像风格提取器得到美化风格码，美化风格码通过美化人像生成器生成得到美化风格特征，自然人像图经自然人像风格提取器得到自然风格码，自然风格码通过自然人像生成器生成得到自然风格特征；
可选的，本实施例中美化人像生成器GS和自然人像生成器GH，均采用了相同的条件生成式对抗网络结构，图2是根据本申请实施例的条件生成式对抗网络结构示意图，如图2所示；在生成器G中,Const为4x4x512的常数，输入风格编码V通过AdaIN模块逐级调制生成模型的风格，然后由Convolution+2Xup对AdaIN调制后的风格特征进行卷积和上采样到2倍分辨率，经过级联的若干AdaIN和Convolution+2Xup处理，其中，第i级输出的风格特征表示为Fi，最后由Convolution将风格特征转换为RGB图像输出；需要说明的是，可根据输出的目标图像大小来确定级联的AdaIN和Convolution+2Xup数目，例如，若图像边长为n，需要级联的层数为log2(n)。此外，将RGB图像输入图2中的判别器D用来判别生成器的输出图像是否属于样本空间，该判别器D也为卷积神经网络；
可选的，本实施例中的美化人像风格提取器ES和自然人像风格提取器EH均是卷积神经网络，用于提取输入图像的风格编码，供生成器重建输入图像，如将RGB人像图像Iin输入到提取器E中，输出得到风格编码Vin，接着将Vin输入到生成器G生成重建图像Iout，其中，若Iout与Iin一致，则说明Vin能够表达Iin的风格；
步骤S102，对美化风格特征和自然风格特征进行逐级混合得到混合特征，并通过混合生成器将混合特征转换为美化后的自然人像，美化后的自然人像图和自然人像图组合生成成对样本集；
图3是根据本申请实施例的混合生成器网络结构示意图，如图3所示，本实施例中美化风格人像S经步骤S101中的美化人像风格提取器ES和美化人像生成器GS处理后，得到美化风格特征FS，同理，自然人像H经步骤S101中的自然人像风格提取器EH和自然人像生成器GH处理后，得到自然风格特征FH；优选的，根据分辨率尺寸对美化风格特征FS和自然风格特征FH进行逐级混合得到混合特征FM，接着将FM输入如图3所示的混合生成器GM中，得到美化后的自然人像HS。
其中，具体的第i级混合方式如下式1所示：
Figure BDA0003057738330000061
在生成模型G中高分辨率层一般对应图像的外观，本申请的美化目标主要是改变人像的外观，所以混合特征FM的低层直接使用自然人像特征，高层使用FS和FH对应特征层的加权混合，其中每一级的加权混合是按特征通道进行的，式1中的权重Mi由卷积神经网络FMap学习得到。
通过上述步骤得到了未经处理的自然人像图H与美化后的自然人像图HS，优选的，在将自然人像图和美化后的自然人像图组合生成成对样本集之前，为使输出图像HS的美化风格与美化人像图S相同，保持人像一致性(能够辨识出是同一个人)以及保持背景区域与自然人像图H一致，需要设定目标函数，并按次序分别对成对样本生成器中的美化人像风格提取器ES、美化人像生成器GS、自然人像风格提取器EH、自然人像生成器GH和混合生成器GM进行训练，其中，训练次序为：第一次序是对美化人像生成器GS和自然人像生成器GH进行训练，第二次序是对自然人像风格提取器EH和美化人像风格提取器ES进行训练，第三次序是对混合生成器GM进行训练。如下为成对样本生成器的具体训练步骤：
S1，对美化人像生成器GS和自然人像生成器GH进行训练；可选的，利用常见的生成式对抗神经网络的交替训练方法，需要说明的是，生成式对抗神经网络具有生成器G和判别器D两部分，生成器的目标是生成逼真的图像，判别器的目标是判断G生成的图像是否足够逼真；在初始态下，生成器G和判别器D均不具备期望的能力，需要通过“固定判别器D训练生成器G，然后再固定生成器G训练判别器D”，这种不断交替的方式来训练判别器D和生成器G，最后达到收敛。本实施例中，输入随机美化风格编码、自然风格编码分别对美化人像生成器GS、自然人像生成器GH进行训练，直到收敛。具体是指，分别收集美化人像样本和自然人像样本，用美化风格人像样本训练美化人像生成器GS和判别器DS，用自然人像样本训练自然人像生成器GH和判别器DH。
S2，对自然人像风格提取器EH和美化人像风格提取器ES进行训练；可选的，将输入图像Iin和重建图像Iout之间的L2范数作为损失函数，并通过自然人像图样本和训练好的自然人像生成器GH训练自然人像风格提取器EH，通过美化人像图和训练好的美化人像生成器GS训练美化人像风格提取器ES。其中，输入图像Iin和重建图像Iout之间的L2范数如下式2所示：
Lossrec＝||Iin-Iout||2 (2)
本实施例通过结合上述训练好的生成器G训练风格提取器E，能使重建的图像与输入的图像尽量保持一致，提高人像美化的准确度。
S3，对混合生成器GM进行训练，图4是根据本申请实施例的混合生成器训练结构示意图，如图4所示。可选的，获取美化人像图样本和自然人像图样本，利用上述步骤中已训练完成的美化人像生成器GS、自然人像生成器GH、自然人像风格提取器EH和美化人像风格提取器ES，并通过综合损失函数对混合生成器GM进行训练，直至收敛，其中，综合损失函数Losstotal如下式3所示：
Losstotal＝w1*Losssty+w2*Lossback+w3*Lossdis+w4*LossID (3)
其中，w1,w2,w3,w4为经验系数，Losssty为风格损失函数，Lossback为背景重建损失函数，Lossdis为判别损失函数，LossID为人像一致性损失函数。
进一步地，风格损失函数Losssty用于约束美化后的自然人像图HS的美化风格与美化人像图S一致；具体的，用美化人像生成器GS提取HS的风格特征FHS，然后用FHS的分辨率最高层FHSl重建S的风格特征FSl，重建方法为：对FSl的每一特征在FHSl中搜索其最近邻特征，得到
Figure BDA0003057738330000081
例如，可选用但不限于最近邻特征搜索函数NB，然后用FSl与
Figure BDA0003057738330000082
的L2距离范数表示风格损失，其中，具体的风格损失函数Losssty如下式4、5所示：
Figure BDA0003057738330000083
Figure BDA0003057738330000084
PM＝segment(HS) (5)
其中，PM是二值图，当PM值为1时表示HS中需要美化的区域，如头发、面部、皮肤等，为0时表示不需要美化的区域；需要说明的是，PM由HS输入到图4中的图像分割器segment得到；
背景重建损失函数Lossback用于使目标函数保证生成的图像HS和自然人像图H的背景部分相同，即人像以外的区域相同。其中，背景重建损失函数Lossback如下式6所示：
Lossback＝‖(1.0-PM)*(H-HS)‖2 (6)
判别损失Lossdis：利用判别器DS和DH约束生成人像HS的美化区域和背景区域分属各自的样本空间，如下式7所示：
Lossdis＝DS(PM*HS)+DH((1.0-PM)*HS) (7)
人像一致性损失LossID：为约束生成人像HS和自然人像H的人物一致性，用已有的人脸识别器FaceID提取人脸特征并计算其L2距离范数，如下式8所示：
LossID＝‖FaceID(H)-FaceID(HS)‖2 (8)
图5是根据本申请实施例的成对样本生成器示意图，如图5所示，通过上述步骤完成了成对样本生成器的训练，得到了训练好的成对样本生成器。选取某一美化风格样本Si，并选取一些自然人像样本Hi，输入训练好的成对样本生成器中，生成关于风格Si的美化自然人像Hsi，(Hi,Hsi)便构成一对监督样本，最后通过大量的Hi生成成对样本集Setsi，通过上述方法生成的成对样本集的准确度较高，减轻了图像中特征缠绕的影响，能有效约束迁移器只迁移指定风格特征，不改变其他图像特征；
步骤S103，通过成对样本集训练迁移器，得到训练好的迁移器，并通过训练好的迁移器对用户人像进行美化，得到用户人像美化图，其中，迁移器为U-NET网络结构。
优选的，迁移器T用于人像美化预测阶段，将用户人像转换为用户人像美化图。由于成对样本生成器G的规模一般都比较大，计算也更复杂，因此，为了方便部署到客户端，需要单独训练迁移器T。可选的，迁移器T可选用但不限于U-NET网络结构，此外，迁移器T的目标函数如下式9所示：
LossT＝‖(Hsi-T(Hi))‖2 (9)
其中，T(Hi)表示迁移器的输出图像；
本实施例采用步骤S102中生成的成对样本集Setsi和如上式9所示的损失函数对迁移器T进行训练，使迁移器学习到既能美化人像又能保持图像其他部分一致性的能力。
完成了迁移器T的训练之后，通过训练好的迁移器T对用户人像进行美化，得到具有美化风格Si的用户人像美化图，完成人像美化的预测。
通过上述步骤S101至步骤S103，本申请实施例分为模型训练和模型预测两个阶段，在模型训练阶段，分别训练成对样本生成器G以及风格迁移器T，其中成对样本生成器包含了：美化人像生成器GS、自然人像生成GH、美化人像风格提取器ES、自然人像风格提取器EH和混合生成器GM。首先训练成对样本生成器G，然后利用G基于指定美化区域和美化风格样例，产生大量的美化风格成对样本，最后利用这些成对样本来训练风格迁移器T；模型训练完成后，通过训练好的风格迁移器T对用户人像进行美化预测，得到用户人像美化图，完成模型预测，解决了在对人像进行美化时，存在的特征缠绕、样本设计成本高和算法复杂的问题，提高了人像美化的准确度和效率，并降低了设计成本。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种基于对抗神经网络的人像美化***，该***用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本申请实施例的人像美化的***的结构框图，如图6所示，该***包括生成模块61和美化模块62：
生成模块61，用于获取美化人像图和自然人像图，其中，美化人像图经美化人像风格提取器得到美化风格码，美化风格码通过美化人像生成器生成得到美化风格特征，自然人像图经自然人像风格提取器得到自然风格码，自然风格码通过自然人像生成器生成得到自然风格特征，对美化风格特征和自然风格特征进行逐级混合得到混合特征，并通过混合生成器将混合特征转换为美化后的自然人像，美化后的自然人像图和自然人像图组合生成成对样本集；美化模块62，用于通过成对样本集训练迁移器，得到训练好的迁移器，并通过训练好的迁移器对用户人像进行美化，得到用户人像美化图，其中，迁移器为U-NET网络结构，解决了在对人像进行美化时，存在的特征缠绕、样本设计成本高和算法复杂的问题，提高了人像美化的准确度和效率，并降低了设计成本。
在其中一些实施例中，该***还包括训练模块，图7是根据本申请实施例的另一种人像美化的***的结构框图，如图7所示，该***包括生成模块61、美化模块62和训练模块71。训练模块71用于在将自然人像图和美化后的自然人像图组合生成成对样本集之前，分别对美化人像风格提取器、美化人像生成器、自然人像风格提取器、自然人像生成器和混合生成器进行训练，其中，训练次序为：第一次序是对美化人像生成器和自然人像生成器进行训练，第二次序是对自然人像风格提取器和美化人像风格提取器进行训练，第三次序是对混合生成器进行训练。
需要说明的是，本***实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
此外，需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
另外，结合上述实施例中的基于对抗神经网络的人像美化方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于对抗神经网络的人像美化方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于对抗神经网络的人像美化方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，图8是根据本申请实施例的电子设备的内部结构示意图，如图8所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图8所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作***、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作***和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种基于对抗神经网络的人像美化方法，数据库用于存储数据。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于对抗神经网络的人像美化方法，其特征在于，所述方法包括：
获取美化人像图和自然人像图，其中，所述美化人像图经美化人像风格提取器得到美化风格码，所述美化风格码通过美化人像生成器生成得到美化风格特征，所述自然人像图经自然人像风格提取器得到自然风格码，所述自然风格码通过自然人像生成器生成得到自然风格特征；
对所述美化风格特征和所述自然风格特征进行逐级混合得到混合特征，并通过混合生成器将所述混合特征转换为美化后的自然人像，所述美化后的自然人像图和所述自然人像图组合生成成对样本集，其中，对所述混合生成器进行训练的具体步骤包括：获取所述美化人像图和所述自然人像图，并通过综合损失函数对所述混合生成器进行训练，直至收敛，其中，所述综合损失函数Losstotal为：
Losstotal＝w1*Losssty+w2*Lossback+w3*Lossdis+w4*LossID
其中，w1，w2，w3，w4为经验系数，Losssty为风格损失函数，Lossback为背景重建损失函数，Lossdis为判别损失函数，LossID为人像一致性损失函数，
具体地，风格损失函数Losssty用于约束美化后的自然人像图HS的美化风格与美化人像图S一致，其中，用美化人像生成器GS提取HS的风格特征FHS，然后用FHS的分辨率最高层FHSl重建S的风格特征FSl，对FSl的每一特征在FHSl中搜索其最近邻特征，得到
Figure FDA0003577967210000011
具体计算如下式所示：
Figure FDA0003577967210000012
Figure FDA0003577967210000013
其中，PM是二值图，当PM值为1时表示HS中需要美化的区域，为0时表示不需要美化的区域，PM由图像分割器segment得到，NB为最近邻特征搜索函数；
背景重建损失函数Lossback，用于使目标函数保证生成的图像HS和自然人像图H的背景部分相同，即人像以外的区域相同，具体计算如下式所示：
Lossback＝||(1.0-PM)*(H-HS)||2
判别损失Lossdis，利用生成式对抗神经网络的判别器DS和DH约束生成人像HS的美化区域和背景区域分属各自的样本空间，具体计算如下式所示：
Lossdis＝DS(PM*HS)+DH((1.0-PM)*HS)
人像一致性损失LossID，为约束生成人像HS和自然人像H的人物一致性，用已有的人脸识别器FaceID提取人脸特征并计算L2距离范数，具体计算如下式所示：
LossID＝||FaceID(H)-FaceID(HS)||2
通过所述成对样本集训练迁移器，得到训练好的迁移器，并通过所述训练好的迁移器对用户人像进行美化，得到用户人像美化图，其中，所述迁移器为U-NET网络结构。
2.根据权利要求1所述的方法，其特征在于，在将所述自然人像图和所述美化后的自然人像图组合生成成对样本集之前，所述方法包括：
分别对所述美化人像风格提取器、所述美化人像生成器、所述自然人像风格提取器、所述自然人像生成器和所述混合生成器进行训练，其中，训练次序为：第一次序是对所述美化人像生成器和所述自然人像生成器进行训练，第二次序是对所述自然人像风格提取器和所述美化人像风格提取器进行训练，第三次序是对所述混合生成器进行训练。
3.根据权利要求2所述的方法，其特征在于，对所述美化人像生成器和所述自然人像生成器进行训练包括：
通过所述美化风格码、所述自然风格码分别对所述美化人像生成器、所述自然人像生成器进行交替训练，直至收敛，其中所述美化人像生成器和所述自然人像生成器均为条件生成式对抗网络结构。
4.根据权利要求2或3所述的方法，其特征在于，对所述自然人像风格提取器和所述美化人像风格提取器进行训练包括：
将输入图像和重建图像之间的L2范数作为损失函数，并通过所述自然人像图和训练好的自然人像生成器训练所述自然人像风格提取器，通过所述美化人像图和训练好的美化人像生成器训练所述美化人像风格提取器。
5.根据权利要求1所述的方法，其特征在于，所述对所述美化风格特征和所述自然风格特征进行逐级混合得到混合特征包括：
根据分辨率尺寸对所述美化风格特征和所述自然风格特征进行逐级混合得到混合特征。
6.一种基于对抗神经网络的人像美化***，其特征在于，所述***包括：
生成模块，用于获取美化人像图和自然人像图，其中，所述美化人像图经美化人像风格提取器得到美化风格码，所述美化风格码通过美化人像生成器生成得到美化风格特征，所述自然人像图经自然人像风格提取器得到自然风格码，所述自然风格码通过自然人像生成器生成得到自然风格特征，
对所述美化风格特征和所述自然风格特征进行逐级混合得到混合特征，并通过混合生成器将所述混合特征转换为美化后的自然人像，所述美化后的自然人像图和所述自然人像图组合生成成对样本集，其中，对所述混合生成器进行训练的具体步骤包括：获取所述美化人像图和所述自然人像图，并通过综合损失函数对所述混合生成器进行训练，直至收敛，其中，所述综合损失函数Losstotal为：
Losstotal＝w1*Losssty+w2*Lossback+w3*Lossdis+w4*LossID
其中，w1，w2，w3，w4为经验系数，Losssty为风格损失函数，Lossback为背景重建损失函数，Lossdis为判别损失函数，LossID为人像一致性损失函数，
具体地，风格损失函数Losssty用于约束美化后的自然人像图HS的美化风格与美化人像图S一致，其中，用美化人像生成器GS提取HS的风格特征FHS，然后用FHS的分辨率最高层FHSl重建S的风格特征FSl，对FSl的每一特征在FHSl中搜索其最近邻特征，得到
Figure FDA0003577967210000031
具体计算如下式所示：
Figure FDA0003577967210000032
Figure FDA0003577967210000033
其中，PM是二值图，当PM值为1时表示HS中需要美化的区域，为0时表示不需要美化的区域，PM由图像分割器segment得到，NB为最近邻特征搜索函数；
背景重建损失函数Lossback，用于使目标函数保证生成的图像HS和自然人像图H的背景部分相同，即人像以外的区域相同，具体计算如下式所示：
Lossback＝||(1.0-PM)*(H-HS)||2
判别损失Lossdis，利用生成式对抗神经网络的判别器DS和DH约束生成人像HS的美化区域和背景区域分属各自的样本空间，具体计算如下式所示：
Lossdis＝DS(PM*HS)+DH((1.0-PM)*HS)
人像一致性损失LossID，为约束生成人像HS和自然人像H的人物一致性，用已有的人脸识别器FaceID提取人脸特征并计算L2距离范数，具体计算如下式所示：
LossID＝||FaceID(H)-FaceID(HS)||2
美化模块，用于通过所述成对样本集训练迁移器，得到训练好的迁移器，并通过所述训练好的迁移器对用户人像进行美化，得到用户人像美化图，其中，所述迁移器为U-NET网络结构。
7.根据权利要求6所述的***，其特征在于，所述***还包括训练模块，
所述训练模块，用于在将所述自然人像图和所述美化后的自然人像图组合生成成对样本集之前，分别对所述美化人像风格提取器、所述美化人像生成器、所述自然人像风格提取器、所述自然人像生成器和所述混合生成器进行训练，其中，训练次序为：第一次序是对所述美化人像生成器和所述自然人像生成器进行训练，第二次序是对所述自然人像风格提取器和所述美化人像风格提取器进行训练，第三次序是对所述混合生成器进行训练。
8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的基于对抗神经网络的人像美化方法。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至5中任一项所述的基于对抗神经网络的人像美化方法。
CN202110514754.9A 2021-05-10 2021-05-10 一种基于对抗神经网络的人像美化方法和*** Active CN113256513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110514754.9A CN113256513B (zh) 2021-05-10 2021-05-10 一种基于对抗神经网络的人像美化方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110514754.9A CN113256513B (zh) 2021-05-10 2021-05-10 一种基于对抗神经网络的人像美化方法和***

Publications (2)

Publication Number Publication Date
CN113256513A CN113256513A (zh) 2021-08-13
CN113256513B true CN113256513B (zh) 2022-07-01

Family

ID=77222894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110514754.9A Active CN113256513B (zh) 2021-05-10 2021-05-10 一种基于对抗神经网络的人像美化方法和***

Country Status (1)

Country Link
CN (1) CN113256513B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101140623A (zh) * 2007-09-29 2008-03-12 华为技术有限公司 一种基于支持向量机的视频对象识别方法及***
CN109410131A (zh) * 2018-09-28 2019-03-01 杭州格像科技有限公司 基于条件生成对抗神经网络的人脸美颜方法及***
CN110458750A (zh) * 2019-05-31 2019-11-15 北京理工大学 一种基于对偶学习的无监督图像风格迁移方法
CN110796593A (zh) * 2019-10-15 2020-02-14 腾讯科技（深圳）有限公司 基于人工智能的图像处理方法、装置、介质及电子设备
CN111046763A (zh) * 2019-11-29 2020-04-21 广州久邦世纪科技有限公司 一种人像卡通化的方法和装置
CN111292262A (zh) * 2020-01-19 2020-06-16 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备以及存储介质
CN111862274A (zh) * 2020-07-21 2020-10-30 有半岛(北京)信息科技有限公司 生成对抗网络训练方法、图像风格迁移方法及装置
CN111950432A (zh) * 2020-08-07 2020-11-17 武汉理工大学 一种基于区域风格一致性的妆容风格迁移方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447895B (zh) * 2018-09-03 2021-06-08 腾讯科技（武汉）有限公司 图片生成方法和装置、存储介质及电子装置
CN109829849B (zh) * 2019-01-29 2023-01-31 达闼机器人股份有限公司 一种训练数据的生成方法、装置和终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101140623A (zh) * 2007-09-29 2008-03-12 华为技术有限公司 一种基于支持向量机的视频对象识别方法及***
CN109410131A (zh) * 2018-09-28 2019-03-01 杭州格像科技有限公司 基于条件生成对抗神经网络的人脸美颜方法及***
CN110458750A (zh) * 2019-05-31 2019-11-15 北京理工大学 一种基于对偶学习的无监督图像风格迁移方法
CN110796593A (zh) * 2019-10-15 2020-02-14 腾讯科技（深圳）有限公司 基于人工智能的图像处理方法、装置、介质及电子设备
CN111046763A (zh) * 2019-11-29 2020-04-21 广州久邦世纪科技有限公司 一种人像卡通化的方法和装置
CN111292262A (zh) * 2020-01-19 2020-06-16 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备以及存储介质
CN111862274A (zh) * 2020-07-21 2020-10-30 有半岛(北京)信息科技有限公司 生成对抗网络训练方法、图像风格迁移方法及装置
CN111950432A (zh) * 2020-08-07 2020-11-17 武汉理工大学 一种基于区域风格一致性的妆容风格迁移方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Zhitong Huang ; Ching Yee Suen.Identity-Preserved Face Beauty Transformation with Conditional Generative Adversarial Networks.《IEEE》.2021, *
苗序娟等.图像风格迁移技术概况及研究现状.《现代计算机》.2021, *
黄菲.基于生成对抗网络的异质人脸图像生成.《中国优秀硕士学位论文全文数据库-信息科技辑》.2021, *

Also Published As

Publication number Publication date
CN113256513A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
He et al. Conditional sequential modulation for efficient global image retouching
CN109255831B (zh) 基于多任务学习的单视图人脸三维重建及纹理生成的方法
Chen et al. Deep photo enhancer: Unpaired learning for image enhancement from photographs with gans
Svoboda et al. Two-stage peer-regularized feature recombination for arbitrary image style transfer
CN111127304B (zh) 跨域图像转换
EP3937124A1 (en) Image processing method, device and apparatus, and storage medium
JP7246811B2 (ja) 顔画像生成用のデータ処理方法、データ処理機器、コンピュータプログラム、及びコンピュータ機器
CN111275057B (zh) 图像处理方法、装置及设备
CN112132741B (zh) 一种人脸照片图像和素描图像的转换方法及***
CN110599395A (zh) 目标图像生成方法、装置、服务器及存储介质
CN111815534A (zh) 实时皮肤妆容迁移方法、装置、电子设备和可读存储介质
CN113902921A (zh) 图像处理方法、装置、设备及存储介质
Ji et al. Colorformer: Image colorization via color memory assisted hybrid-attention transformer
CN111275613A (zh) 一种引入注意力机制生成对抗网络人脸属性编辑方法
CN112164005A (zh) 图像颜色校正方法、装置、设备及存储介质
CN112883806B (zh) 基于神经网络的视频风格迁移方法、装置、计算机设备和存储介质
JP2020112907A (ja) 画像スタイル変換装置、画像スタイル変換方法、及びプログラム
CN110852940A (zh) 一种图像处理方法及相关设备
Liu et al. Very lightweight photo retouching network with conditional sequential modulation
CN111161405A (zh) 一种动物毛发三维重建方法
Rao et al. MS-GAN: multi-scale GAN with parallel class activation maps for image reconstruction
Zhou et al. Personalized and occupational-aware age progression by generative adversarial networks
CN106327539A (zh) 基于样例的图像重建方法及装置
CN113256513B (zh) 一种基于对抗神经网络的人像美化方法和***
CN112489173A (zh) 人像照片漫画生成的方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant