CN113850714A - 图像风格转换模型的训练、图像风格转换方法及相关装置 - Google Patents
图像风格转换模型的训练、图像风格转换方法及相关装置 Download PDFInfo
- Publication number
- CN113850714A CN113850714A CN202111150129.7A CN202111150129A CN113850714A CN 113850714 A CN113850714 A CN 113850714A CN 202111150129 A CN202111150129 A CN 202111150129A CN 113850714 A CN113850714 A CN 113850714A
- Authority
- CN
- China
- Prior art keywords
- style
- image
- style conversion
- sample image
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 361
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000012549 training Methods 0.000 title claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 52
- 230000000694 effects Effects 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 26
- 230000004913 activation Effects 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 14
- 230000014759 maintenance of location Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 9
- 230000000717 retained effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000003042 antagnostic effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开提供了图像风格转换模型的训练、图像风格转换方法、装置、电子设备、计算机可读存储介质及计算机程序产品，涉及计算机视觉和深度学习等人工智能技术领域，可应用于人脸图像处理和人脸识别等场景。该方法包括：获取使用不同风格描绘相同图像内容的样本图像对、对样本图像对中的风格转换前图像附加的标注信息；控制初始风格转换模型分别从样本图像对和标注信息中学习到基础风格转换关系和辅助风格转换关系；基于辅助风格转换关系调整基础风格转换关系，得到目标风格转换关系；将目标风格转换关系的学习效果满足预设要求的初始风格转换模型，输出为目标风格转换模型。应用该方法提供的风格转换模型使得转换后图像能够保留更多原图的细节特征。
Description
技术领域
本公开涉及图像处理技术领域，具体涉及计算机视觉和深度学习等人工智能技术领域，尤其涉及一种图像风格转换模型的训练方法和图像风格转换方法，以及以对应的装置、电子设备、计算机可读存储介质及计算机程序产品。
背景技术
随着图像处理技术和特效技术的快速发展，以摄像头实拍得到的实物图逐渐衍生出了新的玩法和用法，例如将实拍图从写实的实物风格转换为诸如卡通、刻印等其它风格，即在风格转换的过程中保留图像内容不变，使得风格转换后的图像可以不同于实物风格的其它风格应用在更广泛的场景。
发明内容
本公开实施例提出了一种图像风格转换模型的训练、图像风格转换方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
第一方面，本公开实施例提出了一种图像风格转换模型的训练方法，包括：获取使用不同风格描绘相同图像内容的样本图像对，以及对样本图像对中的风格转换前图像附加的标注信息；其中，标注信息标注了风格转换前图像中需要保留至风格转换后图像的保留部分；控制初始风格转换模型分别从样本图像对和标注信息中学习到基础风格转换关系和辅助风格转换关系；基于辅助风格转换关系调整基础风格转换关系，得到目标风格转换关系；将目标风格转换关系的学习效果满足预设要求的初始风格转换模型，输出为目标风格转换模型。
第二方面，本公开实施例提出了一种图像风格转换模型的训练装置，包括：样本图像对及标注信息获取单元，被配置成获取使用不同风格描绘相同图像内容的样本图像对，以及对样本图像对中的风格转换前图像附加的标注信息；其中，标注信息标注了风格转换前图像中需要保留至风格转换后图像的保留部分；基础&辅助风格转换关系学习单元，被配置成控制初始风格转换模型分别从样本图像对和标注信息中学习到基础风格转换关系和辅助风格转换关系；目标风格转换关系确定单元，被配置成基于辅助风格转换关系调整基础风格转换关系，得到目标风格转换关系；目标风格转换模型输出单元，被配置成将目标风格转换关系的学习效果满足预设要求的初始风格转换模型，输出为目标风格转换模型。
第三方面，本公开实施例提出了一种图像风格转换方法，包括：获取风格待转换图像；调用目标风格转换模型转换风格待转换图像的图像风格，得到风格转换后图像，风格转换模型根据如第一方面中任一实现方式描述的图像风格转换模型的训练方法得到。
第四方面，本公开实施例提出了一种图像风格转换装置，包括：风格待转换图像获取单元，被配置成获取风格待转换图像；模型调用单元被配置成，被配置成调用目标风格转换模型转换风格待转换图像的图像风格，得到风格转换后图像，风格转换模型根据如第二方面中任一实现方式描述的图像风格转换模型的训练装置得到。
第五方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的图像风格转换模型的训练方法或如第三方面中任一实现方式描述的图像风格转换方法。
第六方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的图像风格转换模型的训练方法或如第三方面中任一实现方式描述的图像风格转换方法。
第七方面，本公开实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的图像风格转换模型的训练方法或如第三方面中任一实现方式描述的图像风格转换方法。
本公开实施例提供的图像风格转换模型的训练、图像风格转换方法，在常规仅基于对应相同图像内容的不同风格的图像对训练得到风格转换模型的基础上，还增加了标注了风格转换前图像中需要保留至风格转换后图像的保留部分的标注信息，以在标注信息所指示的保留部分的辅助下，使得改进后的风格转换模型能够使得额外学习到将风格转换前图像的哪些特征尽可能的保留在风格转换后图像的信息，进而使得最终训练得到的风格转换模型可以在输出的实际风格转换后图像中保留更多的实际风格转换前图像的细节信息，尤其在人像的不同风格转换过程可以更好的保留实物风格的人像中的表情等细节信息。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
图1是本公开可以应用于其中的示例性***架构；
图2为本公开实施例提供的一种图像风格转换模型的训练方法的流程图；
图3为本公开实施例提供的一种通过不同处理分支来分别学习基础风格转换关系和辅助风格转换关系的方法的流程图；
图4为本公开实施例提供的对应于图3方案的模型结构示意图；
图5为本公开实施例提供的一种通过InterFaceGAN得到样本图像对的方法流程图；
图6为本公开实施例提供的一种通过StyleMapGAN得到样本图像对的方法流程图；
图7为本公开实施例提供的一种图像风格转换模型的训练装置的结构框图；
图8为本公开实施例提供的一种图像风格转换装置的结构框图；
图9为本公开实施例提供的一种适用于执行图像风格转换模型的训练方法和/或图像风格转换方法的电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
图1示出了可以应用本申请的用于训练人脸识别模型以及识别人脸的方法、装置、电子设备及计算机可读存储介质的实施例的示例性***架构100。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103和服务器105上可以安装有各种用于实现两者之间进行信息通讯的应用，例如风格转换模型训练类应用、图像风格转换类应用、图像传输类应用等。
终端设备101、102、103和服务器105可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等；当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器；服务器为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。
服务器105通过内置的各种应用可以提供各种服务，以可以为用户提供图像风格转换服务的图像风格转换类应用为例，服务器105在运行该图像风格转换类应用时可实现如下效果：通过网络104接收终端设备101、102、103传入的风格待转换图像；调用目标风格转换模型转换风格待转换图像的图像风格，得到风格转换后图像。
其中，风格转换模型可由服务器105上内置的图像风格转换模型的训练类应用按如下步骤训练得到：首先，获取使用不同风格描绘相同图像内容的样本图像对，以及对样本图像对中的风格转换前图像附加的标注信息，该标注信息标注了风格转换前图像中需要保留至风格转换后图像的保留部分；然后，控制初始风格转换模型分别从样本图像对和标注信息中学习到基础风格转换关系和辅助风格转换关系；接下来，基于辅助风格转换关系调整基础风格转换关系，得到目标风格转换关系；最后，将目标风格转换关系的学习效果满足预设要求的初始风格转换模型，输出为目标风格转换模型。
由于为训练得到风格转换模型需要占用较多的运算资源和较强的运算能力，因此本申请后续各实施例所提供的图像风格转换模型的训练方法一般由拥有较强运算能力、较多运算资源的服务器105来执行，相应地，图像风格转换模型的训练装置一般也设置于服务器105中。但同时也需要指出的是，在终端设备101、102、103也具有满足要求的运算能力和运算资源时，终端设备101、102、103也可以通过其上安装的图像风格转换模型的训练类应用完成上述本交由服务器105做的各项运算，进而输出与服务器105同样的结果。相应的，图像风格转换模型的训练装置也可以设置于终端设备101、102、103中。在此种情况下，示例性***架构100也可以不包括服务器105和网络104。
当然，用于训练得到风格转换模型的服务器可以不同于调用训练好的风格转换模型来使用的服务器。特殊的，经由服务器105训练得到的风格转换模型也可以通过模型蒸馏的方式得到适合置入终端设备101、102、103的轻量级的风格转换模型，即可以根据实际需求的识别准确度灵活选择使用终端设备101、102、103中的轻量级的风格转换模型，还是选择使用服务器105中的较复杂的风格转换模型。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
请参考图2，图2为本公开实施例提供的一种图像风格转换模型的训练方法的流程图，其中流程200包括以下步骤：
步骤201：获取使用不同风格描绘相同图像内容的样本图像对，以及对样本图像对中的风格转换前图像附加的标注信息；
本步骤旨在由图像风格转换模型的训练方法的执行主体(例如图1所示的服务器105)获取使用不同风格描绘相同图像内容的样本图像对，以及对样本图像对中的风格转换前图像附加的标注信息。
其中，标注信息标注了风格转换前图像中需要保留至风格转换后图像的保留部分，可以直接以附加在保留部分的像素点或相应区域的方式来表达保留的倾向。进一步的，标注信息中还可以根据保留程度的不同，进行再一次的区分或者分级，此处不限定标注信息的标注方式，只要能够实现该效果即可。
其中，每个样本图像对均包含两个使用不同风格描述相同图像内容的样本图像，以实物风格和卡通风格为例，该样本图像对可以具体为样本实物-卡通图像对，所描述的图像内容也可以根据类型分为人像和非人像，以适配不同的场景。
步骤202：控制初始风格转换模型分别从样本图像对和标注信息中学习到基础风格转换关系和辅助风格转换关系；
在步骤201的基础上，本步骤旨在控制初始风格转换模型分别从样本图像对和标注信息中学习到基础风格转换关系和辅助风格转换关系。
其中，从样本图像对中学习到的基础风格转换关系用于表征使用不同风格描绘相同图像内容的风格参数变换关系，从标注信息中学习到的辅助风格转换关系则用于表征将原图中的哪些图像特征更多的或有侧重性的保留至转换后图像中的图像特征与原图之间的对应关系。
具体的，由于学习到基础风格转换关系和学习到的辅助风格转换关系的训练样本实际上不同的，学习到的内容也是不同的，因此可借助初始风格转换模型中的不同处理分支、不同的处理组件、不同的处理层来分别实现，特殊的，某些可复用的处理组件、处理层也可以以复制或直接复用的方式来在两个学习过程中发挥作用。
步骤203：基于辅助风格转换关系调整基础风格转换关系，得到目标风格转换关系；
在步骤202的基础上，本步骤旨在由上述执行主体基于辅助风格转换关系调整基础风格转换关系，以期通过辅助风格转换关系对基础风格转换关系的调整，使得最终得到的目标风格转换关系既能够实现风格的较好转换、又能够尽可能的保留原图中的更多细节特征。
尤其是在人像类图像场景下，细节特征通常指人脸部的细节、表情等，这类信息若能够更好的传递至非实物风格的风格转化后图像，将极大的提升用户对风格转换后图像的满意程度。
步骤204：将目标风格转换关系的学习效果满足预设要求的初始风格转换模型，输出为目标风格转换模型。
在步骤203的基础上，本步骤旨在由上述执行主体将目标风格转换关系的学习效果满足预设要求的初始风格转换模型，输出为目标风格转换模型，即因满足预设要求而被输出的目标风格转换模型为完成训练的目标风格转换模型。
具体的，该预设要求可以表现为转换效果的转换精度、在满足风格转换后图像被判别为转换后风格的基础上与风格转换前图像之间的相似程度等等，也可以表现为通用的训练迭代次数、用于表征学习效果的损失函数的损失值是否处于预设区间等。
本公开实施例提供的图像风格转换模型的训练方法，在常规仅基于对应相同图像内容的不同风格的图像对训练得到风格转换模型的基础上，还增加了标注了风格转换前图像中需要保留至风格转换后图像的保留部分的标注信息，以在标注信息所指示的保留部分的辅助下，使得改进后的风格转换模型能够使得额外学习到将风格转换前图像的哪些特征尽可能的保留在风格转换后图像的信息，进而使得最终训练得到的风格转换模型可以在输出的实际风格转换后图像中保留更多的实际风格转换前图像的细节信息，尤其在人像的不同风格转换过程可以更好的保留实物风格的人像中的表情等细节信息。
请参考图3，图3为本公开实施例提供的一种获取活体人脸图像集的方法的流程图，即针对图2所示的流程200中的步骤202提供了一种具体的实现方式，流程200中的其它步骤并不做调整，也将本实施例所提供的具体实现方式以替换步骤201的方式得到一个新的完整实施例。其中流程300包括以下步骤：
步骤301：控制初始风格转换模型的基础处理分支从样本图像对中，学习到用于描述相同图像内容在不同风格之间进行变换的基础风格转换关系；
步骤302：控制初始风格转换模型的额外处理分支从标注信息中，学习到用于描述将风格转换前图像中的部分图像内容保留至风格转换后图像的辅助风格转换关系；
即本实施例提供了一种通过共同构成初始风格转换模型的不同处理分支，来分别从不同的训练样本中学习到基础风格转换关系和辅助风格转换关系的实现方案，本实施例中的基础处理分支为本实施例所实际使用的风格转换模型的标准配置，即该基础处理分支被就用于从对应相同图像内容的样本图像对中学习到该基础风格转换关系，而额外处理分支则是本实施例在标注配置基础上新增的处理分支，被控制用于从样本图像对中的风格转换前图像和相应的标注信息中学习到不同原图中的哪些部分应当属于最应当保留至风格转换后图像的部分或图像特征。
为便于理解图3所示方案，本实施例还具体以Pix2PixHD模型为例，通过图4提供了一种具体的改进后模型的结构示意图：
Pix2PixHD是一种用CNN(Convolutional Neural Networks，卷积神经网络构建出的输入-输出的映射模型，以实物风格的真人图像和卡通风格的卡通图像为例，标准版的Pix2PixHD通常使用对应相同人像的实物-卡通图像对作为训练样本进行训练，可以让该模型学到从将人像从实物风格转换到卡通风格的映射关系(即上述实施例所提及的使用基础处理分支学习到基础风格转换关系)。
但上述常规方案由于满足训练要求的样本图像对难找，通常都是通过诸如StyleMapGAN(可直译为风格图生成对抗网络)等图像重构图像生成的，这就使得据此构建出的样本图像对反应在人像中都拥有相对统一的五官、表情特征等，无法保留原实物图的五官、表情信息。
为解决这一问题，本实施例给出了一种改进后的Pix2PixHD的生成器网络结构的示意图，如图4所示，上半部分中所框定区域较小的框内表示Pix2PixHD标准版的生成器G2，model代表最后一层卷积网络之前的所有网络，在标准版的Pix2PixHD中model的输出经过卷积层(conv)、使用双曲正切(tanh)激活函数的激活层后得到了基础输出图像，上半部分所框定区域较大的框内则描述Pix2PixHD标准版的这一过程。
为尽可能的保留原实物图的五官、表情信息等细节特征，本实施在上半部标准版结构的基础上引入了attention机制(即注意力机制)：将在model的输出端额外建立一个新的处理分支，新的处理分支包含一个独立的卷积层(conv)、使用Sigmoid(中文名为：对数几率函数、对率函数，也因其形状近似于字母“S”，被称为S型生长曲线函数)作为激活函数的激活层，最终得到一个和基础输出图像形状完全一致的输出，由于该输出是在使用Sigmoid激活函数的激活层的处理下得到，结合Sigmoid函数的特性，将能够根据标注信息将每个像素的取值范围确定在(0，1)之间，因而可以把它作为一张mask(掩码或称为掩膜)。
即额外处理分支为通过对最后一层卷积网络输出的原始特征图基于Sigmoid激活函数进行处理的处理分支，风格转换前图像中越靠近保留部分的像素点对应于Sigmoid激活函数中越接近1的部分、越远离保留部分的像素点对应于Sigmoid激活函数中越接近0的部分。以更好的区分保留部分的保留程度和非保留部分的舍弃程度。
进一步的，在分别确定基础风格转换关系和辅助风格转换关系之后，得到目标风格变换关系的方式则可以具体为：
响应于辅助风格转换关系为对应于Sigmoid激活函数的各像素点信息的调整系数，通过下述公式计算得到目标风格转换关系：
目标风格转换关系＝按基础风格转换关系转换得到的风格转换后图像的各像素点信息×调整系数+与风格转换后图像对应的风格转换前图像的各像素点信息×(1-调整系数)；其中，调整系数介于0～1之间。
对应图4，可以理解为将通过新的处理分支得到的mask作为生成最终结果的系数(介于0～1之间)，将基础处理分支输出的基础输出图像与原始输入图像(即样本图像对中的风格转换前图像)整合起来，具体操作可以为：最终输出图像＝基础输出图像×mask+原始输入图像×(1-mask)。
即通过引入注意力机制将不会使得模型因网络太深而丢失原本的输入特征信息，进而在人像风格转换场景下较好的保留真人的五官、表情等特征信息，使得生成的卡通图片和真人保持较高的相似性。
请参考图5，图5为本公开实施例提供的一种获取反光人脸图像集的方法的流程图，即针对图2所示的流程200中的步骤201中如何获取到对应相同图像内容的样本图像对的部分，提供了一种具体的实现方式，流程200中的其它步骤并不做调整，也将本实施例所提供的具体实现方式以替换步骤201的方式得到一个新的完整实施例。其中流程500包括以下步骤：
步骤501：获取对应不同图像内容的第一风格样本图像和第二风格样本图像；
应当理解的是，对应不同图像内容的第一风格样本图像和第二风格样本图像将十分容易获得，应当于找到任意图像内容类型相同的第一风格图像和第二风格图像即可，以人像场景为例，可以具体为均描述人的实物图像和卡通图像，但不限制描述对象是否相同。
步骤502：将第一风格样本图像和第二风格样本图像输入InterFaceGAN；
步骤503：利用InterFaceGAN的分类器确定区分不同风格的样本图像的特征法向量；
步骤504：根据不同风格的样本图像各自的特征与特征法向量的差异，生成与第一风格样本图像对应相同图像内容的新第二风格样本图像，或生成与第二风格样本图像对应相同图像的新第一风格样本图像；
步骤505：基于对应相同图像的第一风格样本图像和新第二风格样本图像或新第一风格样本图像和第二风格样本图像，得到分别使用第一风格和第二风格描绘相同图像内容的样本图像对。
InterFaceGAN是一种特殊的GAN(Generative Adversarial Networks，生成式对抗网络)，其中文名可直译为人脸生成对抗网络，常用于人脸图像的处理，例如分类、界定类型等，正因为其常用与分类，InterFaceGAN中设置有一个较好的区分不同类型的人脸图像的分类器，本实施例正是借助该分类器确定出区别第一风格样本图像和第二风格样本图像之间的风格差异的特征法向量，然后再根据不同风格的样本图像各自的特征与特征法向量的差异，生成与第一风格样本图像对应相同图像内容的新第二风格样本图像，或生成与第二风格样本图像对应相同图像的新第一风格样本图像，进而得到对应相同图像内容的样本图像对。
这一过程可以简单理解为：将借助特征法向量确定出的卡通风格视为卡通样本图像的一个属性，然后在InterFaceGAN基于特征法向量确定出的W空间中将实物样本图像的实物风格属性迁移至卡通风格属性，进而通过风格属性迁移的方式得到与真人的实物风格图像对应的卡通风格图像。
请参考图6，图6为本公开实施例提供的一种通过编码-解码模型提取反光特征的方法的流程图，即针对图2所示的流程200中的步骤201中如何获取到对应相同图像内容的样本图像对的部分，提供了另一种具体的实现方式，流程200中的其它步骤并不做调整，也将本实施例所提供的具体实现方式以替换步骤201的方式得到一个新的完整实施例。其中流程600包括以下步骤：
步骤601：获取对应不同图像内容的第一风格样本图像和第二风格样本图像；
步骤602：基于混合有多张第一风格样本图像和多张第二风格样本图像的训练样本集，训练得到的风格图生成对抗网络；
步骤603：分别将多张第一风格样本图像和多张第二风格样本图像输入风格图生成对抗网络，并基于风格图生成对抗网络的编码层输出结果确定出的第一风格潜在特征和第二风格潜在特征；
步骤604：确定第一风格潜在特征与第二风格潜在特征之间的特征差异；
步骤605：根据特征差异生成与第一风格样本图像对应相同图像内容的新第二风格样本图像，或生成与第二风格样本图像对应相同图像的新第一风格样本图像；
步骤606：基于对应相同图像的第一风格样本图像和新第二风格样本图像或新第一风格样本图像和第二风格样本图像，得到分别使用第一风格和第二风格描绘相同图像内容的样本图像对。
区别于图5所示使用InterFaceGAN的实现方案，本实施例则换用StyleMapGAN(可直译为风格图生成对抗网络)来实现类似的效果，StyleMapGAN中包含一个编码层，该编码层通过不断的下采样可以得到表征输入图像的全部特征的多维参数(即Stylemap，可直译为风格图)，然后通过对一个风格的多张图像的Stylemap求取均值的方式得到能够代表这一风格的代表性潜在特征。然后通过求取不同风格的代表性潜在特征的差异的方式，得到用于指导将一个风格转换为另一风格的编辑方向，进而据此得到对应图像内容的另一风格图像。
需要说明的是，无论是图5还是图6的方案，均存在无法保留原图的细节特征的问题，只不过程度略有不同而已。
上述各实施例从各个方面阐述了如何训练得到风格转换模型，为了尽可能的从实际使用场景突出训练出的风格转换模型所起到的效果，本公开还具体提供了一种使用训练好的风格转换模型来解决实际问题的方案，一种图像风格转换方法包括如下步骤：
获取风格待转换图像；
调用目标风格转换模型转换风格待转换图像的图像风格，得到风格转换后图像。
进一步参考图7和图8，作为对上述各图所示方法的实现，本公开分别提供了一种图像风格转换模型的训练装置实施例和一种图像风格转换装置的实施例，图像风格转换模型的训练装置实施例与图2所示的图像风格转换模型的训练方法实施例相对应，图像风格转换装置实施例与图像风格转换方法实施例相对应。上述装置具体可以应用于各种电子设备中。
如图7所示，本实施例的图像风格转换模型的训练装置800可以包括：样本图像对及标注信息获取单元701、基础&辅助风格转换关系学习单元702、目标风格转换关系确定单元703、目标风格转换模型输出单元704。其中，样本图像对及标注信息获取单元701，被配置成获取使用不同风格描绘相同图像内容的样本图像对，以及对样本图像对中的风格转换前图像附加的标注信息；其中，标注信息标注了风格转换前图像中需要保留至风格转换后图像的保留部分；基础&辅助风格转换关系学习单元702，被配置成控制初始风格转换模型分别从样本图像对和标注信息中学习到基础风格转换关系和辅助风格转换关系；目标风格转换关系确定单元703，被配置成基于辅助风格转换关系调整基础风格转换关系，得到目标风格转换关系；目标风格转换模型输出单元704，被配置成将目标风格转换关系的学习效果满足预设要求的初始风格转换模型，输出为目标风格转换模型。
在本实施例中，图像风格转换模型的训练装置700中：样本图像对及标注信息获取单元701、基础&辅助风格转换关系学习单元702、目标风格转换关系确定单元703、目标风格转换模型输出单元704的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-204的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，基础&辅助风格转换关系学习单元702可以被进一步配置成：
控制初始风格转换模型的基础处理分支从样本图像对中，学习到用于描述相同图像内容在不同风格之间进行变换的基础风格转换关系；
控制初始风格转换模型的额外处理分支从标注信息中，学习到用于描述将风格转换前图像中的部分图像内容保留至风格转换后图像的辅助风格转换关系。
在本实施例的一些可选的实现方式中，额外处理分支为通过对最后一层卷积网络输出的原始特征图基于Sigmoid激活函数进行处理的处理分支，风格转换前图像中越靠近保留部分的像素点对应于Sigmoid激活函数中越接近1的部分、越远离保留部分的像素点对应于Sigmoid激活函数中越接近0的部分。
在本实施例的一些可选的实现方式中，目标风格转换关系确定单元703可以被进一步配置成：
响应于辅助风格转换关系为对应于Sigmoid激活函数的各像素点信息的调整系数，通过下述公式计算得到目标风格转换关系：
目标风格转换关系＝按基础风格转换关系转换得到的风格转换后图像的各像素点信息×调整系数+与风格转换后图像对应的风格转换前图像的各像素点信息×(1-调整系数)；其中，调整系数介于0～1之间。
在本实施例的一些可选的实现方式中，样本图像对及标注信息获取单元701可以包括被配置成获取使用不同风格描绘相同图像内容的样本图像对的样本图像对获取子单元，样本图像对获取子单元可以被进一步配置成：
获取对应不同图像内容的第一风格样本图像和第二风格样本图像；
将第一风格样本图像和第二风格样本图像输入InterFaceGAN；
利用InterFaceGAN的分类器确定区分不同风格的样本图像的特征法向量；
根据不同风格的样本图像各自的特征与特征法向量的差异，生成与第一风格样本图像对应相同图像内容的新第二风格样本图像，或生成与第二风格样本图像对应相同图像的新第一风格样本图像；
基于对应相同图像的第一风格样本图像和新第二风格样本图像或新第一风格样本图像和第二风格样本图像，得到分别使用第一风格和第二风格描绘相同图像内容的样本图像对。
在本实施例的一些可选的实现方式中，样本图像对及标注信息获取单元701可以包括被配置成获取使用不同风格描绘相同图像内容的样本图像对的样本图像对获取子单元，样本图像对获取子单元可以被进一步配置成：
获取对应不同图像内容的第一风格样本图像和第二风格样本图像；
基于混合有多张第一风格样本图像和多张第二风格样本图像的训练样本集，训练得到的风格图生成对抗网络；
分别将多张第一风格样本图像和多张第二风格样本图像输入风格图生成对抗网络，并基于风格图生成对抗网络的编码层输出结果确定出的第一风格潜在特征和第二风格潜在特征；
确定第一风格潜在特征与第二风格潜在特征之间的特征差异；
根据特征差异生成与第一风格样本图像对应相同图像内容的新第二风格样本图像，或生成与第二风格样本图像对应相同图像的新第一风格样本图像；
基于对应相同图像的第一风格样本图像和新第二风格样本图像或新第一风格样本图像和第二风格样本图像，得到分别使用第一风格和第二风格描绘相同图像内容的样本图像对。
如图8所示，本实施例的图像风格转换装置800可以包括：风格待转换图像获取单元801、模型调用单元802。其中，风格待转换图像获取单元801，被配置成获取风格待转换图像；
模型调用单元802，被配置成调用目标风格转换模型转换风格待转换图像的图像风格，得到风格转换后图像；其中，目标风格转换模型根据图像风格转换模型的训练装置700得到。
在本实施例中，图像风格转换装置700中：风格待转换图像获取单元801、模型调用单元802的具体处理及其所带来的技术效果可分别对应方法实施例中的相关说明，在此不再赘述。
本实施例作为对应于上述方法实施例的装置实施例存在，本实施例提供的图像风格转换模型的训练装置以及图像风格转换装置，在常规仅基于对应相同图像内容的不同风格的图像对训练得到风格转换模型的基础上，还增加了标注了风格转换前图像中需要保留至风格转换后图像的保留部分的标注信息，以在标注信息所指示的保留部分的辅助下，使得改进后的风格转换模型能够使得额外学习到将风格转换前图像的哪些特征尽可能的保留在风格转换后图像的信息，进而使得最终训练得到的风格转换模型可以在输出的实际风格转换后图像中保留更多的实际风格转换前图像的细节信息，尤其在人像的不同风格转换过程可以更好的保留实物风格的人像中的表情等细节信息。
根据本公开的实施例，本公开还提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现上述任一实施例描述的图像风格转换模型的训练方法和/或图像风格转换方法。
根据本公开的实施例，本公开还提供了一种可读存储介质，该可读存储介质存储有计算机指令，该计算机指令用于使计算机执行时能够实现上述任一实施例描述的图像风格转换模型的训练方法和/或图像风格转换方法。
本公开实施例提供了一种计算机程序产品，该计算机程序在被处理器执行时能够实现上述任一实施例描述的图像风格转换模型的训练方法和/或图像风格转换方法。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如图像风格转换模型的训练方法和/或图像风格转换方法。例如，在一些实施例中，图像风格转换模型的训练方法和/或图像风格转换方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的图像风格转换模型的训练方法和/或图像风格转换方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像风格转换模型的训练方法和/或图像风格转换方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中存在的管理难度大，业务扩展性弱的缺陷。
本公开实施例的技术方案，在常规仅基于对应相同图像内容的不同风格的图像对训练得到风格转换模型的基础上，还增加了标注了风格转换前图像中需要保留至风格转换后图像的保留部分的标注信息，以在标注信息所指示的保留部分的辅助下，使得改进后的风格转换模型能够使得额外学习到将风格转换前图像的哪些特征尽可能的保留在风格转换后图像的信息，进而使得最终训练得到的风格转换模型可以在输出的实际风格转换后图像中保留更多的实际风格转换前图像的细节信息，尤其在人像的不同风格转换过程可以更好的保留实物风格的人像中的表情等细节信息。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (17)
1.一种图像风格转换模型的训练方法，包括：
获取使用不同风格描绘相同图像内容的样本图像对，以及对所述样本图像对中的风格转换前图像附加的标注信息；其中，所述标注信息标注了所述风格转换前图像中需要保留至风格转换后图像的保留部分；
控制初始风格转换模型分别从所述样本图像对和所述标注信息中学习到基础风格转换关系和辅助风格转换关系；
基于所述辅助风格转换关系调整所述基础风格转换关系，得到目标风格转换关系；
将所述目标风格转换关系的学习效果满足预设要求的初始风格转换模型，输出为目标风格转换模型。
2.根据权利要求1所述的方法，其中，所述控制初始风格转换模型分别从所述样本图像对和所述标注信息中学习到基础风格转换关系和辅助风格转换关系，包括：
控制所述初始风格转换模型的基础处理分支从所述样本图像对中，学习到用于描述相同图像内容在不同风格之间进行变换的基础风格转换关系；
控制所述初始风格转换模型的额外处理分支从所述标注信息中，学习到用于描述将所述风格转换前图像中的部分图像内容保留至所述风格转换后图像的辅助风格转换关系。
3.根据权利要求2所述的方法，其中，所述额外处理分支为通过对最后一层卷积网络输出的原始特征图基于对数几率函数Sigmoid激活函数进行处理的处理分支，所述风格转换前图像中越靠近所述保留部分的像素点对应于所述Sigmoid激活函数中越接近1的部分、越远离所述保留部分的像素点对应于所述Sigmoid激活函数中越接近0的部分。
4.根据权利要求3所述的方法，其中，所述基于所述辅助风格转换关系调整所述基础风格转换关系，得到目标风格转换关系，包括：
响应于所述辅助风格转换关系为对应于所述Sigmoid激活函数的各像素点信息的调整系数，通过下述公式计算得到所述目标风格转换关系：
所述目标风格转换关系＝按所述基础风格转换关系转换得到的风格转换后图像的各像素点信息×调整系数+与所述风格转换后图像对应的风格转换前图像的各像素点信息×(1-调整系数)；其中，所述调整系数介于0～1之间。
5.根据权利要求1-4任一项所述的方法，其中，所述获取使用不同风格描绘相同图像内容的样本图像对，包括：
获取对应不同图像内容的第一风格样本图像和第二风格样本图像；
将所述第一风格样本图像和所述第二风格样本图像输入人脸生成对抗网络InterFaceGAN；
利用所述InterFaceGAN的分类器确定区分不同风格的样本图像的特征法向量；
根据不同风格的样本图像各自的特征与所述特征法向量的差异，生成与所述第一风格样本图像对应相同图像内容的新第二风格样本图像，或生成与所述第二风格样本图像对应相同图像的新第一风格样本图像；
基于对应相同图像的第一风格样本图像和新第二风格样本图像或新第一风格样本图像和第二风格样本图像，得到分别使用第一风格和第二风格描绘相同图像内容的样本图像对。
6.根据权利要求1-4任一项所述的方法，其中，所述获取使用不同风格描绘相同图像内容的样本图像对，包括：
获取对应不同图像内容的第一风格样本图像和第二风格样本图像；
基于混合有多张所述第一风格样本图像和所述多张第二风格样本图像的训练样本集，训练得到的风格图生成对抗网络；
分别将多张所述第一风格样本图像和多张所述第二风格样本图像输入所述风格图生成对抗网络，并基于所述风格图生成对抗网络的编码层输出结果确定出的第一风格潜在特征和第二风格潜在特征；
确定所述第一风格潜在特征与所述第二风格潜在特征之间的特征差异；
根据所述特征差异生成与所述第一风格样本图像对应相同图像内容的新第二风格样本图像，或生成与所述第二风格样本图像对应相同图像的新第一风格样本图像；
基于对应相同图像的第一风格样本图像和新第二风格样本图像或新第一风格样本图像和第二风格样本图像，得到分别使用第一风格和第二风格描绘相同图像内容的样本图像对。
7.一种图像风格转换方法，包括：
获取风格待转换图像；
调用目标风格转换模型转换所述风格待转换图像的图像风格，得到风格转换后图像；其中，所述目标风格转换模型根据权利要求1-6中任一项所述的图像风格转换模型的训练方法得到。
8.一种图像风格转换模型的训练装置，包括：
样本图像对及标注信息获取单元，被配置成获取使用不同风格描绘相同图像内容的样本图像对，以及对所述样本图像对中的风格转换前图像附加的标注信息；其中，所述标注信息标注了所述风格转换前图像中需要保留至风格转换后图像的保留部分；
基础&辅助风格转换关系学习单元，被配置成控制初始风格转换模型分别从所述样本图像对和所述标注信息中学习到基础风格转换关系和辅助风格转换关系；
目标风格转换关系确定单元，被配置成基于所述辅助风格转换关系调整所述基础风格转换关系，得到目标风格转换关系；
目标风格转换模型输出单元，被配置成将所述目标风格转换关系的学习效果满足预设要求的初始风格转换模型，输出为目标风格转换模型。
9.根据权利要求8所述的装置，其中，所述基础&辅助风格转换关系学习单元被进一步配置成：
控制所述初始风格转换模型的基础处理分支从所述样本图像对中，学习到用于描述相同图像内容在不同风格之间进行变换的基础风格转换关系；
控制所述初始风格转换模型的额外处理分支从所述标注信息中，学习到用于描述将所述风格转换前图像中的部分图像内容保留至所述风格转换后图像的辅助风格转换关系。
10.根据权利要求9所述的装置，其中，所述额外处理分支为通过对最后一层卷积网络输出的原始特征图基于对数几率函数Sigmoid激活函数进行处理的处理分支，所述风格转换前图像中越靠近所述保留部分的像素点对应于所述Sigmoid激活函数中越接近1的部分、越远离所述保留部分的像素点对应于所述Sigmoid激活函数中越接近0的部分。
11.根据权利要求10所述的装置，其中，所述目标风格转换关系确定单元被进一步配置成：
响应于所述辅助风格转换关系为对应于所述Sigmoid激活函数的各像素点信息的调整系数，通过下述公式计算得到所述目标风格转换关系：
所述目标风格转换关系＝按所述基础风格转换关系转换得到的风格转换后图像的各像素点信息×调整系数+与所述风格转换后图像对应的风格转换前图像的各像素点信息×(1-调整系数)；其中，所述调整系数介于0～1之间。
12.根据权利要求8-11任一项所述的装置，其中，所述样本图像对及标注信息获取单元包括被配置成获取使用不同风格描绘相同图像内容的样本图像对的样本图像对获取子单元，所述样本图像对获取子单元被进一步配置成：
获取对应不同图像内容的第一风格样本图像和第二风格样本图像；
将所述第一风格样本图像和所述第二风格样本图像输入人脸生成对抗网络InterFaceGAN；
利用所述InterFaceGAN的分类器确定区分不同风格的样本图像的特征法向量；
根据不同风格的样本图像各自的特征与所述特征法向量的差异，生成与所述第一风格样本图像对应相同图像内容的新第二风格样本图像，或生成与所述第二风格样本图像对应相同图像的新第一风格样本图像；
基于对应相同图像的第一风格样本图像和新第二风格样本图像或新第一风格样本图像和第二风格样本图像，得到分别使用第一风格和第二风格描绘相同图像内容的样本图像对。
13.根据权利要求8-11任一项所述的装置，其中，所述样本图像对及标注信息获取单元包括被配置成获取使用不同风格描绘相同图像内容的样本图像对的样本图像对获取子单元，所述样本图像对获取子单元被进一步配置成：
获取对应不同图像内容的第一风格样本图像和第二风格样本图像；
基于混合有多张所述第一风格样本图像和所述多张第二风格样本图像的训练样本集，训练得到的风格图生成对抗网络；
分别将多张所述第一风格样本图像和多张所述第二风格样本图像输入所述风格图生成对抗网络，并基于所述风格图生成对抗网络的编码层输出结果确定出的第一风格潜在特征和第二风格潜在特征；
确定所述第一风格潜在特征与所述第二风格潜在特征之间的特征差异；
根据所述特征差异生成与所述第一风格样本图像对应相同图像内容的新第二风格样本图像，或生成与所述第二风格样本图像对应相同图像的新第一风格样本图像；
基于对应相同图像的第一风格样本图像和新第二风格样本图像或新第一风格样本图像和第二风格样本图像，得到分别使用第一风格和第二风格描绘相同图像内容的样本图像对。
14.一种图像风格转换装置，包括：
风格待转换图像获取单元，被配置成获取风格待转换图像；
模型调用单元，被配置成调用目标风格转换模型转换所述风格待转换图像的图像风格，得到风格转换后图像；其中，所述目标风格转换模型根据权利要求8-13中任一项所述的图像风格转换模型的训练装置得到。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的图像风格转换模型的训练方法和/或权利要求7所述的图像风格转换方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的图像风格转换模型的训练方法和/或权利要求7所述的图像风格转换方法。
17.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1-6中任一项所述图像风格转换模型的训练方法的步骤和/或权利要求7所述图像风格转换方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111150129.7A CN113850714A (zh) | 2021-09-29 | 2021-09-29 | 图像风格转换模型的训练、图像风格转换方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111150129.7A CN113850714A (zh) | 2021-09-29 | 2021-09-29 | 图像风格转换模型的训练、图像风格转换方法及相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113850714A true CN113850714A (zh) | 2021-12-28 |
Family
ID=78977069
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111150129.7A Pending CN113850714A (zh) | 2021-09-29 | 2021-09-29 | 图像风格转换模型的训练、图像风格转换方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113850714A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114610677A (zh) * | 2022-03-10 | 2022-06-10 | 腾讯科技（深圳）有限公司 | 一种转换模型的确定方法和相关装置 |
| CN115439307A (zh) * | 2022-08-08 | 2022-12-06 | 荣耀终端有限公司 | 风格转换方法、风格转换模型的生成方法和风格转换*** |
| CN116664719A (zh) * | 2023-07-28 | 2023-08-29 | 腾讯科技（深圳）有限公司 | 一种图像重绘模型训练方法、图像重绘方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111489287A (zh) * | 2020-04-10 | 2020-08-04 | 腾讯科技（深圳）有限公司 | 图像转换方法、装置、计算机设备和存储介质 |
| CN112967180A (zh) * | 2021-03-17 | 2021-06-15 | 福建库克智能科技有限公司 | 一种生成对抗网络的训练方法、图像风格转换方法和装置 |
| US20210202072A1 (en) * | 2019-12-27 | 2021-07-01 | Coreline Soft Co., Ltd. | Medical image diagnosis assistance apparatus and method for providing user-preferred style based on medical artificial neural network |
| CN113255813A (zh) * | 2021-06-02 | 2021-08-13 | 北京理工大学 | 一种基于特征融合的多风格图像生成方法 |
| CN113379594A (zh) * | 2021-06-29 | 2021-09-10 | 北京百度网讯科技有限公司 | 脸型变换模型训练、脸型变换方法及相关装置 |
-
2021
- 2021-09-29 CN CN202111150129.7A patent/CN113850714A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210202072A1 (en) * | 2019-12-27 | 2021-07-01 | Coreline Soft Co., Ltd. | Medical image diagnosis assistance apparatus and method for providing user-preferred style based on medical artificial neural network |
| CN111489287A (zh) * | 2020-04-10 | 2020-08-04 | 腾讯科技（深圳）有限公司 | 图像转换方法、装置、计算机设备和存储介质 |
| CN112967180A (zh) * | 2021-03-17 | 2021-06-15 | 福建库克智能科技有限公司 | 一种生成对抗网络的训练方法、图像风格转换方法和装置 |
| CN113255813A (zh) * | 2021-06-02 | 2021-08-13 | 北京理工大学 | 一种基于特征融合的多风格图像生成方法 |
| CN113379594A (zh) * | 2021-06-29 | 2021-09-10 | 北京百度网讯科技有限公司 | 脸型变换模型训练、脸型变换方法及相关装置 |
Non-Patent Citations (2)
| Title |
|---|
| 朱海峰;邵清;: "基于深度学习的图像风格转换研究", 软件, no. 03, 15 March 2020 (2020-03-15) * |
| 陈小龙: "基于深度学习的文本风格转换研究与实现", 中国优秀硕士学位论文全文数据库, 15 May 2021 (2021-05-15) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114610677A (zh) * | 2022-03-10 | 2022-06-10 | 腾讯科技（深圳）有限公司 | 一种转换模型的确定方法和相关装置 |
| CN115439307A (zh) * | 2022-08-08 | 2022-12-06 | 荣耀终端有限公司 | 风格转换方法、风格转换模型的生成方法和风格转换*** |
| CN116664719A (zh) * | 2023-07-28 | 2023-08-29 | 腾讯科技（深圳）有限公司 | 一种图像重绘模型训练方法、图像重绘方法及装置 |
| CN116664719B (zh) * | 2023-07-28 | 2023-12-29 | 腾讯科技（深圳）有限公司 | 一种图像重绘模型训练方法、图像重绘方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021254499A1 (zh) | 编辑模型生成、人脸图像编辑方法、装置、设备及介质 | |
| CN113850714A (zh) | 图像风格转换模型的训练、图像风格转换方法及相关装置 | |
| US20220222925A1 (en) | Artificial intelligence-based image processing method and apparatus, device, and storage medium | |
| CN115345980B (zh) | 个性化纹理贴图的生成方法及装置 | |
| CN114612290B (zh) | 图像编辑模型的训练方法和图像编辑方法 | |
| CN114820905B (zh) | 虚拟形象生成方法、装置、电子设备及可读存储介质 | |
| CN113177449B (zh) | 人脸识别的方法、装置、计算机设备及存储介质 | |
| US20230143452A1 (en) | Method and apparatus for generating image, electronic device and storage medium | |
| CN110728319B (zh) | 一种图像生成方法、装置以及计算机存储介质 | |
| CN116168119B (zh) | 图像编辑方法、装置、电子设备、存储介质及程序产品 | |
| CN114494784A (zh) | 深度学习模型的训练方法、图像处理方法和对象识别方法 | |
| CN114092759A (zh) | 图像识别模型的训练方法、装置、电子设备及存储介质 | |
| US20230047748A1 (en) | Method of fusing image, and method of training image fusion model | |
| CN116611496A (zh) | 文本到图像的生成模型优化方法、装置、设备及存储介质 | |
| CN115861462A (zh) | 图像生成模型的训练方法、装置、电子设备及存储介质 | |
| CN113177892A (zh) | 生成图像修复模型的方法、设备、介质及程序产品 | |
| KR102399255B1 (ko) | 인공지능을 이용한 웹툰 제작 시스템 및 방법 | |
| CN116402914B (zh) | 用于确定风格化图像生成模型的方法、装置及产品 | |
| CN111815748B (zh) | 一种动画处理方法、装置、存储介质及电子设备 | |
| CN117635275A (zh) | 基于大数据的智能电商运营商品管理平台及方法 | |
| CN112560854A (zh) | 用于处理图像的方法、装置、设备以及存储介质 | |
| CN115775300A (zh) | 人体模型的重建方法、人体重建模型的训练方法及装置 | |
| CN113379594A (zh) | 脸型变换模型训练、脸型变换方法及相关装置 | |
| CN114972910A (zh) | 图文识别模型的训练方法、装置、电子设备及存储介质 | |
| CN114926322A (zh) | 图像生成方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |