CN113327194A - 图像风格迁移方法、装置、设备和存储介质 - Google Patents

图像风格迁移方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN113327194A
CN113327194A CN202110739068.1A CN202110739068A CN113327194A CN 113327194 A CN113327194 A CN 113327194A CN 202110739068 A CN202110739068 A CN 202110739068A CN 113327194 A CN113327194 A CN 113327194A
Authority
CN
China
Prior art keywords
data
style
characteristic
feature
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110739068.1A
Other languages
English (en)
Inventor
林天威
李甫
何栋梁
李鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110739068.1A priority Critical patent/CN113327194A/zh
Publication of CN113327194A publication Critical patent/CN113327194A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供了一种图像风格迁移方法、装置、设备和存储介质，涉及人工智能领域，尤其涉及计算机视觉和深度学习技术，具体可用于图像处理场景。具体实现方案为：确定内容图在目标编码尺度的至少一个关联编码尺度下的内容特征编码数据，以及风格图在对应关联编码尺度下的风格特征编码数据；根据各所述内容特征编码数据和各所述风格特征编码数据，确定所述风格图在所述目标编码尺度下的统计特征数据；根据所述目标编码尺度下的所述统计特征数据和内容特征编码数据，生成风格迁移图。根据本公开的技术，提高了图像风格化迁移时的风格化效果。

Description

图像风格迁移方法、装置、设备和存储介质
技术领域
本公开涉及人工智能领域，尤其涉及计算机视觉和深度学习技术，具体可用于图像处理场景。
背景技术
图像风格迁移是指将图像的语义内容信息与其他图像的色彩、纹理等风格信息结合在一起的技术，使得图像在保有原有图像内容信息的同时，具有新的视觉风格。
发明内容
本公开提供了一种图像风格迁移方法、装置、设备和存储介质。
根据本公开的一方面，提供了一种图像风格迁移方法，包括：
确定内容图在目标编码尺度的至少一个关联编码尺度下的内容特征编码数据，以及风格图在对应关联编码尺度下的风格特征编码数据；
根据各内容特征编码数据和各风格特征编码数据，确定风格图在目标编码尺度下的统计特征数据；
根据目标编码尺度下的统计特征数据和内容特征编码数据，生成风格迁移图。
根据本公开的另一方面，还提供了一种图像风格迁移装置，包括：
特征编码数据确定模块，用于确定内容图在目标编码尺度的至少一个关联编码尺度下的内容特征编码数据，以及风格图在对应关联编码尺度下的风格特征编码数据；
统计特征数据确定模块，用于根据各内容特征编码数据和各风格特征编码数据，确定风格图在目标编码尺度下的统计特征数据；
风格迁移结果生成模块，用于根据目标编码尺度下的统计特征数据和内容特征编码数据，生成风格迁移图。
根据本公开的另一方面，还提供了一种电子设备，包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开任意实施例所提供的一种图像风格迁移方法。
根据本公开的另一方面，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开任意实施例所提供的一种图像风格迁移方法。
根据本公开的另一方面，还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开任意实施例所提供的一种图像风格迁移方法。
根据本公开的技术，提高了图片风格化迁移时的风格化效果。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开实施例提供的一种图像风格迁移方法的流程图；
图2是本公开实施例提供的另一种图像风格迁移方法的流程图；
图3是本公开实施例提供的另一种图像风格迁移方法的流程图；
图4A是本公开实施例提供的一种图像风格迁移模型的结构图；
图4B是本公开实施例提供的一种归一化网络的网络结构图；
图4C是本公开实施例提供的图像风格迁移结果对比图；
图5是本公开实施例提供的一种图像风格迁移装置的结构图；
图6是用来实现本公开实施例的图像风格迁移方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开实施例所提供的各图像风格迁移方法和图像风格迁移装置，适用于在图片处理场景中，将风格图中的纹理和边缘等信息，迁移至内容图中，从而在保留内容图结构的基础上，形成新的视觉风格的应用场景。本公开所提供的各图像风格迁移方法，可以由图像风格迁移装置执行，该装置可以采用软件和/或硬件实现，并可配置于电子设备中。
为了便于理解，本公开首先对图像风格迁移方法的相关内容进行解释说明。
参见图1所示的一种图像风格迁移方法，包括：
S101、确定内容图在目标编码尺度的至少一个关联编码尺度下的内容特征编码数据，以及风格图在对应关联编码尺度下的风格特征编码数据。
其中，内容图即为待处理图片，风格图用于表征内容图最终所要呈现的图片风格。其中，内容图和风格图可以预先存储在电子设备本地、或与电子设备所关联的其他存储设备或云端中，进而在需要时进行内容图和风格图的查找获取。
其中，目标编码尺度为待进行统计特征数据确定的编码尺度，可以由技术人员根据需要或经验值进行确定。需要说明的是，本公开对目标编码尺度的数量不作任何限定，可以是对内容图和风格图进行特征编码处理的至少部分编码尺度。
其中，关联编码尺度可以包括下述至少一种：目标编码尺度的相邻编码尺度、输出的内容特征编码数据分辨率小于目标编码尺度对应分辨率的编码尺度、和目标编码尺度自身。
确定内容图在目标编码尺度的至少一个关联编码尺度下的内容特征编码数据，以及风格图在对应编码尺度下的风格特征编码数据，可以是：通过设置有至少一个编码卷积模块的编码网络对内容图进行处理，得到各编码卷积模块输出的至少一个编码尺度下的内容特征编码数据；通过设置有至少一个编码卷积模块的编码网络对风格图进行处理，得到各编码卷积模块输出的至少一个编码尺度下的风格特征编码数据；针对每一目标编码尺度，获取该目标编码尺度的至少一个关联编码尺度的内容特征编码数据和风格特征编码数据，以供后续进行该目标编码尺度下的统计特征数据的确定。
需要说明的是，本公开对编码网络的具体网络结构不作任何限定，仅需编码网络能够输出不同编码尺度的特征编码数据(也即内容特征编码数据或风格特征编码数据)即可。其中，不同编码尺度的特征编码数据所表征的特征含义不同，例如可以包括颜色、边缘等浅层语义特征，还可以包括纹理等深层语义特征。
在一个可选实施例中，编码网络所设置的至少一个编码卷积模块可以级联设置，用于依次对所输入数据进行特征编码，并将所输出的特征编码结果作为级联设置的下一编码卷积模块的输入数据，进行后续处理。
在另一可选实施例中，编码网络所设置的至少一个编码卷积模块还可以并联设置，用于依次对所输入数据进行特征编码。其中，不同编码卷积模块所输入数据为对原始图像的下采样结果。其中，在进行内容特征编码数据确定时，原始图像即为内容图；在进行风格特征编码数据确定时，原始图像即为风格图。
在一个具体实现方式中，编码网络可以采用VGG(Visual Geometry Group，计算机视觉组)网络加以实现。
可以理解的是，为了保证内容图的内容特征编码数据以及风格图的风格特征编码数据的数据一致性，在一个可选实施例中，可以采用相同的编码网络，或者同一编码网络，分别对内容图和风格图进行编码处理，得到至少一个编码尺度下的特征编码数据组。其中，同一编码尺度下的特征编码数据组包括该编码尺度下所生成的内容特征编码数据和该编码尺度下所生成的风格特征编码数据。
在一个具体实现方式中，可以对内容图和风格图在至少一个编码尺度下进行特征编码，得到各编码尺度下的内容特征编码数据和风格特征编码数据；针对各目标编码尺度，将分辨率小于目标编码尺度对应内容特征编码数据的各内容特征编码数据，作为目标编码尺度的关联编码尺度下的内容特征编码数据；将分辨率小于目标编码尺度对应风格特征编码数据的各风格编码特征数据，作为目标编码尺度的关联编码尺度下的风格特征编码数据。
可以理解的是，通过上述方式进行目标编码尺度的关联编码尺度的内容特征编码数据和风格特征编码数据的确定，作为后续统计特征数据的确定依据，提高了统计特征数据确定过程所使用语义信息的丰富性和全面性，有助于提高目标编码尺度下的统计特征数据确定结果准确度。
S102、根据各内容特征编码数据和各风格特征编码数据，确定风格图在目标编码尺度下的统计特征数据。
其中，统计特征数据能够从整体角度对风格图的风格化特性进行数值量化。
可选的，统计特征数据可以包括均值特征数据，用于反映风格图的风格特征编码数据在各特征点的特征值的集中趋势。
可选的，统计特征数据可以包括方差特征数据或标准差特征数据，用于反映风格图的风格特征编码数据在各特征点的特征值的波动情况。
可以理解的是，在根据风格特征编码数据，确定风格图的统计特征数据时，引入内容图的内容特征编码数据，能够在进行风格图的统计特征数据生成过程中，兼顾内容图自身内容结构的特性，避免了由于机械的使用风格图进行自身统计特征数据的确定，导致所生成的统计特征数据不具备内容图针对性，致使最终生成的风格化结果中出现局部风格化程度不够或出现内容图像失真等情况的发生，影响图像的风格化效果。
需要说明的是，在进行风格图在目标编码尺度下的统计特征数据确定时，引入至少一个关联编码尺度下的特征编码数据，能够提高所使用数据的丰富性和全面性，从而有助于提高统计特征数据的确定结果准确度，从而有助于提高对内容图的风格化效果。
S103、根据目标编码尺度下的统计特征数据和内容特征编码数据，生成风格迁移图。
示例性的，可以根据目标编码尺度下的统计特征数据和内容特征编码数据，生成该目标编码尺度下的风格迁移特征数据；根据至少一个目标编码尺度下的风格迁移特征数据，生成风格迁移图。
本公开通过至少一个目标编码尺度下的风格迁移特征数据，进行风格迁移图，使得生成风格迁移图过程中，能够综合考虑多个目标编码尺度对应的关联编码尺度下的语义融合信息，减少了噪声的引入，从而避免了内容图像结构的失真和局部脏纹理的出现，从而提高了风格迁移图的风格化效果。
在一个可选实施例中，若统计特征数据包括均值特征数据，则可以根据均值特征数据和内容图的内容特征编码数据进行特征加和，得到风格迁移特征数据。
示例性的，均值特征数据的尺寸不同，则可以通过上采样或下采样的方式内容图的内容特征编码数据和均值特征数据进行尺寸调整，以使两者尺寸一致，为对内容图的风格化迁移奠定基础。
在另一可选实施例中，统计特征数据可以包括均值特征数据和标准差特征数据；相应的，根据标准差特征数据对内容图的内容特征编码数据进行处理，生成迁移量数据；将迁移量数据与均值特征进行特征加和，得到风格迁移特征数据。
在又一可选实施例中，统计特征数据可以包括均值特征数据和方差特征数据；相应的，根据方差特征数据确定标准差特征数据；根据标准差特征数据对内容图的内容特征编码数据进行处理，生成迁移量数据；将迁移量数据与均值特征进行特征加和，得到风格迁移特征数据。
示例性的，根据至少一个目标编码尺度下的风格迁移特征数据，生成风格迁移图，可以是对至少一个目标编码尺度下的风格迁移特征数据进行特征解码，生成风格迁移图。
本公开实施例通过引入目标图在目标编码尺度的至少一个关联编码尺度下的内容特征编码数据和风格图在对应关联编码尺度下的风格特征编码数据，进行风格图在目标编码尺度下的统计特征数据的生成，能够在进行风格图的统计特征数据生成过程中，兼顾内容图自身内容结构的特性，使得所生成的统计特征数据更具内容图针对性，避免了风格化结果中出现局部风格化程度不够或出现内容图像失真等情况的发生。另外，采用至少一个关联编码尺度的内容特征编码数据和风格特征编码数据，提高了所使用特征编码数据所携带语义信息的丰富性和全面性，从而提高了统计特征数据的确定结果准确度，进而提高了风格化迁移结果的效果。
在上述各技术方案的基础上，本公开还提供了一个实现图像风格迁移方法的可选实施例。在该实施例中，对风格图的统计特征数据的生成过程进行了优化改进。
参见图2所示的一种图像风格迁移方法，包括：
S201、确定内容图在目标编码尺度的至少一个关联编码尺度下的内容特征编码数据，以及风格图在对应关联编码尺度下的风格特征编码数据。
S202、对各内容特征编码数据进行特征融合，得到内容特征融合数据。
由于至少一个关联编码尺度下的内容特征编码数据的分辨率不同，也即各内容特征编码数据的尺寸不同，为了便于数据处理，需要先将各内容特征编码数据进行尺寸归一化，从而对各尺寸归一化后的内容特征编码数据进行特征融合。
在一个可选实施例中，可以将各内容特征编码数据调整至目标尺寸，并将调整后的各内容特征编码数据依通道融合，得到内容特征融合数据。
其中，目标尺寸可以是任意一个内容特征编码数据的尺寸，或由技术人员根据需要或经验值进行人为设定。
由于内容特征编码数据的尺寸越大，所携带的浅层语义信息较多；内容特征编码数据的尺寸越小，所携带的深层语义信息较多。因此，可以根据实际需求，进行目标尺寸的设定。或者，在模型训练阶段通过大量试验确定目标尺寸。
在一个可选实施例中，将各内容特征编码数据作为待调整内容特征数据，若待调整内容特征数据的尺寸小于目标尺寸，则对该待调整内容特征数据进行上采样处理，以将待调整内容特征数据调整至目标尺寸；若待调整内容特征数据的尺寸大于目标尺寸，则对该待调整内容特征数据进行下采样处理，以将待调整内容特征数据调整至目标尺寸；若待调整内容特征数据的尺寸为目标尺寸，则对该待调整内容特征数据不作处理。
可以理解的是，通过将各内容特征编码数据调整至目标尺寸，并依通道融合各调整后的内容特征编码数据，进行内容特征融合数据，使得各通道的内容特征融合数据中能够同时携带不同维度的语义信息，提高了内容特征融合数据的丰富性和全面性，有助于提高所确定统计特征数据的准确度，进而有助于提高内容图的风格迁移效果。
由于对内容特征编码数据进行上采样后，将会显著增加后续进行统计特征数据确定时的数据运算量，进而增加了对执行图像风格迁移方法的电子设备的计算性能要求，还会一定程度降低图像风格迁移时的计算效率。为了避免上述情况的发生，在一个可选实施例中，还可以将各关联编码尺度下的内容特征编码数据的最小尺寸，直接作为目标尺寸。
可以理解的是，通过选取关联编码尺度下的内容特征编码数据的最小尺寸作为目标尺寸，后续通过下采样的方式对其他各关联编码尺度下的内容特征编码数据进行尺寸调整，从而减小了内容特征融合数据的尺寸大小，进而减少了统计特征数据确定过程的数据运算量，降低了对执行图像风格迁移方法的电子设备的计算性能要求，一定程度上提高了图像风格迁移时的计算效率。
S203、对各风格特征编码数据进行特征融合，得到风格特征融合数据。
由于至少一个关联编码尺度下的风格特征编码数据的分辨率不同，也即各风格特征编码数据的尺寸不同，为了便于数据处理，需要先将各风格特征编码数据进行尺寸归一化，从而对各尺寸归一化后的风格特征编码数据进行特征融合。
在一个可选实施例中，可以将各风格特征编码数据调整至目标尺寸，并将调整后的各风格特征编码数据依通道融合，得到风格特征融合数据。
其中，目标尺寸可以是任意一个风格特征编码数据的尺寸，或由技术人员根据需要或经验值进行人为设定。
由于风格特征编码数据的尺寸越大，所携带的浅层语义信息较多；风格特征编码数据的尺寸越小，所携带的深层语义信息较多。因此，可以根据实际需求，进行目标尺寸的设定。或者，在模型训练阶段通过大量试验确定目标尺寸。
在一个可选实施例中，将各风格特征编码数据作为待调整风格特征数据，若待调整风格特征数据的尺寸小于目标尺寸，则对该待调整风格特征数据进行上采样处理，以将待调整风格特征数据调整至目标尺寸；若待调整风格特征数据的尺寸大于目标尺寸，则对该待调整风格特征数据进行下采样处理，以将待调整风格特征数据调整至目标尺寸；若待调整风格特征数据的尺寸为目标尺寸，则对该待调整风格特征数据不作处理。
可以理解的是，通过将各风格特征编码数据调整至目标尺寸，并依通道融合各调整后的风格特征编码数据，进行风格特征融合数据，使得各通道的风格特征融合数据中能够同时携带不同维度的语义信息，提高了风格特征融合数据的丰富性和全面性，有助于提高所确定统计特征数据的准确度，进而有助于提高内容图的风格迁移效果。
由于对风格特征编码数据进行上采样后，将会显著增加后续进行统计特征数据确定时的数据运算量，进而增加了对执行图像风格迁移方法的电子设备的计算性能要求，还会一定程度降低图像风格迁移时的计算效率。为了避免上述情况的发生，在一个可选实施例中，还可以将各关联编码尺度下的风格特征编码数据的最小尺寸，直接作为目标尺寸。
可以理解的是，通过选取关联编码尺度下的风格特征编码数据的最小尺寸作为目标尺寸，后续通过下采样的方式对其他各关联编码尺度下的风格特征编码数据进行尺寸调整，从而减小了风格特征融合数据的尺寸大小，进而减少了统计特征数据确定过程的数据运算量，降低了对执行图像风格迁移方法的电子设备的计算性能要求，一定程度上提高了图像风格迁移时的计算效率。
需要说明的是，S202与S203可以先后执行，也可以并行执行，或交叉执行，本公开对S202与S203的具体执行顺序不作任何限定。
可以理解的是，为了简化网络复杂度，通常采用同一网络结构分别对内容图和风格图进行特征编码处理，得到特征编码数据组，包括内容特征编码数据和风格特征编码数据。在此基础上，为了简化计算，还可以仅针对内容特征编码数据或目标特征编码数据进行一个目标尺寸的确定，并在进行内容特征融合数据和风格特征融合数据确定时，采用相同的目标尺寸进行数据处理即可。
S204、根据内容特征融合数据和风格特征融合数据，确定风格图在目标编码尺度下的统计特征数据。
S205、根据统计特征数据和内容图的内容特征编码数据，生成风格迁移图。
本公开实施例通过将统计特征数据的确定操作，细化为将各关联编码尺度下的内容特征编码数据进行特征融合，得到内容特征融合数据，以及将各维度的风格特征编码数据进行特征融合，得到风格特征融合数据，使得内容特征融合数据和风格特征融合数据中分别含有不同编码尺度下的语义信息，提高了所携带语义信息的丰富性和全面性，从而根据内容特征融合数据和风格特征融合数据进行统计特征数据的确定，提高了所确定统计特征数据的准确度，进而有助于提高风格迁移图的风格化效果。
在上述各技术方案的基础上，本公开还提供了一个实现图像风格迁移方法的另一可选实施例。在该实施例中，对统计特征数据的具体生成机制进行了优化改进。在本公开实施例未详述部分，可参见前述实施例表述，在此不再赘述。
参见图3所示的一种图像风格迁移方法，包括：
S301、确定内容图在目标编码尺度的至少一个关联编码尺度下的内容特征编码数据，以及风格图在对应关联编码尺度的风格特征编码数据。
S302、对各内容特征编码数据进行特征融合，得到内容特征融合数据。
S303、对各风格特征编码数据进行特征融合，得到风格特征融合数据。
S304、根据内容特征融合数据和风格特征融合数据，确定相似度数据。
其中，相似度数据用于表征内容特征融合数据的各特征点和风格特征融合数据的各特征点之间的关联性。
示例性的，确定内容特征融合数据中各特征点与风格特征融合数据中各特征点之间的相似度，并根据各相似度构建相似度数据。
可以理解的是，通过包括多尺度语义信息的内容特征融合数据和风格特征融合数据进行相似度数据的确定，使得所确定的相似度数据能够参照更加丰富的语义信息，避免了重要语义信息的遗失，同时减少了噪声的引入，从而有助于提升统计特征数据确定结果的准确度，进而避免了内容图像结构的失真和局部脏纹理现象的发生、或局部风格化程度较弱的情况发生，为风格迁移图的风格化效果的提升奠定了基础。
S305、根据相似度数据和风格图的风格特征编码数据，生成风格图在目标编码尺度下的均值特征数据。
S306、根据相似度数据、均值特征数据和目标编码尺度下的风格特征编码数据，生成风格图在目标编码尺度下的标准差特征数据或方差特征数据。
可以理解的是，通过引入至少一个关联编码尺度的内容特征编码数据和风格特征编码数据所确定的相似度数据，进行标准差特征数据或方差特征数据的确定，从而使得所确定的标准差特征数据或方差特征数据，能够综合考虑风格图和内容图的特征编码数据，使得所确定的标准差特征数据或方差特征数据，更具内容图针对性。同时，通过至少一个关联编码尺度下的特征编码数据的使用，使得标准差特征数据或方差特征数据能够兼顾浅层语义信息和深层语义信息的特征，使得最终确定结果更加准确。
S307、根据目标编码尺度下的均值特征数据和目标编码尺度下的内容特征编码数据，以及标准差特征数据或方差特征数据，生成风格迁移图。
其中，内容图的内容特征编码数据的选取，可以参见前述实施例的表述，在此不再赘述。
示例性的，可以根据目标编码尺度下的标准差特征数据或方差特征数据，以及目标编码尺度下的内容特征编码数据，生成目标编码尺度下的迁移量数据；根据目标编码尺度下的迁移量数据和均值特征数据，生成目标编码尺度下的风格迁移特征数据；根据至少一个目标编码尺度下的风格迁移特征数据，生成风格迁移图。
其中，迁移量数据用于表征在图像风格化迁移过程中，内容图的内容特征编码数据的不同特征点的特征值，在风格化过程中的差异化变动情况。
可以理解的是，通过将风格迁移结果的生成过程，细化为根据标准差特征数据或方差特征数据，以及内容图的内容特征编码数据，生成迁移量数据，并根据迁移量数据和均值特征数据，生成风格迁移结果，能够实现对内容图的自适应归一化，使得对内容图的风格化过程更具局部针对性，提高了内容图的风格化迁移效果。
本公开实施例通过将目标编码尺度下的统计特征数据的确定操作，细化为根据内容特征融合数据和风格特征融合数据，确定相似度数据；根据相似度数据和风格图的风格特征编码数据，生成风格图在目标编码尺度下的均值特征数据；根据相似度数据、均值特征数据和风格图的风格特征编码数据，生成风格图在目标编码尺度下的标准差特征数据或方差特征数据，完善了统计特征数据的确定机制。同时，基于多尺度的内容特征融合数据和风格特征融合数据进行相似度数据的确定，减少了噪声数据的引入，从而基于该相似度数据所确定的统计特征数据进行图像风格化迁移处理，能够避免内容图结构的失真和局部脏纹理等显现的出现，从而提高了风格化迁移效果。
在上述各技术方案的基础上，本公开还提供了一个实现图像风格迁移方法的优选实施例。
参见图4A所示的一种图像风格迁移模型的结构图，包括：编码网络10、至少一个归一化网络20和解码网络30。
示例性的，编码网络10可以采用VGG网络加以实现。本公开对解码网络30的具体网络结构不作任何限定。
采用编码网络10分别对内容图IC和风格图IS进行编码处理，分别得到至少一个维度的内容特征编码数据FC i和风格特征编码数据Fs i；其中，i＝1,2，…,n，n为编码网络中特征编码层的数量。针对每个归一化网络20，对内容特征编码数据FC x和风格特征编码数据Fs x进行自适应归一化处理，得到风格迁移特征数据FCS x；其中，x＝2,3,…n。需要说明的是，x可以根据实际需求，选取2-n中的部分数据。采用解码网络30对各风格迁移特征数据FCS x进行解码处理，得到风格迁移图ICS。
进一步的，在模型训练阶段，图像风格迁移网络还包括损失函数构建网络40，用于生成损失函数，以通过所生成的损失函数，对至少一个归一化网络20和解码网络30的网络参数进行优化调整。
示例性的，损失函数构建网络40中包括特征提取模块41，用于分别对内容图IC、风格图IS和风格迁移图ICS分别进行特征提取，得到内容图特征FC、风格图特征FS和风格迁移图特征FCS；根据内容图特征FC和风格迁移图特征FCS，构建内容损失LC；根据风格图特征FS和风格迁移图特征FCS，构建风格损失LS；生成包括内容损失LC和风格损失LS的损失函数，以优化各归一化网络20和解码网络30的网络参数。
在一个可选实施例中，特征提取模块41可以采用VGG网络加以实现。
以对第x层特征编码层所输出的内容特征编码数据FC x和风格特征编码数据FS x进行自适应归一化处理为例，
结合图4B所示的归一化网络的结构图，对归一化网络的数据处理机制进行详细说明。
分别对第1层至第x层特征编码层输出的内容特征编码数据FC 1，FC 2,…,FC x，依通道拼接融合后，得到内容特征融合数据FC 1:x；对内容特征融合数据FC 1:x依次进行特征归一化处理和特征编码处理，得到查询数据Q。分别对第1层至第x层特征编码层输出的风格特征编码数据FS 1，FS 2,…,FS x，依通道拼接融合后，得到风格特征融合数据FS 1:x；对风格特征融合数据FS 1:x依次进行特征归一化处理和特征编码处理，得到关键字数据K。根据查询数据Q和关键字数据K生成相似度数据A。对第x层特征编码层输出的风格特征编码数据FS x进行编码处理，得到结果数据V。根据相似度数据A和结果数据V，生成均值特征数据M；根据相似度数据A、结果数据V和均值特征数据M，生成标准差特征数据S；根据均值特征数据M和标准差特征数据S，对第x层特征编码层输出的内容特征编码数据FC x进行自适应归一化，得到风格迁移特征数据FCS x。
示例性的，可以采用以下公式，生成查询数据：
Figure BDA0003142486210000131
其中，Q为查询数据；FC 1:x为内容特征融合数据；Norm()为特征归一化函数；f()为预设编码函数。
示例性的，可以采用以下公式，生成关键字数据：
Figure BDA0003142486210000132
其中，K为关键字数据；FS 1:x为风格特征融合数据；Norm()为特征归一化函数；g()为预设编码函数。g()与f()可以相同或不同，本公开对此不作限定。
示例性的，可以采用以下公式，生成结果数据：
Figure BDA0003142486210000133
其中，V为结果数据；FS x为第x层特征编码层输出的风格特征编码数据；h()为预设编码函数。h()与g()、f()可以相同或不同，本公开对此不作限定。
示例性的，可以采用以下公式，生成相似度数据：
Figure BDA0003142486210000134
其中，A为相似度数据；Softmax()为激活函数，可以由技术人员根据需要设定。
示例性的，可以采用以下公式，生成均值特征数据和标准差特征数据：
Figure BDA0003142486210000141
Figure BDA0003142486210000142
其中，M为均值特征数据，S为标准差特征数据。
示例性的，可以采用以下公式，对第x层特征编码层输出的内容特征编码数据FC x，进行自适应归一化处理：
Figure BDA0003142486210000143
其中，FCS x为第x层特征编码层对应的风格迁移特征数据。
在一个具体实现方式中，参见图4C的结果对比图可知，采用本公开实施例的技术方案进行风格化迁移，与现有技术基于AdaIN(Adaptive Instance Normalization，自适应实例标准化)、SANet(Structure-Aware Network，结构感知网络)、MAST(ManifoldAlignment for Semantically Aligned Style Transfer，基于流行对齐算法的语义对齐样式转换)、Linear(Linear transformations for fast arbitrary style transfer，快速任意样式转换的线性变换)、MCCNet(Multi-Channel Correlation Network，多通道相关网络)、Avatar-Net(Multi-scale zero-shot style transfer by feature decoration，基于特征装饰的多尺度零镜头风格转换)等方式进行归一化处理相比，风格化程度更强，且内容图像结构无失真，不会出现局部脏纹理情况的发生，整体风格化效果更好。
在上述各技术方案的基础上，本公开还提供了一个实现上述各图像风格迁移方法的执行装置的可选实施例，该执行装置可以采用软件和/或硬件实现，并具体配置于电子设备中。
参见图5所示的一种图像风格迁移装置500，包括：特征编码数据确定模块501、统计特征数据确定模块502和风格迁移图生成模块503。其中，
特征编码数据确定模块501，用于确定内容图在目标编码尺度的至少一个关联编码尺度下的内容特征编码数据，以及风格图在对应关联编码尺度下的风格特征编码数据；
统计特征数据确定模块502，用于根据各内容特征编码数据和各风格特征编码数据，确定风格图在目标编码尺度下的统计特征数据；
风格迁移图生成模块503，用于根据目标编码尺度下的统计特征数据和内容特征编码数据，生成风格迁移结果。
本公开实施例通过引入目标图在目标编码尺度的至少一个关联编码尺度下的内容特征编码数据和风格图在对应关联编码尺度下的风格特征编码数据，进行风格图在目标编码尺度下的统计特征数据的生成，能够在进行风格图的统计特征数据生成过程中，兼顾内容图自身内容结构的特性，使得所生成的统计特征数据更具内容图针对性，避免了风格化结果中出现局部风格化程度不够或出现内容图像失真等情况的发生。另外，采用至少一个关联编码尺度的内容特征编码数据和风格特征编码数据，提高了所使用特征编码数据所携带语义信息的丰富性和全面性，从而提高了统计特征数据的确定结果准确度，进而提高了风格化迁移结果的效果。
在一个可选实施例中，统计特征数据确定模块502，包括：
内容特征融合数据得到单元，用于对各内容特征编码数据进行特征融合，得到内容特征融合数据；
风格特征融合数据得到单元，用于对各风格特征编码数据进行特征融合，得到风格特征融合数据；
统计特征数据确定单元，用于根据内容特征融合数据和风格特征融合数据，确定风格图在目标编码尺度下的统计特征数据。
在一个可选实施例中，统计特征数据确定单元，包括：
相似度数据确定子单元，用于根据内容特征融合数据和风格特征融合数据，确定相似度数据；
均值特征数据确定子单元，用于根据相似度数据和风格图的风格特征编码数据，生成风格图在目标编码尺度下的均值特征数据；
标准差特征数据确定子单元，用于根据相似度数据、均值特征数据和风格图的风格特征编码数据，生成风格图在目标编码尺度下的标准差特征数据；或者，
方差特征数据确定子单元，用于根据相似度数据、均值特征数据和风格图的风格特征编码数据，生成风格图在目标编码尺度下的方差特征数据。
在一个可选实施例中，内容特征融合数据得到单元，包括：
内容特征融合数据得到子单元，用于将各内容特征编码数据调整至目标尺寸，并将调整后的各内容特征编码数据依通道融合，得到内容特征融合数据；
风格特征融合数据得到单元，包括：
风格特征融合数据得到子单元，用于将各风格特征编码数据调整至目标尺寸，并将调整后的各风格特征编码数据依通道融合，得到风格特征融合数据。
在一个可选实施例中，内容特征融合数据得到单元，还包括：
目标尺寸确定子单元，用于将各关联编码尺度下的内容特征编码数据的最小尺寸，作为目标尺寸；
或者，
风格特征融合数据得到单元，还包括：
目标尺寸确定子单元，用于将各关联编码尺度下的风格特征编码数据的最小尺寸，作为目标尺寸。将最大层号对应的特征编码数据的尺寸，作为目标尺寸。在一个可选实施例中，风格迁移图生成模块503，包括：
风格迁移特征数据生成单元，用于根据目标编码尺度下的统计特征数据和内容特征编码数据，生成目标编码尺度下的风格迁移特征数据；
风格迁移图生成单元，用于根据至少一个目标编码尺度下的风格迁移特征数据，生成风格迁移图。
在一个可选实施例中，风格迁移特征数据生成单元，包括：
迁移量数据生成子单元，用于根据目标编码尺度下的标准差特征数据或方差特征数据，以及目标编码尺度下的内容特征编码数据，生成目标编码尺度下的迁移量数据；
风格迁移结果生成子单元，用于根据目标编码尺度下的迁移量数据和均值特征数据，生成目标编码尺度下的风格迁移特征数据。
在一个可选实施例中，特征编码数据确定模块501，包括：
特征编码单元，用于对内容图和风格图在至少一个编码尺度下进行特征编码，得到各编码尺度下的内容特征数据和风格特征编码数据；
内容特征编码数据确定单元，用于针对各目标编码尺度，将分辨率小于目标编码尺度对应内容特征编码数据的各内容特征编码数据，作为目标编码尺度的关联编码尺度下的内容特征编码数据；
风格特征编码数据确定单元，用于将分辨率小于目标编码尺度对应风格特征编码数据的各风格编码特征数据，作为目标编码尺度的关联编码尺度下的风格特征编码数据。上述图像风格迁移装置可执行本公开任意实施例所提供的图像风格迁移方法，具备执行图像风格迁移方法相应的功能模块和有益效果。
本公开的技术方案中，所涉及的内容图和风格图的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如图像风格迁移方法。例如，在一些实施例中，图像风格迁移方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的图像风格迁移方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像风格迁移方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式***的服务器，或者是结合了区块链的服务器。
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。
云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作***、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种图像风格迁移方法，包括：
确定内容图在目标编码尺度的至少一个关联编码尺度下的内容特征编码数据，以及风格图在对应关联编码尺度下的风格特征编码数据；
根据各所述内容特征编码数据和各所述风格特征编码数据，确定所述风格图在所述目标编码尺度下的统计特征数据；
根据所述目标编码尺度下的所述统计特征数据和内容特征编码数据，生成风格迁移图。
2.根据权利要求1所述的方法，其中，所述根据各所述内容特征编码数据和各所述风格特征编码数据，确定所述风格图在所述目标编码尺度下的统计特征数据，包括：
对各所述内容特征编码数据进行特征融合，得到内容特征融合数据；
对各所述风格特征编码数据进行特征融合，得到风格特征融合数据；
根据所述内容特征融合数据和所述风格特征融合数据，确定所述风格图在所述目标编码尺度下的统计特征数据。
3.根据权利要求2所述的方法，其中，所述根据所述内容特征融合数据和所述风格特征融合数据，确定所述风格图在所述目标编码尺度下的统计特征数据，包括：
根据所述内容特征融合数据和所述风格特征融合数据，确定相似度数据；
根据所述相似度数据和所述风格图的风格特征编码数据，生成所述风格图在所述目标编码尺度下的均值特征数据；
根据所述相似度数据、所述均值特征数据和所述目标编码尺度下的风格特征编码数据，生成所述风格图在所述目标编码尺度下的标准差特征数据或方差特征数据。
4.根据权利要求2所述的方法，其中，所述对各所述内容特征编码数据进行特征融合，得到内容特征融合数据，包括：
将各所述内容特征编码数据调整至目标尺寸，并将调整后的各内容特征编码数据依通道融合，得到所述内容特征融合数据；
所述对各所述风格特征编码数据进行特征融合，得到风格特征融合数据，包括：
将各所述风格特征编码数据调整至所述目标尺寸，并将调整后的各风格特征编码数据依通道融合，得到所述风格特征融合数据。
5.根据权利要求4所述的方法，还包括：
将各所述关联编码尺度下的内容特征编码数据或风格特征编码数据的最小尺寸，作为所述目标尺寸。
6.根据权利要求3所述的方法，其中，所述根据所述目标编码尺度下的所述统计特征数据和内容特征编码数据，生成风格迁移图，包括：
根据所述目标编码尺度下的所述统计特征数据和所述内容特征编码数据，生成所述目标编码尺度下的风格迁移特征数据；
根据至少一个所述目标编码尺度下的风格迁移特征数据，生成所述风格迁移图。
7.根据权利要求6所述的方法，其中，所述根据所述目标编码尺度下的所述统计特征数据和所述内容特征编码数据，生成所述目标编码尺度下的风格迁移特征数据，包括：
根据所述目标编码尺度下的所述标准差特征数据或所述方差特征数据，以及所述目标编码尺度下的内容特征编码数据，生成所述目标编码尺度下的迁移量数据；
根据所述目标编码尺度下的所述迁移量数据和所述均值特征数据，生成所述目标编码尺度下的风格迁移特征数据。
8.根据权利要求1-7任一项所述的方法，其中，所述确定内容图在目标编码尺度的至少一个关联编码尺度下的内容特征编码数据，以及风格图在对应关联编码尺度下的风格特征编码数据，包括：
对所述内容图和所述风格图在至少一个编码尺度下进行特征编码，得到各编码尺度下的内容特征编码数据和风格特征编码数据；
针对各所述目标编码尺度，将分辨率小于所述目标编码尺度对应内容特征编码数据的各内容特征编码数据，作为所述目标编码尺度的关联编码尺度下的内容特征编码数据；
将分辨率小于所述目标编码尺度对应风格特征编码数据的各风格编码特征数据，作为所述目标编码尺度的关联编码尺度下的风格特征编码数据。
9.一种图像风格迁移装置，包括：
特征编码数据确定模块，用于确定内容图在目标编码尺度的至少一个关联编码尺度下的内容特征编码数据，以及风格图在对应关联编码尺度下的风格特征编码数据；
统计特征数据确定模块，用于根据各所述内容特征编码数据和各所述风格特征编码数据，确定所述风格图的在所述目标编码尺度下统计特征数据；
风格迁移图生成模块，用于根据所述目标编码尺度下的所述统计特征数据和内容特征编码数据，生成风格迁移图。
10.根据权利要求9所述的装置，其中，所述统计特征数据确定模块，包括：
内容特征融合数据得到单元，用于对各所述内容特征编码数据进行特征融合，得到内容特征融合数据；
风格特征融合数据得到单元，用于对各所述风格特征编码数据进行特征融合，得到风格特征融合数据；
统计特征数据确定单元，用于根据所述内容特征融合数据和所述风格特征融合数据，确定所述风格图在所述目标编码尺度下的统计特征数据。
11.根据权利要求10所述的装置，其中，所述统计特征数据确定单元，包括：
相似度数据确定子单元，用于根据所述内容特征融合数据和所述风格特征融合数据，确定相似度数据；
均值特征数据确定子单元，用于根据所述相似度数据和所述风格图的风格特征编码数据，生成所述风格图在所述目标编码尺度下的均值特征数据；
标准差特征数据确定子单元，用于根据所述相似度数据、所述均值特征数据和所述风格图的风格特征编码数据，生成所述风格图在所述目标编码尺度下的标准差特征数据；或者，
方差特征数据确定子单元，用于根据所述相似度数据、所述均值特征数据和所述风格图的风格特征编码数据，生成所述风格图在所述目标编码尺度下的方差特征数据。
12.根据权利要求10所述的装置，其中，所述内容特征融合数据得到单元，包括：
内容特征融合数据得到子单元，用于将各所述内容特征编码数据调整至目标尺寸，并将调整后的各内容特征编码数据依通道融合，得到所述内容特征融合数据；
所述风格特征融合数据得到单元，包括：
风格特征融合数据得到子单元，用于将各所述风格特征编码数据调整至所述目标尺寸，并将调整后的各风格特征编码数据依通道融合，得到所述风格特征融合数据。
13.根据权利要求12所述的装置，所述内容特征融合数据得到单元，还包括：
目标尺寸确定子单元，用于将各所述关联编码尺度下的内容特征编码数据的最小尺寸，作为所述目标尺寸；
或者，
所述风格特征融合数据得到单元，还包括：
目标尺寸确定子单元，用于将各所述关联编码尺度下的风格特征编码数据的最小尺寸，作为所述目标尺寸。
14.根据权利要求11所述的装置，其中，所述风格迁移图生成模块，包括：
风格迁移特征数据生成单元，用于根据所述目标编码尺度下的所述统计特征数据和所述内容特征编码数据，生成所述目标编码尺度下的风格迁移特征数据；
风格迁移图生成单元，用于根据至少一个所述目标编码尺度下的风格迁移特征数据，生成所述风格迁移图。
15.根据权利要求14所述的装置，其中，所述风格迁移特征数据生成单元，包括：
迁移量数据生成子单元，用于根据所述目标编码尺度下的所述标准差特征数据或所述方差特征数据，以及所述目标编码尺度下的内容特征编码数据，生成所述目标编码尺度下的迁移量数据；
风格迁移结果生成单元，用于根据所述目标编码尺度下的所述迁移量数据和所述均值特征数据，生成所述目标编码尺度下的风格迁移特征数据。
16.根据权利要求9-15任一项所述的装置，其中，所述特征编码数据确定模块，包括：
特征编码单元，用于对所述内容图和所述风格图在至少一个编码尺度下进行特征编码，得到各编码尺度下的内容特征数据和风格特征编码数据；
内容特征编码数据确定单元，用于针对各所述目标编码尺度，将分辨率小于所述目标编码尺度对应内容特征编码数据的各内容特征编码数据，作为所述目标编码尺度的关联编码尺度下的内容特征编码数据；
风格特征编码数据确定单元，用于将分辨率小于所述目标编码尺度对应风格特征编码数据的各风格编码特征数据，作为所述目标编码尺度的关联编码尺度下的风格特征编码数据。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的一种图像风格迁移方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-8中任一项所述的一种图像风格迁移方法。
19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的一种图像风格迁移方法。
CN202110739068.1A 2021-06-30 2021-06-30 图像风格迁移方法、装置、设备和存储介质 Pending CN113327194A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110739068.1A CN113327194A (zh) 2021-06-30 2021-06-30 图像风格迁移方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110739068.1A CN113327194A (zh) 2021-06-30 2021-06-30 图像风格迁移方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN113327194A true CN113327194A (zh) 2021-08-31

Family

ID=77425268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110739068.1A Pending CN113327194A (zh) 2021-06-30 2021-06-30 图像风格迁移方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN113327194A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445313A (zh) * 2022-01-28 2022-05-06 北京百度网讯科技有限公司 图像处理方法及装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180350030A1 (en) * 2017-06-06 2018-12-06 Adobe Systems Incorporated Generating a stylized image or stylized animation by matching semantic features via an appearance guide, a segmentation guide, and a positional guide
CN110473141A (zh) * 2019-08-02 2019-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111325681A (zh) * 2020-01-20 2020-06-23 南京邮电大学 一种结合元学习机制与特征融合的图像风格迁移方法
CN111932445A (zh) * 2020-07-27 2020-11-13 广州市百果园信息技术有限公司 对风格迁移网络的压缩方法及风格迁移方法、装置和***
CN112561792A (zh) * 2020-12-25 2021-03-26 北京百度网讯科技有限公司 图像风格迁移方法、装置、电子设备及存储介质
CN112669308A (zh) * 2021-01-06 2021-04-16 携程旅游信息技术（上海）有限公司 基于风格迁移的图像生成方法、***、设备及存储介质
CN112883806A (zh) * 2021-01-21 2021-06-01 杭州广电云网络科技有限公司 基于神经网络的视频风格迁移方法、装置、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180350030A1 (en) * 2017-06-06 2018-12-06 Adobe Systems Incorporated Generating a stylized image or stylized animation by matching semantic features via an appearance guide, a segmentation guide, and a positional guide
CN110473141A (zh) * 2019-08-02 2019-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111325681A (zh) * 2020-01-20 2020-06-23 南京邮电大学 一种结合元学习机制与特征融合的图像风格迁移方法
CN111932445A (zh) * 2020-07-27 2020-11-13 广州市百果园信息技术有限公司 对风格迁移网络的压缩方法及风格迁移方法、装置和***
CN112561792A (zh) * 2020-12-25 2021-03-26 北京百度网讯科技有限公司 图像风格迁移方法、装置、电子设备及存储介质
CN112669308A (zh) * 2021-01-06 2021-04-16 携程旅游信息技术（上海）有限公司 基于风格迁移的图像生成方法、***、设备及存储介质
CN112883806A (zh) * 2021-01-21 2021-06-01 杭州广电云网络科技有限公司 基于神经网络的视频风格迁移方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴岳;宋建国;: "基于改进AdaIN的图像风格迁移", 软件导刊, no. 09, 15 September 2020 (2020-09-15) *
马赫;张涛;卢涵宇;: "基于CycleGAN的图像风格迁移", 电脑知识与技术, no. 27, 25 September 2020 (2020-09-25) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445313A (zh) * 2022-01-28 2022-05-06 北京百度网讯科技有限公司 图像处理方法及装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN113379627A (zh) 图像增强模型的训练方法和对图像进行增强的方法
CN113792854A (zh) 一种模型训练及字库建立方法、装置、设备及存储介质
CN114792355B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN113361535B (zh) 图像分割模型训练、图像分割方法及相关装置
CN114612749A (zh) 神经网络模型训练方法及装置、电子设备和介质
CN113657395A (zh) 文本识别方法、视觉特征提取模型的训练方法及装置
CN113393371A (zh) 一种图像处理方法、装置及电子设备
CN115376211A (zh) 唇形驱动方法、唇形驱动模型的训练方法、装置及设备
CN115690443A (zh) 特征提取模型训练方法、图像分类方法及相关装置
CN113033373B (zh) 用于训练人脸识别模型及识别人脸的方法及相关装置
CN114120413A (zh) 模型训练方法、图像合成方法、装置、设备及程序产品
CN113344213A (zh) 知识蒸馏方法、装置、电子设备及计算机可读存储介质
CN113360683A (zh) 训练跨模态检索模型的方法以及跨模态检索方法和装置
CN116402914B (zh) 用于确定风格化图像生成模型的方法、装置及产品
CN113327194A (zh) 图像风格迁移方法、装置、设备和存储介质
CN117351299A (zh) 图像生成及模型训练方法、装置、设备和存储介质
CN113361575B (zh) 模型训练方法、装置和电子设备
CN114707638A (zh) 模型训练、对象识别方法及装置、设备、介质和产品
CN114842541A (zh) 模型的训练及人脸识别方法、装置、设备以及存储介质
CN114943995A (zh) 人脸识别模型的训练方法、人脸识别方法及装置
CN114119374A (zh) 图像处理方法、装置、设备以及存储介质
CN113610856A (zh) 训练图像分割模型和图像分割的方法和装置
CN114638919A (zh) 虚拟形象的生成方法、电子设备、程序产品及用户终端
CN113887435A (zh) 人脸图像处理方法、装置、设备、存储介质及程序产品
CN114330576A (zh) 模型处理方法、装置、图像识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination