CN110909790A - 图像的风格迁移方法、装置、终端及存储介质 - Google Patents

图像的风格迁移方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN110909790A
CN110909790A CN201911141240.2A CN201911141240A CN110909790A CN 110909790 A CN110909790 A CN 110909790A CN 201911141240 A CN201911141240 A CN 201911141240A CN 110909790 A CN110909790 A CN 110909790A
Authority
CN
China
Prior art keywords
style
image
migration
style migration
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911141240.2A
Other languages
English (en)
Inventor
朱圣晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911141240.2A priority Critical patent/CN110909790A/zh
Publication of CN110909790A publication Critical patent/CN110909790A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像的风格迁移方法、装置、终端及存储介质，属于图像处理领域，本申请实施例从终端的存储组件中获取目标图像，再获取n种图像风格各自对应的权重，根据n种图像风格中每一种图像风格对应的权重和独立风格迁移参数，生成混合风格迁移参数，根据该混合风格迁移参数对目标图像进行风格迁移，其中，n种图像风格各自对应的权重之和为1，n为不小于2的正整数。由于终端能够在获取目标图像之后，通过至少两种图像风格生成混合风格迁移参数，最终通过混合风格迁移参数处理目标图像得到多种风格混合的图像，增强了图像在风格迁移处理方式上的多样性和效果。

Description

图像的风格迁移方法、装置、终端及存储介质
技术领域
本申请实施例涉及图像处理领域，特别涉及一种图像的风格迁移方法、装置、终端及存储介质。
背景技术
在图像处理领域中，终端能够对目标图像进行处理美化，从而获得有特定效果的新图像。
在一些图像处理技术中，目标图像可以进行风格迁移处理，从而生成一个具有全新风格的图像。风格迁移处理是指将目标图像作为内容图像，选择另一图像作为风格图像，利用风格迁移算法生成新的图像。该新的图像的内容与内容图像相似，风格与风格图像相似。在一种实现方式中，目标图像经过指定滤镜效果处理后，得到全新风格的图像。
发明内容
本申请实施例提供了一种图像的风格迁移方法、装置、终端及存储介质。
所述技术方案如下：
根据本申请的一方面内容，提供了一种图像的风格迁移方法，所述方法包括：
从终端的存储组件中获取目标图像；
获取n种图像风格各自对应的权重，所述n种图像风格各自对应的权重之和为1，n为不小于2的正整数；
根据所述n种图像风格中每一种图像风格对应的权重和独立风格迁移参数，生成混合风格迁移参数；
根据所述混合风格迁移参数，对所述目标图像进行风格迁移。
根据本申请的另一方面内容，提供了一种图像的风格迁移装置，所述装置包括：
图像获取模块，用于从终端的存储组件中获取目标图像；
权重确定模块，用于获取n种图像风格各自对应的权重，所述n种图像风格各自对应的权重之和为1，n为不小于2的正整数；
迁移参数生成模块，用于根据所述n种图像风格中每一种图像风格对应的权重和独立风格迁移参数，生成混合风格迁移参数；
风格迁移模块，用于根据所述混合风格迁移参数，对所述目标图像进行风格迁移。
根据本申请的另一方面内容，提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如本申请实施提供的图像的风格迁移方法。
根据本申请的另一方面内容，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如本申请实施提供的图像的风格迁移方法。
本申请实施例提供的技术方案带来的有益效果可以包括：
本申请实施例从终端的存储组件中获取目标图像，再获取n种图像风格各自对应的权重，根据n种图像风格中每一种图像风格对应的权重和独立风格迁移参数，生成混合风格迁移参数，根据该混合风格迁移参数对目标图像进行风格迁移，其中，n种图像风格各自对应的权重之和为1，n为不小于2的正整数。由于终端能够在获取目标图像之后，通过至少两种图像风格生成混合风格迁移参数，最终通过混合风格迁移参数处理目标图像得到多种风格混合的图像，增强了图像在风格迁移处理方式上的多样性和效果。
附图说明
为了更清楚地介绍本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本申请一个示例性实施例提供的一种终端的结构框图；
图2是本申请一个示例性实施例提供的图像的风格迁移方法的流程图；
图3是本申请实施例提供的一种图像的风格迁移方法的实现流程示意图；
图4是本申请另一个示例性实施例提供的图像的风格迁移方法流程图；
图5是基于图4所示实施例提供的一种多风格迁移模型的架构示意图；
图6是基于图4所示实施例提供的一种多风格迁移模型中的部分卷积层的结构示意图；
图7是基于图4所示实施例提供的一种多风格迁移模型中的残差层的结构示意图；
图8是本申请实施例提供的一种上采样卷积结构的示意图；
图9是本申请一个示例性实施例提供的图像的风格迁移装置的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
为了本申请实施例所示方案易于理解，下面对本申请实施例中出现的若干名词进行介绍。
预训练分类模型：已经完成训练的图片分类模型。或者，也可以用于指示完成阶段性训练的图片分类模型。在预训练分类模型可以直接对图片进行分类。本申请实施例不对具体的预训练分类进行限定。
VGG(英文：Visual Geometry Group，中文：视觉几何组)16：属于VGGNet(英文：Visual Geometry Group Network)中的一种。其中，VGGNet是一种用于分类的卷积神经网络，该网络的网络深度为16。
MSE(英文：Mean Square Error，中文：均方误差)：用于指示第一对象和第二对象之间的空间欧式距离。
图像高层特征：用于指示目标图像输入预训练分类模型后，模型中位于后部的层中的特征。在一种可能的场景中，预训练分类模型中序号在1/2之后的层可以作为高层。在另一种可能的场景中，预训练分类模型中序号在2/3之后的层可以作为高层。需要说明的是，本申请实施例不对具体的高层定义进行限定。
图像低层特征：用于指示目标图像输入预训练分类模型后，模型中位于前部的层中的特征。在一种可能的场景中，预训练分类模型中序号在1/2之前的层可以作为低层。在另一种可能的场景中，预训练分类模型中序号在1/3之前的层可以作为低层。需要说明的是，本申请实施例不对具体的低层定义进行限定。
图像风格迁移：将输入的目标图像作为内容图像，将另一图像作为风格图像，利用风格迁移算法生成新的图像。其中，生成的新的图像的内容与内容图像相似，风格与风格图像相似。
在一种可能的图像风格迁移的实现方式中，目标图像可以根据基于统计特征的方法进行图像风格迁移。在该方法中，需要建立专门的数学模型，将目标图像代入该模型得到风格迁移后的图像。然而，由于数学模型自身的限制，该方法在设计数学模型的阶段较为耗时。并且在应用阶段，仅能针对指定的风格对目标图像进行风格迁移。
在另一种可能的图像风格迁移的实现方式中，目标图像可以基于深度学习的图像风格迁移方法进行图像迁移。在该方法中，终端可以利用一个预训练分类模型对目标图像提取内容特征。可选地，预训练分类模型可以是VGG19，内容特征可以是图像高层特征。终端可以利用该预训练分类模型对风格图片提取风格特征(该风格特征可以是图像低层特征)。CNN(中文：卷积神经网络，英文：Convolutional Neural Networks)能够生成经过图像迁移后的图像。其中，内容损失函数可以采用MSE函数，风格损失韩式可以采用MSE函数或者感知损失函数。
需要说明的是，由于本申请实施例设计的方案在计算量和计算模型本身进行了有效控制。因此，本申请实施例能够搭载在计算能力有限的硬件设备中。
示例性地，本申请实施例所示的图像的风格迁移方法，可以应用在终端中，该终端具备显示屏且具备图像的风格迁移功能。终端可以包括手机、电视、机顶盒、智能眼镜、智能手表、数码相机、MP4播放终端、MP5播放终端、学习机、点读机、电纸书、电子词典、车载终端、虚拟现实(Virtual Reality，VR)播放终端或增强现实(Augmented Reality，AR)播放终端等。
请参考图1，图1是本申请一个示例性实施例提供的一种终端的结构框图，如图1所示，该终端包括处理器120、存储器140和显示组件160，所述存储器140中存储有至少一条指令，所述指令由所述处理器120加载并执行以实现如本申请各个方法实施例所述的图像的风格迁移方法。
在本申请中，终端100是具备图像处理功能的电子设备，该图像处理功能可以包括图像的风格迁移功能。当终端100中存储组件中获取目标图像时，终端100能够获取n种图像风格各自对应的权重，根据n种图像风格中每一种图像风格对应的权重和独立风格迁移参数，生成混合风格迁移参数；根据混合风格迁移参数，对目标图像进行风格迁移。
处理器120可以包括一个或者多个处理核心。处理器120利用各种接口和线路连接整个终端100内的各个部分，通过运行或执行存储在存储器140内的指令、程序、代码集或指令集，以及调用存储在存储器140内的数据，执行终端100的各种功能和处理数据。可选的，处理器120可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器120可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器120中，单独通过一块芯片进行实现。
存储器140可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选的，该存储器140包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器140可用于存储指令、程序、代码、代码集或指令集。存储器140可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等；存储数据区可存储下面各个方法实施例中涉及到的数据等。
显示组件160用于显示暂时存放在缓存队列中的图像帧。缓存队列中的图像帧是处理器120从存储器140中获取的数据渲染得到的，当处理器120完成图像帧的渲染后，处理器120将完成渲染的图像帧添加到缓存队列中。显示组件160按照先入先出的规则，从缓存队列中提取图像帧进行显示。在本申请实施例中，显示组件160既能够显示目标图像，也能够显示目标图像进行了风格迁移之后的图像。
可选地，显示组件160可以是显示屏、投屏组件、投影组件或全息显示组件，本申请实施例对此不作限定，任一能够实现显示功能的硬件组件均可以作为本申请实施例中的实现组件160。
请参考图2，图2是本申请一个示例性实施例提供的图像的风格迁移方法的流程图。该图像的风格迁移方法可以应用在上述所示的终端中。在图2中，图像的风格迁移方法包括：
步骤210，从终端的存储组件中获取目标图像。
在本申请实施例中，终端能够在存储组件中保存目标图像。需要说明的是，该目标图像在本申请实施例中可以是未经过风格迁移的原始图像。
在一种可能的分类中，目标图像既可以是用户通过图像采集组件拍摄的真实世界的照片。目标图像也可以是用户通过计算机绘图程序绘制的画作。
在另一种可能的分类中，目标图像既可以是用户存储在终端的外存中的图像，例如，终端存储在本地中的图像或者视频中的图像帧。目标图像也可以是终端通过图像采集组件实时采集的图像或者视频中的图像帧。
在又一种可能的分类中，目标图像还可以是终端通过数据网络，从其他设备中获取的直播视频流中的图像帧。在此情况中，终端将从内存中获取目标图像。
步骤220，获取n种图像风格各自对应的权重，n种图像风格各自对应的权重之和为1，n为不小于2的正整数。
在本申请实施例中，终端能够获取n种图像风格各自对应的权重，其中，n为不小于2的正整数，各个权重之和为1。
在一种可能的实现方式中，终端通过输入组件获取用户输入的n种图像风格各自对应的权重。例如，n为2，终端通过输入组件获取用户输入的风格一的权重为0.4，风格二的权重为0.6。
在另一种可能的实现方式中，终端能够将配置文件中的权重配置为n种图像风格各自对应的权重。
请参见表一，表一示出了一种当n为2时的图像风格的权重取值情况。
表一
风格名称 风格一 风格二
权重 0.4 0.6
请参见表二，表二示出了一种当n为3时的图像风格的权重取值情况。
表二
风格名称 风格一 风格二 风格三
权重 0.2 0.3 0.5
请参见表三，表三示出了一种当n为4时的图像风格的权重取值情况。
表三
风格名称 风格一 风格二 风格三 风格四
权重 0.15 0.45 0.3 0.1
表四
请参见表四，表四示出了一种当n为5时的图像风格的权重取值情况。
风格名称 风格一 风格二 风格三 风格四 风格五
权重 0.2 0.1 0.1 0.4 0.2
根据上述表一至表四所示的内容可知，终端能够根据多个图像风格的不同而获取到不同的权重数值。在上述权重数值中，终端能够根据实际情况，按照用户的输入值或者配置文件中默认设置的数值，选用不同的权重值，
举例而言，若需要对目标图像进行三种风格的混合风格迁移，则终端需要获取三种风格各自对应的权重。若风格一为画作A的风格，风格为画作B的风格，风格三为画作C的风格，则终端能够在本步骤中获取到上述三种风格各自对应的权重。
步骤230，根据n种图像风格中每一种图像风格对应的权重和独立风格迁移参数，生成混合风格迁移参数。
在本申请实施例中，终端能够根据n种图像风格中每一种图像风格对应的权重和独立风格迁移参数，生成混合风格迁移参数。需要说明的是，每一种图像风格对应的独立风格迁移参数可以是终端中的配置文件提供的参数。或者，该独立风格迁移参数可以是终端从云端获取到的参数。
在一种可能的方式中，终端能够获取每一种图像风格的风格迁移量。比如，图像风格的风格迁移量可以被定义为该种图像风格的权重和独立风格迁移参数的乘积。
在本申请实施例中，以n是2，图像风格包括风格一和风格二为例进行说明。风格一的权重为0.4，风格一的独立风格迁移参数为L1。风格二的权重为0.6，风格二的独立风格迁移参数为L2。其中，独立风格迁移参数L1和独立风格迁移参数L2可以是维度相同的向量或者矩阵，本申请实施例对此不作限定。在该场景中，混合风格迁移参数可以是(0.4L1+0.6L2)。
步骤240，根据混合风格迁移参数，对目标图像进行风格迁移。
在本申请实施例中，终端能够根据上述混合风格迁移参数，对目标图像进行风格迁移，得到经过风格迁移后的图像。需要说明的是，该处理过程既可以应用在图像的静态的处理中，也可以应用在图像的动态处理使用中。
在一种可能的场景中，终端能够从对用户拍摄的照片或者提供的单幅画作进行多风格的图像迁移。
在另一种可能的场景中，终端能够在视频录制的过程中对视频中的每一帧图像帧进行多风格的图像迁移，在该图像录制的过程中，用户可以随时调节各个风格的权重，从而使得录制的视频在录制的过程即可完成多风格的图像迁移，提高了图像迁移的技术在视频拍摄领域中的应用。需要说明的是，终端能够在该场景中同时保存原视频，以便用户在完成录制时希望对原视频进行其他方式的处理。
在另一种可能的场景中，终端还能够在视频直播的场景中，对直播视频流中的每一帧图像帧进行多风格的图像迁移。经过本申请实施例提供的方法，终端能够在视频直播的场景中，直接提供经过多风格的图像迁移后的直播视频，增强了直播视频流的播放效果。
在又一种可能的场景中，终端还能够在VR(英文：Virtual Reality，中文：虚拟现实)视频中进行图像的风格迁移方法。具体的，终端可以将VR视频中的各个图像帧进行实时地多风格的图像迁移，再将迁移后的图像帧进行融合得到VR视频的图像帧，从而展示给用户，使得用户直接观看到经过多风格的图像迁移的VR视频，使得VR视频的图像迁移展示效果更好，提升了沉浸式视频以图像迁移后的形式播放的能力。
综上所述，本实施例提供的图像的风格迁移方法，能够从终端的存储组件中获取目标图像，再获取n种图像风格各自对应的权重，根据n种图像风格中每一种图像风格对应的权重和独立风格迁移参数，生成混合风格迁移参数，根据该混合风格迁移参数对目标图像进行风格迁移，其中，n种图像风格各自对应的权重之和为1，n为不小于2的正整数。由于终端能够在获取目标图像之后，通过至少两种图像风格生成混合风格迁移参数，最终通过混合风格迁移参数处理目标图像得到多种风格混合的图像，增强了图像在风格迁移处理方式上的多样性和效果。
基于上一个实施例所公开的方案，终端还能够构造一多风格迁移模型，该多风格迁移模型能够实现本实施例提供的图像的风格迁移方法，请参考如下实施例。
请参见图3，图3是本申请实施例提供的一种图像的风格迁移方法的实现流程示意图。在图3所示的实现流程中，包括多风格迁移模型的训练过程310和多风格迁移模型的风格迁移过程320。
在训练过程310中，终端可以将内容图片3a和风格图片3b作为训练样本，执行训练步骤311、步骤312和步骤313。
需要说明的是，训练数据集可以由内容图片数据集和风格图片数据集组成，风格图片数据集中可以包括N张风格图片，由此可使得训练结束后的多风格迁移模型能够实现N张风格图片对应的风格的迁移。
步骤311，将内容图片输入风格迁移网络，生成对应风格图片的风格参数，输出风格迁移后的图片。
步骤312，将内容图片、风格图片和迁移后的图片输入VGG16中，提取相应的特征图，计算损失。
步骤313，使用Adam优化器最小化损失，进行迭代训练，直至多风格迁移模型收敛并保存该模型。
在风格迁移过程320中，终端可以通过执行步骤321来实现目标图像的多风格的图像迁移。
步骤321，将目标图像输入到多风格迁移模型的模型文件中，选择风格参数，生成风格迁移后的图片。
需要说明的是，训练过程310中输出的风格迁移后的图片用于优化模型，而风格迁移过程320中输出的风格迁移后的图片是目标图像最终的风格迁移结果。
综上所述，在本申请实施例中，终端能够通过训练过程得到多风格迁移模型，再通过多风格迁移模型对目标图像完成多风格迁移，实现了通过至少两种图像风格生成混合风格迁移参数，最终通过混合风格迁移参数处理目标图像得到多种风格混合的图像，增强了图像在风格迁移处理方式上的多样性和效果。
请参见图4，图4是本申请另一个示例性实施例提供的图像的风格迁移方法流程图。该图像的风格迁移方法可以应用在上述所示的终端中。在图4中，该图像的风格迁移方法包括：
步骤411，读取终端的存储组件，将终端通过图像采集组件实时采集的图像帧作为目标图像。
在本申请实施例中，终端能够将实时采集的视频中的图像帧作为目标图像。
在一种可能的方式中，终端能够通过图像采集组件拍摄的视频中的图像帧作为目标图像。例如，若终端拍摄的视频1秒中包括24帧图像帧，则本申请实施例能够对该24帧图像帧中的每一帧作为目标图像。
在另一种可能的方式中，终端能够通过射频天线接收直播视频流，将直播视频流中的图像帧作为目标图像。例如，如终端在播放直播视频流，则终端能够将直播视频流中的每一帧图像帧作为目标图像。
步骤412a，根据终端的输入组件采集的信息，获取n种图像风格各自对应的权重。
在本申请实施例中，终端能够根据输入组件采集的信息，获取n种图像风格各自对应的权重。需要说明的是，输入组件用于采集用户向终端输入的信息。当终端是移动终端时，输入组件可以是触摸屏、实体按键、压力传感器、摄像头、麦克风、红外传感器或超声波传感器中的任意中。需要说明的是，终端中任意一个能够接收用户向终端输入信息的硬件组件均可作为本申请实施例中的输入组件，本申请对此不作限定。
本申请实施例将根据终端的输入组件采集的信息，获取n种图像风格各自对应的权重。比如本申请实施例提供的多风格迁移模型提供5种风格，则n为5。终端能够通过输入组件分别获取用户输入的权重。比如，终端能够在拍摄视频的用户界面中显示输入控件，以供用户输入需要的各个风格对应的权重。或者，终端能够在观看直播的界面显示该输入控件。
在一种可能的方式中，该输入控件可以是输入框、虚拟滑动条、虚拟滚轮或复选框中至少一种，本申请实施例对此不作限定。
步骤412b，根据终端的历史权重配置信息，获取n种图像风格各自对应的权重。
本申请实施例中，历史权重配置信息是终端的输入组件根据最近一次输入信息生成的数据。由于本申请实施例涉及多种风格迁移。因此，用户需要输入至少两种权重，在拍摄视频或者观看直播时，该操作较为繁琐。故，本申请实施例还可以采用历史权重配置信息，来配置n中图像风格各自对应的权重。相应的，历史权重配置信息可以是表一至表四任一所示的权重数据。
步骤421，获取n种图像风格中的第i种图像风格对应的第i权重和第i独立风格迁移参数，i为不大于n的正整数。
在本申请实施例中，终端能够获取n种图像风格中的第i种图像风格对应的第i权重和第i独立风格迁移参数。需要说明的是，每一种图像风格均对应有自己的权重和独立风格迁移参数。在本步骤中，终端能够在i从1取值到n时，将n种风格中每一种图像风格各自的权重和独立风格迁移参数确定下来。
步骤422，将第i权重和第i独立风格迁移参数的乘积，确定为第i风格迁移量，第i风格迁移量共有n个。
在本申请实施例中，终端能够将第i权重和第i独立风格迁移参数相乘，将乘积作为第i风格迁移量，该第i风格迁移量共有n个。需要说明的是，若用户仅选择n种风格中部分的风格进行迁移，则未被选择的风格均为0。相应的，未被选择的风格对应的风格迁移量也为0。
步骤423，将n个第i风格迁移量求和，获得混合风格迁移参数。
在本申请实施例中，第i风格迁移量可以是均值或者也可以是标准差。
需要说明的是，第i独立风格迁移参数是用于表征第i种图像风格的参数。在一种应用场景中，独立风格迁移参数可以包括迁移风格的均值和迁移风格的标准差。
以n为5，用户选择的风格为风格一和风格三进行图像迁移，且风格一的权重为0.4，风格三的权重为0.6为例进行说明。在此场景中，终端接收到的风格选择向量为[0.4,0,0.6,0,0]，其中，该风格选择向量中每一个元素的取值区间是[0,1]。该风格选择向量的每一个元素从左至右分别表示第一迁移风格、第二迁移风格、第三迁移风格、第四迁移风格和第五迁移风格各自的权重。请参见表五，表五示出了该获取风格迁移量的各个数据的情况。需要说明的是，风格迁移量既可以是目标标准差，也可以是目标均值。在表五中，混合风格迁移参数包括迁移标准差和迁移均值，其中，迁移标准差为0.58，迁移均值为0.32。迁移标准差为各个迁移风格之和，迁移均值也为各个均值之和。
表五
Figure BDA0002280992420000121
步骤431，获取目标训练数据集。
其中，目标训练数据集中的一张风格图片和一张内容图片组成一个训练样本，内容图片属于内容图片数据集。
在本申请实施例中，终端能够通过构建目标训练数据集对多风格迁移模型进行训练。其中，该数据集中的一张风格图片和一张内容图片即可组成一个训练样本。
步骤432，通过多风格迁移模型对内容图片进行风格迁移处理，得到训练结果图像。
训练迁移图像是指对训练图像进行风格迁移处理后得到的图像。示例性地，在对风格迁移模型进行训练时，风格迁移模型是基于单风格对训练图像进行风格迁移处理的，即，风格选择信息为one-hot(独热)型，例如[0,0,1,0,0]。
步骤433，根据风格图片的风格特征、内容图片的内容特征、训练结果图像的内容特征和训练结果图像的风格特征，获得多风格迁移模型的损失函数。
内容图片的内容特征用于表征训练图像包含的图像内容，训练结果图像的内容特征用于表征训练迁移图像包含的图像内容，训练结果图像的风格特征用于表征训练迁移图像的风格，风格图片的风格特征用于表征风格图像的风格。
可选地，计算机设备根据内容图片的内容特征和训练结果图像的内容特征，确定内容损失函数；根据训练结果图像的风格特征和风格图片的风格特征，确定风格损失函数；根据内容损失函数和风格损失函数，确定损失函数。
示例性地，计算机设备可以利用VGG-19提取训练图像和训练结果图像的内容特征，例如，将VGG-19中的relu4_2(激励4_2)层的输出特征作为训练图像和训练结果图像的内容特征。
内容损失函数
Figure BDA0002280992420000131
可以通过如下公式计算：
Figure BDA0002280992420000132
其中，
Figure BDA0002280992420000133
表示训练结果图像的内容特征，
Figure BDA0002280992420000134
表示内容图片的内容特征，l表示层数，
Figure BDA0002280992420000135
表示训练图像中的第l层第i行第j列的特征值，
Figure BDA0002280992420000136
表示训练迁移图像中的第l层第i行第j列的特征值。
示例性地，计算机设备可以利用VGG-19提取训练迁移图像和风格图片的风格特征，例如，选取VGG-19中的relu1_1(激励1_1)层、relu2_1(激励2_1)层、relu3_1(激励3_1)层、relu4_1(激励4_1)层和relu5_1(激励5_1)层的输出特征作为训练迁移图像和风格图片的风格特征。
可选地，在计算风格损失函数之前，先计算特征感知矩阵，特征感知矩阵
Figure BDA0002280992420000141
的计算公式如下：
Figure BDA0002280992420000142
其中，Cj表示第j层的通道数，Hj表示第j层的长度，Wj表示第j层的宽度，φj(x)h，w，c表示VGG-19第j层的特征值，φj(x)h，w，c′表示φj(x)h，w，c的转置。
风格损失函数
Figure BDA0002280992420000143
根据上述特征感知矩阵计算如下：
Figure BDA0002280992420000144
其中，
Figure BDA0002280992420000145
表示训练迁移图像的特征感知矩阵，
Figure BDA0002280992420000146
表示风格图像的特征感知矩阵，F表示范数。
损失函数L(θ)的计算公式如下：
Figure BDA0002280992420000147
其中，α表示内容损失函数在损失函数中的权重，β表示风格损失函数在损失函数中的权重，
Figure BDA0002280992420000148
表示内容损失函数，
Figure BDA0002280992420000149
表示风格损失函数，当α越大时，训练结果图像的内容特征越明显；当β越大时，训练结果图像的风格特征越浓厚。
在本申请实施例的一种获取损失函数的方式中，终端可以通过执行步骤(1)至步骤(3)来实现获取损失函数的操作。
步骤(1)，根据内容图片的内容特征和训练结果图像的内容特征，确定内容损失函数。
步骤(2)，根据风格图像的风格特征和训练结果图像的风格特征，确定风格损失函数。
步骤(3)，根据内容损失函数和风格损失函数，确定多风格迁移模型的损失函数。
步骤434，根据损失函数训练多风格迁移模型，得到经过训练的多风格迁移模型。
在本申请实施例中，需要介绍的是，多风格迁移模型可以被设计为如下结构。多风格迁移模型在该结构中，可以包括深度可分离卷积层、实例归一层、非线性激活层、最近邻上采样层和输出层。各层的在处理图像的过程中的作用介绍如下：
第一，深度可分离卷积层，用于对内容图像进行深度卷积运算，得到第一输出特征；对第一输出特征进行逐点卷积运算，得到第二输出特征；
第二，实例归一层，用于根据迁移风格参数，对第二输出特征进行归一化，得到第三输出特征，迁移风格参数是指内容图像对应的迁移风格的参数；
第三，非线性激活层，用于对第三输出特征进行非线性运算，得到第四输出特征；
第四，最近邻上采样层，用于对第四输出特征进行插值运算，得到分辨率大于第四输出特征的分辨率的第五输出特征；
第五，输出层，用于对第五输出特征进行卷积运算后，输出训练结果图像。
请参见图5，图5是基于图4所示实施例提供的一种多风格迁移模型的架构示意图。训练样本将经过风格迁移模型中的第一卷积层51、第二卷积层52、第三卷积层53，然后经过第一残差层54、第二残差层55、第三残差层56，再然后经过第一上采样层57、第二上采样层58，最后经过输出层59。
示例性地，第一卷积层51、第二卷积层52、第三卷积层53的结构如图6所示，第一卷积层51、第二卷积层52和第三卷积层53包括镜像填充层61、深度卷积层62、逐点卷积层63、实例归一层64和非线性激活层65。
示例性地，第一卷积层51中的深度卷积的卷积核数量为32、卷积核大小为9x9、步长为1；第二卷积层52中的深度卷积的卷积核数量为64、卷积核大小为3x3、步长为2；第三卷积层53中的深度卷积的卷积核数量为158、卷积核大小为3x3、步长为2。
深度可分离卷积层，用于对训练图像进行深度卷积运算，得到第一输出特征；对第一输出特征进行逐点卷积运算，得到第二输出特征。可选地，深度可分离卷积层包括深度卷积层62和逐点卷积层63。深度可分离卷积是一种将标准卷积分解成深度卷积以及1个1x1的卷积即逐点卷积的运算方式，深度可分离卷积可以显著减少风格迁移模型的参数及运算量。上述对训练图像进行深度卷积运算，得到第一输出特征可以在深度卷积层62上运行，上述对第一输出特征进行逐点卷积运行，得到第二输出特征可以在逐点卷积层63上运行。在对训练图像进行深度卷积运算之前，可以先在镜像填充层61上对训练图像进行镜像填充(Reflect Padding)，填充为[[0,0]，[padding，padding]，[padding，padding]，[0,0]]，padding的大小为卷积核大小除以2取整，得到填充完毕的训练图像，然后再将上述填充完毕的训练图像输入深度卷积层62。
实例归一层64，用于根据迁移风格参数，对第二输出特征进行归一化，得到第三输出特征，迁移风格参数是指训练图像对应的迁移风格的参数。在实例归一层64上根据迁移风格参数，对第二输出特征进行归一化可以通过如下实例归一化(InstanceNormalization，IN)feature的公式实现：
Figure BDA0002280992420000161
其中，c表示训练图像卷积后得到的特征图，cmean表示c的均值，cstd表示c的标准差，vmean表示风格图像的特征图的均值，vstd表示风格图像的特征图的标准差。vmean、vstd、cmean、cstd的通道数一致，vmean初始化为全0向量，vstd初始化为全1向量。对风格迁移模型的训练即是对vmean和vstd的训练。
非线性激活层65，用于对第三输出特征进行非线性运算，得到第四输出特征。示例性地，可以通过非线性激活函数RELU进行非线性运算。
第一残差层54、第二残差层55和第三残差层56的结构示意图如图7所示，残差层包括两层卷积层71，输入经过两层卷积层71后的结果与输入相加，得到输出，该结构有利于风格迁移模型的稳定和收敛。第一残差层54、第二残差层55和第三残差层56包括的卷积层71中的深度卷积的卷积核数量均为158、卷积核大小均为3x3、步长均为1。
第一上采样层57和第二上采样层58包括卷积层和最近邻上采样层。最近邻上采样层，用于对第四输出特征进行插值运算，得到分辨率大于第四输出特征的分辨率的第五输出特征。最近邻上采样层将第四输出特征的分辨率扩大2倍后，得到第五输出特征，相较于相关技术中的通过反卷积的方式进行上采样，本申请实施例通过最近邻上采样，可以有效避免棋盘格效应。第一上采样层57中的深度卷积的卷积核数量为64、卷积核大小为3x3、步长为2；第二上采样层58中的深度卷积的卷积核数量为32、卷积核大小为3x3、步长为2。
请参考图8，图8是本申请实施例提供的一种上采样卷积结构的示意图，在该上采样卷积结构中，输入经过卷积层81之后经过最近邻上采样层82，得到输出。
输出层59，用于对第五输出特征进行卷积运算后，输出训练迁移图像。输出层59包括的卷积层中的深度卷积的卷积核熟练为3、卷积核大小为9x9、步长为1、激活函数为tanh。
步骤440，将混合风格迁移参数输入到多风格迁移模型中，通过多风格迁移模型根据混合风格迁移参数，对目标图像进行风格迁移。
其中，多风格迁移模型是卷积神经网络模型，多风格迁移模型是通过目标训练数据集训练得到的模型，目标训练数据集包括内容图片数据集和风格图片数据集，风格图片数据集包括n种图像风格对应的n张风格图片。
综上所述，在本申请实施例中，终端能够通过训练过程得到多风格迁移模型，再通过多风格迁移模型对目标图像完成多风格迁移，实现了通过至少两种图像风格生成混合风格迁移参数，最终通过混合风格迁移参数处理目标图像得到多种风格混合的图像，增强了图像在风格迁移处理方式上的多样性和效果。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图9，图9是本申请一个示例性实施例提供的图像的风格迁移装置的结构框图。该图像的风格迁移装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置包括：
图像获取模块910，用于从终端的存储组件中获取目标图像；
权重确定模块920，用于获取n种图像风格各自对应的权重，所述n种图像风格各自对应的权重之和为1，n为不小于2的正整数；
迁移参数生成模块930，用于根据所述n种图像风格中每一种图像风格对应的权重和独立风格迁移参数，生成混合风格迁移参数；
风格迁移模块940，用于根据所述混合风格迁移参数，对所述目标图像进行风格迁移。
在一个可选的实施例中，所述迁移参数生成模块930，用于获取所述n种图像风格中的第i种图像风格对应的第i权重和第i独立风格迁移参数，i为不大于n的正整数；将所述第i权重和所述第i独立风格迁移参数的乘积，确定为第i风格迁移量，所述第i风格迁移量共有n个；将n个所述第i风格迁移量求和，获得所述混合风格迁移参数。
在一个可选的实施例中，所述风格迁移模块940，用于将所述混合风格迁移参数输入到多风格迁移模型中，通过所述多风格迁移模型根据所述混合风格迁移参数，对所述目标图像进行风格迁移；其中，所述多风格迁移模型是卷积神经网络模型，所述多风格迁移模型是通过目标训练数据集训练得到的模型，所述目标训练数据集包括内容图片数据集和风格图片数据集，所述风格图片数据集包括所述n种图像风格对应的n张风格图片。
在一个可选的实施例中，所述装置包括训练集获取模块、训练结果获取模块、损失函数获取模块和模型训练模块。
所述训练集获取模块，用于获取所述目标训练数据集，所述目标训练数据集中的一张所述风格图片和一张内容图片组成一个训练样本，所述内容图片属于所述内容图片数据集。
所述练结果获取模块，用于通过所述多风格迁移模型对所述内容图片进行风格迁移处理，得到训练结果图像。
所述损失函数获取模块，用于根据所述风格图片的风格特征、所述内容图片的内容特征、所述训练结果图像的内容特征和所述训练结果图像的风格特征，获得所述多风格迁移模型的损失函数。
所述模型训练模块，用于根据所述损失函数训练所述多风格迁移模型，得到经过训练的所述多风格迁移模型。
在一个可选的实施例中，所述损失函数获取模块，用于根据所述内容图片的内容特征和所述训练结果图像的内容特征，确定内容损失函数；根据所述风格图像的风格特征和所述训练结果图像的风格特征，确定风格损失函数；根据所述内容损失函数和所述风格损失函数，确定所述多风格迁移模型的损失函数。
在一个可选的实施例中，所述装置涉及的多风格迁移模型中包括深度可分离卷积层、实例归一层、非线性激活层、最近邻上采样层和输出层。其中，所述深度可分离卷积层，用于对所述内容图像进行深度卷积运算，得到第一输出特征；对所述第一输出特征进行逐点卷积运算，得到第二输出特征；所述实例归一层，用于根据迁移风格参数，对所述第二输出特征进行归一化，得到第三输出特征，所述迁移风格参数是指所述内容图像对应的迁移风格的参数；所述非线性激活层，用于对所述第三输出特征进行非线性运算，得到第四输出特征；所述最近邻上采样层，用于对所述第四输出特征进行插值运算，得到分辨率大于所述第四输出特征的分辨率的第五输出特征；所述输出层，用于对所述第五输出特征进行卷积运算后，输出所述训练结果图像。
在一个可选的实施例中，所述图像获取模块910，用于读取所述终端的存储组件，将所述终端通过图像采集组件实时采集的图像帧作为所述目标图像；
权重确定模块920，用于根据所述终端的输入组件采集的信息，获取所述n种图像风格各自对应的权重；或，根据所述终端的历史权重配置信息，获取所述n种图像风格各自对应的权重，所述历史权重配置信息是所述终端的输入组件根据最近一次输入信息生成的数据。
综上所述，本申请实施例从终端的存储组件中获取目标图像，再获取n种图像风格各自对应的权重，根据n种图像风格中每一种图像风格对应的权重和独立风格迁移参数，生成混合风格迁移参数，根据该混合风格迁移参数对目标图像进行风格迁移，其中，n种图像风格各自对应的权重之和为1，n为不小于2的正整数。由于终端能够在获取目标图像之后，通过至少两种图像风格生成混合风格迁移参数，最终通过混合风格迁移参数处理目标图像得到多种风格混合的图像，增强了图像在风格迁移处理方式上的多样性和效果。
本申请实施例还提供了一种计算机可读介质，该计算机可读介质存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的图像的风格迁移方法。
需要说明的是：上述实施例提供的图像的风格迁移装置在执行图像的风格迁移方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像的风格迁移装置与图像的风格迁移方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的能够实现的示例性的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像的风格迁移方法，其特征在于，所述方法包括：
从终端的存储组件中获取目标图像；
获取n种图像风格各自对应的权重，所述n种图像风格各自对应的权重之和为1，n为不小于2的正整数；
根据所述n种图像风格中每一种图像风格对应的权重和独立风格迁移参数，生成混合风格迁移参数；
根据所述混合风格迁移参数，对所述目标图像进行风格迁移。
2.根据权利要求1所述的方法，其特征在于，所述根据所述n种图像风格中每一种图像风格对应的权重和独立风格迁移参数，生成混合风格迁移参数，包括：
获取所述n种图像风格中的第i种图像风格对应的第i权重和第i独立风格迁移参数，i为不大于n的正整数；
将所述第i权重和所述第i独立风格迁移参数的乘积，确定为第i风格迁移量，所述第i风格迁移量共有n个；
将n个所述第i风格迁移量求和，获得所述混合风格迁移参数。
3.根据权利要求2所述的方法，其特征在于，所述根据所述混合风格迁移参数，对所述目标图像进行风格迁移，包括：
将所述混合风格迁移参数输入到多风格迁移模型中，通过所述多风格迁移模型根据所述混合风格迁移参数，对所述目标图像进行风格迁移；
其中，所述多风格迁移模型是卷积神经网络模型，所述多风格迁移模型是通过目标训练数据集训练得到的模型，所述目标训练数据集包括内容图片数据集和风格图片数据集，所述风格图片数据集包括所述n种图像风格对应的n张风格图片。
4.根据权利要求3所述的方法，其特征在于，在所述将所述混合风格迁移参数输入到多风格迁移模型中，通过所述多风格迁移模型根据所述混合风格迁移参数，对所述目标图像进行风格迁移之前，所述方法还包括：
获取所述目标训练数据集，所述目标训练数据集中的一张所述风格图片和一张内容图片组成一个训练样本，所述内容图片属于所述内容图片数据集；
通过所述多风格迁移模型对所述内容图片进行风格迁移处理，得到训练结果图像；
根据所述风格图片的风格特征、所述内容图片的内容特征、所述训练结果图像的内容特征和所述训练结果图像的风格特征，获得所述多风格迁移模型的损失函数；
根据所述损失函数训练所述多风格迁移模型，得到经过训练的所述多风格迁移模型。
5.根据权利要求4所述的方法，其特征在于，所述根据所述风格图片的风格特征、所述内容图片的内容特征、所述训练结果图像的内容特征和所述训练结果图像的风格特征，获得所述多风格迁移模型的损失函数，包括：
根据所述内容图片的内容特征和所述训练结果图像的内容特征，确定内容损失函数；
根据所述风格图像的风格特征和所述训练结果图像的风格特征，确定风格损失函数；
根据所述内容损失函数和所述风格损失函数，确定所述多风格迁移模型的损失函数。
6.根据权利要求3至5任一所述的方法，其特征在于，所述多风格迁移模型中包括深度可分离卷积层、实例归一层、非线性激活层、最近邻上采样层和输出层；
所述深度可分离卷积层，用于对所述内容图像进行深度卷积运算，得到第一输出特征；对所述第一输出特征进行逐点卷积运算，得到第二输出特征；
所述实例归一层，用于根据迁移风格参数，对所述第二输出特征进行归一化，得到第三输出特征，所述迁移风格参数是指所述内容图像对应的迁移风格的参数；
所述非线性激活层，用于对所述第三输出特征进行非线性运算，得到第四输出特征；
所述最近邻上采样层，用于对所述第四输出特征进行插值运算，得到分辨率大于所述第四输出特征的分辨率的第五输出特征；
所述输出层，用于对所述第五输出特征进行卷积运算后，输出所述训练结果图像。
7.根据权利要求1所述的方法，其特征在于，所述从终端的存储组件中获取目标图像，包括：
读取所述终端的存储组件，将所述终端通过图像采集组件实时采集的图像帧作为所述目标图像；
所述获取n种图像风格各自对应的权重，包括：
根据所述终端的输入组件采集的信息，获取所述n种图像风格各自对应的权重；
或，
根据所述终端的历史权重配置信息，获取所述n种图像风格各自对应的权重，所述历史权重配置信息是所述终端的输入组件根据最近一次输入信息生成的数据。
8.一种图像的风格迁移装置，其特征在于，所述装置包括：
图像获取模块，用于从终端的存储组件中获取目标图像；
权重确定模块，用于获取n种图像风格各自对应的权重，所述n种图像风格各自对应的权重之和为1，n为不小于2的正整数；
迁移参数生成模块，用于根据所述n种图像风格中每一种图像风格对应的权重和独立风格迁移参数，生成混合风格迁移参数；
风格迁移模块，用于根据所述混合风格迁移参数，对所述目标图像进行风格迁移。
9.一种终端，其特征在于，所述终端包括处理器、和与所述处理器相连的存储器，以及存储在所述存储器上的程序指令，所述处理器执行所述程序指令时实现如权利要求1至7任一所述的图像的风格迁移方法。
10.一种计算机可读存储介质，所述存储介质中存储有程序指令，其特征在于，所述程序指令被处理器执行时实现如权利要求1至7任一所述的图像的风格迁移方法。
CN201911141240.2A 2019-11-20 2019-11-20 图像的风格迁移方法、装置、终端及存储介质 Pending CN110909790A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911141240.2A CN110909790A (zh) 2019-11-20 2019-11-20 图像的风格迁移方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911141240.2A CN110909790A (zh) 2019-11-20 2019-11-20 图像的风格迁移方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN110909790A true CN110909790A (zh) 2020-03-24

Family

ID=69818280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911141240.2A Pending CN110909790A (zh) 2019-11-20 2019-11-20 图像的风格迁移方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN110909790A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582477A (zh) * 2020-05-09 2020-08-25 北京百度网讯科技有限公司 神经网络模型的训练方法和装置
CN111784566A (zh) * 2020-07-01 2020-10-16 北京字节跳动网络技术有限公司 图像处理方法、迁移模型训练方法、装置、介质及设备
CN111815506A (zh) * 2020-07-17 2020-10-23 上海眼控科技股份有限公司 图像生成方法、装置、计算机设备和存储介质
CN111915525A (zh) * 2020-08-05 2020-11-10 湖北工业大学 基于改进深度可分离生成对抗网络的低照度图像增强方法
CN111932438A (zh) * 2020-06-18 2020-11-13 浙江大华技术股份有限公司 图像风格迁移方法、设备及存储装置
CN111986302A (zh) * 2020-07-23 2020-11-24 北京石油化工学院 一种基于深度学习的图像风格迁移方法及装置
CN111986075A (zh) * 2020-08-12 2020-11-24 兰州交通大学 一种目标边缘清晰化的风格迁移方法
CN112102269A (zh) * 2020-09-01 2020-12-18 浙江大学 计算风格迁移质量相似度的方法、装置、计算机设备和存储介质
CN112101546A (zh) * 2020-09-01 2020-12-18 浙江大学 生成多样化结果的风格迁移方法、装置、计算机设备和存储介质
CN112241729A (zh) * 2020-11-04 2021-01-19 深兰科技（上海）有限公司 智能眼镜和基于智能眼镜的场景风格迁移方法
CN112288621A (zh) * 2020-09-21 2021-01-29 山东师范大学 基于神经网络的图像风格迁移方法及***
CN112381707A (zh) * 2020-11-02 2021-02-19 腾讯科技（深圳）有限公司 图像生成方法、装置、设备以及存储介质
WO2021109876A1 (zh) * 2019-12-02 2021-06-10 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
CN113012038A (zh) * 2021-03-19 2021-06-22 深圳市兴海物联科技有限公司 一种图像风格迁移处理方法、移动终端和云端服务器
CN113724132A (zh) * 2021-11-03 2021-11-30 浙江宇视科技有限公司 图像风格迁移处理方法、装置、电子设备及存储介质
CN114022352A (zh) * 2022-01-05 2022-02-08 成都国星宇航科技有限公司 遥感图像风格迁徙模型的创建方法和装置
CN114615421A (zh) * 2020-12-07 2022-06-10 华为技术有限公司 图像处理方法及电子设备
WO2024066549A1 (zh) * 2022-09-29 2024-04-04 华为技术有限公司 一种数据处理方法及相关设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794454A (zh) * 2010-04-08 2010-08-04 西安交通大学 一种基于图像的油画风格化方法
US20180211157A1 (en) * 2017-01-25 2018-07-26 Boe Technology Group Co., Ltd. Image processing method and device
CN108537776A (zh) * 2018-03-12 2018-09-14 维沃移动通信有限公司 一种图像风格迁移模型生成方法及移动终端
US20180373999A1 (en) * 2017-06-26 2018-12-27 Konica Minolta Laboratory U.S.A., Inc. Targeted data augmentation using neural style transfer
CN109863537A (zh) * 2016-10-21 2019-06-07 谷歌有限责任公司 风格化输入图像
EP3540695A1 (en) * 2018-03-13 2019-09-18 InterDigital CE Patent Holdings Method for transfer of a style of a reference visual object to another visual object, and corresponding electronic device, computer readable program products and computer readable storage medium
CN110473141A (zh) * 2019-08-02 2019-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794454A (zh) * 2010-04-08 2010-08-04 西安交通大学 一种基于图像的油画风格化方法
CN109863537A (zh) * 2016-10-21 2019-06-07 谷歌有限责任公司 风格化输入图像
US20190236814A1 (en) * 2016-10-21 2019-08-01 Google Llc Stylizing input images
US20180211157A1 (en) * 2017-01-25 2018-07-26 Boe Technology Group Co., Ltd. Image processing method and device
US20180373999A1 (en) * 2017-06-26 2018-12-27 Konica Minolta Laboratory U.S.A., Inc. Targeted data augmentation using neural style transfer
CN108537776A (zh) * 2018-03-12 2018-09-14 维沃移动通信有限公司 一种图像风格迁移模型生成方法及移动终端
EP3540695A1 (en) * 2018-03-13 2019-09-18 InterDigital CE Patent Holdings Method for transfer of a style of a reference visual object to another visual object, and corresponding electronic device, computer readable program products and computer readable storage medium
CN110473141A (zh) * 2019-08-02 2019-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021109876A1 (zh) * 2019-12-02 2021-06-10 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
CN111582477A (zh) * 2020-05-09 2020-08-25 北京百度网讯科技有限公司 神经网络模型的训练方法和装置
CN111582477B (zh) * 2020-05-09 2023-08-29 北京百度网讯科技有限公司 神经网络模型的训练方法和装置
CN111932438A (zh) * 2020-06-18 2020-11-13 浙江大华技术股份有限公司 图像风格迁移方法、设备及存储装置
CN111784566A (zh) * 2020-07-01 2020-10-16 北京字节跳动网络技术有限公司 图像处理方法、迁移模型训练方法、装置、介质及设备
CN111784566B (zh) * 2020-07-01 2022-02-08 北京字节跳动网络技术有限公司 图像处理方法、迁移模型训练方法、装置、介质及设备
CN111815506A (zh) * 2020-07-17 2020-10-23 上海眼控科技股份有限公司 图像生成方法、装置、计算机设备和存储介质
CN111986302A (zh) * 2020-07-23 2020-11-24 北京石油化工学院 一种基于深度学习的图像风格迁移方法及装置
CN111915525B (zh) * 2020-08-05 2024-03-01 湖北工业大学 基于改进深度可分离生成对抗网络的低照度图像增强方法
CN111915525A (zh) * 2020-08-05 2020-11-10 湖北工业大学 基于改进深度可分离生成对抗网络的低照度图像增强方法
CN111986075A (zh) * 2020-08-12 2020-11-24 兰州交通大学 一种目标边缘清晰化的风格迁移方法
CN111986075B (zh) * 2020-08-12 2022-08-09 兰州交通大学 一种目标边缘清晰化的风格迁移方法
CN112101546A (zh) * 2020-09-01 2020-12-18 浙江大学 生成多样化结果的风格迁移方法、装置、计算机设备和存储介质
CN112102269A (zh) * 2020-09-01 2020-12-18 浙江大学 计算风格迁移质量相似度的方法、装置、计算机设备和存储介质
CN112101546B (zh) * 2020-09-01 2024-01-05 浙江大学 生成多样化结果的风格迁移方法、装置、计算机设备和存储介质
CN112102269B (zh) * 2020-09-01 2024-01-05 浙江大学 计算风格迁移质量相似度的方法、装置、计算机设备和存储介质
CN112288621A (zh) * 2020-09-21 2021-01-29 山东师范大学 基于神经网络的图像风格迁移方法及***
CN112381707A (zh) * 2020-11-02 2021-02-19 腾讯科技（深圳）有限公司 图像生成方法、装置、设备以及存储介质
CN112381707B (zh) * 2020-11-02 2023-06-20 腾讯科技（深圳）有限公司 图像生成方法、装置、设备以及存储介质
CN112241729A (zh) * 2020-11-04 2021-01-19 深兰科技（上海）有限公司 智能眼镜和基于智能眼镜的场景风格迁移方法
CN114615421B (zh) * 2020-12-07 2023-06-30 华为技术有限公司 图像处理方法及电子设备
WO2022121796A1 (zh) * 2020-12-07 2022-06-16 华为技术有限公司 图像处理方法及电子设备
CN114615421A (zh) * 2020-12-07 2022-06-10 华为技术有限公司 图像处理方法及电子设备
EP4246955A4 (en) * 2020-12-07 2024-05-15 Huawei Technologies Co., Ltd. IMAGE PROCESSING METHOD AND ELECTRONIC DEVICE
CN113012038B (zh) * 2021-03-19 2023-11-28 深圳市兴海物联科技有限公司 一种图像风格迁移处理方法、移动终端和云端服务器
CN113012038A (zh) * 2021-03-19 2021-06-22 深圳市兴海物联科技有限公司 一种图像风格迁移处理方法、移动终端和云端服务器
CN113724132A (zh) * 2021-11-03 2021-11-30 浙江宇视科技有限公司 图像风格迁移处理方法、装置、电子设备及存储介质
CN114022352A (zh) * 2022-01-05 2022-02-08 成都国星宇航科技有限公司 遥感图像风格迁徙模型的创建方法和装置
WO2024066549A1 (zh) * 2022-09-29 2024-04-04 华为技术有限公司 一种数据处理方法及相关设备

Similar Documents

Publication Publication Date Title
CN110909790A (zh) 图像的风格迁移方法、装置、终端及存储介质
CN109977956B (zh) 一种图像处理方法、装置、电子设备以及存储介质
CN110956654B (zh) 图像处理方法、装置、设备及存储介质
CN111898701B (zh) 模型训练、帧图像生成、插帧方法、装置、设备及介质
CN110533594B (zh) 模型训练方法、图像重建方法、存储介质及相关设备
CN111476708B (zh) 模型生成方法、模型获取方法、装置、设备及存储介质
CN110598781A (zh) 图像处理方法、装置、电子设备及存储介质
Pan et al. MIEGAN: Mobile image enhancement via a multi-module cascade neural network
CN108875900A (zh) 视频图像处理方法和装置、神经网络训练方法、存储介质
EP4092629A2 (en) Method and apparatus for displaying objects, and storage medium
CN110958469A (zh) 视频处理方法、装置、电子设备及存储介质
KR20200132682A (ko) 이미지 최적화 방법, 장치, 디바이스 및 저장 매체
CN111127309A (zh) 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
US20240020810A1 (en) UNIVERSAL STYLE TRANSFER USING MULTl-SCALE FEATURE TRANSFORM AND USER CONTROLS
CN110366733A (zh) 信息处理装置
JP2023545052A (ja) 画像処理モデルの訓練方法及び装置、画像処理方法及び装置、電子機器並びにコンピュータプログラム
Li et al. High-resolution network for photorealistic style transfer
CN115294055A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN115311152A (zh) 图像处理方法、装置、电子设备以及存储介质
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
CN114299105A (zh) 图像处理方法、装置、计算机设备及存储介质
Yang et al. An end‐to‐end perceptual enhancement method for UHD portrait images
AKIMOTO et al. Image completion of 360-degree images by cGAN with residual multi-scale dilated convolution
CN116071478B (zh) 图像重建模型的训练方法和虚拟场景渲染方法
CN114782256B (zh) 图像重建方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination