CN112348739A - 图像处理方法、装置、设备及存储介质 - Google Patents
图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112348739A CN112348739A CN202011364910.XA CN202011364910A CN112348739A CN 112348739 A CN112348739 A CN 112348739A CN 202011364910 A CN202011364910 A CN 202011364910A CN 112348739 A CN112348739 A CN 112348739A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- style
- sample image
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 137
- 238000013508 migration Methods 0.000 claims abstract description 108
- 230000005012 migration Effects 0.000 claims abstract description 108
- 239000000523 sample Substances 0.000 claims description 164
- 239000013598 vector Substances 0.000 claims description 144
- 238000011176 pooling Methods 0.000 claims description 108
- 238000000034 method Methods 0.000 claims description 76
- 239000013074 reference sample Substances 0.000 claims description 54
- 238000012549 training Methods 0.000 claims description 37
- 230000015654 memory Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 14
- 230000008569 process Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 12
- 238000005070 sampling Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000005291 magnetic effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种图像处理方法、装置、设备及存储介质,提取待处理图像;将待处理图像输入至训练好的图像风格迁移模型中,进行基于目标风格的图像风格迁移处理,得到目标图像;具体的,分别对待处理图像作全局最大池处理和全局平均池处理,得到第一图像;对第一图像作卷积处理得到第二图像;对第二图像进行编码,得到目标图像。本方案中,由于风格迁移模型在进行基于目标风格的图像风格迁移处理时,对待处理图像作全局最大池处理和全局平均池处理,能够充分提取图像的细节特征,从而有效提升风格迁移效果,获得高质量的目标图像,提升用户体验。
Description
技术领域
本申请实施例涉及人工智能(Artificial Intelligence,简称:AI)技术,尤 其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
图像风格迁移技术是指将场景一中的纹理、颜色、形状等信息迁移到具 有另一种风格的场景二中,使得场景二能在保持原有内容的基础上,获得新 的颜色、纹理、形状等风格特点。随着人工智能(AI)技术的发展,风格迁 移技术在计算机视觉等多方面得到广泛的应用,如风景画实现特定艺术风格 化,黑白照片彩色化,人脸各种属性变化等。
目前的图像风格迁移技术,例如,人脸动画风格化技术,该技术主要 采取GAN网络技术,来实现一对一的风格转换。然而,上述技术在迁移 过程中容易忽略细节特征,使得迁移后的图像无法清晰地保留细节特征, 如头发的形状等特征,从而导致图像风格迁移效果较差。
发明内容
本申请实施例提供一种图像处理方法、装置、设备及存储介质,以有效 提升图像风格迁移效果。
第一方面,本申请实施例提供一种图像处理方法,包括:
提取待处理图像;
将待处理图像输入至训练好的图像风格迁移模型中,进行基于目标风格 的图像风格迁移处理,得到目标图像,其中,目标图像的风格为目标风格;
将待处理图像输入至训练好的图像风格迁移模型中,进行基于目标风格 的图像风格迁移处理,得到目标图像,包括:
分别对待处理图像作全局最大池处理和全局平均池处理,得到第一图像;
对第一图像作卷积处理得到第二图像;
对第二图像进行通道编码,得到目标图像。
可选的,第一图像包括:全局最大池化处理后的图像和全局平均池化处 理后的图像;
图像风格迁移模型包括全局最大池化层和全局平均池化层、卷积层、编 码层;
全局最大池化池,用于对待处理图像做全局最大池处理,获得全局最大 池化处理后的图像;
全局平均池化池,用于对待处理图像做全局平均池处理,获得全局平均 池化处理后的图像;
卷积层,用于对第一图像做卷积处理得到第二图像;
编码层,用于对第二图像进行编码,获得所述目标图像。
可选的,方法还包括:
获取源样本图像和参考样本图像,参考样本图像的风格为目标风格;
将源样本图像输入至第一生成器中,将源样本图像的风格转化为目标风 格,获得目标样本图像;
将目标样本图像和参考样本图像,分别输入至第一判别器中,获得第一 判别结果;
根据第一判别结果,调整第一生成器、第一判别器中的训练参数,直至 第一判别器中的判别结果满足预设条件,停止调整;
根据调整后的第一生成器,获得训练好的图像风格迁移模型。
可选的,第一生成器包括:第一全局最大池化层和第一全局平均池化层、 第一辅助分类器、第一卷积层、多个第一全连接层、第一解码器;
将源样本图像输入至第一生成器中,将源样本图像的风格转化为目标风 格,获得目标样本图像,包括:
将源样本图像输入至第一全局最大池化层,基于第一权重向量对源样本 图像进行处理,获得第一特征图像;
将源样本图像输入至第一全局平均池化层,基于第二权重向量对源样本 图像进行处理,获得第二特征图像,
将第一权重向量和第二权重向量输入至第一辅助分类器,获得第一分类 结果;
将第一特征图像和第二特征图像输入至第一卷积层,获得的第三特征图 像;
将第三特征图像输入至多个第一全连接层,获得多个参数向量;
将第三特征图像输入至第一解码器,根据多个参数向量对第三特征图像 进行通道编码,获得目标样本图像;
其中,第一权重向量、第二权重向量用于调整源样本图像中各特征的比 重。
可选的,根据第一判别结果,调整第一生成器、第一判别器中的训练参 数,直至第一判别器中的判别结果满足预设条件,停止调整,包括:
根据第一判别结果、第一分类结果,调整第一生成器、第一判别器中的 训练参数,获得调整后的第一生成器、调整后的第一判别器;
根据调整后的第一生成器,将源样本图像的风格转化为目标风格,获得 第一目标样本图像;
将第一目标样本图像和参考样本图像分别输入调整后的第一判别器,输 出第二判别结果,第二判别结果包括:第一目标样本图像对应的第一损失值;
当确定第一损失值小于预设值时,确定第一判别器中判别结果满足预设 条件,停止调整。
可选的,第一判别器包括:第二全局最大池化层和第二全局平均池化层、 第二辅助分类器、第一分类器;
将目标样本图像和参考样本图像,分别输入至第一判别器中,获得第一 判别结果,包括:
将目标样本图像和参考样本图像分别输入至第二全局最大池化层,基于 第三权重向量对图像进行处理,分别获得第四特征图像和第五特征图像;
将目标样本图像和参考样本图像分别输入至第二全局平均池化层,基于 第四权重向量对图像进行处理,分别获得第二全局平均池化层输出的第六特 征图像和第七特征图像;
将第三权重向量和第四权重向量输入至第二辅助分类器,获得第二分类 结果;
将第四特征图像、第五特征图像、第六特征图像、第七特征图像输入至 第一分类器,获得第一分类器输出的第一判别结果;
其中,第三权重向量、第四权重向量用于调整目标样本图像和参考样本 图像中各特征的比重。
可选的,第一生成器中的训练参数包括:第一权重向量、第二权重向量、 多个参数向量;
第一判别器中的训练参数包括:第三权重向量、第四权重向量;
根据第一判别结果、第一分类结果,调整第一生成器、第一判别器中的 训练参数,获得调整后的第一生成器、调整后的第一判别器,包括:
根据第一判别结果、第一分类结果、第二分类结果调整第一权重向量、 第二权重向量、多个参数向量调整后的第一生成器;
根据第一判别结果、第一分类结果、第二分类结果调整第三权重向量、 第四权重向量,获得调整后的第一判别器。
可选的,方法还包括:
将目标样本图像输入至第二生成器中,以将目标样本图像的风格转化为 源样本图像的风格,以获得中间样本图像;
将中间样本图像和源图像,分别输入至第二判别器中,获得第二判别结 果。
可选的,根据第一判别结果,调整第一生成器、第一判别器中的训练参 数,直至判别结果满足预设条件,停止调整,包括:
根据第一判别结果和第二判别结果,调整第一生成器、第一判别器、第 二生成器、第二判别器中的训练参数,以获得调整后的第一生成器、调整后 的第一判别器、调整后的第二生成器以及调整后的第二判别器;
根据调整后的第一生成器对源样本图像进行处理,以将源样本图像的风 格转化为目标风格,获得第二目标样本图像;
根据调整后的第二生成器对第二目标样本图像进行处理,以将第二目标 样本图像的风格转化为源样本图像的风格,获得中间样本图像;
将第二目标样本图像输入调整后的第一判别器,输出第三判别结果,第 三判别结果为第二目标样本图像的第二损失值;
将中间样本图像输入调整后的第二判别器,输出第四判别结果,第四判 别结果为中间样本图像的第三损失值;
当确定第二损失值与第三损失值的和小于预设值时,确定第一判别结果 和第二判别结果满足预设条件,停止调整。
第二方面,本申请实施例提供一种图像处理装置,包括:
提取模块,用于提取待处理图像;
处理模块,用于将待处理图像输入至训练好的图像风格迁移模型中,进 行基于目标风格的图像风格迁移处理,得到目标图像,其中,目标图像的风 格为目标风格;
处理模块包括:
第一处理单元,用于分别对待处理图像作全局最大池处理和全局平均池 处理,得到第一图像;
第二处理单元,用于对第一图像作卷积处理得到第二图像;
第三处理单元,用于对第二图像进行通道编码,得到目标图像。
第三方面,本申请实施例提供一种电子设备,包括:
存储器,用于存储程序指令;
处理器,用于调用并执行存储器中的程序指令,执行如第一方面中任意 一项的图像处理方法。
第四方面,本申请提供一种计算机可读存储介质,计算机可读存储介质 上存储有计算机程序;计算机程序被处理器执行时,实现如第一方面中任一 项所述的方法。
第五方面,本申请提供一种计算机程序产品,包括计算机程序,计算机 程序被处理器执行时,实现如第一方面中任一项所述的方法。
本申请实施例提供一种图像处理方法、装置、设备及存储介质,提取待 处理图像;将待处理图像输入至训练好的图像风格迁移模型中,进行基于目 标风格的图像风格迁移处理,得到目标图像;具体的,分别对待处理图像作 全局最大池处理和全局平均池处理,得到第一图像;对第一图像作卷积处理 得到第二图像;对第二图像进行编码,得到目标图像。由于风格迁移模型在 进行基于目标风格的图像风格迁移处理时,对待处理图像作全局最大池处理 和全局平均池处理,能够充分提取图像的细节特征,从而有效提升风格迁移 效果,获得高质量的目标图像,提升用户体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对 实施例或现有技术描述中所需要使用的附图做一简单地介绍,显而易见 地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员 来讲,还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的图像处理方法的场景示例图;
图2为本申请一实施例提供的图像风格迁移模型的结构示意图;
图3为本申请一实施例提供的图像处理方法的流程图;
图4为本申请一实施例提供的图像处理装置的结构示意图;
图5为本申请另一实施例提供的图像处理方法的流程图;
图6为本申请又一实施例提供的图像处理方法的流程图;
图7为本申请另一实施例提供的图像处理装置的结构示意图
图8为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本 申请实施例中的附图,对本申请实施例中的技术方案进行描述,显然,所 描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请 中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的 所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例各部分及附图中的术语“第一”、“第 二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。 应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请 的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术 语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含, 例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限 于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这 些过程、方法、产品或设备固有的其它步骤或单元。
本申请下述实施例所涉及的方法流程图仅是示例性说明,不是必须包 括所有的内容和步骤,也不是必须按照所描述的顺序执行。例如,有些步 骤还可以分解,而有些步骤可以合并或部分合并,因此,实际执行的顺序 可根据实际情况改变。
本申请下述实施例所涉及的方框图中的功能模块仅仅是功能实体,不 一定必须与物理上独立的实体相对应。即,可以采用软件形式实现这些功 能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或者 不同网络和/或处理器和/或微控制器中实现这些功能实体。
随着人工智能(AI)技术的发展,该技术在许多计算机视觉任务中得 到广泛的应用,如风景画实现特定艺术风格化,黑白照片彩色化,人脸各 种属性变化等。风格迁移是指将场景一中的纹理、颜色、形状等信息迁移 到具有另一种风格的场景二中,使得场景二能在保持原有内容的基础上, 获得新的颜色、纹理、形状等风格特点,属于计算机视觉中的图像翻译 (Image-To-Image Translation,简称:ITIT)领域。目前的图像风格迁移 技术,例如,人脸动画风格化技术,该技术主要采取GAN网络技术,来 实现一对一的风格转换。然而,上述技术在迁移过程中,无法清晰的保留 细节特征,如头发的形状等特征,从而导致图像风格迁移效果较差。
基于上述问题,本申请实施例提供一种图像处理方法、装置、设备及存 储介质,通过图像风格迁移模型在进行基于目标风格的图像风格迁移处理时, 对待处理图像作全局最大池处理和全局平均池处理,能够充分提取图像的细 节特征,从而有效提升风格迁移效果,获得高质量的目标图像,提升用户体 验。
图1为本申请一实施例提供图像风格迁移的场景示例图。该图像处理 方法可由相应软件/客户端所安装的终端的处理设备,例如处理器,执行相 应的软件代码实现,也可由该终端的处理设备执行相应的软件代码,并结 合其他硬件实体实现。其中,终端例如是台式电脑、笔记本、个人数字助 理(Personal Digital Assistant,简称:PDA)、智能手机、平板电脑和游 戏机等设备。该实施例以终端设备101为执行主体进行说明。
在实际应用中,终端设备101中有训练好的图像风格迁移模型,用于 基于目标风格对待处理图像进行风格迁移处理,从而得到目标图像。
具体的,将待处理图像输入终端设备101,终端设备101基于目标风 格对待处理图像进行处理,将待处理图像的风格迁移为目标风格,从而得 到目标风格的目标图像。在一种实施方式中,目标风格可以有多种,每种 目标风格对应有不同的图像风格迁移模型,用户在图像处理过程中,根据 需求在终端设备101中选择目标风格后,终端设备101根据选择的目标风 格对应的图像风格迁移模型,将待处理图像的风格迁移为目标风格。
在另一种实施方式中,用户也可以输入具有目标风格的参考图像,终 端设备101通过识别参考图像的风格,获取参考图像中的图像特征,再按 照图像特征,利用图像风格迁移模型将待处理图像的风格迁移为目标风 格。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如 何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结 合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将 结合附图,对本申请的实施例进行描述。
图2为本申请一实施例提供的图像风格迁移模型的结构示意图。如图2 所示,该图像风格迁移模型20包括全局最大池化层201和全局平均池化层 202、卷积层203以及编码层204。
其中,全局最大池化池201,用于对待处理图像做全局最大池处理,获 得全局最大池化处理后的图像;
全局平均池化池202,用于对待处理图像做全局平均池处理,获得全局 平均池化处理后的图像;
卷积层203,用于对全局最大池化处理后的图像,以及全局平均池化处 理后的图像做卷积处理得到第二图像;
编码层204,用于对第二图像进行通道编码,获得目标图像。
下面结合具体步骤对图像风格迁移模型中利用各个模块进行图像风 格迁移的过程进行说明:
图3为本申请一实施例提供的图像处理方法的流程图。如图3所示, 本申请实施例提供的图像处理方法具体包括如下步骤:
S301、提取待处理图像。
在一种实施方式中,获取待处理图像可以具体包括如下步骤:
(1)从输入的图像中获取待处理图像;
其中,待处理图像包括:真人头像等,其中,待处理图像的风格为源 域风格。
(2)对提取到的待处理图像中人脸框进行放大处理;
具体的,识别待处理图像中人脸区域,将人脸区域放大至原来的N倍。
在一种实施方式中,放大、的倍数可以根据图像风格迁移模型的参数 设定,例如放大的倍数可以是1.25倍;在另一种实施方式中,放大的倍数 也可以根据生成目标图像的需求自行调节,对此,本实施例不予限制。
(3)将放大/缩小后的待处理图像中剪裁出来。
由于输入图像往往具有各种各样复杂的背景,通过本步骤,可以只获 取需要转换的人脸部分,以减少背景中其他图像信息对风格转换过程的影 响。
在一些实施例中,在将待处理图像输入至训练好的图像风格迁移模型 中进行风格迁移处理前,还需要对待处理图像进行预处理,其中,预处理 包括:对齐处理、归一化处理中的至少一个。
具体的,对齐处理包括:将待处理图像按照最长边补齐处理,使其长、 宽相等。
归一化处理包括:获取待处理图像的像素值,再将图像等比例缩小/ 放大,其中,缩小/放大的大小可以是一预设大小,例如将图像放大至192 ×192,再将数值归一化到区间[0,1]。
进一步的,在对图像进行预处理之后,由于此时的图像只有3个通道, 即待处理图像的尺寸为192×192×3,需要将待处理图像输入多个卷积层, 实现下采样,从而增加待处理图像的通道特征。对于卷积层的个数以及下 采样的倍数,本申请实施例不做特别限定,示例性的,继续以待处理图像 的尺寸为192×192×3,卷积层的个数为3个,下采样的倍数为4倍为例, 经过上述采样处理,输出尺寸小为48×48×3的待处理图像。
可选的,在获得卷积处理后的待处理图像之后,还可将处理后的待处 理图像输入多个残差层(ResBlock),以增加图像的通道特征,从而充分 的提取图像特征,对于增加的通道数量,本申请不做限定。示例性的,可 以将其通道增加至256个,即得到的图像尺寸为48×48×256。
S302、将待处理图像输入至训练好的图像风格迁移模型中,进行基于 目标风格的图像风格迁移处理,得到目标图像。
下面结合步骤S3021~S3023对本步骤进行说明:
S3021、分别对待处理图像作全局最大池处理和全局平均池处理,得 到第一图像。
其中,第一图像包括:全局最大池化处理后的图像和全局平均池化处理 后的图像。
为方便理解,请参考图2,将步骤S301获得的待处理图像分成两路,第 一路输入风格迁移模型200中的全局最大池化层201,通过对待处理图像做 全局最大池处理,获得全局最大池化处理后的图像,第二路输入风格迁移模 型200中的全局平均池化层202,通过对待处理图像做全局平均池处理,获 得全局平均池化处理后的图像。
以输入两个池化层的图像的尺寸为48×48×256为例,经过全局最大池 化处理后的图像以及全局平均池化处理后的图像的尺寸为48×48×256。
进一步的,将全局平均池化处理后的图像以及全局最大池化处理后的图 像进行通道合并,从而获得第一图像,其中,第一图像的尺寸为48×48×512。
通过全局最大池化处理,以及全局平均池化处理,可以充分提取待处理 图像的全局信息以及局部信息,从而能够有效提升风格迁移效果,获得高质 量的风格迁移图像,提升用户体验。
S3022、对第一图像作卷积处理得到第二图像。
进一步的,将第一图像作为卷积层203的输入,利用卷积层203进行上 采样处理,从而降低第一图像的特征通道,输出第二图像。需要说明的是, 对于卷积层的数量以及采样倍数,本申请实施例不做具体限定,示例性的, 卷积层的数量可以为1,输出的第二图像的尺寸为48×48×256。
S3023、对第二图像进行通道编码,得到目标图像。
具体的,将第一图像作为编码层204的输入,利用编码层对第二图像进 行通道编码,得到目标图像。
编码层204可以包括:多个全连接层以及多个解码器,可以理解的是, 本申请实施例对于全连接层以及解码器的数量不做具体限制,示例性的,全 连接层的数量可以为3个,解码器的数量可以为4个。
一方面,将第二图像输入全连接层,全连接层对第二图像的图像特征进 行全连接处理,将第二图像处理为列项向量。仍以上为例,第一图像为 48x48x256的特征图,经过全连接处理,输出的列项向量为1x1x256的多个 参数向量,其中,参数向量包括:伽玛参数(gamma)以及贝塔参数(beta)。
另一方面,将第一图像输入解码器,每个解码器均根据全连接层输出的 参数向量对第一图像进行通道编码,获得目标图像。具体的,通过1x1x256 的gamma参数向量以及1x1x256的beta参数向量对第二图像进行通道编码, 示例性的,按照如下公式(1)对第二图像进行通道编码:
y=gamma*x+beta (1)
其中,y为目标图像的图像特征,x为第二图像的图像特征。
由于通过上述处理,获得的目标图像的尺寸与待处理图像的尺寸不同, 需要将其处理为与待处理图像的尺寸相同的图像。仍以上为例,获得的目标 图像的尺寸为48×48×256,需要将其处理为192×192×3大小的图像。
具体的,将获得的目标图像输入至一个反卷积层,用于提取目标图像的 图像特征,从而得到卷积处理后的目标图像,可以理解的是,卷积处理后的 目标图像的尺寸与待处理图像的尺寸相同。
可选的,还可以将卷积处理后的目标图像输入至层归一化层(LN归一化 层),以对卷积层的到的图像特征进行归一化,从而可以有效的迁移图像的 形状风格特征。
本实施例提供的图像处理方法,提取待处理图像,将待处理图像输入至 训练好的图像风格迁移模型中,进行基于目标风格的图像风格迁移处理,得 到目标图像,通过训练好的图像风格迁移模型对图像进行处理,可以提升图 像风格迁移过程的效率,提升用户体验。另外,由于风格迁移模型在进行基 于目标风格的图像风格迁移处理时,对待处理图像分别进行了全局最大池处 理和全局平均池处理,能够充分提取图像的细节特征,从而有效提升风格迁 移效果,获得高质量的目标图像。
在实际应用中,图像风格迁移模型是通过对图像处理装置进行调整得 到的,具体的,在利用该图像风格迁移模型基于目标风格的图像风格迁移 处理,得到目标图像之前,需要对图像处理装置进行调整,从而根据调整 后的图像处理装置获得训练好的图像风格迁移模型。首先,结合具体实施 例对图像处理装置进行说明:
图4为本申请一实施例提供的图像处理装置的结构示意图。如图4所 示,本申请实施例提供的图像处理装置40包括:第一生成器41、第一判 别器42。
具体的,第一生成器41包括:第一全局最大池化层411和第一全局平均 池化层412、第一辅助分类器413、第一卷积层414、多个第一全连接层415、 第一解码器416。
第一判别器42包括:第二全局最大池化层421和第二全局平均池化层 422、第二辅助分类器423、第一分类器424。
进一步的,结合图4以及具体实施例对图像处理装置进行调整,从而 获得训练好的图像风格迁移模型的过程进行说明:
图5为本申请另一实施例提供的图像处理方法的流程图。如图5所示, 本申请实施例提供的方法包括以下步骤:
S501、获取源样本图像和参考样本图像。
其中,源样本图像为源域风格的真实人脸图像,参考样本图像为目标风 格的图像,其中,目标风格的参考样本图像可以包括:动漫风格的图像、动 物风格的图像。
需要说明的是,获取取源样本图像和参考样本图像的过程与图2所示实 施例中步骤S301类似,具体可参考上述,此处不再赘述。
S502、将源样本图像输入至第一生成器中,将源样本图像的风格转化为 目标风格,获得目标样本图像。
为方便理解,请参考图4,第一生成器41将源样本图像的风格转化为目 标风格,获得目标样本图像包括以下步骤:
(1)将源样本图像输入至第一全局最大池化层411,基于第一权重向量 对源样本图像进行处理,获得第一特征图像。
其中,第一权重向量通过对第一生成器进行调整后获得的,第一权重向 量用于调整源样本图像中各特征的比重,第一权重向量的个数与源样本图像 的通道数量相同。具体的,以输入第一生成器41的源样本图像的尺寸为192 ×192×256为例,其包含256个通道,则第一权重向量的数量为256个,每 个第一权重向量用于控制其对应通道的特征的比重,从而根据每个通道的特 征的比重获得第一特征图像。
(2)将源样本图像输入至第一全局平均池化层412,基于第二权重向量 对源样本图像进行处理,获得第二特征图像。
相应的,第二权重向量也是通过对第一生成器41进行调整后获得的,第 二权重向量用于调整源样本图像中各特征的比重,第二权重向量的个数与源 样本图像的通道数量相相同。具体的,以输入第一生成器41的源样本图像的 尺寸为192×192×256为例,其包含256个通道,则第二权重向量的数量为 256个,每个第二权重向量用于控制其对应通道的特征的比重,从而根据每 个通道的特征的比重获得第二特征图像。
需要说明的是,本申请实施例对于(1)、(2)两个步骤的执行顺序不 做具体限定。
(3)将第一权重向量和第二权重向量输入至第一辅助分类器413,获得 第一分类结果。
具体的,将第一权重向量与第二权重向量进行合并,将合并后的权重向 量输入第一辅助分类器413。示例性的,结合上述,第一权重向量的数量以 及第二权重向量的数量均为256个,则合并后的权重向量的数量为512个。
其中,第一分类结果用于指示合并后的权重向量中不同向量的重要程度, 每个不同向量用于指示该向量对应的特征通道的权重值的大小,将合并后的 权重向量输入至第一辅助分类器413,通过第一辅助分类器413确定各合并 后的权重向量中各向量的重要程度,以输出第一分类结果。
(4)将第一特征图像和第二特征图像输入至第一卷积层,获得的第三特 征图像。
具体的,将全局最大池化处理后的第一特征图像,以及全局平均池化处 理后的第二特征图像进行通道合并,从而获得第一图像。需要说明的是,以 输入两个池化层的图像的尺寸均为48×48×256为例,经过全局最大池化处 理后的图像以及全局平均池化处理后的图像的尺寸为48×48×256,则合并 后的第一图像的尺寸为48×48×512。
进一步的,将合并得到的第一图像作为卷第一卷积层414的输入,利用 第一卷积层414进行上采样处理,从而降低第一图像的特征通道,输出第三 特征图像。需要说明的是,对于第一卷积层414的数量以及采样倍数,本申 请实施例不做具体限定,示例性的,第一卷积层414的数量可以为1,输出 的第三特征图像尺寸为48×48×256。
通过对图像进行全局最大池化处理以及全局平均池化处理,可以充分提 取图像的全局信息以及局部信息,能够基于获取的图像信息训练出更精确的 图像风格迁移模型,从而能够通过该图像风格迁移模型生成高质量的风格迁 移图像。
(5)将第三特征图像输入至多个第一全连接层,获得多个参数向量。
(6)将第三特征图像输入至第一解码器,根据多个参数向量对第三特征 图像进行通道编码,获得目标样本图像。
需要说明的是,多个参数向量是通过对第一生成器41进行调整后获得。 步骤(5)、(6)与图3所示实施例中步骤S3023类似,具体可参考图3所 示的实施例,此处不再赘述。
S503、将目标样本图像和参考样本图像,分别输入至第一判别器中,获 得第一判别结果。
第一判别结果包括:图像风迁移模型的损失值。为方便理解,请继续参 考图4,第一判别器42根据目标样本图像和参考样本图像获得第一判别结果, 具体可以包括以下步骤:
(1)将目标样本图像和参考样本图像分别输入至第二全局最大池化层 421,基于第三权重向量对图像进行处理,分别获得第四特征图像和第五特征 图像。
其中,第三权重向量是通过对第一判别器进行调整后获得的,第三权重 向量用于调整目标样本图像以及参考样本图像中各特征的比重,第三权重向 量的个数与目标样本图像以及参考样本图像的通道数量相同。具体的,以输 入第一判别器42的目标样本图像以及参考样本图像的尺寸均为192×192× 256为例,其均包含256个通道,则第三权重向量的数量为256个,每个第 三权重向量用于控制其对应通道的特征的比重,从而根据每个通道的特征的 比重获得目标样本图像对应的第四特征图像,以及参考样本图像对应的第五 特征图像。
(2)将目标样本图像和参考样本图像分别输入至第二全局平均池化层 422,基于第四权重向量对图像进行处理,分别获得第二全局平均池化层输出 的第六特征图像和第七特征图像。
相应的,第四权重向量也是通过对第一判别器42进行调整后获得的,第 四权重向量用于调整目标样本图像以及参考样本图像中各特征的比重,第四 权重向量的个数与目标样本图像以及参考样本图像的通道数量相相同。具体 的,以输入第一判别器42的源样本图像的尺寸为192×192×256为例,其包 含256个通道,则第四权重向量的数量为256个,每个第四权重向量用于控 制其对应通道的特征的比重,从而根据每个通道的特征的比重获得目标样本 图像对应的第六特征图像,以及参考样本图像对应的第七特征图像。
需要说明的是,对于步骤(1)、(2)的执行顺序,本申请实施例不做 具体以限定。
可选的,在将目标样本图像以及参考样本图像输入至第一判别器42 之前,还需要分别对上述目标样本图像以及参考样本图像进行放大、裁剪 等处理过程,从而可以减少背景中其他图像信息对风格转换过程的影响。
进一步的,在一些实施例中,在将目标样本图像以及参考样本图像输 入至第一判别器42之前,还需要对待处理图像进行预处理,其中,预处 理包括:对齐处理、归一化处理中的至少一个。
具体的,目标样本图像以及参考样本图像的放大、裁剪、预处理过程 及原理与图3所示实施例中步骤S301类似,具体可参考上述实施例,此 处不不再赘述。
可选的,在将图像输入至第一判别器42之前,还需要对目标样本图 像以及参考样本图像进行下采样处理,并增加其通道数。具体的,将目标 样本图像以及参考样本图像分别输入至卷积层,需要说明的是,本申请实 施例对于卷积层的数量以及采样倍数,本申请实施例不做具体限定,示例 性的,卷积层的可以为4个,采样倍数可以为8倍,以目标样本图像以及 参考样本图像的尺寸均192×192×3为例,经过上述采样处理,得到目标 样本图像以及参考样本图像的尺寸均为24×24×3,再对两者分别输入多 个残差层(ResBlock),以增加图像的通道特征,对于增加的通道数量, 本申请不做限定。示例性的,可以将其通道增加至512个,即得到的图像 尺寸为48×48×512。通过对图像进行采样处理以及增加通道特征,可以 充分提取图像特征。
(3)将第三权重向量和第四权重向量输入至第二辅助分类器,获得第二 分类结果。
具体的,将第三权重向量与第四权重向量进行合并,将合并后的权重向 量输入第二辅助分类器423。示例性的,结合上述,第三权重向量的数量以 及第四权重向量的数量均为256个,则合并后的权重向量的数量为512个。
其中,第二分类结果用于指示合并后的权重向量中不同向量的重要程度, 每个不同向量用于指示该向量对应的特征通道的权重值的大小,将合并后的 权重向量输入至第二辅助分类器423,通过第二辅助分类器423确定各合并 后的权重向量中各向量的重要程度,以输出第二分类结果。
(4)将第四特征图像、第五特征图像、第六特征图像、第七特征图像输 入至第一分类器424,获得第一分类器424输出的第一判别结果。
其中,第一分类器424可以包括:卷积层以及全连接层。
具体的,将第四特征图像和第六特征图像进行合并,得到目标样本图像 对应的特征图像,将第五特征图像以及第七特征图像进行合并,得到参考样 本图像对应的特征图像。需要说明的是,以输入两个池化层的目标样本图像、 以及输入两个池化层的参考样本图像的尺寸均为48×48×512为例,经过全 局最大池化处理后的图像以及全局平均池化处理后的图像的尺寸均为48×48 ×512,则目标样本图像对应的特征图像的尺寸为48×48×512,参考样本图 像对应的特征图像的尺寸也为48×48×512。
进一步的,将目标样本图像对应的合并后的特征图像、参考样本图像对 应的合并后的特征图像分别输入至卷积层,通过卷积层对二者分别进行下采 样处理,将两者的通道降低至256,即经过卷积层,输出的目标样本图像对 应的特征图像的尺寸、参考样本图像对应的特征图像的尺寸均为48×48× 256。
一方面,将目标样本图像对应的特征图像输入全连接层,通过全连接层 输出目标样本图像对应的特征图像的第一特征向量,将第一特征向量经过 sigmoid激活函数进行处理,获得目标样本图像来自源域的第一概率以及第一 标签概率,再根据第一概率以及第一标签概率确定第一交叉熵,其中,第一 交叉熵为第一生成器的损失值。
另一方面,将参考样本图像对应的特征图像输入全连接层,通过全连接 层输出参考样本图像对应的特征图像的第二特征向量,将第二特征向量经过 sigmoid激活函数进行处理,获得参考样本图像来自目标域的第二概率以及第 二标签概率,再根据第二概率以及第二标签概率确定第二交叉熵中,第二交 叉熵为第一判别器的损失值。
进一步的,根据第一交叉熵、第二交叉熵确定本申请实施例中的图像风 格迁移模型的损失值。
具体的,可以根据如下公式(2)得出图像风格迁移模型的损失值:
S504、第一判别器中的判别结果是否满足预设条件。
具体的,当图像风格迁移模型的损失值大于等于预设值时,说明该图像 处理装置还未达到标准,则需要调整图像处理装置的各结构的参数。
需要说明的是,对于损失值的预设值大小,其可以根据实际需求进行设 定,本申请实施例不做具体限定。
S505、若不满足,根据第一判别结果,调整第一生成器、第一判别器中 的训练参数。
其中,第一生成器中的训练参数包括:第一权重向量、第二权重向量、 多个参数向量;
第一判别器中的训练参数包括:第三权重向量、第四权重向量。
根据第一判别结果,调整第一生成器、第一判别器中的训练参数,包括:
根据第一判别结果、第一分类结果、所述第二分类结果调整第一权重向 量、第二权重向量、多个参数向量,获得调整后的第一生成器;
根据第一判别结果、第一分类结果、第二分类结果调整第三权重向量、 第四权重向量,获得调整后的第一判别器。
需要说明的是,调整训练参数的目标是使得图像风格迁移模型的损失值 越来越小,具体的调整过程包括:计算该损失值对第一生成器、第一判别器 中每个结构的导数,依据事预设的学习率,确定第一生成器、第一判别器中 每个结构对应的训练参数。
具体的,可以根据以下公式(3)的出当前结构的参数。
w1=w0+b*a (3)
其中,w0是初始化的权重向量,a为损失值对当前结构的导数,b为预 设的学习率,对于学习率b的大小,本申请实施例不做具体限定,示例性的, 学习率b可以设置为1。
具体的,根据此损失值依次反向计算各结构的导数,再根据导数a更新 一遍网络所有结构的训练参数。示例性的,根据损失值调整第一权重向量、 第二权重向量、多个参数向量,获得调整后的第一生成器,包括:
调整第一生成器41中第一全局最大池化层411的第一权重向量,调整第 一生成器41中第一全局平均池化层412的第二权重向量,以及调整第一生成 器41中全连接层415的参数向量。
具体的,以第一权重向量的初始值为w10,第二权重向量的初始值为w20, 参数向量的初始值为w30为例,根据损失值得出第一全局最大池化层411的导 数为a1,第一全局平均池化层412的导数为a2,全连接层415的导数为a3。
进一步的,根据各结构的导数得出各结构调整后的训练参数:
具体的,调整后的第一权重向量为:w11=w10+b*a1,调整后的第二 权重向量为:w21=w20+b*a2,调整后的参数向量为:w31=w30+b*a3。
进一步的,根据第一判别结果、第一分类结果、第二分类结果调整第三 权重向量、第四权重向量,获得调整后的第一判别器,包括:
根据损失值调整第三权重向量、第四权重向量,获得调整后的第一判别 器。
可以理解的是,第一判别器的训练参数调整过程与上述第一生成器的训 练参数调整过程类似,此处不再赘述。
S506、根据调整后的第一生成器,以及第一判别器,获得第二判别结果。
下面结合具体步骤,对获得训练好的图像风格迁移模型的过程进行详细 说明:
(1)根据调整后的第一生成器,将源样本图像的风格转化为目标风格, 获得第一目标样本图像。
根据上述步骤,调整图像处理装置中所有结构的参数,获得调整后的第 一生成器,进一步的,将源样本图像输入调整后的生成器,以获得第一目标 样本图像。
(2)将第一目标样本图像和参考样本图像分别输入调整后的第一判别 器,输出第二判别结果,第二判别结果包括:第一目标样本图像对应的第一 损失值。
需要说明的是,第一目标样本图像对应的第一损失值为调整后的图像风 格迁移模型的损失值。
可以理解的是,步骤(1)、(2)的方法与原理与步骤S501~S505的过 程类似,具体可参考上述步骤。
S507、若判别器中的判别结果满足预设条件,则停止调整,获得训练好 的图像风格迁移模型。
当确定第一损失值小于预设值时,确定第一判别器中判别结果满足预设 条件,停止调整,确定当前调整后的图像风格迁移模型为训练好的图像风格 迁移模型。
本申请实施例提供的图像处理方法,通过生成器生成目标样本图像,再 由判别器获得目标样本图像对应的判别结果,根据判别结果不断地调整生成 器和判别器中的训练参数,使得生成器不断地提升图像风格迁移的效果,判 别器不断地提升甄别效果,两者实现对抗学习,直到判别器中的判别结果满 足预设条件时,根据调整后的第一生成器获得训练好的图像风格迁移模型。 通过本方案,可以进一步提升图像风格迁移模型的图像迁移效果,使得图像 风格迁移模型更加关注图像的细节特征,并且生成的图像更加逼真。
另外,由于风格迁移模型在进行基于目标风格的图像风格迁移处理时, 对待处理图像分别进行了全局最大池处理和全局平均池处理,能够充分提取 图像的细节特征,从而有效提升风格迁移效果,获得高质量的目标图像,提 升用户体验。
在一些实施方式中,由于输入的用于训练的样本图片不是成对数据,即 源样本图像和参考样本图像不是成对输入的,因此,在获得训练好的图像风 格迁移模型时,需要两个生成器和两个判别器,其中,第一生成器用于将源 样本图像的风格转换为目标风格,获得目标图像,第二生成器用于将目标图 像的风格还原为源样本图像的风格,获得中间样本图像。第一判别器用于对 第一生成器生成的目标图像进行判断,判断其是目标风格的真实图像还是目 标风格的生成图像,第二判别器用于对生成器二生成的中间样本图像是来自源域的真实图像还是源域的生成图像。通过不断的循环对抗学***衡状态,此时训练结束,输出调整参数后 的第一生成器,从而获得图像风格迁移模型。由于本方案中提供了一个循环 转换的路径,使得可以本方案可以使用非成对的训练数据获得训练好的图像 风格迁移模型。
结合上述,图4所示实施例提供的图像处理装置40还可以包括:第二生 成器43、第二判别器44。
具体的,第二生成器43包括:第三全局最大池化层431和第三全局平均 池化层432、第三辅助分类器433、第二卷积层434、多个第二全连接层435、 第二解码器436。
第一判别器44包括:第四全局最大池化层441和第四全局平均池化层 442、第四辅助分类器443、第二分类器444。
下面结合图6对第一生成器41、第一判别器42、第二生成器43、第二 判别器44,使用非成对的训练数据获得训练好的图像风格迁移模型的过程进 行说明:
图6为本申请又一实施例提供的图像处理方法的流程图。如图6所示, 该方法包括以下步骤:
S601、获取源样本图像和参考样本图像。
其中,源样本图像为源域风格,参考样本图像的风格为目标风格。
S602、将源样本图像输入至第一生成器中,将源样本图像的风格转化为 目标风格,获得目标样本图像。
S603、将目标样本图像和参考样本图像,分别输入至第一判别器中,获 得第一判别结果。
S604、将目标样本图像输入至第二生成器中,以将目标样本图像的风格 转化为源样本图像的风格,以获得中间样本图像。
S605、将中间样本图像和源图像,分别输入至第二判别器中,获得第二 判别结果。
S606、判断判别结果是否满足预设要求。
S607、若不满足,根据第一判别结果和第二判别结果,调整第一生成器、 第一判别器、第二生成器、第二判别器中的训练参数,以获得调整后的第一 生成器、调整后的第一判别器、调整后的第二生成器以及调整后的第二判别 器。
S608、根据调整后的第一生成器对源样本图像进行处理,以将源样本图 像的风格转化为目标风格,获得第二目标样本图像。
S609、根据调整后的第二生成器对第二目标样本图像进行处理,以将第 二目标样本图像的风格转化为源样本图像的风格,获得中间样本图像。
S610、将第二目标样本图像输入调整后的第一判别器,输出第三判别结 果,将中间样本图像输入调整后的第二判别器,输出第四判别结果。
其中,第三判别结果为第二目标样本图像的第二损失值,第四判别结果 为中间样本图像的第三损失值。
S611、若判定结果满足预设要求,则停止调整,输出图像风格迁移模型。
需要说明的是,步骤S601~S611与图5所示实施例中的步骤S501~S507 的方法及原理类似,具体请参考图5所示的实施例,此处不再赘述。
本申请实施例提供的方案中,通过设置两个生成器、两个判别器,样 本图片不是成对数据,即源样本图像和参考样本图像不是成对输入的,第 一判别器用于对第一生成器生成的目标图像进行判断,判断其是目标风格 的真实图像还是目标风格的生成图像,第二判别器用于对生成器二生成的 中间样本图像是来自源域的真实图像还是源域的生成图像,通过不断的循 环对抗学习,来不断调整图像处理装置中各结构的训练参数,获得图像风 格迁移模型。由于本方案中提供了一个循环转换的路径,使得可以本方案 可以使用非成对的训练数据获得训练好的图像风格迁移模型。
图7为本申请又一实施例提供的图像处理装置的结构示意图。如图7 所示,图像处理装置70可以包括:
提取模块71,用于提取待处理图像;
处理模块72,用于将待处理图像输入至训练好的图像风格迁移模型中, 进行基于目标风格的图像风格迁移处理,得到目标图像,其中,目标图像的 风格为目标风格;
处理模块72包括:
第一处理单元721,用于分别对待处理图像作全局最大池处理和全局平 均池处理,得到第一图像;
第二处理单元722,用于对第一图像作卷积处理得到第二图像;
第三处理单元723,用于根据多个参数向量对第二图像进行编码,得到 目标图像,其中,多个参数向量是对风格迁移模型进行训练得到的。
可选的,第一图像包括:全局最大池化处理后的图像和全局平均池化处 理后的图像;
图像风格迁移模型包括全局最大池化层和全局平均池化层、卷积层、编 码层;
全局最大池化池,用于对待处理图像做全局最大池处理,获得全局最大 池化处理后的图像;
全局平均池化池,用于对待处理图像做全局平均池处理,获得全局平均 池化处理后的图像;
卷积层,用于对第一图像做卷积处理得到第二图像;
编码层,用于对第二图像进行通道编码,获得目标图像。
需要说明的是,本实施例提供的图像处理装置的实现原理和技术效果 可以参见前述各实施例,此处不再赘述。
图8为本申请一实施例提供的电子设备的结构示意图。如图8所示, 本实施例的电子设备可以是前述方法实施例中提到的计算机(或者可用于 计算机的部件)。电子设备可用于实现上述方法实施例中描述的对应于计 算机的方法,具体参见上述方法实施例中的说明。
电子设备可以包括一个或多个处理器801,该处理器801也可以称为 处理单元,可以实现一定的控制或者处理功能。处理器801可以是通用处 理器或者专用处理器等。例如可以是基带处理器、或中央处理器。基带处 理器可以用于对数据进行处理,中央处理器可以用于对电子设备进行控 制,执行软件程序,处理软件程序的数据。
在一种可能的设计中,处理器801也可以存有指令803或者数据(例 如测试参数)。其中,指令803可以被处理器801运行,使得电子设备执 行上述方法实施例中描述的对应于计算机设备或者网络设备的方法。
在又一种可能的设计中,电子设备可以包括电路,该电路可以实现前 述方法实施例中发送或接收或者通信的功能。
在一种可能的实现方式中,电子设备中可以包括一个或多个存储器 802,其上可以存有指令804,该指令可在处理器801上被运行,使得电子 设备执行上述方法实施例中描述的方法。
在一种可能的实现方式中,存储器802中也可以是存储有数据。处理 器801和存储器802可以单独设置,也可以集成在一起。
在一种可能的实现方式中,电子设备还可以包括收发器805和/或天线 808。处理器801可以称为处理单元,对电子设备进行控制。收发器805 可以称为收发单元、收发机、收发电路、或者收发器等,用于实现电子设 备的收发功能。
其中,处理器801和收发器805的具体实现过程可以参见上述各实施 例的相关描述,此处不再赘述。
本申请中描述的处理器801和收发器805可实现在集成电路 (integratedcircuit,IC)、模拟IC、射频集成电路(radio frequency integrated circuit,RFIC)、混合信号IC、专用集成电路(application specific integrated circuit,ASIC)、印刷电路板(printed circuit board,PCB)、电子设备等上。
本实施例提供的电子设备的实现原理和技术效果可以参见前述各实 施例,此处不再赘述。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质 上存储有计算机程序,计算机程序被处理器执行时用于实现如上任一实施 例的图像处理方法。
本发明实施例还提供一种计算机程序产品,包括计算机程序,该计算 机程序被处理器执行时实现如前述任一实施例提供的图像处理方法的步 骤。
在上述的实施例中,应该理解到,所揭露的设备和方法,可以通过其 它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如, 模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方 式,例如多个模块可以结合或者可以集成到另一个***,或一些特征可以 忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或 通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以 是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理单元 中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在 一个单元中。上述模块成的单元既可以采用硬件的形式实现,也可以采用 硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算 机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若 干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设 备等)或处理器(processor)执行本申请各个实施例方法的部分步骤。
应理解,上述处理器可以是中央处理单元(Central Processing Unit,简 称:CPU),也可以是数字信号处理器(Digital Signal Processor,简称:DSP)、 专用集成电路(Application Specific Integrated Circuit,简称:ASIC)等。通 用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结 合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用 处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器,也可能还包括非易失性存储 NVM,例如至少一个磁盘存储器,还可以为U盘、移动硬盘、只读存储 器、磁盘或光盘等。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者 它们的组合实现,如静态随机存取存储器(SRAM)、电可擦除可编程只读 存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储 器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘等。 存储介质可以是通用或专用计算机能够存取的任何可用介质。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分 步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算 机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步 骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存 储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非 对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的 普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进 行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或 者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范 围。
Claims (13)
1.一种图像处理方法,其特征在于,包括:
提取待处理图像;
将所述待处理图像输入至训练好的图像风格迁移模型中,进行基于目标风格的图像风格迁移处理,得到目标图像,其中,所述目标图像的风格为目标风格;
将所述待处理图像输入至训练好的图像风格迁移模型中,进行基于目标风格的图像风格迁移处理,得到目标图像,包括:
分别对所述待处理图像作全局最大池处理和全局平均池处理,得到第一图像;
对所述第一图像作卷积处理得到第二图像;
对所述第二图像进行通道编码,得到所述目标图像。
2.根据权利要求1所述的方法,其特征在于,所述第一图像包括:全局最大池化处理后的图像和全局平均池化处理后的图像;
所述图像风格迁移模型包括全局最大池化层和全局平均池化层、卷积层、编码层;
所述全局最大池化池,用于对所述待处理图像做全局最大池处理,获得全局最大池化处理后的图像;
所述全局平均池化池,用于对所述待处理图像做全局平均池处理,获得全局平均池化处理后的图像;
所述卷积层,用于对所述第一图像做卷积处理得到所述第二图像;
所述编码层,用于对所述第二图像进行编码,获得所述目标图像。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
获取源样本图像和参考样本图像,所述参考样本图像的风格为所述目标风格;
将所述源样本图像输入至第一生成器中,将所述源样本图像的风格转化为所述目标风格,获得目标样本图像;
将所述目标样本图像和所述参考样本图像,分别输入至第一判别器中,获得第一判别结果;
根据所述第一判别结果,调整所述第一生成器、所述第一判别器中的训练参数,直至所述第一判别器中的判别结果满足预设条件,停止调整;
根据调整后的第一生成器,获得所述训练好的图像风格迁移模型。
4.根据权利要求3所述的方法,其特征在于,所述第一生成器包括:第一全局最大池化层和第一全局平均池化层、第一辅助分类器、第一卷积层、多个第一全连接层、第一解码器;
将源样本图像输入至第一生成器中,将所述源样本图像的风格转化为目标风格,获得目标样本图像,包括:
将所述源样本图像输入至第一全局最大池化层,基于第一权重向量对所述源样本图像进行处理,获得第一特征图像;
将所述源样本图像输入至所述第一全局平均池化层,基于第二权重向量对所述源样本图像进行处理,获得第二特征图像,
将所述第一权重向量和所述第二权重向量输入至所述第一辅助分类器,获得第一分类结果;
将所述第一特征图像和所述第二特征图像输入至所述第一卷积层,获得的第三特征图像;
将所述第三特征图像输入至所述多个第一全连接层,获得多个参数向量;
将所述第三特征图像输入至所述第一解码器,根据所述多个参数向量对所述第三特征图像进行通道编码,获得所述目标样本图像;
其中,所述第一权重向量、所述第二权重向量用于调整所述源样本图像中各特征的比重。
5.根据权利要求4所述的方法,其特征在于,所述根据所述第一判别结果,调整所述第一生成器、所述第一判别器中的训练参数,直至所述第一判别器中的判别结果满足预设条件,停止调整,包括:
根据所述第一判别结果、所述第一分类结果,调整所述第一生成器、所述第一判别器中的训练参数,获得调整后的第一生成器、调整后的第一判别器;
根据所述调整后的第一生成器,将所述源样本图像的风格转化为目标风格,获得第一目标样本图像;
将所述第一目标样本图像和所述参考样本图像分别输入所述调整后的第一判别器,输出第二判别结果,所述第二判别结果包括:所述第一目标样本图像对应的第一损失值;
当所述确定所述第一损失值小于预设值时,确定所述第一判别器中判别结果满足预设条件,停止调整。
6.根据权利要求5所述的方法,其特征在于,所述第一判别器包括:第二全局最大池化层和第二全局平均池化层、第二辅助分类器、第一分类器;
所述将所述目标样本图像和所述参考样本图像,分别输入至第一判别器中,获得第一判别结果,包括:
将所述目标样本图像和所述参考样本图像分别输入至第二全局最大池化层,基于第三权重向量对图像进行处理,分别获得第四特征图像和第五特征图像;
将所述目标样本图像和所述参考样本图像分别输入至所述第二全局平均池化层,基于第四权重向量对图像进行处理,分别获得所述第二全局平均池化层输出的第六特征图像和第七特征图像;
将所述第三权重向量和所述第四权重向量输入至所述第二辅助分类器,获得第二分类结果;
将所述第四特征图像、所述第五特征图像、所述第六特征图像、所述第七特征图像输入至所述第一分类器,获得所述第一分类器输出的第一判别结果;
其中,所述第三权重向量、所述第四权重向量用于调整所述目标样本图像和所述参考样本图像中各特征的比重。
7.根据权利要求6所述的方法,其特征在于,所述第一生成器中的训练参数包括:所述第一权重向量、所述第二权重向量、所述多个参数向量;
所述第一判别器中的训练参数包括:所述第三权重向量、所述第四权重向量;
所述根据所述第一判别结果、所述第一分类结果,调整所述第一生成器、所述第一判别器中的训练参数,获得调整后的第一生成器、调整后的第一判别器,包括:
根据所述第一判别结果、所述第一分类结果、所述第二分类结果调整所述第一权重向量、所述第二权重向量、所述多个参数向量,获得调整后的第一生成器;
根据所述第一判别结果、所述第一分类结果、所述第二分类结果调整所述第三权重向量、所述第四权重向量,获得调整后的第一判别器。
8.根据权利要求3-7任一项所述的方法,其特征在于,所述方法还包括:
将所述目标样本图像输入至第二生成器中,以将所述目标样本图像的风格转化为所述源样本图像的风格,以获得中间样本图像;
将所述中间样本图像和所述源图像,分别输入至第二判别器中,获得第二判别结果。
9.根据权利要求8所述的方法,其特征在于,所述根据所述第一判别结果,调整所述第一生成器、所述第一判别器中的训练参数,直至判别结果满足预设条件,停止调整,包括:
根据所述第一判别结果和所述第二判别结果,调整所述第一生成器、所述第一判别器、所述第二生成器、所述第二判别器中的训练参数,以获得调整后的第一生成器、调整后的第一判别器、调整后的第二生成器以及调整后的第二判别器;
根据所述调整后的第一生成器对所述源样本图像进行处理,以将所述源样本图像的风格转化为目标风格,获得第二目标样本图像;
根据所述调整后的第二生成器对所述第二目标样本图像进行处理,以将所述第二目标样本图像的风格转化为源样本图像的风格,获得中间样本图像;
将所述第二目标样本图像输入所述调整后的第一判别器,输出第三判别结果,所述第三判别结果为所述第二目标样本图像的第二损失值;
将所述中间样本图像输入所述调整后的第二判别器,输出第四判别结果,所述第四判别结果为所述中间样本图像的第三损失值;
当所述确定所述第二损失值与所述第三损失值的和小于预设值时,确定所述第一判别结果和所述第二判别结果满足预设条件,停止调整。
10.一种图像处理装置,其特征在于,包括:
提取模块,用于提取待处理图像;
处理模块,用于将所述待处理图像输入至训练好的图像风格迁移模型中,进行基于目标风格的图像风格迁移处理,得到目标图像,其中,所述目标图像的风格为目标风格;
所述处理模块包括:
第一处理单元,用于分别对所述待处理图像作全局最大池处理和全局平均池处理,得到第一图像;
第二处理单元,用于对所述第一图像作卷积处理得到第二图像;
第三处理单元,用于对所述第二图像进行通道编码,得到所述目标图像。
11.根据权利要求10所述的装置,其特征在于,所述第一图像包括:全局最大池化处理后的图像和全局平均池化处理后的图像;
所述图像风格迁移模型包括全局最大池化层和全局平均池化层、卷积层、编码层;
所述全局最大池化池,用于对所述待处理图像做全局最大池处理,获得全局最大池化处理后的图像;
所述全局平均池化池,用于对所述待处理图像做全局平均池处理,获得全局平均池化处理后的图像;
所述卷积层,用于对所述第一图像做卷积处理得到所述第二图像;
所述编码层,用于对所述第二图像进行通道编码。
12.一种电子设备,其特征在于,包括:存储器,用于存储程序指令;
处理器,用于调用并执行所述存储器中的程序指令,执行如权利要求1至9中任一项所述的图像处理方法。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至9中任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011364910.XA CN112348739B (zh) | 2020-11-27 | 2020-11-27 | 图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011364910.XA CN112348739B (zh) | 2020-11-27 | 2020-11-27 | 图像处理方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112348739A true CN112348739A (zh) | 2021-02-09 |
CN112348739B CN112348739B (zh) | 2021-09-28 |
Family
ID=74366136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011364910.XA Active CN112348739B (zh) | 2020-11-27 | 2020-11-27 | 图像处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112348739B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113205449A (zh) * | 2021-05-21 | 2021-08-03 | 珠海金山网络游戏科技有限公司 | 表情迁移模型的训练方法及装置、表情迁移方法及装置 |
CN113436062A (zh) * | 2021-07-28 | 2021-09-24 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法、装置、电子设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109800732A (zh) * | 2019-01-30 | 2019-05-24 | 北京字节跳动网络技术有限公司 | 用于生成漫画头像生成模型的方法和装置 |
CN110163286A (zh) * | 2019-05-24 | 2019-08-23 | 常熟理工学院 | 一种基于混合池化的领域自适应图像分类方法 |
CN110532955A (zh) * | 2019-08-30 | 2019-12-03 | 中国科学院宁波材料技术与工程研究所 | 基于特征注意力和子上采样的实例分割方法和装置 |
CN110930297A (zh) * | 2019-11-20 | 2020-03-27 | 咪咕动漫有限公司 | 人脸图像的风格迁移方法、装置、电子设备及存储介质 |
US20200134778A1 (en) * | 2018-08-13 | 2020-04-30 | Shenzhen Sensetime Technology Co., Ltd. | Image style transform methods and apparatuses, devices and storage media |
CN111127378A (zh) * | 2019-12-23 | 2020-05-08 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
CN111476708A (zh) * | 2020-04-03 | 2020-07-31 | 广州市百果园信息技术有限公司 | 模型生成方法、模型获取方法、装置、设备及存储介质 |
CN111784566A (zh) * | 2020-07-01 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 图像处理方法、迁移模型训练方法、装置、介质及设备 |
-
2020
- 2020-11-27 CN CN202011364910.XA patent/CN112348739B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200134778A1 (en) * | 2018-08-13 | 2020-04-30 | Shenzhen Sensetime Technology Co., Ltd. | Image style transform methods and apparatuses, devices and storage media |
CN109800732A (zh) * | 2019-01-30 | 2019-05-24 | 北京字节跳动网络技术有限公司 | 用于生成漫画头像生成模型的方法和装置 |
CN110163286A (zh) * | 2019-05-24 | 2019-08-23 | 常熟理工学院 | 一种基于混合池化的领域自适应图像分类方法 |
CN110532955A (zh) * | 2019-08-30 | 2019-12-03 | 中国科学院宁波材料技术与工程研究所 | 基于特征注意力和子上采样的实例分割方法和装置 |
CN110930297A (zh) * | 2019-11-20 | 2020-03-27 | 咪咕动漫有限公司 | 人脸图像的风格迁移方法、装置、电子设备及存储介质 |
CN111127378A (zh) * | 2019-12-23 | 2020-05-08 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
CN111476708A (zh) * | 2020-04-03 | 2020-07-31 | 广州市百果园信息技术有限公司 | 模型生成方法、模型获取方法、装置、设备及存储介质 |
CN111784566A (zh) * | 2020-07-01 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 图像处理方法、迁移模型训练方法、装置、介质及设备 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113205449A (zh) * | 2021-05-21 | 2021-08-03 | 珠海金山网络游戏科技有限公司 | 表情迁移模型的训练方法及装置、表情迁移方法及装置 |
CN113436062A (zh) * | 2021-07-28 | 2021-09-24 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112348739B (zh) | 2021-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20210074360A (ko) | 이미지 처리 방법, 디바이스 및 장치, 그리고 저장 매체 | |
CN112348739B (zh) | 图像处理方法、装置、设备及存储介质 | |
US11887280B2 (en) | Method, system, and computer-readable medium for improving quality of low-light images | |
CN112602088B (zh) | 提高弱光图像的质量的方法、***和计算机可读介质 | |
US20240005628A1 (en) | Bidirectional compact deep fusion networks for multimodality visual analysis applications | |
CN112562019A (zh) | 图像色彩调整方法及装置、计算机可读介质和电子设备 | |
US10810462B2 (en) | Object detection with adaptive channel features | |
US20230047748A1 (en) | Method of fusing image, and method of training image fusion model | |
US10452955B2 (en) | System and method for encoding data in an image/video recognition integrated circuit solution | |
CN114187165A (zh) | 图像处理方法和装置 | |
CN114331918B (zh) | 图像增强模型的训练方法、图像增强方法及电子设备 | |
CN116205820A (zh) | 图像增强方法、目标识别方法、设备及介质 | |
CN112200817A (zh) | 基于图像的天空区域分割和特效处理方法、装置及设备 | |
CN112188236B (zh) | 视频插帧模型训练、视频插帧生成方法及相关装置 | |
CN103929640A (zh) | 用于管理视频流播的技术 | |
US20190220699A1 (en) | System and method for encoding data in an image/video recognition integrated circuit solution | |
WO2023010981A1 (zh) | 编解码方法及装置 | |
CN107105167B (zh) | 一种扫题时拍摄照片的方法、装置及终端设备 | |
CN113240780B (zh) | 生成动画的方法和装置 | |
CN113592009A (zh) | 图像语义分割方法、装置、存储介质与电子设备 | |
CN113627314A (zh) | 人脸图像模糊检测方法、装置、存储介质与电子设备 | |
CN114299105A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN111383289A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
CN114387160B (zh) | 训练方法、图像的处理方法、装置、电子设备及存储介质 | |
CN113538456B (zh) | 基于gan网络的图像软分割及背景替换*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |