CN111899154A - 漫画视频生成方法及漫画生成方法、装置、设备、介质 - Google Patents

漫画视频生成方法及漫画生成方法、装置、设备、介质 Download PDF

Info

Publication number
CN111899154A
CN111899154A CN202010590178.1A CN202010590178A CN111899154A CN 111899154 A CN111899154 A CN 111899154A CN 202010590178 A CN202010590178 A CN 202010590178A CN 111899154 A CN111899154 A CN 111899154A
Authority
CN
China
Prior art keywords
picture
network
cartoon
loss
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010590178.1A
Other languages
English (en)
Inventor
雷杨
刘鹏
黄跃中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Mengying Animation Network Technology Co ltd
Original Assignee
Guangzhou Mengying Animation Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Mengying Animation Network Technology Co ltd filed Critical Guangzhou Mengying Animation Network Technology Co ltd
Priority to CN202010590178.1A priority Critical patent/CN111899154A/zh
Publication of CN111899154A publication Critical patent/CN111899154A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种漫画视频生成方法及漫画生成方法、装置、设备、介质，所述的漫画视频生成方法包括：将实际图片通过训练处理获取转化漫画图片，所述训练处理包括：通过生成器网络将实际图片生成为转化漫画图片，通过鉴别器网络将所述转化漫画图片进行鉴别；根据所述生成器网络的第一对抗损失训练所述生成器网络，根据生成器网络与鉴别器网络之间的第二对抗损失训练所述鉴别器网络；将所述实际图片通过训练后的所述生成器网络进行转化，完成漫画生成。可将漫画图片进行视频处理，获取漫画视频，经过这个生成器网络与鉴别器网络的对抗训练过程，降低转化漫画图片的噪声，提高转化效果。

Description

漫画视频生成方法及漫画生成方法、装置、设备、介质
技术领域
本发明涉及电子技术，特别是涉及一种短视频生成方法、装置、设备及介质。
背景技术
随着短视频的兴起和传播，用户对拍摄出不同风格、样式的短视频的需求日益增大，其中，漫画风格的短视频尤其受到用户青睐。目前，漫画风格的短视频存在生成效果不佳、不够逼近真实漫画效果等问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供高效的漫画生成方法，用于解决漫画风格短视频创作的问题。
为实现上述目的及其他相关目的，本发明提供一种漫画生成方法，包括：将实际图片通过训练处理获取转化漫画图片，所述训练处理包括：通过生成器网络将实际图片生成为转化漫画图片，通过鉴别器网络将所述转化漫画图片进行鉴别；根据所述生成器网络的第一对抗损失训练所述生成器网络，根据生成器网络与鉴别器网络之间的第二对抗损失训练所述鉴别器网络；将所述实际图片通过训练后的所述生成器网络进行转化，完成漫画生成。
可选的，所述生成器网络包括用于将实际图片生成为转化漫画图片的第一生成器子网络和用于转化漫画图片生成为转化实际图片的第二生成器子网络，所述鉴别器网络包括用于鉴别转化漫画图片是否为真漫画的第一鉴别器子网络和用于鉴别转化实际图片是否为真的实际图片的第二鉴别器子网络。
可选的，所述生成器网络的处理过程包括：镜像填充处理、卷积处理、激活处理、归一化处理、残差处理。
可选的，所述鉴别器网络的处理过程包括：镜像填充处理、卷积处理、激活处理、归一化处理。
可选的，所述第二对抗损失包括：
lab＝(1-Db(Target))2+(Db(Gab(Real)))2
lba＝(1-Da(Real))2+(Da(Gba(Target)))2
其中，lab和lba分别表示第一鉴别器子网络Da、第二鉴别器子网络Db对转化漫画图片、转化实际图片的鉴别能力，Real表示实际图片，Target表示转化漫画图片，Gab和Gba分别表示第一生成器子网络和第二生成器子网络。
可选的，所述第二对抗损失包括变分损失，所述变分损失包括：
Figure BDA0002555142580000021
Figure BDA0002555142580000022
其中，ltvab表示第一变分损失，ltvba表示第二变分损失，
Figure BDA0002555142580000023
分别表示对第一生成器子网络Gab和第二生成器子网络Gba的结果求x、y方向梯度，Real表示实际图片，Target表示转化漫画图片，γ为常量。
可选的，所述第二对抗损失包括内容损失，所述内容损失包括：
Figure BDA0002555142580000024
其中，lcontent表示内容损失，VGGn表示通过VGG神经网络的前n层作为特征提取网络，
Figure BDA0002555142580000025
表示l1正则化，Real表示实际图片。
可选的，所述第二对抗损失包括风格损失，所述风格损失包括：
Figure BDA0002555142580000026
其中，lstyle表示风格损失，VGGn表示通过VGG神经网络的前n层作为特征提取网络，
Figure BDA0002555142580000027
表示l1正则化，Target表示转化漫画图片。
可选的，所述第二对抗损失还包括一致性损失，所述一致性损失包括：
Figure BDA0002555142580000028
Figure BDA0002555142580000029
其中，ltarget表示转化漫画图片的一致性损失，lReal表示实际图片的一致性损失，
Figure BDA00025551425800000210
表示l1正则化，Real表示实际图片，Target表示转化漫画图片。
可选的，所述第二对抗损失还包括环回损失，所述环回损失包括：
Figure BDA00025551425800000211
其中，lcycle表示环回损失，Target表示转化漫画图片，
Figure BDA00025551425800000212
表示l1正则化，Gab和Gba分别表示第一生成器子网络和第二生成器子网络。
可选的，所述第二对抗损失还包括注意力损失，所述注意力损失包括：
Figure BDA00025551425800000213
其中，latt表示注意力损失；EyesPatch、NosePatch、LipsPatch分别表示实际图片中检测到的眼部、鼻子、嘴唇区域；Real(t)表示从实际图片中提取相应的图像区域；
Gba(Gab(Real))(t)表示先将实际图片输入到第一生成器子网络中，生成转化漫画图片，然后再将转化漫画图片通过第二生成器子网络转化为转化实际图片，再从转化后实际图片中提取t对应的位置，t包括EyesPatch、NosePatch、LipsPatch。
可选的，所述第一对抗损失包括生成器对抗损失：
ladvab＝(1-Db(Gab(Real)))2
ladvba＝(1-Da(Gba(Target)))2
其中，ladvab表示第一生成器损失，ladvba表示第二生成器损失，Da表示第一鉴别器子网络，Db表示第二鉴别器子网络，Gab和Gba分别表示第一生成器子网络和第二生成器子网络，Real表示实际图片，Target表示转化漫画图片。
可选的，第一对抗损失包括：
lG＝ladvab+ladvba+α1(latt+lcycle)+a2(ltvab+ltvba)+α3(lcontent+lstyle)+α4(ltarget+lReal)
其中，α1、α2、α3、α4表示权重参数，ltvab表示第一变分损失，ltvba表示第二变分损失，lcontent表示内容损失，lstyle表示风格损失，ltarget表示转化漫画图片的一致性损失，lReal表示实际图片的一致性损失，lcycle表示环回损失，latt表示注意力损失。
一种漫画视频生成方法，包括：将实际图片通过生成处理生成转化漫画图片；将所述漫画图片进行视频处理，获取漫画视频，所述视频处理包括以下之一：配乐、添加字幕、分镜、转场、拼接、渲染。
一种漫画生成装置，包括：训练模块，用于将实际图片通过训练处理获取转化漫画图片，所述训练处理包括：通过生成器网络将实际图片生成为转化漫画图片，通过鉴别器网络将所述转化漫画图片进行鉴别，根据所述生成器网络的第一对抗损失训练所述生成器网络，根据生成器网络与鉴别器网络之间的第二对抗损失训练所述鉴别器网络；转化模块，用于将所述实际图片通过训练后的所述生成器网络进行转化，完成漫画生成。
一种设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如一个或多个所述的方法。
一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行中一个或多个所述的方法。
如上所述，本发明提供的一种漫画视频生成方法及漫画生成方法、装置、设备、介质，具有以下有益效果：
生成器网络将实际图片转化为特定漫画风格的转化漫画图片；鉴别器网络判断生成的转化漫画图片是否为真漫画，如果鉴别结果不是真漫画，则生成器网络会不断在训练中改善生成能力，使转化漫画图片被鉴定为真的概率越来越高，同时鉴别器网络也在训练中不断加强鉴别能力，使生成器网络生成的真漫画越来越难，经过这个生成器网络与鉴别器网络的对抗训练过程，生成器网络的生成能力越来越强，直到可生成高质量的漫画效果，降低转化漫画图片的噪声，提高转化效果。
附图说明
图1为本发明实施例提供的漫画视频生成方法的流程示意图。
图2为本发明实施例提供的生成器网络结构示意图。
图3为本发明实施例提供的鉴别器网络结构示意图。
图4为本发明实施例提供的漫画视频生成装置的结构示意图。
图5为一实施例提供的终端设备的硬件结构示意图。
图6为另一实施例提供的终端设备的硬件结构示意图。
元件标号说明
1100 输入设备
1101 第一处理器
1102 输出设备
1103 第一存储器
1104 通信总线
1200 处理组件
1201 第二处理器
1202 第二存储器
1203 通信组件
1204 电源组件
1205 多媒体组件
1206 语音组件
1207 输入/输出接口
1208 传感器组件
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，本发明提供一种漫画生成方法，包括：
S1：将实际图片通过训练处理获取转化漫画图片，所述训练处理包括：通过生成器网络将实际图片生成为转化漫画图片，通过鉴别器网络将所述转化漫画图片进行鉴别；
S2：根据所述生成器网络的第一对抗损失训练所述生成器网络，根据生成器网络与鉴别器网络之间的第二对抗损失训练所述鉴别器网络；
S3：将所述实际图片通过训练后的所述生成器网络进行转化，完成漫画生成。在训练处理过程中生成器网络将实际图片转化为特定漫画风格的转化漫画图片；鉴别器网络判断生成的转化漫画图片是否为真漫画，如果鉴别结果不是真漫画，则生成器网络会不断在训练中改善生成能力，使转化漫画图片被鉴定为真的概率越来越高，同时鉴别器网络也在训练中不断加强鉴别能力，使生成器网络生成的真漫画越来越难，经过这个生成器网络与鉴别器网络的对抗训练过程，生成器网络的生成能力越来越强，直到可生成近似真实的漫画效果，降低转化漫画图片的噪声，提高转化效果。
在一些实施过程中，所述生成器网络包括用于将实际图片生成为转化漫画图片的第一生成器子网络Gab和用于转化漫画图片生成为转化实际图片的第二生成器子网络Gba，所述鉴别器网络包括用于鉴别转化漫画图片是否为真漫画的第一鉴别器子网络Da和用于鉴别转化实际图片是否为真的实际图片的第二鉴别器子网络Db。例如，生成器网络和鉴别器网络组成CycleGAN类似的框架，Gab和Gba采用相同的生成器网络结构，Da和Db采用相同的鉴别器网络结构。
请参阅图2，所述生成器网络的处理过程包括：镜像填充处理、卷积处理、激活处理、归一化处理、残差处理。请参阅图3，所述鉴别器网络的处理过程包括：镜像填充处理、卷积处理、激活处理、归一化处理。
其中，ReflectionPad2d(padding_size)：标准的镜像填充神经元，即对2维的输入数据，使靠近边缘的padding_size宽度的数据，镜像后填充到输入数据的***；
Conv2D(in_channels，out_channels，kernel_size，stride，padding_size)：标准的2维卷积神经元，对输入通道数为in_channels的数据，使用大小为kernel_size×kernel_size的卷积核做卷积，输出out_channels个通道的结果数据，stride指卷积步伐，即对输入数据每隔多少个点做一次卷积，padding_size指对输入数据边缘填充0的宽度；
IN：标准的Instance Normalization(实例归一化)神经元，指将数据的每个通道按通道做归一化；
ReLU：使用线性整流函数作为激活函数的神经元；
ConvTranspose2D(in_channels，out_channels，kernel_size，stride，padding_size，dilation)：标准的2维逆卷积神经元，通过逆卷积，可以将较小的输入数据逐步放大，输出尺寸更大的数据，其中in_channels表示输入通道数，out_channels表示输出通道数，kernel_size为卷积核大小，stride表示卷积步长，padding_size表示输入数据边缘补0的大小，dilation表示卷积核各个元素间被膨胀填0的个数；
BN：表示Batch Normalization，批归一化，指对一批数据同时做归一化；
Residual block(8)：表示8个残差块网络串联，每个残差块的结构都一致，包含2次Conv2D+BN操作，每个Residual block可以通过以下数学公式表示：
ResidualBlockOut＝Conv2D(BN(Conv2D(BN(input))))+input
其中，其中input为输入数据，ResidualBlockOut为每个残差块网络的输出；
Sigmoid：以Sigmoid函数作为激活函数的网络层
LeakyReLU：标准的以改良版的ReLU(线性整流)函数作为激活函数的网络层。
在一些实施过程中，所述第二对抗损失包括：
lab＝(1-Db(Target))2+(Db(Gab(Real)))2
lba＝(1-Da(Real))2+(Da(Gba(Target)))2
其中，lab和lba分别表示第一鉴别器子网络Da、第二鉴别器子网络Db对转化漫画图片、转化实际图片的鉴别能力，Real表示实际图片，Target表示转化漫画图片，Gab和Gba分别表示第一生成器子网络和第二生成器子网络。当Da、Db的鉴别能力越强时，lab和lba的损失会越小，因此，lab和lba可分别用于更新Db和Da的网络学习参数。
在一些实施过程中，所述第二对抗损失包括变分损失，所述变分损失包括：
Figure BDA0002555142580000071
Figure BDA0002555142580000072
其中，ltvab表示第一变分损失，ltvba表示第二变分损失，
Figure BDA0002555142580000073
分别表示对第一生成器子网络Gab和第二生成器子网络Gba的结果求x、y方向梯度，Real表示实际图片，Target表示转化漫画图片，γ为常量。变分损失体现了生成器网络生成的转化漫画图片需要满足变分损失越小越好，也即，生成转化漫画图片中x，y方向上的梯度变化要越小越好。当变分损失很大时，说明生成的图片像素点之间波动幅度很大，噪声较多。当变分损失完全为0时，生成的转化漫画图片会变成完成没有变化的纯色，为了平衡变分损失带来的负作用，本算法设置了超参数γ，以用于抑制变分函数带来的负面影响。
在一些实施过程中，所述第二对抗损失包括内容损失，所述内容损失包括：
Figure BDA0002555142580000074
其中，lcontent表示内容损失，VGGn表示通过VGG神经网络的前n层作为特征提取网络，
Figure BDA0002555142580000075
表示l1正则化，Real表示实际图片。内容损失反映了实际图片与生成转化漫画图片间通过VGG网络提取特征后的内容损失，内容损失越小，说明转化漫画图片在内容上与实际图片越相近。
在一些实施过程中，所述第二对抗损失包括风格损失，所述风格损失包括：
Figure BDA0002555142580000076
其中，lstyle表示风格损失，VGGn表示通过VGG神经网络的前n层作为特征提取网络，
Figure BDA0002555142580000077
表示l1正则化，Target表示转化漫画图片。风格损失反映了转化漫画图片与转化实际图片间的风格一致性，这里的风格特征是通过VGG神经网络提取得到的，风格损失越少，Gba的风格保留作用越强。
在一些实施过程中，所述第二对抗损失还包括一致性损失，所述一致性损失包括：
Figure BDA0002555142580000078
Figure BDA0002555142580000079
其中，ltarget表示转化漫画图片的一致性损失，lReal表示实际图片的一致性损失，
Figure BDA00025551425800000710
表示l1正则化，Real表示实际图片，Target表示转化漫画图片，表示Gab(实际图片生成转化漫画图片)对漫画处理后仍为漫画，而不会产生其他的内容，Gba(转化漫画图片生成转化实际图片)对实际图片处理后仍为实际图片，而不会产生其他的内容，ltarget、lReal保证了Gab、Gba对转化漫画图片、实际图片间的一致性。
在一些实施过程中，所述第二对抗损失还包括环回损失，所述环回损失包括：
Figure BDA0002555142580000081
其中，lcycle表示环回损失，Target表示转化漫画图片，
Figure BDA0002555142580000082
表示l1正则化，Gab和Gba分别表示第一生成器子网络和第二生成器子网络，表示转化漫画图片可以转换为转化后的实际图片，然后转化后的实际图片仍然可以转化回漫画图片，环回损失使得生成器网络能完整地学习到实物图、漫画图之间的分布关系。
在一些实施过程中，所述第二对抗损失还包括注意力损失，所述注意力损失包括：
Figure BDA0002555142580000083
其中，latt表示注意力损失；EyesPatch、NosePatch、LipsPatch分别表示实际图片中检测到的眼部、鼻子、嘴唇区域；Real(t)表示从实际图片中提取相应的图像区域；
Gba(Gab(Real))(t)表示先将实际图片输入到第一生成器子网络中，生成转化漫画图片，然后再将转化漫画图片通过第二生成器子网络转化为转化实际图片，再从转化后实际图片中提取t对应的位置，t包括EyesPatch、NosePatch、LipsPatch。这些人脸五官区域在每次训练时都会使用人脸检测算法检测出来，并将这些脸部器官图像块用作损失函数的计算目标，以使生成的漫画图能尽量保留人脸五官特征，提高转化漫画的五官特征的特征效果和风格效果。
在一些实施过程中，所述第一对抗损失包括生成器对抗损失：
ladvab＝(1-Db(Gab(Real)))2
ladvba＝(1-Da(Gba(Target)))2
其中，ladvab表示第一生成器损失，ladvba表示第二生成器损失，Da表示第一鉴别器子网络，Db表示第二鉴别器子网络，Gab和Gba分别表示第一生成器子网络和第二生成器子网络，Real表示实际图片，Target表示转化漫画图片。
在一些实施过程中，第一对抗损失包括：
lG＝ladvab+ladvba+α1(latt+lcycle)+α2(ltvab+ltvba)+α3(lcontent+lstyle)+α4(ltarget+lReal)
其中，α1、α2、α3、α4表示权重参数，ltvab表示第一变分损失，ltvba表示第二变分损失，lcontent表示内容损失，lstyle表示风格损失，ltarget表示转化漫画图片的一致性损失，lReal表示实际图片的一致性损失，lcycle表示环回损失，latt表示注意力损失。通过综合上述损失函数，所训练的生成器网络能较好地考虑所有影响漫画生成效果的因素，训练完成后，所生成的转化漫画图片既能融合漫画图上的漫画特征，又能保留原实际图片的内容。同时，针对人脸图片，创造性地使用注意力机制，使得人脸五官部位在生成的漫画中能得到很好保留，克服了一般漫画人脸生成类算法容易造成人脸变形的问题，此外，引入了改良的变分损失函数，避免生成的图片出现较大的噪声。
本发明还提供一种漫画视频生成方法，包括：
将实际图片通过生成处理生成转化漫画图片；
将所述漫画图片进行视频处理，获取漫画视频，所述视频处理包括以下之一：配乐、添加字幕、分镜、转场、拼接、渲染。例如，在短视频或者线上社交应用场景下，用户拍照或者上传照片，将实际图片进行生成处理生成并进行风格迁移转化漫画图片，然后通过视频处理生成具有该风格的漫画视频，提高短视频趣味性和用户体验。
本发明提供一种漫画生成装置，包括：
训练模块1，用于将实际图片通过训练处理获取转化漫画图片，所述训练处理包括：通过生成器网络将实际图片生成为转化漫画图片，通过鉴别器网络将所述转化漫画图片进行鉴别，根据所述生成器网络的第一对抗损失训练所述生成器网络，根据生成器网络与鉴别器网络之间的第二对抗损失训练所述鉴别器网络；
转化模块2，用于将所述实际图片通过训练后的所述生成器网络进行转化，完成漫画生成。
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图4中数据处理方法所包含步骤的指令(instructions)。
图5为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件***接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图6为本申请的一个实施例提供的终端设备的硬件结构示意图。图6是对图5在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图4所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理***，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和***接口模块之间提供接口，上述***接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于***SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图6实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图5实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (16)

1.一种漫画生成方法，其特征在于，包括：
将实际图片通过训练处理获取转化漫画图片，所述训练处理包括：通过生成器网络将实际图片生成为转化漫画图片，通过鉴别器网络将所述转化漫画图片进行鉴别；
根据所述生成器网络的第一对抗损失训练所述生成器网络，根据生成器网络与鉴别器网络之间的第二对抗损失训练所述鉴别器网络；
将所述实际图片通过训练后的所述生成器网络进行转化，完成漫画生成。
2.根据权利要求1所述的漫画生成方法，其特征在于，所述生成器网络包括用于将实际图片生成为转化漫画图片的第一生成器子网络和用于转化漫画图片生成为转化实际图片的第二生成器子网络，所述鉴别器网络包括用于鉴别转化漫画图片是否为真漫画的第一鉴别器子网络和用于鉴别转化实际图片是否为真的实际图片的第二鉴别器子网络。
3.根据权利要求2所述的漫画生成方法，其特征在于，所述生成器网络和所述鉴别器网络的处理过程分别包括：镜像填充处理、卷积处理、激活处理、归一化处理、残差处理。
4.根据权利要求2所述的漫画生成方法，其特征在于，所述第二对抗损失包括：
lab＝(1-Db(Target))2+(Db(Gab(Real)))2
lba＝(1-Da(Real))2+(Da(Gba(Target)))2
其中，lab和lba分别表示第一鉴别器子网络Da、第二鉴别器子网络Db对转化漫画图片、转化实际图片的鉴别能力，Real表示实际图片，Target表示转化漫画图片，Gab和Gba分别表示第一生成器子网络和第二生成器子网络。
5.根据权利要求2所述的漫画生成方法，其特征在于，所述第二对抗损失包括变分损失，所述变分损失包括：
Figure FDA0002555142570000011
Figure FDA0002555142570000012
其中，ltvab表示第一变分损失，ltvba表示第二变分损失，
Figure FDA0002555142570000013
表示对第一生成器子网络Gab和第二生成器子网络Gba的结果分别求x、y方向梯度，Real表示实际图片，Target表示转化漫画图片，γ为常量。
6.根据权利要求2所述的漫画生成方法，其特征在于，所述第二对抗损失包括内容损失，所述内容损失包括：
Figure FDA0002555142570000021
其中，lcontent表示内容损失，VGGn表示通过VGG神经网络的前n层作为特征提取网络，
Figure FDA0002555142570000022
表示l1正则化，Real表示实际图片。
7.根据权利要求2所述的漫画生成方法，其特征在于，所述第二对抗损失包括风格损失，所述风格损失包括：
Figure FDA0002555142570000023
其中，lstyle表示风格损失，VGGn表示通过VGG神经网络的前n层作为特征提取网络，
Figure FDA00025551425700000210
表示l1正则化，Target表示转化漫画图片。
8.根据权利要求2所述的漫画生成方法，其特征在于，所述第二对抗损失还包括一致性损失，所述一致性损失包括：
Figure FDA0002555142570000024
Figure FDA0002555142570000025
其中，ltarget表示转化漫画图片的一致性损失，lReal表示实际图片的一致性损失，
Figure FDA0002555142570000026
表示l1正则化，Real表示实际图片，Target表示转化漫画图片。
9.根据权利要求2所述的漫画生成方法，其特征在于，所述第二对抗损失还包括环回损失，所述环回损失包括：
Figure FDA0002555142570000027
其中，lcycle表示环回损失，Target表示转化漫画图片，
Figure FDA0002555142570000029
表示l1正则化，Gab和Gba分别表示第一生成器子网络和第二生成器子网络。
10.根据权利要求2所述的漫画生成方法，其特征在于，所述第二对抗损失还包括注意力损失，所述注意力损失包括：
Figure FDA0002555142570000028
其中，latt表示注意力损失；EyesPatch、NosePatch、LipsPatch分别表示实际图片中检测到的眼部、鼻子、嘴唇区域；Real(t)表示从实际图片中提取相应的图像区域；
Gba(Gab(Real))(t)表示先将实际图片输入到第一生成器子网络中，生成转化漫画图片，然后再将转化漫画图片通过第二生成器子网络转化为转化实际图片，再从转化后实际图片中提取t对应的位置，t包括EyesPatch、NosePatch、LipsPatch。
11.根据权利要求2所述的所述的漫画生成方法，其特征在于，所述第一对抗损失包括生成器对抗损失：
ladvab＝(1-Db(Gab(Real)))2
ladvba＝(1-Da(Gba(Target)))2
其中，ladvab表示第一生成器损失，ladvba表示第二生成器损失，Da表示第一鉴别器子网络，Db表示第二鉴别器子网络，Gab和Gba分别表示第一生成器子网络和第二生成器子网络，Real表示实际图片，Target表示转化漫画图片。
12.根据权利要求5至11任一项所述的漫画生成方法，其特征在于，第一对抗损失包括：
lG＝ladvab+ladvba+α1(latt+lcycle)+α2(ltvab+ltvba)+α3(lcontent+lstyle)+α4(ltarget+lReal)
其中，α1、α2、α3、α4表示权重参数，ltvab表示第一变分损失，ltvba表示第二变分损失，lcontent表示内容损失，lstyle表示风格损失，ltarget表示转化漫画图片的一致性损失，lReal表示实际图片的一致性损失，lcycle表示环回损失，latt表示注意力损失。
13.一种漫画视频生成方法，其特征在于，包括：
将实际图片通过生成处理生成转化漫画图片；
将所述漫画图片进行视频处理，获取漫画视频，所述视频处理包括以下之一：配乐、添加字幕、分镜、转场、拼接、渲染。
14.一种漫画生成装置，其特征在于，包括：
训练模块，用于将实际图片通过训练处理获取转化漫画图片，所述训练处理包括：通过生成器网络将实际图片生成为转化漫画图片，通过鉴别器网络将所述转化漫画图片进行鉴别，根据所述生成器网络的第一对抗损失训练所述生成器网络，根据生成器网络与鉴别器网络之间的第二对抗损失训练所述鉴别器网络；
转化模块，用于将所述实际图片通过训练后的所述生成器网络进行转化，完成漫画生成。
15.一种设备，其特征在于，包括：
一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-13中一个或多个所述的方法。
16.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-13中一个或多个所述的方法。
CN202010590178.1A 2020-06-24 2020-06-24 漫画视频生成方法及漫画生成方法、装置、设备、介质 Pending CN111899154A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010590178.1A CN111899154A (zh) 2020-06-24 2020-06-24 漫画视频生成方法及漫画生成方法、装置、设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010590178.1A CN111899154A (zh) 2020-06-24 2020-06-24 漫画视频生成方法及漫画生成方法、装置、设备、介质

Publications (1)

Publication Number Publication Date
CN111899154A true CN111899154A (zh) 2020-11-06

Family

ID=73207974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010590178.1A Pending CN111899154A (zh) 2020-06-24 2020-06-24 漫画视频生成方法及漫画生成方法、装置、设备、介质

Country Status (1)

Country Link
CN (1) CN111899154A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330956A (zh) * 2017-07-03 2017-11-07 广东工业大学 一种漫画手绘图无监督上色方法及装置
CN108805962A (zh) * 2018-05-29 2018-11-13 广州梦映动漫网络科技有限公司 一种动态漫画的生成方法以及电子设备
CN109087380A (zh) * 2018-08-02 2018-12-25 咪咕文化科技有限公司 一种漫画动图生成方法、装置及存储介质
CN109800732A (zh) * 2019-01-30 2019-05-24 北京字节跳动网络技术有限公司 用于生成漫画头像生成模型的方法和装置
CN110097086A (zh) * 2019-04-03 2019-08-06 平安科技（深圳）有限公司 图像生成模型训练方法、图像生成方法、装置、设备及存储介质
US20190333198A1 (en) * 2018-04-25 2019-10-31 Adobe Inc. Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image
CN111160264A (zh) * 2019-12-30 2020-05-15 中山大学 一种基于生成对抗网络的漫画人物身份识别方法
CN111311713A (zh) * 2020-02-24 2020-06-19 咪咕视讯科技有限公司 漫画处理方法、显示方法、装置、终端及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330956A (zh) * 2017-07-03 2017-11-07 广东工业大学 一种漫画手绘图无监督上色方法及装置
US20190333198A1 (en) * 2018-04-25 2019-10-31 Adobe Inc. Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image
CN108805962A (zh) * 2018-05-29 2018-11-13 广州梦映动漫网络科技有限公司 一种动态漫画的生成方法以及电子设备
CN109087380A (zh) * 2018-08-02 2018-12-25 咪咕文化科技有限公司 一种漫画动图生成方法、装置及存储介质
CN109800732A (zh) * 2019-01-30 2019-05-24 北京字节跳动网络技术有限公司 用于生成漫画头像生成模型的方法和装置
CN110097086A (zh) * 2019-04-03 2019-08-06 平安科技（深圳）有限公司 图像生成模型训练方法、图像生成方法、装置、设备及存储介质
CN111160264A (zh) * 2019-12-30 2020-05-15 中山大学 一种基于生成对抗网络的漫画人物身份识别方法
CN111311713A (zh) * 2020-02-24 2020-06-19 咪咕视讯科技有限公司 漫画处理方法、显示方法、装置、终端及存储介质

Similar Documents

Publication Publication Date Title
CN109189950B (zh) 多媒体资源分类方法、装置、计算机设备及存储介质
US10817705B2 (en) Method, apparatus, and system for resource transfer
EP3547218B1 (en) File processing device and method, and graphical user interface
CN112200062B (zh) 一种基于神经网络的目标检测方法、装置、机器可读介质及设备
CN106682632B (zh) 用于处理人脸图像的方法和装置
US20220237812A1 (en) Item display method, apparatus, and device, and storage medium
CN111444826B (zh) 视频检测方法、装置、存储介质及计算机设备
CN109118447B (zh) 一种图片处理方法、图片处理装置及终端设备
CN108776822B (zh) 目标区域检测方法、装置、终端及存储介质
CN108509994B (zh) 人物图像聚类方法和装置
CN111047509A (zh) 一种图像特效处理方法、装置及终端
CN111062276A (zh) 基于人机交互的人体姿态推荐方法、装置、机器可读介质及设备
CN107977636B (zh) 人脸检测方法及装置、终端、存储介质
CN111984803B (zh) 多媒体资源处理方法、装置、计算机设备及存储介质
CN112381707B (zh) 图像生成方法、装置、设备以及存储介质
CN111325220B (zh) 图像生成方法、装置、设备及存储介质
US11295416B2 (en) Method for picture processing, computer-readable storage medium, and electronic device
CN115239860A (zh) 表情数据生成方法、装置、电子设备及存储介质
CN108985215B (zh) 一种图片处理方法、图片处理装置及终端设备
CN110929159A (zh) 资源投放方法、装置、设备及介质
CN113642359B (zh) 人脸图像生成方法、装置、电子设备及存储介质
EP4303815A1 (en) Image processing method, electronic device, storage medium, and program product
CN111010526A (zh) 一种视频通讯中的互动方法及装置
CN111899154A (zh) 漫画视频生成方法及漫画生成方法、装置、设备、介质
CN111818364B (zh) 视频融合方法、***、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination