CN108564127A - 图像转换方法、装置、计算机设备及存储介质 - Google Patents

图像转换方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN108564127A
CN108564127A CN201810354082.8A CN201810354082A CN108564127A CN 108564127 A CN108564127 A CN 108564127A CN 201810354082 A CN201810354082 A CN 201810354082A CN 108564127 A CN108564127 A CN 108564127A
Authority
CN
China
Prior art keywords
image
style
face
transformation model
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810354082.8A
Other languages
English (en)
Other versions
CN108564127B (zh
Inventor
李旻骏
黄浩智
马林
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810354082.8A priority Critical patent/CN108564127B/zh
Publication of CN108564127A publication Critical patent/CN108564127A/zh
Application granted granted Critical
Publication of CN108564127B publication Critical patent/CN108564127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像转换方法，该方法包括：获取当前待处理图像，所述当前待处理图像包括脸部；将所述当前待处理图像输入已训练的目标脸部图像转换模型，所述已训练的目标脸部图像转换模型用于将输入图像中的脸部由第一风格转换为第二风格，所述已训练的目标脸部图像转换模型是通过原始脸部图像转换模型与判别网络模型进行训练得到的；获取所述目标脸部图像转换模型输出的目标风格脸部图像。该图像转换方法无需对训练样本进行标注，训练成本低且准确度高。此外，还提出了一种图像转换装置、计算机设备及存储介质。

Description

图像转换方法、装置、计算机设备及存储介质
技术领域
本申请涉及计算机处理技术领域，特别是涉及一种图像转换方法、装置、计算机设备及存储介质。
背景技术
图像转换是将图像从一种风格转换成另一种风格。传统的将脸部图像从一种风格转换为另一种风格的模型需要采用有监督的训练方法训练得到，即需要为训练样本设置相应的标签。而标签的获取往往很困难，且训练结果依赖于设置的标签，如果标签不够准确或具有标签的训练样本不够多，都会影响最后的训练结果，即不但训练成本高，且训练结果也往往不够准确。
发明内容
基于此，有必要针对上述问题，提出了一种成本低且准确度高的图像转换方法、装置、计算机设备及存储介质。
一种图像转换方法，所述方法包括：
获取当前待处理图像，所述当前待处理图像包括脸部；
将所述当前待处理图像输入已训练的目标脸部图像转换模型，所述已训练的目标脸部图像转换模型用于将输入图像中的脸部由第一风格转换为第二风格，所述已训练的目标脸部图像转换模型是通过原始脸部图像转换模型与判别网络模型进行训练得到的；
获取所述目标脸部图像转换模型输出的目标风格脸部图像。
一种图像转换装置，所述装置包括：
获取模块，用于获取当前待处理图像，所述当前待处理图像包括脸部；
输入模块，用于将所述当前待处理图像输入已训练的目标脸部图像转换模型，所述已训练的目标脸部图像转换模型用于将输入图像中的脸部由第一风格转换为第二风格，所述已训练的目标脸部图像转换模型是通过原始脸部图像转换模型与判别网络模型进行训练得到的；
输出模块，用于获取所述目标脸部图像转换模型输出的目标风格脸部图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
获取当前待处理图像，所述当前待处理图像包括脸部；
将所述当前待处理图像输入已训练的目标脸部图像转换模型，所述已训练的目标脸部图像转换模型用于将输入图像中的脸部由第一风格转换为第二风格，所述已训练的目标脸部图像转换模型是通过原始脸部图像转换模型与判别网络模型进行训练得到的；
获取所述目标脸部图像转换模型输出的目标风格脸部图像。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
获取当前待处理图像，所述当前待处理图像包括脸部；
将所述当前待处理图像输入已训练的目标脸部图像转换模型，所述已训练的目标脸部图像转换模型用于将输入图像中的脸部由第一风格转换为第二风格，所述已训练的目标脸部图像转换模型是通过原始脸部图像转换模型与判别网络模型进行训练得到的；
获取所述目标脸部图像转换模型输出的目标风格脸部图像。
上述图像转换方法、装置、计算机设备及存储介质，通过将包含脸部的当前待处理图像输入已训练的目标脸部图像转换模型，已训练的目标脸部图像转换模型用于将输入图像的脸部由第一风格转换为第二风格，已训练的目标脸部图像转换模型是通过原始脸部图像转换模型与判别网络模型进行训练得到的，获取目标脸部图像转换模型输出的目标风格脸部图像。上述目标脸部图像转换模型是采用原始脸部图像转换模型和判别网络模型进行训练的，在这个过程中，由于采用了判别模型作为辅助模型来对原始脸部图像转换模型进行训练，在无需标签的情况下即可训练完成，即不再需要人工进行标注，大大降低了训练成本，且提高了训练的准确度。
附图说明
图1为一个实施例中图像转换方法的应用环境图；
图2为一个实施例中图像转换方法的流程图；
图3为一个实施例中人脸图像转换的示意图；
图4为一个实施例中图像转换模型训练过程的原理示意图；
图5为一个实施例中目标脸部图像转换模型的训练流程图；
图6为另一个实施例中图像转换模型训练过程的原理示意图；
图7为一个实施例中获取图像的流程图；
图8为一个实施例中将待处理图像输入目标脸部图像转换模型的流程图；
图9A为一个实施例中图像转换的结构图；
图9B为一个实施例中图像转换的示意图；
图10为另一个实施例中图像转换方法的流程图；
图11为一个实施例中图像转换装置的结构框图；
图12为一个实施例中训练模块的结构框图；
图13为另一个实施例中训练模块的结构框图；
图14为另一个实施例中图像转换装置的结构框图；
图15为又一个实施例中图像转换装置的结构框图；
图16为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中图像转换方法的应用环境图。参照图1，该图像转换方法应用于图像转换***。该图像转换***包括终端110和服务器120，终端110和服务器120通过网络连接，终端110具体可以是台式终端或移动终端，移动终端具体可以是手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。终端110发送当前待处理图像到服务器120，服务器120获取当前待处理图像，当前待处理图像包括脸部，然后将当前待处理图像输入已训练的目标脸部图像转换模型，已训练的目标脸部图像转换模型用于将输入图像中的脸部由第一风格转换为第二风格，已训练的目标脸部图像转换模型是通过原始脸部图像转换模型与判别网络模型进行训练得到的，获取目标脸部图像转换模型输出的目标风格脸部图像，将目标风格脸部图像返回到对应的终端110。
在另一个实施例中，上述图像转换方法可以直接应用于终端110。终端110获取当前待处理图像，当前待处理图像包括脸部，然后终端110将所述当前待处理图像输入已训练的目标脸部图像转换模型，已训练的目标脸部图像转换模型用于将输入图像中的脸部由第一风格转换为第二风格，已训练的目标脸部图像转换模型是通过原始脸部图像转换模型与判别网络模型进行训练得到的，最后，终端110获取所述目标脸部图像转换模型输出的目标风格脸部图像。
如图2所示，在一个实施例中，提供了一种图像转换方法。既可以应用服务器，也可以用于终端，本实施例以应用于终端举例说明。该图像转换方法具体包括如下步骤：
步骤S202，获取当前待处理图像，当前待处理图像包括脸部。
其中，当前待处理图像是指当前待转换的图像，该当前待处理图像包括脸部，脸部可以是人的脸部，也可以是动物的脸部。当前待处理图像可以是终端通过调用摄像头直接拍摄的包含有脸部的图像，也可以是从相册中选择的已存储的包含有脸部的图像。
步骤S204，将当前待处理图像输入已训练的目标脸部图像转换模型，已训练的目标脸部图像转换模型用于将输入图像中的脸部由第一风格转换为第二风格，已训练的目标脸部图像转换模型是通过原始脸部图像转换模型与判别网络模型进行训练得到的。
其中，目标脸部图像转换模型用于将输入图像中的脸部由第一风格转换为第二风格。不同风格的图像所具有的特征不同，第一风格、第二风格属于图像的不同风格。其中，图像的风格包括：卡通风格、真实风格、素描风格、漫画风格、二次元风格等。即目标脸部图像转换模型用于将图像从一种风格转换为另一种风格。目标脸部图像转换模型是通过原始脸部图像转换模型和判别网络模型进行训练得到的。在一个实施例中，原始脸部图像转换模型和判别网络模型是采用无监督训练算法，通过对抗学习训练得到的。其中，无监督训练算法是指无需为训练样本设置标签的训练方法；对抗学习是指两个模型采用互相对抗的方式进行学习，通过设定一个对抗损失值，其中一个模型训练的目标是使得该对抗损失值最小化，另一个模型训练的目标是使得该对抗损失值最大化。两者通过这种对抗学习的方式不断地调整各自模型中的参数，直到达到收敛条件。通过将原始脸部图像转换模型与判别网络模型进行对抗学习实现了在无标签的情况下训练得到了目标脸部图像转换模型。
在一个实施例中，训练模型包括：一个图像转换模型和一个判别网络模型。训练集包括两个图像集合，一个是第一风格图像集合，一个是第二风格图像集合，其中，第一风格图像集合和第二风格图像集合中的图像都包含有脸部。可以采用如下方式训练得到：首先，从第一风格图像集合中获取第一风格图像作为当前第一风格图像，从第二风格图像集合中获取第二风格图像作为当前第二风格图像。其次，将当前第一风格图像输入图像转换模型，获取输出的第一输出图像，将第一输出图像和第二风格图像作为判别网络模型的输入，获取输出的与第一输出图像对应的第一概率，获取输出的与第二风格图像对应的第二概率。最后，根据第一概率和第二概率计算对抗损失值，然后根据对抗损失值对图像转换模型和判别网络模型中的权重参数进行调整，其中，对图像转换模型的参数进行调整以使对抗损失值最小化，对判别网络模型中的参数进行调整以使对抗损失值最大化。之后，更新当前第一风格图像，当前第二风格图像，重复上述过程对图像转换模型和判别网络模型中的权重参数进行调整，依次循环，直至达到相应的收敛条件，将训练完成后的图像转换模型作为目标图像转换模型。
步骤S206，获取目标脸部图像转换模型输出的目标风格脸部图像。
其中，目标风格脸部图像是指通过目标脸部图像转换模型转换得到的具有目标风格脸部的图像。假设目标风格为二次元的动漫风格，那么得到的就是具有二次元风格的脸部图像。如图3所示，为一个实施例中将包含有人脸的图像转换为具有二次元风格的脸部图像的示意图。
上述图像转换方法，通过将包含脸部的当前待处理图像输入已训练的目标脸部图像转换模型，已训练的目标脸部图像转换模型用于将输入图像的脸部由第一风格转换为第二风格，已训练的目标脸部图像转换模型是通过原始脸部图像转换模型与判别网络模型进行得到的，获取目标脸部图像转换模型输出的目标风格脸部图像。上述目标脸部图像转换模型是采用原始脸部图像转换模型和判别网络模型进行训练的，在这个过程中，由于采用了判别模型作为辅助模型来对原始脸部图像转换模型进行训练，在无需标签的情况下即可训练完成，即不再需要人工进行标注，大大降低了训练成本，且提高了训练的准确度。
如图4所示，在一个实施例中，原始脸部图像转换模型包括正向脸部图像转换模型和反向脸部图像转换模型，判别网络模型包括与正向脸部图像转换模型的输出相连接的第一判别网络模型，和与反向脸部图像转换模型的输出相连接的第二判别网络模型；正向脸部图像转换模型用于将输入图像中的脸部由第一风格转换为第二风格，反向脸部图像转换模型用于将输入图像中的脸部由第二风格转换为第一风格；第一判别网络模型用于计算输入图像属于第二风格的状态信息，第二判别网络模型用于计算输入图像属于第一风格的状态信息。
其中，正向脸部图像转换模型的作用是将输入图像的脸部由第一风格转换为第二风格。反向脸部图像转换模型的作用是将输入图像的脸部由第二风格转换为第一风格。为了将正向脸部图像转换模型训练为目标脸部图像转换模型，需要三个辅助模型，其中一个辅助模型就是反向脸部图像转换模型，还有两个判别网络模型。其中，第一判别网络模型是与正向脸部图像转换模型的输出相连接的，第二判别网络模型是与反向脸部图像转换模型的输出相连接的，也就是说，将正向脸部图像转换模型的输出作为第一判别网络模型的输入，将反向脸部图像转换模型的输出作为第二判别网络模型的输入。此外，还需要将第二风格图像作为第一判别网络模型的输入，将第一风格图像作为第二判别网络模型的输入。在一个实施例中，如图4所示，正向脸部图像转换模型、反向脸部图像转换模型、第一判别网络模型、第二判别网络模型在训练过程中的原理示意图，图中，x表示第一风格图像，y表示第二风格图像，G(x)表示经过正向脸部图像转换模型得到的输出图像，F(y)表示经过反向脸部图像转换模型得到的输出图像。
第一判别网络模型用于计算输入图像的脸部属于第二风格的状态信息，第二判别网络模型用于计算输入图像的脸部属于第一风格的状态信息，状态信息可以是概率信息，也可以是权重分数信息等。第一判别网络模型用于识别输入图像的脸部哪个是真实的第二风格的图像，哪个是由正向脸部图像转换模型输出的图像。训练第一判别网络模型的目的是将输入的真实第二风格图像判断为真，将由正向脸部图像转换模型输出的图像判断为假。如果正向脸部图像转换模型输出的图像足以骗过第一判别网络模型，说明正向脸部图像转换模型输出的图像具有了第二风格图像的特征，使得第一判别网络模型无法识别出真伪。同样地，第二判别网络模型用于识别输入的图像哪个是真实的第一风格图像，哪个是由反向脸部图像转换模型输出的图像，训练第二判别网络模型的目的是将输入的真实第一风格图像判断为真，将由反向脸部图像转换模型输出的图像判断为假。如果反向脸部图像转换模型输出的图像足以骗过第二判别网络模型，说明反向脸部图像转换模型输出的图像具有了第一风格图像的特征，使得第二判别网络模型无法识别出真伪。在一个实施例中，正向脸部图像转换模型、反向脸部图像转换模型、第一判别网络模型和第二判别网络模型都是采用卷积神经网络模型训练得到的。
如图5所示，在一个实施例中，目标脸部图像转换模型的训练步骤包括：
步骤S502，获取训练数据集，训练数据集包括第一风格图像集和第二风格图像集，第一风格图像集和第二风格图像集中的各个图像都包含有脸部。
其中，训练数据集是指对模型训练需要用到的数据的集合。由于训练目标脸部图像转换模型的目的是将脸部由第一风格转换为第二风格。所以训练数据集包括两个集合，一个是第一风格图像集，一个是第二风格图像集，且第一风格图像集和第二风格图像集中的各个图像都包含有脸部。
在一个实施例中，获取到训练数据集后，对训练数据集中的图像进行预处理，预处理包括对第一风格图像和第二风格图像进行数据清洗和数据增强，数据清洗是指将训练集中那些脸部不完整(比如，只有侧脸的)、光线不充足等可能干扰训练的样本进行删除。数据增强是指将训练图像中的脸部更加突出，包括：将图像中的背景纯色化，将训练图像中脸部处于画面中心位置等。
步骤S504，根据第一风格图像集获取当前第一风格图像，根据第二风格图像集获取当前第二风格图像。
其中，在对模型训练之前，首先，根据第一风格图像集获取第一风格图像作为当前第一风格图像，根据第二风格图像集获取第二风格图像作为当前第二风格图像。在一个实施例中，可以直接将从第一风格图像集中获取到的第一风格图像作为当前第一风格图像，将从第二风格图像集中获取到的第二风格图像作为当前第二风格图像。在另一个实施例中，将从第一风格图像集中直接获取到的第一风格图像进行进一步处理，包括识别第一风格图像中脸部的位置，根据识别到的脸部位置从第一风格图像中提取出第一风格的脸部图像，然后将第一风格的脸部图像作为当前第一风格图像。同样地，将从第二风格图像集中直接获取到的第二风格图像进行进一步处理，将提取到的第二风格的脸部图像作为当前第二风格图像。
步骤S506，将当前第一风格图像依次经过正向脸部图像转换模型、第一判别模型得到对应输出的第一概率。
其中，将当前第一风格图像作为正向脸部图像转换模型的输入，获取正向脸部图像转换模型输出的图像，称为“第一输出图像”，将该第一输出图像作为第一判别模型的输入，然后获取到输出的第一概率。第一概率是指判断得到的第一输出图像属于第二风格图像的概率。
步骤S508，将当前第二风格图像依次经过反向脸部图像转换模型、第二判别模型得到对应输出的第二概率。
其中，将当前第二风格图像作为反向脸部图像转换模型的输入，获取反向脸部图像转换模型输出的图像，为了区分，称为“第二输出图像”，将该第二输出图像作为第二判别模型的输入，然后获取到输出的第二概率。第二概率是指判断得到的第二输出图像属于第一风格图像的概率。
步骤S510，将当前第一风格图像输入第二判别模型得到对应输出的第三概率，将当前第二风格图像输入第一判别模型处理得到对应输出的第四概率。
其中，第一判别模型用于判断输入图像属于第二风格的概率。第二判别模型用于判断输入图像属于第一风格的概率。将当前第一风格图像输入第二判别模型得到对应输出的属于第一风格的第三概率，将当前第二风格图像输入第一判别模型得到输出属于第二风格的第四概率。
步骤S512，根据第一概率、第二概率、第三概率和第四概率计算得到对抗损失值。
其中，第一概率、第四概率是计算得到的属于第二风格的概率，第二概率、第三概率是计算得到的属于第一风格的概率。根据第一概率和第四概率计算得到第一对抗损失值。根据第二概率和第三概率计算得到第二对抗损失值。根据第一对抗损失值和第二对抗损失值计算得到总的对抗损失值，在一个实施例中，直接将第一对抗损失值和第二对抗损失值之和作为总的对抗损失值。
步骤S514，根据对抗损失值对正向脸部图像转换模型、反向脸部图像转换模型、第一判别模型和第二判别模型中的参数进行调整。
其中，由于训练第一判别模型的目标是将由正向脸部图像转换模型输出的第一输出图像识别为假，将当前第二风格图像识别为真，即对于第一判别模型来说，输出的与第一输出图像对应的第一概率越小越好，输出的与当前第二风格图像对应的第四概率越大越好。而训练正向脸部图像转换模型的目标是将第一风格图像转换为第二风格图像，即对于正向脸部图像转换模型，其希望得到的第一概率越大越好，第一概率越大，说明经过正向脸部图像转换模型得到的图像越符合第二风格图像特征。同样地，对于第二判别模型来说，其希望得到的第二概率越小越好，第三概率越大越好。对于反向脸部图像转换模型来说，其希望得到的第二概率越大越好。
对抗损失值与第三概率、第四概率成正相关，与第一概率和第二概率成反相关。所以对于正向脸部图像转换模型，反向脸部图像转换模型来说，其调整权重参数，是使得对抗损失值朝着减少的方向调整。对于第一判别模型和第二判别模型来说，其调整权重参数，是使得对抗损失值朝着增大的方向调整。
在一个实施例中，对抗损失值的计算公式可以表示为如下形式：
Ladv＝log(Dy(y))+log(1-Dy(y′))+log(Dx(x))+log(1-Dx(x′))
其中，x表示当前第一风格图像，y表示当前第二风格图像。x′表示y经过反向脸部图像转换模型输出的图像(第二输出图像)，y′是x经过正向脸部图像转换模型输出的图像(第一输出图像)。Dx(x)是指第一风格图像通过第二判别模型输出的概率，Dx(x′)是指第二输出图像通过第二判别模型输出的概率。Dy(y)表示当前第二风格图像通过第一判别模型输出的概率，Dy(y′)表示第一输出图像通过第一判别模型输出的概率。Ladv表示计算得到的对抗损失值。根据计算得到的对抗损失值Ladv对正向脸部图像转换模型、反向脸部图像转换模型、第一判别模型和第二判别模型中的参数进行调整，正向脸部图像转换、反向脸部图像转换模型调整参数的目的是使得对抗损失值Ladv最小化，第一判别模型和第二判别模型调整参数的目标是使得对抗损失值Ladv最大化。基于正向脸部图像转换、反向脸部图像转换与第一判别模型和第二判别模型之间的对抗学习来对模型中的参数进行调整，从而在无标签的情况下，就可以实现对正向脸部图像转换模型进行训练。在一个实施例中，在得到对抗损失值之后，使用梯度下降法对各个模型中的参数进行调整，为了提高训练的稳定性，可以在对模型中的参数进行调整时加入梯度惩罚项(gradient penalty)。
步骤S516，更新当前第一风格图像和当前第二风格图像，返回将当前第一风格图像依次经过正向脸部图像转换模型、第一判别模型处理得到对应的第一概率，依此循环，直到满足收敛条件，将训练完成得到的正向脸部图像转换模型作为目标脸部图像转换模型。
其中，当根据对抗损失值对正向脸部图像转换模型、反向脸部图像转换模型、第一判别模型和第二判别模型中的参数进行调整后，更新当前第一风格图像和当前第二风格图像，即更新当前训练样本数据，然后使用该新的训练样本数据对正向脸部图像转换模型、反向脸部图像转换模型、第一判别模型、第二判别模型继续进行训练，训练的方式同上，返回将当前第一风格图像依次经过正向脸部图像转换模型、第一判别模型处理得到对应的第一概率，将当前第二风格图像依次经过反向脸部图像转换模型、第二判别模型处理得到对应的第二概率的步骤，根据这样的方式进行循环，直到满足收敛条件，各个模型训练完成，其中，收敛条件可以自定义设置，比如，可以通过观看输出图像是否基本无变化，如果基本无变化说明达到了收敛，或者观看第一判别模型输出的第一概率是否处于随机状态，即无法识别出第一输出图像是真是假，因为第一输出图像完全具有了第二风格的特征。将训练得到的正向脸部图像作为目标脸部图像转换模型，用于将第一风格的脸部图像转换为第二风格的脸部图像。
在一个实施例中，根据对抗损失值对正向脸部图像转换模型、反向脸部图像转换模型、第一判别模型和第二判别模型中的参数进行调整之后，还包括：将当前第一风格图像经过正向脸部图像转换模型输出的第一输出图像作为调整后的反向脸部图像转换模型的输入，获取输出的第三输出图像；将当前第二风格图像经过反向脸部图像转换模型输出的第二输出图像作为调整后的正向脸部图像转换模型的输入，获取输出的第四输出图像；计算当前第一风格图像和第三输出图像之间的第一差异值、当前第二风格图像和第四输出图像之间的第二差异值；根据第一差异值和第二差异值计算得到循环损失值；根据循环损失值对正向脸部图像转换模型和反向图像转换模型中的参数进行再次调整。
其中，将当前第一风格图像经过正向脸部图像转换模型输出的图像称为“第一输出图像”，将第一输出图像作为调整后的反向脸部图像转换模型的输入，获取输出的第三输出图像。将当前第二风格图像经过反向脸部图像转换模型输出的图像称为“第二输出图像”，将第二输出图像作为调整后的正向脸部图像转换模型的输入，获取输出的第四输出图像。第一差异值是指当前第一风格图像与当前第一风格图像依次经过正向脸部图像转换模型、反向脸部图像转换模型得到的第三输出图像之间的损失值。第二差异值是指当前第二风格图像与当前第二风格图像依次经过反向脸部图像转换模型、正向脸部图像转换模型得到的第四输出图像之间的损失值。根据第一差异值和第二差异值计算得到循环损失值，其中，第一差异值和第二差异值与循环损失值成正相关。在一个实施例中，直接将第一差异值和第二差异值之和作为循环损失值。在一个实施例中，循环损失值的计算公式如下：
Lcyc＝||F(G(x))-x||1+||G(F(y))-y||1,
其中，x表示当前第一风格图像，F(G(x))表示当前第一风格图像依次经过正向脸部转换模型和反向脸部转换模型得到的结果。G(F(y))表示当前第二风格图像依次经过反向脸部转换模型和正向脸部转换模型得到的结果。||x||1表示对x进行范数为1的计算。如图6所示，为一个实施例中，正向脸部图像转换模型、反向脸部图像转换模型、第一判别网络模型、第二判别网络模型在训练过程中的原理示意图，包括将G(x)作为反向脸部转换模型的输入，得到F(G(x))，将F(y)作为正向脸部转换模型的输入，得到G(F(y))。
由于训练正向脸部图像转换模型的目的是将输入图像中的脸部从第一风格转换为第二风格。训练反向脸部图像转换模型的目的是将输入图像中的脸部第二风格转换为第一风格。为了保证图像转换过程中保留原本图像的内容，所以希望将图像中的脸部由第一风格转换为第二风格后，再由第二风格转换为第一风格后，能够得到原来的图像。所以经过循环之后，图像之间的差异性越小越好。根据循环损失值对正向脸部图像转换模型和反向图像转换模型中的参数调整的目标是使得循环损失值最小化。通过对抗损失值和循环损失值对正向脸部图像转换模型和反向脸部图像转换模型中的参数进行调整，使得图像在转换的过程中保留原来的内容，只是对原来的内容转换了风格，从而能够使得训练得到的目标图像转换模型转换得到的目标风格脸部图像保留原始图像中脸部的特点。
如图7所示，在一个实施例中，根据第一风格图像集获取当前第一风格图像，根据第二风格图像集获取当前第二风格图像，包括：
步骤S504A，从第一风格图像集获取原始第一风格图像，从第二风格图像集获取原始第二风格图像。
其中，将从第一风格图像集中直接获取到的图像称为“原始第一风格图像”，从第二风格图像集中直接获取到的图像称为“原始第二风格图像”。
步骤S504B，分别对原始第一风格图像和原始第二风格图像进行随机扰动处理得到调整第一风格图像和调整第二风格图像，随机扰动处理包括：平移、缩放、亮度调整中的至少一种。
其中，随机扰动处理包括对图像进行平移、缩放、亮度调整中的至少一种。为了使得训练数据集中的样本具有多样性，获取到原始第一风格图像和原始第二风格图像后，分别对原始第一风格图像和原始第二风格图像进行随机扰动处理。调整第一风格图像是指对原始第一风格图像进行随机扰动处理得到的图像。调整第二风格图像是指对原始第二风格图像进行随机扰动处理得到的图像。
步骤S504C，将调整第一风格图像作为当前第一风格图像，将调整第二风格图像作为当前第二风格图像。
其中，将经过随机扰动处理得到的调整第一风格图像作为当前第一风格图像，将调整第二风格图像作为当前第二风格图像。即将调整第一风格图像作为正向脸部图像转换模型的输入，将调整第二风格图像作为反向脸部图像转换模型的输入。
在一个实施例中，在获取当前待处理图像，当前待处理图像包括脸部之后，还包括：对当前待处理图像中的脸部进行识别得到脸部特征点；根据脸部特征点从当前待处理图像中提取出脸部图像，将提取出的脸部图像作为当前待处理图像。
其中，对脸部的识别可以采用脸部识别模型来进行识别，脸部识别模型可以采用卷积神经网络模型训练得到。脸部特征点包括表示脸部的轮廓和五官的特征点。所以根据脸部特征点就可以从当前待处理图像中提取出脸部图像，将提取出的脸部图像作为当前待处理图像，即将提取出的脸部图像作为目标脸部图像转换模型的输入。
在一个实施例中，根据脸部特征点从当前待处理图像中提取出脸部图像，包括：根据脸部特征点中的眼部特征点确定两个眼部的位置；当两个眼部的位置不在一条水平线上时，旋转当前待处理图像使得两个眼部的位置处于一条水平线上，得到中间图像；根据中间图像中的脸部特征点确定与脸部图像对应的剪裁框；根据剪裁框从中间图像中提取出脸部图像。
其中，根据脸部特征点中的眼部特征点的坐标计算得到眼部的位置，判断两个眼部的位置是否在同一条水平线上，若不在同一条水平线上，说明脸部发生了倾斜，可以通过选择当前待处理图像使得两个眼部的位置处于一条水平线上，将旋转之后的图像称为“中间图像”。然后根据中间图像中脸部特征点中的脸部轮廓的特征点确定与脸部图像对应的剪裁框，根据剪裁框从中间图像中提取出脸部图像。
在一个实施例中，第一风格是指采用摄像装置直接拍摄到的图像的真实风格；第二风格是指虚拟动漫风格。
其中，第一风格图像可以是直接通过摄像装置拍摄到的真实风格的图像。比如，将采用摄像装置(比如，照相机)对人脸进行拍摄，得到的人脸图像即为第一风格的图像。第二风格图像是虚拟动漫风格的图像，比如，二次元人物风格的图像。
如图8所示，在一个实施例中，目标脸部转换模型包括下采样卷积层、残差卷积层和上采样卷积层；
将待处理图像输入已训练的目标脸部图像转换模型，包括：
步骤S204A，将待处理图像作为下采样卷积层的输入，下采样卷积层用于对待处理图像中的脸部图像进行下采样卷积计算得到第一脸部特征矩阵。
其中，下采样卷积层用于对待处理图像中的脸部图像进行下采样卷积计算。下采用卷积层的作用是将图像由高分辨率图像转换为低分辨率图像。即下采样卷积计算得到的第一脸部特征矩阵是一个低分辨率的图像，通过得到一个低分辨率的图像有利于减少后续卷积的运算量。
步骤S204B，将第一脸部特征矩阵作为残差卷积层的输入，残差卷积层用于对第一脸部特征矩阵进行残差卷积运算转换为具有目标风格特征的第二脸部特征矩阵。
其中，将得到的第一脸部特征矩阵作为残差卷积层的输入，残差卷积层用于对第一脸部特征矩阵进行残差卷积运算，转换为具有目标风格特征的第二脸部特征矩阵。残差卷积层的主要作用是将输入的待处理图像中脸部的特征由第一风格转换为具有第二风格的特征。残差卷积层可以由多个卷积层来实现，比如，可以采用两层卷积层组成的神经网络层作为残差卷积层，将部分残差卷积层的输入直接添加到输出，这样可以确保先前网络层的输入数据信息直接作用于后面的网络层，使得相应的输出与原始输入的偏差缩小。
步骤S204C，将第二脸部特征矩阵作为上采样卷积层的输入，上采样卷积层用于对第二脸部特征矩阵进行上采样卷积计算得到目标风格脸部图像。
其中，上采样卷积层用于将得到的第二脸部特征矩阵进行上采样卷积计算得到目标风格脸部图像。上采样卷积层的作用是将得到的图像从低分辨率转换为高分辨率。由于之前对图像进行了下采样卷积运算，所以图像的分辨率降低了，为了得到比较清晰的输出图像，需要将图像由低分辨率经过上采样得到高分辨率的图像。
在一个实施例中，目标脸部图像转换模型包括2层下采样(Downsample)卷积层、6层残差(Residual)卷积层和2层上采样(Upsample)卷积层。为了优化转换质量，还可以在残差(Residual)卷积层中加入Dropout层，Dropout层是指去除一些神经元，比如，随机按照概率0.5去掉50％的神经元，可以起到防止过拟合的作用。在一个实施例中，目标脸部图像转换模型的网络结构如表1中所示：
表1
层类型 卷积核 填充格数 步长 卷积核数量 激活函数
卷积层 7X7 3 1 128 ReLu
下采样卷积层 3X3 1 2 256 ReLu
下采样卷积层 3X3 1 2 256 ReLu
残差卷积层*6 3X3 1 1 256 ReLu
上采样卷积层 3X3 1 1 512 ReLu
上采样卷积层 3X3 1 1 256 ReLu
上采样卷积层 7X7 3 1 3 tanh
在一个实施例中，判别网络模型也是采用卷积神经网络模型训练得到的，相应的网络结构如表2中所示，包含有6层卷积层,其中，最后一层卷积层中不包含激活函数：
表2
层类型 卷积核 填充格数 步长 卷积核数量 激活函数
卷积层 3X3 1 2 64 Leaky ReLu
卷积层 3X3 1 2 128 Leaky ReLu
卷积层 3X3 1 2 256 Leaky ReLu
卷积层 3X3 1 2 512 Leaky ReLu
卷积层 3X3 1 1 512 Leaky ReLu
卷积层 3X3 1 1 1 _
在一个实施例中，上采样卷积层为亚像素卷积层；亚像素卷积层用于将低分辨率的图像转换为高分辨率的图像。
其中，为了得到高分辨率的图像，上采样卷积层采用亚像素(subpixel)卷积层来实现。亚像素卷积层能够有效地将低分辨率图像转换为清晰度比较高的高分辨率图像。
在一个实施例中，图像转换方法还包括：将目标风格脸部图像作为已训练的图像超分辨率处理模型的输入，获取输出的处理后的高分辨率的目标风格脸部图像，图像超分辨率处理模型是采用卷积神经网络算法训练得到的。
其中，为了能够得到更清晰的目标风格脸部图像，对目标风格脸部图像进行超分辨率处理得到清晰度高的目标风格脸部图像。具体地，将目标风格脸部图像作为以训练的图像超分辨率处理模型的输入，获取输出的处理后的高分辨率的目标风格脸部图像，图像超分辨率模型可以采用卷积神经网络算法训练得到。
如图9A所示,在一个实施例中，包括三个模型，分别为人脸识别模型、目标脸部图像转换模型和超分辨率处理模型。其中，人脸识别模型用于识别输入的待处理图像中的人脸特征点，然后根据识别得到的人脸特征点从待处理图像中提取中人脸图像，然后将人脸图像输入目标脸部图像转换模型，目标脸部图像转换模型用于将人脸从第一风格转换为第二风格，获取目标脸部转换模型输出的目标风格人脸图像，然后将目标风格人脸图像输入超分辨率处理模型，超分辨率处理模型用于将目标风格人脸图像转换为高分辨率的图像。如图9B为一个实施例中，采用上述三个模型对包含有人脸的图像进行识别、转换以及进行超分辨率处理的示意图。
在一个实施例中，获取当前待处理图像，当前待处理图像包括脸部，包括：获取目标视频；获取目标视频中包含有脸部的目标视频帧，将包含有脸部的目标视频帧作为当前待处理图像。
其中，上述图像转换方法可以应用与对视频中的脸部进行实时地转换，具体地，获取目标视频，然后获取目标视频中包含有脸部的目标视频帧，视频是由一帧一帧的视频帧构成的，每个视频帧对应一个视频图像，所以通过将包含有脸部的目标视频帧作为当前待处理图像即可实现将视频中的脸部转换为目标风格的脸部图像。
如图10所示，在一个实施例中，提出了一种图像转换方法，包括以下步骤：
步骤S1001，获取当前待处理图像，当前待处理图像包括脸部；
步骤S1002，对当前待处理图像中的脸部进行识别得到脸部特征点；
步骤S1003，根据脸部特征点中的眼部特征点确定两个眼部的位置；
步骤S1004，判断两个眼部的位置是否在一条水平线上，若是，则将当前待处理图像作为中间图像，进入步骤S1006，若否，则进入步骤S1005。
步骤S1005,旋转当前待处理图像使得两个眼部的位置处于一条水平线上，得到中间图像；
步骤S1006,根据中间图像中脸部特征点确定与脸部图像对应的剪裁框；
步骤S1007,根据剪裁框从中间图像中提取出脸部图像；
步骤S1008,将脸部图像输入已训练的目标脸部图像转换模型，已训练的目标脸部图像转换模型包括：下采样卷积层、残差卷积层和上采样卷积层，下采样卷积层用于对脸部图像进行下采样卷积计算得到第一脸部特征矩阵，残差卷积层用于对第一脸部特征矩阵进行残差卷积运算转换为具有目标风格特征的第二脸部特征矩阵，上采样卷积层用于对第二脸部特征矩阵进行上采样卷积计算得到目标风格脸部图像。
步骤S1009,获取目标脸部图像转换模型输出的目标风格脸部图像。
步骤S1010,将目标风格脸部图像作为已训练的图像超分辨率处理模型的输入，获取输出的处理后的高分辨率的目标风格脸部图像，图像超分辨率处理模型是采用卷积神经网络算法训练得到的。
应该理解的是，虽然图2至10的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至10中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图11所示，在一个实施例中，提出了一种图像转换装置，该装置包括：
获取模块1102，用于获取当前待处理图像，所述当前待处理图像包括脸部；
输入模块1104，用于将所述当前待处理图像输入已训练的目标脸部图像转换模型，所述已训练的目标脸部图像转换模型用于将输入图像中的脸部由第一风格转换为第二风格，所述已训练的目标脸部图像转换模型是通过原始脸部图像转换模型与判别网络模型进行训练得到的；
输出模块1106，用于获取所述目标脸部图像转换模型输出的目标风格脸部图像。
在一个实施例中，所述原始脸部图像转换模型包括正向脸部图像转换模型和反向脸部图像转换模型，所述判别网络模型包括与正向脸部图像转换模型的输出相连接的第一判别网络模型，和与反向脸部图像转换模型的输出相连接的第二判别网络模型；所述正向脸部图像转换模型用于将输入图像中的脸部由第一风格转换为第二风格，所述反向脸部图像转换模型用于将输入图像中的脸部由所述第二风格转换为所述第一风格；所述第一判别网络模型用于计算输入图像属于所述第二风格的状态信息，所述第二判别网络模型用于计算输入图像属于所述第一风格的状态信息。
如图12所示，在一个实施例中，上述图像转换装置还包括训练模块1101，训练模块1101包括：
训练数据获取模块1101A，用于获取训练数据集，所述训练数据集包括第一风格图像集和第二风格图像集，所述第一风格图像集和第二风格图像集中的各个图像都包含有脸部；
图像获取模块1101B，用于根据所述第一风格图像集获取当前第一风格图像，根据所述第二风格图像集获取当前第二风格图像；
第一概率输出模块1101C，用于将所述当前第一风格图像依次经过正向脸部图像转换模型、第一判别模型得到对应输出的第一概率；
第二概率输出模块1101D，用于将所述当前第二风格图像依次经过反向脸部图像转换模型、第二判别模型得到对应输出的第二概率；
判别输出模块1101E，用于将当前第一风格图像输入第二判别模型得到对应输出的第三概率，将当前第二风格图像输入第一判别模型处理得到对应输出的第四概率；
损失计算模块1101F，用于根据所述第一概率、第二概率、第三概率和第四概率计算得到对抗损失值；
第一调整模块1101G，用于根据所述对抗损失值对所述正向脸部图像转换模型、反向脸部图像转换模型、第一判别模型和第二判别模型中的参数进行调整；
更新模块1101H，用于更新所述当前第一风格图像和当前第二风格图像，返回将所述当前第一风格图像依次经过正向脸部图像转换模型、第一判别模型处理得到对应的第一概率，依此循环，直到满足收敛条件，将训练完成得到的正向脸部图像转换模型作为所述目标脸部图像转换模型。
如图13所示，在一个实施例中，上述训练模块1101还包括：
第一图像输出模块1101I，用于将所述当前第一风格图像经过正向脸部图像转换模型输出的第一输出图像作为调整后的所述反向脸部图像转换模型的输入，获取输出的第三输出图像；
第二图像输出模块1101J，用于将所述当前第二风格图像经过反向脸部图像转换模型输出的第二输出图像作为调整后的所述正向脸部图像转换模型的输入，获取输出的第四输出图像；
差异值计算模块1101K，用于计算所述当前第一风格图像和第三输出图像之间的第一差异值、当前第二风格图像和第四输出图像之间的第二差异值；
循环损失计算模块1101L，用于根据所述第一差异值和所述第二差异值计算得到循环损失值；
第二调整模块1101M，用于根据所述循环损失值对所述正向脸部图像转换模型和反向图像转换模型中的参数进行再次调整。
在一个实施例中，所述图像获取模块1101B还用于从所述第一风格图像集获取原始第一风格图像，从所述第二风格图像集获取原始第二风格图像，分别对所述原始第一风格图像和所述原始第二风格图像进行随机扰动处理得到调整第一风格图像和调整第二风格图像，所述随机扰动处理包括：平移、缩放、亮度调整中的至少一种，将所述调整第一风格图像作为所述当前第一风格图像，将所述调整第二风格图像作为所述当前第二风格图像。
如图14所示，在一个实施例中，上述图像转换装置还包括：
识别模块1108，用于对所述当前待处理图像中的脸部进行识别得到脸部特征点；
提取模块1110，用于根据所述脸部特征点从所述当前待处理图像中提取出脸部图像，将提取出的所述脸部图像作为当前待处理图像。
在一个实施例中，提取模块1110还用于根据所述脸部特征点中的眼部特征点确定两个眼部的位置，当两个眼部的位置不在一条水平线上时，旋转所述当前待处理图像使得两个眼部的位置处于一条水平线上，得到中间图像，根据所述中间图像中脸部特征点确定与脸部图像对应的剪裁框，根据所述剪裁框从所述中间图像中提取出脸部图像。
在一个实施例中，所述第一风格是指采用摄像装置直接拍摄到的图像的真实风格；所述第二风格是指虚拟动漫风格。
在一个实施例中，所述目标脸部转换模型包括下采样卷积层、残差卷积层和上采样卷积层；所述输入模块还用于将所述待处理图像作为所述下采样卷积层的输入，所述下采样卷积层用于对所述待处理图像中的脸部图像进行下采样卷积计算得到第一脸部特征矩阵；将所述第一脸部特征矩阵作为所述残差卷积层的输入，所述残差卷积层用于对所述第一脸部特征矩阵进行残差卷积运算转换为具有目标风格特征的第二脸部特征矩阵；将所述第二脸部特征矩阵作为所述上采样卷积层的输入，所述上采样卷积层用于对所述第二脸部特征矩阵进行上采样卷积计算得到目标风格脸部图像。
在一个实施例中，所述上采样卷积层为亚像素卷积层；所述亚像素卷积层用于将低分辨率的图像转换为高分辨率的图像。
如图15所示，在一个实施例中，上述图像转换装置还包括：
超分辨率处理模块1112，用于将所述目标风格脸部图像作为已训练的图像超分辨率处理模型的输入，获取输出的处理后的高分辨率的目标风格脸部图像，所述图像超分辨率处理模型是采用卷积神经网络算法训练得到的。
在一个实施例中，所述获取模块还用于获取目标视频，获取所述目标视频中包含有脸部的目标视频帧，将所述包含有脸部的目标视频帧作为所述当前待处理图像。
图16示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图16所示，该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作***，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像转换方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像转换方法。本领域技术人员可以理解，图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像转换方法可以实现为一种计算机程序的形式，计算机程序可在如图16所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像转换装置的各个程序模块，比如，图11的获取模块1102、输入模块1104和输出模块1106。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像转换装置中的步骤。例如，图16所示的计算机设备可以通过如图11所示的图像转换装置的获取模块1102获取当前待处理图像，所述当前待处理图像包括脸部；通过输入模块1104将所述当前待处理图像输入已训练的目标脸部图像转换模型，所述已训练的目标脸部图像转换模型用于将输入图像中的脸部由第一风格转换为第二风格，所述已训练的目标脸部图像转换模型是通过原始脸部图像转换模型与判别网络模型进行训练得到的；通过输出模块1106获取所述目标脸部图像转换模型输出的目标风格脸部图像。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：获取当前待处理图像，所述当前待处理图像包括脸部；将所述当前待处理图像输入已训练的目标脸部图像转换模型，所述已训练的目标脸部图像转换模型用于将输入图像中的脸部由第一风格转换为第二风格，所述已训练的目标脸部图像转换模型是通过原始脸部图像转换模型与判别网络模型进行训练得到的；获取所述目标脸部图像转换模型输出的目标风格脸部图像。
在一个实施例中，所述原始脸部图像转换模型包括正向脸部图像转换模型和反向脸部图像转换模型，所述判别网络模型包括与正向脸部图像转换模型的输出相连接的第一判别网络模型，和与反向脸部图像转换模型的输出相连接的第二判别网络模型；所述正向脸部图像转换模型用于将输入图像中的脸部由第一风格转换为第二风格，所述反向脸部图像转换模型用于将输入图像中的脸部由所述第二风格转换为所述第一风格；所述第一判别网络模型用于计算输入图像属于所述第二风格的状态信息，所述第二判别网络模型用于计算输入图像属于所述第一风格的状态信息。
在一个实施例中，所述处理器还用于执行以下步骤：获取训练数据集，所述训练数据集包括第一风格图像集和第二风格图像集，所述第一风格图像集和第二风格图像集中的各个图像都包含有脸部；根据所述第一风格图像集获取当前第一风格图像，根据所述第二风格图像集获取当前第二风格图像；将所述当前第一风格图像依次经过正向脸部图像转换模型、第一判别模型得到对应输出的第一概率；将所述当前第二风格图像依次经过反向脸部图像转换模型、第二判别模型得到对应输出的第二概率；将当前第一风格图像输入第二判别模型得到对应输出的第三概率，将当前第二风格图像输入第一判别模型处理得到对应输出的第四概率；根据所述第一概率、第二概率、第三概率和第四概率计算得到对抗损失值；根据所述对抗损失值对所述正向脸部图像转换模型、反向脸部图像转换模型、第一判别模型和第二判别模型中的参数进行调整；更新所述当前第一风格图像和当前第二风格图像，返回将所述当前第一风格图像依次经过正向脸部图像转换模型、第一判别模型处理得到对应的第一概率，依此循环，直到满足收敛条件，将训练完成得到的正向脸部图像转换模型作为所述目标脸部图像转换模型。
在一个实施例中，在所述根据所述对抗损失值对正向脸部图像转换模型、反向脸部图像转换模型、第一判别模型和第二判别模型中的参数进行调整之后，所述处理器还用于执行以下步骤：将所述当前第一风格图像经过正向脸部图像转换模型输出的第一输出图像作为调整后的所述反向脸部图像转换模型的输入，获取输出的第三输出图像；将所述当前第二风格图像经过反向脸部图像转换模型输出的第二输出图像作为调整后的所述正向脸部图像转换模型的输入，获取输出的第四输出图像；计算所述当前第一风格图像和第三输出图像之间的第一差异值、当前第二风格图像和第四输出图像之间的第二差异值；根据所述第一差异值和所述第二差异值计算得到循环损失值；根据所述循环损失值对所述正向脸部图像转换模型和反向图像转换模型中的参数进行再次调整。
在一个实施例中，根据所述第一风格图像集获取当前第一风格图像，根据所述第二风格图像集获取当前第二风格图像，包括：从所述第一风格图像集获取原始第一风格图像，从所述第二风格图像集获取原始第二风格图像；分别对所述原始第一风格图像和所述原始第二风格图像进行随机扰动处理得到调整第一风格图像和调整第二风格图像，所述随机扰动处理包括：平移、缩放、亮度调整中的至少一种；将所述调整第一风格图像作为所述当前第一风格图像，将所述调整第二风格图像作为所述当前第二风格图像。
在一个实施例中，在所述获取当前待处理图像，所述当前待处理图像包括脸部之后，所述处理器还用于执行以下步骤：对所述当前待处理图像中的脸部进行识别得到脸部特征点；根据所述脸部特征点从所述当前待处理图像中提取出脸部图像，将提取出的所述脸部图像作为当前待处理图像。
在一个实施例中，所述根据所述脸部特征点从所述当前待处理图像中提取出脸部图像，包括：根据所述脸部特征点中的眼部特征点确定两个眼部的位置；当两个眼部的位置不在一条水平线上时，旋转所述当前待处理图像使得两个眼部的位置处于一条水平线上，得到中间图像；根据所述中间图像中的脸部特征点确定与脸部图像对应的剪裁框；根据所述剪裁框从所述中间图像中提取出脸部图像。
在一个实施例中，所述第一风格是指采用摄像装置直接拍摄到的图像的真实风格，所述第二风格是指虚拟动漫风格。
在一个实施例中，所述目标脸部转换模型包括下采样卷积层、残差卷积层和上采样卷积层；所述将所述待处理图像输入已训练的目标脸部图像转换模型，包括：将所述待处理图像作为所述下采样卷积层的输入，所述下采样卷积层用于对所述待处理图像中的脸部图像进行下采样卷积计算得到第一脸部特征矩阵；将所述第一脸部特征矩阵作为所述残差卷积层的输入，所述残差卷积层用于对所述第一脸部特征矩阵进行残差卷积运算转换为具有目标风格特征的第二脸部特征矩阵；将所述第二脸部特征矩阵作为所述上采样卷积层的输入，所述上采样卷积层用于对所述第二脸部特征矩阵进行上采样卷积计算得到目标风格脸部图像。
在一个实施例中，所述上采样卷积层为亚像素卷积层；所述亚像素卷积层用于将低分辨率的图像转换为高分辨率的图像。
在一个实施例中，所述处理器还用于执行以下步骤：将所述目标风格脸部图像作为已训练的图像超分辨率处理模型的输入，获取输出的处理后的高分辨率的目标风格脸部图像，所述图像超分辨率处理模型是采用卷积神经网络算法训练得到的。
在一个实施例中，所述获取当前待处理图像，所述当前待处理图像包括脸部，包括：获取目标视频；获取所述目标视频中包含有脸部的目标视频帧，将所述包含有脸部的目标视频帧作为所述当前待处理图像。
在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：获取当前待处理图像，所述当前待处理图像包括脸部；将所述当前待处理图像输入已训练的目标脸部图像转换模型，所述已训练的目标脸部图像转换模型用于将输入图像中的脸部由第一风格转换为第二风格，所述已训练的目标脸部图像转换模型是通过原始脸部图像转换模型与判别网络模型进行训练得到的；获取所述目标脸部图像转换模型输出的目标风格脸部图像。
在一个实施例中，所述原始脸部图像转换模型包括正向脸部图像转换模型和反向脸部图像转换模型，所述判别网络模型包括与正向脸部图像转换模型的输出相连接的第一判别网络模型，和与反向脸部图像转换模型的输出相连接的第二判别网络模型；所述正向脸部图像转换模型用于将输入图像中的脸部由第一风格转换为第二风格，所述反向脸部图像转换模型用于将输入图像中的脸部由所述第二风格转换为所述第一风格；所述第一判别网络模型用于计算输入图像属于所述第二风格的状态信息，所述第二判别网络模型用于计算输入图像属于所述第一风格的状态信息。
在一个实施例中，所述处理器还用于执行以下步骤：获取训练数据集，所述训练数据集包括第一风格图像集和第二风格图像集，所述第一风格图像集和第二风格图像集中的各个图像都包含有脸部；根据所述第一风格图像集获取当前第一风格图像，根据所述第二风格图像集获取当前第二风格图像；将所述当前第一风格图像依次经过正向脸部图像转换模型、第一判别模型得到对应输出的第一概率；将所述当前第二风格图像依次经过反向脸部图像转换模型、第二判别模型得到对应输出的第二概率；将当前第一风格图像输入第二判别模型得到对应输出的第三概率，将当前第二风格图像输入第一判别模型处理得到对应输出的第四概率；根据所述第一概率、第二概率、第三概率和第四概率计算得到对抗损失值；根据所述对抗损失值对所述正向脸部图像转换模型、反向脸部图像转换模型、第一判别模型和第二判别模型中的参数进行调整；更新所述当前第一风格图像和当前第二风格图像，返回将所述当前第一风格图像依次经过正向脸部图像转换模型、第一判别模型处理得到对应的第一概率，依此循环，直到满足收敛条件，将训练完成得到的正向脸部图像转换模型作为所述目标脸部图像转换模型。
在一个实施例中，在所述根据所述对抗损失值对正向脸部图像转换模型、反向脸部图像转换模型、第一判别模型和第二判别模型中的参数进行调整之后，所述处理器还用于执行以下步骤：将所述当前第一风格图像经过正向脸部图像转换模型输出的第一输出图像作为调整后的所述反向脸部图像转换模型的输入，获取输出的第三输出图像；将所述当前第二风格图像经过反向脸部图像转换模型输出的第二输出图像作为调整后的所述正向脸部图像转换模型的输入，获取输出的第四输出图像；计算所述当前第一风格图像和第三输出图像之间的第一差异值、当前第二风格图像和第四输出图像之间的第二差异值；根据所述第一差异值和所述第二差异值计算得到循环损失值；根据所述循环损失值对所述正向脸部图像转换模型和反向图像转换模型中的参数进行再次调整。
在一个实施例中，根据所述第一风格图像集获取当前第一风格图像，根据所述第二风格图像集获取当前第二风格图像，包括：从所述第一风格图像集获取原始第一风格图像，从所述第二风格图像集获取原始第二风格图像；分别对所述原始第一风格图像和所述原始第二风格图像进行随机扰动处理得到调整第一风格图像和调整第二风格图像，所述随机扰动处理包括：平移、缩放、亮度调整中的至少一种；将所述调整第一风格图像作为所述当前第一风格图像，将所述调整第二风格图像作为所述当前第二风格图像。
在一个实施例中，在所述获取当前待处理图像，所述当前待处理图像包括脸部之后，所述处理器还用于执行以下步骤：对所述当前待处理图像中的脸部进行识别得到脸部特征点；根据所述脸部特征点从所述当前待处理图像中提取出脸部图像，将提取出的所述脸部图像作为当前待处理图像。
在一个实施例中，所述根据所述脸部特征点从所述当前待处理图像中提取出脸部图像，包括：根据所述脸部特征点中的眼部特征点确定两个眼部的位置；当两个眼部的位置不在一条水平线上时，旋转所述当前待处理图像使得两个眼部的位置处于一条水平线上，得到中间图像；根据所述中间图像中的脸部特征点确定与脸部图像对应的剪裁框；根据所述剪裁框从所述中间图像中提取出脸部图像。
在一个实施例中，所述第一风格是指采用摄像装置直接拍摄到的图像的真实风格，所述第二风格是指虚拟动漫风格。
在一个实施例中，所述目标脸部转换模型包括下采样卷积层、残差卷积层和上采样卷积层；所述将所述待处理图像输入已训练的目标脸部图像转换模型，包括：将所述待处理图像作为所述下采样卷积层的输入，所述下采样卷积层用于对所述待处理图像中的脸部图像进行下采样卷积计算得到第一脸部特征矩阵；将所述第一脸部特征矩阵作为所述残差卷积层的输入，所述残差卷积层用于对所述第一脸部特征矩阵进行残差卷积运算转换为具有目标风格特征的第二脸部特征矩阵；将所述第二脸部特征矩阵作为所述上采样卷积层的输入，所述上采样卷积层用于对所述第二脸部特征矩阵进行上采样卷积计算得到目标风格脸部图像。
在一个实施例中，所述上采样卷积层为亚像素卷积层；所述亚像素卷积层用于将低分辨率的图像转换为高分辨率的图像。
在一个实施例中，所述处理器还用于执行以下步骤：将所述目标风格脸部图像作为已训练的图像超分辨率处理模型的输入，获取输出的处理后的高分辨率的目标风格脸部图像，所述图像超分辨率处理模型是采用卷积神经网络算法训练得到的。
在一个实施例中，所述获取当前待处理图像，所述当前待处理图像包括脸部，包括：获取目标视频；获取所述目标视频中包含有脸部的目标视频帧，将所述包含有脸部的目标视频帧作为所述当前待处理图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像转换方法，所述方法包括：
获取当前待处理图像，所述当前待处理图像包括脸部；
将所述当前待处理图像输入已训练的目标脸部图像转换模型，所述已训练的目标脸部图像转换模型用于将输入图像中的脸部由第一风格转换为第二风格，所述已训练的目标脸部图像转换模型是通过原始脸部图像转换模型与判别网络模型进行训练得到的；
获取所述目标脸部图像转换模型输出的目标风格脸部图像。
2.根据权利要求1所述的方法，其特征在于，所述原始脸部图像转换模型包括正向脸部图像转换模型和反向脸部图像转换模型，所述判别网络模型包括与正向脸部图像转换模型的输出相连接的第一判别网络模型，和与反向脸部图像转换模型的输出相连接的第二判别网络模型；
所述正向脸部图像转换模型用于将输入图像中的脸部由第一风格转换为第二风格，所述反向脸部图像转换模型用于将输入图像中的脸部由所述第二风格转换为所述第一风格；
所述第一判别网络模型用于计算输入图像属于所述第二风格的状态信息，所述第二判别网络模型用于计算输入图像属于所述第一风格的状态信息。
3.根据权利要求2所述的方法，其特征在于，所述目标脸部图像转换模型的训练步骤包括：
获取训练数据集，所述训练数据集包括第一风格图像集和第二风格图像集，所述第一风格图像集和第二风格图像集中的各个图像都包含有脸部；
根据所述第一风格图像集获取当前第一风格图像，根据所述第二风格图像集获取当前第二风格图像；
将所述当前第一风格图像依次经过正向脸部图像转换模型、第一判别模型得到对应输出的第一概率；
将所述当前第二风格图像依次经过反向脸部图像转换模型、第二判别模型得到对应输出的第二概率；
将当前第一风格图像输入第二判别模型得到对应输出的第三概率，将当前第二风格图像输入第一判别模型处理得到对应输出的第四概率；
根据所述第一概率、第二概率、第三概率和第四概率计算得到对抗损失值；
根据所述对抗损失值对所述正向脸部图像转换模型、反向脸部图像转换模型、第一判别模型和第二判别模型中的参数进行调整；
更新所述当前第一风格图像和当前第二风格图像，返回将所述当前第一风格图像依次经过正向脸部图像转换模型、第一判别模型处理得到对应的第一概率，依此循环，直到满足收敛条件，将训练完成得到的正向脸部图像转换模型作为所述目标脸部图像转换模型。
4.根据权利要求3所述的方法，其特征在于，所述根据所述对抗损失值对正向脸部图像转换模型、反向脸部图像转换模型、第一判别模型和第二判别模型中的参数进行调整之后，还包括：
将所述当前第一风格图像经过正向脸部图像转换模型输出的第一输出图像作为调整后的所述反向脸部图像转换模型的输入，获取输出的第三输出图像；
将所述当前第二风格图像经过反向脸部图像转换模型输出的第二输出图像作为调整后的所述正向脸部图像转换模型的输入，获取输出的第四输出图像；
计算所述当前第一风格图像和第三输出图像之间的第一差异值、当前第二风格图像和第四输出图像之间的第二差异值；
根据所述第一差异值和所述第二差异值计算得到循环损失值；
根据所述循环损失值对所述正向脸部图像转换模型和反向图像转换模型中的参数进行再次调整。
5.根据权利要求3所述的方法，其特征在于，根据所述第一风格图像集获取当前第一风格图像，根据所述第二风格图像集获取当前第二风格图像，包括：
从所述第一风格图像集获取原始第一风格图像，从所述第二风格图像集获取原始第二风格图像；
分别对所述原始第一风格图像和所述原始第二风格图像进行随机扰动处理得到调整第一风格图像和调整第二风格图像，所述随机扰动处理包括：平移、缩放、亮度调整中的至少一种；
将所述调整第一风格图像作为所述当前第一风格图像，将所述调整第二风格图像作为所述当前第二风格图像。
6.根据权利要求1所述的方法，其特征在于，在所述获取当前待处理图像，所述当前待处理图像包括脸部之后，还包括：
对所述当前待处理图像中的脸部进行识别得到脸部特征点；
根据所述脸部特征点从所述当前待处理图像中提取出脸部图像，将提取出的所述脸部图像作为当前待处理图像。
7.根据权利要求6所述的方法，其特征在于，所述根据所述脸部特征点从所述当前待处理图像中提取出脸部图像，包括：
根据所述脸部特征点中的眼部特征点确定两个眼部的位置；
当两个眼部的位置不在一条水平线上时，旋转所述当前待处理图像使得两个眼部的位置处于一条水平线上，得到中间图像；
根据所述中间图像中的脸部特征点确定与脸部图像对应的剪裁框；
根据所述剪裁框从所述中间图像中提取出脸部图像。
8.根据权利要求1所述的方法，其特征在于，所述第一风格是指采用摄像装置直接拍摄到的图像的真实风格，所述第二风格是指虚拟动漫风格。
9.根据权利要求1所述的方法，其特征在于，所述目标脸部转换模型包括下采样卷积层、残差卷积层和上采样卷积层；
所述将所述待处理图像输入已训练的目标脸部图像转换模型，包括：
将所述待处理图像作为所述下采样卷积层的输入，所述下采样卷积层用于对所述待处理图像中的脸部图像进行下采样卷积计算得到第一脸部特征矩阵；
将所述第一脸部特征矩阵作为所述残差卷积层的输入，所述残差卷积层用于对所述第一脸部特征矩阵进行残差卷积运算转换为具有目标风格特征的第二脸部特征矩阵；
将所述第二脸部特征矩阵作为所述上采样卷积层的输入，所述上采样卷积层用于对所述第二脸部特征矩阵进行上采样卷积计算得到目标风格脸部图像。
10.根据权利要求9所述的方法，其特征在于，所述上采样卷积层为亚像素卷积层；
所述亚像素卷积层用于将低分辨率的图像转换为高分辨率的图像。
11.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述目标风格脸部图像作为已训练的图像超分辨率处理模型的输入，获取输出的处理后的高分辨率的目标风格脸部图像，所述图像超分辨率处理模型是采用卷积神经网络算法训练得到的。
12.根据权利要求1所述的方法，其特征在于，所述获取当前待处理图像，所述当前待处理图像包括脸部，包括：
获取目标视频；
获取所述目标视频中包含有脸部的目标视频帧，将所述包含有脸部的目标视频帧作为所述当前待处理图像。
13.一种图像转换装置，所述装置包括：
获取模块，用于获取当前待处理图像，所述当前待处理图像包括脸部；
输入模块，用于将所述当前待处理图像输入已训练的目标脸部图像转换模型，所述已训练的目标脸部图像转换模型用于将输入图像中的脸部由第一风格转换为第二风格，所述已训练的目标脸部图像转换模型是通过原始脸部图像转换模型与判别网络模型进行训练得到的；
输出模块，用于获取所述目标脸部图像转换模型输出的目标风格脸部图像。
14.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。
15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。
CN201810354082.8A 2018-04-19 2018-04-19 图像转换方法、装置、计算机设备及存储介质 Active CN108564127B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810354082.8A CN108564127B (zh) 2018-04-19 2018-04-19 图像转换方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810354082.8A CN108564127B (zh) 2018-04-19 2018-04-19 图像转换方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN108564127A true CN108564127A (zh) 2018-09-21
CN108564127B CN108564127B (zh) 2022-02-18

Family

ID=63535876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810354082.8A Active CN108564127B (zh) 2018-04-19 2018-04-19 图像转换方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN108564127B (zh)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146825A (zh) * 2018-10-12 2019-01-04 深圳美图创新科技有限公司 摄影风格转换方法、装置及可读存储介质
CN109472270A (zh) * 2018-10-31 2019-03-15 京东方科技集团股份有限公司 图像风格转换方法、装置及设备
CN109474851A (zh) * 2018-10-30 2019-03-15 百度在线网络技术（北京）有限公司 视频转换方法、装置及设备
CN109741244A (zh) * 2018-12-27 2019-05-10 广州小狗机器人技术有限公司 图片生成方法及装置、存储介质及电子设备
CN109833025A (zh) * 2019-03-29 2019-06-04 广州视源电子科技股份有限公司 一种视网膜的异常检测方法、装置、设备和存储介质
CN110097086A (zh) * 2019-04-03 2019-08-06 平安科技（深圳）有限公司 图像生成模型训练方法、图像生成方法、装置、设备及存储介质
CN110148081A (zh) * 2019-03-25 2019-08-20 腾讯科技（深圳）有限公司 图像处理模型的训练方法、图像处理方法、装置及存储介质
CN110223230A (zh) * 2019-05-30 2019-09-10 华南理工大学 一种多前端深度图像超分辨率***及其数据处理方法
CN110232401A (zh) * 2019-05-05 2019-09-13 平安科技（深圳）有限公司 基于图片转换的病灶判断方法、装置、计算机设备
CN110232722A (zh) * 2019-06-13 2019-09-13 腾讯科技（深圳）有限公司 一种图像处理方法及装置
CN110276399A (zh) * 2019-06-24 2019-09-24 厦门美图之家科技有限公司 图像转换网络训练方法、装置、计算机设备及存储介质
CN110298326A (zh) * 2019-07-03 2019-10-01 北京字节跳动网络技术有限公司 一种图像处理方法及装置、存储介质与终端
CN110399924A (zh) * 2019-07-26 2019-11-01 北京小米移动软件有限公司 一种图像处理方法、装置及介质
CN110516707A (zh) * 2019-07-19 2019-11-29 深圳力维智联技术有限公司 一种图像标注方法及其装置、存储介质
CN110619315A (zh) * 2019-09-24 2019-12-27 重庆紫光华山智安科技有限公司 人脸识别模型的训练方法、装置及电子设备
CN110705625A (zh) * 2019-09-26 2020-01-17 北京奇艺世纪科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN110910332A (zh) * 2019-12-03 2020-03-24 苏州科技大学 一种视觉slam***动态模糊处理算法
CN111064905A (zh) * 2018-10-17 2020-04-24 上海交通大学 面向自动驾驶的视频场景转换方法
CN111161132A (zh) * 2019-11-15 2020-05-15 上海联影智能医疗科技有限公司 用于图像风格转换的***和方法
CN111179172A (zh) * 2019-12-24 2020-05-19 浙江大学 基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电子设备及存储介质
CN111210382A (zh) * 2020-01-03 2020-05-29 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
WO2020108336A1 (zh) * 2018-11-30 2020-06-04 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN111260545A (zh) * 2020-01-20 2020-06-09 北京百度网讯科技有限公司 生成图像的方法和装置
CN111275784A (zh) * 2020-01-20 2020-06-12 北京百度网讯科技有限公司 生成图像的方法和装置
CN111402399A (zh) * 2020-03-10 2020-07-10 广州虎牙科技有限公司 人脸驱动和直播方法、装置、电子设备及存储介质
CN111489287A (zh) * 2020-04-10 2020-08-04 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备和存储介质
CN111489284A (zh) * 2019-01-29 2020-08-04 北京搜狗科技发展有限公司 一种图像处理方法、装置和用于图像处理的装置
CN111669647A (zh) * 2020-06-12 2020-09-15 北京百度网讯科技有限公司 实时视频的处理方法、装置、设备及存储介质
CN111696181A (zh) * 2020-05-06 2020-09-22 广东康云科技有限公司 超次元模型和虚拟仿真人的生成方法、装置和存储介质
WO2020187153A1 (zh) * 2019-03-21 2020-09-24 腾讯科技（深圳）有限公司 目标检测方法、模型训练方法、装置、设备及存储介质
CN111985281A (zh) * 2019-05-24 2020-11-24 内蒙古工业大学 图像生成模型的生成方法、装置及图像生成方法、装置
CN112396693A (zh) * 2020-11-25 2021-02-23 上海商汤智能科技有限公司 一种面部信息的处理方法、装置、电子设备及存储介质
CN112465936A (zh) * 2020-12-04 2021-03-09 深圳市优必选科技股份有限公司 人像卡通化方法、装置、机器人及存储介质
CN112465007A (zh) * 2020-11-24 2021-03-09 深圳市优必选科技股份有限公司 目标识别模型的训练方法、目标识别方法及终端设备
CN113034449A (zh) * 2021-03-11 2021-06-25 深圳市优必选科技股份有限公司 目标检测模型训练方法、装置及通信设备
CN113111791A (zh) * 2021-04-16 2021-07-13 深圳市格灵人工智能与机器人研究院有限公司 图像滤镜转换网络训练方法、计算机可读存储介质
CN113259583A (zh) * 2020-02-13 2021-08-13 北京小米移动软件有限公司 一种图像处理方法、装置、终端及存储介质
CN113436062A (zh) * 2021-07-28 2021-09-24 北京达佳互联信息技术有限公司 图像风格迁移方法、装置、电子设备及存储介质
CN113486688A (zh) * 2020-05-27 2021-10-08 海信集团有限公司 一种人脸识别方法及智能设备
CN114025198A (zh) * 2021-11-08 2022-02-08 深圳万兴软件有限公司 基于注意力机制的视频卡通化方法、装置、设备及介质
CN114282566A (zh) * 2020-12-18 2022-04-05 深圳阜时科技有限公司 指纹的污渍去除模型构建方法和指纹识别传感器
CN116912345A (zh) * 2023-07-12 2023-10-20 天翼爱音乐文化科技有限公司 一种人像动漫化处理方法、装置、设备和存储介质
CN113436062B (zh) * 2021-07-28 2024-06-21 北京达佳互联信息技术有限公司 图像风格迁移方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1971615A (zh) * 2006-11-10 2007-05-30 中国科学院计算技术研究所 一种基于人脸照片的卡通肖像生成方法
CN101272457A (zh) * 2007-03-19 2008-09-24 索尼株式会社 图像处理装置和图像处理方法
WO2014097892A1 (ja) * 2012-12-19 2014-06-26 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
EP2993619A1 (en) * 2014-08-28 2016-03-09 Kevin Alan Tussy Facial recognition authentication system including path parameters
CN107577985A (zh) * 2017-07-18 2018-01-12 南京邮电大学 基于循环生成对抗网络的人脸头像卡通化的实现方法
CN107730474A (zh) * 2017-11-09 2018-02-23 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1971615A (zh) * 2006-11-10 2007-05-30 中国科学院计算技术研究所 一种基于人脸照片的卡通肖像生成方法
CN101272457A (zh) * 2007-03-19 2008-09-24 索尼株式会社 图像处理装置和图像处理方法
WO2014097892A1 (ja) * 2012-12-19 2014-06-26 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
EP2993619A1 (en) * 2014-08-28 2016-03-09 Kevin Alan Tussy Facial recognition authentication system including path parameters
CN107577985A (zh) * 2017-07-18 2018-01-12 南京邮电大学 基于循环生成对抗网络的人脸头像卡通化的实现方法
CN107730474A (zh) * 2017-11-09 2018-02-23 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王坤峰等: "平行图像: 图像生成的一个新型理论框架", 《模式识别与人工智能》 *

Cited By (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146825A (zh) * 2018-10-12 2019-01-04 深圳美图创新科技有限公司 摄影风格转换方法、装置及可读存储介质
CN111064905B (zh) * 2018-10-17 2021-05-11 上海交通大学 面向自动驾驶的视频场景转换方法
CN111064905A (zh) * 2018-10-17 2020-04-24 上海交通大学 面向自动驾驶的视频场景转换方法
CN109474851A (zh) * 2018-10-30 2019-03-15 百度在线网络技术（北京）有限公司 视频转换方法、装置及设备
CN109472270A (zh) * 2018-10-31 2019-03-15 京东方科技集团股份有限公司 图像风格转换方法、装置及设备
US10970830B2 (en) 2018-10-31 2021-04-06 Boe Technology Group Co., Ltd. Image style conversion method, apparatus and device
CN109472270B (zh) * 2018-10-31 2021-09-24 京东方科技集团股份有限公司 图像风格转换方法、装置及设备
WO2020108336A1 (zh) * 2018-11-30 2020-06-04 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
US11798145B2 (en) 2018-11-30 2023-10-24 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, device, and storage medium
CN109741244A (zh) * 2018-12-27 2019-05-10 广州小狗机器人技术有限公司 图片生成方法及装置、存储介质及电子设备
CN111489284B (zh) * 2019-01-29 2024-02-06 北京搜狗科技发展有限公司 一种图像处理方法、装置和用于图像处理的装置
CN111489284A (zh) * 2019-01-29 2020-08-04 北京搜狗科技发展有限公司 一种图像处理方法、装置和用于图像处理的装置
US11763541B2 (en) 2019-03-21 2023-09-19 Tencent Technology (Shenzhen) Company Limited Target detection method and apparatus, model training method and apparatus, device, and storage medium
US11978239B2 (en) 2019-03-21 2024-05-07 Tencent Technology (Shenzhen) Company Limited Target detection method and apparatus, model training method and apparatus, device, and storage medium
WO2020187153A1 (zh) * 2019-03-21 2020-09-24 腾讯科技（深圳）有限公司 目标检测方法、模型训练方法、装置、设备及存储介质
US20210264655A1 (en) * 2019-03-25 2021-08-26 Tencent Technology (Shenzhen) Company Limited Training method and apparatus for image processing model, image processing method and apparatus for image processing model, and storage medium
US11935166B2 (en) * 2019-03-25 2024-03-19 Tencent Technology (Shenzhen) Company Limited Training method and apparatus for image processing model, image processing method and apparatus for image processing model, and storage medium
CN110148081B (zh) * 2019-03-25 2024-02-23 腾讯科技（深圳）有限公司 图像处理模型的训练方法、图像处理方法、装置及存储介质
CN110148081A (zh) * 2019-03-25 2019-08-20 腾讯科技（深圳）有限公司 图像处理模型的训练方法、图像处理方法、装置及存储介质
CN109833025A (zh) * 2019-03-29 2019-06-04 广州视源电子科技股份有限公司 一种视网膜的异常检测方法、装置、设备和存储介质
CN110097086B (zh) * 2019-04-03 2023-07-18 平安科技（深圳）有限公司 图像生成模型训练方法、图像生成方法、装置、设备及存储介质
CN110097086A (zh) * 2019-04-03 2019-08-06 平安科技（深圳）有限公司 图像生成模型训练方法、图像生成方法、装置、设备及存储介质
WO2020199478A1 (zh) * 2019-04-03 2020-10-08 平安科技（深圳）有限公司 图像生成模型训练方法、图像生成方法、装置、设备及存储介质
CN110232401B (zh) * 2019-05-05 2023-08-04 平安科技（深圳）有限公司 基于图片转换的病灶判断方法、装置、计算机设备
CN110232401A (zh) * 2019-05-05 2019-09-13 平安科技（深圳）有限公司 基于图片转换的病灶判断方法、装置、计算机设备
CN111985281B (zh) * 2019-05-24 2022-12-09 内蒙古工业大学 图像生成模型的生成方法、装置及图像生成方法、装置
CN111985281A (zh) * 2019-05-24 2020-11-24 内蒙古工业大学 图像生成模型的生成方法、装置及图像生成方法、装置
CN110223230A (zh) * 2019-05-30 2019-09-10 华南理工大学 一种多前端深度图像超分辨率***及其数据处理方法
CN110232722B (zh) * 2019-06-13 2023-08-04 腾讯科技（深圳）有限公司 一种图像处理方法及装置
CN110232722A (zh) * 2019-06-13 2019-09-13 腾讯科技（深圳）有限公司 一种图像处理方法及装置
CN110276399A (zh) * 2019-06-24 2019-09-24 厦门美图之家科技有限公司 图像转换网络训练方法、装置、计算机设备及存储介质
CN110276399B (zh) * 2019-06-24 2021-06-04 厦门美图之家科技有限公司 图像转换网络训练方法、装置、计算机设备及存储介质
CN110298326A (zh) * 2019-07-03 2019-10-01 北京字节跳动网络技术有限公司 一种图像处理方法及装置、存储介质与终端
CN110516707A (zh) * 2019-07-19 2019-11-29 深圳力维智联技术有限公司 一种图像标注方法及其装置、存储介质
CN110399924A (zh) * 2019-07-26 2019-11-01 北京小米移动软件有限公司 一种图像处理方法、装置及介质
US11120604B2 (en) 2019-07-26 2021-09-14 Beijing Xiaomi Mobile Software Co., Ltd. Image processing method, apparatus, and storage medium
CN110399924B (zh) * 2019-07-26 2021-09-07 北京小米移动软件有限公司 一种图像处理方法、装置及介质
CN110619315B (zh) * 2019-09-24 2020-10-30 重庆紫光华山智安科技有限公司 人脸识别模型的训练方法、装置及电子设备
CN110619315A (zh) * 2019-09-24 2019-12-27 重庆紫光华山智安科技有限公司 人脸识别模型的训练方法、装置及电子设备
CN110705625A (zh) * 2019-09-26 2020-01-17 北京奇艺世纪科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN111161132A (zh) * 2019-11-15 2020-05-15 上海联影智能医疗科技有限公司 用于图像风格转换的***和方法
CN111161132B (zh) * 2019-11-15 2024-03-05 上海联影智能医疗科技有限公司 用于图像风格转换的***和方法
CN110910332A (zh) * 2019-12-03 2020-03-24 苏州科技大学 一种视觉slam***动态模糊处理算法
CN110910332B (zh) * 2019-12-03 2023-09-26 苏州科技大学 一种视觉slam***动态模糊处理方法
CN111179172B (zh) * 2019-12-24 2021-11-02 浙江大学 基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电子设备及存储介质
CN111179172A (zh) * 2019-12-24 2020-05-19 浙江大学 基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电子设备及存储介质
CN111210382A (zh) * 2020-01-03 2020-05-29 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN111210382B (zh) * 2020-01-03 2022-09-30 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN111275784A (zh) * 2020-01-20 2020-06-12 北京百度网讯科技有限公司 生成图像的方法和装置
CN111260545A (zh) * 2020-01-20 2020-06-09 北京百度网讯科技有限公司 生成图像的方法和装置
CN113259583A (zh) * 2020-02-13 2021-08-13 北京小米移动软件有限公司 一种图像处理方法、装置、终端及存储介质
CN113259583B (zh) * 2020-02-13 2023-05-12 北京小米移动软件有限公司 一种图像处理方法、装置、终端及存储介质
CN111402399A (zh) * 2020-03-10 2020-07-10 广州虎牙科技有限公司 人脸驱动和直播方法、装置、电子设备及存储介质
CN111402399B (zh) * 2020-03-10 2024-03-05 广州虎牙科技有限公司 人脸驱动和直播方法、装置、电子设备及存储介质
CN111489287B (zh) * 2020-04-10 2024-02-09 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备和存储介质
CN111489287A (zh) * 2020-04-10 2020-08-04 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备和存储介质
CN111696181A (zh) * 2020-05-06 2020-09-22 广东康云科技有限公司 超次元模型和虚拟仿真人的生成方法、装置和存储介质
CN113486688A (zh) * 2020-05-27 2021-10-08 海信集团有限公司 一种人脸识别方法及智能设备
CN111669647A (zh) * 2020-06-12 2020-09-15 北京百度网讯科技有限公司 实时视频的处理方法、装置、设备及存储介质
CN112465007A (zh) * 2020-11-24 2021-03-09 深圳市优必选科技股份有限公司 目标识别模型的训练方法、目标识别方法及终端设备
CN112465007B (zh) * 2020-11-24 2023-10-13 深圳市优必选科技股份有限公司 目标识别模型的训练方法、目标识别方法及终端设备
CN112396693A (zh) * 2020-11-25 2021-02-23 上海商汤智能科技有限公司 一种面部信息的处理方法、装置、电子设备及存储介质
CN112465936A (zh) * 2020-12-04 2021-03-09 深圳市优必选科技股份有限公司 人像卡通化方法、装置、机器人及存储介质
CN114282566A (zh) * 2020-12-18 2022-04-05 深圳阜时科技有限公司 指纹的污渍去除模型构建方法和指纹识别传感器
CN113034449B (zh) * 2021-03-11 2023-12-15 深圳市优必选科技股份有限公司 目标检测模型训练方法、装置及通信设备
CN113034449A (zh) * 2021-03-11 2021-06-25 深圳市优必选科技股份有限公司 目标检测模型训练方法、装置及通信设备
CN113111791A (zh) * 2021-04-16 2021-07-13 深圳市格灵人工智能与机器人研究院有限公司 图像滤镜转换网络训练方法、计算机可读存储介质
CN113111791B (zh) * 2021-04-16 2024-04-09 深圳市格灵人工智能与机器人研究院有限公司 图像滤镜转换网络训练方法、计算机可读存储介质
CN113436062A (zh) * 2021-07-28 2021-09-24 北京达佳互联信息技术有限公司 图像风格迁移方法、装置、电子设备及存储介质
CN113436062B (zh) * 2021-07-28 2024-06-21 北京达佳互联信息技术有限公司 图像风格迁移方法、装置、电子设备及存储介质
CN114025198A (zh) * 2021-11-08 2022-02-08 深圳万兴软件有限公司 基于注意力机制的视频卡通化方法、装置、设备及介质
CN116912345A (zh) * 2023-07-12 2023-10-20 天翼爱音乐文化科技有限公司 一种人像动漫化处理方法、装置、设备和存储介质
CN116912345B (zh) * 2023-07-12 2024-04-26 天翼爱音乐文化科技有限公司 一种人像动漫化处理方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN108564127B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN108564127A (zh) 图像转换方法、装置、计算机设备及存储介质
CN111767979B (zh) 神经网络的训练方法、图像处理方法、图像处理装置
CN109978756B (zh) 目标检测方法、***、装置、存储介质和计算机设备
CN112446270B (zh) 行人再识别网络的训练方法、行人再识别方法和装置
CN111950453B (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN109583340B (zh) 一种基于深度学习的视频目标检测方法
CN110276745B (zh) 一种基于生成对抗网络的病理图像检测算法
CN111696110B (zh) 场景分割方法及***
CN110838108A (zh) 基于医疗图像的预测模型构建方法、预测方法及装置
CN111914997B (zh) 训练神经网络的方法、图像处理方法及装置
CN112686898B (zh) 一种基于自监督学习的放疗靶区自动分割方法
Feng et al. SSN: A stair-shape network for real-time polyp segmentation in colonoscopy images
CN114463605B (zh) 基于深度学习的持续学习图像分类方法及装置
CN113205449A (zh) 表情迁移模型的训练方法及装置、表情迁移方法及装置
CN109961397B (zh) 图像重建方法及设备
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN114998601A (zh) 基于Transformer的在线更新目标跟踪方法及***
CN114821736A (zh) 基于对比学习的多模态人脸识别方法、装置、设备及介质
CN113962905A (zh) 基于多阶段特征互补网络的单幅图像去雨方法
CN111681168B (zh) 一种基于并行残差网络的低分辨率细胞超分辨率重建方法
CN117726513A (zh) 一种基于彩色图像引导的深度图超分辨率重建方法及***
CN114240844B (zh) 一种医学图像中无监督的关键点定位和目标检测方法
CN116363561A (zh) 一种时序动作定位方法、装置、设备及存储介质
CN116342624A (zh) 一种结合特征融合与注意力机制的脑肿瘤图像分割方法
CN113222100A (zh) 神经网络模型的训练方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant