CN110298898A - 更改汽车图像车身颜色的方法及其算法结构 - Google Patents

更改汽车图像车身颜色的方法及其算法结构 Download PDF

Info

Publication number
CN110298898A
CN110298898A CN201910465289.7A CN201910465289A CN110298898A CN 110298898 A CN110298898 A CN 110298898A CN 201910465289 A CN201910465289 A CN 201910465289A CN 110298898 A CN110298898 A CN 110298898A
Authority
CN
China
Prior art keywords
image
regional area
pixel
production
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910465289.7A
Other languages
English (en)
Other versions
CN110298898B (zh
Inventor
朱曼瑜
刘霄
文石磊
孙昊
张赫男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910465289.7A priority Critical patent/CN110298898B/zh
Publication of CN110298898A publication Critical patent/CN110298898A/zh
Application granted granted Critical
Publication of CN110298898B publication Critical patent/CN110298898B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种更改图像局部区域的方法，属于图片处理技术领域。所述方法包括：获取第一图像和像素向量，确定所述第一图像内的局部区域；利用所述像素向量在所述局部区域内映射生成具有与所述像素向量对应的像素特征的局部区域。本发明能生成真实车身颜色的汽车图片，增加了广告物料的多样性，提高模型改色的准确性，本发明还具备车身分割的能力，并使得模型在变色过程中，增加改色的均匀度。

Description

更改汽车图像车身颜色的方法及其算法结构
技术领域
本发明涉及图像处理技术领域，具体地涉及一种更改图像局部区域的方法、一种用于更改图像局部区域的算法结构、一种用于更改图像局部区域算法的训练方法、一种用于更改图像局部区域的设备和一种计算机可读存储介质。
背景技术
随着互联网的高速发展，互联网广告成为了当今最重要的广告形式之一，由于其快速、高效、效果理想的特点，互联网广告倍受各中小型企业客户的青睐。为了提高广告的点击率，互联网广告的样式也层出不穷，具体包括文字、图片、视频等多样形式，广告内容的丰富性、广告样式的多样性对于提高广告的点击率具有重要的意义。由于广告主的精力有限，投放广告时使用的物料有限，所以需要使用技术的手段帮助广告主提高广告物料的多样性。
对于增加广告物料、减少广告主工作量、提高广告投放的多样性需求越来越强烈。目前市场上还没有相关的算法出现。生成式对抗网络是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块：生成式模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。传统的生成式对抗网络(GAN,Generative Adversarial Networks)模型生成的汽车改色图片，可用率低、颜色不均匀及效果不理想。本发明针对汽车行业这一垂类的广告图片，提出了用于更改汽车车身颜色的方法及算法结构。
发明内容
本发明实施例的目的是提供更改汽车图像车身颜色的方法及其算法结构。
为了实现上述目的，本发明实施例提供一种更改图像局部区域的方法，该方法包括：
S1)获取第一图像和像素向量，确定所述第一图像内的局部区域；
S2)利用所述像素向量在所述局部区域内映射生成具有与所述像素向量对应的像素特征的局部区域。
具体的，步骤S1)中确定所述第一图像内的局部区域，包括：
S101)确定所述第一图像内的对象；
S102)对所述第一图像进行关于所述对象和所述第一图像的背景的边缘检测和图像分割，获得具有边界特征的图像；
S103)根据所述对象所在所述第一图像内的区域的相对位置，确定在所述具有边界特征的图像中与所述相对位置对应的局部区域。
具体的，步骤S1)中确定所述第一图像内的局部区域，包括：
将所述第一图像输入至具有边缘检测和图像分割功能的解码器的生成式对抗网络，通过所述生成式对抗网络确定所述第一图像内的局部区域。
具体的，步骤S2)包括：
S201)利用所述像素向量结合所述生成式对抗网络的解码器的神经元在所述局部区域内生成具有与所述像素向量对应的像素特征的局部区域，并形成具有所述第一图像的背景和具有所述像素特征的局部区域的第二图像；
S202)通过所述生成式对抗网络的分类器对所述第二图像的局部区域进行分类，获得分类结果并根据所述分类结果获得与所述第二图像的局部区域对应的像素向量；
S203)计算与所述第二图像的局部区域对应的像素向量和步骤S1)的像素向量的像素向量交叉熵，利用所述第一图像和所述第二图像结合所述生成式对抗网络的判别器获得对抗损失，并将所述像素向量交叉熵更新为所述生成式对抗网络的分类器的当前的像素向量交叉熵、将所述对抗损失更新为所述生成式对抗网络的判别器的当前的对抗损失。
具体的，还包括：
S3)采集参与步骤S2)映射生成过程的所述解码器的神经元的输出数据，并根据所述输出数据结合预测模型获得所述具有像素特征的局部区域的蒙版区，计算所述蒙版区和所述第一图像内的局部区域的标注蒙版区的局部区域交叉熵，并将所述局部区域交叉熵更新为所述预测模型当前的局部区域交叉熵。
具体的，能够与上述方法并行进行且也能够接上述方法继续进行，还包括：
S3)形成具有所述第一图像的背景和所述具有像素特征的局部区域的第二图像，并获取与所述第一图像的局部区域对应的原像素向量；
S4)利用所述原像素向量在所述具有像素特征的局部区域内再映射生成具有与所述原像素向量对应的像素特征的局部区域，并形成具有所述第二图像的背景和具有与所述原像素向量对应的像素特征的局部区域的第三图像；
S5)计算所述第一图像和所述第三图像的循环一致性损失，并将所述循环一致性损失更新为步骤S1)或步骤S4)映射生成过程的当前的循环一致性损失。
具体的，能够与上述方法并行进行且也能够接上述方法继续进行，还包括：
S3)获取与所述第一图像的局部区域对应的原像素向量，利用所述原像素向量在所述局部区域内再映射生成具有与所述原像素向量对应的像素特征的局部区域，并形成具有与所述原像素向量对应的像素特征的局部区域的且具有所述第一图像的背景的第四图像；
S4)计算所述第一图像和所述第四图像的重建损失，并将所述重建损失更新为步骤S1)或步骤S3)映射生成过程的当前的重建损失。
具体的，步骤S2)包括：
利用所述像素向量在所述局部区域内通过生成式对抗网络生成具有与所述像素向量对应的像素特征的局部区域。
具体的，能够与上述方法并行进行且也能够接上述方法继续进行，还包括：
S3)获取处于所述第一图像相邻帧域内的第五图像，将所述第一图像更新为所述第五图像，跳转至步骤S1)。
本发明实施例提供一种用于更改图像局部区域的算法结构，该算法结构包括：
生成式对抗网络，用于将输入的第一图像和输入的像素向量在所述第一图像的局部区域内映射生成具有与所述像素向量对应的像素特征的局部区域。
可选的，所述生成式对抗网络的生成式模型包括：编码器、隐层空间向量和解码器；
所述编码器的输入层用于接收所述第一图像的数据；
所述隐层空间向量用于将所述编码器的输出层输出的数据传递至所述解码器的输入层；
所述解码器的隐层用于接收所述解码器的输入层输出的数据且采集并融合所述编码器的隐层的数据；
其中，所述解码器的隐层还用于接收所述像素向量并输出具有与所述像素向量对应的像素特征的局部区域；
所述解码器的输出层用于输出具有与所述像素向量对应的像素特征的局部区域的且具有所述第一图像的背景的第二图像的数据。
可选的，所述编码器中神经元相对数据传递方向呈维度下降；
所述解码器中神经元相对所述数据传递方向呈维度上升；
所述编码器和所述解码器的隐层层数相等，令层数为N、层序按所述数据传递方向排序且N为正整数；
所述解码器的隐层中第i层的神经元用于采集并融合所述编码器的隐层中第(N-i+1)层的神经元的数据且同步接收所述像素向量，i为正整数且i小于等于N。
可选的，所述编码器包括至少一层卷积层和至少两层空洞卷积层；
所述解码器包括至少两层空洞卷积层和至少一层反卷积层。
可选的，所述生成式对抗网络具有生成式模型，所述生成式模型包括编码器和解码器；
所述编码器包括至少一层卷积层和至少两层空洞卷积层；
所述解码器包括至少两层空洞卷积层和至少一层反卷积层。
可选的，所述生成式对抗网络的生成式模型具有边缘检测和图像分割功能的解码器；
所述解码器用于确定所述第一图像内的局部区域。
可选的，所述解码器包括：输入层、隐层、预测模型和输出层；
所述预测模型用于接收所述解码器的隐层输出的数据且还用于根据所述解码器的隐层输出的数据获得所述具有像素特征的局部区域的蒙版区；
所述预测模型还用于计算所述蒙版区和所述第一图像内的局部区域的标注蒙版区的局部区域交叉熵并将所述局部区域交叉熵更新为当前的局部区域交叉熵。
可选的，所述生成式对抗网络的生成式模型用于形成具有所述第一图像的背景和具有所述像素特征的局部区域的第二图像；
所述生成式对抗网络的判别模型包括：判别特征提取卷积层、分类器和判别器，所述判别特征提取卷积层接收所述第二图像的数据、所述分类器接收所述判别特征提取卷积层输出的数据且所述判别器同步接收所述判别特征提取卷积层输出的数据；
所述分类器用于对所述第二图像的局部区域进行分类并获得分类结果；
所述判别器用于对所述第一图像和所述第二图像进行判别并获得判别结果；
所述生成式对抗网络还用于根据所述分类结果获得与所述第二图像的局部区域对应的像素向量；
所述生成式对抗网络还用于计算与所述第二图像的局部区域对应的像素向量和输入的像素向量的像素向量交叉熵；
所述生成式对抗网络还用于根据所述判别结果获得对抗损失；
所述生成式对抗网络还用于将所述像素向量交叉熵更新为所述分类器的当前的像素向量交叉熵、将所述对抗损失更新为所述判别器的当前的对抗损失。
可选的，所述生成式对抗网络还用于形成具有所述第一图像的背景和具有所述像素特征的局部区域的第二图像；
所述生成式对抗网络还用于接收与所述第一图像的局部区域对应的原像素向量；
所述生成式对抗网络还用于通过将所述第二图像和所述原像素向量作为当前新的输入获得具有所述第二图像的背景和具有与所述原像素向量对应的像素特征的局部区域的第三图像；
所述生成式对抗网络还用于计算所述第一图像和所述第三图像的循环一致性损失、并将所述循环一致性损失更新为当前的循环一致性损失；
所述生成式对抗网络还用于通过将所述第一图像和所述原像素向量作为当前的输入获得具有与所述原像素向量对应的像素特征的局部区域的且具有所述第一图像的背景的第四图像；
所述生成式对抗网络还用于计算所述第一图像和所述第四图像的重建损失、并将所述重建损失更新为当前的重建损失。
本发明实施例提供一种用于更改图像局部区域算法的训练方法，该训练方法包括：
S1)获取标注样本数据集合，其中，所述标注样本数据集合包括具有不同像素特征的对象的不同图像，所述对象所在与所述对象对应的图像的局部区域具有标注蒙版区且还具有与像素特征对应的标注像素向量；
S2)构建生成式对抗网络，所述生成式对抗网络包括生成式模型和判别模型，所述生成式模型具有将历史输出数据更新为当前输入数据并获得部分数据的特征与历史输入数据的特征一致的当前输出的循环功能且所述循环功能用于构建循环一致性损失和重建损失，所述生成式模型还具有边缘检测和图像分割功能的、用于构建局部区域交叉熵的解码器，且所述判别模型具有用于构建对抗损失的判别器和用于构建像素向量交叉熵的分类器；
S3)将所述标注样本数据集合输入至所述生成式对抗网络并开始训练所述生成式对抗网络，在所述循环一致性损失、所述重建损失、所述局部区域交叉熵、所述对抗损失和所述像素向量交叉熵中至少一个满足预设条件时结束训练，或在所述循环一致性损失、所述重建损失、所述局部区域交叉熵、所述对抗损失和所述像素向量交叉熵中任意至少两个满足达到预设阈值的时间顺序且符合预设条件时结束训练，获得预训练的生成式对抗网络。
再一方面，本发明实施例提供一种用于更改图像局部区域的设备，包括：
至少一个处理器；
存储器，与所述至少一个处理器连接；
其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，所述至少一个处理器通过执行所述存储器存储的指令实现前述的方法。
又一方面，本发明实施例提供一种计算机可读存储介质，存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行前述的方法。
对应上述内容，本发明通过像素向量(其像素特征表征颜色信息)在局部区域进行计算，映射生成具有像素特征的局部区域，与现有技术图像处理中使用剪切、覆盖或填充方式不同，并且常用GAN模型无法在局部区域进行映射生成；
本发明提供了确定局部区域的一种实施方式；
本发明生成式对抗网络判别模型，具有分类器，能够显著提高映射生成的局部区域的像素特征的准确性，并与判别器一起实时同步学习，从而本发明具有映射生成像素特征的准确性；
本发明生成式对抗网络生成式模型，具有新的解码器，能够确定局部区域在图像的相对位置，并且会输出具有局部区域边界特征的蒙版区，该蒙版区与具有标注边界特征的蒙版区进行计算，能通过交叉熵实现对确定局部区域位置学习过程的准确度的量化，从而本发明具有确定局部区域位置的准确性；
本发明生成式对抗网络，具有循环一致性损失，能够用于确定局部区域的准确性和映射生成的局部区域的像素特征的准确性的量化，从而本发明能显著地不断提高局部区域位置确定的准确性和映射生成的局部区域的像素特征的准确性；
本发明生成式对抗网络，具有重建损失，能进一步用于确定局部区域的准确性和映射生成的局部区域的像素特征的准确性的量化，从而本发明具有映射生成发生区域的准确性和映射生成的局部区域的像素特征的准确性；
本发明提供了一种映射的实现方式；
本发明能够处理视频图像帧和动态图像帧；
本发明生成式对抗网络生成式模型，构建了新的解码器，该解码器会采集编码器中数据特征且拥有与编码器相同层数的隐层层数，并且在该解码器的输出层还有并行的、用于蒙版区的输出层，该用于蒙版区的输出层可以通过预测模型构建；
本发明构建了新的生成式对抗网络，并通过该生成式对抗网络的结构通过设置循环一致性损失、重建损失、局部区域交叉熵、对抗损失和像素向量交叉熵对网络的能力进行描述，实现训练过程。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1为本发明实施例的更改车身颜色过程示意图；
图2为本发明实施例的第一种生成式模型示意图；
图3为本发明实施例的判别模型示意图；
图4为本发明实施例的第二种生成式模型示意图；
图5为本发明实施例的模型训练过程示意图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
实施例1
本发明实施例提供一种更改图像局部区域的方法，该方法包括：S1)获取第一图像和像素向量，确定所述第一图像内的局部区域；S2)利用所述像素向量在所述局部区域内映射生成具有与所述像素向量对应的像素特征的局部区域；
如图1，可令局部区域为车身位置、第一图像为具有背景BG(图1中含两个虚线四角星的方框)和具有车身颜色a的汽车图像xa(图1中含斜线的区域为前挡风玻璃或车窗玻璃)，像素向量的像素特征为颜色特征(令为颜色b)。
具体的，步骤S1)中确定所述第一图像内的局部区域，包括：
S101)确定所述第一图像内的对象；
S102)对所述第一图像进行关于所述对象和所述第一图像的背景的边缘检测和图像分割，获得具有边界特征的图像；
S103)根据所述对象所在所述第一图像内的区域的相对位置，确定在所述具有边界特征的图像中与所述相对位置对应的局部区域。
具体的，步骤S1)中确定所述第一图像内的局部区域，包括：
将所述第一图像输入至具有边缘检测和图像分割功能的解码器的生成式对抗网络，通过所述生成式对抗网络确定所述第一图像内的局部区域。
具体的，步骤S2)包括：
S201)利用所述像素向量结合所述生成式对抗网络的解码器的神经元在所述局部区域内生成具有与所述像素向量对应的像素特征的局部区域，并形成具有所述第一图像的背景和具有所述像素特征的局部区域的第二图像；
S202)通过所述生成式对抗网络的分类器对所述第二图像的局部区域进行分类，获得分类结果并根据所述分类结果获得与所述第二图像的局部区域对应的像素向量；
S203)计算与所述第二图像的局部区域对应的像素向量和步骤S1)的像素向量的像素向量交叉熵，利用所述第一图像和所述第二图像结合所述生成式对抗网络的判别器获得对抗损失，并将所述像素向量交叉熵更新为所述生成式对抗网络的分类器的当前的像素向量交叉熵、将所述对抗损失更新为所述生成式对抗网络的判别器的当前的对抗损失；
如图5，第一图像经过生成式网络编码器Genc后变成一个隐层空间向量Z，隐层空间向量Z和颜色b一起输入到生成式网络解码器Gdec后得到具备颜色b的汽车图像，第二图像为具有第一图像背景和具有车身颜色b的汽车图像汽车图像xa和汽车图像通过判别模型计算出当前对抗损失，同时，汽车图像xa和汽车图像还通过分类器C进行颜色分类，能获得像素向量(颜色)交叉熵(图5中)。
具体的，还包括：
S3)采集参与步骤S2)映射生成过程的所述解码器的神经元的输出数据，并根据所述输出数据结合预测模型获得所述具有像素特征的局部区域的蒙版区，计算所述蒙版区和所述第一图像内的局部区域的标注蒙版区的局部区域交叉熵，并将所述局部区域交叉熵更新为所述预测模型当前的局部区域交叉熵。
为了进一步增加生成式网络定位车身位置的能力，进一步促进模型的收敛性，进一步增加改色的均匀度，生成式模型生成汽车图像后，增加预测模型，预测模型可通过对解码器进行构建，隐层输出位置增加两层网络(可以依次为反卷积层和卷积层)，最后将预测结果(蒙版区)和人工标注的汽车车身结果(标注蒙版区)计算车身位置交叉熵(局部区域交叉熵)，本发明具备了汽车车声和背景的分割能力，能更好的定位汽车车身位置，能更好的找到需要修改颜色的位置。
具体的，能够与上述方法并行进行且也能够接上述方法继续进行，还包括：
S3)形成具有所述第一图像的背景和所述具有像素特征的局部区域的第二图像，并获取与所述第一图像的局部区域对应的原像素向量；
S4)利用所述原像素向量在所述具有像素特征的局部区域内再映射生成具有与所述原像素向量对应的像素特征的局部区域，并形成具有所述第二图像的背景和具有与所述原像素向量对应的像素特征的局部区域的第三图像；
S5)计算所述第一图像和所述第三图像的循环一致性损失，并将所述循环一致性损失更新为步骤S1)或步骤S4)映射生成过程的当前的循环一致性损失；
本发明预训练后的生成式对抗网络还具有循环，汽车图像和颜色a还会通过本发明的生成式模型再次生成具备颜色a的汽车图像(第三图像)，然后可以使用L1正则式(L1正则式将两个图片按像素位置相减并取绝对值)计算汽车图像和汽车图像xa的循环一致性损失，该实施方式能更好的保证汽车图片在修改车身颜色的同时，背景区域的不变性，改色更准确。
具体的，能够与上述方法并行进行且也能够接上述方法继续进行，还包括：
S3)获取与所述第一图像的局部区域对应的原像素向量，利用所述原像素向量在所述局部区域内再映射生成具有与所述原像素向量对应的像素特征的局部区域，并形成具有与所述原像素向量对应的像素特征的局部区域的且具有所述第一图像的背景的第四图像；
S4)计算所述第一图像和所述第四图像的重建损失，并将所述重建损失更新为步骤S1)或步骤S3)映射生成过程的当前的重建损失；
在本发明预训练后的生成式对抗网络中，隐层空间向量Z还和颜色a一起输入到生成式网络解码器Gdec后得到具备颜色a的汽车图像(第四图像)，生成的汽车图像和汽车图像xa用L1正则式计算重建损失。
具体的，步骤S2)包括：
利用所述像素向量在所述局部区域内通过生成式对抗网络生成具有与所述像素向量对应的像素特征的局部区域。
具体的，能够与上述方法并行进行且也能够接上述方法继续进行，还包括：
S3)获取处于所述第一图像相邻帧域内的第五图像，将所述第一图像更新为所述第五图像，跳转至步骤S1)。
本实施例提出了新的更适合汽车改色场景的生成式模型网络结果和判别模型网络结构，生成了逼真的汽车图片，增加广告物料的多样性；
增加了循环一致性损失提高模型改色的准确性；
引入了像素向量交叉熵、车身分割损失(局部区域交叉熵)和重建损失，具备车身分割的能力，并使得模型在变色过程中，增加改色的均匀度。
实施例2
如图1，一种用于更改图像局部区域的算法结构，该算法结构包括：生成式对抗网络，用于将输入的第一图像和输入的像素向量在所述第一图像的局部区域内映射生成具有与所述像素向量对应的像素特征的局部区域。
可选的，所述生成式对抗网络的生成式模型包括：编码器、隐层空间向量和解码器；所述编码器的输入层用于接收所述第一图像的数据；所述隐层空间向量用于将所述编码器的输出层输出的数据传递至所述解码器的输入层；所述解码器的隐层用于接收所述解码器的输入层输出的数据且采集并融合所述编码器的隐层的数据；其中，所述解码器的隐层还用于接收所述像素向量并输出具有与所述像素向量对应的像素特征的局部区域；所述解码器的输出层用于输出具有与所述像素向量对应的像素特征的局部区域的且具有所述第一图像的背景的第二图像的数据。
可选的，所述编码器中神经元相对数据传递方向呈维度下降；所述解码器中神经元相对所述数据传递方向呈维度上升；所述编码器和所述解码器的隐层层数相等，令层数为N、层序按所述数据传递方向排序且N为正整数；所述解码器的隐层中第i层的神经元用于采集并融合所述编码器的隐层中第(N-i+1)层的神经元的数据且同步接收所述像素向量，i为正整数且i小于等于N。
可选的，所述编码器包括至少一层卷积层和至少两层空洞卷积层；所述解码器包括至少两层空洞卷积层和至少一层反卷积层；
由于汽车车身需要更改颜色的区域面积较大，如果采用传统的卷积网络，会造成车身感受野不够大或者造成改色漏掉车身上一些细小部件(例如反光镜)的情况，进而造成汽车改色不均匀的情况，所以本实施例中所述编码器最后两层卷积网络和所述解码器最初两层卷积网络采用了空洞卷积的网络结构，在增加卷积网络感受野的同时，不降低生成的输出图像的分辨率，使得模型改色效果更均匀；
如图2-图4，Conv为卷积层，k、s和r分别为核尺寸、采集尺寸和采样率，例如，<Conv，k4s2r1>，代表该层为核尺寸为4、采集尺寸为2且采样率为1的卷积层；当本实施例中r为2或4时，该卷积层为空洞卷积，空洞卷积能增大上层输出图像的在当前空洞卷积层的感受野；Deconv为反卷积层，反卷积层也是一种卷积层，但反卷积层输出图像相对该反卷积层输入图像呈像素扩大；
优选的，生成式模型包括：编码器、隐层空间向量Z和解码器，解码器采集编码器的输出图像的数据；
优选的，编码器包括：编码器输入层<Conv，k4s2r1>、编码器隐层(编码器隐层包括：第一编码隐层<Conv，k4s2r1>、第二编码隐层<Conv，k4s2r1>和第三编码隐层<Conv，k3s1r2>)和编码器输出层<Conv，k3s1r4>；
优选的，解码器包括：输入层<Conv，k3s1r4>、隐层(隐层包括：第一解码隐层<Conv，k3s1r2>、第二解码隐层<Deconv，k4s2r1>和第三解码隐层<Deconv，k4s2r1>)和输出层<Deconv，k4s2r1>；
优选的，第一解码隐层<Conv，k3s1r2>采集第三编码隐层<Conv，k3s1r2>的输出图像的数据且同时接收像素向量，第二解码隐层<Deconv，k4s2r1>采集第二编码隐层<Conv，k4s2r1>的输出图像的数据且同时接收像素向量，第三解码隐层<Deconv，k4s2r1>采集第一编码隐层<Conv，k4s2r1>的输出图像的数据且同时接收像素向量；
优选的，解码器的输出层<Deconv，k4s2r1>采集编码器输入层<Conv，k4s2r1>的输出图像的数据且同时接收像素向量，能够进一步提升改色位置的准确性；
优选的，判别模型包括：判别输入层<Conv，k4s2r1>、判别隐层(判别隐层包括：第一判别隐层<Conv，k4s2r1>、第二判别隐层<Conv，k4s2r1>和第三判别隐层<Conv，k3s1r2>)和判别输出层(判别输出层包括：空洞卷积层<Conv，k3s1r4>、接收所述空洞卷积层<Conv，k3s1r4>输出图像的判别器<Fc，gan>、接收所述空洞卷积层<Conv，k3s1r4>输出图像的分类器<Fc，att>)。
可选的，所述生成式对抗网络的生成式模型具有边缘检测和图像分割功能的解码器；所述解码器用于确定所述第一图像内的局部区域。
可选的，所述解码器包括：输入层、隐层、预测模型和输出层；所述预测模型用于接收所述解码器的隐层输出的数据且还用于根据所述解码器的隐层输出的数据获得所述具有像素特征的局部区域的蒙版区(图5中Mask prediction)；所述预测模型还用于计算所述蒙版区和所述第一图像内的局部区域的标注蒙版区的局部区域交叉熵(图5中Crossentropy)并将所述局部区域交叉熵更新为当前的局部区域交叉熵；
优选的，预测模型包括用于接收第三解码隐层<Deconv，k4s2r1>输出图像的数据的反卷积层<Deconv，k4s2r1>和接收反卷积层<Deconv，k4s2r1>输出图像的数据的卷积层<Conv，k1s1r1>，预测模型的卷积层<Conv，k1s1r1>会输出预测的车身的蒙版区(或者为车身掩膜)。
实施例3
如图5，一种用于更改图像局部区域算法的训练方法，该训练方法包括：
S1)获取标注样本数据集合，其中，所述标注样本数据集合包括具有不同像素特征的对象的不同图像，所述对象所在与所述对象对应的图像的局部区域具有标注蒙版区且还具有与像素特征对应的标注像素向量；
S2)构建生成式对抗网络，所述生成式对抗网络包括生成式模型和判别模型，所述生成式模型具有将历史输出数据更新为当前输入数据并获得部分数据的特征与历史输入数据的特征一致的当前输出的循环功能且所述循环功能用于构建循环一致性损失和重建损失，所述生成式模型还具有边缘检测和图像分割功能的、用于构建局部区域交叉熵的解码器，且所述判别模型具有用于构建对抗损失的判别器和用于构建像素向量交叉熵的分类器；
S3)将所述标注样本数据集合输入至所述生成式对抗网络并开始训练所述生成式对抗网络，在所述循环一致性损失、所述重建损失、所述局部区域交叉熵、所述对抗损失和所述像素向量交叉熵中至少一个满足预设条件时结束训练，或在所述循环一致性损失、所述重建损失、所述局部区域交叉熵、所述对抗损失和所述像素向量交叉熵中任意至少两个满足达到预设阈值的时间顺序且符合预设条件时结束训练，获得预训练的生成式对抗网络；
1)训练数据准备阶段
i.收集汽车图片，并标注每个图片汽车的颜色，本实施例中共采用了橙、棕、白、紫、绿、红、香槟、灰、黄、黑、蓝共11中颜色；
ii.标注i中汽车图片的车身的蒙版区；
2)模型训练阶段
模型训练阶段是按照生成式模型、判别式模型交替训练的方式进行的。
i.按照图5的流程，将训练图片、原颜色属性输入到生成式网络中，目标颜色属性随机生成，得到生成的图片；
ii.首先生成式模型参数不变、更新判别式模型参数，其次判别式模型参数不变、更新生成式模型参数。
其中，在训练过程中，总损失为：
为对抗损失，为重建损失，为循环一致性损失，λ、μ为常系数，F为线性函数关系，在训练过程中，例如对循环一致性损失涉及参数进行训练，即：
利用总损失对当前被训练的模型(生成式模型或判别模型)所对应的损失求导数可以获得所述当前被训练的模型参数的当前训练程度，从而可以通过达成预设阈值条件完成当前训练，预设阈值条件可以根据模型使用目的来设置，例如，后期使用过程中图片物料不存在样本之外的其他颜色，则可以取损失最小作为阈值条件，但在其他实施例中，损失最小通常存在与样本过拟合问题。
以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (20)

1.一种更改图像局部区域的方法，其特征在于，该方法包括：
S1)获取第一图像和像素向量，确定所述第一图像内的局部区域；
S2)利用所述像素向量在所述局部区域内映射生成具有与所述像素向量对应的像素特征的局部区域。
2.根据权利要求1所述的更改图像局部区域的方法，其特征在于，步骤S1)中确定所述第一图像内的局部区域，包括：
S101)确定所述第一图像内的对象；
S102)对所述第一图像进行关于所述对象和所述第一图像的背景的边缘检测和图像分割，获得具有边界特征的图像；
S103)根据所述对象所在所述第一图像内的区域的相对位置，确定在所述具有边界特征的图像中与所述相对位置对应的局部区域。
3.根据权利要求1所述的更改图像局部区域的方法，其特征在于，步骤S1)中确定所述第一图像内的局部区域，包括：
将所述第一图像输入至具有边缘检测和图像分割功能的解码器的生成式对抗网络，通过所述生成式对抗网络确定所述第一图像内的局部区域。
4.根据权利要求3所述的更改图像局部区域的方法，其特征在于，步骤S2)包括：
S201)利用所述像素向量结合所述生成式对抗网络的解码器的神经元在所述局部区域内生成具有与所述像素向量对应的像素特征的局部区域，并形成具有所述第一图像的背景和具有所述像素特征的局部区域的第二图像；
S202)通过所述生成式对抗网络的分类器对所述第二图像的局部区域进行分类，获得分类结果并根据所述分类结果获得与所述第二图像的局部区域对应的像素向量；
S203)计算与所述第二图像的局部区域对应的像素向量和步骤S1)的像素向量的像素向量交叉熵，利用所述第一图像和所述第二图像结合所述生成式对抗网络的判别器获得对抗损失，并将所述像素向量交叉熵更新为所述生成式对抗网络的分类器的当前的像素向量交叉熵、将所述对抗损失更新为所述生成式对抗网络的判别器的当前的对抗损失。
5.根据权利要求3所述的更改图像局部区域的方法，其特征在于，还包括：
S3)采集参与步骤S2)映射生成过程的所述解码器的神经元的输出数据，并根据所述输出数据结合预测模型获得所述具有像素特征的局部区域的蒙版区，计算所述蒙版区和所述第一图像内的局部区域的标注蒙版区的局部区域交叉熵，并将所述局部区域交叉熵更新为所述预测模型当前的局部区域交叉熵。
6.根据权利要求1所述的更改图像局部区域的方法，其特征在于，还包括：
S3)形成具有所述第一图像的背景和所述具有像素特征的局部区域的第二图像，并获取与所述第一图像的局部区域对应的原像素向量；
S4)利用所述原像素向量在所述具有像素特征的局部区域内再映射生成具有与所述原像素向量对应的像素特征的局部区域，并形成具有所述第二图像的背景和具有与所述原像素向量对应的像素特征的局部区域的第三图像；
S5)计算所述第一图像和所述第三图像的循环一致性损失，并将所述循环一致性损失更新为步骤S1)或步骤S4)映射生成过程的当前的循环一致性损失。
7.根据权利要求1所述的更改图像局部区域的方法，其特征在于，还包括：
S3)获取与所述第一图像的局部区域对应的原像素向量，利用所述原像素向量在所述局部区域内再映射生成具有与所述原像素向量对应的像素特征的局部区域，并形成具有与所述原像素向量对应的像素特征的局部区域的且具有所述第一图像的背景的第四图像；
S4)计算所述第一图像和所述第四图像的重建损失，并将所述重建损失更新为步骤S1)或步骤S3)映射生成过程的当前的重建损失。
8.根据权利要求1所述的更改图像局部区域的方法，其特征在于，步骤S2)包括：
利用所述像素向量在所述局部区域内通过生成式对抗网络生成具有与所述像素向量对应的像素特征的局部区域。
9.根据权利要求1所述的更改图像局部区域的方法，其特征在于，还包括：
S3)获取处于所述第一图像相邻帧域内的第五图像，将所述第一图像更新为所述第五图像，跳转至步骤S1)。
10.一种用于更改图像局部区域的算法结构，其特征在于，该算法结构包括：
生成式对抗网络，用于将输入的第一图像和输入的像素向量在所述第一图像的局部区域内映射生成具有与所述像素向量对应的像素特征的局部区域。
11.根据权利要求10所述的用于更改图像局部区域的算法结构，其特征在于，
所述生成式对抗网络的生成式模型包括：编码器、隐层空间向量和解码器；
所述编码器的输入层用于接收所述第一图像的数据；
所述隐层空间向量用于将所述编码器的输出层输出的数据传递至所述解码器的输入层；
所述解码器的隐层用于接收所述解码器的输入层输出的数据且采集并融合所述编码器的隐层的数据；
其中，所述解码器的隐层还用于接收所述像素向量并输出具有与所述像素向量对应的像素特征的局部区域；
所述解码器的输出层用于输出具有与所述像素向量对应的像素特征的局部区域的且具有所述第一图像的背景的第二图像的数据。
12.根据权利要求11所述的用于更改图像局部区域的算法结构，其特征在于，
所述编码器中神经元相对数据传递方向呈维度下降；
所述解码器中神经元相对所述数据传递方向呈维度上升；
所述编码器和所述解码器的隐层层数相等，令层数为N、层序按所述数据传递方向排序且N为正整数；
所述解码器的隐层中第i层的神经元用于采集并融合所述编码器的隐层中第(N-i+1)层的神经元的数据且同步接收所述像素向量，i为正整数且i小于等于N。
13.根据权利要求11或12所述的用于更改图像局部区域的算法结构，其特征在于，
所述编码器包括至少一层卷积层和至少两层空洞卷积层；
所述解码器包括至少两层空洞卷积层和至少一层反卷积层。
14.根据权利要求10所述的用于更改图像局部区域的算法结构，其特征在于，
所述生成式对抗网络的生成式模型具有边缘检测和图像分割功能的解码器；
所述解码器用于确定所述第一图像内的局部区域。
15.根据权利要求14所述的用于更改图像局部区域的算法结构，其特征在于，
所述解码器包括：输入层、隐层、预测模型和输出层；
所述预测模型用于接收所述解码器的隐层输出的数据且还用于根据所述解码器的隐层输出的数据获得所述具有像素特征的局部区域的蒙版区；
所述预测模型还用于计算所述蒙版区和所述第一图像内的局部区域的标注蒙版区的局部区域交叉熵并将所述局部区域交叉熵更新为当前的局部区域交叉熵。
16.根据权利要求10所述的用于更改图像局部区域的算法结构，其特征在于，
所述生成式对抗网络的生成式模型用于形成具有所述第一图像的背景和具有所述像素特征的局部区域的第二图像；
所述生成式对抗网络的判别模型包括：判别特征提取卷积层、分类器和判别器，所述判别特征提取卷积层接收所述第二图像的数据、所述分类器接收所述判别特征提取卷积层输出的数据且所述判别器同步接收所述判别特征提取卷积层输出的数据；
所述分类器用于对所述第二图像的局部区域进行分类并获得分类结果；
所述判别器用于对所述第一图像和所述第二图像进行判别并获得判别结果；
所述生成式对抗网络还用于根据所述分类结果获得与所述第二图像的局部区域对应的像素向量；
所述生成式对抗网络还用于计算与所述第二图像的局部区域对应的像素向量和输入的像素向量的像素向量交叉熵；
所述生成式对抗网络还用于根据所述判别结果获得对抗损失；
所述生成式对抗网络还用于将所述像素向量交叉熵更新为所述分类器的当前的像素向量交叉熵、将所述对抗损失更新为所述判别器的当前的对抗损失。
17.根据权利要求10所述的用于更改图像局部区域的算法结构，其特征在于，
所述生成式对抗网络还用于形成具有所述第一图像的背景和具有所述像素特征的局部区域的第二图像；
所述生成式对抗网络还用于接收与所述第一图像的局部区域对应的原像素向量；
所述生成式对抗网络还用于通过将所述第二图像和所述原像素向量作为当前新的输入获得具有所述第二图像的背景和具有与所述原像素向量对应的像素特征的局部区域的第三图像；
所述生成式对抗网络还用于计算所述第一图像和所述第三图像的循环一致性损失、并将所述循环一致性损失更新为当前的循环一致性损失；
所述生成式对抗网络还用于通过将所述第一图像和所述原像素向量作为当前的输入获得具有与所述原像素向量对应的像素特征的局部区域的且具有所述第一图像的背景的第四图像；
所述生成式对抗网络还用于计算所述第一图像和所述第四图像的重建损失、并将所述重建损失更新为当前的重建损失。
18.一种用于更改图像局部区域算法的训练方法，其特征在于，该训练方法包括：
S1)获取标注样本数据集合，其中，所述标注样本数据集合包括具有不同像素特征的对象的不同图像，所述对象所在与所述对象对应的图像的局部区域具有标注蒙版区且还具有与像素特征对应的标注像素向量；
S2)构建生成式对抗网络，所述生成式对抗网络包括生成式模型和判别模型，所述生成式模型具有将历史输出数据更新为当前输入数据并获得部分数据的特征与历史输入数据的特征一致的当前输出的循环功能且所述循环功能用于构建循环一致性损失和重建损失，所述生成式模型还具有边缘检测和图像分割功能的、用于构建局部区域交叉熵的解码器，且所述判别模型具有用于构建对抗损失的判别器和用于构建像素向量交叉熵的分类器；
S3)将所述标注样本数据集合输入至所述生成式对抗网络并开始训练所述生成式对抗网络，在所述循环一致性损失、所述重建损失、所述局部区域交叉熵、所述对抗损失和所述像素向量交叉熵中至少一个满足预设条件时结束训练，或在所述循环一致性损失、所述重建损失、所述局部区域交叉熵、所述对抗损失和所述像素向量交叉熵中任意至少两个满足达到预设阈值的时间顺序且符合预设条件时结束训练，获得预训练的生成式对抗网络。
19.一种用于更改图像局部区域的设备，其特征在于，包括：
至少一个处理器；
存储器，与所述至少一个处理器连接；
其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现权利要求1至9、权利要求18中任意一项权利要求所述的方法。
20.一种计算机可读存储介质，存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行权利要求1至9、权利要求18中任意一项权利要求所述的方法。
CN201910465289.7A 2019-05-30 2019-05-30 更改汽车图像车身颜色的方法及其算法结构 Active CN110298898B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910465289.7A CN110298898B (zh) 2019-05-30 2019-05-30 更改汽车图像车身颜色的方法及其算法结构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910465289.7A CN110298898B (zh) 2019-05-30 2019-05-30 更改汽车图像车身颜色的方法及其算法结构

Publications (2)

Publication Number Publication Date
CN110298898A true CN110298898A (zh) 2019-10-01
CN110298898B CN110298898B (zh) 2023-05-23

Family

ID=68027368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910465289.7A Active CN110298898B (zh) 2019-05-30 2019-05-30 更改汽车图像车身颜色的方法及其算法结构

Country Status (1)

Country Link
CN (1) CN110298898B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110913193A (zh) * 2019-11-25 2020-03-24 深圳市创凯智能股份有限公司 图像处理方法、设备、装置及计算机可读存储介质
CN110956505A (zh) * 2019-12-04 2020-04-03 腾讯科技（深圳）有限公司 一种广告库存的预估方法以及相关装置
CN111429544A (zh) * 2020-03-23 2020-07-17 北京字节跳动网络技术有限公司 车身颜色处理方法、装置及电子设备
CN111462264A (zh) * 2020-03-17 2020-07-28 中国科学院深圳先进技术研究院 医学图像重建方法、医学图像重建网络训练方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254324A (zh) * 2011-07-18 2011-11-23 中兴通讯股份有限公司 局部图像平移方法及带有触摸屏的终端
CN104091320A (zh) * 2014-07-16 2014-10-08 武汉大学 基于数据驱动局部特征转换的噪声人脸超分辨率重建方法
CN104200233A (zh) * 2014-06-24 2014-12-10 南京航空航天大学 一种基于韦伯局部描述符的服装分类识别方法
CN107330956A (zh) * 2017-07-03 2017-11-07 广东工业大学 一种漫画手绘图无监督上色方法及装置
US20170372193A1 (en) * 2016-06-23 2017-12-28 Siemens Healthcare Gmbh Image Correction Using A Deep Generative Machine-Learning Model
CN109635874A (zh) * 2018-12-19 2019-04-16 中国人民解放军军事科学院评估论证研究中心 一种特征字典映射的图像盲评价方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254324A (zh) * 2011-07-18 2011-11-23 中兴通讯股份有限公司 局部图像平移方法及带有触摸屏的终端
CN104200233A (zh) * 2014-06-24 2014-12-10 南京航空航天大学 一种基于韦伯局部描述符的服装分类识别方法
CN104091320A (zh) * 2014-07-16 2014-10-08 武汉大学 基于数据驱动局部特征转换的噪声人脸超分辨率重建方法
US20170372193A1 (en) * 2016-06-23 2017-12-28 Siemens Healthcare Gmbh Image Correction Using A Deep Generative Machine-Learning Model
CN107330956A (zh) * 2017-07-03 2017-11-07 广东工业大学 一种漫画手绘图无监督上色方法及装置
CN109635874A (zh) * 2018-12-19 2019-04-16 中国人民解放军军事科学院评估论证研究中心 一种特征字典映射的图像盲评价方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LEIZHANG等: "Two-stage image denoising by principal component analysis with local pixel grouping", 《PATTERN RECOGNITION》 *
陈文兵等: "基于条件生成式对抗网络的数据增强方法", 《计算机应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110913193A (zh) * 2019-11-25 2020-03-24 深圳市创凯智能股份有限公司 图像处理方法、设备、装置及计算机可读存储介质
CN110956505A (zh) * 2019-12-04 2020-04-03 腾讯科技（深圳）有限公司 一种广告库存的预估方法以及相关装置
CN111462264A (zh) * 2020-03-17 2020-07-28 中国科学院深圳先进技术研究院 医学图像重建方法、医学图像重建网络训练方法和装置
CN111462264B (zh) * 2020-03-17 2023-06-06 中国科学院深圳先进技术研究院 医学图像重建方法、医学图像重建网络训练方法和装置
CN111429544A (zh) * 2020-03-23 2020-07-17 北京字节跳动网络技术有限公司 车身颜色处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN110298898B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN110298898A (zh) 更改汽车图像车身颜色的方法及其算法结构
Tan et al. ArtGAN: Artwork synthesis with conditional categorical GANs
Baldassarre et al. Deep koalarization: Image colorization using cnns and inception-resnet-v2
CN110378985B (zh) 一种基于gan的动漫绘画辅助创作方法
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
CN109671018A (zh) 一种基于生成式对抗网络和ResNets技术的图像转换方法及***
CN108961350B (zh) 一种基于显著度匹配的画风迁移方法
CN108537743A (zh) 一种基于生成对抗网络的面部图像增强方法
CN108830913B (zh) 基于用户颜色引导的语义级别线稿上色方法
CN109903236A (zh) 基于vae-gan与相似块搜索的人脸图像修复方法及装置
CN107644429A (zh) 一种基于强目标约束视频显著性的视频分割方法
CN111783566A (zh) 一种基于唇语同步和神态适配效果增强的视频合成方法
CN113807265B (zh) 一种多样化的人脸图像合成方法及***
Li et al. Globally and locally semantic colorization via exemplar-based broad-GAN
CN109359527B (zh) 基于神经网络的头发区域提取方法及***
CN110263865A (zh) 一种半监督多模态多类别的图像翻译方法
CN108564120A (zh) 基于深度神经网络的特征点提取方法
CN110895795A (zh) 改进的语义图像修补模型方法
CN107977605A (zh) 基于深度学习的眼部区域边界特征提取方法及装置
CN116129013A (zh) 一种生成虚拟人动画视频的方法、装置及存储介质
Nguyen-Quynh et al. Image colorization using the global scene-context style and pixel-wise semantic segmentation
Oza et al. Semi-supervised image-to-image translation
Oza et al. Automatic image colorization using ensemble of deep convolutional neural networks
CN115018729A (zh) 一种面向内容的白盒图像增强方法
Li et al. A review of image colourisation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant