CN112614199A - 语义分割图像转换方法、装置、计算机设备和存储介质 - Google Patents

语义分割图像转换方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112614199A
CN112614199A CN202011321375.XA CN202011321375A CN112614199A CN 112614199 A CN112614199 A CN 112614199A CN 202011321375 A CN202011321375 A CN 202011321375A CN 112614199 A CN112614199 A CN 112614199A
Authority
CN
China
Prior art keywords
live
image
action
initial
countermeasure network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011321375.XA
Other languages
English (en)
Inventor
孟云龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN202011321375.XA priority Critical patent/CN112614199A/zh
Publication of CN112614199A publication Critical patent/CN112614199A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种语义分割图像转换方法、装置、计算机设备和存储介质。所述方法包括：接收采集设备采集的初始实景图像；对初始实景图像进行语义分割处理，生成对应初始实景图像的语义分割图像；将语义分割图像输入多模态条件生成对抗网络，输出对应语义分割图像的多个实景图像，多个实景图像中各实景图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定。采用本方法能够提升生成的实景图像的多样性。

Description

语义分割图像转换方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像生成术领域，特别是涉及一种语义分割图像转换方法、装置、计算机设备和存储介质。
背景技术
在应用神经网络模型进行业务处理前，通过需要大量的训练集图像进行模型的训练，当训练集图像难以采集的时候，则可以通过采集的初始图像进行图像转换处理，得到大数据量的转换后的训练集图像。
在传统方式中，通常是通过条件生成对抗网络(conditional generativeadversarial networks)进行图像的转换。
但是，上述方式存在模式坍塌的问题(mode collapse problem)，使得仅能输出一对一的图像，即基于输入的图像仅能输出一个对应的图像，使得输出图像较为单一，缺乏多样性。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升语义分割图像转换的实景图像的多样性的语义分割图像转换方法、装置、计算机设备和介质。
一种语义分割图像转换方法，所述方法包括：
接收采集设备采集的初始实景图像；
对初始实景图像进行语义分割处理，生成对应初始实景图像的语义分割图像；
将语义分割图像输入多模态条件生成对抗网络，输出对应语义分割图像的多个实景图像，多个实景图像中各实景图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定。
在其中一个实施例中，对初始实景图像进行语义分割处理，生成语义分割图像之前，还包括：
对初始实景图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的初始实景图像；
对初始实景图像进行语义分割处理，生成对应初始实景图像的语义分割图像，包括：
对图像尺寸归一化处理后的初始实景图像进行语义分割处理，生成对应图像尺寸归一化处理后的初始实景图像的语义分割图像。
在其中一个实施例中，将语义分割图像输入多模态条件生成对抗网络，输出对应语义分割图像的多个实景图像，包括：
通过多模态条件生成对抗网络中的编码器对语义分割图像进行特征提取，生成对应语义分割图像的特征图；
通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应语义分割图像的多个实景图像。
在其中一个实施例中，通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应语义分割图像的多个实景图像，包括：
通过生成器配置多个不同的生成参数，并根据各生成参数以及特征图，生成对应语义分割图像的多个实景图像。
在其中一个实施例中，多模态条件生成对抗网络的生成方式包括：
获取训练集图像；
将训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测实景图像；
根据各预测实景图像以及训练集图像，生成对应各预测实景图像的各图像集；
将各图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果；
基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
在其中一个实施例中，根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，还包括：
存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值；
得到训练完成的多模态条件生成对抗网络，包括：
确定对应最高的训练指标值的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络。
在其中一个实施例中，基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，生成训练完成的多模态条件生成对抗网络，包括：
根据各鉴别结果，计算初始多模态条件生成对抗网络的损失值，并基于损失值对初始多模态条件生成对抗网络的网络参数进行第一调整，得到第一调整后的初始多模态条件生成对抗网络；
根据各鉴别结果为真的预测实景图像以及对应的各生成参数，基于预设的调控函数确定各预测实景图像之间的差异指标，并基于各差异指标对初始多模态条件生成对抗网络的网络参数进行第二调整，得到第二调整后的初始多模态条件生成对抗网络；
根据预设的迭代次数，对第一调整以及第二调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
一种语义分割图像转换装置，所述装置包括：
初始实景图像接收模块，用于接收采集设备采集的初始实景图像；
语义分割处理模块，用于对初始实景图像进行语义分割处理，生成对应初始实景图像的语义分割图像；
多模态实景图像生成模块，用于将语义分割图像输入多模态条件生成对抗网络，输出对应语义分割图像的多个实景图像，多个实景图像中各实景图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例中所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例中所述的方法的步骤。
上述语义分割图像转换方法、装置、计算机设备和存储介质，通过获取语义分割图像，并将语义分割图像输入多模态条件生成对抗网络，输出对应所述语义分割图像的多个实景图像，多个实景图像中各实景图像的内容模态不同，且多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定。由于多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，且预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定，从而在根据多模态条件生成对抗网络生成实景图像的时候，可以提升生成的实景图像的多样性。
附图说明
图1为一个实施例中语义分割图像转换方法的应用场景图；
图2为一个实施例中语义分割图像转换方法的流程示意图；
图3为另一个实施例中语义分割图像转换步骤的流程示意图；
图4为一个实施例中生成多个实景图像步骤的流程示意图；
图5为一个实施例中网络迭代训练步骤的流程示意图；
图6为一个实施例中语义分割图像转换装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的语义分割图像转换方法，可以应用于如图1所示的应用环境中。其中，采集设备102通过网络与服务器104进行通信。采集设备102可以采集初始实景图像，并通过网络发送至服务器104。服务器104在接收到初始实景图像后，可以对初始实景图像进行语义分割处理，生成对应初始实景图像的语义分割图像。进一步，服务器104可以将语义分割图像输入多模态条件生成对抗网络，输出对应语义分割图像的多个实景图像。其中，多个实景图像中各实景图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定。其中，采集设备102可以但不限于是各种照相机、摄像机以及录像机等具备图像采集功能与发送功能的设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种语义分割图像转换方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S202，接收采集设备采集的初始实景图像。
其中，初始实景图像是指通过采集设备采集实际生活场景所生成的图像，例如，可以是道路实景图像等。
在本实施例中，由于受到实景场景的限制，在通过采集设备采集实景图像时，并不能采集到符合预设要求的实景图像，或者并不能采集到足够数量的实景图像。本申请用于基于采集到的少量的初始实景图像生成大批量的实景图像。
在本实施例中，采集设备采集到初始实景图像后，可以通过网络传输至服务器，以通过服务器进行进一步的处理。
步骤S204，对初始实景图像进行语义分割处理，生成对应初始实景图像的语义分割图像。
其中，语义分割图像是指对图像中每一个像素点进行分类，确定每个点的类别，以类别样式表现原始图像的一种图像，语义分割图像可以如图3中输入的条件图像所示。
在本实施例中，服务器在获取到初始实景图像，可以对获取的图像进行语义分割处理，以得到对应实景图像的语义分割图像。例如，服务器可以通过基于区域的语义分割、全卷积网络语义分割以及弱监督语义分割等进行语义分割处理，从而对应初始实景图像的语义分割图像。
步骤S206，将语义分割图像输入多模态条件生成对抗网络，输出对应语义分割图像的多个实景图像，多个实景图像中各实景图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定。
在本实施例中，服务器在获取到语义分割图像后，可以将获取的语义分割图像输入预先训练完成的多模态条件生成对抗网络，以通过多模态条件生成对抗网络输出对应不同内容模态的多个实景图像。
继续参考图3，服务器通过多模态条件生成对抗网络生成的多个实景图像可以如301和302所示，多个实景图像内容模态不同，其色彩、像素差等存在差异性。
在本实施例中，多模态条件生成对抗网络可以基于预设的调控函数确定的差异指标训练生成，预设的调控函数可以入公式(1)所示。
Figure BDA0002792987090000061
其中，G(E(x)，z1)为对应生成参数z1输出的实景图像，G(E(x)，z2)为对应生成参数z2输出的实景图像。在本实施例中，服务器在对多模态条件生成对抗网络进行训练的时候，使得调控函数确定的差异指标的数值尽可能大，即使得输出实景图像G(E(x)，z1)和G(E(x)，z2)差异性尽可能大，以使得通过训练后的多模态条件生成对抗网络可以生成差异性较大的多个实景图像。
上述语义分割图像转换方法中，通过获取语义分割图像，并将语义分割图像输入多模态条件生成对抗网络，输出对应所述语义分割图像的多个实景图像，多个实景图像中各实景图像的内容模态不同，且多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定。由于多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，且预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定，从而在根据多模态条件生成对抗网络生成实景图像的时候，可以提升生成的实景图像的多样性。
在其中一个实施例中，对初始实景图像进行语义分割处理，生成语义分割图像之前，还可以包括：对初始实景图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的初始实景图像。
具体地，不同的终端采集到的初始实景图像的尺寸可能不一致，从而，服务器获取到的初始实景图像的尺寸不一致。
在本实施例中，服务器在接收到初始实景图像后，可以对初始实景图像进行预处理，例如，进行图像尺寸的归一化处理，将初始实景图像的图像尺寸调整至预设尺寸。
具体地，服务器对初始实景图像进行图像尺寸归一化处理可以是先确定初始实景图像的长宽比例是否与预设尺寸的长宽比例一致，若不一致，则通过预设像素图像对初始实景图像进行填充，填充至与预设尺寸的长宽比例一致，并缩放至预设尺寸，得到预设尺寸的初始实景图像，若一致，则将初始实景图像缩放至预设尺寸，得到预设尺寸的初始实景图像。
例如，预设尺寸长*宽为256*256，从终端获取的初始实景图像的尺寸为255*256，则服务器可以通过预设像素图像，例如0像素，对初始实景图像的长进行填充，填充至256*256，同理，当初始实景图像的尺寸为256*255时，服务器可以通过0像素对语义分割图像的宽进行填充，填充至256*256。
可选地，当服务器获取到的初始实景图像的尺寸为512*510，则可以通过0像素将初始实景图像填充至512*512，使其与预设尺寸的长宽比例一致，然后缩小至256*256，使其与预设尺寸一致；或者，初始实景图像尺寸为128*123，则可以通过0像素将预设图像填充至128*128，使其与预设尺寸的长宽比例一致，然后放大至256*256，使其与预设尺寸一致。
在其他实施例中，服务器还可以对初始实景图像进行图像亮度调整、图像转正处理等，使得处理后的初始实景图像。
在本实施例中，对初始实景图像进行语义分割处理，生成对应初始实景图像的语义分割图像，可以包括：对图像尺寸归一化处理后的初始实景图像进行语义分割处理，生成对应图像尺寸归一化处理后的初始实景图像的语义分割图像。
具体地，服务器在得到图像尺寸归一化处理后的初始实景图像后，可以对图像尺寸归一化处理后的初始实景图像进行语义分割处理，例如，通过基于区域的语义分割、全卷积网络语义分割以及弱监督语义分割等进行语义分割处理，从而得到对应图像尺寸归一化处理后的初始实景图像的语义分割图像。
本领域技术人员可以理解的是，在本实施例中，图像尺寸归一化处理也可以是在语义分割后进行，即对初始实景图像进行语义分割，得到语义分割图像后，再对语义分割图像进行图像尺寸的归一化处理，以得到尺寸符合多模态条件生成对抗网络输入要求的图像。
上述实施例中，通过对初始实景图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的初始实景图像，然后在进行语义分割处理，可以使得输出的语义分割图像符合多模态条件生成对抗网络的输入要求，可以提升多模态条件生成对抗网络生成的实景图像的准确性。
在其中一个实施例中，参考图4，服务器将语义分割图像输入多模态条件生成对抗网络，输出对应语义分割图像的多个实景图像，可以包括：
步骤S402，通过多模态条件生成对抗网络中的编码器对语义分割图像进行特征提取，生成对应语义分割图像的特征图。
在本实施例中，多模态条件生成对抗网络可以包括编码器以及对应的生成器(或者解码器)，服务器将始图像输入多模态条件生成对抗网络后，可以通过多模态条件生成对抗网络的编码器对语义分割图像进行特征提取，以得到对应语义分割图像的特征图。
在本实施例中，编码器可以包括多层卷积层，各卷积层的尺寸以及通道数量各不相同，例如，可以包括8层卷积层，其中，第一卷积层至第八卷积层尺寸较小，通道数量逐渐增加。具体地，第一卷积层通道数量为64通道，第二卷积层通道数量为128通道，第三卷积层通道数量为512通道，第四卷积层通道数量为512通道，第五卷积层通道数量为512通道，第六卷积层通道数量为512通道，第七卷积层通道数量为512通道，第八卷积层通道数量为512通道。
步骤S404，通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应语义分割图像的多个实景图像。
其中，生成器可以包括多层网络结构，例如，可以是包括跳跃连接的生成器，或者是通用的生成器等。
在一个实施例中，包括跳跃连接的生成器可以包括多层卷积层、多层Dropout层以及Tann层，具体可以是第一层为512通道的卷积层，随后依次为Dropout层、1024通道的卷积层、Dropout层、1024通道的卷积层、Dropout层、1024通道的卷积层、1024通道的卷积层1024通道的卷积层、512通道的卷积层、125通道的卷积层、3通道的卷积层以及Tann层。
在另一个实施例中，通用的生成年期可以包括多层卷积层，例如，包括64通道的卷积层、128通道的卷积层、256通道的卷积层以及多层512通道的卷积层组成。
在本实施例中，服务器可以将编码器生成的特征图输入生成器，以进行解码转换，得到对应语义分割图像的实景图像。
本领域技术人员可以理解的是，上述对编码器以及生成器结构的说明仅是举例说明，在其他实施例中，也可以是其他的结构，本申请对此不作限制。
在其中一个实施例中，通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应语义分割图像的多个实景图像，可以包括：通过生成器配置多个不同的生成参数，并根据各生成参数以及特征图，生成对应语义分割图像的多个实景图像。
具体地，继续参考图3，服务器在生成特征图后，服务器从正态分布N(0,1)中取两个不相等的生成参数，即潜向量z1和z2，并从编码器和生成器之间的潜空间输入。
在本实施例中，生成器根据各生成参数以及特征图，生成对应语义分割图像的多个实景图像，即分别基于z1和z2，生成对应的实景地图数据G(E(x)，z1)和G(E(x)，z2)。
上述实施例中，通过配置不同的生成参数，并基于特征图，生成对应语义分割图像的多个实景图像，可以使得生成的实景图像各不相同。
在其中一个实施例中，多模态条件生成对抗网络的生成方式可以包括：获取训练集图像；将训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测实景图像；根据各预测实景图像以及训练集图像，生成对应各预测实景图像的各图像集；将各图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果；基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
在本实施例中，服务器获取一批配对的二维平面地图以及卫星地图图像，并将二维平面地图作为训练集图像。
进一步，服务器从正态分布N(0,1)中随机取两个不相等的生成参数，即潜向量z1和z2，并从编码器和生成器之间的潜空间输入初始多模态条件生成对抗网络。
进一步，服务器通过初始多模态条件生成对抗网络对训练集图像进行特征提取，并基于各生成参数以及特征提取得到的特征图，生成对应的各测试地图图像。
进一步，服务器将测试地图图像以及训练集图像生成图像集，并将各图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果。
在本实施例中，当鉴别器输出的鉴别结果为假时，则服务器可以根据得到的测试地图图像以及对应二维平面地图的卫星地图图像，计算损失值，以基于计算的损失值更新初始多模态条件生成对抗网络的网络参数。
进一步，服务器根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，直至鉴别器输出的鉴别结果为真，以得到训练完成的多模态条件生成对抗网络。
上述实施例中，通过生成图像进行真伪鉴别，并输出对应的各鉴别结果，然后基于鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，可以使得得到的初始多模态条件生成对抗网络更加准确，提升生成的实景图像的准确性。
在其中一个实施例中，根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，还可以包括：存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值。
在本实施例中，服务器在进行模型训练的时候，或者在对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，可以对应存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值。
其中，训练指标值是指示初始多模态条件生成对抗网络的完成度以及完成情况与效果的指标值，具体可以是一个指标等级或者是分值。
在其他实施例中，服务器也可以存储每一次迭代训练的初始多模态条件生成对抗网络的网络参数以及训练指标值，本申请对此不作限制。
在本实施例中，得到训练完成的多模态条件生成对抗网络，可以包括：确定对应最高的训练指标值的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络。
具体地，服务器在完成预设的迭代次数的网络训练后，可以根据每一次迭代训练的训练指标值，对各训练指标值进行排序，并在排序后确定训练指标值最高的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络，并用于后续的测试应用。
上述实施例中，通过存储每一次迭代训练后的初始多模态条件生成对抗网络以及对应的训练指标值，并选取指标值最高的初始多模态条件生成对抗网络作为最终的训练完成的多模态条件生成对抗网络，可以使得最终确定的多模态条件生成对抗网络为训练效果最好的网络，可以提升网络预测的准确性。
在其中一个实施例中，参考图5，服务器基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，生成训练完成的多模态条件生成对抗网络，可以包括：
步骤S502，根据各鉴别结果，计算初始多模态条件生成对抗网络的损失值，并基于损失值对初始多模态条件生成对抗网络的网络参数进行第一调整，得到第一调整后的初始多模态条件生成对抗网络。
具体地，服务器在得到鉴别结果后，可以对鉴别结果为真或者是假进行判定。在本实施例中，当服务器确定鉴别器输出的鉴别结果为假时，则服务器可以根据得到的测试地图图像以及对应二维平面地图的卫星地图图像，计算损失值，以基于计算的损失值对初始多模态条件生成对抗网络的网络参数进行第一调整。
在本实施例中，损失值可以通过不同的损失函数进行计算，例如，交叉熵损失函数、二分类损失函数、多分类损失函数等，对此不作限制。
步骤S504，根据各鉴别结果为真的预测实景图像以及对应的各生成参数，基于预设的调控函数确定各预测实景图像之间的差异指标，并基于各差异指标对初始多模态条件生成对抗网络的网络参数进行第二调整，得到第二调整后的初始多模态条件生成对抗网络。
在本实施例中，服务器还可以根据不同的生成参数生成的预测实景图像以及对应的各生成参数，通过预设的调控函数计算各预测实景图像之间的差异指标。
在本实施例中，调控函数可以参照前文公式(1)所示，此处不再赘述。
在本实施例中，服务器为了使得基于训练的多模态条件生成对抗网络输出的多个实景图像之间的差异尽可能的大，服务器可以根据计算得到的差异指标对初始多模态条件生成对抗网络的网络参数进行第二调整，以得到第二调整后的初始多模态条件生成对抗网络。
步骤S506，根据预设的迭代次数，对第一调整以及第二调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
在本实施例中，服务器对第一调整以及第二调整后的初始多模态条件生成对抗网络进行预设迭代次数的迭代训练，以得到训练完成的多模态条件生成对抗网络。
上述实施例中，通过分别计算损失值以及差异指标，并分别对初始多模态条件生成对抗网络进行调整并进行迭代，可以提升训练的准确性，可以提升最终得到的多模态条件生成对抗网络预测的准确性。
在本实施例中，多模态条件生成对抗网络以及鉴别器可以通过交叉迭代训练的方式进行训练。具体地，通过如下方式进行交叉迭代训练：一个一代的多模态条件生成对抗网络，能生成一些很差的图像，然后一个一代的鉴别器能准确的把多模态条件生成对抗网络生成的图片和真实的图片进行分类，简而言之，鉴别器是一个二分类器，对多模态条件生成对抗网络生成的图像输出0，对真实的图像输出1。进一步，服务器基于鉴别器的鉴别结果开始训练出二代的多模态条件生成对抗网络，二代的多模态条件生成对抗网络能生成稍好一点的图像，能够让一代的鉴别器认为这些生成的图像是真实的图形。然后服务器会训练出一个二代的鉴别器，它能准确的识别出真实的图像以及二代的多模态条件生成对抗网络生成的图像。以此类推，会有三代，四代…n代的多模态条件生成对抗网络和鉴别器。最后，最终的鉴别器将无法分辨出多模态条件生成对抗网络生成的图像和真实图像，从而训练完成。
应该理解的是，虽然图2、图4和图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图4和图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种语义分割图像转换装置，包括：初始实景图像接收模块100、语义分割处理模块200和多模态实景图像生成模块300，其中：
初始实景图像接收模块100，用于接收采集设备采集的初始实景图像。
语义分割处理模块200，用于对初始实景图像进行语义分割处理，生成对应初始实景图像的语义分割图像。
多模态实景图像生成模块300，用于将语义分割图像输入多模态条件生成对抗网络，输出对应语义分割图像的多个实景图像，多个实景图像中各实景图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定。
在其中一个实施例中，上述装置还可以包括：
归一化处理模块，用于在语义分割处理模块200对初始实景图像进行语义分割处理，生成语义分割图像之前，对初始实景图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的初始实景图像。
在本实施例中，语义分割处理模块200用于对图像尺寸归一化处理后的初始实景图像进行语义分割处理，生成对应图像尺寸归一化处理后的初始实景图像的语义分割图像。
在其中一个实施例中，多模态实景图像生成模块300可以包括：
特征提取子模块，用于通过多模态条件生成对抗网络中的编码器对语义分割图像进行特征提取，生成对应语义分割图像的特征图。
解码转换子模块，用于通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应语义分割图像的多个实景图像。
在其中一个实施例中，解码转换子模块用于通过生成器配置多个不同的生成参数，并根据各生成参数以及特征图，生成对应语义分割图像的多个实景图像。
在其中一个实施例中，上述装置还可以包括：
训练模块，用于训练多模态条件生成对抗网络。
在本实施例中，训练模块可以包括：
训练集图像获取子模块，用于获取训练集图像。
预测图像生成子模块，用于将训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测实景图像。
图像集生成子模块，用于根据各预测实景图像以及训练集图像，生成对应各预测实景图像的各图像集。
鉴别子模块，用于将各图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果。
迭代训练子模块，用于基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
在其中一个实施例中，上述装置还可以包括：
存储模块，用于在迭代训练子模块根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值。
在本实施例中，迭代训练子模块可以确定对应最高的训练指标值的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络。
在其中一个实施例中，迭代训练子模块可以包括：
第一调整单元，用于根据各鉴别结果，计算初始多模态条件生成对抗网络的损失值，并基于损失值对初始多模态条件生成对抗网络的网络参数进行第一调整，得到第一调整后的初始多模态条件生成对抗网络。
第二调整单元，用于根据各鉴别结果为真的预测实景图像以及对应的各生成参数，基于预设的调控函数确定各预测实景图像之间的差异指标，并基于各差异指标对初始多模态条件生成对抗网络的网络参数进行第二调整，得到第二调整后的初始多模态条件生成对抗网络。
迭代单元，用于根据预设的迭代次数，对第一调整以及第二调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
关于语义分割图像转换装置的具体限定可以参见上文中对于语义分割图像转换方法的限定，在此不再赘述。上述语义分割图像转换装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储语义分割图像以及生成的实景图像等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种语义分割图像转换方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：接收采集设备采集的初始实景图像；对初始实景图像进行语义分割处理，生成对应初始实景图像的语义分割图像；将语义分割图像输入多模态条件生成对抗网络，输出对应语义分割图像的多个实景图像，多个实景图像中各实景图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定。
在其中一个实施例中，处理器执行计算机程序时实现对初始实景图像进行语义分割处理，生成语义分割图像之前，还可以实现以下步骤：对初始实景图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的初始实景图像。
在本实施例中，处理器执行计算机程序时实现对初始实景图像进行语义分割处理，生成对应初始实景图像的语义分割图像，可以包括：对图像尺寸归一化处理后的初始实景图像进行语义分割处理，生成对应图像尺寸归一化处理后的初始实景图像的语义分割图像。
在其中一个实施例中，处理器执行计算机程序时实现将语义分割图像输入多模态条件生成对抗网络，输出对应语义分割图像的多个实景图像，可以包括：通过多模态条件生成对抗网络中的编码器对语义分割图像进行特征提取，生成对应语义分割图像的特征图；通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应语义分割图像的多个实景图像。
在其中一个实施例中，处理器执行计算机程序时实现通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应语义分割图像的多个实景图像，可以包括：通过生成器配置多个不同的生成参数，并根据各生成参数以及特征图，生成对应语义分割图像的多个实景图像。
在其中一个实施例中，处理器执行计算机程序时实现多模态条件生成对抗网络的生成方式可以包括：获取训练集图像；将训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测实景图像；根据各预测实景图像以及训练集图像，生成对应各预测实景图像的各图像集；将各图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果；基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
在其中一个实施例中，处理器执行计算机程序时实现根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，还可以实现以下步骤：存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值。
在本实施例中，处理器执行计算机程序时实现得到训练完成的多模态条件生成对抗网络，可以包括：确定对应最高的训练指标值的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络。
在其中一个实施例中，处理器执行计算机程序时实现基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，生成训练完成的多模态条件生成对抗网络，可以包括：根据各鉴别结果，计算初始多模态条件生成对抗网络的损失值，并基于损失值对初始多模态条件生成对抗网络的网络参数进行第一调整，得到第一调整后的初始多模态条件生成对抗网络；根据各鉴别结果为真的预测实景图像以及对应的各生成参数，基于预设的调控函数确定各预测实景图像之间的差异指标，并基于各差异指标对初始多模态条件生成对抗网络的网络参数进行第二调整，得到第二调整后的初始多模态条件生成对抗网络；根据预设的迭代次数，对第一调整以及第二调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：接收采集设备采集的初始实景图像；对初始实景图像进行语义分割处理，生成对应初始实景图像的语义分割图像；将语义分割图像输入多模态条件生成对抗网络，输出对应语义分割图像的多个实景图像，多个实景图像中各实景图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定。
在其中一个实施例中，计算机程序被处理器执行时实现对初始实景图像进行语义分割处理，生成语义分割图像之前，还可以实现以下步骤：对初始实景图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的初始实景图像。
在本实施例中，计算机程序被处理器执行时实现对初始实景图像进行语义分割处理，生成对应初始实景图像的语义分割图像，可以包括：对图像尺寸归一化处理后的初始实景图像进行语义分割处理，生成对应图像尺寸归一化处理后的初始实景图像的语义分割图像。
在其中一个实施例中，计算机程序被处理器执行时实现将语义分割图像输入多模态条件生成对抗网络，输出对应语义分割图像的多个实景图像，可以包括：通过多模态条件生成对抗网络中的编码器对语义分割图像进行特征提取，生成对应语义分割图像的特征图；通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应语义分割图像的多个实景图像。
在其中一个实施例中，计算机程序被处理器执行时实现通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应语义分割图像的多个实景图像，可以包括：通过生成器配置多个不同的生成参数，并根据各生成参数以及特征图，生成对应语义分割图像的多个实景图像。
在其中一个实施例中，计算机程序被处理器执行时实现多模态条件生成对抗网络的生成方式可以包括：获取训练集图像；将训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测实景图像；根据各预测实景图像以及训练集图像，生成对应各预测实景图像的各图像集；将各图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果；基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
在其中一个实施例中，计算机程序被处理器执行时实现根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，还可以实现以下步骤：存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值。
在本实施例中，计算机程序被处理器执行时实现得到训练完成的多模态条件生成对抗网络，可以包括：确定对应最高的训练指标值的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络。
在其中一个实施例中，计算机程序被处理器执行时实现基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，生成训练完成的多模态条件生成对抗网络，可以包括：根据各鉴别结果，计算初始多模态条件生成对抗网络的损失值，并基于损失值对初始多模态条件生成对抗网络的网络参数进行第一调整，得到第一调整后的初始多模态条件生成对抗网络；根据各鉴别结果为真的预测实景图像以及对应的各生成参数，基于预设的调控函数确定各预测实景图像之间的差异指标，并基于各差异指标对初始多模态条件生成对抗网络的网络参数进行第二调整，得到第二调整后的初始多模态条件生成对抗网络；根据预设的迭代次数，对第一调整以及第二调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种语义分割图像转换方法，其特征在于，所述方法包括：
接收采集设备采集的初始实景图像；
对所述初始实景图像进行语义分割处理，生成对应所述初始实景图像的语义分割图像；
将所述语义分割图像输入多模态条件生成对抗网络，输出对应所述语义分割图像的多个实景图像，所述多个实景图像中各实景图像的内容模态不同，所述多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，所述预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定。
2.根据权利要求1所述的方法，其特征在于，所述对所述初始实景图像进行语义分割处理，生成语义分割图像之前，还包括：
对所述初始实景图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的初始实景图像；
所述对所述初始实景图像进行语义分割处理，生成对应所述初始实景图像的语义分割图像，包括：
对所述图像尺寸归一化处理后的初始实景图像进行语义分割处理，生成对应所述图像尺寸归一化处理后的初始实景图像的语义分割图像。
3.根据权利要求1所述的方法，其特征在于，所述将所述语义分割图像输入多模态条件生成对抗网络，输出对应所述语义分割图像的多个实景图像，包括：
通过多模态条件生成对抗网络中的编码器对所述语义分割图像进行特征提取，生成对应所述语义分割图像的特征图；
通过多模态条件生成对抗网络中的生成器对所述特征图进行解码转换，得到对应所述语义分割图像的多个实景图像。
4.根据权利要求3所述的方法，其特征在于，所述通过多模态条件生成对抗网络中的生成器对所述特征图进行解码转换，得到对应所述语义分割图像的多个实景图像，包括：
通过所述生成器配置多个不同的生成参数，并根据各所述生成参数以及所述特征图，生成对应所述语义分割图像的多个实景图像。
5.根据权利要求1所述的方法，其特征在于，所述多模态条件生成对抗网络的生成方式包括：
获取训练集图像；
将所述训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测实景图像；
根据各所述预测实景图像以及所述训练集图像，生成对应各所述预测实景图像的各图像集；
将各所述图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果；
基于各所述鉴别结果，调整所述初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
6.根据权利要求5所述的方法，其特征在于，所述根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，还包括：
存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值；
所述得到训练完成的多模态条件生成对抗网络，包括：
确定对应最高的训练指标值的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络。
7.根据权利要求5所述的方法，其特征在于，所述基于各所述鉴别结果，调整所述初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，生成训练完成的多模态条件生成对抗网络，包括：
根据各所述鉴别结果，计算所述初始多模态条件生成对抗网络的损失值，并基于所述损失值对所述初始多模态条件生成对抗网络的网络参数进行第一调整，得到第一调整后的初始多模态条件生成对抗网络；
根据各鉴别结果为真的预测实景图像以及对应的各所述生成参数，基于预设的调控函数确定各预测实景图像之间的差异指标，并基于各所述差异指标对所述初始多模态条件生成对抗网络的网络参数进行第二调整，得到第二调整后的初始多模态条件生成对抗网络；
根据预设的迭代次数，对第一调整以及第二调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
8.一种语义分割图像转换装置，其特征在于，所述装置包括：
初始实景图像接收模块，用于接收采集设备采集的初始实景图像；
语义分割处理模块，用于对所述初始实景图像进行语义分割处理，生成对应所述初始实景图像的语义分割图像；
多模态实景图像生成模块，用于将所述语义分割图像输入多模态条件生成对抗网络，输出对应所述语义分割图像的多个实景图像，所述多个实景图像中各实景图像的内容模态不同，所述多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，所述预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202011321375.XA 2020-11-23 2020-11-23 语义分割图像转换方法、装置、计算机设备和存储介质 Pending CN112614199A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011321375.XA CN112614199A (zh) 2020-11-23 2020-11-23 语义分割图像转换方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011321375.XA CN112614199A (zh) 2020-11-23 2020-11-23 语义分割图像转换方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN112614199A true CN112614199A (zh) 2021-04-06

Family

ID=75225322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011321375.XA Pending CN112614199A (zh) 2020-11-23 2020-11-23 语义分割图像转换方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112614199A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706645A (zh) * 2021-06-30 2021-11-26 酷栈(宁波)创意科技有限公司 用于山水画绘制的信息处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934198A (zh) * 2019-03-22 2019-06-25 北京市商汤科技开发有限公司 人脸识别方法及装置
GB201910114D0 (en) * 2019-07-15 2019-08-28 Facesoft Ltd Generating three-dimensional facial data
CN110544239A (zh) * 2019-08-19 2019-12-06 中山大学 基于条件生成对抗网络的多模态mri转换方法、***及介质
CN110969634A (zh) * 2019-11-29 2020-04-07 国网湖北省电力有限公司检修公司 基于生成对抗网络的红外图像电力设备分割方法
CN111325212A (zh) * 2020-02-18 2020-06-23 北京奇艺世纪科技有限公司 模型训练方法、装置、电子设备和计算机可读存储介质
CN111667483A (zh) * 2020-07-03 2020-09-15 腾讯科技（深圳）有限公司 多模态图像的分割模型的训练方法、图像处理方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934198A (zh) * 2019-03-22 2019-06-25 北京市商汤科技开发有限公司 人脸识别方法及装置
GB201910114D0 (en) * 2019-07-15 2019-08-28 Facesoft Ltd Generating three-dimensional facial data
CN110544239A (zh) * 2019-08-19 2019-12-06 中山大学 基于条件生成对抗网络的多模态mri转换方法、***及介质
CN110969634A (zh) * 2019-11-29 2020-04-07 国网湖北省电力有限公司检修公司 基于生成对抗网络的红外图像电力设备分割方法
CN111325212A (zh) * 2020-02-18 2020-06-23 北京奇艺世纪科技有限公司 模型训练方法、装置、电子设备和计算机可读存储介质
CN111667483A (zh) * 2020-07-03 2020-09-15 腾讯科技（深圳）有限公司 多模态图像的分割模型的训练方法、图像处理方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706645A (zh) * 2021-06-30 2021-11-26 酷栈(宁波)创意科技有限公司 用于山水画绘制的信息处理方法

Similar Documents

Publication Publication Date Title
CN110163235B (zh) 图像增强模型的训练、图像增强方法、装置和存储介质
CN110163193B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN109886077B (zh) 图像识别方法、装置、计算机设备和存储介质
CN111860147B (zh) 行人重识别模型优化处理方法、装置和计算机设备
WO2019100724A1 (zh) 训练多标签分类模型的方法和装置
CN111160375B (zh) 三维关键点预测及深度学习模型训练方法、装置及设备
CN111179419B (zh) 三维关键点预测及深度学习模型训练方法、装置及设备
CN111353512A (zh) 障碍物分类方法、装置、存储介质和计算机设备
CN110176024B (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
US11615612B2 (en) Systems and methods for image feature extraction
CN114549913B (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN111210382B (zh) 图像处理方法、装置、计算机设备和存储介质
CN112749726B (zh) 目标检测模型的训练方法、装置、计算机设备和存储介质
CN110222705A (zh) 一种网络模型的训练方法以及相关装置
CN112183295A (zh) 行人重识别方法、装置、计算机设备及存储介质
CN112883983B (zh) 特征提取方法、装置和电子***
CN113496150A (zh) 密集目标检测方法、装置、存储介质及计算机设备
CN112580434A (zh) 一种基于深度相机的人脸误检优化方法、***及人脸检测设备
US11256950B2 (en) Image feature amount output device, image recognition device, the image feature amount output program, and image recognition program
CN112614199A (zh) 语义分割图像转换方法、装置、计算机设备和存储介质
CN114049491A (zh) 指纹分割模型训练、指纹分割方法、装置、设备及介质
CN109101984B (zh) 一种基于卷积神经网络的图像识别方法及装置
CN111159450A (zh) 图片分类方法、装置、计算机设备和存储介质
CN116258873A (zh) 一种位置信息确定方法、对象识别模型的训练方法及装置
JP7148462B2 (ja) 画像認識評価プログラム、画像認識評価方法、評価装置及び評価システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination