CN111553961B - 线稿对应色图的获取方法和装置、存储介质和电子装置 - Google Patents

线稿对应色图的获取方法和装置、存储介质和电子装置 Download PDF

Info

Publication number
CN111553961B
CN111553961B CN202010347093.0A CN202010347093A CN111553961B CN 111553961 B CN111553961 B CN 111553961B CN 202010347093 A CN202010347093 A CN 202010347093A CN 111553961 B CN111553961 B CN 111553961B
Authority
CN
China
Prior art keywords
feature
image
matching network
characteristic
feature image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010347093.0A
Other languages
English (en)
Other versions
CN111553961A (zh
Inventor
张骞
王波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202010347093.0A priority Critical patent/CN111553961B/zh
Publication of CN111553961A publication Critical patent/CN111553961A/zh
Application granted granted Critical
Publication of CN111553961B publication Critical patent/CN111553961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种线稿对应色图的获取方法和装置、存储介质和电子装置，其中，该方法包括：分别提取第一线稿的第一特征图像、第二线稿的第二特征图像和第一色图的第三特征图像，其中，第一线稿与第二线稿之间具有关联关系，第一色图为第一线稿的色图；根据第一特征图像和第二特征图像的相关度、以及第三特征图像，获取第四特征图像，其中，第四特征图像为与第二线稿的色图对应的特征图像；根据第二特征图像，将第四特征图像转换为与第二线稿对应的第二色图。通过本申请，解决了相关技术中的线稿上色方式存在的无法对形状变换较大和有新形状出现的线稿进行上色的问题。

Description

线稿对应色图的获取方法和装置、存储介质和电子装置
技术领域
本申请涉及计算机领域，尤其涉及一种线稿对应色图的获取方法和装置、存储介质和电子装置。
背景技术
制作人员可以通过专业的制作工具进行具有多个连续帧的多媒体资源(例如，动漫)的制作。在进行多媒体资源制作时，制作人员需要花费大量的时间进行中间线稿的绘制和上色，尤其是，连续帧的上色。连续帧上色是指，根据前一帧或者多帧已经上好色的图片和下一帧的线稿，完成下一帧线稿的上色。
目前，通常采用基于形状匹配的自动填色方法自动对多媒体资源的线稿进行上色。通过对线稿进行形状分割，将线稿分割成不同的封闭块；根据上一帧线稿的封闭块与下一帧线稿的封闭块的匹配，按照上一帧线稿的封闭块的颜色为下一帧线稿中的匹配块进行上色。
然而，上述对于线稿上色的方式，只能对形状进行简单填色，且要求线稿能够被分割成不同的封闭块，不能适应形状变换较大和有新形状出现的情况。
因此，相关技术中的线稿上色方式，存在无法对形状变换较大和有新形状出现的线稿进行上色的问题。
发明内容
本申请实施例提供了一种线稿对应色图的获取方法和装置、存储介质和电子装置，以至少解决相关技术中的线稿上色方式存在的无法对形状变换较大和有新形状出现的线稿进行上色的问题。
根据本申请实施例的一个方面，提供了一种线稿对应色图的获取方法，包括：分别提取第一线稿的第一特征图像、第二线稿的第二特征图像和第一色图的第三特征图像，其中，第一线稿与第二线稿之间具有关联关系，第一色图为第一线稿的色图；根据第一特征图像和第二特征图像的相关度、以及第三特征图像，获取第四特征图像，其中，第四特征图像为与第二线稿的色图对应的特征图像；根据第二特征图像，将第四特征图像转换为与第二线稿对应的第二色图。
根据本申请实施例的另一个方面，提供了一种线稿对应色图的获取装置，包括：第一提取单元，用于分别提取第一线稿的第一特征图像、第二线稿的第二特征图像和第一色图的第三特征图像，其中，第一线稿与第二线稿之间具有关联关系，第一色图为第一线稿的色图；获取单元，用于根据第一特征图像和第二特征图像的相关度、以及第三特征图像，获取第四特征图像，其中，第四特征图像为与第二线稿的色图对应的特征图像；转换单元，用于根据第一特征图像，将第四特征图像转换为与第二线稿对应的第二色图。
可选地，获取单元包括：归一化模块，用于对第二特征图像中的第一像素点与第一特征图像中的各个像素点的相关度进行归一化，得到目标相关度，其中，第一像素点为第二特征图像中的任一像素点；确定模块，用于使用第三特征图像中的像素点对目标相关度进行加权求和，确定第四特征图像中的第二像素点的值，其中，第二像素点为第四特征图像中与第一像素点对应的像素点。
可选地，获取单元包括：输入模块，用于将第一特征图像、第二特征图像和第三特征图像输入到目标解码模型，得到目标解码模型输出的第四特征图像，其中，目标解码模型是使用具有关联关系的多个训练线稿和与多个训练线稿一一对应的多个训练色图对初始解码模型进行训练得到的，目标解码模型用于根据第三特征图像对第二特征图像和第一特征图像的相关度进行加权，得到第四特征图像。
可选地，目标解码模型包括多层特征匹配网络和多层卷积网络，特征匹配网络用于根据第一特征参数对第二特征参数和第三特征参数的相关度进行加权，输出中间特征图像，卷积网络用于将第四特征参数和第五特征参数进行并联后，依次通过卷积网络的卷积层和上采样层，输出参考特征图像，输入模块包括：第一输入子模块，用于在当前特征匹配网络为第一层特征匹配网络的情况下，将第三特征图像与当前特征匹配网络对应的子特征图像作为第一特征参数，第二特征图像与当前特征匹配网络对应的子特征图像作为第二特征参数，第一特征图像与当前特征匹配网络对应的子特征图像作为第三特征参数输入到当前特征匹配网络，得到当前特征匹配网络输出的中间特征图像；第二输入子模块，用于在当前特征匹配网络为除了第一层特征匹配网络以外的特征匹配网络的情况下，将第二特征图像与当前特征匹配网络的前一层特征匹配网络对应的子特征图像作为第四特征参数，前一层特征匹配网络输出的中间特征图像作为第五特征参数输入到与当前特征匹配网络对应的当前卷积网络，得到当前卷积网络输出的参考特征图像；第三输入子模块，用于将第三特征图像与当前特征匹配网络对应的子特征图像作为第一特征参数和第三特征参数、将当前卷积网络输出的参考特征图像作为第二特征参数输入到当前特征匹配网络，得到当前特征匹配网络输出的中间特征图像；其中，第四特征图像为多层特征匹配网络的最后一层特征匹配网络输出的中间特征图像。
可选地，转换单元包括：并联模块，用于将第二特征图像和第四特征图像进行并联，获取并联后得到的第五特征图像；第一获取模块，用于对第五特征图像进行卷积，并对卷积后得到的特征图像进行上采样，获取与第二线稿对应的第二色图。
可选地，上述装置还包括：第二提取单元，用于在根据第一特征图像和第二特征图像的相关度、以及第三特征图像，获取第四特征图像之前，提取第一线稿的语义特征，得到第六特征图像；第三提取单元，用于提取第二线稿的语义特征，得到第七特征图像；第一更新单元，用于使用第六特征图像更新第一特征图像，得到更新后的第一特征图像；第二更新单元，用于使用第七特征图像更新第二特征图像，得到更新后的第二特征图像。
可选地，第一更新单元包括：第二获取模块，用于将第六特征图像与第一特征图像进行并联或者相加，获取更新后的第一特征图像；第二更新单元包括：第三获取模块，用于将第七特征图像与第二特征图像进行并联或者相加，获取更新后的第二特征图像。
根据本申请实施例的又一个方面，还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本申请实施例的又一个方面，还提供了一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
通过本申请，采用根据与关联线稿之间的特征相关度以及关联线稿的色图对当前线稿进行上色的方式，通过分别提取第一线稿的第一特征图像、第二线稿的第二特征图像和第一色图的第三特征图像，其中，第一线稿与第二线稿之间具有关联关系，第一色图为第一线稿的色图；根据第一特征图像和第二特征图像的相关度、以及第三特征图像，获取第四特征图像，其中，第四特征图像为与第二线稿的色图对应的特征图像；根据第二特征图像，将第四特征图像转换为与第二线稿对应的第二色图，由于根据特征图像之间的匹配程度(即，相关度，例如，非局部特征匹配程度)和关联线稿的色图来重构当前线稿的色图，可以适用于大运动、大变形连续帧的上色，因此可以提高线稿上色方式的适用性，进而提升大运动、大变形下的上色准确率，从而解决了相关技术中的线稿上色方式存在的无法对形状变换较大和有新形状出现的线稿进行上色的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的线稿对应色图的获取方法的硬件环境的示意图；
图2是根据本申请实施例的一种可选的线稿对应色图的获取方法的流程图；
图3是根据本申请实施例的一种可选的线稿对应色图的获取方法的示意图；
图4是根据本申请实施例的另一种可选的线稿对应色图的获取方法的流程图；
图5是根据本申请实施例的一种可选的线稿对应色图的获取装置的结构框图；以及
图6是根据本申请实施例的一种服务器的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
根据本申请实施例的一方面，提供了一种线稿对应色图的获取方法的方法实施例。
可选地，在本实施例中，上述线稿对应色图的获取方法可以应用于如图1所示的由终端101和服务器103所构成的硬件环境中。如图1所示，服务器103通过网络与终端101进行连接，可用于为终端或终端上安装的客户端提供服务(如游戏服务、应用服务等)，可在服务器上或独立于服务器设置数据库，用于为服务器103提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，终端101并不限定于PC、手机、平板电脑等。本申请实施例的线稿对应色图的获取方法可以由服务器103来执行，也可以由终端101来执行，还可以是由服务器103和终端101共同执行。其中，终端101执行本申请实施例的线稿对应色图的获取方法也可以是由安装在其上的客户端来执行。
图2是根据本申请实施例的一种可选的线稿对应色图的获取方法的流程图，如图2所示，该方法可以包括以下步骤：
步骤S202，分别提取第一线稿的第一特征图像、第二线稿的第二特征图像和第一色图的第三特征图像，其中，第一线稿与第二线稿之间具有关联关系，第一色图为第一线稿的色图；
步骤S204，根据第一特征图像和第二特征图像的相关度、以及第三特征图像，获取第四特征图像，其中，第四特征图像为与第二线稿的色图对应的特征图像；
步骤S206，根据第二特征图像，将第四特征图像转换为与第二线稿对应的第二色图。
可选地，上述步骤的执行主体可以为服务器、终端设备等，但不限于此，其他能够获取线稿对应色图的装置，均可以用于执行本申请实施例中的方法。
通过上述步骤S202至步骤S206，通过分别提取第一线稿的第一特征图像、第二线稿的第二特征图像和第一色图的第三特征图像，其中，第一线稿与第二线稿之间具有关联关系，第一色图为第一线稿的色图；根据第一特征图像和第二特征图像的相关度、以及第三特征图像，获取第四特征图像，其中，第四特征图像为与第二线稿的色图对应的特征图像；根据第二特征图像，将第四特征图像转换为与第二线稿对应的第二色图，解决了相关技术中的线稿上色方式存在的无法对形状变换较大和有新形状出现的线稿进行上色的问题，提高了线稿上色方式的适用性，提升了大运动、大变形下的上色准确率。
在步骤S202提供的技术方案中，分别提取第一线稿的第一特征图像、第二线稿的第二特征图像和第一色图的第三特征图像，其中，第一线稿与第二线稿之间具有关联关系，第一色图为第一线稿的色图。
用户可以将具有多个连续线稿的多媒体资源(例如，动漫线稿)通过终端设备上运行的客户端上传到服务器，该客户端可以是用于进行多媒体资源制作的客户端，即，在该客户端上可以绘制并上传线稿，也可以是进行线稿上色的软件，也就是，该客户端不支持绘制，仅可上传绘制好的线稿。此外，也可以由终端设备自行进行线稿上色处理。
例如，多个连续线稿可以由终端设备根据已上色的线稿为未上色的线稿进行上色，或者，终端设备可以将上传的多媒体资源发送给服务器，由服务器根据已上色的线稿为未上色的线稿进行上色。
对于多媒体资源的第一线稿，该第一线稿已经被上色过，第一线稿上色后得到的是第一色图。第二线稿与第一线稿之间具有关联关系，上述关联关系可以是：第一线稿为第二线稿的前N帧线稿，其中，N为大于等于1的正整数，例如，前一帧线稿，但不限于此，其他颜色上关联的关系，均可用于本实施例。
以服务器进行线稿上色为例，服务器在获取到第一线稿、第二线稿和第一色图之后，可以分别提取第一线稿、第二线稿和第一色图的图像特征，得到第一线稿的第一特征图像、第二线稿的第二特征图像和第一色图的第三特征图像。
特征图像可以用于表示图像的低维或者高维的图像特征，可以是适用于特征匹配的特征图，从而适应于不同风格的多媒体资源。
例如，第一线稿可以是多媒体资源的第1张线稿，第一色图为用户对第一线稿进行上色得到的色图，即，第1张色图，第二线稿是多媒体资源的第2张线稿。服务器可以分别获取第1张线稿的特征图、第2张线稿的特征图以及第1张色图的特征图。如果提取的特征图为多维特征图，从每个图(第一线稿、第二线稿、第一色图中的任一个)提取的特征图的数量可以为多个。
在步骤S204提供的技术方案中，根据第一特征图像和第二特征图像的相关度、以及第三特征图像，获取第四特征图像。
在提取到第一线稿的特征图(第一特征图像)、第二线稿的特征图(第二特征图像)和第一色图的特征图(第三特征图像)之后，服务器可以根据两个线稿的特征图之间的相关度，结合第一色图的特征图，自动生成第二线稿对应的色图，第二色图，的特征图。
作为一种可选的实施例，根据第一特征图像和第二特征图像的相关度、以及第三特征图像，获取第四特征图像包括：对第二特征图像中的第一像素点与第一特征图像中的各个像素点的相关度进行归一化，得到目标相关度；使用第三特征图像中的像素点对目标相关度进行加权求和，确定第四特征图像中的第二像素点的值。
特征图像的相关度可以通过特征匹配确定，为了适应于线稿的大运动、大变形等，可以使用非局部特征匹配(全局特征匹配)的方式确定两个特征图像的相关度。上述特征匹配过程可以由可学习的特征匹配网络结构模块实现，例如，CM(Correlation Match，相关匹配)模块，该CM模块可以是运行在处理器上的软件单元或程序单元，也可以是单独集成的芯片。该CM模块可以与生成网络相结合，设计出用于线稿上色的一套网络结构。
对于第二特征图像中的任一像素点(第一像素点)，可以计算该像素点与第一特征图像中的各个像素点的相关度，并将得到的相关度进行归一化，得到目标相关度。得到的目标相关度可以包含与第一特征图像上的像素点数目一致的一组相关度。
在得到目标相关度之后，可以使用第一色图的特征图像上的像素点对目标相关度进行加权求和：将第三特征图像中的像素点的值分别与对应位置上的相关度相乘，并将相乘得到的值求和，从而得到第四特征图像上与第一像素点对应的像素点(即，第二像素点)的像素值。
例如，假设A域表示线稿，B域表示色图，x表示后帧(第二线稿)，y表示x的前帧(第一线稿，y可以为x的前一帧)。xA为A域的一张特征图，yA为A域的另一张特征图(第一特征图像)，yB为B域的和yA空间内容一致的图，xB为重构出来的与xA对应的B域上的特征图。CM模块的实现可以如公式(1)所示：
其中，i,j表示像素坐标，函数表示/>的相关性，不同于局部的(local)，CM模块中的输入各不相同。
通过本实施例，通过全局特征匹配的方式确定第四特征图像上的各个像素点的像素值，可以适应线稿的大运动，大变形，提升大运动、大变形下的上色准确度。
作为一种可选的实施例，在根据第一特征图像和第二特征图像的相关度、以及第三特征图像，获取第四特征图像之前，可以提取第一线稿的语义特征，得到第六特征图像；提取第二线稿的语义特征，得到第七特征图像；使用第六特征图像更新第一特征图像，得到更新后的第一特征图像；使用第七特征图像更新第二特征图像，得到更新后的第二特征图像。
可以在连续帧上色任务中使用线稿语义网络进行图像语义理解，将线稿语义网络引入到连续帧上色网络中，使得网络能够理解复杂的线稿语义变换关系，适应大变形，提高上色准确率。该线稿语义网络可以是任意能够进行图像语义分析的网络，相关技术中的语义提取网络(语义提取器)，均可用于本实施例中的语义特征提取。
可选地，在本实施例中，可以使用语义提取器分别提取第一线稿和第二线稿的语义特征，得到第六特征图像和第七特征图像。可以使用第六特征图像更新第一特征图像，得到更新后的第一特征图像，使用第七特征图像更新第二特征图像，得到更新后的第二特征图像。从而可以使用语义特征辅助进行相关度的计算，提高线稿上色的准确率。
通过本实施例，通过将线稿语义网络引入到连续帧上色网络中，使得网络能够理解复杂的线稿语义变换关系，从而适应大变形，提高上色准确率。
作为一种可选的实施例，使用第六特征图像更新第一特征图像，得到更新后的第一特征图像包括：将第六特征图像与第一特征图像进行并联或者相加，获取更新后的第一特征图像；使用第七特征图像更新第二特征图像，得到更新后的第二特征图像包括：将第七特征图像与第二特征图像进行并联或者相加，获取更新后的第二特征图像。
可以通过与已有特征图进行并联或者相加的方式来使用语义特征图更新已有特征图。在进行特征图更新时，可以将语义特征图与已有特征图并联，也就是，将两者作为不同通道的数据进行处理，也可以将语义特征图与已有特征图相加，也就是，将两者的数据进行相加后再进行后续处理。
需要说明的是，提取的特征维度不同，同一线稿可以对应于大小相同或者不同的多个特征图，提取的语义特征图可以与上述特征图的大小和/数量匹配，从而可以保证语义特征图与上述特征图能够进行并联或相加。
例如，如图3所示，前帧线稿S1输入编码器Es得到F1，后帧线稿S2输入编码器Es得到F2；前帧色图C1输入编码器Ec得到前帧线稿S1输入线稿语义提取器I得到Se1，后帧线稿S2通过语义提取器I得到Se2。将F1和Se1进行并联或者相加得到/>将F2和Se2进行并联或者相加得到/>
需要说明的是，编码器的卷积网络层数可以为n，则F1、F2、Fc1的特征图的层数可以有n层，分别用0～(n-1)进行表示，0表示编码器最内层的输出，将F1和Se1进行并联或者相加可以是将F1最内层的输出与Se1(Se1为语义网络的一层输出，即，仅使用语义网络的一层输出与编码器的输出相连)进行并联或者相加，也可以是将F1每层的输出与Se1对应层的输出进行并联或者相加，具体的并联或者相加的方式可以根据需要设定，本实施例中对此不作具体限定。
作为一种可选的实施例，根据第一特征图像和第二特征图像的相关度，以及第三特征图像，获取第四特征图像包括：将第一特征图像、第二特征图像和第三特征图像输入到目标解码模型，得到目标解码模型输出的第四特征图像，其中，目标解码模型是使用具有关联关系的多个训练线稿和与多个训练线稿一一对应的多个训练色图对初始解码模型进行训练得到的，目标解码模型用于根据第三特征图像对第二特征图像和第一特征图像的相关度进行加权，得到第四特征图像。
可以使用已经训练的目标解码器(例如，目标解码模型)来获取第四特征图像。该目标解码模型可以属于目标线稿上色模型的一部分，该线稿上色模型包含编码模型和解码模型，可以实现从输入第一线稿、第二线稿和第一色图到输出第二色图的完整过程，例如，编码过程(特征提取过程)，解码过程(相关度计算以及色图确定过程)。
目标解码模型是使用具有关联关系的多个训练线稿和与多个训练线稿一一对应的多个训练色图对初始解码模型进行训练得到的。在训练的过程中，可以将多个训练线稿中的前帧线稿、前帧线稿的色图和后帧线稿输入到初始线稿上色模型(包含初始解码模型)，获取初始线稿上色模型输出的后帧线稿对应的初始色图，通过将初始色图与后帧线稿的色图进行比较，按照损失函数调整模型参数，使得模型输出的后帧线稿的色图与训练样本中后帧线稿对应的色图的差别小于或者等于设置的阈值。
需要说明的是，如果模型中引入了语义网络，则语义网络的参数可以是固定的，训练时仅调整编码部分和解码部分的参数，语义网络的参数也可以是可调的，训练时可以调整编码部分、语义网络部分和解码部分的参数。
例如，对于如图3所示的生成器，可以使用GAN训练方式进行训练，设生成器为G，训练数据集为(S1,C1,S2,C2)，设图片大小为W×H，其中，S1、S2分别为前帧线稿和后帧线稿，C1、C2分别为前帧色图和后帧色图，则生成的色图
可以使用对生成器进行训练，其中，Lcontent为/>和C的一种距离函数，Ladv为GAN loss，λ为调节两种比例的参数。
对于训练得到的目标解码模型，可以将第一特征图像、第二特征图像和第三特征图像输入到目标解码模型。目标解码模型可以根据第三特征图像对第二特征图像和第一特征图像的相关度进行加权，得到第四特征图像。
通过本实施例，通过使用训练好的解码模型获取第四特征图像，可以提高第四特征图像的获取效率。
可选地，在本实施例中，目标解码模型包括多层特征匹配网络和多层卷积网络，特征匹配网络用于根据第一特征参数对第二特征参数和第三特征参数的相关度进行加权，输出中间特征图像，卷积网络用于将第四特征参数和第五特征参数进行并联后，依次通过卷积网络的卷积层和上采样层，输出参考特征图像。
可以将CM模块和生成器结合，得到一个由粗到细的生成匹配融合网络结构，兼具生成和匹配的优势，可以在保证匹配准确性的同时，对线稿的未匹配区域进行生成。
为了实现由粗到细的匹配，可以设置多层特征匹配网络，以进行不同大小、不同维度的特征匹配。为了保证前一层的匹配结果可以用于本层的特征匹配，可以对前一层的输出结果进行上采样，以保证处理的特征图的大小一致。
目标解码模型包括多层特征匹配网络和多层卷积网络，特征匹配网络用于根据第一特征参数对第二特征参数和第三特征参数的相关度进行加权，输出中间特征图像，卷积网络用于将第四特征参数和第五特征参数进行并联后，依次通过卷积网络的卷积层和上采样层，输出参考特征图像。
作为一种可选的实施例，在目标解码模型的不同卷积网络，其处理数据的方式可以相同，也可以不同。
如果当前特征匹配网络为第一层特征匹配网络，可以将第三特征图像与当前特征匹配网络对应的子特征图像作为第一特征参数，第二特征图像与当前特征匹配网络对应的子特征图像作为第二特征参数，第一特征图像与当前特征匹配网络对应的子特征图像作为第三特征参数输入到当前特征匹配网络，得到当前特征匹配网络输出的中间特征图像。
例如，对于如图3所示的生成器的解码器中的第一层特征匹配网络(最内层特征匹配网络)，将和/>(编码器最内层的输出)进行相关性计算，取相关性函数为于是原公式等价为CM(xA,yA,yB)＝softmax((xA)TyA)yB，将/>和输入到CM模块中计算得到/>
如果当前特征匹配网络为除了第一层特征匹配网络以外的特征匹配网络，可以将第二特征图像与当前特征匹配网络的前一层特征匹配网络对应的子特征图像作为第四特征参数，前一层特征匹配网络输出的中间特征图像作为第五特征参数输入到与当前特征匹配网络对应的当前卷积网络，得到当前卷积网络输出的参考特征图像。
例如，对于如图3所示的生成器的解码器中的除了第一层特征匹配网络以外的其他特征匹配网络，可以首先通过卷积网络对前一层的特征匹配网络的输出进行处理。在得到第一层特征匹配网络的输出后，可以将/>和/>进行并联，通过卷积层和上采样层得到/>即，/>其中，conv0为卷积操作，up0为上采样操作，cat为并联操作。
在得到参考特征图像，可以将第三特征图像与当前特征匹配网络对应的子特征图像作为第一特征参数和第三特征参数、将当前卷积网络输出的参考特征图像作为第二特征参数输入到当前特征匹配网络，得到当前特征匹配网络输出的中间特征图像。
例如，如图3所示，在得到之后，可以继续将/>和/>输入到CM模块，得到继续通过卷积核和上采样，得到/>
依次类推，可以得到第n层的计算(卷积网络)和第(n-1)层的特征匹配网络的计算之间的计算关系可以如公式(2)所示：
第n层的特征匹配网络的输出可以如公式(3)所示：
按照第二层进行类推，可以得到后层的网络结构，最终得到生成的图，其中，N为CM模块结构的层数。
在步骤S206提供的技术方案中，根据第二特征图像，将第四特征图像转换为与第二线稿对应的第二色图。
第四特征图像是根据第一线稿的特征图、第二线稿的特征图和第一色图的特征图进行相关性计算得到的，该第四特征图像可以认为是第二色图的特征图。因此，在得到第四特征图像之后，可以根据第四特征图像获取第二线稿对应的第二色图。
获取第二色图的方式可以是根据第二线稿的特征图(例如，可以是编码器输出的第一层特征图)和第四特征图像得到的。第二线稿的特征图可以调整由第四特征图像到第二色图的转换过程，从而提高得到的第二色图与第二线稿的匹配程度。
作为一种可选的实施例，根据第二特征图像，将第四特征图像转换为与第二线稿对应的第二色图包括：将第二特征图像和第四特征图像进行并联，获取并联后得到的第五特征图像；对第五特征图像进行卷积，并对卷积后得到的特征图像进行上采样，获取与第二线稿对应的第二色图。
可以首先将第二特征图像和第四特征图像进行并联，获取并联后得到的第五特征图像。对第五特征图像进行卷积和上采样，可以得到与第二线稿对应的色图，即，第二色图。
例如，如图3所示的生成器，在得到之后，可以将/>与/>并联，对并联结果进行卷积之后上采样，/>生成第二线稿的色图。
通过本实施例，通过对第二特征图像和第四特征图像进行并联、卷积和上采样，得到第二线稿的色图，可以提高得到的第二色图与第二线稿的匹配程度。
下面结合可选示例对上述线稿对应色图的获取方法进行说明。在本示例中，多媒体资源为动漫线稿，该动漫线稿包含多个连续的线稿，第一线稿为动漫线稿中的前帧线稿，第二线稿为动漫线稿中的后帧线稿，由服务器采用如图3所示的生成器执行后帧线稿对应色图的自动生成。
在本示例中，将CM模块添加到生成器中，CM模块可以方便地对特征进行匹配和重构，使得网络可以通过大数据学习到适应于特征匹配的特征图，从而适应不同风格的漫画。另外，由于CM模块会对全域进行匹配计算，这使得模型可以适应线稿的大运动、大变形。将CM模块和生成网络相结合，使得网络能在保证匹配准确性的前提下提高上色图的质量。
同时，将CM模块融入到生成器中，形成了一个由粗到细的生成和匹配融合的网络结构，降低了匹配难度，提高了上色准确率，结合生成器可以在保证匹配的同时，对线稿的未匹配区域进行生成。
此外，将线稿语义网络引入到连续帧上色网络中，使得网络能够理解复杂的线稿语义变换关系，适应大变形，提高上色准确率。
如图4所示，本示例中的线稿对应色图的获取方法的流程可以包括以下步骤：
步骤S402，获取动漫线稿和至少一个线稿对应的色图。
服务器可以接收终端设备上的客户端所上传的动漫线稿，以及至少一个线稿对应的色图。
步骤S404，将动漫线稿和至少一个线稿对应的色图输入到生成器，得到生成器输出的至少一个线稿对应的色图。
服务器可以将动漫线稿前帧线稿、前帧线稿对应的色图和后帧线稿输入到生成器。生成器的编码器和解码器对输入数据进行处理，并最终输出与后帧线稿对应的色图。
前帧线稿S1输入编码器Es得到F1，后帧线稿S2输入编码器Es得到F2；前帧色图C1输入编码器Ec得到前帧线稿S1输入线稿语义提取器I得到Se1，后帧线稿S2通过语义提取器I得到Se2；将F1和Se1进行并联或者相加得到/>将F2和Se2进行并联或者相加得到/>
编码器中的CM模块、卷积上采样模块分别按照公式(3)和公式(2)进行数据处理，最终得到的为与后帧线稿对应的色图。
步骤S406，将生成的色图输出的客户端上进行显示。
服务器在每生成一个色图或者在生成所有色图之后，可以将生成的色图发送到终端设备上的客户端进行显示。
通过本示例，将CM模块融入到生成器中，提高了连续帧上色模型适应性，提高了在大运动，大变形下的上色准确率；将线稿语义网络引入到连续帧上色任务中，可以适应于复杂语义变化，提高了语义匹配的准确性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
根据本申请实施例的另一个方面，提供了一种用于实施上述实施例中的线稿对应色图的获取方法的线稿对应色图的获取装置。可选地，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本申请实施例的一种可选的线稿对应色图的获取装置的结构框图，如图5所示，该装置包括：
(1)第一提取单元52，用于分别提取第一线稿的第一特征图像、第二线稿的第二特征图像和第一色图的第三特征图像，其中，第一线稿与第二线稿之间具有关联关系，第一色图为第一线稿的色图；
(2)获取单元54，与第一提取单元52相连，用于根据第一特征图像和第二特征图像的相关度、以及第三特征图像，获取第四特征图像，其中，第四特征图像为与第二线稿的色图对应的特征图像；
(3)转换单元56，与获取单元54相连，用于根据第二特征图像，将第四特征图像转换为与第二线稿对应的第二色图。
可选地，第一提取单元52可以用于上述实施例中的步骤S202，获取单元54可以用于上述实施例中的步骤S204，转换单元56可以用于执行上述实施例中的步骤S206。
通过上述模块，通过分别提取第一线稿的第一特征图像、第二线稿的第二特征图像和第一色图的第三特征图像，其中，第一线稿与第二线稿之间具有关联关系，第一色图为第一线稿的色图；根据第一特征图像和第二特征图像的相关度、以及第三特征图像，获取第四特征图像，其中，第四特征图像为与第二线稿的色图对应的特征图像；根据第二特征图像，将第四特征图像转换为与第二线稿对应的第二色图，解决了相关技术中的线稿上色方式存在的无法对形状变换较大和有新形状出现的线稿进行上色的问题，提高了线稿上色方式的适用性，提升了大运动、大变形下的上色准确率。
作为一种可选的实施例，获取单元54包括：
(1)归一化模块，用于对第二特征图像中的第一像素点与第一特征图像中的各个像素点的相关度进行归一化，得到目标相关度，其中，第一像素点为第二特征图像中的任一像素点；
(2)确定模块，用于使用第三特征图像中的像素点对目标相关度进行加权求和，确定第四特征图像中的第二像素点的值，其中，第二像素点为第四特征图像中与第一像素点对应的像素点。
作为一种可选的实施例，获取单元54包括：
(1)输入模块，用于将第一特征图像、第二特征图像和第三特征图像输入到目标解码模型，得到目标解码模型输出的第四特征图像，其中，目标解码模型是使用具有关联关系的多个训练线稿和与多个训练线稿一一对应的多个训练色图对初始解码模型进行训练得到的，目标解码模型用于根据第三特征图像对第二特征图像和第一特征图像的相关度进行加权，得到第四特征图像。
可选地，在本实施例中，目标解码模型包括多层特征匹配网络和多层卷积网络，特征匹配网络用于根据第一特征参数对第二特征参数和第三特征参数的相关度进行加权，输出中间特征图像，卷积网络用于将第四特征参数和第五特征参数进行并联后，依次通过卷积网络的卷积层和上采样层，输出参考特征图像，
作为一种可选的实施例，输入模块包括：
(1)第一输入子模块，用于在当前特征匹配网络为第一层特征匹配网络的情况下，将第三特征图像与当前特征匹配网络对应的子特征图像作为第一特征参数，第二特征图像与当前特征匹配网络对应的子特征图像作为第二特征参数，第一特征图像与当前特征匹配网络对应的子特征图像作为第三特征参数输入到当前特征匹配网络，得到当前特征匹配网络输出的中间特征图像；
(1)第二输入子模块，用于在当前特征匹配网络为除了第一层特征匹配网络以外的特征匹配网络的情况下，将第二特征图像与当前特征匹配网络的前一层特征匹配网络对应的子特征图像作为第四特征参数，前一层特征匹配网络输出的中间特征图像作为第五特征参数输入到与当前特征匹配网络对应的当前卷积网络，得到当前卷积网络输出的参考特征图像；
(3)第三输入子模块，用于将第三特征图像与当前特征匹配网络对应的子特征图像作为第一特征参数和第三特征参数、将当前卷积网络输出的参考特征图像作为第二特征参数输入到当前特征匹配网络，得到当前特征匹配网络输出的中间特征图像；
其中，第四特征图像为多层特征匹配网络的最后一层特征匹配网络输出的中间特征图像。
作为一种可选的实施例，转换单元56包括：
(1)并联模块，用于将第二特征图像和第四特征图像进行并联，获取并联后得到的第五特征图像；
(2)第一获取模块，用于对第五特征图像进行卷积，并对卷积后得到的特征图像进行上采样，获取与第二线稿对应的第二色图。
作为一种可选的实施例，上述装置还包括：
(1)第二提取单元，用于在根据第一特征图像和第二特征图像的相关度、以及第三特征图像，获取第四特征图像之前，提取第一线稿的语义特征，得到第六特征图像；
(2)第三提取单元，用于提取第二线稿的语义特征，得到第七特征图像；
(3)第一更新单元，用于使用第六特征图像更新第一特征图像，得到更新后的第一特征图像；
(4)第二更新单元，用于使用第七特征图像更新第二特征图像，得到更新后的第二特征图像。
作为一种可选的实施例，第一更新单元包括：第二获取模块，第二更新单元包括：第三获取模块，其中，
(1)第二获取模块，用于将第六特征图像与第一特征图像进行并联或者相加，获取更新后的第一特征图像；
(2)第三获取模块，用于将第七特征图像与第二特征图像进行并联或者相加，获取更新后的第二特征图像。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
根据本申请实施例的另一个方面，还提供了一种用于实施上述线稿对应色图的获取方法的电子装置，该电子装置可以是服务器、终端或者其组合。
以服务器为例，图6是根据本申请实施例的一种服务器的结构框图，如图6所示，该服务器可以包括：一个或多个(图中仅示出一个)处理器601、存储器603、以及传输装置605，如图6所示，该服务器还可以包括输入输出设备607。
其中，存储器603可用于存储软件程序以及模块，如本申请实施例中的线稿对应色图的获取方法和装置对应的程序指令/模块，处理器601通过运行存储在存储器603内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的线稿对应色图的获取方法。存储器603可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器603可进一步包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置605用于经由一个网络接收或者发送数据，还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置605包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置605为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
其中，具体地，存储器603用于存储应用程序。
处理器601可以通过传输装置605调用存储器603存储的应用程序，以执行下述步骤：
S1，分别提取第一线稿的第一特征图像、第二线稿的第二特征图像和第一色图的第三特征图像，其中，第一线稿与第二线稿之间具有关联关系，第一色图为第一线稿的色图；
S2，根据第一特征图像和第二特征图像的相关度、以及第三特征图像，获取第四特征图像，其中，第四特征图像为与第二线稿的色图对应的特征图像；
S3，根据第二特征图像，将第四特征图像转换为与第二线稿对应的第二色图。
采用本申请实施例，提供了一种线稿对应色图的获取方案。通过分别提取第一线稿的第一特征图像、第二线稿的第二特征图像和第一色图的第三特征图像，其中，第一线稿与第二线稿之间具有关联关系，第一色图为第一线稿的色图；根据第一特征图像和第二特征图像的相关度、以及第三特征图像，获取第四特征图像，其中，第四特征图像为与第二线稿的色图对应的特征图像；根据第二特征图像，将第四特征图像转换为与第二线稿对应的第二色图，解决了相关技术中的线稿上色方式存在的无法对形状变换较大和有新形状出现的线稿进行上色的问题，提高了线稿上色方式的适用性，提升了大运动、大变形下的上色准确率。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图6所示的结构仅为示意，实施上述线稿对应色图的获取方法的设备还可以是终端，该终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图6其并不对上述电子装置的结构造成限定。例如，终端还可包括比图6中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图6所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行线稿对应色图的获取方法的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
S1，分别提取第一线稿的第一特征图像、第二线稿的第二特征图像和第一色图的第三特征图像，其中，第一线稿与第二线稿之间具有关联关系，第一色图为第一线稿的色图；
S2，根据第一特征图像和第二特征图像的相关度、以及第三特征图像，获取第四特征图像，其中，第四特征图像为与第二线稿的色图对应的特征图像；
S3，根据第二特征图像，将第四特征图像转换为与第二线稿对应的第二色图。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (8)

1.一种线稿对应色图的获取方法，其特征在于，包括：
分别提取第一线稿的第一特征图像、第二线稿的第二特征图像和第一色图的第三特征图像，其中，所述第一线稿与所述第二线稿之间具有关联关系，所述第一色图为所述第一线稿的色图；
根据所述第一特征图像和所述第二特征图像的相关度、以及所述第三特征图像，获取第四特征图像，其中，所述第四特征图像为与所述第二线稿的色图对应的特征图像；
根据所述第二特征图像，将所述第四特征图像转换为与所述第二线稿对应的第二色图；
根据所述第一特征图像和所述第二特征图像的相关度，以及所述第三特征图像，获取所述第四特征图像包括：将所述第一特征图像、所述第二特征图像和所述第三特征图像输入到目标解码模型，得到所述目标解码模型输出的所述第四特征图像，其中，所述目标解码模型是使用具有关联关系的多个训练线稿和与所述多个训练线稿一一对应的多个训练色图对初始解码模型进行训练得到的，所述目标解码模型用于根据所述第三特征图像对所述第二特征图像和所述第一特征图像的相关度进行加权，得到所述第四特征图像；
所述目标解码模型包括多层特征匹配网络和多层卷积网络，所述特征匹配网络用于根据第一特征参数对第二特征参数和第三特征参数的相关度进行加权，输出中间特征图像，所述卷积网络用于将第四特征参数和第五特征参数进行并联后，依次通过所述卷积网络的卷积层和上采样层，输出参考特征图像，将所述第一特征图像、所述第二特征图像和所述第三特征图像输入到所述目标解码模型，得到所述目标解码模型输出的所述第四特征图像包括：在当前特征匹配网络为第一层特征匹配网络的情况下，将所述第三特征图像与所述当前特征匹配网络对应的子特征图像作为所述第一特征参数，所述第二特征图像与所述当前特征匹配网络对应的子特征图像作为所述第二特征参数，所述第一特征图像与所述当前特征匹配网络对应的子特征图像作为所述第三特征参数输入到所述当前特征匹配网络，得到所述当前特征匹配网络输出的中间特征图像；在当前特征匹配网络为除了所述第一层特征匹配网络以外的特征匹配网络的情况下，将所述第二特征图像与所述当前特征匹配网络的前一层特征匹配网络对应的子特征图像作为所述第四特征参数，所述前一层特征匹配网络输出的中间特征图像作为所述第五特征参数输入到与所述当前特征匹配网络对应的当前卷积网络，得到所述当前卷积网络输出的参考特征图像；将所述第三特征图像与所述当前特征匹配网络对应的子特征图像作为所述第一特征参数和所述第三特征参数、将所述当前卷积网络输出的参考特征图像作为所述第二特征参数输入到所述当前特征匹配网络，得到所述当前特征匹配网络输出的中间特征图像；其中，所述第四特征图像为所述多层特征匹配网络的最后一层特征匹配网络输出的中间特征图像。
2.根据权利要求1所述的方法，其特征在于，根据所述第一特征图像和所述第二特征图像的相关度、以及所述第三特征图像，获取所述第四特征图像包括：
对所述第二特征图像中的第一像素点与所述第一特征图像中的各个像素点的相关度进行归一化，得到目标相关度，其中，所述第一像素点为所述第二特征图像中的任一像素点；
使用所述第三特征图像中的像素点对所述目标相关度进行加权求和，确定所述第四特征图像中的第二像素点的值，其中，所述第二像素点为所述第四特征图像中与所述第一像素点对应的像素点。
3.根据权利要求1所述的方法，其特征在于，根据所述第二特征图像，将所述第四特征图像转换为与所述第二线稿对应的所述第二色图包括：
将所述第二特征图像和所述第四特征图像进行并联，获取并联后得到的第五特征图像；
对所述第五特征图像进行卷积，并对卷积后得到的特征图像进行上采样，获取与所述第二线稿对应的所述第二色图。
4.根据权利要求1至3中任一项所述的方法，其特征在于，在根据所述第一特征图像和所述第二特征图像的相关度、以及所述第三特征图像，获取所述第四特征图像之前，所述方法还包括：
提取所述第一线稿的语义特征，得到第六特征图像；
提取所述第二线稿的语义特征，得到第七特征图像；
使用所述第六特征图像更新所述第一特征图像，得到更新后的所述第一特征图像；
使用所述第七特征图像更新所述第二特征图像，得到更新后的所述第二特征图像。
5.根据权利要求4所述的方法，其特征在于，
使用所述第六特征图像更新所述第一特征图像，得到更新后的所述第一特征图像包括：将所述第六特征图像与所述第一特征图像进行并联或者相加，获取更新后的所述第一特征图像；
使用所述第七特征图像更新所述第二特征图像，得到更新后的所述第二特征图像包括：将所述第七特征图像与所述第二特征图像进行并联或者相加，获取更新后的所述第二特征图像。
6.一种线稿对应色图的获取装置，其特征在于，包括：
第一提取单元，用于分别提取第一线稿的第一特征图像、第二线稿的第二特征图像和第一色图的第三特征图像，其中，所述第一线稿与所述第二线稿之间具有关联关系，所述第一色图为所述第一线稿的色图；
获取单元，用于根据所述第一特征图像和所述第二特征图像的相关度、以及所述第三特征图像，获取第四特征图像，其中，所述第四特征图像为与所述第二线稿的色图对应的特征图像；
转换单元，用于根据所述第二特征图像，将所述第四特征图像转换为与所述第二线稿对应的第二色图；
所述获取单元，将所述第一特征图像、所述第二特征图像和所述第三特征图像输入到目标解码模型，得到所述目标解码模型输出的所述第四特征图像，其中，所述目标解码模型是使用具有关联关系的多个训练线稿和与所述多个训练线稿一一对应的多个训练色图对初始解码模型进行训练得到的，所述目标解码模型用于根据所述第三特征图像对所述第二特征图像和所述第一特征图像的相关度进行加权，得到所述第四特征图像；所述目标解码模型包括多层特征匹配网络和多层卷积网络，所述特征匹配网络用于根据第一特征参数对第二特征参数和第三特征参数的相关度进行加权，输出中间特征图像，所述卷积网络用于将第四特征参数和第五特征参数进行并联后，依次通过所述卷积网络的卷积层和上采样层，输出参考特征图像，将所述第一特征图像、所述第二特征图像和所述第三特征图像输入到所述目标解码模型，得到所述目标解码模型输出的所述第四特征图像包括：在当前特征匹配网络为第一层特征匹配网络的情况下，将所述第三特征图像与所述当前特征匹配网络对应的子特征图像作为所述第一特征参数，所述第二特征图像与所述当前特征匹配网络对应的子特征图像作为所述第二特征参数，所述第一特征图像与所述当前特征匹配网络对应的子特征图像作为所述第三特征参数输入到所述当前特征匹配网络，得到所述当前特征匹配网络输出的中间特征图像；在当前特征匹配网络为除了所述第一层特征匹配网络以外的特征匹配网络的情况下，将所述第二特征图像与所述当前特征匹配网络的前一层特征匹配网络对应的子特征图像作为所述第四特征参数，所述前一层特征匹配网络输出的中间特征图像作为所述第五特征参数输入到与所述当前特征匹配网络对应的当前卷积网络，得到所述当前卷积网络输出的参考特征图像；将所述第三特征图像与所述当前特征匹配网络对应的子特征图像作为所述第一特征参数和所述第三特征参数、将所述当前卷积网络输出的参考特征图像作为所述第二特征参数输入到所述当前特征匹配网络，得到所述当前特征匹配网络输出的中间特征图像；其中，所述第四特征图像为所述多层特征匹配网络的最后一层特征匹配网络输出的中间特征图像。
7.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至5中任一项所述的方法。
8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至5中任一项所述的方法。
CN202010347093.0A 2020-04-27 2020-04-27 线稿对应色图的获取方法和装置、存储介质和电子装置 Active CN111553961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010347093.0A CN111553961B (zh) 2020-04-27 2020-04-27 线稿对应色图的获取方法和装置、存储介质和电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010347093.0A CN111553961B (zh) 2020-04-27 2020-04-27 线稿对应色图的获取方法和装置、存储介质和电子装置

Publications (2)

Publication Number Publication Date
CN111553961A CN111553961A (zh) 2020-08-18
CN111553961B true CN111553961B (zh) 2023-09-08

Family

ID=72005858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010347093.0A Active CN111553961B (zh) 2020-04-27 2020-04-27 线稿对应色图的获取方法和装置、存储介质和电子装置

Country Status (1)

Country Link
CN (1) CN111553961B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937356A (zh) * 2022-04-25 2023-04-07 北京字跳网络技术有限公司 图像处理方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014044595A (ja) * 2012-08-27 2014-03-13 Utsunomiya Univ 線画着色システム
CN108615252A (zh) * 2018-05-03 2018-10-02 苏州大学 基于参考图像的线稿上色模型的训练方法以及装置
CN109147003A (zh) * 2018-08-01 2019-01-04 北京东方畅享科技有限公司 对线稿图像进行上色的方法、设备以及存储介质
CN109859288A (zh) * 2018-12-25 2019-06-07 北京飞搜科技有限公司 基于生成对抗网络的图像上色方法及装置
JP6676744B1 (ja) * 2018-12-28 2020-04-08 株式会社Ｃｙｇａｍｅｓ 画像処理方法、画像処理システム及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7252701B2 (ja) * 2017-05-23 2023-04-05 株式会社Preferred Networks システム、プログラム、および方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014044595A (ja) * 2012-08-27 2014-03-13 Utsunomiya Univ 線画着色システム
CN108615252A (zh) * 2018-05-03 2018-10-02 苏州大学 基于参考图像的线稿上色模型的训练方法以及装置
CN109147003A (zh) * 2018-08-01 2019-01-04 北京东方畅享科技有限公司 对线稿图像进行上色的方法、设备以及存储介质
CN109859288A (zh) * 2018-12-25 2019-06-07 北京飞搜科技有限公司 基于生成对抗网络的图像上色方法及装置
JP6676744B1 (ja) * 2018-12-28 2020-04-08 株式会社Ｃｙｇａｍｅｓ 画像処理方法、画像処理システム及びプログラム

Also Published As

Publication number Publication date
CN111553961A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
US11551333B2 (en) Image reconstruction method and device
US20200349680A1 (en) Image processing method and device, storage medium and electronic device
CN108022212B (zh) 高分辨率图片生成方法、生成装置及存储介质
US10192163B2 (en) Audio processing method and apparatus based on artificial intelligence
US20210160556A1 (en) Method for enhancing resolution of streaming file
CN110163801B (zh) 一种图像超分辨和着色方法、***及电子设备
CN111476708B (zh) 模型生成方法、模型获取方法、装置、设备及存储介质
CN110751649B (zh) 视频质量评估方法、装置、电子设备及存储介质
CN107464217B (zh) 一种图像处理方法及装置
CN112950471A (zh) 视频超分处理方法、装置、超分辨率重建模型、介质
CN110599395A (zh) 目标图像生成方法、装置、服务器及存储介质
CN110874575A (zh) 一种脸部图像处理方法及相关设备
CN113222855A (zh) 一种图像恢复方法、装置和设备
US20220067888A1 (en) Image processing method and apparatus, storage medium, and electronic device
CN116485741A (zh) 一种无参考图像质量评价方法、***、电子设备及存储介质
CN113822790A (zh) 一种图像处理方法、装置、设备及计算机可读存储介质
CN116958534A (zh) 一种图像处理方法、图像处理模型的训练方法和相关装置
CN115713462A (zh) 超分辨模型训练方法、图像识别方法、装置及设备
CN111553961B (zh) 线稿对应色图的获取方法和装置、存储介质和电子装置
US11887277B2 (en) Removing compression artifacts from digital images and videos utilizing generative machine-learning models
US10445921B1 (en) Transferring motion between consecutive frames to a digital image
US20230060988A1 (en) Image processing device and method
CN115272667B (zh) 农田图像分割模型训练方法、装置、电子设备和介质
CN116486009A (zh) 单目三维人体重建方法、装置以及电子设备
WO2022178975A1 (zh) 基于噪声场的图像降噪方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant