CN109849576A - 一种参考灰度图辅助绘画的方法 - Google Patents

Abstract

本发明公开了一种参考灰度图辅助绘画的方法，包括训练阶段：获取训练图像，并将训练图像转化为灰度图，同时将训练图像进行语义分割标注获得语义分割图像，以语义分割图像作为输入，以对应的灰度图作为输出，对能够实现图像转化为图像的深度学习模型进行训练，确定模型参数，获得灰度图生成模型；应用阶段：绘制语义分割图，并将绘制的语义分割图输入至灰度图生成模型中，经计算生成多张灰度图，根据从灰度图中选择可以参考的灰度图，对语义分割图进行纹理绘制，完善绘画作品。该绘画辅助方法将通过语义分割图转换成生成灰度图，提供绘画上的内容细节上的明暗、纹理参考，支持作者从灰度图中寻找灵感，减少作画者在构思作品细节上的时间。

Description

一种参考灰度图辅助绘画的方法

技术领域

本发明属于绘画辅助领域，具体涉及一种参考灰度图辅助绘画的方法。

背景技术

随着计算机行业的发展，计算机在创意设计的过程中经历了执行、模仿、助手的转变。在绘画创作领域，计算机从一个提供多种功能的工具逐渐转变成绘画辅助的角色。技术的发展已经使得计算机可以通过学***的绘画创作。在辅助绘画的领域，计算机辅助仍有极大的可扩展空间。

现有的人工智能技术生成技术在绘画中的应用可简单分为作品生成以及辅助信息生成两个方面。作品生成直接生成最终的结果，结果通常是固定不变的。辅助信息生成在作画过程中提供辅助信息，帮助作画者快速得到最后的结果。

作品生成的应用基于作者画的初稿，作者先设计简单的作品初稿，例如草稿、线稿、布局图等，人工智能技术直接完成接下来的生成工作，直接将简单的作品初稿生成最终的作品。这样的方法虽然非常便利，但是给予了模型相当大的自由空间，模型可选择生成的结果种类过多，导致生成的图像效果非常差，同时过度依赖初稿的内容和作画水平，只有极少部分的符合模型生成的初稿内容能得到良好的结果。尽管目前的深度学习模型已经能够学习出画作的风格，并可以通过风格迁移的方式得到最终的作品，效果也较好，但是这样的作品往往都是抽象的，细微的差别并不会影响整幅画作的体验。而在非抽象的视觉图像上，人对细小的扭曲和错乱是很敏感的，而人工智能技术生成的作品往往会具有违反常识的误差。限于目前的生成技术，在非抽象的图像领域直接将人工智能技术生成的结果作为作品仍有很多困难需要解决。

辅助信息生成的应用将生成结果在作画过程中提供给作者用作参考，这样的参考方式种类较多，例如画线稿时提供下一笔的预测线条，画布局图时提供生成效果以作参考。这些方式提供的参考效果单一，通常基于线条和整体的效果，绝大部份不提供细节内容上的指导。而作画者在通常的作画过程中要丰富画作的细节，需要从日常生活和记忆中获取细节的灵感，非常需要这方面的指导和参考。目前也缺少人工智能技术上的相关应用支持提供内容细节上的参考。

发明内容

本发明的目的是提供一种参考灰度图辅助绘画的方法，该绘画辅助方法将通过语义分割图转换成生成灰度图，提供绘画上的内容细节上的明暗、纹理参考，支持作者从灰度图中寻找灵感，减少作画者在构思作品细节上的时间，进而能够高效、便捷地辅助绘画。

为实现上述发明目的，本发明提供以下技术方案：

一种参考灰度图辅助绘画的方法参考灰度图辅助绘画的方法，包括以下步骤：

训练阶段：获取训练图像，并将训练图像转化为灰度图，确定语义种类和颜色-语义对应关系，根据颜色-语义对应关系对训练图像进行语义分割，获得语义分割图像，以语义分割图像作为输入，以对应的灰度图作为输出，对能够实现图像转化为图像的深度学习模型进行反复迭代训练，获得语义分割图到灰度图的转化模型；

应用阶段：按照颜色-语义对应关系和语义种类，根据绘画意图绘制语义分割图，并将绘制的语义分割图输入至语义分割图到灰度图的转化模型中，经计算生成多张灰度图，根据从灰度图中选择参考的灰度图，对语义分割图进行纹理绘制，丰富绘画作品的内容。

本发明中，利用人工智能技术来辅助绘画，利用深度学习模型训练语义分割图到灰度图，得到将语义分割图转化成灰度图的模型。利用训练好的模型生成满足作画者意图的灰度图提供参考，可以反复迭代生成过程，支持作画者不断地从模型生成的灰度图中寻找灵感，减少作画者在构思作品细节上的时间，具有高效、便捷、新颖的特点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明参考灰度图辅助绘画的方法的流程框图；

图2是语义分割图的示例；

图3是灰度图的示例。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了提升绘画的效果和效率，如图1所示，本发明提供了一种参考灰度图辅助绘画的方法，包括以下过程：

S101，获取训练图像，通过图像灰度化算法将训练图像转化为灰度图。

本实施例中，训练图像可以从网络搜索、人为拍摄或者某些数据库。一般训练图像一般具有相似的语义构成，例如都是风景画、街景以及高楼建筑等。为了保证足够的数据训练深度学习模型，获取的训练图像不低于5000张。

灰度图是一种在原始图像基础上去除了颜色和部分细节的图像，但是保留了内容细节上的纹理、明暗等信息，其细节丰富度低于原图但是高于草图。灰度图作为一种图像类型具有两个优点，一是能够通过深度学习模型生成，二是具有丰富的细节信息，三是可以通过在训练图像上执行算法得到，以上特征决定了灰度图适合作为参考图像。

本实施例中，采用公式(1)将训练图像(也就是RGB彩色图)转化为灰度图；

Gray(i，j)＝0.299*R(i，j)+0.587*G(i，j)+0.144*B(i，j) (1)

其中，R(i，j)为R通道图像，G(i，j)为G通道图像，B(i，j)为B通道图像，转化的灰度图如图3所示。

S102，确定语义种类和颜色-语义对应关系，根据颜色-语义对应关系对训练图像进行语义分割，获得语义分割图像。

其中，根据颜色-语义对应关系对训练图像进行语义分割包括：

按照图像中的物体所对应的颜色对训练图像进行分割，对图像中的相似或相同的物体以同一颜色进行标注，以获得语义分割图像。此过程可以是人工进行语义分割，还可以是利用设定的算法进行语义分割，分割后的语义分割图像可以如图2所示。

本实施例中，对训练图像中的物体进行分类，总共分为若干类，每个类别代表相同或者相似的物体，用固定的颜色表示其类别。其中，相似的物体是指属于同一类的物体，例如：桦树、柏树等都属树木这一类，可以用绿色代表树木。这样，就可以将训练图像转化为仅用颜色表示的语义分割图像，语义分割图像中，用相同的颜色表示具有相同语义信息的区域。

S103，以语义分割图像作为输入，以对应的灰度图作为输出，对能够实现图像转化为图像的深度学习模型进行训练，反复迭代直至模型收敛，获得语义分割图到灰度图的转化模型。

本实施例中，选择pix2pixHD模型作为深度学习模型，对pix2pixHD模型进行端到端的训练，获得语义分割图到灰度图的转化模型。Pix2pixHD模型是一种条件生成对抗网络，主要应用于图像翻译领域。针对本发明提出的任务，生成器G的目标是将语义分割图生成对应的灰度图，而判别器D则：1)区分真实的灰度图和生成的灰度图；2)判断灰度图和语义分割图之间的映射是否正确。pix2pixHD模型为一种图像翻译模型，具有强大的图片转化能力，可以从训练图片中学习到图片的纹理、明暗规律等信息，即可以将语义分割图像转化为灰度图，从而丰富细节信息。

具体地，pix2pixHD模型的输入为label图的one-hot向量表示。Pix2pixHD模型的生成器由两个子生成器构成，G₁为全局生成器，G₂为局部增强生成器，用于扩大生成结果图像的图像大小，两者都由一组卷积网络、残差网络和转置卷积网络构成。考虑到生成的灰度图仅作为参考图使用，并不需要过高的显示度，因此仅使用全局生成器G₁作为生成器，设定输入输出大小都为256*512。训练过程在GPU上进行，采用Adam梯度下降法更新参数，学习率lr＝0.0002，β₁＝0.5，β₂＝0.999。在最初的50次迭代过程中，学习率保持不变，随着后续迭代次数的增加线性衰减。在200次迭代次数内，模型收敛至稳定。

S104，按照颜色-语义对应关系和语义种类，根据绘画意图绘制语义分割图。

绘画的通常方式是先有一个绘画意图，作者构想好整个画作的结构，再绘制精确的内容。构想画作结构相对容易，但是不同的空间结构意味着相同的语义块也会有着不同的纹理细节，作者大量的时间会花费在对某一部分内容具体纹理、明暗等细节的尝试和删改上。目的是利用训练阶段得到的灰度图生成模型提供灰度图的角度来辅助绘画，一是能提供整体布局的明暗方案，二是能提供内容细节的纹理灵感，三是通过模糊的灰度图可以让作画者看到画作的大致效果以快速地做出相应的修改，大大缩短作者作画所需时间。

作者通过绘制语义分割图的方式表达绘画意图，使用语义分割图表示布局。语义分割图能够通过色块的排布、色块的形状和代表的语义信息来表示整体的空间结构信息。

S105，将绘制的语义分割图输入至语义分割图到灰度图的转化模型中，经计算生成多张符合语义分割内容的灰度图。

具体地，生成的多张灰度图在空间结构上满足语义分割图的布局，在细节内容上由于模型生成的随机性会有些许的不同。生成多张灰度图可以提供更多样式的细节内容。

S106，从多张灰度图中选取合适的灰度图作为细节内容上的参考，对语义分割图的细节内容进行纹理绘制，丰富绘画作品的内容。

具体地，根据兴趣选择可以参考的灰度图，该灰度图中包含有明暗、纹理信息，按照灰度图呈现的明暗、纹理信息，对语义分割图进行填充完善。

灰度图具有细节上的纹理、明暗等特征，相比语义分割图，具有更加丰富的细节信息，这些信息是模型从训练数据中学习而来，具备一定的合理性，表示计算机学习到的此处应该有的纹理、明暗信息。根据这些灰度图，作者可以从中寻找灵感，丰富画作的每个语义块的细节。

为了更好地完善绘画作品，所述绘画辅助方法还包括：

S107，重复S104～S106，每次迭代进一步丰富绘画的内容，反复迭代，直至完善整张画作。

具体地，将丰富细节后的绘画作品重新绘制或修改语义分割图像输入至语义分割图到灰度图的转化模型中，经计算生成多张灰度图，根据从灰度图中选择可以参考的灰度图，即重复S104～S106，对已经完善的绘画作品进行纹理绘制，进一步完善绘画作品。通过不断的反复迭代更新完善绘画作品即可以获得最终的绘画作品。

上述绘画辅助方法通过将语义分割图转换成生成灰度图，提供绘画上的内容细节上的明暗、纹理参考，弥补了绘画辅助在提供细节辅助上的不足。可以反复迭代生成过程，支持作画者不断地从模型生成的灰度图中寻找灵感，减少作画者在构思作品细节上的时间，具有高效、便捷、新颖的特点。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种参考灰度图辅助绘画的方法，包括以下步骤：

训练阶段：获取训练图像，并将训练图像转化为灰度图，确定语义种类和颜色-语义对应关系，根据颜色-语义对应关系对训练图像进行语义分割，获得语义分割图像，以语义分割图像作为输入，以对应的灰度图作为输出，对能够实现图像转化为图像的深度学习模型进行反复迭代训练，获得语义分割图到灰度图的转化模型；

应用阶段：按照颜色-语义对应关系和语义种类，根据绘画意图绘制语义分割图，并将绘制的语义分割图输入至语义分割图到灰度图的转化模型中，经计算生成多张灰度图，根据从灰度图中选择参考的灰度图，对语义分割图进行纹理绘制，丰富绘画作品的内容。

2.如权利要求1所述的参考灰度图辅助绘画的方法，其特征在于，获取的训练图像不低于5000张。

3.如权利要求1所述的参考灰度图辅助绘画的方法，其特征在于，采用公式(1)将训练图像转化为灰度图；

Gray(i，j)＝0.299*R(i，j)+0.587*G(i，j)+0.144*B(i，j) (1)

其中，R(i，j)为R通道图像，G(i，j)为G通道图像，B(i，j)为B通道图像。

4.如权利要求1所述的参考灰度图辅助绘画的方法，其特征在于，根据颜色-语义对应关系对训练图像进行语义分割包括：

按照图像中的物体所对应的颜色对训练图像进行分割，对图像中的相似或相同的物体以同一颜色进行标注，以获得语义分割图像。

5.如权利要求1所述的参考灰度图辅助绘画的方法，其特征在于，选择pix2pixHD模型作为深度学习模型，对pix2pixHD模型进行端到端的训练，获得语义分割图到灰度图的转化模型。

6.如权利要求1所述的参考灰度图辅助绘画的方法，其特征在于，根据兴趣选择可以参考的灰度图，该灰度图中包含有明暗、纹理信息，按照灰度图呈现的明暗、纹理信息，对语义分割图进行填充完善。

7.如权利要求1～6任一项所述的参考灰度图辅助绘画的方法，其特征在于，所述绘画辅助方法还包括：

将丰富细节后的绘画作品重新绘制或修改语义分割图像输入至语义分割图到灰度图的转化模型中，经计算生成多张灰度图，根据从灰度图中选择参考的灰度图，对已经完善的绘画作品进行纹理绘制，进一步完善绘画作品。