CN110766786A - 基于生成对抗网络的草图到浅浮雕模型生成的方法 - Google Patents

Abstract

本发明了一种基于生成对抗网络的草图到浅浮雕模型生成的方法，其中包括以下步骤：模型设计：基于生成对抗网络结构，设计合理的网络模型。获取数据集，本方法通过对三维模型在不同视角下获得对应的草图和浅浮雕模型，并将获得的浅浮雕模型提取出其高度场保存为图片，建立草图‑浮雕数据集。模型训练：将建立的数据集输入给设计的模型进行训练，优化生成网络和判别网络的参数。用户测试：通过对用户输入的草图进行特征的提取，生成网络输出对应的浅浮雕模型的高度场，然后将生成的高度场还原成浅浮雕模型。本发明使用生成对抗网络结构，能够将用户手绘草图生成对应的浅浮雕模型，得到的浅浮雕模型具有良好的视觉效果。

Description

基于生成对抗网络的草图到浅浮雕模型生成的方法

技术领域

本发明涉及图片生成领域，尤其涉及一种基于生成对抗网络的草图到浅浮 雕模型生成的方法。

背景技术

浮雕作为一门古老而成熟的艺术形式，雕刻者在一块平板上将他要塑造的 形象雕刻出来，使它脱离原来材料的平面。浮雕的造型也被广泛的引入了计算 机图形学领域。按照厚度的不同，它主要包括三种类型:高浮雕、凹浮雕和浅浮 雕(即浅浮雕)。手工创建浅浮雕非常麻烦和低效的过程，因为它完全依赖艺术家 的立体空间想象力和技艺。在最近十年的发展中，通过将三维模型转换成数字 浮雕取得了很大的进步。尽管数字浮雕能够通过计算机快速的获得，但是在制 作浮雕模型时需要输入预先对应的三维模型，这样极大的限制了创造者的想象 力，在创作时需要选择对应的三维模型，如果缺少所需要的三维模型，就不能 得到浮雕模型。因此能够解决当前浮雕的生成严重依赖于所对应的三维模型意 义重大。

发明内容

(一)要解决的技术问题

本发明的目的在于提供一种基于生成对抗网络的草图到浅浮雕生成的方 法，解决上述的技术问题。

(二)技术方案

本发明提供了一种基于生成对抗网络的草图到钱浮雕生成方法，包括：

模型的设计，基于图像生成任务，结合目前流行的生成对网络的网络架构 进行网络的设计；

数据获取，本步骤制作了四类数据集包括：椅子、飞机、动物和人体；通 过对三维模型在X轴和Y轴进行视角的转动，每一个三维模型获得2500个不 同视角下的草图和对应的浅浮雕模型。

模型的训练，将收集的数据集输入给网络模型，设置相应的超参数进行训 练网络模型，优化生成网络和判别网络的参数；

用户测试，通过对用户输入的草图进行特征的提取，生成网络输出对应的 浅浮雕模型的高度场，然后将生成的高度场还原成浅浮雕模型。本发明使用生 成对抗网络结构，能够将用户手绘草图生成对应的浅浮雕模型，得到的浅浮雕 模型具有良好的视觉效果。

在本发明的一些实施例中，所述模型的设计包括：

生成网络G，采用了编码到解码的过程。通过将输入草图进行编码然后再 对编码后的特征向量进行解码；本步骤将生成网络细分为编码器和解码器。编 码器由八个下采样模块组成，每个下采样模块包含激活函数、卷积操作和归一 化操作。编码时，通过将草图图像输入到编码器，让编码器进行特征的提取， 将图像用低维的特征向量来表示。解码器同样由八个上采样模块组成，每个上 采样模块包含反卷积操作和激活函数，并且将编码器中的特征图和解码器中的 特征图进行了融合。解码时，将提取的特征向量输入到解码器，然后解码器根 据输入的特征输出对应的浅浮雕高度场。

判别网络D，对输入的浅浮雕高度场进行鉴别其真假，理论上判别网络D 是在衡量真实的浅浮雕高度场和生成的浅浮雕高度场数据集所对应的分布之间 的距离。判别网络包含四个下采样模块，第一个模块经过了卷积操作和激活函 数。模块二、模块三和模块四都包含了卷积、归一化和激活函数，最后一个模 块通过全连接后作为判别网络的输出。运用判别网络对输出的浅浮雕模型的高 度场和真实的浅浮雕模型进行判断真假，然后将判别的结果再反馈至生成网络， 用来更新生成网络的参数；同时判别网络也会对生成的浅浮雕高度场和真实的 浅浮雕高度场进行学习，更新判别网络的参数，来达到准确的判断率。

预训练的分类网络。为了加快和稳定生成网络G的训练，使用了预训练分 类网络网络来计算生成网络G生成的浅浮雕高度场和真实浅浮雕高度场之间的 感知损失。因为网络能够很好的提取图像的特征，虽然预训练的分类网络不是 用的浅浮雕高度场进行训练，在其他更大的数据集上训练的好的分类网络能够 很好的提取图像的特征，计算真实和假的浅浮雕高度场的特征之间的误差能够 加速和稳定网络的训练。使用预训练的分类网络来提取输入图像的特征图，并 计算特征图之间的L1损失值。在网络的较低层的网络提取的是图像的边缘、纹 理等特征，随着层级的提高，网络逐渐提取的是更为高层级、更整体的特征。 所以计算在不同层级之间的L1误差能够鉴别生成的浅浮雕模型和真实的浅浮雕 模型之间在特征级别上的误差，从而使生成网络G能够稳健的达到收敛状态。

在本发明的一些实施例中，所述构造数据集包括：

通过使用传统的方法获得大量的不同视角下的配对的草图和浅浮雕模型。 其中本步骤一共制作了四类数据集包括：椅子、飞机模型、动物和人体。每个 模型在X轴和Y轴进行均匀的转动来获得不同的视角，本步骤采用先在Y轴每 次转动7.2度，当转动形成一个圆环后，再对X轴进行一次旋转，旋转的角度 为7.2度，然后再沿着Y轴进行旋转，直到X轴转动形成一个圆环时结束视角 的转动。每一个模型采用2500个视角，从而每个三维模型获得2500对草图与 浅浮雕模型。然后提取出获得的浅浮雕模型的高度场，并将其高度场映射到0 到255之间保存为图片，图片是单通道的灰度图。

H_i代表浅浮雕高度场值，H_min代表浅浮雕高度场中的最小高度，H_max代表 对应的浅浮雕高度场的最大值，P_i为计算后对应的0到255之间的像素值。生成 网络根据输入的草图输出对应的高度场，然后再将高度场转换成浅浮雕模型。

对数据集的划分，本步骤将收集到的配对的草图和浅浮雕高度场按80％划 分到训练集，剩余的20％划分到测试集。

在本发明的一些实施例中，所述模型的训练包括：

在数据的输入阶段，将草图和对应的浅浮雕高度场一起输入，然后先将草 图图片输入到生成网络进行学习，同时生成网络输出的结果和输入的浅浮雕高 度场一起作为输入到判别网络中，判别网络进行判断两张图片的真假，在理论 上是在衡量生成网络生成的图片的分布和真实图片所形成的分布的差异。

训练时，先固定住判别网络D的参数，然后根据判别网络计算出来的生成 网络生成的浅浮雕高度场的分布和真实的浅浮雕高度场对应的分布之间的差异 来提供梯度更新生成网络的参数。当更新了一轮生成网络的参数后，生成网络G 生成的图片所形成的分布和真实浅浮雕高度场的分布之间的距离被缩小了，这 时候判别网络不能再很好的判断生成的浅浮雕高度场和真实的浅浮雕高度场的 真假。因此固定住生成网络G的参数，然后再输入草图到生成网络G输出一张 假的浅浮雕高度场，再将假的浅浮雕高度场和真实的浅浮雕高度场通过判别网 络D进行鉴别，通过判别网络鉴别的生成网络G生成的浅浮雕高度场和真实的 浅浮雕高度场的损失来提供梯度更新判别网络D的参数，使得判别网络D能够 重新鉴别更新后的生成网络G生成的图片和真实的浅浮雕高度场的真假。至此 第一轮网络的训练结束，生成网络G和判别网络D在一种类似相互对抗的情况 下相互进步。生成网络G生成的图片越来越真实，对应的是生成的浅浮雕高度 场和真实的浅浮雕高度场数据集在分布上拟合在一起；判别网络D始终保持能 够很好的鉴别出输入的浅浮雕高度场的真假。

在本发明的一些实施例中，所述模型的训练包括：

选择使用WGAN-GP作为衡量图像分布域之间的距离，因为WGAN-GP能 够更加准确的衡量分布域之间的距离从而提供更加稳定的梯度来更新生成网络 G；

选择先固定住生成网络G的参数将判别网络D的参数更新五次后再固定住 判别网络的参数来更新生成网络G，这样能够有稳定训练效果；

在本发明的一些实施例中，所诉模型的测试，包括步骤：

生成网络G根据用户的草图输入，编码器先进行编码，然后将编码后的特 征向量通过解码器进行解码；在解码的过程中，通过将编码过程中的特征图和 解码的特征图进行跨越融合，这样可以减轻生成网络G的压力。虽然输入的草 图和输出的浅浮雕高度场之间的像素值有很大的差异，但是草图和浅浮雕高度 场之间具有相同的轮廓和边界，因此进行特征之间的分享可以在一定程度上缓 解生成网络的压力，加速模型收敛。

在获得了生成网络G生成的浅浮雕高度场后，本步骤需要将其转换成对应 的三维浅浮雕模型。使用像素点值乘上最大高度值与最小高度值之差除以255， 再加上最小高度值，这样就达到将像素值转换回了浅浮雕高度场。在进行转换 前，可以先通过一个3*3的低通滤波器进行平滑，例如：高斯滤波。这样可以 使还原后的三维浅浮雕模型表面更加平滑。

(三)有益效果

本发明的基于生成对抗网络的草图到浅浮雕模型的生成方法，相较于现有 技术，至少具有以下优点：

1、生成浅浮雕模型不再需要输入现有的3D模型，极大的释放了艺术家的 创作空间。

2、可以通过将用户手绘的草图进行对应浅浮雕模型的生成。

3、设计了端到端的用户可编辑界面，可以为用户提供绘制和修改操作，能 够实时将用户创作的草图转化为浅浮雕模型。

附图说明

图1为本发明实施例的基于生成对抗网络的草图到浅浮雕模型的生成示意 图。

图2为本发明实施例的网络结构图。

图3为本发明实施例的下采样所使用的示意图。

图4为本发明实施例的采集数据集所使用的三维模型。

图5为本发明实施例的采集数据集所使用的旋转策略示意图。

图6为本发明实施例的用户使用***示意图。

具体实施方式

本发明提供了一种基于生成对抗网络的草图到浅浮雕模型的生成方法，采 用了生成对抗网络结构。通过设计基于生成对抗网络的草图到浅浮雕模型高度 场的卷积神经网络模型，然后收集大量的草图和对应的浅浮雕模型制作成数据 集，然后将收集的数据集输入设计好的神经网络模型进行训练优化模型参数， 最后测试可以将用户输入的手绘草图实时转化成对应的浅浮雕模型，极大的方 便了用户的创造不再需要对应的3D模型作为输入。生成的浅浮雕模型有很好的 视觉效果。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例， 并参照附图，对本发明进一步详细说明。

本发明的一方面，提供了一种基于生成对抗网络的草图到浅浮雕模型的生 成，图1为本发明实施例的基于生成对抗网络的草图到浅浮雕模型的结构示意 图，如图1所示，该装置包括：模型的设计1、构建数据集2、模型的训练3和 模型的测试4。模型的设计1，基于图像生成任务，结合目前流行的生成对网络 的网络架构进行网络的设计；构建数据集2，本步骤制作了四类数据集包括：四 腿动物、泰迪熊、椅子和人头；通过对三维模型在X轴和Y轴进行视角的转动， 每一个三维模型获得2500个不同视角下的草图和对应的浅浮雕模型；模型的训 练3，将收集的数据集输入给网络模型，设置相应的超参数进行训练网络模型， 优化生成网络和判别网络的参数；模型的测试4，通过对用户输入的草图进行特 征的提取，生成网络输出对应的浅浮雕模型的高度场，然后将生成的高度场还 原成浅浮雕模型。

接着，就结合图2至图6对各模块进行详细说明。

模型的设计1，如图2所示，模型包括生成网络G，判别网络D和预训练 的分类网络。

生成网络G采用了编码到解码的过程。通过将输入草图进行编码然后再对 编码后的特征向量进行解码；本步骤将生成网络细分为编码器和解码器。编码 器由八个下采样模块组成(如图3所示)，每个下采样模块包含激活函数、卷积 操作和归一化操作。编码时，通过将草图图像输入到编码器，让编码器进行特 征的提取，将图像用低维的特征向量来表示。解码器同样由八个上采样模块组 成，每个上采样模块包含反卷积操作和激活函数，并且将编码器中的特征图和 解码器中的特征图进行了融合。解码时，将提取的特征向量输入到解码器，然 后解码器根据输入的特征输出对应的浅浮雕高度场。

判别网络D，对输入的浅浮雕高度场进行鉴别其真假，理论上判别网络D 是在衡量真实的浅浮雕高度场和生成的浅浮雕高度场数据集所对应的分布之间 的距离。判别网络包含四个下采样模块，第一个模块经过了卷积操作和激活函 数。模块二、模块三和模块四都包含了卷积、归一化和激活函数，最后一个模 块通过全连接后作为判别网络的输出。运用判别网络对输出的浅浮雕模型的高 度场和真实的浅浮雕模型进行判断真假，然后将判别的结果再反馈至生成网络， 用来更新生成网络的参数；同时判别网络也会对生成的浅浮雕高度场和真实的 浅浮雕高度场进行学习，更新判别网络的参数，来达到准确的判断率。

预训练的分类网络。为了加快和稳定生成网络G的训练，使用了预训练分 类网络网络来计算生成网络G生成的浅浮雕高度场和真实浅浮雕高度场之间的 感知损失。因为网络能够很好的提取图像的特征，虽然预训练的分类网络不是 用的浅浮雕高度场进行训练，在其他更大的数据集上训练的好的分类网络能够 很好的提取图像的特征，计算真实和假的浅浮雕高度场的特征之间的误差能够 加速和稳定网络的训练。使用预训练的分类网络来提取输入图像的特征图，并 计算特征图之间的L1损失值。在网络的较低层的网络提取的是图像的边缘、纹 理等特征，随着层级的提高，网络逐渐提取的是更为高层级、更整体的特征。 所以计算在不同层级之间的L1误差能够鉴别生成的浅浮雕模型和真实的浅浮雕 模型之间在特征级别上的误差，从而使生成网络G能够稳健的达到收敛状态。

构造数据集2，通过使用传统的方法获得大量的不同视角下的配对的草图和 浅浮雕模型。其中本步骤一共制作了四类数据集包括：椅子、飞机、动物和人 体(如图4所示)。每个模型在X轴和Y轴进行均匀的转动来获得不同的视角， 本步骤采用先在Y轴每次转动7.2度，当转动形成一个圆环后，再将X轴进行 7.2角度的旋转，然后继续在Y轴旋转，直到Y轴旋转形成一个新的圆环。等 到X轴转动形成一个圆环时结束视角的转动(如图5所示)。每一个模型采用 2500个视角，从而每个三维模型获得2500对草图与浅浮雕模型。然后提取出获得的浅浮雕模型的高度场，并将其高度场映射到0到255之间保存为图片，图 片是单通道的灰度图。

H_i代表浅浮雕高度场值，H_min代表浅浮雕高度场中的最小高度，H_max代表 对应的浅浮雕高度场的最大值，P_i为计算后对应的0到255之间的像素值。生成 网络根据输入的草图输出对应的高度场，然后再将高度场转换成浅浮雕模型。

对数据集的划分，本步骤将收集到的配对的草图和浅浮雕高度场按80％划 分到训练集，剩余的20％划分到测试集。

模型的训练3，在数据的输入阶段，将草图和对应的浅浮雕高度场一起输入， 然后先将草图图片输入到生成网络进行学习，同时生成网络输出的结果和输入 的浅浮雕高度场一起作为输入到判别网络中，判别网络进行判断两张图片的真 假，在理论上是在衡量生成网络生成的图片的分布和真实图片所形成的分布的 差异。

训练时，先固定住判别网络D的参数，然后根据判别网络计算出来的生成 网络生成的浅浮雕高度场的分布和真实的浅浮雕高度场对应的分布之间的差异 来提供梯度更新生成生成网络的参数。当更新了一轮生成网络的参数后，生成 网络G生成的图片所形成的分布和真实浅浮雕高度场的分布之间的距离被缩小 了，这时候判别网络不能再很好的判断生成的浅浮雕高度场和真实的浅浮雕高 度场的真假。因此固定住生成网络G的参数，然后再输入草图到生成网络G输 出一张假的浅浮雕高度场，再将假的浅浮雕高度场和真实的浅浮雕高度场通过 判别网络D进行鉴别，通过判别网络鉴别的生成网络G生成的浅浮雕高度场和 真实的浅浮雕高度场的损失来提供梯度更新判别网络D的参数，是的判别网络 D能够重新鉴别跟新后的生成网络G生成的图片和真实的浅浮雕高度场的真假。 至此第一轮网络的训练结束，生成网络G和判别网络D在一种类似相互对抗的 情况下相互进步。生成网络G生成的图片越来越真实，对应的是生成的浅浮雕 高度场和真实的浅浮雕高度场数据集在分布上拟合在一起；判别网络D始终保 持能够很好的鉴别出输入的浅浮雕高度场。

选择使用WGAN-GP作为衡量图像分布域之间的距离，因为WGAN-GP能 够更加准确的衡量分布域之间的距离从而提供更加稳定的梯度来更新生成网络 G；所以本步骤使用如下损失函数：

选择先固定住生成网络G的参数将判别网络D的参数更新五次后再固定住 判别网络的参数来更新生成网络G，这样能够有稳定训练效果；

模型的测试4，如图6所示，本步骤搭建了一个端到端的草图到浅浮雕模型 的生成***，用户可以进行草图的绘画，并进行修改和保存，绘画完的草图可 通过生成网络G模型实时生成浅浮雕模型。

具体过程生成网络G根据用户的草图输入，编码器先进行编码，然后将编 码后的特征向量通过解码器进行解码；在解码的过程中，通过将编码过程中的 特征图和解码的特征图进行跨越融合，这样可以减轻生成网络G的压力。虽然 输入的草图和输出的浅浮雕高度场之间的像素值有很大的差异，但是草图和浅 浮雕高度场之间具有相同的轮廓和边界，因此进行特征之间的分享可以在一定 程度上缓解生成网络的压力，加速模型收敛。

在获得了生成网络G生成的浅浮雕高度场后，本步骤需要将其转换成对应 的三维浅浮雕模型。使用像素点值乘上最大高度值与最小高度值之差除以255， 再加上最小高度值，这样就达到将像素值转换回了浅浮雕高度场。在进行转换 前，通过一个3*3的低通滤波器进行平滑，本方法使用高斯滤波。这样可以使 还原后的三维浅浮雕模型表面更加平滑。

综上，本发明的基于生成对抗网络的草图到浅浮雕模型生成的方法，通过 数据集的收集，再确定网络模型，最后模型的训练和测试，能够解决现有浅浮 雕模型生成依赖对应3D模型的缺点，可实时生成用户手绘草图的浅浮雕模型， 生成的浅浮雕模型具有良好的视觉效果。

至此，已经结合附图对本公开实施例进行了详细描述。需要说明的是，在 附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技 术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并 不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可 对其进行简单地更改或替换。

“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的 “一”或“一个”不排除存在多个这样的元件。

此外，除非特别描述或必须依序发生的步骤，上述步骤的顺序并无限制于 以上所列，且可根据所需设计而变化或重新安排。并且上述实施例可基于设计 及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实 施例中的技术特征可以自由组合形成更多的实施例。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进 一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不 用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、 改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于生成对抗网络的浅浮雕生成的步骤包括：

模型的设计，基于图像生成任务，结合目前流行的生成对网络的网络架构进行网络的设计；

数据获取，本步骤制作了四类数据集包括：椅子、飞机、动物和人体；通过对三维模型在X轴和Y轴进行视角的转动，每一个三维模型获得2500个不同视角下的草图和对应的浅浮雕模型。

模型的训练，将收集的数据集输入给网络模型，设置相应的超参数进行训练网络模型，优化生成网络和判别网络的参数；

用户测试，通过对用户输入的草图进行特征的提取，生成网络输出对应的浅浮雕模型的高度场，然后将生成的高度场还原成浅浮雕模型。本发明使用生成对抗网络结构，能够将用户手绘草图生成对应的浅浮雕模型，得到的浅浮雕模型具有良好的视觉效果。

2.根据权利要求1所述的基于生成对抗网络的浅浮雕生成，其中，所述模型设计还包括：生成网络G，采用了编码到解码的过程。通过将输入草图进行编码然后再对编码后的特征向量进行解码；判别网络D，对输入的浅浮雕高度场进行鉴别其真假，理论上判别网络D是在衡量真实的浅浮雕高度场和生成的浅浮雕高度场数据集所对应的分布之间的距离。预训练的分类网络。为了加快和稳定生成网络G的训练，本装置使用了预训练的分类网络来计算生成网络G生成的浅浮雕高度场和真实浅浮雕高度场之间的感知损失。因为网络能够很好的提取图像的特征，虽然本装置预训练的分类网络不是用的浅浮雕高度场进行训练，而是在其他更大的数据集上训练的分类网络也能够很好的提取图像的特征，计算真实和假的浅浮雕高度场的特征之间的误差能够加速和稳定网络的训练。

3.根据权利要求3所述的基于生成对抗网络的浅浮雕生成，其中，还包括：编码器和解码器。本装置将生成网络细分为编码器和解码器。编码器由八个下采样模块组成，每个下采样模块包含激活函数、卷积操作和归一化操作。编码时，通过将草图图像输入到编码器，让编码器进行特征的提取，将图像用低维的特征向量来表示。解码器同样由八个上采样模块组成，每个上采样模块包含反卷积操作和激活函数，并且将编码器中的特征图和解码器中的特征图进行了融合。解码时，将提取的特征向量输入到解码器，然后解码器根据输入的特征输出对应的浅浮雕高度场。

4.根据权利要求2所述的基于生成对抗网络的浅浮雕生成，其中，还包括判别网络。判别网络包含四个下采样模块，第一个模块经过了卷积操作和激活函数。模块二、模块三和模块四都包含了卷积、归一化和激活函数，最后一个模块通过全连接后作为判别网络的输出。运用判别网络对输出的浅浮雕模型的高度场和真实的浅浮雕模型进行判断真假，然后将判别的结果再反馈至生成网络，用来更新生成网络的参数；同时判别网络也会对生成的浅浮雕高度场和真实的浅浮雕高度场进行学习，更新判别网络的参数，来达到准确的判断率。

5.根据权利要求2所述的基于生成对抗网络的浅浮雕生成，其中，还包括预训练的分类网络。使用预训练的分类网络来提取输入图像的特征图，并计算特征图之间的L1损失值。

y代表真实浅浮雕高度场数据提取出的特征图，代表生成的浅浮雕高度场提取出的特征图。因为训练好的神经网络能很好的提取图像的特征。在网络的较低层的网络提取的是图像的边缘、纹理等特征，随着层级的提高，网络逐渐提取的是更为高层级、更整体的特征。所以计算在不同层级之间的L1误差能够鉴别生成的浅浮雕模型和真实的浅浮雕模型之间在特征级别上的误差，从而使生成网络G能够稳健的达到收敛。

6.根据权利要求1所述的基于生成对抗网络的浅浮雕生成，其中，所述数据获取包括：通过使用传统的方法获得大量的不同视角下的配对的草图和浅浮雕模型。其中本步骤一共制作了四类数据集包括：椅子、飞机模型、动物和人体。每个模型在X轴和Y轴进行均匀的转动来获得不同的视角，本步骤采用先在Y轴每次转动7.2度，当转动形成一个圆环后，再对X轴进行一次旋转，旋转的角度为7.2度，然后再沿着Y轴进行旋转，直到X轴转动形成一个圆环时结束视角的转动。每一个模型采用2500个视角，从而每个三维模型获得2500对草图与浅浮雕模型。然后提取出获得的浅浮雕模型的高度场，并将其高度场映射到0到255之间保存为图片，图片是单通道的灰度图。

H_i代表浅浮雕高度场值，H_min代表浅浮雕高度场中的最小高度，H_max代表对应的浅浮雕高度场的最大值，P_i为计算后对应的0到255之间的像素值。生成网络根据输入的草图输出对应的高度场，然后再将高度场转换成浅浮雕模型。

对数据集的划分，本步骤将收集到的配对的草图和浅浮雕高度场按80％划分到训练集，剩余的20％划分到测试集。

7.根据权利要求1所述的基于生成对抗网络的浅浮雕生成，其中，所述模型的训练包括：在数据的输入阶段，将草图和对应的浅浮雕高度场一起输入，然后先将草图图片输入到生成网络进行学习，同时生成网络输出的结果和输入的浅浮雕高度场一起作为输入到判别网络中，判别网络进行判断两张图片的真假，在理论上是在衡量生成网络生成的图片的分布和真实图片所形成的分布的差异。

训练时，先固定住判别网络D的参数，然后根据判别网络计算出来的生成网络生成的浅浮雕高度场的分布和真实的浅浮雕高度场对应的分布之间的差异来提供梯度更新生成网络的参数。当更新了一轮生成网络的参数后，生成网络G生成的图片所形成的分布和真实浅浮雕高度场的分布之间的距离被缩小了，这时候判别网络不能再很好的判断生成的浅浮雕高度场和真实的浅浮雕高度场的真假。因此固定住生成网络G的参数，然后再输入草图到生成网络G输出一张假的浅浮雕高度场，再将假的浅浮雕高度场和真实的浅浮雕高度场通过判别网络D进行鉴别，通过判别网络鉴别的生成网络G生成的浅浮雕高度场和真实的浅浮雕高度场的损失来提供梯度更新判别网络D的参数，是的判别网络D能够重新鉴别跟新后的生成网络G生成的图片和真实的浅浮雕高度场的真假。至此第一轮网络的训练结束，生成网络G和判别网络D在一种类似相互对抗的情况下相互进步。生成网络G生成的图片越来越真实，对应的是生成的浅浮雕高度场和真实的浅浮雕高度场数据集在分布上拟合在一起；判别网络D始终保持能够很好的鉴别出输入的浅浮雕高度场的真假。

8.根据权利要求7所述的基于生成对抗网络的浅浮雕生成，其中，所述模型的训练包括：

选择使用WGAN-GP作为衡量图像分布域之间的距离，因为WGAN-GP能够更加准确的衡量分布域之间的距离从而提供更加稳定的梯度来更新生成网络G，所以本方法使用如下损失函数；

本步骤选择先固定住生成网络G的参数将判别网络D的参数更新五次后再固定住判别网络的参数来更新生成网络G，这样能够有稳定训练效果。

9.根据权利要求1所述的基于生成对抗网络的浅浮雕生成，其中，模型的测试，包括步骤：

生成网络G根据用户的草图输入，编码器先进行编码，然后将编码后的特征向量通过解码器进行解码；在解码的过程中，通过将编码过程中的特征图和解码的特征图进行跨越融合，这样可以减轻生成网络G的压力。虽然输入的草图和输出的浅浮雕高度场之间的像素值有很大的差异，但是草图和浅浮雕高度场之间具有相同的轮廓和边界，因此进行特征之间的分享可以在一定程度上缓解生成网络的压力，加速模型收敛。

在获得了生成网络G生成的浅浮雕高度场后，本步骤需要将其转换成对应的三维浅浮雕模型。使用像素点值乘上最大高度值与最小高度值之差除以255，再加上最小高度值，这样就达到将像素值转换回了浅浮雕高度场。在进行转换前，通过一个3*3的低通滤波器进行平滑，本步骤使用了高斯滤波。这样可以使还原后的三维浅浮雕模型表面更加平滑。

Images