CN107481184A - 一种低多边形风格图生成交互*** - Google Patents

Abstract

本发明公开了一种低多边形风格图生成交互***，包括：顶点采样与网格生成模块，用于在保持输入图像内容结构的基础上进行顶点采样，并使用自适应细化算法对顶点按照其重要性进行排序，再根据交互模块反馈的顶点数量K，从排序后的顶点中选择排名前K个顶点，并使用德劳内三角化来生成网格；网格渲染模块，用于为三角形网格着色得到低多边形风格图，其中通过设定最小亮度差来提高相邻三角形之间的明暗对比度，相关的最小亮度参数由交互模块反馈；交互模块，用于实现***与用户之间的交互，通过相应工具接收用户输入的顶点数量K与最小亮度参数。该***计算量低，可轻松、快速地生成低多边形风格图。

Description

一种低多边形风格图生成交互***

技术领域

本发明涉及图像处理技术领域，尤其涉及一种低多边形风格图生成交互***。

背景技术

最近几年，低多边形风格化图片因其3D抽象感在对照片的非真实感渲染中越来越流行。目前大多数生成低多边形风格图的方法都需要用户对3D建模有一定的了解并且需要大量的工作量，同时，生成的低多边形风格图效果也不理想。例如，直接使用软件TRIGRAFF生成，会丢失较多细节部分。又如，论文(M.Gai and G.Wang:Artistic low polyrendering for images.The Visual Computer:International Journal of ComputerGraphics)，其公开的算法由一个特征流场指导，生成的结果在诸如头发、帽子装饰等细节上会保留过多的纹理，与低多边形化的初衷相悖。

发明内容

本发明的目的是提供一种低多边形风格图生成交互***，降低了计算量，可轻松、快速地生成低多边形风格图。

本发明的目的是通过以下技术方案实现的：

一种低多边形风格图生成交互***，包括：顶点采样与网格生成模块、网格渲染模块以及交互模块；其中：

所述顶点采样与网格生成模块，用于在保持输入图像内容结构的基础上进行顶点采样，并使用自适应细化算法对顶点按照其重要性进行排序，再根据交互模块反馈的顶点数量K，从排序后的顶点中选择排名前K个顶点，并使用德劳内三角化来生成网格；

网格渲染模块，用于为三角形网格着色得到低多边形风格图，其中通过设定最小亮度差来提高相邻三角形之间的明暗对比度，相关的最小亮度参数由交互模块反馈；

交互模块，用于实现***与用户之间的交互，通过相应工具接收用户输入的顶点数量K与最小亮度参数。

所述交互模块，包括两个滑动工具条；两个滑动工具条分别用于实现用户输入和调整顶点数量K与最小亮度参数。

所述交互模块还包括一个刷子工具；

刷子工具用于实现重要区域的标注，当交互模块获取用户通过刷子工具标注的重要区域时，反馈给顶点采样与网格生成模块，使得顶点采样与网格生成模块保留重要区域中的所有顶点L，再从排序后的顶点中选择排名前K-L个顶点。

所述在保持输入图像内容结构的基础上进行顶点采样，并使用自适应细化算法对顶点按照其重要性进行排序包括：

采用过分割的方法将输入图像分割为超像素，选择相邻超像素的交叉点做为顶点，形成顶点候选集p_subset＝p₁,...,p_M；

顶点按照其重要性为在三角网格中移除这个点之后与输入图像的差距；当一个顶点被移除后，得到的三角化结果的颜色也会改变，移除一个顶点后，颜色差距越大，则这个顶点越重要；排序过程如下：使用德劳内三角化将顶点候选集生成彩色网格；再计算每个顶点的近似误差，近似误差越小表明重要性越低，选择其中最小的点p^*将其添加到队列中；一旦点p^*从顶点候选集中移除，通过对点p^*局部的更新得到一个新的三角化网格；点p^*相邻点的近似误差将被重新计算用于下一轮的点移除中；通过不断重复上述过程，完成将M个顶点的排序。

所述为三角形网格着色得到低多边形风格图包括：

对于一个三角网格中的三角形的颜色，选取相应三角形色彩直方图中间部分的平均值c_i，对于每一组相邻三角形T_i和T_j，它们之间的亮度差d_i,j为：

d_i,j＝max(|L_i-L_j|,L_min)；

其中，L_i、L_j分别为相邻三角形T_i、T_j在LAB色彩空间上的L向量，L_min为交互模块反馈的最小亮度；

对角网格中的所有三角形，通过解一个线性方程组来计算其增强亮度L'_i：

由上述本发明提供的技术方案可以看出，一方面，采样得到的顶点进行了排序后，当用户需要改变顶点数量K时，或者标注重要区域时，可从排序后的顶点中直接进行调用，无需重新进行计算，从而降低计算量。同时，可以根据用户输入的最小亮度参数提高相邻三角形之间的明暗对比度，使渲染后的结果比其他方式的在颜色域上具有更大的标准差。另一方面，上述两部分操作都可由用户参与，通过该***，使得用户可以轻松、快速地生成低多边形风格图。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种低多边形风格图生成交互***示意图；

图2为本发明实施例提供的生成低多边形风格图的流程图；

图3为本发明实施例提供的过分割的结果与初始点集的示意图；

图4为本发明实施例提供的移除两个顶点后局部三角化更新的示意图；

图5为本发明实施例提供的使用滑动条与刷子工具调节顶点数量的及其三角化的示意图

图6为本发明实施例提供的同样的三角网格下不同颜色对比度的渲染结果；

图7为本发明实施例提供的不同方案生成的低多边形风格图对比图；

图8为本发明实施例提供的本***生成不同类型的低多边形风格图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种低多边形风格图生成交互***，包括：顶点采样与网格生成模块、网格渲染模块以及交互模块；其中：

所述顶点采样与网格生成模块，用于在保持输入图像内容结构的基础上进行顶点采样，并使用自适应细化算法对顶点按照其重要性进行排序，再根据交互模块反馈的顶点数量K，从排序后的顶点中选择排名前K个顶点，并使用德劳内三角化来生成网格；

网格渲染模块，用于为三角形网格着色得到低多边形风格图，其中通过设定最小亮度差来提高相邻三角形之间的明暗对比度，相关的最小亮度参数由交互模块反馈；

交互模块，用于实现***与用户之间的交互，通过相应工具接收用户输入的顶点数量K与最小亮度参数。

本发明实施例中，交互模块包括两个滑动工具条；两个滑动工具条分别用于实现用户输入和调整顶点数量K与最小亮度参数。

此外，所述交互模块还包括一个刷子工具；刷子工具用于实现重要区域的标注，当交互模块获取用户通过刷子工具标注的重要区域时，反馈给顶点采样与网格生成模块，使得顶点采样与网格生成模块保留重要区域中的所有顶点L，再从排序后的顶点中选择排名前K-L个顶点。

本发明实施例中，所述在保持输入图像内容结构的基础上进行顶点采样，并使用自适应细化算法对顶点按照其重要性进行排序包括：

采用过分割的方法将输入图像分割为超像素，选择相邻超像素的交叉点做为顶点，形成顶点候选集p_subset＝p₁,...,p_M；

顶点的重要性为在三角网格中移除这个点之后与输入图像的差距；当一个顶点被移除后，得到的三角化结果的颜色也会改变，移除一个顶点后，颜色差距越大，则这个顶点越重要；排序过程如下：使用德劳内三角化将顶点候选集生成彩色网格；再计算每个顶点的近似误差，近似误差越小表明重要性越低，选择其中最小的点p^*将其添加到队列中；一旦点p^*从顶点候选集中移除，通过对点p^*局部的更新得到一个新的三角化网格；点p^*相邻点的近似误差将被重新计算用于下一轮的点移除中；通过不断重复上述过程，完成将M个顶点的排序。

本发明实施例中，所述为三角形网格着色得到低多边形风格图包括：

对于一个三角网格中的三角形的颜色，选取相应三角形色彩直方图中间部分的平均值c_i，对于每一组相邻三角形T_i和T_j，它们之间的亮度差d_i,j为：

d_i,j＝max(|L_i-L_j|,L_min)；

其中，L_i、L_j分别为相邻三角形T_i、T_j在LAB色彩空间上的L向量，L_min为交互模块反馈的最小亮度；

对三角网格中的所有三角形，通过解一个线性方程组来计算其增强亮度L'_i：

为了便于理解，下面结合附图对本发明实施例所提供的上述***做详细说明。

如图2所示，为采用图1所示***生成低多边形风格图的流程图，

步骤如下：

步骤a、输入图像。

假设输入图像I包含N个像素点p₁,...p_N，本发明的目的是生成一个由三角网格组成的低多边形并且每个三角形有一个特定的颜色。一个好的低多边形需要和输入图像I在抽象层次上保持相似的结构并且有一定的艺术性。

步骤b、顶点采样。

为了能让用户可以简单有效地选择顶点数量，由于每一次采样为了保持图片的内容结构必定会有许多重要的点一定被采样到，所以我们不需要重复进行采样操作。为了降低计算复杂度，首先我们从输入图片中提取重要，包含有效信息的点，并且按照其在保证图片内容结构完整性上的重要度进行排序。一旦一个确切的顶点数K被确定，我们只需要简单地选择排名前个K顶点并用德劳内三角化来生成网格。

本步骤可以分为“确定候选顶点”以及“顶点排序”来个子步骤；具体如下：

a1、确定候选顶点

为了有效地保留输入图像的结构信息，使采样点可以表达图像的轮廓，首先我们采用过分割的方法将图片分割为超像素，再选择相邻超像素的交叉点做为初始的顶点候选顶点，从而获得候选顶点集合P_M＝p₁,...,p_M，其中，K＜M＜N。

在相关文献中有许多的过分割算法，考虑到边缘保留能力和其算法效率，我们选择SLIC算法。首先，为了得到尽可能多的结构信息，我们选择了一个明显比较大的值M＝3000个超像素。图3展示了过分割的结果(即图3a)以及初始点集(即图3b)，可以看到被选择的点位于物体的边缘并且可以大致生成一个均匀分布的网格。

a2、顶点排序

经过过分割操作后，采样点的数量对于生成低多边形化图片来说明显过大。给定一个确定的顶点数量K，我们需要从初始的M点中选择K个点来构建三角形网格。然而，如果用户想要随意地在一个较大范围内选择K值，那么就没有必要每次都运行顶点采样步骤。因此，本发明提出了一个采用自适应细化算法的排名策略，可以根据某一些依赖于数据的评判标准循环地移除重要性较低的点。M个点仅需进行一次排名，根据这个排名，由用户选择K值，***可以直接生成相应的三角网格。这与之前的方法不同之处在于，当用户希望改变K值时，不需要重新运行整个过程，大大提高了计算效率。

本发明实施例中，一个顶点的重要性的评判标准为在三角网格M中移除这个点之后与原图的差。当一个点被移除后，得到的三角化结果的颜色也会改变。移除一个点后，颜色差距越大，则这个点越重要。对于三角网格M中每一个三角形T_i的颜色，为了避免锯齿，选择输入图像相应位置中颜色直方图中中间部分的平均值。

如果k个点构成的点集P_k已经选定，根据这些点对图片进行德劳内三角剖分，得到剖分网格D(P_k)。对于D(P_k)中的每个三角形，计算在三角形内原图I的平均颜色值，并将此平均颜色值赋予该三角形，则生成了彩色网格图像来近似输入图像I。综上，对于点集P_k，可以得到彩色网格图像其相对于输入图像I的近似误差是图像中所有像素x的颜色差：

其中，是输入图像在像素点x处的颜色值，而M_x(P_k)则是彩色网格图像在像素点x处的颜色值。点p被移除后，构建一个新的三角化D(P_k-p)并且重新生成三角形的颜色来得到另一个彩色网格可以计算的近似误差为根据德劳内准则，对于从彩色网格到彩色网格的更新是局部的，这意味着只需要对点p存在的局部区域进行重新三角化，并且计算局部近似误差为：

其中N(p)指的是以为顶点p的三角形所构成的局部区域。

根据每个点的近似误差，可以在每次的循环中移除具有最小近似误差的点。

上述过程如图4所示，其表示移除两个顶点后局部三角化更新的示意图。图4a上下两幅图均为通过德劳内三角化并且取三角形平均值得到的彩色网格。图4b上下两幅图分别表示移除一个顶点后，仅在局部区域做三角化更新；图4c上下两幅图表示三角化更新后的颜色差异；图4d表示输入图像。从图4的上面四幅图像来看，在较为平滑的区域，移除一个点后，颜色变化并不明显；从图4的下面四幅图像来看，当移除的点在具有丰富结构信息的地方，移除点后与原图相比具有较大的差异；换言之，图4b中上方图像所移除的顶点重要性低于下方图像所移除的顶点。

基于上述原理，对于获得候选顶点集合，使用德劳内三角化将其生成彩色网格再计算每个顶点的近似误差，近似误差越小表明重要性越低，选择其中最小的点p^*将其添加到队列中；一旦点p^*从顶点候选集中移除，通过对点p^*局部的更新得到一个新的三角化网格；点p^*相邻点的近似误差将被重新计算用于下一轮的点移除中；通过不断重复上述过程，完成将M个顶点的排序。

将M个顶点都进行排名后，用户可以通过交互模块任意指定一个K值，***可以直接选择排名前K的顶点进行后续网格生成与渲染工作。示例性的，此处的K∈(100,M]。

当然，用户也可通过交互模块中的刷子工具来标注重要区域，比如说，在人像中，人物的眼睛、鼻子等五官明显比肩膀等具有更多得细节，需要更多的点来表达。因此，用户可以用***提供的刷子在原图上绘制他们认为比较重要需要着重表达的区域，由于我们的算法只需要计算一次点的重要性，***会保留这些区域中所有的初始点，并且相应地删掉其他相对不重要的点，也就是说，***就会将重要区域中所有的顶点L保留，再从排序后的顶点中选择排名前K-L个顶点。

采样的顶点数对最后生成的低多边形风格图的效果会有很大影响。之前的方法都是根据原图的尺寸直接确定一个顶点数。然而，当遇到细节较多或者纹理较复杂的图片时，这种方法得到的结果可能不一定令人满意。这种情况下可以实时地改变顶点数量并观察其结果显得尤为重要。本发明实施例上述指定K值，或者指定K值并标注重要区域的方式可以通过滑动条与刷子工具来实现。其中的滑动条，可以允许用户连续地拖动并且直接可以观察到相应的结果。

如图5所示，为使用滑动条与刷子工具调节顶点数量的及其三角化的示意图。图5a中K＝500；图5b中K＝750；图5c为图5b的三角化结果；图5d为K＝750时，绘制重要区域的示意图；图5e为图5d的顶点选择结果；图5f为图5e的三角化结果。

步骤c、网格生成。

根据最终选定的顶点进行德劳内三角化得到三角网格。

步骤d、网格渲染。

在生成三角形网格后，下一步就是将这些三角形着色得到有一个视觉上更艺术化低多边形风格图。一个简单的方法是取每个三角形的平均颜色。然而，低多边形风格化的特色在于其视觉上的3D效果，而这种3D效果通几何表面上的阴影来体现。为了尽可能地达到这种效果，本发明实施例通过设定的最小亮度差来提高相邻三角形之间的明暗对比度。

对于一个三角网格中的三角形的颜色，选取相应三角形色彩直方图中间部分的平均值c_i，对于每一组相邻三角形T_i和T_j，它们之间的亮度差d_i,j为：

d_i,j＝max(|L_i-L_j|,L_min)；

其中，L_i、L_j分别为相邻三角形T_i、T_j在LAB色彩空间上的L向量，L_min为交互模块反馈的最小亮度；

对角网格中的所有三角形，通过解一个线性方程组来计算其增强亮度L'_i：

如图6所示，为同样的三角网格下不同颜色对比度的渲染结果。图6a的两幅图中每个三角形颜色取其平均值；图6b～图6c均使用本发明实施例上述方案来提高相邻三角形的明暗对比度。

从图6来看，采用本发明实施例提供的渲染方式在颜色域上具有更大的标准差。同时，我们在交互***中提供了一个滑动条，用户可以通过拖动滑动条实时地观察不同颜色对比度下不同的效果并且选择其更倾向的结果。因此，对用户来说可以有更多得选择。

另一方面，为了说明本发明实施例所提供上述***的效果，还与现有技术进行了对比。

如图7所示，其中的图7a为孟盖于2015年发表的论文中的算法处理结果，图7b为软件TRIGRAFF的结果；图7c～图7d为本发明实施例上述***的结果。从图中可以看到，图7a的两幅图像在诸如头发、帽子装饰等细节上会保留过多的纹理，与低多边形化的初衷相悖。图7b的两幅图像生成的结果并不很理想，尤其在细节方面。而图7c～图7d不仅可以保留更多细节，还可以在一些过分繁琐的细节上会像艺术家一样进行更多的三角化进行精简。可以明显看出，本发明实施例提供的上述***所生成的低多边形风格图效果明显优于其他两种方案的生成结果。图8展示了在不同类型图片上更多得结果，可以看出我们的***对不同风格的图片，如物体、人物、风景、卡通等都具有良好的表现。

此外，为了体现算法的效率，还列出了相关的计算时间统计表。程序运行的环境为：英特尔i7的CPU，3.4GHZ，16GB内存。如表格1所示。对于初始化M＝2000个点，自适应细化过程(即顶点排序过程)平均花费3.5秒左右，其余过程都可以实时进行。

例子	图片大小	过分割时间	排序时间	渲染时间
					花卉(图5)	614*410	0.156	3.009	0.059
冰淇淋(图4)	444*507	0.136	3.129	0.044
					Lina(图6)	512*512	0.187	3.363	0.062
汉堡包(图7)	717*537	0.239	3.959	0.086

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种低多边形风格图生成交互***，其特征在于，包括：顶点采样与网格生成模块、网格渲染模块以及交互模块；其中：

所述顶点采样与网格生成模块，用于在保持输入图像内容结构的基础上进行顶点采样，并使用自适应细化算法对顶点按照其重要性进行排序，再根据交互模块反馈的顶点数量K，从排序后的顶点中选择排名前K个顶点，并使用德劳内三角化来生成网格；

网格渲染模块，用于为三角形网格着色得到低多边形风格图，其中通过设定最小亮度差来提高相邻三角形之间的明暗对比度，相关的最小亮度参数由交互模块反馈；

交互模块，用于实现***与用户之间的交互，通过相应工具接收用户输入的顶点数量K与最小亮度参数。

2.根据权利要求1所述的一种低多边形风格图生成交互***，其特征在于，所述交互模块，包括两个滑动工具条；两个滑动工具条分别用于实现用户输入和调整顶点数量K与最小亮度参数。

3.根据权利要求1或2所述的一种低多边形风格图生成交互***，其特征在于，所述交互模块还包括一个刷子工具；

刷子工具用于实现重要区域的标注，当交互模块获取用户通过刷子工具标注的重要区域时，反馈给顶点采样与网格生成模块，使得顶点采样与网格生成模块保留重要区域中的所有顶点L，再从排序后的顶点中选择排名前K-L个顶点。

4.根据权利要求1所述的一种低多边形风格图生成交互***，其特征在于，所述在保持输入图像内容结构的基础上进行顶点采样，并使用自适应细化算法对顶点按照其重要性进行排序包括：

采用过分割的方法将输入图像分割为超像素，选择相邻超像素的交叉点做为顶点，形成顶点候选集p_subset＝p₁,...,p_M；

顶点按照其重要性为在三角网格中移除这个点之后与输入图像的差距；当一个顶点被移除后，得到的三角化结果的颜色也会改变，移除一个顶点后，颜色差距越大，则这个顶点越重要；排序过程如下：使用德劳内三角化将顶点候选集生成彩色网格；再计算每个顶点的近似误差，近似误差越小表明重要性越低，选择其中最小的点p^*将其添加到队列中；一旦点p^*从顶点候选集中移除，通过对点p^*局部的更新得到一个新的三角化网格；点p^*相邻点的近似误差将被重新计算用于下一轮的点移除中；通过不断重复上述过程，完成将M个顶点的排序。

5.根据权利要求1所述的一种低多边形风格图生成交互***，其特征在于，所述为三角形网格着色得到低多边形风格图包括：

对于一个三角网格中的三角形的颜色，选取相应三角形色彩直方图中间部分的平均值c_i，对于每一组相邻三角形T_i和T_j，它们之间的亮度差d_i,j为：

d_i,j＝max(|L_i-L_j|,L_min)；

其中，L_i、L_j分别为相邻三角形T_i、T_j在LAB色彩空间上的L向量，L_min为交互模块反馈的最小亮度；

对角网格中的所有三角形，通过解一个线性方程组来计算其增强亮度L'_i：