CN109712223B - 一种基于纹理合成的三维模型自动上色方法 - Google Patents

Abstract

本发明公布了一种基于纹理合成的三维模型自动上色方法，采用纹理合成方法对给定模型和图像进行纹理合成，并通过网格投影恢复模型表面的纹理坐标，由此实现根据用户给定的图像合成模型贴图，方便快捷地实现对三维模型进行自动上色；包括：纹理图像处理阶段、三维模型处理阶段和纹理合成阶段。本发明方法可以方便快捷地对三维模型进行自动上色，无需手动进行网格参数化或手工设计纹理贴图，只需输入二维图像和待上色的三维模型，即可自动地合成模型贴图。本发明适合海量模型的自动上色工程，极大简化了模型着色的难度，也非常适合个性化的模型制作与展示。

Description

一种基于纹理合成的三维模型自动上色方法

技术领域

本发明涉及人工智能和计算机图形处理技术，尤其涉及一种基于纹理合成的三维模型自动上色方法。

背景技术

三维模型是计算机中用来表示和存储真实世界中三维物体的形式，一般由多边形面片连接构成。相对于传统的二维图像来说，三维模型能带给人们更强的真实感和立体感。使用计算机进行三维模型处理一直以来是图形学的主要研究部分，主要应用包括计算机辅助设计(CAD)、3D计算机游戏，三维动画电影制作，以及近年来兴起的三维打印技术，再到如今发展势头强劲的虚拟现实与增强现实技术，都需要大量的三维模型作为其数据基础，要求计算机有能力处理三维模型。

随着三维建模技术和三维扫描技术，特别是消费级RGBD摄像机的普及，三维模型的数量在互联网上与日俱增。比较典型的三维模型库如斯坦福大学开发的ShapeNet、3DWarehouse，都是包含百万级三维模型的模型库。模型库中有一些模型是采用建模软件如Maya、Sketchup的CAD建模而得到的，有些则是利用3D激光扫描仪、深度摄像头等捕获设备对真实物体进行三维重建而得到的。然而，这些海量的模型绝大部分都是没有颜色和纹理信息的“白模型”。而颜色信息对于物体的重要性不言而喻，不论是三维展示、打印或是视觉判断，被合理上色的三维模型都要比只有几何信息的白模型更优越。有一些附带颜色信息的三维模型也是基于顶点着色，由于三维模型顶点的稀疏性，这种方法只能赋予三维模型一些简单粗糙的颜色，并不能使模型富有强烈的真实感。

目前对三维模型进行上色的主流方法是纹理贴图技术。该技术对三维网格进行参数化至二维表面，设计者通过对二维表面直接进行绘制得到模型的纹理图像。最后，三维网格上的顶点会被赋予纹理贴图的UV坐标作为颜色索引，最终显示上色后的三维模型。这种方法考虑了三维模型顶点的稀疏性特征，相比顶点着色，纹理贴图能够生成更为精细的着色效果而不需对原网格进行细分等操作。

然而，手工设计三维模型的纹理贴图并非易事，需要设计者经过专业的训练，在参数化的三维网格上进行直接绘制。这一方面对设计者美工设计的基础有一定的要求，另一方面，即使是专业设计人员也需要花费较长的时间和精力去设计一张精良的模型贴图。因此，这种方法要求较高、效率低下，效果欠佳，难以满足与日俱增的三维模型处理的需要。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于纹理合成的三维模型自动上色方法，利用纹理合成技术，通过三维模型处理、纹理合成等方法，对给定的模型和图像进行纹理合成，并通过网格投影恢复模型表面的纹理坐标，由此实现根据用户给定的图像合成模型贴图，方便快捷的对三维模型进行自动上色。

本发明提供的技术方案是：

一种基于纹理合成的三维模型自动上色方法，采用纹理合成方法(如基于PatchMatch纹理合成)对给定的模型和图像进行纹理合成，并通过网格投影恢复模型表面的纹理坐标，由此实现根据用户给定的图像合成模型贴图，方便快捷的对三维模型进行自动上色；包括：纹理图像处理阶段、三维模型处理阶段和纹理合成阶段；

(一)纹理图像处理阶段

在此阶段，对用户输入的纹理图像进行预处理，主要进行图像分解、区域分割等步骤。具体步骤如下：

11)根据用户输入的前景分割完毕的或只有简单背景的纹理图像，利用图像分解方法对该图像进行分解，分解得到彩色图和光照图；本发明采用分解出的彩色图作为后续处理的输入；

12)利用四叉树分解法，将步骤11)得到的彩色图分解为多个具有相近颜色的图像块；

13)提取图像块颜色特征，并在该特征空间进行维度约减，得到像素级颜色特征图；

14)利用图分割技术分割步骤13)得到的像素级颜色特征图，得到不同区域划分；

15)对用户输入的纹理图像进行均匀采样，得到纹理图像的像素点集。

(二)三维模型处理阶段

在此阶段，对用户输入的三维模型进行预处理，具体的操作涉及三维模型的切割、渲染等。具体步骤如下：

21)视角确定。均匀采样视角方向并渲染每个采样视角下的模型图。提取模型图特征并与用户输入的纹理图进行匹配；

22)模型分割。根据三维模型的几何特征对其进行分割，得到不同的子部件(区域)；

23)根据模型分割结果对渲染图进行区域标注；

24)对该标注的区域划分模型渲染图进行均匀采样，得到渲染图的像素点集。

(三)纹理合成阶段

此阶段进行三维模型着色，涉及纹理合成，纹理坐标恢复等步骤。

31)模型渲染图与纹理图像进行匹配。根据步骤15)与24)产生的结果，对两个点集进行匹配并重建区域对应关系；

本发明具体实施时，采用基于区域的对应代替基于像素的对应关系。具体地，采用大多数投票机制，对于每个模型区域，选择其中最多数的采样点所对应的纹理图像的色块，由此得到基于区域的对应关系。

32)根据区域对应关系生成纹理合成指导，利用纹理合成技术(PatchMatch纹理合成算法)，合成模型在步骤21)中得到的视角方向以及其背面的纹理图像；

33)分别对六视图其余视线方向的可见面进行纹理合成，利用六视图覆盖对模型的可见面进行纹理坐标恢复；

34)生成全局纹理坐标与模型纹理图，对边缘与缝隙进行补全；

35)渲染并生成最终效果图，由此实现基于纹理合成的三维模型自动上色。

针对上述基于纹理合成的三维模型自动上色方法，进一步地，在步骤11)中，采用文献(Bi S,Han X,Yu Y.An L 1,image transform for edge-preserving smoothing andscene-level intrinsic decomposition[J].Acm Transactions on Graphics,2015,34(4):78.)记载的图像分解方法，剔除图像的光照影响，恢复物体的本真颜色。经过处理，图像被分解为一对彩色图和光照图。本发明采用分解出的彩色图作为后续处理的输入。

在步骤12)中，图像逐步被均匀四等分，初始状态下，图像分别被长、宽两条边的中线分割为四个子部分。对于其中每一个子部分，递归地执行图像四等分，直至图像块中的色彩分布的方差小于设置的方差阈值(如0.01)。

在步骤13)中，具体提取图像块的颜色直方图作为特征，在此特征空间中利用文献(Tenenbaum J B,De S V,Langford J C.A global geometric framework for nonlineardimensionality reduction[J].Science,2000,290(5500):2319.)记载的ISOMAP算法将特征降至一维。

在步骤14)中，将步骤11)得到的彩色图的每个像素视作顶点，采用四邻域邻接关系作为图的边，这将构成一个无向图。由于在步骤13)中已经获得像素级颜色特征图，我们可以利用图分割算法对该无向图进行分割。

在步骤15)中，采用飞镖投掷算法对图像进行均匀采样。具体地，利用算法迭代地进行点采样，每次采样的像素点与上一次采样点保持一定半径的距离(如10个像素)。如此迭代直到采样点的数量达到预设值(如3000)。

在步骤21)中，视角的选取采用“足球烯”顶点分布结构。即在其每个顶点位置，视线方向朝向坐标轴原点，计算摄像机参数矩阵。利用该摄像机矩阵渲染三维模型。在得到的渲染图中，提取它们的梯度分布直方图特征(HOG特征)(文献Dalal N,TriggsB.Histograms of Oriented Gradients for Human Detection[C]//IEEE ComputerSociety Conference on Computer Vision&Pattern Recognition.IEEE ComputerSociety,2005:886-893.记载了HOG特征)，同时提取纹理图像的梯度分布直方图，选取使二者欧式距离最小的视角方向，作为纹理图像的视角估计。

在步骤22)中，利用形状直径函数(文献Shapira L,Shamir A,Cohen-OrD.Consistent mesh partitioning and skeletonisation using the shape diameterfunction[J].Visual Computer,2008,24(4):249.记载了形状直径函数)对三维模型进行分割，得到三维模型的不同子部件。

在步骤23)中，利用步骤22)的模型分割结果，可以得到模型渲染图中每个像素的区域标注。具体地，由于在渲染过程中，渲染图将记录模型顶点对于渲染图中有效像素的贡献值，因此，模型的三角网格顶点与渲染图像素之间具有对应关系。利用这种对应关系，我们可以将三维模型分割的结果通过索引查找简单的映射到模型渲染图上。

在步骤31)中，运用文献(CPD--Coherent Point Drift)(Myronenko,A.,Song,X.Point set registration:Coherent point drift.IEEE Transactions on PatternAnalysis and Machine Intelligence.2010:32(12),2262–2275)记载的一致性点集漂移算法，对步骤15)和24)得到的两个像素点集进行匹配得到对应关系，该对应关系为基于像素的对应关系。运行该算法后将得到点对的对应关系，由于精度限制，采用基于区域的对应代替前面得到的基于像素点的对应关系。具体地，采用大多数投票机制，对于每个模型区域，都选择其中最多数的采样点所对应的纹理图像的色块，由此得到基于区域的对应关系。这种对应关系主要出于两种考虑，一是基于像素级的对应精度不高，二是由于模型本身不包含颜色信息，如果采用基于图像的匹配技术，则会导致匹配精度的进一步下降。

在步骤32)中，由于采用的PatchMatch纹理合成算法要计算两个图像块之间的相似度，利用步骤31)中得到的区域对应关系，可以生成纹理合成的引导图，利用该引导图，可以使PatchMatch算法在进行图像块匹配时只考虑匹配对应区域内的图像块匹配。

在步骤33)中，对于六视图的其余视角方向上，分别渲染当前贴图模型并标记无效纹理区域，再次利用PatchMatch进行图像修复，补全边缘与裂缝处等无效纹理区域。此步骤后将覆盖超过95％的三角面片。

在步骤34)中，分别将六视图的六个面所生成的纹理图进行整合，生成三维模型的全局纹理坐标。其中若仍有无效纹理的三角面片，则采用其所在的区域的平均颜色替代。

与现有技术相比，本发明的有益效果是：

本发明提出一种基于纹理合成的三维模型自动上色方法，采用基于PatchMatch的纹理合成方法对给定的模型和图像进行纹理合成，并通过网格投影恢复模型表面的纹理坐标，由此实现根据用户给定的图像合成模型贴图，方便快捷的对三维模型进行自动上色。使用本发明方法，用户可以方便快捷的对三维模型进行自动上色。不需用户手动进行网格参数化，不需用户手工设计纹理贴图，只需输入二维图像和与之对应的待上色的三维模型，即可利用纹理合成技术根据用户给定的图像合成模型贴图。整个过程完全自动化，不需人工干预，因此非常适合海量模型的自动上色工程，另一方面，也极大的简化了模型着色的难度，使得普通用户也可以按照自己的喜好对模型进行着色，非常适合个性化的模型制作与展示。

附图说明

图1是本发明方法的流程框图。

图2是本发明实施例所采用的一种纹理图像分割算法示意图；

其中，(a)为采用四叉树分解法对图像进行分解；(b)为(a)的像素级颜色特征图；(c)为(a)中图像块在颜色特征空间中的分布。

图3是本发明实施例中的纹理图像分解与部件指导示意图；

其中，(a)为输入的原始纹理图像；(b)为分解后的彩色图，右上角为其对应的区域导引图；(c)为三维模型的正面渲染图及其区域导引图；(d)三维模型背面渲染图及其区域导引图；(e)为分割后的三维模型示意图。

图4是本发明实施例六视图中其余四个视图的渲染图与其对应的指导图；

其中，(a)为侧视图1对应的模型渲染图及纹理合成的其源与目标导引图；(b)为侧视图2对应的模型渲染图及纹理合成的其源与目标导引图；(c)为顶视图对应的模型渲染图及纹理合成的其源与目标导引图；(d)为底视图对应的模型渲染图及纹理合成的其源与目标导引图。

图5是本发明实施例中的六视图与边缘修复后的合成结果；

其中，(a)为正视图正反两个方向的纹理合成图；(b)为侧视图正反两个方向的纹理合成图；(c)顶视图正反两个方向的纹理合成图。

图6是本发明实施例中三个模型与两张纹理图片交叉合成的最终渲染效果图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种基于纹理合成的三维模型自动上色方法，采用基于PatchMatch的纹理合成方法对给定的模型和图像进行纹理合成，并通过网格投影恢复模型表面的纹理坐标，由此实现根据用户给定的图像合成模型贴图，方便快捷的对三维模型进行自动上色；包括：纹理图像处理阶段、三维模型处理阶段和纹理合成阶段。

图1是本发明方法的流程框图。具体实施时，包括如下具体步骤：

首先，对用户输入的纹理图像进行预处理：

●我们要求输入的作为纹理源的图像必须已前景分割或只具有简单背景，如图3中(a)所示。对于已分割好前景的纹理源图像，只需另提供二值遮罩图一张即可，其中以1标志前景0标志背景；若图像为简单背景，只需进行简单的图像二值化操作即可。

●利用前述算法进行图像分解，此步骤后将图像分解为彩色图如图3中(b)和光照图，我们采用其中的彩色图作为后续处理的输入。

●利用四叉树分解法对图像进行逐步分割，分割效果如图2中(a)所示，当图像块包含的颜色方差小于阈值0.01时即停止进一步分割。即此图像块包含相对单一的颜色信息。

●使用isomap算法对上述颜色空间的颜色特征进行降维，采用颜色直方图作为颜色描述子，得到像素级颜色特征图，如图2中(b)所示，图中以伪彩色表示特征值的大小，图2中(c)为上述特征在RGB颜色空间中的分布。

●在进行图像区域分割时，采用图分割技术对图像进行区域划分。随后，对用户输入的三维模型进行预处理：

●首先对三维模型进行不同视角方向的渲染，采用blender script实现该操作；生成模型渲染图。

对模型赋予Lambert反射体材质，灯光采用Blender默认的环境光，背景颜色采用白色。如图3中(c)-(d)为模型正反两面渲染图及其对应的区域导引图。

●在估计视线方向时，本发明计算模型渲染图与纹理图之间的HOG特征相似度。采用最为相似的视线方向作为估计视角。

●与此同时，三维模型将依据几何形态被分解为不同子部件如图3(e)所示，并生成部件导引图。与上一步相对应地，此步生成的部件导引图将为生成的模型渲染图提供分割指导。

●将模型渲染图与分割好前景的纹理图进行均匀采样。本发明采用飞镖投掷算法进行采样：在有效区域内进行随机采点，并保留采样点位置，并判断该采样点位置是否与之前的某一采样点之间的距离小于某一阈值(10个像素点)，若小于这一阈值，则该采样点被舍弃，否则保留。继续重复上述采样步骤直至达到规定采样点数目。

最后，对合成的纹理进行纹理坐标恢复和纹理贴图：

●采用一致点集漂移(CPD--Coherent Point Drift)方法对模型渲染图与纹理图的采样点集进行匹配。

●利用上一步的结果，采用“大多数投票”机制建立区域的对应信息，对模型正反两个视图进行纹理合成。对于每个模型渲染图的区域，都选择其中最多数的采样点所对应的纹理图像的色块。

●其余四个视图：侧视图、顶视图与底视图在此时的渲染结果分别如图4中(a)～(b)，(c)～(d)所示。其中灰色的部分为模型正反视图所未能覆盖的区域、对于这四个视图，计算与它们相对应的纹理合成源与目标导引图S、T。

●采用视线方向投影法进行纹理坐标恢复，即使用投影变换将模型投射至二维平面，顶点在二维平面内的位置即为该顶点的纹理坐标。但由于与实现方向相垂直的边缘区域的顶点可能会受到挤压，导致该区域点的密度大大增加，使纹理贴图畸变，这里设定试视线方向与该点处法线方向夹角阈值，若该角度接近90°则将此点纹理坐标设为无效。此点的纹理坐标会在其余的视线方向上得到恢复。

图5为六视图中六个视线方向上纹理合成的最终结果。图6展示了三个3D模型与两张纹理图像进行交叉合成的结果；其中，图中第一行展示的三个模型分别由第一列的两张纹理图像进行着色，上色的结果由表格对应位置给出。可以看出，采用本发明方法，在三维模型与纹理图即使存在部分差异的情况下也能获得良好的上色效果。其次，利用本方法进行模型着色，无需对三维模型的分辨率做任何限制，也不影响最终的合成精细度。本发明方法解决了三维模型自动着色的问题，使3D模型的个性化建模与制造更为便利。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (7)

1.一种基于纹理合成的三维模型自动上色方法，采用纹理合成方法对给定模型和图像进行纹理合成，并通过网格投影恢复模型表面的纹理坐标，由此实现根据用户给定的图像合成模型贴图，方便快捷地实现对三维模型进行自动上色；包括：纹理图像处理阶段、三维模型处理阶段和纹理合成阶段；

(一)在纹理图像处理阶段，对用户输入的纹理图像进行预处理，包括图像分解、区域分割处理，得到不同区域划分和纹理图像的像素点集；

(二)在三维模型处理阶段，对用户输入的三维模型进行预处理，包括三维模型切割、渲染；均匀采样视角方向并渲染每个采样视角下的模型图，提取模型图特征并与用户输入的纹理图像进行匹配；得到不同区域划分和渲染图的像素点集；包括如下步骤：

21)视角确定：均匀采样视角方向并渲染每个采样视角下的模型图，提取模型图特征并与用户输入的纹理图进行匹配；

22)模型分割：根据三维模型的几何特征对其进行分割，得到不同的子部件或区域；

23)根据模型分割结果对渲染图进行区域标注；

24)对该标注的区域划分模型渲染图进行均匀采样，得到渲染图的像素点集；

在步骤21)中，视角的选取采用“足球烯”顶点分布结构作为摄像机矩阵渲染三维模型，在得到的渲染图中，提取梯度分布直方图特征，同时提取纹理图像的梯度分布直方图，选取使二者欧式距离最小的视角方向，作为纹理图像的视角估计；

在步骤22)中，利用形状直径函数对三维模型进行分割，得到三维模型的不同子部件；模型的三角网格顶点与渲染图像素之间具有对应关系；

在步骤23)中，利用模型的三角网格顶点与渲染图像素之间具有对应关系，将三维模型分割的结果通过索引映射到模型渲染图上，得到模型渲染图中每个像素的区域标注；

(三)在纹理合成阶段进行三维模型着色；包括如下步骤：

31)将模型渲染图与纹理图像进行匹配：根据纹理图像处理和三维模型处理产生的结果，对纹理图像的像素点集和渲染图的像素点集进行匹配并重建区域对应关系；

32)根据区域对应关系生成纹理合成指导，利用纹理合成方法，合成模型在视角方向和其背面的纹理图像；

33)分别对可见面进行纹理合成和纹理坐标恢复；

34)生成全局纹理坐标与模型纹理图，对边缘与缝隙进行补全；

35)渲染并生成最终效果图，由此实现基于纹理合成的三维模型自动上色。

2.如权利要求1所述自动上色方法，其特征是，所述纹理合成方法具体采用PatchMatch纹理合成方法。

3.如权利要求1所述自动上色方法，其特征是，在(一)在纹理图像处理阶段的处理具体步骤如下：

11)根据用户输入的前景分割完毕的或只有简单背景的纹理图像，利用图像分解方法对该图像进行分解，分解得到彩色图和光照图；

12)利用四叉树分解法，将步骤11)得到的彩色图分解为多个具有相近颜色的图像块；

13)提取图像块颜色特征，并在该特征空间进行维度约减，得到像素级颜色特征图；

14)利用图分割技术分割步骤13)得到的像素级颜色特征图，得到不同区域划分；

15)对用户输入的纹理图像进行均匀采样，得到纹理图像的像素点集。

4.如权利要求3所述自动上色方法，其特征是，在步骤11)中，具体采用图像分解方法将图像分解为一对彩色图和光照图；

在步骤12)中，图像逐步被均匀四等分，在初始状态下，图像分别被长、宽两条边的中线分割为四个子部分；对于其中每一个子部分，递归地执行图像四等分，直至图像块中的色彩分布的方差小于设置的方差阈值；

在步骤14)中，将步骤11)得到的彩色图的每个像素视作顶点，采用四邻域邻接关系作为图的边，构成一个无向图；可利用图分割算法对无向图进行分割；

在步骤15)中，具体采用飞镖投掷算法对图像进行均匀采样。

5.如权利要求1所述自动上色方法，其特征是，在步骤31)中，具体使用一致性点集漂移算法，对两个像素点集进行匹配得到基于像素的对应关系；具体采用大多数投票机制，对于每个模型区域，选择其中最多数的采样点所对应的纹理图像的色块，得到基于区域的对应关系；并采用基于区域的对应代替基于像素的对应关系。

6.如权利要求1所述自动上色方法，其特征是，在步骤32)中，在进行图像块匹配时，使用PatchMatch算法只进行对应区域内的图像块匹配。

7.如权利要求1所述自动上色方法，其特征是，在步骤33)中的可见面将覆盖超过95％的三角面片；在步骤34)中，当仍有无效纹理的三角面片时，采用其所在的区域的平均颜色替代。

Images