CN110544300B - 一种基于二维手绘图像特征自动生成三维模型的方法 - Google Patents

Abstract

一种基于二维手绘图像特征自动生成三维模型的方法，通过获取边缘图像、形态变换图像、填充图像从而将原图像进行多层次划分，并在上述图像的基础组合生成深度图像。获得深度图像后，依据像素点所在层数使像素点在三维空间内提升相应高度，并对三维空间中每2×2点阵进行处理获得一个四边形平面，利用对角像素点划分四边形平面为两个三角形平面，依次处理后生成初步三维模型。生成初步三维模型后还需验证所有三角形平面，依据三个像素点灰度值进行三角形平面的剔除或保留，获得最终三维模型。保持高准确率的前提下获得与二维手绘图像纹理特征一致的三维模型，而不需要精确的定位，极大地提高鲁棒性，并且降低计算资源及设备成本，适用于实时转换。

Description

一种基于二维手绘图像特征自动生成三维模型的方法

技术领域

本发明涉及图像处理领域，更具体地，涉及一种基于二维手绘图像特征自动生成三维模型的方法。

背景技术

现有技术中，基于二维图像转三维模型的方法主要有通过多方位摄像机标定的三维重建、基于深度信息的高精度建模以及基于RGB-Depth三维重建等，但上述方法在实施的过程中都需要借助硬件设备，如用于采集深度信息的激光测距仪、Kinect以及一些低消费级别的深度相机等。该类方法往往不能通过一张二维图像重建三维模型，也不能重现原图像应有的轮廓纹理特征。

为此，现有技术中也设计有不需要额外图像撷取设备的二维图像转三维图像方法，但该类方法普遍采用较为复杂的处理过程，计算较为复杂，生成深度图像的过程也较为繁琐，所以，其整体转换过程的效率低、耗时多，无法应用于实际需求和大批量生产。同时，该类方法存在较多的不稳定因素，转换二维模型至三维模型的准确率较低，更不能重现原图像应有的轮廓纹理特征。

发明内容

本发明旨在克服上述现有技术的至少一种缺陷，提供一种基于二维手绘图像特征自动生成三维模型的方法，对二维图像特征识别和提取具有较高的准确性，能够获得与二维手绘图像纹理特征一致的三维模型，且计算过程简单、生成三维模型的效率较高。

本发明采取的技术方案是，一种基于二维手绘图像特征自动生成三维模型的方法，包括以下步骤：

S1、对手绘图像进行边缘保留滤波后提取图像边缘，获得边缘图像；通过常用的边缘保留滤波进行预处理，有助于后续边缘的准确提取，提高准确性；在边缘保留滤波处理后，提取二维图像的识别特征，该特征也是区分图像主体区域的主要特征，有助于后续组合其他图像形成深度图像。

S2、对S1中获得的边缘图像进行高级形态学变换，使部分未闭合边缘进行闭合，获得形态变换图像；高级形态学变换包括常见的开运算、闭运算、形态梯度、顶帽、黑帽，每个形态学操作对相同图像的处理结果并不相同，可依据图像本身线条、背景以及使用者需求等进行形态学操作的选择。

S3、对S2中形态变换图像最外侧轮廓的外部背景进行填充，获得填充图像；轮廓即边缘提取后产生的轮廓，最外侧轮廓即二维图像中图案主体的最***，通过对最***的外部背景进行填充能够提取和区分图案主体、非图案主体的特征。

S4、组合边缘图像、形态变换图像、填充图像获得三层分布深度图像；利用步骤S1、S2、S3中分别得到的边缘图像，形态变换图像，以及填充图像进行组合，最后组合得到以外背景，轮廓边缘，内轮廓区域三个层次划分表示的深度图像。外背景即上述S3中的外部背景，而轮廓边缘即提取边缘所产生的轮廓，内轮廓区域则为轮廓包围或轮廓与轮廓之间的区域。

S5、在三层分布深度图像的基础上，依据像素点所在层数使像素点在三维空间内提升相应高度，并对三维空间中每2×2点阵进行处理获得一个四边形平面，即在每2×2点阵中连接四个像素点形成四边形平面，四边形平面包括矩形平面、菱形平面；利用对角像素点划分四边形平面为两个三角形平面，依次处理所有2×2矩阵后生成初步三维模型。依据像素点所在层数使像素点提升相应高度，即将深度图像的多个层次提升对应高度，从而产生具有立体感的三维模型。三角形平面包括非同层次像素点组成的三角形平面和同层次像素点组成的三角形平面，记非同层次像素点组成的三角形平面为连接面，记同层次像素点组成的三角形平面为水平面；非同层次之间的连接面则为三个连接像素点灰度值不一致，水平面则为三个连接像素点灰度值一致，非同层次之间的连接面构成了图案各个边缘的立体效果。

S6、对所有三角形平面进行验证，依据三角形平面对应的三个像素点灰度值进行三角形平面的剔除或保留，依次处理所有三角形平面后获得最终三维模型。依据剔除的标准能够产生不同的三维模型，如三角形平面对应的三个连接像素点灰度值均为0时代表均处于第0层。当第0层图像代表非图案主体区域时，第0层不属于图像的图案主体部分，进行剔除，则只保留了图案主体，当三角形平面对应的三个连接像素点灰度值均为0时不进行剔除，则在图案保留的基础上还保留了非图案主体区域。图案主体包括轮廓包含区域和轮廓本身。

以边缘作为图像的主要特征之一，在上述过程中，先进行边缘保留滤波再进行边缘提取，不仅提高了二维图像识别特征的准确性，还减少了边缘提取后的筛选或检测步骤，从而实现了快速的识别、提取二维图像特征；本发明利用形态学变换、泛洪填充算法实现其他层次图像，从而实现深度图像的组合生成。在该过程中，不仅处理过程简单，其相关算法的计算过程也较为简单，所以提高了二维图像至深度图像过程的转换效率。在组合形成深度图像后，只需提升不同层次像素点的高度并划分像素点组成平面，即可产生具有立体效果的初步三维模型；在初步三维模型产生后也只需要通过检测灰度值进行三角形平面的剔除和保留，并产生最终三维模型。所以本发明中二维转换为三维的整体过程操作容易、计算简单，能够实现在较短时间内对单个二维图像的转换。即本发明可适用于实时场景，满足即时的转换需要。同时，本发明是以边缘图像作为主要识别特征，所以其完好的保存了边缘特征，并通过多个层次划分的高度特征、灰度值实现三维模型的建立，所以图案的纹理得以表现，即重现了二维图像中的纹理特征。

优选的，步骤S1中采用Canny边缘检测算法提取图像边缘；边缘检测具有较多算法，包括Sobel算子、Canny算子、Laplacian算子，其中Sobel算子对灰度渐变和噪声较多的图像处理效果较好，但对边缘定位准确性较低；Laplacian算子则对噪声较敏感；而Canny不容易受噪声干扰，能够检测强边缘、弱边缘。其利用双阈值进行监测，对边缘的检测更为准确，所以采用Canny边缘检测算法有助于后续深度图像的构造。

在使用Canny算子检测边缘的前提下，步骤S1具体包括：

(1)对手绘图像进行边缘保留滤波，保留处理后的图像；

(2)设置Canny边缘检测算法的高低阈值，高低阈值的选择应取决于给定图像的内容；优选的，高低阈值中的低阈值通用设置为35，高阈值通用设置为70，减少更改阈值的过程，适应于大多数图像。

(3)计算图像中每个像素点的梯度强度和方向，边缘像素的梯度值高于高阈值则标记为强边缘像素，边缘像素的梯度值小于高阈值并大于低阈值则标记为弱边缘像素，边缘像素的梯度值小于低阈值则被抑制，被抑制的边缘像素将被剔除；

(4)对所有边缘像素点进行阈值检测后获得边缘图像。

使用Canny算子提取图像边缘不仅准确，其计算过程同样简单，减少了计算的耗时，提升了边缘检测的效率。

优选的，步骤S2中的高级形态学变换采用闭运算，即部分未闭合边缘进行闭合的过程采用的是形态学变换中的闭运算，使用参考点位于中心5×5内核计算，持续对边缘进行先膨胀，再腐蚀。闭运算能够排除较小的黑色区域，可以消除低于邻近点的孤立点，达到去噪作用，可以平滑物体轮廓、弥合较窄的间断和细长的沟壑，消除小孔洞，填补轮廓线中的断裂。

优选的，步骤S3中采用泛洪填充算法(Flood Fill)进行外部背景的填充，由图像的左上角和右下角出发，对外部背景进行泛洪填充，将外部背景填充为白色，从而产生填充图像，使用泛洪填充算法获得的填充图像可称为泛洪填充图像。泛洪操作先定义一个单通道比原图像长宽大两个像素的掩码图像，然后从左上角的位于(1，1)的像素点和右下角位于(-1，-1)的像素点开始洪泛填充；其中第0行，第0列，以及最后一行，最后一列的像素点均预处理与形态变换图像对应位置保持一致，最后把图像最外层轮廓外的背景填充为白色。

优选的，步骤S4中生成深度图像的具体步骤包括：

(1)对填充图像进行反相，使最外侧轮廓的外部背景从白色转为黑色，内部各个轮廓所包含的区域由黑色转为白色；

(2)依据边缘图像和形态变换图像信息在深度图像上将边缘位置表示出来，用灰色表示；

(3)记边缘图像为edge，形态变换图像为shape，填充图像为flood，深度图像为depth，则深度图像的第i个像素点信息为：depth[i]＝255-flood[i]-int(edge[i]/2)+shape[i]，其中int为取整操作，edge[i]、shape[i]、flood[i]、depth[i]分别为第i个像素点在边缘图像、形态变换图像、填充图像、深度图像中的灰度值；其中i为正整数，最大值为图像的像素点总数。

(4)在生成的深度图像中最外侧轮廓的外部背景灰度值为0、各轮廓边缘灰度值为G、内部轮廓包含区域的灰度值为255，其中0＜G＜255；优选的，为了方便计算并突出轮廓边缘与其他区域的区别，G取值为127。

优选的，步骤S5中获得三角形平面后，由于部分三角形平面为深度图像中非同层次之间的连接面，部分三角形平面为单个层次图像上的水平面，为了平滑连接面与水平面之间的边缘，采用高斯模糊对连接面与水平面之间的边缘进行预处理，其中高斯卷积内核采用5×5的矩阵，sigmaX值取0，其中sigmaX为高斯核函数在X方向上的标准偏差。

优选的，步骤S6具体包括：

(1)传入剔除层数值至深度图像转模型函数的接口，深度图像通过转模型函数形成三维模型，转模型函数提供多个接口用于传入参数，以实现各个参数下的最终三维模型；默认传入剔除层数为-1，若三角形平面对应像素点灰度值均为0，则不剔除该三角形平面，生成模型表现为保留底平面背景；传入剔除层数为0，若三角形平面对应像素点灰度值均为0，则剔除该三角形平面，生成模型表现为去除底平面，只保留包括高度、表面特征的模型信息，表面特征包括表面纹理。即第0层代表深度图像中的外部背景层，三角形平面对应像素点灰度值均为0时，代表该三角形平面为处于外部背景层的水平面，剔除所有该类三角形，即剔除了外部背景层，即去除了图像的底平面。

(2)根据传入的剔除层数值对所有三角形平面进行检测，经剔除和保留后，输出最终三维模型。

优选的，深度图像转模型函数的接口包括模型生成高度、宽度的设置入口。接口加入了可控的模型生成高度以及宽度等人性化设置，有助于对模型输出的范围和大致大小进行一定程度的把控，有助于根据使用者需求直接产出对应的模型，提供自由度较高的自定义设置。

与现有技术相比，本发明的有益效果为：本发明直接针对静态图片进行处理，先后经边缘保留滤波、边缘提取获得边缘图像，提高了二维图像识别特征的准确性。且边缘图像的提取不仅仅是整体图像的所有边缘，所以能够保留二维手绘图像纹理特征。在边缘图像的基础上还利用简单的操作获得形态变换图像、填充图像，并给予已有的三层图像组合生成了深度图像。该过程不仅不需要图像撷取设备，而且操作容易、计算简单。在保证图像特征识别、提取准确性的同时提高了转换效率。在获得以最外侧轮廓之外的背景，轮廓边缘，以及内部各个轮廓三个层次的深度图像后，通过提升对应层次上的像素点即产生初步三维模型。该过程仅仅需要对像素点位置发生改变，简化了计算过程并减少了计算量。即使是后续的验证仍只需要对灰度值检测，所以整体生成三维模型的过程显著减少了耗时、提高了效率，能够适用于即时的三维模型生成，更符合实际的应用需求，有利于大批量生产。相对于现有技术，可以在保持高准确率的前提下获得与二维手绘图像纹理特征一致的三维模型，而不需要精确的定位，极大地提高鲁棒性，并且降低计算资源及设备成本，适用于实时转换。

附图说明

图1为本发明的流程图。

图2为实施例1的样本图像。

图3为实施例1的边缘图像。

图4为实施例1的形态变换图像。

图5为实施例1的泛洪填充图像。

图6为实施例1中组合生成的深度图像。

图7为实施例1的最终三维模型。

图8为实施例2的样本图像。

图9为实施例2的最终三维模型。

图10为现有技术中三维建模的划分示意图。

图11为现有技术构建的三维模型示意图。

具体实施方式

本发明附图仅用于示例性说明，不能理解为对本发明的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

实施例1

如图1所示的流程，基于二维手绘图像特征自动生成三维模型的方法包括以下步骤：

S1、对输入图像进行边缘提取。

如图2所示，输入一张样本艺术品手绘图像，对其进行边缘保留滤波，然后设置高低阈值分别为75和30，采用Canny算子提取图像的边缘，计算图像中每个像素点的梯度强度和方向，边缘像素的梯度值高于高阈值则标记为强边缘像素，边缘像素的梯度值小于高阈值并大于低阈值则标记为弱边缘像素，边缘像素的梯度值小于低阈值则被抑制，被抑制的边缘像素将被剔除；剔除所有被抑制的边缘像素后，获得边缘图像，如图3所示。

S2、对边缘图像做形态学变换。

使用形态学变换的方法对边缘图像进行闭运算操作，使所提取出的部分没有闭合的边缘进行闭合，使用参考点位于中心5×5内核计算，持续对边缘进行先膨胀，再腐蚀；最后得到形态学变换后的图像，即形态变换图像，如图4所示。

S3、双角洪泛填充。

根据所得的形态变换图像，先定义一个单通道比原图像长宽大两个像素的掩码图像，然后从左上角的位于(1，1)的像素点和右下角位于(-1，-1)的像素点开始洪泛填充；其中第0行，第0列，以及最后一行，最后一列的像素点均预处理与形态变换图像对应位置保持一致，最后把图像最外层轮廓外的背景填充为白色，获得泛洪填充图像，如图5所示。

S4、利用边缘图像、形态变换图像、泛洪图像组合形成深度图像。

(1)对填充图像进行反相，使最外侧轮廓之外的外部背景从白色转为黑色，内部各个轮廓所包含的区域由黑色转为白色；

(2)依据边缘图像和形态变换图像信息在深度图像上将边缘位置表示出来，用灰色表示；

(3)记边缘图像为edge，形态变换图像为shape，填充图像为flood，深度图像为depth，则深度图像的第i个像素点信息为：depth[i]＝255-flood[i]-int(edge[i]/2)+shape[i]，其中int为取整操作，edge[i]、shape[i]、flood[i]、depth[i]分别为第i个像素点在边缘图像、形态变换图像、填充图像、深度图像中的灰度值；其中i为正整数，最大值为图像的像素点总数。

(4)在生成的深度图像中最外侧轮廓的外部背景灰度值为0、各轮廓边缘灰度值为127、内部轮廓包含区域的灰度值为255。

最后得到以外背景，轮廓边缘，内轮廓区域三个层次划分表示的深度图像，如图6所示。

S5、根据深度图的像素点信息初步构建三维模型。

根据像素点处于不同的层数在三维空间中对应提升一定的高度，然后对深度图像中每2×2矩阵所包含的像素点进行连接形成一个四边形平面，再根据该矩阵内对角的像素点分割成两个三角形平面，依次处理所有2×2矩阵，最终生成一个初步三维模型。在分割四边形平面获得三角形平面后需进行预处理才能生成初步三维模型，三角形平面分为深度图像中由非同层次像素点组成的三角形连接面和由同层次像素点组成的三角形水平面，为了平滑连接面与水平面之间的边缘，采用高斯模糊对连接面与水平面之间的边缘进行预处理，其中高斯卷积内核采用5×5的矩阵，sigmaX值取0，其中sigmaX为高斯核函数在X方向上的标准偏差。

S6、对初步三维模型进行进一步的检测。

传入剔除层数值-1至深度图像转模型函数的接口，保留对应像素点灰度值均为0的三角形平面，即保留底平面背景和图像的图案特征，并输出最终三维模型，如图7所示。

实施例2

输入一张新的样本艺术品手绘图像的样本，样本二维图像如图8所示；

重复实施例1中的具体步骤S1～S6，使用相同的处理参数，对该图像进行实施例1样本的相同处理，获得对应的最终三维模型，最终三维模型如图9所示。

以现有技术中手绘花朵转三维模型示例，文献“素描式草绘的三维花朵建模，第一作者唐棣”中展示了一种草绘花朵转换为三维模型的处理过程，在该过程中，如图10所示，其不仅需要提取草绘图像的轮廓曲线，还需要提取侧面投影曲线以及花瓣的形状、位置。在其实际计算过程中，还需对曲线的部分端点进行聚类分析、对曲面进行面积分析和构造、依据旋转及平移分量进行空间位置计算，在该过程中涉及到较多计算，处理过程较为复杂。同时该类方法具有单一性，其只能针对该类曲面花瓣进行三维建模，无法适用其他图像，至多只能用于一些简单特征的草绘图，且无法保留表面纹理特征，如图11所示。

而本实施例仅采用边缘检测、填充、深度图像、像素点灰度处理即实现了三维模型的转换，相比于现有技术处理过程简单、计算容易，不仅保证了边缘检测、纹理特征还原的准确性，还实现了高效率转换。即实现了复杂特征二维手绘图像建模，节省了大量繁琐的计算过程，具有高效率的特征，能够应用到即时转换以及工业的批量生产中。

显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种基于二维手绘图像特征自动生成三维模型的方法，其特征在于，包括以下步骤：

S1、对手绘图像进行边缘保留滤波后提取图像边缘，获得边缘图像；

S2、对边缘图像进行高级形态学变换，使部分未闭合边缘进行闭合，获得形态变换图像；

S3、对形态变换图像最外侧轮廓的外部背景进行填充，获得填充图像；

S4、组合边缘图像、形态变换图像、填充图像获得三层分布深度图像；

S5、在三层分布深度图像的基础上，依据像素点所在层数使像素点在三维空间内提升相应高度，并对三维空间中每2×2点阵进行处理获得一个四边形平面，利用对角像素点划分四边形平面为两个三角形平面，处理所有2×2点阵后生成初步三维模型；

S6、对所有三角形平面进行验证，依据三角形平面对应的三个像素点灰度值进行三角形平面的剔除或保留，验证所有三角形平面后获得最终三维模型；

步骤S3中进行外部背景的填充，将外部背景填充为白色；

步骤S4具体包括：

(1)对填充图像进行反相，使最外侧轮廓的外部背景从白色转为黑色，内部各个轮廓所包含的区域由黑色转为白色；

(2)依据边缘图像和形态变换图像信息在深度图像上将边缘位置表示出来，用灰色表示；

(3)记边缘图像为edge，形态变换图像为shape，填充图像为flood，深度图像为depth，则深度图像的第i个像素点信息为：depth[i]＝255-flood[i]-int(edge[i]/2)+shape[i]，其中int为取整操作，edge[i]、shape[i]、flood[i]、depth[i]分别为第i个像素点在边缘图像、形态变换图像、填充图像、深度图像中的灰度值；

(4)在生成的深度图像中最外侧轮廓的外部背景灰度值为0、各轮廓边缘灰度值为G、内部轮廓包含区域的灰度值为255，其中0＜G＜255。

2.根据权利要求1所述的一种基于二维手绘图像特征自动生成三维模型的方法，其特征在于，步骤S1中采用Canny边缘检测算法提取图像边缘。

3.根据权利要求1所述的一种基于二维手绘图像特征自动生成三维模型的方法，其特征在于，高级形态学变换采用闭运算。

4.根据权利要求1所述的一种基于二维手绘图像特征自动生成三维模型的方法，其特征在于，步骤S3中采用泛洪填充算法进行外部背景的填充，由图像的左上角和右下角出发，对外部背景进行泛洪填充，将外部背景填充为白色。

5.根据权利要求2所述的一种基于二维手绘图像特征自动生成三维模型的方法，其特征在于，步骤S1具体包括：

(1)对手绘图像进行边缘保留滤波，保留处理后的图像；

(2)设置Canny边缘检测算法的高低阈值；

(3)计算图像中每个像素点的梯度强度和方向，边缘像素的梯度值高于高阈值则标记为强边缘像素，边缘像素的梯度值小于高阈值并大于低阈值则标记为弱边缘像素，边缘像素的梯度值小于低阈值则被抑制；

(4)对所有边缘像素点进行阈值检测后获得边缘图像。

6.根据权利要求5所述的一种基于二维手绘图像特征自动生成三维模型的方法，其特征在于，低阈值设置为35，高阈值设置为70。

7.根据权利要求1所述的一种基于二维手绘图像特征自动生成三维模型的方法，其特征在于，步骤S5中获得三角形平面后，由于三角形平面分为非同层次像素点之间构成的三角形连接面和同层次像素点组成的三角形水平面，为了平滑连接面与水平面之间的边缘，采用高斯模糊对连接面与水平面之间的边缘进行预处理。

8.根据权利要求1所述的一种基于二维手绘图像特征自动生成三维模型的方法，其特征在于，步骤S6具体包括：

(1)传入剔除层数值至深度图像转模型函数的接口；默认传入剔除层数为-1，若三角形平面对应像素点灰度值均为0，则不剔除该三角形平面，生成模型表现为保留底平面背景；传入剔除层数为0，若三角形平面对应像素点灰度值均为0，则剔除该三角形平面，生成模型表现为去除底平面，只保留包括高度、表面特征的模型信息；

(2)根据剔除层数值对所有三角形平面进行检测后输出最终三维模型。

9.根据权利要求8所述的一种基于二维手绘图像特征自动生成三维模型的方法，其特征在于，深度图像转模型函数的接口包括模型生成高度、宽度的设置入口。

Images