CN106127859B - 一种移动增强现实型涂鸦绘本的真实感生成方法 - Google Patents

Abstract

本发明属于移动增强现实技术领域，提供一种移动增强型涂鸦绘本的真实感生成方法，包括：（1）纹理设计，用于设计三维增强模型在拾取前、后显示的纹理，（2）三维增强模型设计，用于设计涂鸦对象的角色模型的几何模型和制作角色模型的UV展图，（3）顶点Shader设计，通过Shader程序，将摄像头采集到的影像序列中的绘本图像，经过投影、转换、光栅化等一系列处理步骤，使拾取后模型的显示更加真实。本发明能够扩展涂鸦绘本的选材范围，并能创新性地解决有狭长部件的三维增强模型显示具有的正常光照和视觉效果，建立一种移动增强现实型涂鸦绘本真实感生成的方法。

Description

一种移动增强现实型涂鸦绘本的真实感生成方法

技术领域

本发明属于移动增强现实技术领域，更具体地，涉及一种移动增强型涂鸦绘本的真实感生成方法。

背景技术

增强现实（Augmented Reality, AR）技术可实现真实世界与虚拟世界的无缝连结，随着移动终端计算能力的提升、各种传感模块的集成使用，AR技术与移动技术的结合，实现了AR的小型化与便携化，可满足人们对于互动性、即时性、个性化的需求。

平面出版物是一种经典性的学***面出版类AR产品，如教育卡片、绘本和教材等。与涂色游戏相结合的涂鸦绘本是其中较为典型的一类儿童AR产品，相较传统涂鸦图书，儿童借助智能终端，置身于所涂的场景中，满足了动手做、用眼看、用耳听、用脑想的多元化教育理念。但这类绘本也存在以下缺陷：（1）受UV展图的限制，AR识别图通常要求避免选择狭长形状的物体，且多采用简笔画的方式绘制物体，这就限制了出版物的选择范围；（2）识别图的黑色边界线常常被映射到模型，导致上色后模型会出现黑边或黑斑效果，产生不好的视觉效果；（3）将识别图替换预设的模型纹理，如不作特殊处理，光照效果的真实感不足，需要设计专门的着色器（Shader），从而改善AR模型的显示效果。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种移动增强现实型涂鸦绘本的真实感生成方法，其目的在于，通过对纹理设计、三维增强模型的设计以及基于顶点的Shader设计，能够扩展涂鸦绘本的选材范围，并能创新性地解决有狭长部件的三维增强模型显示具有的正常光照和视觉效果，建立一种移动增强现实型涂鸦绘本真实感生成的方法。

本发明的目的是通过以下技术措施实现的。

一种移动增强现实型涂鸦绘本的真实感生成方法，包括如下步骤：

（1）纹理设计，设计涂鸦对象的三维增强模型的线框图，叠加背景信息后生成用于三维增强模型初始显示的初始纹理图片；该初始纹理图片修改格式后形成儿童涂鸦图片，作为涂鸦绘本中的一页存在，经儿童涂鸦后供三维增强模型拾取；

（2）三维增强模型设计，在3D建模软件如3dsmax中设计与涂鸦对象相应的角色模型，通过Polygon的方式完成几何模型的构建，Polygon建模方式可以较少的面数来表达具有复杂结构的模型，制作该几何模型的UV展图；将初始纹理图片导入到建模软件中，将UV展图摆放在初始纹理图片上的线框图相应的位置内，并沿着线框图的线条轮廓向内调整顶点坐标的位置，制作完成该几何模型的修正后的UV展图；同时获得经修正的带有初始纹理的三维增强模型；

（3）移动AR应用拾取儿童在涂鸦绘本上在涂鸦对象的线框图内涂画的纹理，将该纹理赋给带有初始纹理的三维增强模型，代替上色前纹理，显示到模型的表面，生成带有拾取后纹理的三维增强模型；

（4）顶点Shader设计，采用顶点类型的Shader，将摄像头采集到的影像序列中的涂鸦绘本上的图像，经过处理后，生成具有真实光照感的拾取后纹理，将该纹理赋给带有初始纹理的三维增强模型，显示到模型的表面，生成具有真实感的三维增强模型，解决角色模型上色后光照异常的情形。

在上述技术方案中，步骤（1）中所述纹理设计具体包括如下步骤：

（1-1）绘制三维增强模型的线框图，根据绘本内容的要求，在图像处理软件，如PhotoShop中，设计与编辑模型线框图，为了便于绘本出版，该模型线框图宽高比为4:3，尺寸设定为4266*3200像素，颜色模式为CMYK，文件存储格式为*.jpg；

为方便下一步中角色模型的UV展图工作，此线框图的设计需作如下处理：

（1-1-1）线框图无须过多展示模型对象的细节部位，坚持简洁性原则；

（1-1-2）线框图最外缘边线粗细控制在15-20个像素值，不宜过细，线框图内部线条粗细不高于5个像素值，不宜过粗；

（1-1-3）线框图内部线条间隙保持在30个像素值以上；

（1-1-4）线框图内部较小封闭区域，即封闭区域小于10*10像素时，如牙齿，该区域预置色彩纹理；

（1-2）添加线框图背景信息，将涂鸦对象的线框图叠加在相关背景信息上，生成三维增强模型的初始纹理图片；该初始纹理图片修改格式后形成儿童涂鸦图片，作为涂鸦绘本中的一页存在，以供增强现实中注册步骤使用，此版本具体要求：尺寸为1024*768，颜色模式为RGB，位深度为24，文件存储格式为*.jpg，该儿童涂鸦图片同时也是恐龙三维增强模型的识别图片；

作为三维增强模型的识别图片，此图片需提供足够的标识信息，以方便摄像头进行图像特征值的探测和提取。背景信息需作如下处理：

（1-2-1）背景色彩保持良好的对比度；

（1-2-2）背景图案保持复杂分明的轮廓；

（1-2-3）背景图案保证一定数量的尖锐特征点；

（1-2-4）背景信息无重复模式，具体指的是不要出现成片同一规格的区域，如草地和天空。

在上述技术方案中，步骤（2）中制作UV展图时根据模型几何形态，依据不同的形状包括平面、柱形、球形、长方形等进行分离，将模型展开到二维平面上，实现每个几何面的顶点与UV坐标的对应。具体UV展图过程需做如下处理：

（2-2-1）UV摆放保持横平竖直，以减少UV贴图产生的锯齿数量；

（2-2-2）UV接缝避免出现在模型明显之处，接缝两侧元素保持一致；

（2-2-3）UV的拉伸和切刀两种处理方式灵活使用。模型主要部位UV调整坚持“切刀为主，拉伸为辅”的原则，次要部位UV调整坚持“拉伸为主，切刀为辅”的原则；

（2-2-4）UV坐标避免压到初始纹理图片中线框图即涂鸦对象的边界，同时沿着线框图的线条轮廓向内调整顶点坐标的位置，调整幅度控制在8个像素值以上；

（2-2-5）线框图的线划形状过于狭窄部位，即最小内部距离小于50像素值时，不存放UV坐标，例如牙齿部位。类似狭窄部位应预制纹理，或获取就近纹理。

在上述技术方案中，步骤（4）中所述顶点Shader设计具体包括如下步骤

（4-1）数据输入，将摄像头采集到的影像序列中的涂鸦绘本上的涂色信息作为采样纹理传入Shader；包括涂鸦对象的角色模型的顶点数据即顶点位置、纹理数据即颜色信息；

（4-2）采样纹理的宽高比与显示终端屏幕的宽高比一致时，采样纹理不进行裁剪；采样纹理的宽高比与显示终端屏幕的宽高比不一致时，裁剪掉屏幕中一部分画面，裁剪原则是：采样纹理的宽高比小于屏幕的宽高比时，采样纹理优先对称裁剪上、下端的内容；采样纹理的宽高比大于屏幕的宽高比时，采样纹理优先对称裁剪左、右端的内容；

（4-3）获取涂鸦后的儿童涂鸦图片的组合变换矩阵MVP，得到涂鸦对象的角色模型的顶点坐标经MVP矩阵变换后的二维窗口坐标；

（4-4）采用标准化将该二维窗口坐标变换到[0,1]区间，再分别乘以屏幕宽高，得到角色模型的真实屏幕的像素坐标，经过平移变换后，让获得的像素坐标的原点和屏幕的原点对齐；

（4-5）应用符合移动显示终端特性的环境光照模型，进行光照处理，过程如下：

（4-5-1）声明基本渲染通道，在三维图形绘制中，需要根据光照模型，选择正确的渲染通道，计算可见物体表面的每一个像素投向观察者的光亮度。使用正向渲染基础通道的处理方式，使得平行光以逐像素光照模式被渲染，达到真实光照的效果；

（4-5-2）顶点程序，用于获得顶点的初始颜色，即光源对该顶点的影响；

（4-5-2-1）漫反射处理；漫反射的向量diffuse，由光源的入射向量L与每一个顶点位置的法向量N确定，入射向量指漫反射体与环境光交互反射的光强，计算公式为：

diffuse=L·N

这个过程是向量L与N进行点乘，其过程为：

diffuse=|L|*|N|*cos∠(L,N)

根据计算公式，需获取顶点位置的法向量N，并对它的法线进行转换，对法线的转换需使用逆反置矩阵，实现法线从世界坐标系到对象坐标系的转换，具体转换过程如下：

通过mul函数实现法线和矩阵的相乘，得到对象坐标系中的法向量，将其单位化后，得到顶点位置的法向量N；

公式中的cos∠(L,N)等价于dot(N,L)，即将对象坐标系中顶点法向量的单位向量与光源的入射向量，通过dot函数进行点积操作，返回两个向量的标量积；为避免明暗突变区域产生奇怪的现象，再通过max(0, dot(N,L))函数进行处理；将获得的漫反射量和平行光的颜色信息相乘，得到顶点的漫反射处理结果；

（4-5-2-2）利用球面调和函数对漫反射处理结果进行环境光处理，通过对环境光的处理来提升图形生成的真实性；球面调和函数属辐照环境贴图方法，可用于生成柔和的环境光照，计算量比环境贴图更小 ，适合于动态环境，来提升图形的真实感；

（4-5-2-3）经环境光处理后输出的顶点颜色信息进行插值生成像素，再传入给片元程序进行计算；

(4-5-3)片元程序，对已获得的顶点颜色信息进行处理后输出显示；具体的实现方法如下：

(4-5-3-1)通过已获得的顶点颜色信息，得出裁剪后的采样纹理即采样主纹理在三维坐标下的颜色值；

(4-5-3-2) 为模拟光照的平缓变化以及阴影渐变效果，需计算光源的强度以及衰减，主要是将平行光的强度和环境光的强度进行插值计算，得到光源的强度以及衰减信息；将采样主纹理在三维坐标下的颜色值与光源的强度以及衰减信息进行点乘；若模型颜色亮度过大或者过小，就会影响光照模型的真实显示，为改善该模型显示偏暗的情况，需乘以缩放参数来调节颜色亮度，该参数调节范围在0-5，从而获得采样主纹理在三维坐标下的最终颜色值；

(4-5-3-3)经过坐标变换和光照处理后，顶点被投影为二维坐标和深度信息；GPU通过光栅化处理生成新的顶点，并对顶点的各个属性进行线性插值，生成角色模型最终的UV、位置和颜色值，模型的层次感更加真实。

本发明提供了一种实现移动增强现实型儿童涂鸦的真实感生成方法，能够减少涂鸦绘本的选材限制，克服传统UV展图方式而出现的上色后角色模型上出现的黑边或黑斑现象；提供了一种专门的基于顶点的Shader设计，为多种移动终端上显示上色后角色模型创设了良好的光照效果。

附图说明

图1是本发明方法的步骤流程图。

图2是本实施例中的恐龙线框画。

图3是恐龙线框图叠加背景信息后形成的初始纹理图片。

图4是本实施例中UV展图未作调整时的示意图。

图5是本实施例中UV展图调整后的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明移动增强现实型儿童涂鸦的真实感生成方法，如图1所示，包括纹理设计、三维增强模型设计和 顶点Shader设计。

纹理设计，设计涂鸦对象的三维增强模型的线框图，叠加背景信息后生成用于三维增强模型初始显示的初始纹理图片；该初始纹理图片修改格式后形成儿童涂鸦图片，作为涂鸦绘本中的一页存在，经儿童涂鸦后供三维增强模型拾取。根据绘本内容的要求，在图像处理软件如PhotoShop中，设计与编辑线框图，将线框图叠加在相关背景信息上；使用时，移动AR应用拾取儿童在涂鸦绘本上在涂鸦对象的线框图内涂画的纹理，将该纹理赋给带有初始纹理的三维增强模型，代替上色前纹理，显示到模型的表面，生成带有拾取后纹理的三维增强模型。

三维增强模型设计，在3D建模软件如3dsmax中设计与涂鸦对象相应的角色模型，通过Polygon的方式完成几何模型的构建，再将初始纹理图片导入到建模软件中；然后根据几何模型的几何形态依据不同的形状如平面、柱形、球形、长方形等进行分离，将几何模型展开到二维平面上，实现每个几何面的顶点与UV坐标的对应，制作该几何模型的UV展图；为了突破涂鸦绘本的选材限制，并能消除增强模型拾取后出现的黑边或黑斑现象，将UV展图摆放在初始纹理图片上的线框图相应的位置内，并沿着线框图的线条轮廓向内调整顶点坐标的位置，制作完成该几何模型的修正后的UV展图；同时获得经修正的带有初始纹理的三维增强模型。

顶点Shader设计，实现三维增强模型在纹理拾取后的真实感光照模拟。根据纹理流程拾取步骤的实际情况，这里采用顶点类型的Shader，主要内容包括二个部分，即顶点程序和片元程序。顶点程序是Shader的核心内容，将摄像头采集到的影像序列中的涂鸦绘本上的图像，经过投影、转换、光栅化步骤处理后，生成具有真实光照感的拾取后纹理，将该纹理赋给带有初始纹理的三维增强模型，显示到模型的表面，生成具有真实感的三维增强模型。

下面以恐龙模型的真实感生成为例详细说明。

参见图2，根据绘本脚本文档中有关恐龙内容的要求，利用图像处理软件Photoshop设计与编辑恐龙线框图。为便于绘本出版，图片宽高比为4:3，保存为*.jpg格式。

参见图3，将恐龙线框图叠加在相关背景信息上，生成恐龙模型的初始纹理图片。该初始纹理图片修改格式后形成儿童涂鸦图片，作为涂鸦绘本中的一页存在，经儿童涂鸦后供三维增强模型拾取；该儿童涂鸦图片同时也是恐龙三维增强模型的识别图片，需提供足够的标识信息，以方便摄像头进行图像特征值的检测和提取。实际应用中该背景信息应满足如下要求：

（1-2-1）背景色彩保持良好的对比度；

（1-2-2）背景图案保持复杂分明的轮廓；

（1-2-3）背景图案保证一定数量的尖锐特征点；

（1-2-4）背景信息无重复模式，具体指的是不要出现成片同一规格的区域，如草地和天空。

儿童可以在恐龙绘本图片的线框图即线划形状区域涂画任意颜色。使用时，移动AR应用将拾取儿童在恐龙绘本上根据线划形状涂画的颜色，在平面上涂的颜色将被赋给恐龙三维增强模型，它将代替上色前纹理，显示到恐龙三维增强模型的表面。

根据恐龙绘本设计的要求，在3D建模软件3dsmax中通过Polygon的方式完成恐龙几何模型的构建，并把初始纹理图片导入到3dsmax材质库中。然后根据恐龙模型几何形态依据不同的形状进行分离，将恐龙模型展开到二维平面上，实现每个几何面的顶点与UV坐标的对应。参见图4，在UV编辑器中显示导入的恐龙初始纹理图片，将刚获得的UV展图摆放在该纹理图片线框图的位置内，避免压到线框图的边界。此时恐龙三维增强模型在拾取儿童在绘本上根据恐龙线划形状涂画的颜色后，模型出现黑边或黑斑现象。

为了突破涂鸦绘本的选材限制，并能消除恐龙增强模型拾取纹理后出现的黑边或黑斑现象，需沿着恐龙线框图的线条轮廓向内调整UV顶点坐标的位置，调整效果参见图5。调整后恐龙三维增强模型的黑边或黑斑现象得以消除。

为实现恐龙增强模型在纹理拾取后的真实感光照模拟，改善固定渲染管线存在的渲染局限问题，根据纹理流程拾取步骤的实际情况，这里采用顶点类型的Shader，来处理顶点变换、光照和像素处理阶段。顶点Shader主要内容包括二个部分，即顶点程序和片元程序。顶点程序处理的是顶点，是Shader的核心内容，将摄像头采集的影像序列上的恐龙绘本图片，经过投影、转换等处理步骤，生成具有真实光照感的恐龙模型拾取后纹理，将该纹理赋给带有初始纹理的三维增强模型，显示到模型的表面，生成具有真实感的恐龙三维增强模型。

Claims (4)

1.一种移动增强现实型涂鸦绘本的真实感生成方法，其特征在于该方法包括如下步骤：

（1）纹理设计，设计涂鸦对象的三维增强模型的线框图，叠加背景信息后生成用于三维增强模型初始显示的初始纹理图片；该初始纹理图片修改格式后形成儿童涂鸦图片，作为涂鸦绘本中的一页存在，经儿童涂鸦后供三维增强模型拾取；

（2）三维增强模型设计，在3D建模软件中设计与涂鸦对象相应的角色模型，通过Polygon的方式完成几何模型的构建，制作该几何模型的UV展图；将初始纹理图片导入到建模软件中，将UV展图摆放在初始纹理图片上的线框图相应的位置内，并沿着线框图的线条轮廓向内调整顶点坐标的位置，制作完成该几何模型的修正后的UV展图；同时获得经修正的带有初始纹理的三维增强模型；

（3）移动AR应用拾取儿童在涂鸦绘本上在涂鸦对象的线框图内涂画的纹理，将该纹理赋给带有初始纹理的三维增强模型，代替上色前纹理，显示到模型的表面，生成带有拾取后纹理的三维增强模型；

（4）顶点Shader设计，采用顶点类型的Shader，将摄像头采集到的影像序列中的涂鸦绘本上的图像，经过投影、转换、光栅化步骤处理后，生成具有真实光照感的拾取后纹理，将该纹理赋给带有初始纹理的三维增强模型，显示到模型的表面，生成具有真实感的三维增强模型。

2.根据权利要求1所述的移动增强现实型涂鸦绘本的真实感生成方法，其特征在于步骤（1）中所述纹理设计具体包括如下步骤：

（1-1）绘制三维增强模型的线框图，在图像处理软件中，设计与编辑模型线框图，该模型线框图宽高比为4:3，尺寸设定为4266*3200像素，颜色模式为CMYK，文件存储格式为*.jpg；

此模型线框图的设计需作如下处理：

（1-1-1）线框图最外缘边线粗细控制在15-20个像素值，线框图内部线条粗细不高于5个像素值；

（1-1-2）线框图内部线条间隙保持在30个像素值以上；

（1-1-3）线框图内部较小封闭区域，即封闭区域小于10*10像素时，该区域预置色彩纹理；

（1-2）添加线框图背景信息，将涂鸦对象的线框图叠加在相关背景信息上，生成三维增强模型的初始纹理图片；该初始纹理图片修改格式后形成儿童涂鸦图片，具体要求：尺寸为1024*768像素，颜色模式为RGB，位深度为24，文件存储格式为*.jpg。

3.根据权利要求1所述的移动增强现实型涂鸦绘本的真实感生成方法，其特征在于步骤（2）中制作UV展图时要求：UV坐标避免压到初始纹理图片中线框图即涂鸦对象的边界，同时沿着线框图的线条轮廓向内调整顶点坐标的位置，调整幅度控制在8个像素值以上； 线框图的线划形状过于狭窄部位，即最小内部距离小于50像素值时，不存放UV坐标。

4.根据权利要求1所述的移动增强现实型涂鸦绘本的真实感生成方法，其特征在于步骤（4）中所述顶点Shader设计包括二个部分，即顶点程序和片元程序；具体包括如下步骤

（4-1）数据输入，将摄像头采集到的影像序列中的涂鸦绘本上的涂色信息作为采样纹理传入Shader；包括涂鸦对象的角色模型的顶点数据即顶点位置、纹理数据即颜色信息；

（4-2）采样纹理的宽高比与显示终端屏幕的宽高比一致时，采样纹理不进行裁剪；采样纹理的宽高比与显示终端屏幕的宽高比不一致时，裁剪掉屏幕中一部分画面，裁剪原则是：采样纹理的宽高比小于屏幕的宽高比时，采样纹理优先对称裁剪上、下端的内容；采样纹理的宽高比大于屏幕的宽高比时，采样纹理优先对称裁剪左、右端的内容；

（4-3）获取涂鸦后的儿童涂鸦图片的组合变换矩阵MVP，得到涂鸦对象的角色模型的顶点坐标经MVP矩阵变换后的二维窗口坐标；

（4-4）采用标准化将该二维窗口坐标变换到[0,1]区间，再分别乘以屏幕宽高，得到角色模型的真实屏幕的像素坐标，经过平移变换后，让获得的像素坐标的原点和屏幕的原点对齐；

（4-5）应用符合移动显示终端特性的环境光照模型，进行光照处理，过程如下：

（4-5-1）声明基本渲染通道，选择使用正向渲染基础通道的处理方式；

（4-5-2）顶点程序，用于获得顶点的初始颜色，即光源对该顶点的影响；

定义一个包含角色模型的顶点位置以及颜色向量的结构体，作为输入信息，用顶点位置标识的变量，存储对象的位置信息，用颜色向量标识的变量，访问对象的顶点颜色

（4-5-2-1）漫反射处理；漫反射的向量diffuse，由光源的入射向量L与每一个顶点位置的法向量N确定，计算公式为：

diffuse=L·N

这个过程是向量L与N进行点乘，其过程为：

diffuse=|L|*|N|*cos∠(L,N)

根据计算公式，需获取顶点位置的法向量N，并对它的法线进行转换，对法线的转换需使用逆反置矩阵，实现法线从世界坐标系到对象坐标系的转换，具体转换过程如下：

通过mul函数实现法线和矩阵的相乘，得到对象坐标系中的法向量，将其单位化后，得到顶点位置的法向量N；

公式中的cos∠(L,N)等价于dot(N,L)，即将对象坐标系中顶点法向量的单位向量与光源的入射向量，通过dot函数进行点积操作，返回两个向量的标量积；再通过max(0, dot(N,L))函数进行处理；将获得的漫反射量和平行光的颜色信息相乘，得到顶点的漫反射处理结果；

（4-5-2-2）采用辐照环境贴图方法对漫反射处理结果进行环境光处理；

（4-5-2-3）经环境光处理后输出的顶点颜色信息进行插值生成像素，再传入给片元程序进行计算；

(4-5-3)片元程序，对已获得的顶点颜色信息进行处理后输出显示；具体的实现方法如下：

(4-5-3-1)通过已获得的顶点颜色信息，得出裁剪后的采样纹理即采样主纹理在对应的三维坐标下的颜色值；

(4-5-3-2)计算光源的强度以及衰减，将平行光的强度和环境光的强度进行插值计算，得到光源的强度以及衰减信息；将采样主纹理在对应的三维坐标下的颜色值与光源的强度以及衰减信息进行点乘；再乘以缩放参数来调节颜色亮度，该参数调节范围在0-5，从而获得采样主纹理在对应的三维坐标下的最终颜色值；

(4-5-3-3)经过坐标变换和光照处理后，顶点被投影为2D坐标和深度信息；GPU通过光栅化处理生成新的顶点，并对顶点的各个属性进行线性插值，生成角色模型最终的UV、位置和颜色值。