CN103530907A - 基于图像的复杂三维模型绘制方法 - Google Patents

Abstract

本发明提供一种基于图像的复杂三维模型绘制方法，在包围模型的球面上均匀选择顶点作为相机坐标位置，以球心为相机的目标点，获得模型在此采样视角下的彩色图像与深度图像。根据采样点坐标对球面进行三角划分，确定虚拟视角所在的三角形，取以三角形的顶点为采样点所对应的视角为参考视角，使用参考视角下的深度图像与彩色图像绘制虚拟视角下的模型：首先，利用参考视角的参数分别计算虚拟视角与三个参考视角中像素之间的映射关系；其次，以深度图像为参考，选择合适的参考视角像素或者背景像素绘制虚拟视角的图像；最后，对绘制得到的彩色图像进行优化。本发明能够满足实时性的要求，同时得到十分逼真的绘制效果。

Description

基于图像的复杂三维模型绘制方法

技术领域

本发明涉及一种基于图像的真实感绘制方法，主要用于复杂模型在虚拟视角下的真实感绘制。

背景技术

传统的图形学当中真实感绘制的一般过程是：用户输入物体的几何特性并进行几何建模，然后根据模型所在环境的光照信息，模型的光滑度、透明度、反射率折射率等物理属性，以及表面纹理等，通过空间变换、透视变换等，计算得到物体在特定视角下的每个像素的颜色值。然而，这种方法的建模过程复杂，计算和显示的开销大，时间复杂度与模型复杂度耦合性高，不适用于复杂模型的绘制，并且难以得到逼真的绘制结果。

基于图像的绘制方法（Image-Based Rendering.IBR）以图像作为基本的输入，在不进行几何模型重建的基础上合成虚拟视角下的图像，在视频游戏、虚拟旅行、电子商务、工业检测等领域有着非常广阔的应用前景，因此也是三维图形逼真绘制领域的一个研究热点。本发明所提出的基于图像的复杂三维模型绘制方法是一种IBR方法。

基于图像绘制的主要方法如下：

1.几何和图像混合建模和绘制方法(Hybrid Geometry and Image-based Approach)

PaulE.Debevec(参考文献1-PaulE.Debevec,camilloj.Taylor,Jitendra make.“Modeling and rendering architecture from photographs:a hybrid geometry andimaged-based approach”.In SIGGRAPH96Processing of the23^rdannual conference oncomputer graphics and interactive techniques.Page11-20)提出的几何和图像混合建模和绘制方法的主要步骤如下：

a.拍摄场景照片，交互指定模型的边缘；

b.生成模型的粗糙模型；

c.利用基于模型的立体视觉算法细化模型；

d.利用基于视点的纹理映射合成新视图。

此过程的实例如图4所示。这种方法的优点是简单快捷，可以通过拍摄少量的照片得到的新视图；缺点此过程还需要人为的指定模型的轮廓，只能适用于普通建筑物等外形规整的景物，不适用于复杂模型。

2.视图插值、变换的方法(View Interpolation、Transaction)

视图插值、变换方法直接利用参考点的照片生成虚拟视角下的图像。视图插值、变换方法（参考文献2-Geetha Ramachandran,Markus Rupp.“MultiView Synthesis From StereoViews”.In IWSSIP2012,11-13April2012,PP.341-PP.345.参考文献3-Ankit K.Jain,Lam C.Tran,RamsinKhoshabeh,Truong Q.Nguyen,Efficient Stereo-to-MultiviewSynthesis,ICASSP2011.PP.889-PP.892.参考文献4-S.C.Chan,A.C.Bovik,H.R.Sheikh,and E.P.SimomCelli,“Image-Based Rendering and synthesis”,IEEE SignalProcess,Mag,vol.24,no.6,PP.22-PP.33）的输入是两个视角下的规整化的彩色图像与深度图像，输出的是位于两个参考点所决定的直线上(基线，Baseline)的虚拟视角下的图像，具体的过程如下：

a.立体匹配，生成最初的合成视角图像；

b.优化处理，根据边缘检测找到可能的空洞点；

c.填充生成合成视角所对应的深度图；

d.图像重建，根据深度图像填充彩色图像空洞。

此方法的实例如图5所示。这种方法的优点是过程简单，生成图像的信噪峰值比高(信噪峰值比(PSNR)，表征处理后的图像与处理前图像的相似度。信号峰值比越高，说明合成图像的真实度越强)，并且能够出色的填补空洞。但是此方法只能产生位于基线上的虚拟视角的图像，而且对图片进行规整化操作会引入投影误差，只能生成近似的中间图像。

发明内容

现有的三维模型真实感绘制方法存在以下缺点：基于几何的方法存在模型获取与重建过程复杂，绘制过程受模型复杂度、模型光照属性影响大，绘制效果真实感不强，不适用于复杂模型的绘制；基于图像的绘制方法，合成视角被局限在两个参考视角之间的基线上，无法生成物体在任意视角下的图像。

针对现有技术的缺点，本发明提出基于图像的复杂三维模型绘制方法，其包含如下过程：

（1）虚拟视角的标定：根据采样点相机位置坐标对包围模型的球面进行三角划分，确定虚拟视角所在的三角面片，取此三角面片的三个顶点所对应的视角为参考视角，虚拟视角可以被表示成参考视角的线性组合；

（2）计算与绘制:根据虚拟视角、参考视角的位置和相机参数，计算三个参考视角图像中每个像素的坐标与虚拟视角下的像素坐标之间的映射关系；根据映射关系，将参考视角下彩色图像中的每一个像素映射到虚拟视角下的图像中，计算该像素在虚拟视角下图像中的坐标和深度值，对于有多个参考视角的像素映射到同一位置的情况，取深度值小的像素值；同时标记虚拟视角下图像中所有已被参考视角像素填充的像素，构造一幅反映从参考视角到虚拟视角映射情况的灰度图；

（3）图像的优化：对于虚拟视角下图像中的空洞，即经过（2）计算没有参考图像映射到该位置的像素，从反映参考视角到虚拟视角映射情况的灰度图中提取边缘轮廓信息，沿着边缘轮廓对生成的彩色图像进行中值滤波，用邻居像素的值填补空洞；同时，通过中值滤波过滤掉噪声像素。

其中，通过步骤（1）实现对虚拟视角的标定，确定用于虚拟视角绘制的参考视角，通过步骤（2）建立参考视角下的像素到虚拟视角下像素之间的映射关系，实现对虚拟视角下的复杂模型绘制。

其中，在步骤(2)与步骤(3)中使用CUDA(Compute Unified Device Architecture，统一计算设备架构)并行计算，加速虚拟视角下的绘制与优化速度，达到实时交互的要求。

本发明的原理在于：

本发明提供一种基于图像的复杂三维模型绘制方法，在包围模型的球面上均匀选择顶点作为相机坐标位置，以球心为相机的目标点，获得模型在此采样视角下的彩色图像与深度图像。根据采样点坐标对球面进行三角划分，确定虚拟视角所在的三角形，取以三角形的顶点为采样点所对应的视角为参考视角，使用参考视角下的深度图像与彩色图像绘制虚拟视角下的模型：首先，利用参考视角的参数分别计算虚拟视角与三个参考视角中像素之间的映射关系；其次，以深度图像为参考，选择合适的参考视角像素或者背景像素绘制虚拟视角的图像；最后，对绘制得到的彩色图像进行优化。在整个绘制过程中使用了CUDA加速，实现了对图像的并行快速处理。本发明能够满足实时性的要求，同时得到十分逼真的绘制效果。

本发明与现有的技术相比，优点如下：

(1)本发明的虚拟视角可以在空间当中任意的移动。利用三个参考点对虚拟视角下的模型进行绘制，这样既可以保证虚拟视角能够在水平与竖直两个维度上自由的移动，又最大限度的降低算法的输入量与存储开销；

(2)本发明提出的绘制方法非常稳定，算法的时间复杂度与场景的复杂度耦合性低，尤其适用于复杂模型的绘制。

附图说明

图1为本发明所采用的流程图；

图2为本算法的原理示意图；

图3当虚拟视角在某个三角面片的内部时，虚拟视角与参考点视角的位置关系；

图4正变换矩阵与逆变换矩阵；

图5为几何和图像混合建模过程，其中：(a)是通过交互确定被重建物体的轮廓，(b)是得到物体的粗糙模型，(c)是用基于模型的立体视觉算法细化模型,(d)是通过基于视点的纹理映射得到最终的场景；

图6为视差图方法的实例，最初的输入图像是规整化的彩色图像（图中是该彩色图像的灰度图的示意图），初始生成图是经过像素映射与填充过程后得到了彩色图（图中是该彩色图的灰度图的示意图），注意方框内的空洞，算法的最终输出是空洞填补过后的彩色图（图中是该彩色图的灰度图的示意图），注意方框内的空洞已经被消除；

图7经过初步映射填充后的虚拟视角的彩色图（图中是该彩色图的灰度图的示意图），注意模型周边的噪声的内部的空洞；

图8经过初步映射填充后的虚拟视角的灰度图，注意模型周边的噪声与内部的空洞；

图9进过膨胀、差值操作之后的边缘图；

图10简单的对所有像素进行中值滤波之后的结果；

图11只对边缘像素进行中值滤波之后的结果，与图10相比，图11更好的保存了细节信息，真实更强；

图12是发明实例的部分输入图像，上方三张图片是输入图像示意图，输入图像可以为彩色图像，图中未显示，下方三张图片是分别与之对应的深度图；

图13是发明实例的部分输出图像，输出的图片是由本发明所提出的绘制方法合成的。

具体实施方式

下面结合附图及具体实施例进一步说明本发明。

1.一种基于深度图像的真实感绘制方法：

针对由均匀分布在包围模型的球面上，包含相机视角参数、相机视角下的深度图、彩色图的采样点来表示的三维模型，根据采样点坐标对球面进行三角划分，确定虚拟视角所在的三角形，取以三角形的顶点为采样点所对应的视角为参考视角，使用参考视角下的深度图像与彩色图像绘制虚拟视角下的模型：首先，利用参考视角的参数分别计算虚拟视角与三个参考视角中像素之间的映射关系；其次，以深度图像为参考，选择合适的参考视角像素或者背景像素绘制虚拟视角的图像；最后，对绘制得到的彩色图像进行优化。在整个绘制过程中使用了CUDA加速，实现了对图像的并行快速处理。具体实施过程如下：

1.虚拟视角的标定模块

在本发明中，以不同采样点的深度图像、彩色图像与采样点相机参数表示物体的三维模型。三维模型M用一个二元组<K,V>表示，其中K是一单纯复形，表示了采样点的连接关系；V表示采样点的集合，V＝(v_i|i＝1,2,3...|V||)，|V|表示采样点的个数；V_i＝(c_i,d_i,p_i)表示第i个采样点，c_i和d_i分别表示第i个采样点彩色图像和深度图像,p_i表示了第i个采样点的相机参数，p_i＝(pc_i,po_i,asp_i,fov_i,zn_i,zf_i)，pc_i表示相机位置,po_i表示相机目标位置，asp_i表示相机视野的纵横比，fov_i表示相机的视野的广度，zn_i、zf_i分别表示相机有效深度的最小值与最大值。

在绘制虚拟视角下的模型之前，需要求出与虚拟视角最近的三个采样点，即进行虚拟视角的标定。因为所有的采样点在包围物体的球面上是均匀分布的，在球面按照采样点坐标进行三角划分后，只需要确定虚拟视角所在的三角面片，则以此三角面片三个顶点就是所需的最近采样点，这三个最近采样点被称为虚拟视角的参考点。

＜v₁,v₂,v₃＞＝f(v)      (1)

其中，v是虚拟视角，＜v₁,v₂,v₃＞是虚拟视角所在的三角面片，v₁,v₂,v₃是v的参考点。在本发明中，通过求解从虚拟视角相机位置指向球心的向量与逼近包围物体球面的多面体的交点，根据交点所在的三角面片确定三个最近参考点。

虚拟视角与参考点有如图3所示的位置关系。由解析几何的知识可知，在图3所示的位置关系下，虚拟视角可以由参考点线性合成，且满足：

$\left\{\begin{array}{c}\stackrel{\&RightArrow;}{v}=\mathrm{\&alpha;}{\stackrel{\&RightArrow;}{v}}_1+\mathrm{\&beta;}{\stackrel{\&RightArrow;}{v}}_2+(1-\mathrm{\&alpha;}-\mathrm{\&beta;}){\stackrel{\&RightArrow;}{v}}_3\\ 0\&le;\mathrm{\&alpha;}\&le;1\\ 0\&le;\mathrm{\&beta;}\&le;1\\ 0\&le;1-\mathrm{\&alpha;}-\mathrm{\&beta;}\&le;1\end{array}\right.---\left(2\right)$

其中，

分别代表由虚拟视角坐标点和三个参考点坐标指向球心的向量。

由图3可知，三个参考点的坐标与球心构成四面体结构，虚拟视角的坐标位于参考点坐标所围成的三角面片内。令向量

四面体体积可以表示成不在同一个平面内的三条边的混合积的形式:

$u=\frac{1}{6}\stackrel{\&RightArrow;}{v}\&times;\stackrel{\&RightArrow;}{e_1}\&CenterDot;\stackrel{\&RightArrow;}{e_2}=-\frac{1}{6}\stackrel{\&RightArrow;}{v_1}\&CenterDot;\stackrel{\&RightArrow;}{v_2}\&CenterDot;\stackrel{\&RightArrow;}{e_2}---\left(3\right)$

公式2变形得：

$\stackrel{\&RightArrow;}{v_1}=\frac{\stackrel{\&RightArrow;}{v}-\mathrm{\&beta;}\stackrel{\&RightArrow;}{v_2}-(1-\mathrm{\&alpha;}-\mathrm{\&beta;})\stackrel{\&RightArrow;}{v_3}}{\mathrm{\&alpha;}}---\left(4\right)$

将公式(4)带入公式(3)的后半部分得到如下公式：

$\mathrm{\&alpha;}=\frac{-\stackrel{\&RightArrow;}{v}\&CenterDot;\stackrel{\&RightArrow;}{v_2}\&times;\stackrel{\&RightArrow;}{e_2}}{\stackrel{\&RightArrow;}{v}\&times;\stackrel{\&RightArrow;}{e_1}\&CenterDot;\stackrel{\&RightArrow;}{e_2}}---\left(5\right)$

同理。可以得到：

$\mathrm{\&beta;}=\frac{-\stackrel{\&RightArrow;}{v}\&CenterDot;\stackrel{\&RightArrow;}{v_1}\&times;\stackrel{\&RightArrow;}{e_2}}{\stackrel{\&RightArrow;}{v}\&times;\stackrel{\&RightArrow;}{e_1}\&CenterDot;\stackrel{\&RightArrow;}{e_2}}---\left(6\right)$

综上所述，只需要在所有的面片当中进行遍历，利用公式(5)、(6)求出每一个三角面片中α、β，如果α、β满足公式(2)中的约束条件,则虚拟视角就在此面片的包围之中，且此虚拟视角可以根据公式(2)由参考点线性表示。

2.计算与绘制模块

本模块包含两个子过程，计算过程与绘制过程。计算过程确定每个参考点视角下的像素到虚拟视角下像素的映射关系；绘制过程针对虚拟视角下的每一个像素，按照已求得的映射关系选择1到3个参考点视角下的像素或者背景像素进行绘制。

2.1计算过程：

给定某一参考点视角下的深度图像的像素坐标与像素值，结合参考点的相机参数，可以求出此像素所对应的点在三维世界坐标系中的坐标，且此过程是可逆的。即任意参考点视角下深度图像的像素坐标和像素值与三维物体的在世界坐标系中的坐标存在双射关系：

$\begin{array}{c}\stackrel{\&RightArrow;}{\mathrm{pixel}}=M\&CenterDot;\stackrel{\&RightArrow;}{\mathrm{object}}\\ \stackrel{\&RightArrow;}{\mathrm{object}}=M^{-1}\&CenterDot;\stackrel{\&RightArrow;}{\mathrm{pixel}}\\ \stackrel{\&RightArrow;}{\mathrm{pixel}}=(i,j,l,\mathrm{depth})\\ \stackrel{\&RightArrow;}{\mathrm{object}}=(x,y,z,\mathrm{depth})\end{array}---\left(7\right)$

其中i,j是像素坐标，x,y,z是在世界坐标系中坐标，depth是深度图像的像素值。M是可逆矩阵，由采样点相机参数决定。在本发明中定义在世界坐标系中坐标到像素坐标的转换矩阵M为正向转换矩阵，M^-1为逆向转换矩阵。正向转换矩阵与逆向转换矩阵的求解过程如图4所示，以正向转换矩阵为例说明其求解过程。

物体在世界坐标系中的坐标首先经过相机视图变换转换为相机空间坐标，再经过透视投影变换转化为像素坐标，即：

M＝mProject·mLookAt      (8)

将公式(7)、(8)联立得到：

$\stackrel{\&RightArrow;}{\mathrm{pixel}}=\mathrm{mProject}\&CenterDot;\mathrm{mLookAt}\&CenterDot;\stackrel{\&RightArrow;}{\mathrm{object}}---\left(9\right)$

$\stackrel{\&RightArrow;}{\mathrm{object}}={(\mathrm{mProject}\&CenterDot;\mathrm{mLookAt})}^{-1}\&CenterDot;\stackrel{\&RightArrow;}{\mathrm{pixel}}$

其中，mLookAt是从世界坐标到相机空间坐标的变换矩阵,此矩阵由相机的位置坐标pc、目标点坐标po以及正方向坐标up决定，具体的形式如下：

$\mathrm{mLookAt}=\left(\begin{array}{cccc}\stackrel{\&RightArrow;}{\mathrm{xaxis}}.x& \stackrel{\&RightArrow;}{\mathrm{yaxis}}.x& \stackrel{\&RightArrow;}{\mathrm{zaxis}}.x& 0\\ \stackrel{\&RightArrow;}{\mathrm{xaxis}}.y& \stackrel{\&RightArrow;}{\mathrm{yaxis}}.y& \stackrel{\&RightArrow;}{\mathrm{zaxis}}.y& 0\\ \stackrel{\&RightArrow;}{\mathrm{xaxis}}.z& \stackrel{\&RightArrow;}{\mathrm{yaxis}}.y& \stackrel{\&RightArrow;}{\mathrm{zaxis}}.z& 0\\ -\stackrel{\&RightArrow;}{\mathrm{xaxis}}.\mathrm{po}& -\stackrel{\&RightArrow;}{\mathrm{yaxis}}.\mathrm{po}& -\stackrel{\&RightArrow;}{\mathrm{zaxis}}.\mathrm{po}& 1\end{array}\right)$

$\left\{\begin{array}{c}\stackrel{\&RightArrow;}{\mathrm{zaxis}}=\frac{\mathrm{pc}-\mathrm{po}}{|\mathrm{pc}-\mathrm{po}|}\\ \stackrel{\&RightArrow;}{\mathrm{xaxis}}=\frac{\mathrm{up}\&times;\stackrel{\&RightArrow;}{\mathrm{zaxis}}}{|\mathrm{up}\&times;\stackrel{\&RightArrow;}{\mathrm{zaxis}}|}\\ \stackrel{\&RightArrow;}{\mathrm{yaxis}}=\stackrel{\&RightArrow;}{\mathrm{zaxis}}\&times;\stackrel{\&RightArrow;}{\mathrm{xaxis}}\end{array}\right.---\left(10\right)$

mProject是透视投影变换矩阵，此矩阵由相机的视角广度(fov)纵横比(asp)最近深度(zn)与最远深度(zf)决定，具体的形式如下：

$\mathrm{mproject}=\left(\begin{array}{cccc}\mathrm{xScale}& 0& 0& 0\\ 0& \mathrm{yScale}& 0& 0\\ 0& 0& \frac{\mathrm{zf}}{\mathrm{zf}-\mathrm{zn}}& 0\\ 0& 0& -\mathrm{zn}*\frac{\mathrm{zf}}{\mathrm{zf}-\mathrm{zn}}& 1\end{array}\right)---\left(11\right)$

$\left\{\begin{array}{c}\mathrm{yScale}=\cot \left(\frac{\mathrm{fov}}{2}\right)\\ \mathrm{xScale}=\frac{\mathrm{yScale}}{\mathrm{asp}}\end{array}\right.$

因此，参考点视角下的像素到虚拟视角下像素的映射关系如下：

$\stackrel{\&RightArrow;}{\mathrm{pixel}}=\mathrm{mProject}\&CenterDot;\mathrm{mLookAt}\&CenterDot;{(\mathrm{mP}{\mathrm{roject}}_{v_i}\&CenterDot;\mathrm{mLook}{\mathrm{At}}_{v_i})}^{-1}\&CenterDot;\stackrel{\&RightArrow;}{{\mathrm{pixel}}_{v_i}}---\left(12\right)$

其中，

是虚拟视角下的像素坐标与深度值，

是参考点v_i的像素坐标与深度值，mLookAt_v、mProject_v是从世界坐标到虚拟视角下的相机坐标的变换矩阵与透视投影矩阵，

是从世界坐标到参考点v_i的相机坐标的变换矩阵与透视投影矩阵。

2.2绘制过程：

虚拟视角下的图像存储在彩色图像当中。由公式(12)出发，虚拟视角下的像素与参考点视角下像素可能有多种对应关系：

情形1：虚拟视角下图像的像素没有参考点视角下的像素与之对应，则此像素是空洞的一部分；

情形2：虚拟视角下图像的像素只有1个参考点视角下的像素与之对应，则直接利用参考点视角下的像素进行填充虚拟视角下的图像；

情形3：虚拟视角下图像的某一个像素有2到3个参考点视角下的像素与之对应，则按照公式(13)进行虚拟视角下的图像绘制。其中，虚拟视角下的像素为p，三个参考视角下像素p₁、p₂、p₃与之对应，原则上选择深度值最小的参考点视角下像素绘制虚拟视角的图像。其中α_i是在公式2中求得的参考点视角的权重。

$\left\{\begin{array}{c}p=\underset{i=1}{\overset{Q}{\mathrm{\&Sigma;}}}\frac{{\mathrm{\&alpha;}}_i}{\mathrm{\&alpha;}}{p}_i,p_i\&Element;Q\\ Q=\left\{q\right|q-p^{\text{'}}<\mathrm{threash},|p^{\text{'}}=\min (p_1\&CenterDot;\&CenterDot;\&CenterDot;p_n)\}\\ \mathrm{\&alpha;}=\underset{i}{\overset{Q}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i\end{array},n=\mathrm{2,3}\right.---\left(13\right)$

同时在绘制的过程中标记所有属于情形2与情形3的像素，将标记信息存储在灰度图中。绘制的过程中使用CUDA并行计算，同时合成虚拟视角下的多个像素，能够极大的加速绘制的速度。

3.图像的优化模块

上述绘制过程输出的彩色图像含有噪声与空洞，空洞的原因已在前面的计算与绘制模块中说明，产生噪声的原因是：由于深度信息提取过程中存在误差，并且公式(10)得到的并不一定是整数像素之间的映射，因此在绘制过程中会出现噪声，如图7、图8所示。较为简单的解决方法是对虚拟视角的图像进行中值滤波，这样做可以消除绝大多数的噪声与空洞。这种方法虽然简单，但是会造成图像模糊和过于平滑，如图10所示。本发明首先对灰度图进行膨胀与差值操作，提取图像的边缘轮廓，然后沿着边缘轮廓进行中值滤波，利用空洞周围像素填补空洞，同时消除图像边缘的噪声信号。图像优化的模块包含如下子过程：

3.1提取边缘像素

膨胀是求局部最大的操作。膨胀是将图像与核进行卷积，即计算核所覆盖的区域当中像素点的最大值，并将这个最大值赋值给参考点指定的像素；经计算与绘制模块之后生成的彩色图像与灰度图像都含有空洞，对灰度图像进行膨胀操作可以消除空洞。膨胀后的灰度图与原始的灰度图做差值运算，得到的就是边缘图，图中存储的就是边缘轮廓信息，空洞就存在与边缘轮廓当中，如图9所示。

3.2中值滤波

在本发明中采用中值滤波的方法对空洞像素进行平滑处理，中值滤波将滤波模板中心像素的正方形邻域内的每个像素用模板中间的像素进行替换。由于中值滤波会导致图像失真，因此进行中值替换的像素被严格的限制在边缘轮廓当中，这样可以最大限度的降低滤波操作的次数，保持细节信息。同时，由于噪声信号多是空间当中孤立的点，进行中值滤波的同时大多数的边缘噪声点被背景像素所覆盖，达到了消除噪声的目的。最终滤波得到的结果如图11所示。

与绘制过程相似，通过使用CUDA并行计算加速图像操作，提高绘制方法的运行速度。

2.实施过程

接下来以玉佛的绘制过程为例说明本发明的具体实施过程。

(1)在包围玉佛的外球面上均匀的选择162个采样点，以球心为坐标原点，r=430，第i个采样点的坐标为v_i＝(x_i,y_i,z_i)，坐标满足如下公式：

$\left\{\begin{array}{c}{x}_i=r(1-\frac{2i-1}{n})\cos \left(\arcsin (1-\frac{2i-1}{n})\sqrt{\mathrm{n\&pi;}}\right)\\ y_i=r(1-\frac{2i-1}{n})\sin \left(\arcsin (1-\frac{2i-1}{n})\sqrt{\mathrm{n\&pi;}}\right)\\ z_i=r\cos \left(\arcsin (1-\frac{2i-1}{n})\right)\end{array}\right.---\left(14\right)$

其中，n=162。

(2)根据采样点坐标对外球面进行三角划分，按照三角划分的结果对模型数据进行分组。本发明采用三角形逼近的方法构造一个以三角形为基本型的球内接多面体。划分后，球面上共有162个采样点，320个三角面片。

(3)设置采样点参数，拍摄深度图像与彩色图像。采样点的参数p_i＝(pc_i,po_i,asp_i,fov_i,zn_i,zf_i），pc_i是采样点的坐标，由公式(14)计算得到，其余参数的设置如下表所示：

表1

poi	fovi	aspi	zni	zfi
					(0，0，0)	47′	1.333	350	550

设置好参数后首先拍摄彩色图像，然后拍摄深度图像。选择其中三个采样点v₁,v₂,v₃，其中：

${\mathrm{pc}}_{v_1}=(-\mathrm{182.8899,365.7798,132.8773})$

${\mathrm{pc}}_{v_2}=(-\mathrm{220.4835,217.4600},-298.3256)$

${\mathrm{pc}}_{v_3}=\left(\mathrm{295.9221,226.0644,215.0000}\right)$

所采集到的彩色图像与深度图像如图12所示。

(4)标定虚拟视角，计算映射关系。在实例中用户使用键盘与鼠标交互控制虚拟视角在三维场景中漫游，初始的虚拟视角为(0,430,0),相邻虚拟视角之间的变化值由用户交互指定。已知当前虚拟视角，遍历步骤(2)中得到的三角面片，根据公式(2)、(5)、(6)确定虚拟视角所在的三角面片，并用参考点指向球心的向量量化标定虚拟视角。根据虚拟视角的参数与采样点的参数计算公式(12)的映射关系。

(5)合成虚拟视角下图像，并进行中值滤波。

a.当虚拟视角中的像素没有参考点的像素与之对应时，使用背景像素填充虚拟视角下图像；

b.当虚拟视角中的中的像素只与一个参考点像素对应时，使用此对应像素填充虚拟视角下图像；

c.当虚拟视角中的像素与2到3个参考点的像素相对应时，设定thresh=15，按照公式(13)选择一个或者多个参考点像素合成虚拟视角下图像。

同时在绘制的过程中标记所有属于情形b与情形c的像素，将标记信息存储在灰度图中。对灰度图进行膨胀操作，并与原始的灰度图相减，得到模型的轮廓信息，沿着模型的轮廓进行中值滤波，得到最终的虚拟视角下的彩色图像。

本实例的输出是由用户交互控制下的虚拟视角下的彩色图，图13是本实例的部分输出结果。

3.实施效果

主要从实时性与真实感两个方面说明实施效果。测试所用计算机的主要配置如下表所示：

表2

操作***	64bit windows7旗舰版
		处理器	Intel CoreTM2Q9400(4CPUs)2.66GHz
显卡	NVIDIA GeForce GTX470
		内存	4G

2.1实时性

在测试用计算机上，以玉佛为测试对象，使用3DMAX软件进行玉佛建模，由于玉石材质的光学特征，光线射入材质内部后发生散射，最后射出物体并进入视野当中，这种现象被称为次表面散射，计算次表面散射需要耗费大量时间，使用3DMAX进行一个视角的绘制用时大约为40分钟。采用基于图像的三维模型绘制方法，建模时不需要考虑模型的材质，绘制时按照像素进行填充，在测试用计算机上进行绘制的实时速率约为25帧/秒，能够快速响应用户的输入，控制虚拟视角在空间中任意漫游，完全达到实时交互的要求。

2.2真实感

在此应用当中选择了162个采样点，并且选择与虚拟视角最为接近的三个采样点为参考点，以像素为单位进行绘制，初步绘制完成后进行场景优化，修补空洞并消除图像中的噪音，最终得到的效果如图13所示。与原始输入图12作比较，图13中基本上没有空洞与噪声像素，不用经过复杂的次表面散射计算也能得到逼真的绘制效果。

本发明未详细阐述的部分属本领域技术人员公知技术。

Claims (3)

1.基于图像的复杂三维模型绘制方法，其特征包含如下过程：

（1）虚拟视角的标定：根据采样点相机位置坐标对包围模型的球面进行三角划分，确定虚拟视角所在的三角面片，取此三角面片的三个顶点所对应的视角为参考视角，虚拟视角可以被表示成参考视角的线性组合；

（2）计算与绘制:根据虚拟视角、参考视角的位置和相机参数，计算三个参考视角图像中每个像素的坐标与虚拟视角下的像素坐标之间的映射关系；根据映射关系，将参考视角下彩色图像中的每一个像素映射到虚拟视角下的图像中，计算该像素在虚拟视角下图像中的坐标和深度值，对于有多个参考视角的像素映射到同一位置的情况，取深度值小的像素值；同时标记虚拟视角下图像中所有已被参考视角像素填充的像素，构造一幅反映从参考视角到虚拟视角映射情况的灰度图；

（3）图像的优化：对于虚拟视角下图像中的空洞，即经过（2）计算没有参考图像映射到该位置的像素，从反映参考视角到虚拟视角映射情况的灰度图中提取边缘轮廓信息，沿着边缘轮廓对生成的彩色图像进行中值滤波，用邻居像素的值填补空洞；同时，通过中值滤波过滤掉噪声像素。

2.根据权利要求1中所述的基于图像的复杂三维模型绘制方法，其特征在于：通过步骤（1）实现对虚拟视角的标定，确定用于虚拟视角绘制的参考视角，通过步骤（2）建立参考视角下的像素到虚拟视角下像素之间的映射关系，实现对虚拟视角下的复杂模型绘制。

3.根据权利要求1或2中所述的基于图像的复杂三维模型绘制方法，其特征在于：在步骤(2)与步骤(3)中使用CUDA并行计算，加速虚拟视角下的绘制与优化速度，达到实时交互的要求。

Images