CN102509344B - 一种基于非均匀采样三维对象反射的实时绘制方法 - Google Patents
一种基于非均匀采样三维对象反射的实时绘制方法 Download PDFInfo
- Publication number
- CN102509344B CN102509344B CN201110297879.7A CN201110297879A CN102509344B CN 102509344 B CN102509344 B CN 102509344B CN 201110297879 A CN201110297879 A CN 201110297879A CN 102509344 B CN102509344 B CN 102509344B
- Authority
- CN
- China
- Prior art keywords
- sampling
- image
- circle
- grid
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提出一种基于非均匀采样三维对象反射的实时绘制方法。在绘制的前期，先获取被反射体图像的采样模板，接着根据采样模板生成被反射体非均匀采样的变形图，最后由变形图重构的非均匀采样图像对场景中的反射效果进行绘制。自动生成采样模板的算法能实时绘制反射现象。本工作使场景中的反射绘制在整体分辨率较低即反射计算量较小的情况下更加逼真，实现了增强现实的目标。
Description
技术领域
本发明涉及一种基于非均匀采样三维对象反射的实时绘制方法。
背景技术
光照计算一直是计算机图形学中真实感绘制的重要技术之一，反射现象更是光照模型中的核心内容。反射如此重要，由于它不仅在绘制结果中表现出美学价值，而且能揭示物体的几何信息，如物体的形状、物体间的位置关系等。人们对场景中反射的实时绘制进行了大量的研究，但仍没有找出一种在效果与效率上同时令人满意的方法。因此，三维物体的实时反射绘制一直是真实感图形绘制的一个热点，同时也是难点。
场景中的反射绘制意味着对各个像素需要考虑这几个方面的问题：该光线是否和反射面相交；若是相交，计算交点和该点处对应的光照信息；对于复杂场景继续跟踪该反射光线，判断是否和场景中其他的反射体相交。目前反射绘制的算法主要集中在环境贴图和光线跟踪的改进及混合的算法上。这些方法通常是提高效率或效果之一，并没有实现二者同时增强的要求。
近年来，专家学者们在非均匀采样以及反射绘制等方面也取得了一定的研究成果：
1)非均匀采样
Williams等提出了mipmapping技术，通过图像查找表的使用来加快绘制，但是并没有改进绘制效果。每一层的mipmap图像的采样还是均匀的，越高层存储了越多的像素点，即使该层的局部区域的分辨率没有如此高的要求。空间层次划分技术如Louis Bentley的Kd-tree改进了渲染效率，但是采样率缺乏连续性。Silpa-Anan等优化的Kd-tree表示的图像对原方法进行了改进，可用于图像压缩和模式匹配中，但不适合基于图像的绘制。在基于图像的绘制中，可以融入Kd-tree技术，此时Kd-tree中每个叶子是一个可独立访问的单幅图像，并且这些叶子可以由mipmap技术获得。连续非均匀采样图像将两种技术很好地连接起来——一幅连续非均匀采样的图像可以进行mipmap处理，同样，Kd-tree的每片叶子都可以是处理后的不同图像。
非均匀采样还可以通过突破传统图像中视觉范围限制实现。Gascuel指出由于图形硬件的发展使变化的采样模式成为可能，避免了早期由于存储限制导致采样不足的问题。与此同时，还有一些研究试图摆脱传统图像单视点的约束，在相机模型改进方面取得了一些成果，如Yu等人的通用线性相机和Mei等的遮挡相机模型。连续非均匀采样优化了这些方法，为改善视觉范围的图像和非针孔相机生成的图像增添了灵活采样的优势。
基于GPU的重要性采样方法是Colbert等在2007年提出的一种处理表面反射效果的方法，对于光照贡献量大的区域分配较高的采样密度，反之则分配较低的采样密度，同时采用mipmap过滤消除纹理的扭曲，但该方法只能表现局部光照效果；在此基础上，Xuan Yu等在2008年利用Geometry Image构造LOD(Level of Detail)，使用重要性采样方法，在BVH(Bounding Volume Hierarchy)遍历过程中为每条采样光线分配立体角，根据立体角进行自适应的LOD层次选择，提高了渲染速度，但只适用于处理Geometry Image表示的模型。
2)反射效果绘制
目前较为常见的反射材质物体绘制方法主要有三类：环境贴图方法、图像空间方法和光线跟踪方法。
使用环境贴图渲染反射体时，只根据反射射线的方向，索引环境贴图，得到反射到的颜色值。该方法对于物体离反射体较远的场景，可以取得很好的效果；但对于近处的物体，则会产生较大的偏差。同时，环境贴图还有无法表现动态场景。
基于图像空间的建模和绘制(Image-based modeling and rendering，IBMR)同样可以用来处理反射效果。光场渲染技术可用来计算反射，其内容是在不需要图像的深度信息或相关性的条件下，通过预先拍摄的一组场景照片，建立该场景的光场数据库，实现对整个场景的漫游。但该方法即使是对小规模场景，也需要存储大量的光线信息。Lischinski等提出了一种基于分层深度图(layereddepth images，LDIs)的场景表示方法。场景几何体由3张正交的LDIs所记录。视点下的场景信息存储在低分辨率LDIs的光场中，用来提供光滑反射信息。镜面反射则通过光线追踪几何体的LDIs来渲染。这样做虽然减少了存储量，但是却降低了交互性。Hakura等描述了一种参数化的环境贴图，由一组预计算的参考反射图像所组成。这些图像在最满足最小均方差的情况下进行参数化，这样它们作为环境贴图时才更真实的反映反射效果。在参考视点附近的反射体可以得到较好的反射效果，同时绘制利用了硬件支持环境贴图的优势。但缺点是漫长的预处理(每个视点超过20分钟)。
光线追踪算法可以准确的计算反射效果，得到高质量的绘制图像。光线追踪要比前馈方法效率低，主要原因是其需要花费相当大的计算量来确定哪一个图元影响了当前的输出像素点。大量的研究工作致力于如何加速光线追踪算法。Ward等实现了只用一个通用的带有浮点矢量点扩展的GPU，达成小场景的实时光线追踪绘制。同时，硬件的发展也加速了离线光线追踪的速度。而通过共享存储器的并行计算机和集群，亦可以实现大规模场景的实时光线追踪。原有的图形加速器中的固定函数管道，如今也已被支持顶点和像素级的可编程管道所替代，于是也出现了基于可编程的GPU的光线追踪算法。虽然可编程GPU足以处理有限的光线追踪，但对于现阶段来讲，GPU仍然还是主要的前馈绘制引擎。
发明内容
本发明的技术解决问题是：与传统的三维对象反射绘制相比，基于非均匀采样的三维对象反射实时绘制利用的是变形模板控制重构低分辨率图像的采样模式，进而实现高效的反射绘制计算，提高了绘制效果的真实感。
本发明提出一种基于非均匀采样三维对象反射的实时绘制方法，其特征在于：具体可分为以下三个步骤：
(1)根据当前视点下的反射体和被反射体，手动或自动生成非均匀采样模板：所述采样模板确定一幅图像的采样点的分布，所述分布是一个不规则的二维网格图，所述不规则是指：规则的二维网格变形后，对应图像高分辨率区域的每个小网格的面积比变形前规则的二维网格图中每个小四边形面积大；对应低分辨率区域小网格的面积比变形前规则的二维网格图中每个小四边形面积小；采样模板是均匀分布的二维网格点位置发生扭曲后网格点的集合，其直接定义了每个网格点位置的改变，即图像的像素点位置将如何映射到连续非均匀采样图像中对应像素点的位置上；给定一个原始图像上非变形位置(u，v)以及一幅采样模板SM，其对应的变形位置(ud，vd)通过双线性插值的方法查找SM上(u，v)的位置得到；
(2)根据生成的采样模板和被反射体的高分辨率原图像，能够重构得到被反射体的非均匀采样的图像：由步骤(1)得到一幅二维扭曲的网格图，即采样模板SM，每个网格顶点绑定的是对应的规则网格的坐标值；结合SM和给定的高分辨率的原图像，再使用mip贴图技术mipmapping，即能重构出非均匀采样的较低分辨率的变形图，变形图上每个像素点需要记录下深度值；
(3)对场景中的反射体和被反射体的非均匀采样的变形图重构的非均匀采样深度图进行反射效果绘制。
与原有算法相比，本算法的主要贡献体现在以下两点：被反射体图像整体的分辨率较低，但视觉关注的焦点区域有较高的分辨率，这样能在减少整体跟踪的光线数量的基础上绘制出局部区域高分辨率的反射效果；采样模板的自动生成，能实现动态场景中三维对象反射的实时绘制。本发明的方法涉及到的所有计算都在GPU中进行，能够达到实时性能。
附图说明
图1采样模板的变形过程图；
图2算法整体流程图；
图3反射点记录图；
图4焦点区域控制图；
图5焦点区域圆形拟合图；
图6非均匀采样图像重构图；
图7反射效果图；
图8(a)上下图中文字的清晰度相近，图8(b).上下图中荷花的轮廓清晰度相近，图8(c)上下图中文字的清晰度相近，图8(d).上下图中小鸟身上的细节表现相近。
具体实施方式
本发明的三维对象反射绘制算法的具体流程见图2，其实现方法具体如下
步骤1：获取变形的采样模板
正常情况下观察一个物体，人类视觉关注的重点都会停留在物体的一个或多个特殊的区域，这里称之为视觉焦点区域。非均匀采样即要让视觉的焦点区域与图像的其他区域相比具备更高的分辨率。本发明中采样模板的变形过程是，首先构造一个g*h的规则网格图，这里手动指定一个圆形，圆内区域即反射中对应的视觉焦点区域。圆心为O即当前圆的坐标系的原点，对圆内的任一网格点P，使其沿OP方向移动F(P)的距离；圆内其余点做类似的移动操作。其中x轴方向移动公式如下：
F(x)＝x+size*(1-x2) (1)
其中，x为P点的横坐标，x的值映射到[-1，1]，size是系数，根据相邻的两个网格点的形变约束关系F(n*m/r)＜F((n+1)*m/r，可计算出size＜r/(2n+1)。这里n为小于从圆心到圆的边缘之间的网格数目的任意整数，m为单个网格的边长，r为指定的圆的半径。同理，y轴做同样的变化，变形后就是本发明中绘制算法过程中重要的媒介——采样模板，如图1所示。
为了达到三维物体的实时反射绘制，关键是改进手动采样模板的计算问题，动态的自动生成采样模板。本方法引入焦点控制图实现自动采样模板的生成。下面是焦点控制图的构造算法：
场景中反射体A，场景中的被反射体B，当前视点V；
a.从V出发到达A的顶点S的光线ray，判断ray的反射光线是否与B相交。若相交，求出相交点S’并记录其在impostor(用impostor表示视点在B正前方的视平面)上的位置；否则，判断下一个顶点。图3所示为本发明实验场景中，某个视点下，使用的球形反射体得到的反射点位置图；
b.将impostor划分为规格的二维网格，遍历网格上的每个四边形区域记录其中的反射点数目。使用统计学的原理找出impostor上反射线交点的分布情况，即找出交点的数目超过某个阈值的所有四边形并标记，如图4就是本发明中使用的焦点控制图。尽量将点分布密集的标记区域拟合到一个圆内，找到该圆的圆心O和半径r，如图5；
c.对前一步中的圆进行变形处理，即使用公式(1)计算圆内每个点的纵横坐标的变化，从而得到一个扭曲的网格图即本发明中所需的采样模板SM。
步骤2：重构较低分辨率的非均匀采样图像
由前面计算得到的采样模板SM和给定的高分辨率的原图像I，即可重构出非均匀采样的变形图。具体步骤如下：
i)构造大小为α*β的二维规则网格QM；
a.顶点vij＝SM(i，j)；
b.纹理坐标；
ii)以分辨率wc*hc对QM着色(wc*hc表示重构的图像分辨率)；
c.根据SM中不同的网格大小，利用I进行mipmapping查找确定QM的每个像素点(s，t)(s，t分别表示QM中每个像素的纵横坐标值)处的像素值，这样就能重构出了较低分辨率的变形图(见图6)；
这里，网格顶点绑定的无变形的坐标即该点的纹理坐标。
步骤3：反射绘制
用深度图进行反射绘制能克服运动视差以及物体移动导致的不连续性等问题，本发明在反射绘制时同样要使用步骤2中最终变形的图像的深度信息。
变形图像深度图像DI与光线ray相交计算如下：
如果ray与DI的包围盒不相交，则返回无交点。否则DI的包围盒对ray进行裁剪得到光线rayc；
将rayc投影DI的平面上得到线段rayp；
对rayp进行栅格化处理，查找rayp与DI高度域的交点。若存在交点就对其着色，若不存在则不做任何处理。
使用本发明方法绘制的三维对象的反射效果如图7所示，对于图中不同反射图像，在视觉焦点区域的分辨率相似的情况下，表1中给出了不同被反射体的传统图像和非均匀采样图像大小的比较，其不同的反射效果见图8。
表1不同情况下图像大小的比较
| 反射图像 | 图8a | 图8b | 图8c | 图8d |
| 非均匀 | 518 | 578.1 | 442.4 | 682.2 |
| 传统 | 2334.7 | 1873.9 | 2211.8 | 2099.2 |
表1比较传统图像和非均匀采样图像，图像的格式都是bmp，表中数据的单位为K，若是它们的在焦点区域具备相近的分辨率，非均匀图像的存储容量比均匀图像小得多，那么本发明方法的绘制效率上的优势很快就表现出来了。
图8是非均匀和均匀图像反射效果对比图，图中上面一排表示均匀采样的高分辨率图像反射效果，下面表示非均匀采样的地分辨率图像反射效果；从图8(a)-(d)的比较可以看出，较低分辨率的非均匀图像和较高分辨率的均匀图像经反射绘制后，在焦点区域上，它们的绘制效果相差无几。所以，本发明的方法在提高绘制效率的同时并没有降低反射绘制的真实感效果，即在没有牺牲效果的情况下提升了效率。
Claims (1)
1.一种基于非均匀采样三维对象反射的实时绘制方法，其特征在于：具体可分为以下三个步骤：
（1）根据当前视点下的反射体和被反射体，手动或自动生成非均匀采样模板：所述采样模板确定一幅图像的采样点的分布，所述分布是一个不规则的二维网格图，所述不规则是指：规则的二维网格变形后，对应图像高分辨率区域的每个小网格的面积比变形前规则的二维网格图中每个小四边形面积大；对应低分辨率区域小网格的面积比变形前规则的二维网格图中每个小四边形面积小；采样模板是均匀分布的二维网格点位置发生扭曲后网格点的集合，其直接定义了每个网格点位置的改变，即图像的像素点位置将如何映射到连续非均匀采样图像中对应像素点的位置上；给定一个原始图像上非变形位置（u，v）以及一幅采样模板SM，其对应的变形位置（ud，vd）通过双线性插值的方法查找SM上（u，v）的位置得到；所述采样模板的获取过程为：
首先构造一个g*h的规则网格图，指定一圆形，圆内区域即反射中对应的视觉焦点区域；圆心为O即当前圆的坐标系的原点，对圆内的任一网格点P，使其沿OP方向移动F(P)的距离；圆内其余点做类似的移动操作；其中x轴方向移动公式如下：
F(x)=x+size*(1-x2)
其中，x为P点的横坐标，x的值映射到[‐1,1]，size是系数，根据相邻的两个网格点的形变约束关系F(n*m/r)<F((n+1)*m/r，计算出size<r/(2n+1),这里n为小于从圆心到圆的边缘之间的网格数目的任意整数，m为单个网格的边长，r为指定的圆的半径；y轴做同样的变化，变形后即得到采样模板；
（2）根据生成的采样模板和被反射体的高分辨率原图像，能够重构得到被反射体的非均匀采样的图像：由步骤（1）得到一幅二维扭曲的网格图，即采样模板SM，每个网格顶点绑定的是对应的规则网格的坐标值；结合SM和给定的高分辨率的原图像，再使用mip贴图技术mipmapping，即能重构出非均匀采样的较低分辨率的变形图，变形图上每个像素点需要记录下深度值；
（3）对场景中的反射体和被反射体的非均匀采样的变形图重构的非均匀采样深度图进行反射效果绘制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110297879.7A CN102509344B (zh) | 2011-09-30 | 2011-09-30 | 一种基于非均匀采样三维对象反射的实时绘制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110297879.7A CN102509344B (zh) | 2011-09-30 | 2011-09-30 | 一种基于非均匀采样三维对象反射的实时绘制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102509344A CN102509344A (zh) | 2012-06-20 |
| CN102509344B true CN102509344B (zh) | 2014-06-25 |
Family
ID=46221421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110297879.7A Expired - Fee Related CN102509344B (zh) | 2011-09-30 | 2011-09-30 | 一种基于非均匀采样三维对象反射的实时绘制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102509344B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104537975B (zh) | 2015-01-16 | 2018-09-04 | 北京智谷睿拓技术服务有限公司 | 显示控制方法和装置、显示设备 |
| DE102016200660A1 (de) * | 2015-12-23 | 2017-06-29 | Robert Bosch Gmbh | Verfahren zur Erstellung einer Tiefenkarte mittels einer Kamera |
| CN105631924B (zh) * | 2015-12-28 | 2018-09-11 | 北京像素软件科技股份有限公司 | 一种场景中扭曲效果的实现方法 |
| CN108230378B (zh) * | 2018-01-29 | 2020-03-20 | 北京航空航天大学 | 一种基于光线追踪的计算全息遮挡处理算法 |
| CN108242063B (zh) * | 2018-02-06 | 2020-06-19 | 清华大学深圳研究生院 | 一种基于gpu加速的光场图像深度估计方法 |
| CN118195912A (zh) * | 2022-12-13 | 2024-06-14 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备、存储介质及程序产品 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1930587A (zh) * | 2004-03-15 | 2007-03-14 | 皇家飞利浦电子股份有限公司 | 图像可视化 |
| CN101055642A (zh) * | 2007-05-24 | 2007-10-17 | 西北工业大学 | 提高水平集计算速度的方法 |
| CN101142614A (zh) * | 2004-09-09 | 2008-03-12 | 奥普提克斯晶硅有限公司 | 使用各向异性滤波的单通道图像变形***和方法 |
-
2011
- 2011-09-30 CN CN201110297879.7A patent/CN102509344B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1930587A (zh) * | 2004-03-15 | 2007-03-14 | 皇家飞利浦电子股份有限公司 | 图像可视化 |
| CN101142614A (zh) * | 2004-09-09 | 2008-03-12 | 奥普提克斯晶硅有限公司 | 使用各向异性滤波的单通道图像变形***和方法 |
| CN101055642A (zh) * | 2007-05-24 | 2007-10-17 | 西北工业大学 | 提高水平集计算速度的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102509344A (zh) | 2012-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102509344B (zh) | 一种基于非均匀采样三维对象反射的实时绘制方法 | |
| US8570322B2 (en) | Method, system, and computer program product for efficient ray tracing of micropolygon geometry | |
| Bruneton et al. | Real‐time rendering and editing of vector‐based terrains | |
| US9773343B2 (en) | Method for real-time and realistic rendering of complex scenes on internet | |
| CN105405166B (zh) | 一种基于线性四叉树的lod模型生成方法 | |
| CN105336003A (zh) | 结合gpu技术实时流畅绘制出三维地形模型的方法 | |
| CN102768765B (zh) | 实时点光源软阴影渲染方法 | |
| CN109118588B (zh) | 一种基于块分解的彩色lod模型自动生成方法 | |
| CN102651141A (zh) | 一种大场景中矢量地图与高分辨率数字高程模型自动叠加渲染的方法 | |
| Scheiblauer | Interactions with gigantic point clouds | |
| CN105205861A (zh) | 基于Sphere-Board的树木三维可视化模型实现方法 | |
| Sander et al. | Progressive buffers: view-dependent geometry and texture lod rendering | |
| CN115131482A (zh) | 游戏场景中光照信息的渲染方法、装置及设备 | |
| Boudon et al. | Survey on computer representations of trees for realistic and efficient rendering | |
| CN102436673A (zh) | 一种大规模室外场景的阴影绘制方法 | |
| Schäfer et al. | Multiresolution attributes for hardware tessellated objects | |
| CN103793935B (zh) | 一种基于BRLO‑Tree混合树结构的城市立体动态场景生成方法 | |
| Schirmacher et al. | Efficient Free Form Light Field Rendering. | |
| Luo et al. | Quad-tree atlas ray casting: a gpu based framework for terrain visualization and its applications | |
| CN113327314B (zh) | 一种基于层次的覆盖全空域的云表示与实时绘制方法 | |
| CN116958457A (zh) | 一种基于OSGEarth的战争迷雾效果绘制方法 | |
| Kada et al. | Real-time visualisation of urban landscapes using open-source software | |
| Fan et al. | A review of real-time terrain rendering techniques | |
| CN117351130B (zh) | 一种面向智能车间三维场景的真实感实时渲染方法 | |
| Rebollo et al. | Fast rendering of leaves |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140625 Termination date: 20170930 |