CN102096941B - 虚实融合环境下的光照一致性方法 - Google Patents

虚实融合环境下的光照一致性方法 Download PDF

Info

Publication number
CN102096941B
CN102096941B CN 201110033282 CN201110033282A CN102096941B CN 102096941 B CN102096941 B CN 102096941B CN 201110033282 CN201110033282 CN 201110033282 CN 201110033282 A CN201110033282 A CN 201110033282A CN 102096941 B CN102096941 B CN 102096941B
Authority
CN
China
Prior art keywords
brdf
under
environment
coordinate system
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201110033282
Other languages
English (en)
Other versions
CN102096941A (zh
Inventor
齐越
王维
贾军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN 201110033282 priority Critical patent/CN102096941B/zh
Publication of CN102096941A publication Critical patent/CN102096941A/zh
Application granted granted Critical
Publication of CN102096941B publication Critical patent/CN102096941B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Generation (AREA)

Abstract

虚实融合环境下的光照一致性方法,拍摄处于真实场景中的反射真实环境的镜面小球的高动态范围图像,获取真实场景的环境光照贴图;预处理真实场景环境光照贴图和虚拟物体表面反射属性。预处理真实场景环境光照,生成单位球上的所有法向量对应的局部坐标系下的环境光照,得到其Haar小波系数。预处理双向反射分布函数,生成单位半球上的所有视线方向下的双向反射分布函数切片,得到其Haar小波系数;虚实融合环境的绘制,根据虚拟物体顶点的法向量和视线方向,索引环境光照和双向反射分布函数切片小波系数,并作系数的向量积得到顶点绘制颜色,同时采用GPU进行加速。本发明可以高效地实现虚实融合环境下的全频环境光照绘制效果。

Description

虚实融合环境下的光照一致性方法
技术领域
本发明属于计算机虚拟现实技术领域,具体地说是实现虚实融合环境下光照一致性,逼真地绘制虚实融合场景,该方法可用于虚实融合环境下的场景的逼真绘制。
背景技术
虚实融合环境是一个由虚拟物体和真实物体组合在一起形成的环境,如今虚实融合应用被越来越广泛的应用,如医疗、维修、建筑、文化遗产和生活娱乐等方面。处于高度逼真的虚拟环境中,用户的各项活动都会以更为接近自然的方式发生,用户行为更为高效,为使计算机生成的虚拟对象具有真实感,使用户从感官上确信虚拟对象是周围环境的组成部分,需解决几何一致性、光照一致性和实时性的问题。
研究人员对虚实融合环境中的几何一致性,即虚实融合注册进行了大量研究,并取得了很好的成果,而对于虚实融合环境中的光照一致性问题的研究则相对较少。虚实注册技术光照一致性是指虚拟对象与真实场景的图像应达到一致的光照效果,这就需要恢复出真实场景的光照模型,然后计算真实场景光照对虚拟对象的影响,如明暗、阴影、反射效果等。Kanbara(参见M.Kanbara and N.Yokoya.Real-time Estimation of Light SourceEnvironment for Photorealistic Augmented Reality[C].Proceedings of the PatternRecognition,17th International Conference.Washington,DC,USA,2004:911-914)提出通过拍摄一个放置在标志物上的黑色的小球并识别在反射到小球上的真实光源得到了包括阴影的虚实一致的漫反射光照;Supan(参见P.Supan,I.Stuppacher,and M.Haller.ImageBased Shadowing in Real-time Augmented Reality[C].IJVR,5(3):1-7,2006)使用了两种不同的设备来采集真实环境光照取得了类似的效果,一种为拍摄在场景中放置一个理想镜面小球,另一种为直接使用鱼眼镜头采集环境光照。由于环境入射光以很高的分辨率采集,因此该方法可以体现镜面高光效果。Madsen(参见C.B.Madsen and R.E.Laursen.AScalable Gpu-based Approach to Shading and Shadowing for Photorealistic Real-timeAugmented Reality[C].In GRAPP,2007:252-261)使用预获取的高动态范围环境贴图获得了虚实光照一致的效果,Grosch(参见T.Grosch,T.Eble,and S.Mueller.ConsistentInteractive Augmentation of Live Camera Images with Correct Near-field Illumination[C].Proceedings of the 2007 ACM symposium on Virtual Reality software and technology.New York,2003:56-65)则使用高动态范围相机对环境进行实时采集,虽然该方法效果不错但是对于物体表面反射属性的影响则缺乏一个准确的模拟。Pessoa(参见S.Pessoa,G.Moura,J.Lima,et al.Photorealistic Rendering for Augmented Reality:A GlobalIllumination and BRDF Solution[C].Proceedings of IEEE Virtual Reality,2010)通过使用镜面小球采集环境光照,并使用多级环境光照贴图对场景中物体照明,模拟了色渗、高光反射、阴影等与真实环境一致的效果,同时对虚拟物体材质使用了Lafortune模型表示。该方法对低频环境贴图采用SH基函数近似,镜面高光则使用了多级环境贴图中光泽度较高的得到,因此对于高频光照的模拟不够准确。
在虚实融合环境光照一致性绘制方面,与传统的虚拟光源如点光源、方向光等相比,环境光是从真实世界中采集的,其绘制结果可提供更为显著的真实感。但是环境光下的实时绘制要考虑各个方向入射的光能量,是一个计算量相当大的半球面上的积分运算。一些方法通过引入预计算,减少了运行时的计算量,使得实时绘制成为可能。近年来环境光照的绘制方法按研究发展可以分为低频环境光下和全频环境光下的绘制。低频环境光主要通过球面调和基函数表达环境光,Sloan(参见P.Sloan,J.Kautz.Precomputed RadianceTransfer for Real-time Rendering in Dynamics,Low-frequency Lighting Environments[J]ACM Transactions on Graphics,2002,21(3):527-536)根据光传播的线性性质提出了预计算的辐射亮度传输算法(precomputed radiance transfer,PRT)和一种基于聚类主元分析的传输矩阵压缩算法,但是均不支持物体的运动。全频环境光绘制算法最为典型的绘制效果是对清晰的阴影边界和物体的高光材质的表现。Ng(参见R.Ng,R.Ramamoorthi,P.Hanrahan.Triple Product Wavelet Integrals for All-frequency Relighting[J]ACMTransactions on Graphics,2004,23(3):477-487)在PRT的基础上将光源、可见性和BRDF的小波表达带入光照公式中,出射的辐射亮度则可以视为一个小波三重积的形式。由于小波基函数的局部支撑性,可以高效的实现小波三重积的运算。预计算时需要产生BRDF的小波系数以及在每个顶点上可见性函数的小波系数,本质上该算法是将6维的传输函数分解成2个4维函数的积,使得其预计算和存储成为可能。该算法仍未解决如何处理运动物体的问题,同时在运行时忽略了相互反射。
发明内容
本发明的技术解决问题:克服现有技术的不足,提供一种虚实融合环境下光照一致性方法,该方法用于实现虚实环境的光照一致性,并快速逼真地绘制虚实融合环境。
本发明的技术解决方案:虚实融合环境下的光照一致性方法,其步骤如下:
(1)以真实场景中某一位置为基准,构建真实世界的全局世界坐标系,根据真实世界全局坐标系与虚拟世界全局坐标系的变换关系,统一真实世界与虚拟世界坐标系;
(2)基于步骤(1)的统一坐标系求解相机外参,拍摄处于真实场景中反射真实环境的镜面小球,得到能表示超出普通范围的颜色值的高动态范围图像,采集真实场景的环境光照贴图;
(3)为需要绘制的虚拟物体指定其表面反射属性,采用双向反射分布函数BRDF表达物体表面反射属性;
(4)生成单位球定义域下的法向量方向采样和单位半球定义域下的视线方向采样;
(5)根据步骤(2)生成的环境光照贴图和步骤(4)的法向量采样,对环境光照进行预计算,得到每个法向量采样方向下的局部环境光照,并做Haar小波变换得到局部环境光照对应的小波系数;
(6)根据步骤(3)的BRDF和步骤(4)生成的视线方向采样,对BRDF进行预计算,得到每个视线采样方向下的BRDF切片,并做Haar小波变换得到BRDF切片的小波系数;
(7)基于上述步骤存储的小波系数,对需要绘制的虚拟物体的每个顶点,根据环境光照和BRDF在顶点上半球做积分运算,得到绘制顶点的颜色,当旋转模型或变换视点时,可以根据变换后的法向量和视线方向重复上述过程,得到绘制顶点的颜色,完成虚拟物体的着色;同时可以采用GPU进行加速绘制。
所述步骤(2)中采用采集真实场景的环境光照贴图,其步骤为:为了保证采集得到的环境光照贴图与真实世界的坐标系一致,首先获取采集相机的外参。然后固定相机拍摄处于真实场景中的反射真实环境的镜面小球,在不同的曝光率下获取若干低动态范围小球图像,拟合相机响应曲线,通过相机响应曲线合成得到小球高动态范围图像,从相机所拍摄图像中确定小球轮廓,该轮廓包围的每个像素对应了球面上某一位置。根据该像素与圆心像素的像素距离,插值得到该像素对应位置的球面法向量。环境光照经由该位置反射入相机,此时已知相机拍摄方向,由光线反射即可求得该像素对应的环境光照的入射方向,从而得到真实环境的光照贴图。
所述的步骤(5)对采集得到环境光照进行预计算的方法为:对每个法向量采样方向,求解出副法向量和切向量,确定该法向量定义的局部坐标系。对该局部坐标系的上半球采样,每个采样对应了局部坐标系下的一个方向向量,将所有采样方向变换到全局坐标系下,采样环境光照即可得到该法向量对应的局部环境光照;然后对每个法向量采样对应的局部环境光照做Haar小波变换,并存储求得的局部环境光照对应的小波系数。
所述的步骤(6)中对BRDF进行预计算的方法为:在上半球定义域对视线方向采样,然后对每个采样方向下的入射方向采样,并由入射方向和视线方向求得BRDF值,得到每个视线采样方向对应的BRDF切片;最后对每个视线采样方向下的BRDF切片做Haar小波变换,并存储求得BRDF切片对应的小波系数。
所述的步骤(7)中对虚拟物体的进行绘制的步骤为:对于模型上每个顶点,将顶点模型坐标系下的法向量根据当前变换矩阵旋转到世界坐标系,根据旋转后法向量索引局部光照的小波系数,由于法向量采样的离散性,所以索引法向量对应的小波系数需要做线性插值;根据视点位置和顶点位置求解视线方向,将视线方向变换到顶点法向量确定的局部坐标系下,根据视线方向索引BRDF切片的小波系数;然后对光照与BRDF切片的小波系数做向量乘,得到该顶点的颜色;最后将顶点颜色送入图形硬件,绘制模型;当旋转模型或变换视点时,根据变换后的法向量和视线方向重复上述过程,完成虚拟物体的着色;绘制过程可以使用GPU实现以提高效率。
本发明与现有技术相比的优点在于:
(1)本发明使用小波基函数对环境光照和双向反射分布函数近似,可以实现虚实融合环境下的全频环境光照绘制效果。
(2)本发明采用高动态范围环境贴图表征虚实光照,结合表面反射属性建模构建顶点颜色,提高了场景绘制的逼真度,并且可以方便地修改光照和反射属性,提高了使用。
(3)本发明采用PRT算法预处理环境光照和BRDF,并用小波基函数进行近似表达,将顶点颜色计算转化为三重小波积,在做光照系数和BRDF系数的向量积时,可仅使用很少的系数来做向量积,极大减少运行时计算量,提高绘制速度,同时可以采用GPU绘制进一步提高效率。
附图说明
图1为本发明方法的流程图;
图2为本发明中真实世界坐标系棋盘格示意图;
图3为本发明中获取环境贴图的流程图;
图4为环境光照绘制算法概览图;
图5为环境光照预计算流程图;
图6为环境光照GPU绘制算法基本结构图;
图7为采用本发明方法进行的虚拟模型光照一致性绘制图,其中图(a)、图(c)为虚拟光源下绘制结果,图(b)、图(d)为光照一致性绘制结果。
具体实施方式
本发明的流程图如图1所示,在介绍本发明的步骤具体实施之前需要介绍下本发明使用的光照计算模型,场景中各点向视点方向出射的辐射度(radiance)I描述了单位投影表面积上单位立体角的光功率,它正比于屏幕上像素RGB通道的亮度值。要计算物体表面的顶点在光照下所表现的颜色,需要有如下信息:顶点的位置p、法向量n和视线方向v,该顶点的颜色I的计算为其所处的由法向量n确定的上半球Ω(n)下的入射光L、物体表面反射属性(BRDF)f和可见性函数V的积分,如下所示:
In,v,p=∫Ω(n)Ln(ω)fv(ω)Vp(ω)(n·ω)d(ω)
其中Ln为顶点局部坐标系下的光照,fv为局部坐标系下视线方向v对应的BRDF切片,Vp为局部坐标系下p的光线可见性函数;In,v,p表示物体顶点颜色对法向量n、视线方向v和位置p的依赖关系。由于小波在近似理论中的优势,将信号做小波变换并存储小波基函数系数有诸多好处,一个明显的优势是绝大部分小波系数的值都很小,将这些系数截断或除去,利用余下的小波系数可以以很小的失真重建原信号。其在拟合如HDR图像、镜面高光BRDF等高频信号有很好的性质,可以用于环境光照绘制算法。
本发明的步骤的具体实施方式如下所示:
(1)以真实场景中某一位置为基准,构建真实世界的全局世界坐标系,根据真实世界全局坐标系与虚拟世界全局坐标系的变换关系,统一真实世界与虚拟世界坐标系。首先,通过如图2所示的棋盘格确定真实世界坐标系,其中红、绿、蓝坐标轴分别表示x、y、z轴,然后采用计算机视觉的方法识别棋盘格,可以将虚拟世界坐标***一到上述的真实世界坐标系中;或者通过ARToolkitPlus完成虚拟物体在真实世界坐标系的定位,即虚实坐标系的统一。将棋盘格或ARToolkitPlus标志物确定的坐标系作为真实世界的坐标系,确定需要融合虚拟物体的空间位置和姿态后,求得虚拟物体模型的局部坐标系和真实世界坐标系的变换关系,实现真实世界和虚拟世界坐标系的统一。
(2)基于步骤(1)的统一坐标系,首先确定相机的外参,并拍摄处于真实场景中反射真实环境的镜面小球的高动态范围图像,采集真实场景的环境光照贴图,其流程图如图3所示。镜面小球可以将周围环境映射到球面,通过球面的反射可在任意视点下获得周围环境。首先固定镜面小球和相机,调节相机焦距和光圈,使小球图像清晰且成像足够大,然后拍摄不同曝光时间的多张LDR图像,通过这些图像拟合出相机的响应曲线,根据该曲线将多张统一场景LDR图像集合成为一张HDR图像,最后经过经纬映射为经纬环境贴图。为了保证采集得到的环境光照贴图与真实世界的坐标系一致,需要获取采集相机的外参。从相机所拍摄图像中确定小球轮廓,该轮廓包围的每个像素对应了球面上某一位置。根据该像素与圆心像素的像素距离,插值得到该像素对应位置的球面法向量。环境光照经由该位置反射入相机,此时已知相机拍摄方向,由光线反射即可求得该像素对应的环境光照的入射方向,从而得到真实环境的光照贴图。
(3)为需要绘制的虚拟物体指定其表面反射属性(双向反射分布函数BRDF)。BRDF是用一个表示从任意入射方向发射的光能量反射到任意出射方向的光能量的比值的函数,为虚拟物体指定BRDF可以通过直接读取BRDF数据库,例如MERL BRDF Database等,或者通过物体表面反射属性建模,主要包括基于解析式的建模方法和基于数据驱动(Data-Driven)的建模方法。常用的解析式BRDF模型有Phong、Ward、Cook-Torrance模型等,数据驱动的BRDF模型通过对物体表面进行密集采样获取。
(4)生成单位球定义域下的法向量方向采样和单位半球定义域下的视线方向采样。由于物体顶点颜色是由光照和材质反射属性、视线综合作用的结果,而计算机对于连续函数只能通过离散的方式表达,因此对环境光照处理需要在单位球定义域下进行法向量方向的采样,同时由于BRDF定义域为局部坐标系上半球,需对单位半球定义域下的视线方向进行采样。本发明对单位(半)求方向采样方法采用了八面体映射方法,将球面投影到八面体表面,并最后投影到矩形平面,得到平面上像素与方向的一一映射关系,详见EngelhardtT.(Octahedron Environment Maps,Proceedings of Vision,Modeling andVisualization,2008)。
(5)基于步骤(2)获得的环境光照和步骤(4)的法向量采样,对环境光照进行预计算,得到每个法向量采样方向下的局部环境光照,并做Haar小波变换得到局部环境光照对应的小波系数。在环境光照算法中,对于模型中每一个顶点均要根据其法向量对全局环境光照进行采样得到局部光照、根据视线方向对BRDF采样得到BRDF切片,然后进行小波变换后得到大量的小波系数做向量乘操作,算法概览如图4所示。这些过程的运算量很大,因此需要采样预计算减少运行时计算量。对环境光照进行的预计算流程图如图5所示,首先,对每个法向量采样方向,求解出副法向量和切向量,确定该法向量定义的局部坐标系;由于只有上半球的环境光照才会对顶点颜色有贡献,所以局部光照只采样局部坐标系上半球,故然后对该局部坐标系的上半球进行采样,每个采样对应了局部坐标系下的一个方向向量;并将所有采样方向变换到全局坐标系下,采样环境光照即可得到该法向量对应的局部环境光照;最后对每个法向量采样对应的局部环境光照做Haar小波变换,并将求得的小波系数存储,二维Haar小波变换在算法1中给出。对于任意一张全局环境光照图,只需进行一次计算,以后所有需要使用该全局环境光照图的场景无需再做预计算。实验的计算机配置为Intel Core2 Duo E7200 2.53GHz,4G内存,显卡NVIDIA 9800GTX+512M下,不同采样率下局部光照预计算的存储于计算时间表如下所示:
Figure BDA0000046292890000081
(6)基于步骤(3)赋予的BRDF和步骤(4)得到的视线方向采样,对BRDF进行预计算,得到每个视线采样方向下的BRDF切片,并做Haar小波变换得到BRDF切片的小波系数。材质的BRDF是定义在该点法向量确定的局部坐标系的上半球的4D函数。对三维空间中某个点来说,视线方向是该点到视点的向量,所以在某一视点下空间中某点的视线方向是确定的。因此可以首先在上半球定义域对视线方向采样,然后对每个采样方向下的入射方向采样,并由入射方向和视线方向求得BRDF值,得到每个视线采样方向对应的BRDF切片。接下来对每个视线采样方向下的BRDF切片做Haar小波变换,并将求得的小波系数存储。实验的计算机配置为Intel Core2 Duo E72002.53GHz,4G内存,显卡NVIDIA 9800GTX+512M下,不同采样率下BRDF预计算的存储于计算时间表如下所示:
Figure BDA0000046292890000101
(7)对需要绘制的虚拟物体的每个顶点,根据环境光照和BRDF在顶点上半球做积分运算,得到绘制顶点的颜色。对于模型上每个顶点,将顶点模型坐标系下的法向量根据当前变换矩阵旋转到世界坐标系,根据旋转后法向量索引局部光照的小波系数,由于法向量采样的离散性,所以索引法向量对应的小波系数需要做线性插值;根据视点位置和顶点位置求解视线方向,将视线方向变换到顶点法向量确定的局部坐标系下,根据视线方向索引BRDF切片的小波系数;然后对光照与BRDF切片的小波系数做向量乘,得到该顶点的颜色;最后将顶点颜色送入图形硬件,绘制模型;当旋转模型或变换视点时,根据变换后的法向量和视线方向重复上述过程,完成虚拟物体的着色。由于需要全部小波系数中很少一部分就可以近似出原来的图像,因此在做光照系数和BRDF系数的向量积时,可仅使用很少的系数来做向量积,极大减少运行时计算量,提高绘制速度。
绘制算法可以使用GPU实现以提高效率,GPU虽然可以给以运算速率的提升,但是对稀疏矩阵的运算则没有很好的支持(稀疏矩阵运算并行度较低),同时由于GPU存储空间的有限,使得绘制算法的GPU实现相比之下更为受限。由于GPU不适合稀疏矩阵运算,因此对于环境光照和BRDF系数若均采用稀疏矩阵存储,两种系数的向量积运算会非常困难。可以考虑将环境光照系数或BRDF系数其中一个采用密集矩阵存储方式,而另一个采用稀疏存储方式,则可以根据稀疏存储的索引值查找到密集矩阵中相应的值,然后进行点乘运算。实际上,环境光的变化要比BRDF的变化更为强烈,相比之下对BRDF重建需要较少的小波系数,因此可以对BRDF进行非线性近似,并用稀疏矩阵的方式存储所有视线下对应的BRDF切片的小波系数和索引,而全部法向量下的局部环境光照则使用密集矩阵来存储。整个绘制过程如图6所示,对于每一个像素,根据视线方向查找得到该视线方向下BRDF切片的小波系数和索引(图中①),对BRDF切片的每一个小波系数索引值,根据该索引值和法向量查找局部光照小波系数的相应值(图中②),与对应的BRDF切片小波系数值相乘,即完成了光照系数和小波系数的向量积,最终求得该像素的颜色(图中③)。
如图7所示,左边为全局虚拟光源下的绘制结果,右边为采用发明方法的光照一致性绘制结果,分别采用虚拟光源和环境光源对在真实环境(航空发动机实验室)中的Buddha模型的绘制结果,模型材质为银材质,虚拟光源为空间中3个点光源,环境光源为采集得到的环境贴图,右边的绘制明显比左边更加逼真。
总之,本发明可以用于高效地、逼真地绘制虚实光照一致的虚实融合环境。
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (2)

1.虚实融合环境下的光照一致性方法,其特征在于实现步骤如下:
(1)以真实场景中某一位置为基准,构建真实世界的全局世界坐标系,根据真实世界全局坐标系与虚拟世界全局坐标系的变换关系,统一真实世界与虚拟世界坐标系;
(2)基于步骤(1)的统一坐标系求解相机外参,拍摄处于真实场景中反射真实环境的镜面小球,得到能表示超出普通范围的颜色值的高动态范围图像,采集真实场景的环境光照贴图;    
(3)为需要绘制的虚拟物体指定其表面反射属性,采用双向反射分布函数BRDF表达物体表面反射属性; 
(4)生成单位球定义域下的法向量方向采样和单位半球定义域下的视线方向采样;
(5)根据步骤(2)生成的环境光照贴图和步骤(4)的法向量采样,对环境光照进行预计算,得到每个法向量采样方向下的局部环境光照,并做Haar小波变换得到局部环境光照对应的小波系数;
(6)根据步骤(3)的BRDF和步骤(4)生成的视线方向采样,对BRDF进行预计算,得到每个视线采样方向下的BRDF切片,并做Haar小波变换得到BRDF切片的小波系数;
(7)基于上述步骤(5)局部环境光照对应的小波系数和步骤(6)Haar小波变换得到BRDF切片的小波系数,对需要绘制的虚拟物体的每个顶点,根据环境光照和BRDF在顶点上半球做积分运算,得到绘制顶点的颜色,当旋转模型或变换视点时,根据变换后的法向量和视线方向重复上述过程,得到绘制顶点的颜色,完成虚拟物体的着色;同时采用GPU进行加速绘制。
2.根据权利要求1所述的虚实融合环境下的光照一致性方法,其特征在于:所述步骤(2)采用采集真实场景的环境光照贴图的步骤为:首先获取采集相机的外参;然后固定相机拍摄处于真实场景中的反射真实环境的镜面小球,在不同的曝光率下获取若干低动态范围小球图像,拟合相机响应曲线,通过相机响应曲线合成得到小球高动态范围图像,从相机所拍摄图像中确定小球轮廓,该轮廓包围的每个像素对应了球面上某一位置;根据该像素与圆心像素的像素距离,插值得到该像素对应位置的球面法向量;环境光照经由该位置反射入相机,此时已知相机拍摄方向,由光线反射即可求得该像素对应的环境光照的入射方向,从而得到真实环境的光照贴图。
3. 根据权利要求1所述的虚实融合环境下的光照一致性方法,其特征在于:所述的步骤(5)对采集得到环境光照进行预计算的方法为:对每个法向量采样方向,求解出副法向量和切向量,确定该法向量定义的局部坐标系;对该局部坐标系的上半球采样,每个采样对应了局部坐标系下的一个方向向量,将所有采样方向变换到全局坐标系下,采样环境光照即可得到该法向量对应的局部环境光照;然后对每个法向量采样对应的局部环境光照做Haar小波变换,并存储求得的局部环境光照对应的小波系数。
4. 根据权利要求1所述的虚实融合环境下的光照一致性方法,其特征在于:所述的步骤(6)对BRDF进行预计算的方法为:在上半球定义域对视线方向采样,然后对每个采样方向下的入射方向采样,并由入射方向和视线方向求得BRDF值,得到每个视线采样方向对应的BRDF切片;最后对每个视线采样方向下的BRDF切片做Haar小波变换,并存储求得BRDF切片对应的小波系数。
5. 根据权利要求1所述的虚实融合环境下的光照一致性方法,其特征在于:所述步骤(7)对虚拟物体的进行绘制的步骤为:对于模型上每个顶点,将顶点模型坐标系下的法向量根据当前变换矩阵旋转到世界坐标系,根据旋转后法向量索引局部光照的小波系数,由于法向量采样的离散性,所以索引法向量对应的小波系数需要做线性插值;根据视点位置和顶点位置求解视线方向,将视线方向变换到顶点法向量确定的局部坐标系下,根据视线方向索引BRDF切片的小波系数;然后对光照与BRDF切片的小波系数做向量乘,得到该顶点的颜色;最后将顶点颜色送入图形硬件,绘制模型;当旋转模型或变换视点时,根据变换后的法向量和视线方向重复上述过程,完成虚拟物体的着色,绘制过程使用GPU实现以提高效率。
CN 201110033282 2011-01-30 2011-01-30 虚实融合环境下的光照一致性方法 Expired - Fee Related CN102096941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110033282 CN102096941B (zh) 2011-01-30 2011-01-30 虚实融合环境下的光照一致性方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110033282 CN102096941B (zh) 2011-01-30 2011-01-30 虚实融合环境下的光照一致性方法

Publications (2)

Publication Number Publication Date
CN102096941A CN102096941A (zh) 2011-06-15
CN102096941B true CN102096941B (zh) 2013-03-20

Family

ID=44130017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110033282 Expired - Fee Related CN102096941B (zh) 2011-01-30 2011-01-30 虚实融合环境下的光照一致性方法

Country Status (1)

Country Link
CN (1) CN102096941B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254340B (zh) * 2011-07-29 2013-01-09 北京麒麟网文化股份有限公司 一种基于gpu加速的环境光遮挡图像绘制方法及***
CN103679649B (zh) * 2013-11-18 2016-10-05 联想(北京)有限公司 一种信息处理方法和电子设备
EP3123449B1 (en) * 2014-03-25 2020-01-01 Apple Inc. Method and system for representing a virtual object in a view of a real environment
CN104392481B (zh) * 2014-11-25 2017-12-05 无锡梵天信息技术股份有限公司 一种利用贴图控制高光反射清晰度的方法及装置
CN104766270B (zh) * 2015-03-20 2017-10-03 北京理工大学 一种基于鱼眼镜头的虚实光照融合方法
CN107204035B (zh) * 2016-12-31 2021-05-14 桂林大容文化科技有限公司 多层非均匀材质反光物体的实时渲染方法
CN107316344B (zh) * 2017-05-18 2020-08-14 深圳市佳创视讯技术股份有限公司 一种虚实融合场景中漫游路径规划的方法
CN107608077B (zh) * 2017-09-08 2020-01-03 长春理工大学 一种多光源位置估计方法
CN108470079B (zh) * 2017-10-26 2023-04-07 北京特种工程设计研究院 航天发射场涉核操作辐射安全评估仿真方法
CN109934903B (zh) * 2017-12-19 2020-10-16 北大方正集团有限公司 高光信息提取方法、***、计算机设备及存储介质
CN108460841A (zh) * 2018-01-23 2018-08-28 电子科技大学 一种基于单幅图像的室内场景光照环境估计方法
CN109509246B (zh) * 2018-03-25 2022-08-02 哈尔滨工程大学 一种基于自适应视线划分的光子图聚类方法
CN108509887A (zh) * 2018-03-26 2018-09-07 深圳超多维科技有限公司 一种获取环境光照信息方法、装置和电子设备
CN108830804B (zh) * 2018-05-23 2023-03-10 长春理工大学 基于线扩展函数标准差的虚实融合模糊一致性处理方法
CN109003273B (zh) * 2018-07-27 2021-05-18 郑州工程技术学院 一种车灯光导一致性检测方法
CN110412828A (zh) * 2018-09-07 2019-11-05 广东优世联合控股集团股份有限公司 一种三维光迹影像的打印方法及***
CN109242800B (zh) * 2018-09-26 2022-03-29 北京邮电大学 通过图像估计环境光照来实现虚拟模型光照一致性的方法
CN111833374B (zh) * 2019-04-22 2023-12-05 曜科智能科技(上海)有限公司 基于视频融合的路径规划方法、***、存储介质、及终端
CN110458964B (zh) * 2019-08-21 2021-07-27 四川大学 一种现实环境动态光照的实时计算方法
CN110493540B (zh) * 2019-08-21 2020-12-04 四川大学 一种场景动态光照实时采集方法及装置
CN110570503B (zh) * 2019-09-03 2021-04-16 浙江大学 基于神经网络的三维物体法向量、几何及材质获取方法
CN110728748B (zh) * 2019-09-30 2023-05-05 中国科学院国家天文台南京天文光学技术研究所 基于半球正交函数的渲染方法
CN111145341B (zh) * 2019-12-27 2023-04-28 陕西职业技术学院 一种基于单光源的虚实融合光照一致性绘制方法
CN111652963B (zh) * 2020-05-07 2023-05-02 浙江大学 一种基于神经网络的增强现实绘制方法
CN112837425B (zh) * 2021-03-10 2022-02-11 西南交通大学 混合现实光照一致性调整方法
CN115063645A (zh) * 2022-05-06 2022-09-16 北京航空航天大学 模型训练方法、贴图确定方法、装置、设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710429A (zh) * 2009-10-12 2010-05-19 湖南大学 一种基于动态light map的增强现实***光照算法
CN101794459A (zh) * 2010-02-09 2010-08-04 北京邮电大学 一种立体视觉影像与三维虚拟物体的无缝融合方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100609145B1 (ko) * 2004-12-20 2006-08-08 한국전자통신연구원 실시간 전역조명 효과를 위한 렌더링 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710429A (zh) * 2009-10-12 2010-05-19 湖南大学 一种基于动态light map的增强现实***光照算法
CN101794459A (zh) * 2010-02-09 2010-08-04 北京邮电大学 一种立体视觉影像与三维虚拟物体的无缝融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
增强现实一致光照技术研究;葛学东;《第十三届全国图像图形学学术会议论文集》;20061130;664-667 *
葛学东.增强现实一致光照技术研究.《第十三届全国图像图形学学术会议论文集》.2006,664-667.

Also Published As

Publication number Publication date
CN102096941A (zh) 2011-06-15

Similar Documents

Publication Publication Date Title
CN102096941B (zh) 虚实融合环境下的光照一致性方法
WO2022121645A1 (zh) 一种教学场景中虚拟对象的真实感生成方法
CN108648269B (zh) 三维建筑物模型的单体化方法和***
JP6246757B2 (ja) 現実環境の視野におけるバーチャルオブジェクトを表現方法及びシステム
CN107330964B (zh) 一种复杂三维物体的显示方法及***
US20050041024A1 (en) Method and apparatus for real-time global illumination incorporating stream processor based hybrid ray tracing
CN104766270A (zh) 一种基于鱼眼镜头的虚实光照融合方法
CN108805971B (zh) 一种环境光遮蔽方法
CN104392481B (zh) 一种利用贴图控制高光反射清晰度的方法及装置
WO2023185262A1 (zh) 光照渲染方法、装置、计算机设备和存储介质
CN102915559A (zh) 一种基于三维点云的实时透明物体gpu并行生成方法
KR20240001021A (ko) 이미지 렌더링 방법, 장치, 전자 설비 및 저장 매체
CN107644453A (zh) 一种基于物理着色的渲染方法及***
Grosch et al. Consistent interactive augmentation of live camera images with correct near-field illumination
CN112819941A (zh) 渲染水体面的方法、装置、设备和计算机可读存储介质
Kolivand et al. Covering photo-realistic properties of outdoor components with the effects of sky color in mixed reality
CN104517313A (zh) 基于屏幕空间的环境光遮蔽的方法
CN103679818B (zh) 一种基于虚拟面光源的实时场景绘制方法
US11804008B2 (en) Systems and methods of texture super sampling for low-rate shading
WO2021151380A1 (en) Method for rendering virtual object based on illumination estimation, method for training neural network, and related products
CN116385619B (zh) 对象模型渲染方法、装置、计算机设备和存储介质
Wang et al. Bidirectional shadow rendering for interactive mixed 360° videos
Noh et al. Soft shadow rendering based on real light source estimation in augmented reality
Heymann et al. Illumination reconstruction from real-time video for interactive augmented reality
Zheng et al. An extended photometric stereo algorithm for recovering specular object shape and its reflectance properties

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130320

Termination date: 20200130