CN101710429B - 一种基于动态光照图的增强现实***光照算法 - Google Patents

Abstract

为实现增强现实***中光照的实时准确性，提出了一种基于动态光照图的快速光照算法。该方法通过采集视频图像中校准物体的像素亮度，计算出摄像机的信号放大量和信号偏置，并利用动态更新的光照图所记录的环境光照信息实现虚、实场景之间的一致光照，且能够适应光照变化的场景。

Description

一种基于动态光照图的增强现实***光照算法

技术领域

本发明属于计算机图形学和图像处理领域，具体涉及通过图形图像处理对增强现实场景进行光照增强的方法。

背景技术

增强现实(Augmented Reality，简称AR)技术是虚拟现实技术的一个分支，是一种将真实环境同虚拟物体相融合的技术。在国外，AR技术已被广泛运用于医学可视化、维护与修理、理解与提示、机器人路径规划、娱乐、军用飞机导航和攻击瞄准等领域。近年来，AR也引起了国内研究者的关注，相关的应用也越来越多。

增强现实技术需要解决的三个关键的问题是：1.如何将虚拟物体和真实场景进行校准，使它们之间能够无缝地结合，这就是增强现实的注册技术所要解决的问题；2.怎样在真实场景中显示虚拟物体，使其与真实场景协调一致，是立体显示技术所要解决的问题；3.实时性问题。随着AR注册技术的逐步完善，人们已逐渐把注意力转移到了如何增强AR场景的真实感上。

为了使增强现实场景看起来更加真实，更容易让人们接受，我们需要解决虚拟物体与真实场景之间的光照一致性问题。为了得到令人信服的光照效果，首先要对真实场景的光照情况进行分析，然后根据分析的结果建立虚拟物体的光照模型，从而达到虚、实物体相融合的效果。近年来的很多方法都是使用辅助测光设备——鱼眼透镜摄像机来记录环境中的光照信息，并以此确定各个光源的位置，然后用已知的光源对增强现实场景进行照明。这类方法能够准确测量环境光照，实现逼真的光照效果，但是需要昂贵的测光设备，这对于普通的实验条件来说是无法实现的。

发明内容

本发明针对现有的增强现实光照技术对硬件条件要求较高的情况，提出了一种基于动态光照图的增强光照算法。光照图，用于记录真实场景中各个法线方向上的光照情况。该算法避免使用HDR(High Dynamic Range)摄像机，而是用光照图记录环境中的光照情况，并且对光照图进行动态更新，能够达到实时交互的帧率，产生正确的明暗和阴影，且实现起来较为简单，通用性较强。

本发明的光照算法是基于自然特征的，而不是使用传统的人工标识。用于校准的物体是具有清晰图案的平面物体。算法中使用动态更新的光照图记录环境光照，并用虚拟光源模拟真实光源来对虚拟物体进行照明，以产生与真实环境一致的光照。图1所示为AR***光照生成过程。

1.场景的光照模型

本发明所选择的校准图案是具有漫反射表面的，它向各个方向上反射的光线是相同的。在时刻t，校准图案上的某个点所反射的光线数量取决于该点的表面法线方向n_t。为了能够准确的计算法线方向，我们通常用以某个点为中心的一个小面片π来代替该点，则面片π在时刻t所接收的光能为：

$x_{\mathrm{\π},t}=\underset{l=0}{\overset{L}{\mathrm{\Σ}}}\max (n_t\·d_l,0){\mathrm{\Ω}}_l---\left(1\right)$

其中，Ω_l表示光源L的能量，d_l表示它的方向。在已经计算得到校准图案表面各点的反射系数的情况下，可以用下面的公式来表示面片π在t时刻的象素亮度I(π，t)：

I(π，t)＝gρ_πx_t+b    (2)

式中的ρ_π表示面片π上各点的反射系数的平均值，用π上的平均亮度来计算。g和b分别表示摄像机的信号放大量和信号偏置。

2.动态光照图的生成

从上面的光照模型分析可知，要计算出面片π的亮度，就必须先计算光能Ω。我们也可认为空间中的某个位置(如校准图案所在的位置)，它的各个朝向(也就是以它为中心的某个球面上的每个点的法线方向)上所接收到的光能与法线方向n有关(如图2所示)，因此式(1)中的x_π，t可看成是n的函数。这样就可以用一个光照图M(n)来表示该位置的光照情况。在这种情况下，虚拟物体表面的象素亮度可以表示成：

I(v，t)＝gρ_vM_t(n_v)+b             (3)

式中的ρ_v表示虚拟物体表面的反射系数，在虚拟物体建模时定义。

由(3)式可知，要得到虚拟物体表面的亮度，就必须先求出摄像机的g和b，可通过式(2)求得。式(2)中有三个未知量，即g、b和x_t。令g′＝1/g，b′＝1/b，则式(2)可表示为

-I(π，t)g′+ρ_πx_t+b′＝0               (4)

将不同时刻所得到的式(4)放在一起就形成了一个方程组，如下：

$\left\{\begin{array}{c}-I(\mathrm{\π},t_1)g^{\′}+{\mathrm{\ρ}}_{\mathrm{\π}}{x}_{t1}+b^{\′}=0\\ -I(\mathrm{\π},t_2)g^{\′}+{\mathrm{\ρ}}_{\mathrm{\π}}{x}_{t2}+b^{\′}=0\\ \mathrm{LL}\\ -I(\mathrm{\π},t_n)g^{\′}+{\mathrm{\ρ}}_{\mathrm{\π}}{x}_{\mathrm{tn}}+b^{\′}=0\end{array}\right.---\left(5\right)$

方程组(5)也可以表述成式(6)。为简化表达式，式中用I_tn表示式(5)中的I(π，t_n)：

$\left\{\begin{array}{c}-I_{t_1}{g}^{\′}+b^{\′}+{\mathrm{\ρ}}_{\mathrm{\π}}{x}_{t_1}+0\·x_{t_2}+L+0\·x_{t_n}=0\\ -I_{t_2}{g}^{\′}+b^{\′}+0\·x_{t_1}+{\mathrm{\ρ}}_{\mathrm{\π}}{x}_{t_2}+L+0\·x_{t_n}=0\\ \mathrm{LL}\\ -I_{t_n}{g}^{\′}+b^{\′}+0\·x_{t_1}+0\·x_{t_2}+L+{\mathrm{\ρ}}_{\mathrm{\π}}{x}_{t_n}=0\end{array}\right.---\left(6\right)$

将方程组(6)转化成矩阵形式如下：

$\left[\begin{array}{cccccc}-I_{t_1}& 1& {\mathrm{\ρ}}_{\mathrm{\π}}& 0& L& 0\\ -I_{t_2}& 1& 0& {\mathrm{\ρ}}_{\mathrm{\π}}& L& 0\\ \mathrm{LL}& & & & & \\ -I_{t_n}& 1& 0& 0& L& {\mathrm{\ρ}}_{\mathrm{\π}}\end{array}\right]\left[\begin{array}{c}{g}^{\′}\\ b^{\′}\\ x_{t_1}\\ M\\ x_{t_n}\end{array}\right]=0---\left(7\right)$

解式(7)可得到多个特征值和多个特征向量，而与最小特征值相对应的特征向量就是我们要求的值。解向量中的(x_t1，x_t2，...，x_tn)即为形成M(n)所需的各个法线方向的光能值。

以上的计算结果是在光照不变的情况下得到的。当校准物体的空间位置变化或者光源发生改变的时候，虚拟物体的光照情况也会随之改变。因此，必须对光照图进行及时的更新，以适应环境光照的变化。

令M_t+1(n)为t时刻的光照图，则t+1时刻的光照图可以用下面的等式来表示：

M_t+1(n)＝(1-f(n))M_t(n)+f(n)x_t+1                       (8)

其中，

式(8)中的x_t+1是t+1时刻所观察到的法线方向为n_t+1的面片所接收的光能。式(9)中的s是一个模糊常量。事实上，当光照突然发生变化时，该方法不能够及时地更新整个光照图，而是每一帧都只能采样到一个法线方向并更新该法线方向上的光能值，而其它法线方向上的光能值保持不变。因此，我们在建立了光照图以后，对每一个新的帧都要进行更新，从而最大程度的达到及时更新的效果。

在绘制虚拟物体时，光照图可作为纹理贴图来表现虚拟物体表面的明暗状况。

3.光源位置分析

为了确定AR场景中的阴影状况，我们需要计算真实环境中的光源位置。当真实环境中只有一个光源的时候，能够很容易模拟出光源的位置信息：扫描整个光照图，找出与最大光能值相对应的法线方向n_s，则可以确定该方向就是光源所在的方向。当真实环境中存在不只一个光源的时候，可以用多个虚拟光源来模拟真实光源。我们给定一个较大的亮度值I_c作为临界亮度值，当某个法线方向上的光能值大于(或等于)I_c时，就认为该方向上可能存在一个光源；反之，则认为该方向上不存在光源。对于每个可能存在光源的法线方向n，我们进行如下操作以确定该方向上是否真的存在光源：首先，定义一个较小的角度ε来表示临界角度。然后，逐个扫描光照图中的法线方向，当某个法线方向n′与法线方向n的夹角

小于临界角度ε时，将n′看作是n的邻近法线方向。最后，判断各个邻近法线方向上的光强度是否小于n上的光强度，如果所有邻近法线方向上的光强度都小于n上的光强度，则法线方向n上必定存在光源，否则，不存在光源。这个过程可以用式(10)来表示。所有的虚拟光源都分布在以虚拟物体为中心的球面上，如图3所示。

式(10)中的I、I_n、I_n′分别表示环境中的光能、法线方向n上的光能和法线方向n′上的光能。

在确定了所有虚拟光源的位置后，就可以利用Phong光照模型(一个可接受的“标准”模型，它反映了漫射、镜面反射和环境光对物体表面作用的结合)来计算增强现实场景中的阴影。

4.阴影生成

本发明中所用的虚拟物体是由许多三角形面片组成的，每一个面片对应着三个顶点v₁(x₁，y₁，z₁)、v₂(x₂，y₂，z₂)、v₃(x₃，y₃，z₃)。这三个顶点可以确定空间中一个唯一的平面：

ax+by+cz+d＝0                    (11)

其中，

a＝y₁*(z₂-z₃)+y₂*(z₃-z₁)+y₃*(z₁-z₂)；

b＝z₁*(x₂-x₃)+z₂*(x₃-x₁)+z₃*(x₁-x₂)；

c＝x₁*(y₂-y₃)+x₂*(y₃-y₁)+x₃*(y₁-y₂)；

d＝-(x₁*(y₂*z₃-y₃*z₂)+x₂*(y₃*z₁-y₁*z₃)+x₃*(y₁*z₂-y₂*z₁)).

假设光源的位置为(x_p，y_p，z_p)，则在确定了某个面片的平面参数后，就可以利用下面的公式来判断该面片是否正对着光源：

S＝a*x_p+b*y_p+c*z_p+d    (12)

若计算出的S值大于0，则该面片正对着光源；否则，该面片背对着光源。

逐个扫描虚拟物体中的三角形面片，当某个三角形面片正对着光源时，依次判断它的三条边是否为临界边：如果与某条边相邻的面片不存在，或者背对着光源，那么这个边就是临界边；否则，该边不为临界边。

所有的临界边构成了虚拟物体上能够投射阴影的区域的边界。在已知场景中其它物体(包括虚拟物体和真实物体)的3D结构后，就可以利用计算机图形学中的阴影体方法生成该物体投射到其它物体上的阴影。

阴影体方法产生阴影有两个步骤：首先连接光源与各个临界边的两个端点，并延长至较远处，这样就可以形成由临界边的两个端点和延长线的末端所确定的半无限四边形，所有这样的四边形构成了物体的阴影体；然后根据阴影体与场景中其它物体的交线确定物体投射到其它物体上的阴影区域。

附图说明

图1：AR***光照生成过程。

图2：物体表面光照示意图。

图3：虚拟光源分布图

图4：光照结果图

具体实施过程

1.程序框架

输入：***的输入为视频图像(VImage[i])和虚拟物体3D模型(obj)。

2.实验环境

本发明的硬件环境由三部分组成：一个USB摄像头、一台PC主机和一台LCD显示器。其中，PC主机的CPU为Core 2Duo E6550，2.33GHz，内存为1GBRAM，显卡为NVIDIA GeForce 8600GT，其OpenGL版本为2.1.1。

本发明的软件实现以Windows XP为平台，在Visual studio 2005环境下，使用OpenCV、OpenGL等库开发。

实验中首先利用USB摄像头拍摄真实场景的视频，在程序采集到一定的光照信息后，就将虚拟物体绘制到真实场景中，并对AR场景进行明暗增强，如图4所示。图中的平面物体为校准物体，茶壶为计算机生成的虚拟物体。

在对虚拟茶壶进行明暗绘制的同时，程序计算环境中光源的位置。然后根据光源的位置以及虚、实物体的几何结构与空间位置，计算并绘制出“茶壶”投射到校准平面上的阴影，如图4所示。

Claims (2)

1.一种基于动态光照图的增强现实***光照计算方法，该方法通过采集视频图像中校准物体的像素亮度，计算出摄像机的信号放大量和信号偏置，并根据光照图所记录的各个法线方向上的环境光照情况生成虚拟物体的表面明暗贴图，然后计算光源所在的方位，生成增强现实(AR，Augmented Reality)场景的阴影，以实现视频图像中的场景与虚拟物体的一致光照，且根据每一帧图像对光照图进行更新，从而能够适应光照变化的场景，其特征在于包括以下步骤：

步骤1、创建场景的光照模型，具体包括以下步骤：

1.1、所选择的校准图案是具有漫反射表面的，它向各个方向上反射的光线是相同的，在时刻t，校准图案上的某个点所反射的光线数量取决于该点的表面法线方向n_t；

1.2、为了能够准确的计算法线方向，以某个点为中心的一个小面片π来代替该点，则面片π在时刻t所接收的光能为：

(式1)

其中，Ω_l表示光源L的能量，d_l表示它的方向；

1.3、在已经计算得到校准图案表面各点的反射系数的情况下，用式2来表示面片π在t时刻的象素亮度I(π，t)：

I(π，t)＝gρ_πx_t+b    (式2)

其中，ρ_π表示面片π上各点的反射系数的平均值，用π上的平均亮度来计算，g和b分别表示摄像机的信号放大量和信号偏置；

步骤2、动态光照图的生成，具体包括以下步骤：

2.1、要计算出面片π的亮度，就必须先计算光能Ω，空间中某个位置，以该位置为中心的某个球面上的每个点的法线方向上所接收到的光能与法线方向n有关，将式1中的x_π，t看成是n的函数，用一个光照图M(n)来表示该位置的光照情况，在这种情况下，虚拟物体表面的象素亮度表示成：

I(v，t)＝gρ_vM_t(n_v)+b    (式3)

式中的ρ_v表示虚拟物体表面的反射系数，在虚拟物体建模时定义；

2.2、由式3知，要得到虚拟物体表面的亮度，就必须先求出摄像机的g和b，通过式2求得，式2中有三个未知量，即g、b和x_t，令g′＝1/g，b′＝1/b，则式2表示为

-I(π，t)g′+ρ_πx_t+b′＝0    (式4)

2.3、将不同时刻所得到的式4放在一起就形成了一个方程组，如式5： 

(式5)

2.4、方程组式5表述成式6，为简化表达式，用I_tn表示式5中的I(π，t_n)：

(式6)

2.5、将方程组式6转化成矩阵形式如式7：

(式7)

解式7得到多个特征值和多个特征向量，而与最小特征值相对应的特征向量就是要求的值，解向量中的(x_t1，x_t2，...，x_tn)即为形成M(n)所需的各个法线方向的光能值；

步骤3、动态光照图的更新，具体包括以下步骤：

3.1、当校准物体的空间位置变化或者光源发生改变的时候，虚拟物体的光照情况也会随之改变，因此，必须对光照图进行及时的更新，以适应环境光照的变化，令M_t(n)为t时刻的光照图，则t+1时刻的光照图用下面的等式来表示：

M_t+1(n)＝(1-f(n))M_t(n)+f(n)x_t+1    (式8)

其中， 

(式9)

3.2、式8中的x_t+1是t+1时刻所观察到的法线方向为n_t+1的面片所接收的光能，式9中的s是一个模糊常量，事实上，当光照突然发生变化时，该方法不能够及时地更新整个光照图，而是每一帧都只能采样到一个法线方向并更新该法线方向上的光能值，而其它法线方向上的光能值保持不变，因此，在建立了光照图以后，对每一个新的帧都要进行更新，从而最大程度的达到及时更新的效果；

步骤4、光源位置分析，具体包括以下步骤：

4.1、当真实环境中只有一个光源的时候，能够很容易模拟出光源的位置信息，扫描整个光照图，找出与最大光能值相对应的法线方向n_s，确定该方向就是光源所在的方向；

4.2、当真实环境中存在不只一个光源的时候，用多个虚拟光源来模拟真实光源，给定一个较大的亮 度值I_c作为临界亮度值，当某个法线方向上的光能值大于或等于I_c时，就认为该方向上可能存在一个光源；反之，则认为该方向上不存在光源；

4.3、对于每个可能存在光源的法线方向n，进行如下操作以确定该方向上是否真的存在光源：首先定义一个较小的角度ε来表示临界角度；然后逐个扫描光照图中的法线方向，当某个法线方向n′与法线方向n的夹角 

小于临界角度ε时，将n′看作是n的邻近法线方向；最后，判断各个邻近法线方向上的光强度是否小于n上的光强度，如果所有邻近法线方向上的光强度都小于n上的光强度，则法线方向n上必定存在光源，否则，不存在光源，这个过程用式10表示：

其中，I、I_n、I_n′分别表示环境中的光能、法线方向n上的光能和法线方向n上的光能；

步骤5、阴影生成，具体包括以下步骤：

5.1、所用的虚拟物体是由许多三角形面片组成的，每一个面片对应着三个顶点v₁(x₁，y₁，z₁)、v₂(x₂，y₂，z₂)、v₃(x₃，y₃，z₃)，这三个顶点确定空间中一个唯一的平面：

ax+by+cz+d＝0    (式11)

其中，a＝y₁*(z₂-z₃)+y₂*(z₃-z₁)+y₃*(z₁-z₂)；

b＝z₁*(x₂-x₃)+z₂*(x₃-x₁)+z₃*(x₁-x₂)；

c＝x₁*(y₂-y₃)+x₂*(y₃-y₁)+x₃*(y₁-y₂)；

d＝-(x₁*(y₂*z₃-y₃*z₂)+x₂*(y₃*z₁-y₁*z₃)+x₃*(y₁*z₂-y₂*z₁))；

5.2、假设光源的位置为(x_p，y_p,z_p)，则在确定了某个面片的平面参数后，利用式12来判断该面片是否正对着光源：

S＝a*x_p+b*y_p+c*z_p+d    (式12)

若计算出的S值大于0，则该面片正对着光源；否则，该面片背对着光源；

5.3、逐个扫描虚拟物体中的三角形面片，当某个三角形面片正对着光源时，依次判断它的三条边是否为临界边：如果与某条边相邻的面片不存在，或者背对着光源，那么这个边就是临界边；否则，该边不为临界边；

5.4、所有的临界边构成了虚拟物体上能够投射阴影的区域的边界，在已知场景中其它物体的3D结构后，利用计算机图形学中的阴影体方法生成该物体投射到其它物体上的阴影，阴影体方法产生阴影有两个步骤：首先连接光源与各个临界边的两个端点，并延长至较远处，这样就形成由临界边的两个端点和延长线的末端所确定的半无限四边形，所有这样的四边形构成了物体的阴影体；然后根据阴影体与场景中其它物体的交线确定物体投射到其它物体上的阴影区域。 

2.如权利要求1所述的增强现实***光照计算方法，其特征在于：

(1)用光照图所记录的各个法线方向上的环境光照情况生成虚拟物体的表面明暗贴图；

(2)根据光照图中的亮度分布关系，判断出真实环境中光源的方位；

(3)根据光源的方位以及增强现实场景中的所有物体的几何结构，利用阴影体方法生成场景中的各种阴影。 

Images