CN104463198A - 一种对真实光照环境进行光照估算的方法 - Google Patents

Abstract

本发明提出一种对真实光照环境进行光照估算的方法，包括下列步骤：标志物的设计及其表面的光照特性分析；点光源的位置计算；环境光与点光源的光照强度计算。本发明提出一种对真实光照环境进行光照估算的方法，避免目前一些方法中或者对真实场景事先建模，或者离线进行光照估计的模式，力求实现一种近似实时的在线光照估计方法。本发明提出利用两个理想朗伯表面球作为标志物进行图像处理和分析，并通过图形学的光照模型进行逆推计算，从而实现了让虚拟物体具有与真实场景相同的光照效果。

Description

一种对真实光照环境进行光照估算的方法

技术领域

本发明涉及一种增强现实技术中的光照一致性的解决方案，且特别涉及一种对真实光照环境进行光照估算的方法，采用计算机来模拟自然界中光照明，应用于娱乐、训练、医疗和教育等各个方面。

背景技术

增强现实技术(Augmented Reality Technique，简称AR)，是在虚拟现实基础上发展起来的新技术，是通过计算机***提供的信息增加用户对现实世界感知的技术，并将计算机生成的虚拟物体、场景或***提示信息叠加到真实场景中，从而实现对现实的“增强”。它将计算机生成的虚拟物体或关于真实物体的非几何信息叠加到真实世界的场景之上，实现了对真实世界的增强。同时，由于用于与真实世界的联系并未被切断，交互方式也就显得更加自然。

光照一致性，是指让虚拟物体具有与真实场景相同的光照效果，这需要恢复出真实场景的光照模型，然后计算真实场景光照对虚拟对象的影响。光照一致性包含的技术性问题很多，完全的解决方案需要场景精确的几何模型和光照模型，以及场景中物体的光学属性描述。这样才可能绘制出真实场景与虚拟物体的光照交互，包括真实场景中的光源使虚拟物体产生的明暗、阴影和反射以及虚拟物体对真实物体的明暗、阴影和反射的影响。这些工作通过使用三维物体绘制和图像合成技术来共同完成。

光照一致性问题是增强现实技术中的一个难点，目前还没有很成熟的解决方案。光照模型的研究是光照一致性问题的重要部分，主要研究的是如何根据光学物理的有关定律，采用计算机来模拟自然界中光照明的物理过程。

对于光照模型的研究，国外学者开展了相对较多的工作并且取得了一定的进展。这些成果在一定程度上改善了虚实场景的一致性光照效果，却都存在一些应用上的限制或不足。

Qinfen Zheng在1991年首先提出了第一个光照估计算法，该算法只是估算点光源的位置，没有计算光源强度，并且在计算过程中，忽略了环境光。

Kanbara等人将一个二维方形板和一个镜面球组合在一起，形成一个三维标志物，能够同时完成几何注册和光照注册。其中二维方形板主要完成对用户视点的跟踪注册，镜面球用来推算点光源的位置。该方法没有考虑点光源的强度计算问题。

Matsuoka则设计了一个由13个二极管和ARToolkit标志组成的传感器立方体，来测量真实光源的位置和强度。该方法由于受标志物中电子元件的影响，性能不够稳定。

Sato和Wang等人通过分析阴影信息进行光源预测，该算法能够用于有多个光源的场景，但是仅仅能估算出各个光源的方向，而不能算出具体的位置和亮度。

浙江大学的王靖滨等人主要针对室外场景的AR应用，采用光照交互指定和自动恢复相结合的方法恢复太阳光照，解决了景观规划***中的光照一致性问题。国防科技大学的高宇等人也采用了类似的方法，北京理工大学的周雅等人，提出根据注册图像中标志物的明暗状况，利用计算机图形学的光照明模型计算方法进行逆推，可以较为方便地建立增强现实***的光照模型。国内对于AR技术中的光照一致性问题，研究相对较少。上面列出的几种方法，也存在一些处理速度慢，实时性差的问题。

光照一致性，是指让虚拟物体具有与真实场景相同的光照效果，这需要恢复出真实场景的光照模型，然后计算真实场景光照对虚拟对象的影响。光照一致性包含的技术性问题很多，完全的解决方案需要场景精确的几何模型和光照模型，以及场景中物体的光学属性描述。这样才可能绘制出真实场景与虚拟物体的光照交互，包括真实场景中的光源使虚拟物体产生的明暗、阴影和反射以及虚拟物体对真实物体的明暗、阴影和反射的影响。这些工作通过使用三维物体绘制和图像合成技术来共同完成。

由于光照一致性涉及的问题很多，我们对其中的部分主要问题进行了讨论研究。实现虚实场景的一致性光照，一个关键的环节是要获取现实环境中真实光照的分布信息。本发明围绕该问题进行了深入研究，提出了一种真实环境光照的估计方法，具体内容包括：标志物的设计及其表面的光照特性分析、点光源的位置计算、环境光与点光源的光照强度计算等，以此实现了虚实场景的一致性光照效果。

发明内容

在光照一致性方面，本发明对真实光照环境的检测问题进行讨论，提出一种基于三维立体标志球的对真实光照环境进行光照估算的方法，具体内容包括：标志物的设计及其表面的光照特性分析、点光源的位置计算、环境光与点光源的光照强度计算，本发明能有效实现了虚实场景的一致性光照效果。

为了达到上述目的，本发明提出一种对真实光照环境进行光照估算的方法，包括下列步骤：

标志物的设计及其表面的光照特性分析；

点光源的位置计算；

环境光与点光源的光照强度计算。

进一步的，所述标志物设计为两个具有理想朗伯表面的标志球，所述朗伯表面为在任意发射方向上辐射亮度不变的表面，所述理想朗伯表面为反射比为1的朗伯表面。

进一步的，所述标志球面上任意点的光照情况表达如下：

$I=I_{\mathrm{ad}}+I_{\mathrm{ld}}=k_a{I}_a+k_d(I_d\·\frac{1}{d+c})\cos (L,N),$

其中，I_a和I_d分别是环境光和点光源的光强；k_a和k_d分别是球面对环境光和点光源的漫反射系数；I是球面任意点的反射光强；N为该点的单位法向量；L为点光源入射光线的单位向量。

进一步的，所述标志球的光照特性分析为：对于球面上任意点，如果点光源对于某一点处的入射光向量L平行于该点的单位法向量N，则称该点为关键点，每个球面上都只有唯一的一个关键点，将其关键点记为P；对于点P，其单位法向量N与入射光向量L之间的夹角是0°，因此该点的光强I_p为：

将光源强度的衰减因子定义为1/(d+c)，其中d表示点光源与球面一点的距离，c为待定系数，根据上式推导，得出所述标志球的光照特性为关键点P的光强，大于标志球面上其它任意点。

进一步的，所述标志球的光照特性分析为：点光源发出的光线，其中一部分将与标志球相切，球面上所有的这些切点组成一个切圆，将两个标志球上的切圆的圆心分别记为点S₁和点S₂，sphere-1和sphere-2分别代表两个标志球，其球心分别为点O₁、O₂，点P₁、P₂分别为sphere-1和sphere-2上的关键点，对于标志球sphere-1，点A₁、B₁是其切圆S₁上两点，则半径O₁A₁垂直于过A₁点的点光源的入射光，同样，半径O₁B₁垂直于过B₁点的点光源的入射光，球sphere-1的整个球面被切圆S₁划分成了两个部分，将关键点P₁所在的那一部分，记为PT-1，而将另一部分记为PT-2，关键点P是球面上的最亮点，而其它点随着与点P距离的不断增大而逐渐变暗，对于切圆S₁上的各点，其亮度可以推导如下：

对于那些与点P的距离增大到已经跨越切圆S₁的各点，即对于PT-2内的各点，其亮度已经不再递减，而是具有相同的亮度，因为这些点只受环境光的影响；因此得出所述标志球的光照特性为对于标志球上PT-1内各点，其亮度随着与点P距离的不断增大而逐渐减小，而PT-2内各点具有相同的亮度。

进一步的，所述标志球的光照特性分析为：分析点光源的特性并根据空间几何原理，得出所述标志球的光照特性为对于由切圆S₁分割出的标志球面上的PT-1和PT-2两部分，PT-1的面积小于整个球面面积的1/2，即PT-1小于PT-2。

进一步的，所述关键点计算利用摄像头来捕获包含标志球的真实场景图像，之后，利用数字图像处理中的图像分割技术，将双标志球从真实场景的视频图像中分割出来，从分割出的双标志球图像中，有效地检测出sphere-1和sphere-2上的关键点P₁、P₂。

进一步的，所述关键点采用像素点的灰度值计算：

如果球面各象素点的灰度值不等，那么先找出灰度值最大的象素点，果该点位于球面圆的内部，则认为该点是关键点；

如果标志球内所有象素点的灰度值相等，则认为摄像头获取的图像内不包含关键点；

如果灰度值最大的象素点不是位于球面圆的内部，而是正好位于球面圆的圆周上，则认为该点不是关键点，且图像内不包含关键点。

进一步的，当图像中球面圆内灰度值最大的象素点具有相邻的若干个时，设{a_ij}为球面内具有相同的最大灰度值的各点的集合，(i,j)表示该集合内各点在图像中所处的行数和列数，且i₀≤i≤i₁，j₀≤j≤j₁，令i'＝(i₁+i₀)/2，j'＝(j₁+j₀)/2，则将象素点a_i'j'作为灰度值最大的点。

进一步的，点光源的位置计算为：当关键点出现在标志球图像中时，

对于标志球sphere-1，在左右两摄像头所捕获的左右两幅图像中，分别检测出关键点P₁，然后，利用双目视觉定位技术，得到P₁点的空间位置，设是计算得出的关键点P₁的空间坐标，是标志球sphere-1的已知球心坐标，那么，直线O₁P₁用下列方程来表示：

$\frac{x-x_{O_1}}{x_{P_1}-x_{O_1}}=\frac{y-y_{O_1}}{y_{P_1}-y_{O_1}}=\frac{z-z_{O_1}}{z_{P_1}-z_{O_1}};$

对于标志球sphere-2，在左右两幅图像中检测出关键点P₂并计算其空间位置，设是计算得出的关键点P₂的空间坐标，是标志球sphere-2的已知球心坐标，那么，直线O₂P₂用下列方程来表示：

$\frac{x-x_{O_2}}{x_{P_2}-x_{O_2}}=\frac{y-y_{O_2}}{y_{P_2}-y_{O_2}}=\frac{z-z_{O_2}}{z_{P_2}-z_{O_2}};$

根据标志球光照特性分析，得知点光源同时位于直线O₁P₁和直线O₂P₂上，于是联立上述两个方程式建立方程组，该方程组的解(x_L,y_L,z_L)即是点光源的空间坐标。

进一步的，点光源的位置计算为：当关键点未出现在标志球图像中，但是图像中同时包含了PT-1和PT-2内的一部分时，分别获取标志球sphere-1和标志球sphere-2的圆心坐标直线O₁S₁以及直线O₂S₂分别用下列方程表示：

$\frac{x-x_{O_1}}{x_{S_1}-x_{O_1}}=\frac{y-y_{O_1}}{y_{S_1}-y_{O_1}}=\frac{z-z_{O_1}}{z_{S_1}-z_{O_1}};$

$\frac{x-x_{O_2}}{x_{S_2}-x_{O_2}}=\frac{y-y_{O_2}}{y_{S_2}-y_{O_2}}=\frac{z-z_{O_2}}{z_{S_2}-z_{O_2}};$

点光源同时位于直线O₁S₁和直线O₂S₂上，因此方程组的解(x_L,y_L,z_L)即是点光源的空间坐标。

进一步的，点光源的位置计算为：摄像头只拍摄到标志球面的PT-2区域，图像中不包含PT-1内的任意点时，

由于图像内各像素点具有相同的灰度值，图像内无任何信息可用于光照分析，因此，对于这种图像，将其忽略不进行任何处理，而是由***直接读取视频序列中的下一帧图像。

进一步的，所述环境光与点光源的光照强度计算采用下列方法：当关键点出现在标志球图像中时，在球sphere-1或球sphere-2的PT-2区域任意取一点T，构造方式组：

$\left\{\begin{array}{c}{g}_{P_1}=k\·k_a{I}_a+k\·k_d\·\frac{I_d}{d_{P_1}+c}\\ g_{P_2}=k\·k_a{I}_a+k\·k_d\·\frac{I_d}{d_{P_2}+c}\\ g_T=k\·k_a\·I_a\end{array}\right.,$

式中g_T分别表示图像中点P₁、点P₂和点T处的像素灰度值，由于已经求出关键点和点光源的位置，所以点P₁、P₂与点光源的距离，即是已知的，因此，方程组中只有三个未知变量：I_a、I_d、c，对其求解，得到点光源与环境光的强度，其中球面某点的图像灰度值可以表示为：

$g=k*I=k*(k_a{I}_a+k_d(I_d\·\frac{1}{d+c})\cos (L,N)),$

式中，g为某点的像素灰度值，k为摄像机对光强的响应系数，I_a和I_d分别是环境光和点光源的光强，k_a和k_d分别是球面对环境光和点光源的漫反射系数，I是球面任意点的反射光强，N为该点的单位法向量，L为点光源入射光线的单位向量，将光源强度的衰减因子定义为1/(d+c)，其中d表示点光源与球面一点的距离，c为待定系数。

进一步的，所述环境光与点光源的光照强度计算采用下列方法：当关键点未出现在标志球图像中，但是图像中同时包含了PT-1和PT-2内的一部分时，设是球sphere-1上的中心点E₁的坐标值，是球sphere-2上的中心点E₂的坐标值，构造如下方程组：

$\left\{\begin{array}{c}{g}_{E_1}=k\·k_a{I}_a+k\·k_d\·\frac{I_d}{d_{E_1}+c}\\ g_{E_2}=k\·k_a{I}_a+k\·k_d\·\frac{I_d}{d_{E_2}+c}\\ g_T=k\·k_a\·I_a\end{array}\right.,$

前面已经求出关键点和点光源的位置，所以点E₁、E₂与点光源的距离，即是已知的，解上式求得I_a、I_d，得到环境光与点光源的强度，其中球面某点的图像灰度值可以表示为：

$g=k*I=k*(k_a{I}_a+k_d(I_d\·\frac{1}{d+c})\cos (L,N)),$

式中，g为某点的像素灰度值，k为摄像机对光强的响应系数，I_a和I_d分别是环境光和点光源的光强，k_a和k_d分别是球面对环境光和点光源的漫反射系数，I是球面任意点的反射光强，N为该点的单位法向量，L为点光源入射光线的单位向量，将光源强度的衰减因子定义为1/(d+c)，其中d表示点光源与球面一点的距离，c为待定系数。

真实环境的光照估算方法，是解决光照一致性问题的重要环节，本发明提出一种对真实光照环境进行光照估算的方法，避免目前一些方法中或者对真实场景事先建模，或者离线进行光照估计的模式，力求实现一种近似实时的在线光照估计方法。本发明提出利用两个理想朗伯表面球作为标志物进行图像处理和分析，并通过图形学的光照模型进行逆推计算，从而实现了让虚拟物体具有与真实场景相同的光照效果。

附图说明

图1所示为本发明较佳实施例对真实光照环境进行光照估算的方法流程图。

图2(a)和图2(b)所示为双标志球的球面光照模拟示意图。

图3(a)、图3(b)和图3(c)所示为三种不同情况的标志球图像示意图。

具体实施方式

以下结合附图给出本发明的具体实施方式，但本发明不限于以下的实施方式。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用于方便、明晰地辅助说明本发明实施例的目的。

请参考图1，图1所示为本发明较佳实施例的对真实光照环境进行光照估算的方法流程图。本发明提出一种对真实光照环境进行光照估算的方法，包括下列步骤：

步骤S100：标志物的设计及其表面的光照特性分析；

步骤S200：点光源的位置计算；

步骤S300：环境光与点光源的光照强度计算。

我们创建的室内AR环境，照明设备为台灯，我们将其近似为点光源。如果忽略场景物体之间的反射等相互作用，则整个真实场景的光照由点光源和环境光共同组成。利用两个具有理想朗伯表面的标志球进行图像分析，朗伯表面定义为：在任意发射(漫射、透射)方向上辐射亮度不变的表面，也称理想漫反射表面。把反射比为1的朗伯表面叫做理想朗伯表面，对于朗伯表面有：I_θ＝I₀cosθ，I₀为朗伯表面在其法线方向上的辐射强度，I_θ为与表面法线成θ角方向的辐射强度。朗伯辐射表面在某方向上的辐射强度随着与该方向和表面法线之间夹角的余弦而变化，这就是朗伯表面的余弦特性。

我们创建AR***的真实环境光照由点光源和环境光组成，自然界的绝大多数景物是理想漫反射体，由Lambert漫射模型和朗伯特性，我们将标志球面上任意点的光照情况可表达如下：

$I=I_{\mathrm{ad}}+I_{\mathrm{ld}}=k_a{I}_a+k_d(I_d\·\frac{1}{d+c})\cos (L,N)---\left(1\right)$

式中，I_a和I_d分别是环境光和点光源的光强；k_a和k_d分别是球面对环境光和点光源的漫反射系数；I是球面任意点的反射光强；N为该点的单位法向量；L为点光源入射光线的单位向量。本发明所讨论的是室内AR环境，所以点光源不属于无穷远处的光源，因此球面各点与点光源距离增加而引起的光强衰减，是不能忽略的。这里，我们将光源强度的衰减因子定义为1/(d+c)，其中d表示点光源与球面一点的距离，c为待定系数。

为了便于对标志球的光照特性进行讨论分析，如下定义：对于球面上任意点，如果点光源对于某一点处的入射光向量L平行于该点的单位法向量N，则我们称该点为“关键点”。显然，每个球面上都只有唯一的一个关键点，我们将其关键点记为P。

对于点P，由上述定义可知，其单位法向量N与入射光向量L之间的夹角是0°，因此该点的光强I_p为：

根据上式推导，对于关键点P，可以给出如下性质：

性质1：关键点P的光强，大于标志球面上其它任意点，因此该点是标志球面上亮度最高的一点。

再请参考图2(a)和图2(b)，图2(a)和图2(b)所示为双标志球的球面光照模拟示意图。点光源发出的光线，其中一部分将与标志球相切，球面上所有的这些切点组成一个切圆。我们将两个标志球上的切圆的圆心分别记为点S₁和点S₂，如图2(a)所示。这里，sphere-1和sphere-2分别代表两个标志球，其球心分别为点O₁、O₂。另外，点P₁、P₂分别为sphere-1和sphere-2上的关键点。

对于标志球sphere-1，点A₁、B₁是其切圆S₁上两点，则半径O₁A₁垂直于过A₁点的点光源的入射光，同样，半径O₁B₁垂直于过B₁点的点光源的入射光。此外，球sphere-1的整个球面被切圆S₁划分成了两个部分，我们将关键点P₁所在的那一部分，记为PT-1，而将另一部分记为PT-2。

由性质1及方程式(2)可知，关键点P是球面上的最亮点，而其它点随着与点P距离的不断增大而逐渐变暗。对于切圆S₁上的各点，其亮度可以推导如下：

因此，对于那些与点P的距离增大到已经跨越切圆S₁的各点，即对于PT-2内的各点，其亮度已经不再递减，而是具有相同的亮度，因为这些点只受环境光的影响。

图2(b)描述了标志球面上各点的这种亮度变化，图中的弧线A₁B1是切圆S₁的一部分。基于上述分析，给出标志球如下性质：

性质2：对于标志球上PT-1内各点，其亮度随着与点P距离的不断增大而逐渐减小，而PT-2内各点具有相同的亮度。

此外，分析点光源的特性并根据空间几何原理，可得出如下性质：

性质3：对于由切圆S₁分割出的标志球面上的PT-1和PT-2两部分，PT-1的面积小于整个球面面积的1/2，即PT-1小于PT-2。

根据本发明较佳实施例，点光源的位置计算采用如下方法：

1.关键点计算

由摄像头来捕获包含标志球的真实场景图像，之后，利用数字图像处理中的图像分割技术，我们可以将双标志球从真实场景的视频图像中分割出来。从分割出的双标志球图像中，有效的检测出sphere-1和sphere-2上的关键点P₁、P₂。

由于摄像头无论在哪个角度都只能拍摄到标志球面的一部分，因此标志球上的唯一关键点P有可能不出现在图像中。请参考图3(a)、图3(b)和图3(c)，图3(a)、图3(b)和图3(c)所示为三种不同情况的标志球图像示意图。为便于进行图像的分析讨论，我们根据关键点在图像中的不同位置，将分割出的双标志球图像分成以下三种情况：

(1)第一种情况是摄像头捕捉到了关键点图像，即关键点出现在双标志球图像中，具体见图3(a)。

(2)第二种情况是关键点没有被摄像头拍到，因而没有包含在图像中，但是摄像头同时拍到了PT-1和PT-2中的一部分，即PT-1和PT-2均有一部分出现在双标志球图像中，见图3(b)。

(3)由上述推导的性质3可知，PT-2大于PT-1，其面积大于整个球面的1/2，又由摄像头的工作特性，决定了其获取的图像存在这种可能：只包含PT-2内的点，而PT-1内各点完全没有被拍到，见图3(c)。

为了能够准确判断出每一帧图像属于上述哪种情况，我们采用以下判断方法：

(1)如果标志球内所有象素点的灰度值相等，那么该图像类似于图3(c)，属于上述第三种情况；

(2)如果球面各象素点的灰度值不等，那么先找出灰度值最大的象素点。如果该点位于球面圆的内部，类似于图3(a)，则认为该点是关键点；

(3)如果灰度值最大的象素点不是位于球面圆的内部，而是正好位于球面圆的圆周上，情况类似于图3(b)，则认为该点不是关键点，且图像内不包含关键点。

由于图像处理过程中，图像象素的灰度值只有0～255共256个灰度级别，所以标志球面上各点的不同光强度在图像中也只能通过256个值来表示。因此，图像中球面圆内灰度值最大的象素点可能不只一个，而是有相邻的若干个。这时，我们取其中间点，具体操作如下：

设{a_ij}为球面内具有相同的最大灰度值的各点的集合，(i,j)表示该集合内各点在图像中所处的行数和列数，且i₀≤i≤i₁，j₀≤j≤j₁。令i'＝(i₁+i₀)/2，j'＝(j₁+j₀)/2，则将象素点a_i'j'作为灰度值最大的点。

2.点光源的位置计算

对于上面分析得到的标志球图像的三种不同情况，我们分别进行讨论。

(1)第一种情况：关键点出现在标志球图像中。

对于标志球sphere-1：按照上节所提出的判断方法，在左右两摄像头所捕获的左右两幅图像中，分别检测出关键点P₁。然后，利用双目视觉定位技术，可以得到P₁点的空间位置。设是计算得出的关键点P₁的空间坐标，是标志球sphere-1的已知球心坐标。那么，直线O₁P₁可以用下列方程来表示：

$\frac{x-x_{O_1}}{x_{P_1}-x_{O_1}}=\frac{y-y_{O_1}}{y_{P_1}-y_{O_1}}=\frac{z-z_{O_1}}{z_{P_1}-z_{O_1}}---\left(4\right)$

对于标志球sphere-2：进行类似于上述sphere-1的处理。在左右两幅图像中检测出关键点P₂并计算其空间位置，设是计算得出的关键点P₂的空间坐标，是标志球sphere-2的已知球心坐标，那么直线O₂P₂可以用下列方程来表示：

$\frac{x-x_{O_2}}{x_{P_2}-x_{O_2}}=\frac{y-y_{O_2}}{y_{P_2}-y_{O_2}}=\frac{z-z_{O_2}}{z_{P_2}-z_{O_2}}---\left(5\right)$

根据标志球光照特性分析并结合图2(a)，可以得知点光源同时位于直线O₁P₁和直线O₂P₂上。于是联立(4)式和(5)式建立方程组，该方程组的解(x_L,y_L,z_L)即是点光源的空间坐标。

(2)第二种情况：关键点未出现在标志球图像中，但是图像中同时包含了PT-1和PT-2内的一部分。这也意味着，切圆S_i,i＝1,2上的一部分弧包含在了图像中，可参考图3(b)。

对于标志球sphere-1：我们假设切圆S₁出现在双摄像头获取的左右两幅图像中的弧为同一段弧(实事上由于两摄像头的间距，切圆上的弧在两幅图像中不是完全相同的一段，有细微的差别，我们忽略该差别而作上述假设，对于下面的计算非常必要)。

这里，将切圆S₁出现在图像中的圆弧部分标记为：A₁B₁，即点A₁、B₁分别为圆弧的两个端点。利用图像分割与边缘检测技术，我们可以在左右两图像中分别定位出A₁B₁弧。

设和分别是点A₁和点B₁在图像中所处的行数和列数，接下来我们需要找出A₁B₁弧上的中间点C₁。对于弧A₁B₁上的任意点，其图像坐标(i,j)满足 ${(i-i_{A_1})}^2+{(j-j_{A_1})}^2={(i-i_{B_1})}^2+{(j-j_{B_1})}^2$ 的那一点，即为中间点C₁。

对于左右两幅图像中的点A₁、B₁、C₁，同样利用双目视觉技术，可以求出其空间坐标值。设分别为所计算出的上述三点的坐标值，显然，这三点均为切圆S₁上的点。

由空间解析几何定理可知，给定圆周上三点，可以唯一确定出圆心。根据该定理，我们可以利用切圆S₁上的点A₁、B₁、C₁，求出圆心S₁点的坐标。为此，我们构造如下方程组：

$\left\{\begin{array}{c}{(x-x_{A_1})}^2+{(y-y_{A_1})}^2+{(z-z_{A_1})}^2={(x-x_{B_1})}^2+{(y-y_{B_1})}^2+{(z-z_{B_1})}^2\\ {(x-x_{A_1})}^2+{(y-y_{A_1})}^2+{(z-z_{A_1})}^2={(x-x_{C_1})}^2+{(y-y_{C_1})}^2+{(z-z_{C_1})}^2\\ {(x-x_{B_1})}^2+{(y-y_{B_1})}^2+{(z-z_{B_1})}^2={(x-x_{C_1})}^2+{(y-y_{C_1})}^2+{(z-z_{C_1})}^2\end{array}\right.---\left(6\right)$

该方程组的解即为圆心S₁点的坐标。

于是，直线O₁S₁可以用下列方程表示：

$\frac{x-x_{O_1}}{x_{S_1}-x_{O_1}}=\frac{y-y_{O_1}}{y_{S_1}-y_{O_1}}=\frac{z-z_{O_1}}{z_{S_1}-z_{O_1}}---\left(7\right)$

对于标志球sphere-2：进行类似于上述sphere-1的处理。在左右两幅图像中找出sphere-2上的点A₂、B₂、C₂，并利用这三点求出切圆S₂的圆心坐标。设为计算所得的圆心S₂点的坐标。

于是，直线O₂S₂可以用下列方程来表示：

$\frac{x-x_{O_2}}{x_{S_2}-x_{O_2}}=\frac{y-y_{O_2}}{y_{S_2}-y_{O_2}}=\frac{z-z_{O_2}}{z_{S_2}-z_{O_2}}---\left(8\right)$

同样的，根据上文的标志球光照特性分析并结合图2(a)，我们可以得知点光源同时位于直线O₁S₁和直线O₂S₂上。于是联立(7)式和(8)式建立方程组，该方程组的解(x_L,y_L,z_L)即是点光源的空间坐标。

(3)第三种情况：摄像头只拍摄到标志球面的PT-2区域，因而图像中不包含PT-1内的任意点。(显然，出现这种情况的几率较小)

由于图像内各像素点具有相同的灰度值，且图像内既不包含关键点P又不包含圆弧A_iB_i,i＝1,2，图像内无任何信息可用于光照分析。因此，对于这种图像，我们将其忽略不进行任何处理，而是由***直接读取视频序列中的下一帧图像。

根据本发明较佳实施例，环境光与点光源的光照强度计算采用下列方法：

我们假设摄像机对表面光强的响应是线性的，那么球面某点的图像灰度值可以表示为：

$g=k*I=k*(k_a{I}_a+k_d(I_d\·\frac{1}{d+c})\cos (L,N))$

式中，g为某点的像素灰度值，k为摄像机对光强的响应系数。I_a和I_d分别是环境光和点光源的光强；k_a和k_d分别是球面对环境光和点光源的漫反射系数；I是球面任意点的反射光强；N为该点的单位法向量；L为点光源入射光线的单位向量。

当标志球图像属于上面讨论的第一种情况时，则关键点出现在图像中，即图像包含点P₁、P₂。

在球sphere-1或球sphere-2的PT-2区域任意取一点T。我们如下构造方式组：

$\left\{\begin{array}{c}{g}_{P_1}=k\·k_a{I}_a+k\·k_d\·\frac{I_d}{d_{P_1}+c}\\ g_{P_2}=k\·k_a{I}_a+k\·k_d\·\frac{I_d}{d_{P_2}+c}\\ g_T=k\·k_a\·I_a\end{array}\right.---\left(9\right)$

式中g_T分别表示图像中点P₁、点P₂和点T处的像素灰度值。由于前面已经求出关键点和点光源的位置，所以点P₁、P₂与点光源的距离，即是已知的。因此，方程组中只有三个未知变量：I_a、I_d、c。对其求解，于是可以得到点光源与环境光的强度。

当标志球图像属于上面讨论的第二种情况时，则图像中不包含关键点。

三维标志球在图像中的成像，是一个二维平面圆，弧线AB将该平面圆分割成了左右两部分，见图3(b)。因为右半部分的像素点对应于球面体上PT-2内的点，因此具有相同的灰度值；而左半部分各像素点的灰度则彼此不等。

设点E为左半部分区域的中心点。接下来我们将利用该中心点代替关键点，进行光强的计算。

为了定位出中心点E，我们首先需要分别找到图3(b)中较短弧线ACB和较长弧线ADB的中间点C、D。我们在上面已经讨论了点C的定位方法，同理，我们可以定位出点D。

设(i_C,j_C)、(i_D,j_D)分别是点C、D的平面图像坐标。令i＝(i_C+i_D)/2，j＝(j_C+j_D)/2，于是，图像中第i行第j列的那个点，即为我们要找的中心点E。分别在左右两幅图像中定位出该点之后，接下来，与前述关键点的坐标计算一样，利用双目视觉技术，我们可以求出点E的空间坐标(x_E,y_E,z_E)。

设是球sphere-1上的中心点E₁的坐标值，是球sphere-2上的中心点E₂的坐标值。我们构造如下方程组：

$\left\{\begin{array}{c}{g}_{E_1}=k\·k_a{I}_a+k\·k_d\·\frac{I_d}{d_{E_1}+c}\\ g_{E_2}=k\·k_a{I}_a+k\·k_d\·\frac{I_d}{d_{E_2}+c}\\ g_T=k\·k_a\·I_a\end{array}\right.---\left(10\right)$

前面已经求出关键点和点光源的位置，所以点E₁、E₂与点光源的距离，即是已知的。解上式求得I_a、I_d，于是可以得到环境光与点光源的强度。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所E2属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (14)

1.一种对真实光照环境进行光照估算的方法，其特征在于，包括下列步骤：

标志物的设计及其表面的光照特性分析；

点光源的位置计算；

环境光与点光源的光照强度计算。

2.根据权利要求1所述的对真实光照环境进行光照估算的方法，其特征在于，所述标志物设计为两个具有理想朗伯表面的标志球，所述朗伯表面为在任意发射方向上辐射亮度不变的表面，所述理想朗伯表面为反射比为1的朗伯表面。

3.根据权利要求2所述的对真实光照环境进行光照估算的方法，其特征在于，所述标志球面上任意点的光照情况表达如下：

$I=I_{\mathrm{ad}}+I_{\mathrm{ld}}=k_a{I}_a+k_d(I_d\·\frac{1}{d+c})\cos (L,N),$

其中，I_a和I_d分别是环境光和点光源的光强；k_a和k_d分别是球面对环境光和点光源的漫反射系数；I是球面任意点的反射光强；N为该点的单位法向量；L为点光源入射光线的单位向量。

4.根据权利要求2所述的对真实光照环境进行光照估算的方法，其特征在于，所述标志球的光照特性分析为：对于球面上任意点，如果点光源对于某一点处的入射光向量L平行于该点的单位法向量N，则称该点为关键点，每个球面上都只有唯一的一个关键点，将其关键点记为P；对于点P，其单位法向量N与入射光向量L之间的夹角是0°，因此该点的光强I_p为：

将光源强度的衰减因子定义为1/(d+c)，其中d表示点光源与球面一点的距离，c为待定系数，根据上式推导，得出所述标志球的光照特性为关键点P的光强，大于标志球面上其它任意点。

5.根据权利要求4所述的对真实光照环境进行光照估算的方法，其特征在于，所述标志球的光照特性分析为：点光源发出的光线，其中一部分将与标志球相切，球面上所有的这些切点组成一个切圆，将两个标志球上的切圆的圆心分别记为点S₁和点S₂，sphere-1和sphere-2分别代表两个标志球，其球心分别为点O₁、O₂，点P₁、P₂分别为sphere-1和sphere-2上的关键点，对于标志球sphere-1，点A₁、B₁是其切圆S₁上两点，则半径O₁A₁垂直于过A₁点的点光源的入射光，同样，半径O₁B₁垂直于过B₁点的点光源的入射光，球sphere-1的整个球面被切圆S₁划分成了两个部分，将关键点P₁所在的那一部分，记为PT-1，而将另一部分记为PT-2，关键点P是球面上的最亮点，而其它点随着与点P距离的不断增大而逐渐变暗，对于切圆S₁上的各点，其亮度可以推导如下：

对于那些与点P的距离增大到已经跨越切圆S₁的各点，即对于PT-2内的各点，其亮度已经不再递减，而是具有相同的亮度，因为这些点只受环境光的影响；因此得出所述标志球的光照特性为对于标志球上PT-1内各点，其亮度随着与点P距离的不断增大而逐渐减小，而PT-2内各点具有相同的亮度。

6.根据权利要求5所述的对真实光照环境进行光照估算的方法，其特征在于，所述标志球的光照特性分析为：分析点光源的特性并根据空间几何原理，得出所述标志球的光照特性为对于由切圆S₁分割出的标志球面上的PT-1和PT-2两部分，PT-1的面积小于整个球面面积的1/2，即PT-1小于PT-2。

7.根据权利要求5所述的对真实光照环境进行光照估算的方法，其特征在于，所述关键点计算利用摄像头来捕获包含标志球的真实场景图像，之后，利用数字图像处理中的图像分割技术，将双标志球从真实场景的视频图像中分割出来，从分割出的双标志球图像中，有效地检测出sphere-1和sphere-2上的关键点P₁、P₂。

8.根据权利要求7所述的对真实光照环境进行光照估算的方法，其特征在于，所述关键点采用像素点的灰度值计算：

如果球面各象素点的灰度值不等，那么先找出灰度值最大的象素点，果该点位于球面圆的内部，则认为该点是关键点；

如果标志球内所有象素点的灰度值相等，则认为摄像头获取的图像内不包含关键点；

如果灰度值最大的象素点不是位于球面圆的内部，而是正好位于球面圆的圆周上，则认为该点不是关键点，且图像内不包含关键点。

9.根据权利要求8所述的对真实光照环境进行光照估算的方法，其特征在于，当图像中球面圆内灰度值最大的象素点具有相邻的若干个时，设{a_ij}为球面内具有相同的最大灰度值的各点的集合，(i,j)表示该集合内各点在图像中所处的行数和列数，且i₀≤i≤i₁，j₀≤j≤j₁，令i'＝(i₁+i₀)/2，j'＝(j₁+j₀)/2，则将象素点a_i'j'作为灰度值最大的点。

10.根据权利要求7所述的对真实光照环境进行光照估算的方法，其特征在于，点光源的位置计算为：当关键点出现在标志球图像中时，

对于标志球sphere-1，在左右两摄像头所捕获的左右两幅图像中，分别检测出关键点P₁，然后，利用双目视觉定位技术，得到P₁点的空间位置，设是计算得出的关键点P₁的空间坐标，是标志球sphere-1的已知球心坐标，那么，直线O₁P₁用下列方程来表示：

$\frac{x-x_{O_1}}{x_{P_1}-x_{O_1}}=\frac{y-y_{O_1}}{y_{P_1}-y_{O_1}}=\frac{z-z_{O_1}}{z_{P_1}-z_{O_1}};$

对于标志球sphere-2，在左右两幅图像中检测出关键点P₂并计算其空间位置，设是计算得出的关键点P₂的空间坐标，是标志球sphere-2的已知球心坐标，那么，直线O₂P₂用下列方程来表示：

$\frac{x-x_{O_2}}{x_{P_2}-x_{O_2}}=\frac{y-y_{O_2}}{y_{P_2}-y_{O_2}}=\frac{z-z_{O_2}}{z_{P_2}-z_{O_2}};$

根据标志球光照特性分析，得知点光源同时位于直线O₁P₁和直线O₂P₂上，于是联立上述两个方程式建立方程组，该方程组的解(x_L,y_L,z_L)即是点光源的空间坐标。

11.根据权利要求7所述的对真实光照环境进行光照估算的方法，其特征在于，点光源的位置计算为：当关键点未出现在标志球图像中，但是图像中同时包含了PT-1和PT-2内的一部分时，分别获取标志球sphere-1和标志球sphere-2的圆心坐标直线O₁S₁以及直线O₂S₂分别用下列方程表示：

$\frac{x-x_{O_1}}{x_{S_1}-x_{O_1}}=\frac{y-y_{O_1}}{y_{S_1}-y_{O_1}}=\frac{z-z_{O_1}}{z_{S_1}-z_{O_1}};$

$\frac{x-x_{O_2}}{x_{S_2}-x_{O_2}}=\frac{y-y_{O_2}}{y_{S_2}-y_{O_2}}=\frac{z-z_{O_2}}{z_{S_2}-z_{O_2}};$

点光源同时位于直线O₁S₁和直线O₂S₂上，因此方程组的解(x_L,y_L,z_L)即是点光源的空间坐标。

12.根据权利要求7所述的对真实光照环境进行光照估算的方法，其特征在于，点光源的位置计算为：摄像头只拍摄到标志球面的PT-2区域，图像中不包含PT-1内的任意点时，

由于图像内各像素点具有相同的灰度值，图像内无任何信息可用于光照分析，因此，对于这种图像，将其忽略不进行任何处理，而是由***直接读取视频序列中的下一帧图像。

13.根据权利要求10所述的对真实光照环境进行光照估算的方法，其特征在于，所述环境光与点光源的光照强度计算采用下列方法：当关键点出现在标志球图像中时，在球sphere-1或球sphere-2的PT-2区域任意取一点T，构造方式组：

$\left\{\begin{array}{c}{g}_{P_1}=k\·k_a{I}_a+k\·k_d\·\frac{I_d}{d_{P_1}+c}\\ g_{P_2}=k\·k_a{I}_a+k\·k_d\·\frac{I_d}{d_{P_2}+c}\\ g_T=k\·k_a\·I_a\end{array}\right.,$

式中g_T分别表示图像中点P₁、点P₂和点T处的像素灰度值，由于已经求出关键点和点光源的位置，所以点P₁、P₂与点光源的距离，即是已知的，因此，方程组中只有三个未知变量：I_a、I_d、c，对其求解，得到点光源与环境光的强度，其中球面某点的图像灰度值可以表示为：

$g=k*I=k*(k_a{I}_a+k_d(I_d\·\frac{1}{d+c})\cos (L,N)),$

式中，g为某点的像素灰度值，k为摄像机对光强的响应系数，I_a和I_d分别是环境光和点光源的光强，k_a和k_d分别是球面对环境光和点光源的漫反射系数，I是球面任意点的反射光强，N为该点的单位法向量，L为点光源入射光线的单位向量，将光源强度的衰减因子定义为1/(d+c)，其中d表示点光源与球面一点的距离，c为待定系数。

14.根据权利要求11所述的对真实光照环境进行光照估算的方法，其特征在于，所述环境光与点光源的光照强度计算采用下列方法：当关键点未出现在标志球图像中，但是图像中同时包含了PT-1和PT-2内的一部分时，设是球sphere-1上的中心点E₁的坐标值，是球sphere-2上的中心点E₂的坐标值，构造如下方程组：

$\left\{\begin{array}{c}{g}_{E_1}=k\·k_a{I}_a+k\·k_d\·\frac{I_d}{d_{E_1}+c}\\ g_{E_2}=k\·k_a{I}_a+k\·k_d\·\frac{I_d}{d_{E_2}+c}\\ g_T=k\·k_a\·I_a\end{array}\right.,$

前面Id已经求出关键点和点光源的位置，所以点E₁、E₂与点光源的距离，即是c已知的，解上式求得I_a、I_d，得到环境光与点光源的强度，其中球面某点的图像灰度值可以表示为：

$g=k*I=k*(k_a{I}_a+k_d(I_d\·\frac{1}{d+c})\cos (L,N)),$

式中，g为某点的像素灰度值，k为摄像机对光强的响应系数，I_a和I_d分别是环境光和点光源的光强，k_a和k_d分别是球面对环境光和点光源的漫反射系数，I是球面任意点的反射光强，N为该点的单位法向量，L为点光源入射光线的单位向量，将光源强度的衰减因子定义为1/(d+c)，其中d表示点光源与球面一点的距离，c为待定系数。