CN101815188A - 一种非规则光滑曲面显示墙多投影仪图像画面校正方法 - Google Patents

Abstract

一种非规则光滑曲面显示墙多投影仪图像画面校正方法，利用经纬仪在整个多投影显示***中建立已知经纬点的数据点阵，该经纬度数据点阵为行等纬度和列等经度点阵；对投影图像形变作如下检测：首先得到帧缓存图像特征点和相机特征图像特征点之间的映射关系f，再根据相机中经纬度点阵图像特征点数据和屏幕特征图像在相机中的特征点数据，计算出投影图像在屏幕上的形变特征，其后再利用细分网格技术得到投影图像素级形变特征。它能充分利用投影图像上每个像素的信息，在相邻投影图画面的融合带扩大到极致，增强边缘融合和色彩校正算法的容错性，得到更好的校正效果。

Description

一种非规则光滑曲面显示墙多投影仪图像画面校正方法

技术领域

本发明利用多投影仪在非规则光滑曲面上构建大规模显示***相关技术，涉及到机器视觉、图形图像信息处理领域。

背景技术

随着商业、娱乐和科学研究等领域对超大屏幕高分辨率显示的需求不断上升。利用多投影仪建立视觉无缝超大视场高分辨率显示***是当前最为可行的技术方案。为了真实再现三维视场环境，在大型虚拟现实显示***环境中通常运用投影仪在360度柱面显示墙或封闭穹顶的成像环境进行投影成像。这种显示***能让人产生沉侵式真实感觉，成为虚拟现实成像环境技术的研究热点。

传统的多投影图象几何校正采用的根据屏幕参数和屏幕经纬度范围估计预生成等经纬度的网格和对应的几何校正网格图象，调整几何网格格点坐标直到在屏幕投影图象上形成视觉上非畸变网格和相邻投影图像间几何上无缝拼接，在源图象坐标空间中上形成几何校正网格。根据各个投影仪的经纬仪网格生成纹理图像，利用几何校正网格对图象进行纹理映射，可实现投影图象几何校正和无缝拼接。

这种方法的优点是：1、工程上可采用，激光经纬仪，激光投线仪和激光扫平仪来校准的网格，校正网格的调整有标准可依；2、图象的几何校正和边缘融合在算法实现上简单；3、在投影仪位置发生微小变化或内部参数发生变化，投影***图象出现没对准情况时，手工微调校正网格就可以重现实现图象几何校正和图象几何无缝拼接。

这种方法的缺点是：如果投影屏幕为非二次曲面的屏幕，对于采用多层投影仪阵列实现的大规模显示***，投影图像融合带范围内的等经纬度区域通常很小，极端情况下甚至可能不存在。因此这种通过每个投影图像中建立等经纬度网格和对应的几何校正网格的多投影图像几何校正和几何无缝拼接方法在复杂屏幕时不可行。即使在投影图像融合带范围内存在等经纬度区域，然而在形成等经纬度网格时，会裁掉校正网格外的图象边缘部分，不能充分利用整个屏幕的图象信息，使得相邻投影仪图象之间的可利用的融合带小。融合带小的情况下，使得在相邻屏幕进行亮度融合时的亮度变化过度区域小，影响融合算法的鲁棒性，造成融合效果差。

发明内容

本发明的目的是提供一种非规则光滑曲面显示墙多投影仪图像画面校正方法，以增强相邻投影图像边缘融合和色彩校正算法的容错性，得到更好校正效果。

本发明的目的是这样实现的：一种非规则光滑曲面显示墙多投影仪图像画面校正方法，利用经纬仪在整个多投影显示***中建立已知经纬度的数据点阵，这些点阵的几何位置被记录在每个投影仪对应的视景客户端中，这些已知经纬度数据点阵将作为多投影显示***的基础数据，且上述经纬度数据点阵为行等纬度，列等经度点阵；投影图像形变检测流程如下：

(1)帧缓存特征图像经过投影仪投影在屏幕上形成屏幕投影特征图像；

(2)对屏幕投影特征图像经过相机拍摄在相机上形成相机特征图像；

(3)经过步骤(1)，(2)可以得到帧缓存图像特征点和相机特征图像特征点之间的映射关系f；

(4)固定相机位置不动拍摄几何校正标准图像，并识别出几何校正标准图像中的特征点；

(5)根据相机中经纬度点阵图像特征点数据和屏幕特征图像在相机中的特征点数据，计算出投影图像在屏幕上的形变特征；

利用细分网格技术，计算出每个投影仪帧缓存图像的像素经纬度，具体计算过程如下：假设AngleSetI_k为经纬度点阵数据，根据经纬仪的测量结果记录在计算机中，I_kagl_ij为第i行j列的经纬度向量，在可视区域上AngleSetI_k是覆盖第k个投影图像区域的最小经纬度矩阵点数据集合，GeomSetI_kCamera为在可视区域上覆盖第k个投影图像区域的最小经纬度矩阵点数据集合在相机中数据集合，I_kgem_ij为GeomSetI_kCamera中第i行j列在图像上的归一化几何坐标数据，GeomSetI_k为AngleSetI_k通过视景客户端中帧缓存图像各个图像标记数据，通过经纬仪测量所得，I_kgemSrn_ijk为测量第k投影图像几何校正数据时的第i行j列的经纬度对应的几何数据；

AngleSetI_k＝{I_kagl_ij∈[0，360]×[-90，90]，i＝1，L，m_k；j＝1，L，n_k}  (1)

GeomSetI_kCamera＝{I_kgem_ij∈[0，1]×∈[0，1]，i＝1，L，m_k；j＝1，L，n_k}(2)

${\mathrm{GeomSetI}}_k=\{I_k\mathrm{gemS}{\mathrm{rn}}_{\mathrm{ijk}}\∈[\mathrm{0,1}]\×\∈[\mathrm{0,1}],i=1,L,m_k;$

$j=1,L,n_k;k\∈S\⋐\{1,L,\mathrm{Srns}\}\}---\left(3\right)$

m_k为点阵数据的行数，n_k为点阵数据的列数，Srns为投影显示***的投影仪数目，S为视觉测量当前屏幕像素经纬度数据所需的经纬度点阵所在的投影仪集合，k为当前测量的几何校正数据投影图像标号；

假设AngleSetFeatI_k为第k个投影图像特征点的经纬度数据集合，FI_kagl_ij为第i行j列特征点的经纬度，GeomSetFeatI_kCamera为第k个投影图像特征图特征点在相机坐标系下的数据集合，FeatI_kgem_ij为第k个投影图像第i行j列特征点在相机中看到的归一化坐标数据，GeomFeatSetI_k为第k个投影仪特征图像特征点在计算机帧缓存中图像坐标系下归一化几何坐标数据，FeatI_kgem_ij为第i行j列的在计算机帧缓存中图像坐标系下的特征点归一化几何坐标数据；

AngleSetFeatI_k＝{FI_kagl_ij∈[0，360]×[-90，90]，i＝1，L，m2；j＝1，L，n2}      (4)

GeomSetFeatI_kCamera＝{FeatI_kgem_ij∈[0，1]×∈[0，1]，i＝1，L，m2；j＝1，L，n2} (5)

GeomFeatSetI_k＝{FeatI_kgem_ij∈[0，1]×∈[0，1]，i＝1，L，m2；j＝1，L，n2}       (6)

m2，n2分别为特征数据的行数和列数，AngleSetI_k已知，通过经纬仪建立，GeomSetI_k是AngleSetI_k的标记数据，AngleSetI_k是GeomSetI_k对应的经纬度数据，GeomSetI_kCamera为AngleSetI_k在相机中的几何坐标形式，可以通过拍摄经纬度点阵图像识别得到；

GeomFeatSetI_k已知，为在计算帧缓存中特征图像的特征点，在建立特征图时就已经确定，AngleSetFeatI_k，GeomSetFeatI_kCamera未知，GeomSetFeatI_kCamera通过拍摄图像，进行图像识别，建立特征点在相机图像坐标下的几何坐标数据，AngleSetFeatI_k中数据元素的获取算法如下：

为了能利用计算机视觉的方法得到AngleSetFeatI_k需要拍摄图像来进行识别计算，对于同一屏幕拍摄时的相机空间位置相同；

设算子f_Ba：R²→R²，所做的操作是返回数据集合边界包围的区域元素，为了恢复投影图像上每个像素的经纬度，论文中有下列约束关系：

${\mathrm{GeomSetFeatI}}_k\mathrm{Camera}\⋐f_{\mathrm{Ba}}\left(\mathrm{Geom}{\mathrm{SetI}}_k\mathrm{Camera}\right)---\left(7\right)$

GeomSetI_kCamera^p表示将GeomSetI_kCamera按照细分网格技术加密p次得到：

GeomSetI_kCamera^p＝{I_kgem_ij∈[0，1]×∈[0，1]，

i＝1，L，2^pm_k-2^p-1-1；j＝1，L，2^pn_k-2^p-1-1}     (8)

同时将AngleSetI_k加密p次得到：

AngleSetI_k ^p＝{I_kagl_ij∈[0，360]×[-90，90]，

i＝1，L，2^pm_k-2^p-1-1；j＝1，L，2^pn_k-2^p-1-1}     (9)

于是对于 $\∀{\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\∈{\mathrm{GeomSetFeatI}}_k\mathrm{Camera}$ 可以得到(x，y)，使得

${\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\∈\mathrm{Min}\left\{f_{\mathrm{Ba}}\left(\right\{I_k{\mathrm{gem}}_{\mathrm{xy}},I_k{\mathrm{gem}}_{(x+1)y},I_k{\mathrm{gem}}_{x(y+1)},I_k{\mathrm{gem}}_{(x+1)(y+1)}\right\}:$

                   (10)

$\{I_k{\mathrm{gem}}_{\mathrm{xy}},I_k{\mathrm{gem}}_{(x+1)y},I_k{\mathrm{gem}}_{x(y+1)},I_k{\mathrm{gem}}_{(x+1)(y+1)}\}\⋐{\mathrm{GeomSetI}}_k{\mathrm{Camera}}^p\left)\right\}$

式(10)中的Min表示取GeomSetI_kCamera^p中的四个点：I_kgem_xy，I_kgem_(x+1)y，I_kgem_x(y+1)，I_kgem_(x+1)(y+1)；这四个点所形成的四边形是FeatI_kgem_ij所在的所有四边形中的面积最小四边形；由这4个点我们可以得到特征点FeatI_kgem_ij对应的经纬度(Lang，Lat)数据，其中Lang表示经度，Lat表示纬度：

$\mathrm{Lang}=\frac{I_k{\mathrm{agl}}_{\mathrm{xy}}\left(1\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))}\·$

$(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-{\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-{\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(2\right))+$

$\frac{I_k{\mathrm{agl}}_{(x+1)y}\left(1\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))}\·$

$(I_k\mathrm{gem}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-{\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(2\right))$

$+\frac{I_1{\mathrm{agl}}_{x(y+1)}\left(1\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{ixy}}\left(2\right))}\·$

$({\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))$

$+\frac{I_k{\mathrm{agl}}_{(x+1)(y+1)}\left(1\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))}\·$

$({\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_2\mathrm{gem}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))---\left(11\right)$

$\mathrm{Lat}=\frac{I_k{\mathrm{agl}}_{\mathrm{xy}}\left(2\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))}\·$

$(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-{\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-{\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(2\right))+$

$\frac{I_k{\mathrm{agl}}_{(x+1)y}\left(2\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))}\·$

$({\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-{\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(2\right))$

$+\frac{I_k{\mathrm{agl}}_{x(y+1)}\left(2\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{ixy}}\left(2\right))}\·$

$({\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\mathrm{gem}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))$

$+\frac{I_k{\mathrm{agl}}_{(x+1)(y+1)}\left(2\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))}\·$

$({\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))({\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))---\left(12\right)$

式11，12中，I_kagl_xy(1)表示I_kagl_xy中纬度分量数据，I_kagl_xy(2)表示I_kagl_xy中经度分量数据，其余标号意义与此相同。

通过上述方法，计算出特征点处的经纬度，特征点的经纬度数据组成了一个角度矩阵网格数据，按照细分网格技术将角度网格加密到超过帧缓存图像分辨率的数据量，将加密后的经纬度网格数据缩放到帧缓存图像分辨率的数据量得到帧缓存图像每个像素对应的经纬度数据。

本发明的有益效果是：利用投影仪帧缓存图像像素级经纬度数据，可以充分利用投影图像上的每个可见像素的信息，在相邻投影图像画面的融合带扩大到极致，可以增强边缘融合和色彩校正算法的容错性，相对传统工程中的手工校正方法可以得到更好的校正的效果。

本发明的特点和优点将结合具体实施方式作进一步阐述。

附图说明

图1是本发明的计算机视觉的投影图像画面形变检测流程图；

图2-1是本发明的帧缓存特征图；

图2-2是本发明的特征图在屏幕上的场景图像(识别后用网格线进行标注)；

图2-3是本发明的覆盖投影特征图的经纬度网格点阵场景图像(识别后用网格线进行标注)；

图2-4是本发明的特征图像特征点的经纬度计算数据网络图；

图3-1是本发明的校正前的多投影图像场景；

图3-2是本发明的带有等经纬度网格的校正后的多投影图像场景；

图3-3是本发明的去经纬度网格的校正后的图像场景；

图3-4是本发明的几何校正边缘融合后的多投影图像场景；

图4-1是本发明的Window操作***桌面图；

图4-2是本发明的校正前的三维视景模型渲染效果场景图像；

图4-3是本发明的校正后的三维视景模型渲染效果场景图像。

具体实施方式

图3(泛指以图3开头的所有图，如图3-1、图3-2等，下同)显示了在四川大学视觉合成国防重点实验室基地穹顶塔台多投影仪显示***环境下利用等经纬度网格进行图像校正的实验结果局部场景图。实验中采用了3层，共24个投影仪构成，其中第1，2层采用2×10投影仪阵列格式，第3层采用1×4投影仪阵列格式。在显示***中心，普通人身高的视点位置投影屏幕经度范围为0～360度，纬度范围-18.5～90度。投影屏幕为光滑曲面。工程中，为了在显示***中得到最大公共角度网格区域，由于受到现场环境的限制，投影仪的摆放是一个艰难的过程。

图3(图3是工程中常见方法中利用等经纬度网格在光滑穹顶屏幕进行多投影图像校正结果场景图)可以看出尽管相邻投影仪之间具有较大的图像重叠区域，然而在1，2层之间，2，3层投影仪图像之间的图像重叠区域具有等纬度的公共区域非常小。最终使得三层投影仪在投影图像重叠区域处等经度区域也非常小。这样在相邻投影仪等经度，等纬度区域之间建立融合带的小，直接影响了融合算法的鲁棒性，使得整个投影显示***的图像校正效果比较差，能明显区分各个投影仪的投影图像区域，不能完全做到多投影仪图像无缝拼接。

当人的视点和观察水平面确定后，空间中任意一点对应唯一角度(经度，纬度)。当三维空间中屏幕为平面或者光滑曲面，在视点上如果屏幕上的点在人的视觉尺度上都是可见的，则三维空间屏幕上的点和角度点之间可建立一一映射关系。

通过测量出投影屏幕上投影图像区域内角度网格，并将这些角度网格点将角度网格点反算到投影仪帧缓存图像中的像素位置，可得到源图像中几何纹理映射网格。将待显示的超高分辨率图像按照经经纬度网格进行划分，对于三维图像可以通过所测得的角度设置渲染视椎体进行每个投影仪图像渲染。并得到的每个投影仪子图像进行纹理重贴图到几何纹理映射网格，就可以实现单个投影仪内的图像几何校正和投影仪之间的图像几何上的无缝拼接。

利用等经纬度网格进行投影图像校正时，等经纬度网格对应的几何网格之外的投影图像中像素信息将被永远设置成黑色，在投影显示***中不会参与利用。对于柱幕和平面屏幕这类规则屏幕，裁剪的掉像素少，建立融合带比较大，对于其它类型的光滑曲面屏幕，裁剪的掉像素多，建立的融合带非常小。针对基于等经纬度网格的投影图像校正中不能充分利用投影图像中所有像素信息缺点，本专利实现了测量投影图像中每个像素的经纬度算法，在每个像素经纬度已知情况下，可以做到完整利用投影图像中每个像素信息，边缘没有裁减，可以将融合带扩大到极致。融合带的扩大提高了多投影图像几何无缝拼接，边缘融合算法的鲁棒性，改善视觉效果。这种方法的另外一个优点是支持投影仪随意摆放，只要投影图像之间有公共部分就可以完成投影图像的几何校正和几何无缝拼接。

首先利用经纬仪在整个多投影显示***中建立已知经纬度的数据点阵，这些点阵的几何位置被记录在每个投影仪对应的视景客户端中。这些已知经纬度数据点阵将作为多投影显示***的基础数据，为了方便在投影仪位置发生变化和更换后便于调整，经纬度数据为行等纬度，列等经度点阵。

图1为投影图像形变特征检测流程。下面我们对投影图像形变检测流程进行如下的详细描述：(1)帧缓存特征图像经过投影仪投影在屏幕上形成屏幕投影特征图像；

(2)对屏幕投影特征图像经过相机拍摄在相机上形成相机特征图像。

(3)经过步骤(1)，(2)可以得到帧缓存图像特征点和相机特征图像特征点之间的映射关系f。

(4)固定相机位置不动拍摄几何校正标准图像，并识别出几何校正标准图像中的特征点。

(5)根据相机中经纬度点阵图像特征点数据和屏幕特征图像在相机中的特征点数据，可以计算出投影图像在屏幕上的形变特征。

从上述投影图像形变特征检测流程我们可以看出，在检测投影图像形变特征过程中，需要精确建立帧缓存像素坐标和全局坐标之间的关系，本论文中也就是计算出每个投影仪帧缓存图像的像素经纬度。文章(Jun Zhang，BangPingWang1，XiaoFeng Li.Geometric Calibration of Projector Imagery on Curved ScreenBased-on Subdivision Mesh GMP 2008，LNCS 4975，2008.Springer-Verlag BerlinHeidelberg 2008，pp592-600)中我们提出的细分网格是一种具有网格几何形状特征保持性，网格疏密分布特征保持性插值算法。因此在工程中我们只要抽样检测到有限像素点的形变特征，利用细分网格技术就可以得到投影图像像素级形变特征。

假设AngleSetI_k为经纬度点阵数据，根据经纬仪的测量结果记录在计算机中，I_kagl_ij为第i行j列的经纬度向量。在可视区域上AngleSetI_k是覆盖第k个投影图像区域的最小经纬度矩阵点数据集合。GeomSetI_kCamera为在可视区域上覆盖第k个投影图像区域的最小经纬度矩阵点数据集合在相机中数据集合，I_kgem_ij为GeomSetI_kCamera中第i行j列在图像上的归一化几何坐标数据。GeomSetI_k为AngleSetI_k通过视景客户端中帧缓存图像各个图像标记数据，通过经纬仪测量所得，I_kgemSrn_ijk为测量第k投影图像几何校正数据时的第i行j列的经纬度对应的几何数据。

AngleSetI_k＝{I_kagl_ij∈[0，360]×[-90，90]，i＝1，L，m_k；j＝1，L，n_k}    (1)

GeomSetI_kCamera＝{I_kgem_ij∈[0，1]×∈[0，1]，i＝1，L，m_k；j＝1，L，n_k}  (2)

${\mathrm{GeomSetI}}_k=\{I_k\mathrm{gemS}{\mathrm{rn}}_{\mathrm{ijk}}\∈[\mathrm{0,1}]\×\∈[\mathrm{0,1}],i=1,L,m_k;$

                       (3)

$j=1,L,n_k;k\∈S\⋐\{1,L,\mathrm{Srns}\}\}$

m_k为点阵数据的行数，n_k为点阵数据的列数。Srns为投影显示***的投影仪数目。S为视觉测量当前屏幕像素经纬度数据所需的经纬度点阵所在的投影仪集合。k为当前测量的几何校正数据投影图像标号。

假设AngleSetFeatI_k为第k个投影图像特征点的经纬度数据集合，FI_kagl_ij为第i行j列特征点的经纬度。GeomSetFeatI_kCamera为第k个投影图像特征图特征点在相机坐标系下的数据集合，FeatI_kgem_ij为第k个投影图像第i行j列特征点在相机中看到的归一化坐标数据。GeomFeatSetI_k为第k个投影仪特征图像特征点在计算机帧缓存中图像坐标系下归一化几何坐标数据，FeatI_kgem_ij为第i行j列的在计算机帧缓存中图像坐标系下的特征点归一化几何坐标数据。

AngleSetFeatI_k＝{FI_kagl_ij∈[0，360]×[-90，90]，i＝1，L，m2；j＝1，L，n2}      (4)

GeomSetFeatI_kCamera＝{FeatI_kgem_ij∈[0，1]×∈[0，1]，i＝1，L，m2；j＝1，L，n2} (5)

GeomFeatSetI_k＝{FeatI_kgem_ij∈[0，1]×∈[0，1]，i＝1，L，m2；j＝1，L，n2}       (6)

m2，n2分别为特征数据的行数和列数。AngleSetI_k已知，通过经纬仪建立，GeomSetI_k是AngleSetI_k的标记数据，AngleSetI_k是GeomSetI_k对应的经纬度数据。GeomSetI_kCamera为AngleSetI_k在相机中的几何坐标形式，可以通过拍摄经纬度点阵图像识别得到。

GeomFeatSetI_k已知，为在计算帧缓存中特征图像的特征点，在建立特征图时就已经确定。AngleSetFeatI_k，GeomSetFeatI_kCamera未知。GeomSetFeatI_kCamera通过拍摄图像，进行图像识别，建立特征点在相机图像坐标下的几何坐标数据。AngleSetFeatI_k中数据元素的获取算法下面将详细的进行介绍。

为了能利用计算机视觉的方法得到AngleSetFeatI_k需要拍摄图像来进行识别计算，对于同一屏幕拍摄时的相机空间位置相同。

设算子f_Ba：R²→R²，所做的操作是返回数据集合边界包围的区域元素。为了恢复投影图像上每个像素的经纬度，论文中有下列约束关系：

${\mathrm{GeomSetFeatI}}_k\mathrm{Camera}\⋐f_{\mathrm{Ba}}\left(\mathrm{Geom}{\mathrm{SetI}}_k\mathrm{Camera}\right)---\left(7\right)$

GeomSetI_kCamera^p表示将GeomSetI_kCamera按照论文(Jun Zhang，BangPingWang1，XiaoFeng Li.Geometric Calibration of Projector Imagery on Curved Screen Based-on Subdivision MeshGMP 2008，LNCS 4975，2008.Springer-Verlag Berlin Heidelberg 2008，pp592-600)中介绍细分网格技术加密p次得到：

GeomSetI_kCamera^p＝{I_kgem_ij∈[0，1]×∈[0，1]，

                                              (8)

i＝1，L，2^pm_k-2^p-1-1；j＝1，L，2^pn_k-2^p-1-1}

同时将AngleSetI_k加密p次得到：

AngleSetI_k ^p＝{I_kagl_ij∈[0，360]×[-90，90]，

                                                                   (9)

i＝1，L，2^pm_k-2^p-1-1；j＝1，L，2^pn_k-2^p-1-1}

于是对于 $\∀{\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\∈{\mathrm{GeomSetFeatI}}_k\mathrm{Camera}$ 可以得到(x，y)，使得

${\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\∈\mathrm{Min}\left\{f_{\mathrm{Ba}}\left(\right\{I_k{\mathrm{gem}}_{\mathrm{xy}},I_k{\mathrm{gem}}_{(x+1)y},I_k{\mathrm{gem}}_{x(y+1)},I_k{\mathrm{gem}}_{(x+1)(y+1)}\right\}:$

                        (10)

$\{I_k{\mathrm{gem}}_{\mathrm{xy}},I_k{\mathrm{gem}}_{(x+1)y},I_k{\mathrm{gem}}_{x(y+1)},I_k{\mathrm{gem}}_{(x+1)(y+1)}\}\⋐{\mathrm{GeomSetI}}_k{\mathrm{Camera}}^p\left)\right\}$

式(10)中的Min表示取GeomSetI_kCamera^p中的四个点：I_kgem_xy，I_kgem_(x+1)y，I_kgem_x(y+1)，I_kgem_(x+1)(y+1)。这四个点所形成的四边形是FeatI_kgem_ij所在的所有四边形中的面积最小四边形。由这4个点我们可以得到特征点FeatI_kgem_ij对应的经纬度(Lang，Lat)数据，其中Lang表示经度，Lat表示纬度。

$\mathrm{Lang}=\frac{I_k{\mathrm{agl}}_{\mathrm{xy}}\left(1\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))}\·$

$(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-{\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-{\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(2\right))+$

$\frac{I_k{\mathrm{agl}}_{(x+1)y}\left(1\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))}\·$

$(I_k\mathrm{gem}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-{\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(2\right))$

                  (11)

$+\frac{I_1{\mathrm{agl}}_{x(y+1)}\left(1\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{ixy}}\left(2\right))}\·$

$({\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))$

$+\frac{I_k{\mathrm{agl}}_{(x+1)(y+1)}\left(1\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))}\·$

$({\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_2\mathrm{gem}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))$

$\mathrm{Lat}=\frac{I_k{\mathrm{agl}}_{\mathrm{xy}}\left(2\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))}\·$

$(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-{\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-{\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(2\right))+$

$\frac{I_k{\mathrm{agl}}_{(x+1)y}\left(2\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))}\·$

$({\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-{\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(2\right))$

               (12)

$+\frac{I_k{\mathrm{agl}}_{x(y+1)}\left(2\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{ixy}}\left(2\right))}\·$

$({\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\mathrm{gem}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))$

$+\frac{I_k{\mathrm{agl}}_{(x+1)(y+1)}\left(2\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))}\·$

$({\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))({\mathrm{FeatI}}_k{\mathrm{gem}}_{\mathrm{ij}}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))$

式11，12中，I_kagl_xy(1)表示I_kagl_xy中纬度分量数据，I_kagl_xy(2)表示I_kagl_xy中经度分量数据，其余标号意义与此相同。

通过上述方法，可以计算出特征点处的经纬度。特征点的经纬度数据组成了一个角度矩阵网格数据，按照细分网格技术将角度网格加密到超过帧缓存图像分辨率的数据量，将加密后的经纬度网格数据缩放到帧缓存图像分辨率的数据量就可以得到帧缓存图像每个像素对应的经纬度数据。

利用投影仪帧缓存图像像素级经纬度数据，可以充分利用投影图像上的每个可见像素的信息，在相邻投影图像画面的融合带扩大到极致，可以增强边缘融合和色彩校正算法的容错性，相对传统工程中的手工校正方法可以得到更好的校正的效果。图4为利用本方法在非规则光滑曲面显示墙上的三维视景图像校正效果场景图像。

Claims (1)

1.一种非规则光滑曲面显示墙多投影仪图像画面校正方法，其特征是：利用经纬仪在整个多投影显示***中建立已知经纬度的数据点阵，这些点阵的几何位置被记录在每个投影仪对应的视景客户端中，这些已知经纬度数据点阵将作为多投影显示***的基础数据，且上述经纬度数据点阵为行等纬度，列等经度点阵；投影图像形变检测流程如下：

(1)帧缓存特征图像经过投影仪投影在屏幕上形成屏幕投影特征图像；

(2)对屏幕投影特征图像经过相机拍摄在相机上形成相机特征图像；

(3)经过步骤(1)，(2)可以得到帧缓存图像特征点和相机特征图像特征点之间的映射关系f；

(4)固定相机位置不动拍摄几何校正标准图像，并识别出几何校正标准图像中的特征点；

(5)根据相机中经纬度点阵图像特征点数据和屏幕特征图像在相机中的特征点数据，计算出投影图像在屏幕上的形变特征；

利用细分网格技术，计算出每个投影仪帧缓存图像的像素经纬度，具体计算过程如下：假设AngleSetI_k为经纬度点阵数据，根据经纬仪的测量结果记录在计算机中，I_kagl_ij为第i行j列的经纬度向量，在可视区域上AngleSetI_k是覆盖第k个投影图像区域的最小经纬度矩阵点数据集合，GeomSetI_k Camera为在可视区域上覆盖第k个投影图像区域的最小经纬度矩阵点数据集合在相机中数据集合，I_kgem_ij为GeomSetI_kCamera中第i行j列在图像上的归一化几何坐标数据，GeomSetI_k为AngleSetI_k通过视景客户端中帧缓存图像各个图像标记数据，通过经纬仪测量所得，I_kgemSrn_ijk为测量第k投影图像几何校正数据时的第i行j列的经纬度对应的几何数据；

AngleSetI_k＝{I_kagl_ij∈[0，360]×[-90，90]，i＝1，L，m_k；j＝1，L，n_k}   (1)

GeomSetI_kCamera＝{I_kgem_ij∈[0，1]×∈[0，1]，i＝1，L，m_k；j＝1，L，n_k} (2)

GeomSetI_k＝{I_kgemSrn_ijk∈[0，1]×∈[0，1]，i＝1，L，m_k；

j＝1，L，n_k； $k\∈S\⋐\{1,L,\mathrm{Srns}\}\}---\left(3\right)$

m_k为点阵数据的行数， n_k为点阵数据的列数，Srns为投影显示***的投影仪数目，S为视觉测量当前屏幕像素经纬度数据所需的经纬度点阵所在的投影仪集合，k为当前测量的几何校正数据投影图像标号；

假设AngleSetFeatI_k为第k个投影图像特征点的经纬度数据集合，FI_kagl_ij为第i行j列特征点的经纬度，GeomSetFeatI_kCamera为第k个投影图像特征图特征点在相机坐标系下的数据集合，FeatI_kgem_ij为第k个投影图像第i行j列特征点在相机中看到的归一化坐标数据，GeomFeatSetI_k为第k个投影仪特征图像特征点在计算机帧缓存中图像坐标系下归一化几何坐标数据，FeatI_kgem_ij为第i行j列的在计算机帧缓存中图像坐标系下的特征点归一化几何坐标数据；

AngleSetFeatI_k＝{FI_kagl_ij∈[0，360]×[-90，90]，i＝1，L，m2；j＝1，L，n2}(4)

GeomSetFeatI_kCamera＝{FeatI_kgem_ij∈[0，1]×∈[0，1]，i＝1，L，m2；j＝1，L，n2}(5)

GeomFeatSetI_k＝{FeatI_kgem_ij∈[0，1]×∈[0，1]，i＝1，L，m2；j＝1，L，n2}    (6)

m2，n2分别为特征数据的行数和列数，AngleSetI_k已知，通过经纬仪建立，GeomSetI_k是AngleSetI_k的标记数据，AngleSetI_k是GeomSetI_k对应的经纬度数据，GeomSetI_kCamera为AngleSetI_k在相机中的几何坐标形式，可以通过拍摄经纬度点阵图像识别得到；

GeomFeatSetI_k已知，为在计算帧缓存中特征图像的特征点，在建立特征图时就已经确定，AngleSetFeatI_k，GeomSetFeatI_kCamera未知，GeomSetFeatI_kCamera通过拍摄图像，进行图像识别，建立特征点在相机图像坐标下的几何坐标数据，AngleSetFeatI_k中数据元素的获取算法如下：

为了能利用计算机视觉的方法得到AngleSetFeatI_k需要拍摄图像来进行识别计算，对于同一屏幕拍摄时的相机空间位置相同；

设算子f_Ba：R²→R²，所做的操作是返回数据集合边界包围的区域元素，为了恢复投影图像上每个像素的经纬度，论文中有下列约束关系：

$\mathrm{GeomSetFeat}{I}_k\mathrm{Camera}\⋐f_{\mathrm{Ba}}\left({\mathrm{GeomSetI}}_k\mathrm{Camera}\right)---\left(7\right)$

GeomSetI_kCamera^p表示将GeomSetI_kCamera按照细分网格技术加密p次得到：

GeomSetI_kCamera^p＝{I_kgem_ij∈[0，1]×∈[0，1]，

i＝1，L，2^pm_k-2^p-1-1；j＝1，L，2^pn_k-2^p-1-1}(8)

同时将AngleSetI_k加密p次得到：

AngleSetI_k ^p＝{I_kagl_ij∈[0，360]×[-90，90]，

i＝1，L，2^pm_k-2^p-1-1；j＝1，L，2^pn_k-2^p-1-1}    (9)

于是对于

FeatI_kgem_ij∈GeomSetFeatI_kCamera可以得到(x，y)，使得

$\mathrm{Feat}{I}_k{\mathrm{gem}}_{\mathrm{ij}}\∈\mathrm{Min}\{f_{\mathrm{Ba}}\left(\right\{I_k{\mathrm{gem}}_{\mathrm{xy}},I_k{\mathrm{gem}}_{(x+1)y},I_k{\mathrm{gem}}_{x(y+1)},I_k{\mathrm{gem}}_{(x+1)(y+1)}\}:$

               (10)

$\{I_k{\mathrm{gem}}_{\mathrm{xy}},I_k{\mathrm{gem}}_{(x+1)y},I_k{\mathrm{gem}}_{x(y+1)},I_k{\mathrm{gem}}_{(x+1)(y+1)}\}\⋐\mathrm{GeomSet}{I}_k{\mathrm{Camera}}^p\left)\right\}$

式(10)中的Min表示取GeomSetI_kCamera^p中的四个点：I_kgem_xy，I_kgem_(x+1)y，I_kgem_x(y+1)，I_kgem_(x+1)(y+1)；这四个点所形成的四边形是FeatI_kgem_ij所在的所有四边形中的面积最小四边形；由这4个点我们可以得到特征点FeatI_kgem_ij对应的经纬度(Lang，Lat)数据，其中Lang表示经度，Lat表示纬度：

$\mathrm{Lang}=\frac{I_k\mathrm{ag}{l}_{\mathrm{xy}}\left(1\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))}\·$

$(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-\mathrm{Feat}{I}_k{\mathrm{gem}}_{\mathrm{ij}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-\mathrm{Feat}{I}_k{\mathrm{gem}}_{\mathrm{ij}}\left(2\right))+$

$\frac{I_k\mathrm{ag}{l}_{(x+1)y}\left(1\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))}\·$

$(I_k\mathrm{gem}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-\mathrm{Feat}{I}_k{\mathrm{gem}}_{\mathrm{ij}}\left(2\right))$

$+\frac{I_1\mathrm{ag}{l}_{x(y+1)}\left(1\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{ixy}}\left(2\right))}\·$

$(\mathrm{Feat}{I}_k\mathrm{ge}{m}_{\mathrm{ij}}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))$

$+\frac{I_k\mathrm{ag}{l}_{(x+1)(y+1)}\left(1\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))}\·$

$(\mathrm{Feat}{I}_k{\mathrm{gem}}_{\mathrm{ij}}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_2\mathrm{gem}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))---\left(11\right)$

$\mathrm{Lat}=\frac{I_k\mathrm{ag}{l}_{\mathrm{xy}}\left(2\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))}\·$

$(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-\mathrm{Feat}{I}_k{\mathrm{gem}}_{\mathrm{ij}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-\mathrm{Feat}{I}_k{\mathrm{gem}}_{\mathrm{ij}}\left(2\right))+$

$\frac{I_k\mathrm{ag}{l}_{(x+1)y}\left(2\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))}\·$

$(\mathrm{Feat}{I}_k{\mathrm{gem}}_{\mathrm{ij}}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-\mathrm{Feat}{I}_k{\mathrm{gem}}_{\mathrm{ij}}\left(2\right))$

$+\frac{I_k\mathrm{ag}{l}_{x(y+1)}\left(2\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{ixy}}\left(2\right))}\·$

$(\mathrm{Feat}{I}_k{\mathrm{gem}}_{\mathrm{ij}}\mathrm{gem}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))$

$+\frac{I_k\mathrm{ag}{l}_{(x+1)(y+1)}\left(2\right)}{(I_k{\mathrm{gem}}_{(x+1)y}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(I_k{\mathrm{gem}}_{(x+1)y}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))}\·$

$(\mathrm{Feat}{I}_k{\mathrm{gem}}_{\mathrm{ij}}\left(1\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(1\right))(\mathrm{Feat}{I}_2\mathrm{ge}{m}_{\mathrm{ij}}\left(2\right)-I_k{\mathrm{gem}}_{\mathrm{xy}}\left(2\right))---\left(12\right)$

式11，12中，I_kagl_xy(1)表示I_kagl_xy中纬度分量数据，I_kagl_xy(2)表示I_kagl_xy中经度分量数据，其余标号意义与此相同；

通过上述方法，计算出特征点处的经纬度，特征点的经纬度数据组成了一个角度矩阵网格数据，按照细分网格技术将角度网格加密到超过帧缓存图像分辨率的数据量，将加密后的经纬度网格数据缩放到帧缓存图像分辨率的数据量得到帧缓存图像每个像素对应的经纬度数据。

Images