CN102175221B

CN102175221B - 基于鱼眼镜头的车载移动摄影测量***

Info

Publication number: CN102175221B
Application number: CN201110023561.XA
Authority: CN
Inventors: 张海威; 杨欣; ***
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2011-01-20
Filing date: 2011-01-20
Publication date: 2014-04-09
Anticipated expiration: 2031-01-20
Also published as: CN102175221A

Abstract

本发明公开了基于鱼眼镜头的车载移动摄影测量***，达到测量范围大、影像色彩信息丰富完整的特点。其技术方案为：***包括数据采集装置、数据存储装置和数据处理装置，其中数据采集装置采集影像和数据，其中的鱼眼相机立体视觉模块包括鱼眼镜头、相机以及标定装置。数据存储装置存储采集到的影像数据。数据处理装置处理所采集到的数据，实现对鱼眼影像的测量。

Description

基于鱼眼镜头的车载移动摄影测量***

技术领域

本发明涉及一种车载移动摄影测量***，尤其涉及利用鱼眼镜头快速采集影像数据，通过立体视觉校正，对所获取的影像数据进行实时测量和三维建模的***。

背景技术

随着城市化进程的加快，城市规模越来越大，变化日新月异，城市规划和管理变得越来越复杂，对于交通、能源、市政管理、基础设施建设等各个领域，信息的采集和更新显得尤为重要，特别是具有带有GIS信息的测量，成为这些领域信息获取不可或缺的一部分。比如，城市管理部门采集和统计城市各类资产数据，如区域内建筑的信息，广告牌位置、数量、长宽高等数据；道路交通部门统计道路资产数据；能源部门统计变电站的位置、数量等信息。这些数据通常都有数据量大，统计复杂的特点。如果使用人工实地测量统计的方式，工作量大，效率低，危险性高，并且容易出错。

目前市场存在的测量***包括激光测量和立体视觉测量。激光测量，通常没有图像的色彩信息，分辨率低，数据量大，采集范围有限，后处理复杂耗时。而现有的立体视觉测量设备，都基于普通的相机，视野范围小，城市环境中高楼大厦鳞次栉比，比如拍摄城市中的高楼大厦，当距离很近时，只能拍到楼的一部分，如果要拍摄到整个大楼，则需要距离目标很远，这样影响目标物体的成像精度，如果要做基于图像的测量，则会影响到测量的精度，造成很大的误差。因此传统相机立体视觉测量***受到极大挑战。

随着摄影器材的发展，出现一种具有超大视野范围的超广角镜头，鱼眼镜头，能在单张的鱼眼图像中实现视野范围达到甚至超过180度。同样是拍摄城市中的高楼大厦，鱼眼镜头能够同时保证目标物体的视野范围和精度，可以很好地解决大范围大视角的拍摄和测量的问题。

不过鱼眼镜头在获得很大的视野范围的同时，也给图像带来了很大的畸变，一般来说，视野范围越大，畸变也越大。传统的立体视觉测量是基于微小畸变的普通相机进行测量的，无法用大畸变的鱼眼相机进行测量。对配备普通镜头的相机来说，其成像原理类似于通常所说的针孔成像。在针孔成像中，光线是沿直线(线性)传播的。其优点是成像畸变很小甚至可以忽略，但其缺点也很明显，即视野范围(FOV)很小。对于大场景尤其是180度的无限场景来说，要通过基于光线直线传播的普通镜头在感光器件上成像的话，必须要求感光器件无限大，这在实际中显然是不可能实现的。因此只有改变光线的传播方向，让其进入镜头后不再沿直线传播，而是沿曲线(非线性)投射到感光器件上，这样就可以在有限的感光器件上容纳无限的场景，鱼眼镜头就是这样做的。但光线的曲线传播同时也带来几个问题：首先，由于光线是沿曲线传播的，这给确定其传播路径带来很大的困难。其次，虽然都是沿曲线传播，但不同视角范围内的光线其传播路径的曲率是不一样的，视角越大，曲率越大。表现在图像中，就是越靠近镜头中心图像畸变越小，越靠近镜头边缘图像畸变越大。因此给所有视角范围内的光线确定一个统一的传播模型就变得更加困难。再次，由于镜头边缘的畸变太大，图像边缘上的几个像素所包含的内容相当于图像中心处数十个甚至上百个像素所包含的内容。因此在图像边缘上一个像素的偏差相当于图像中心处数十上百个像素的偏差，这给模型的精确性带来了非常大的挑战。综上所述，鱼眼镜头目前只应用于安防监控等单纯需要大视角信息的场合，却很少用于测量或者三维建模等对精度要求高的场合。

通过对鱼眼相机进行精确数学建模来获取鱼眼相机的精确成像参数(光线的传播路径)，进一步地获取鱼眼相机立体视觉对的参数(鱼眼相机间的旋转和平移)，就可以运用大畸变的鱼眼相机来实现立体视觉测量。这个获取鱼眼相机的成像参数以及鱼眼相机立体视觉对参数的过程称之为鱼眼相机立体视觉对的标定。普通相机的标定已有非常成熟的解决方案，比如张正友、Tsai的方法。然而因为成像原理不同，这些方法不能用于标定鱼眼镜头，必须找到新的数学模型来描述鱼眼镜头的成像过程。近来出现一种基于多项式拟合的技术较好地解决了这一问题。

如果能解决上述问题，提供一个基于鱼眼镜头的立体视觉的测量***解决方案，即可以解决现有测量***视野范围小、无法在测量的同时获取全面的彩色影像等问题，将为城市管理、能源、统计、勘测等各部门的数据采集和测量提供一种全新而简便的集成化解决方案，为城市的数字化建设提供新的解决方案。

发明内容

本发明的目的在于解决上述问题，提供了一种基于鱼眼镜头的车载移动摄影测量***，能克服上述不足，达到测量范围大、影像色彩信息丰富完整的特点。

本发明的技术方案为：本发明揭示了一种基于鱼眼镜头的车载移动摄影测量***，包括数据采集装置、数据存储装置和数据处理装置，其中：

数据采集装置，用于采集影像和数据，其包括鱼眼相机立体视觉模块，用于采集鱼眼图像信息，鱼眼相机立体视觉模块包括鱼眼镜头、相机以及标定装置，其中：

鱼眼镜头，与相机连接，获取鱼眼影像；

相机，与鱼眼镜头连接，接收鱼眼镜头获取的鱼眼影像并进行影像采集；

标定装置，获取鱼眼镜头的成像参数以及鱼眼镜头立体视觉对参数；

数据存储装置，耦接数据采集装置，用于存储采集到的影像数据；

数据处理装置，耦接数据存储装置，用于处理所采集到的数据，实现对鱼眼影像的测量。

根据本发明的基于鱼眼镜头的车载移动摄影测量***的一实施例，数据采集装置还包括：

车辆位姿获取模块，用于获取车辆的位置、姿态、运行距离的信息；

数据存储装置还存储车辆位姿获取模块得到的车辆的位置、姿态、运行距离的信息。

全景采集模块，用于采集连续的道路全景影像。

根据本发明的基于鱼眼镜头的车载移动摄影测量***的一实施例，鱼眼相机立体视觉模块至少包括两台鱼眼相机。

根据本发明的基于鱼眼镜头的车载移动摄影测量***的一实施例，标定装置包括：

鱼眼成像关系建立模块，建立半单位球面模型，并在单位球面模型上建立鱼眼成像关系；

初始化内参模块，耦接鱼眼成像关系建立模块，初始化内参，其中内参是鱼眼相机自身的参数，与外部环境无关；

单应矩阵计算模块，耦接初始化内参模块，计算单应矩阵；

初始化外参模块，耦接单应矩阵计算模块，初始化外参，其中外参是鱼眼相机与外部环境之间的参数；

迭代优化模块，耦接初始化外参模块，LM迭代最小化重投影误差，得到优化后的内参与外参。

根据本发明的基于鱼眼镜头的车载移动摄影测量***的一实施例，鱼眼成像关系建立模块的处理如下：

记空间中某一点x在鱼眼图像上的成像点为(u，v)，空间点x指向单位球球心的入射角度为

其中θ是入射光线与单位球Z轴正方向的夹角，

是入射光线在单位球XY平面上的投影与单位球X轴正方向的夹角，则由入射光线的入射角度到鱼眼图像上的成像点(u，v)的鱼眼成像模型由以下方程描述：

r(θ)＝k₁θ+k₂θ²+k₃θ³+k₄θ⁴+k₅θ⁵+...k_nθⁿ (1)

r表示图像上的某个像素点到图像主点的距离，k₁，...k_n是鱼眼镜头的成像参数；

Δ_r表示鱼眼镜头的径向畸变，l₁，...l_n，i₁，...i₄为径向畸变参数；

Δ_t表示鱼眼镜头的切向畸变，m₁，...m_n，j₁，...j₄为切向畸变参数；

x_d为像素点的位置向量，即(x_d，y_d)，u_r为径向单位向量，

为切向单位向量；

(\begin{matrix} u \\ v \end{matrix}) = (\begin{matrix} m_{u} & 0 \\ 0 & m_{v} \end{matrix}) (\begin{matrix} x_{d} \\ y_{d} \end{matrix}) + (\begin{matrix} u_{0} \\ v_{0} \end{matrix}) - - - (5)

(u₀，v₀)为图像的主点坐标，(m_u，m_v)分别为CCD水平与垂直方向上单位距离上的像素数，(k₁，k₂，k₃，k₄，k₅，l₁，l₂，l₃，i₁，i₂，i₃，i₄，m₁，m₂，m₃，j₁，j₂，j₃，j₄，m_u，m_v，u₀，v₀)为待标定的鱼眼镜头的参数。

根据本发明的基于鱼眼镜头的车载移动摄影测量***的一实施例，初始化内参模块的处理如下：

读取镜头参数，镜头参数包括焦距f和最大视角θ_max；

令k₁＝f，r_max＝fθ_max；

检测鱼眼图像边界，对边界点进行椭圆拟合：

求得u₀，v₀，a，b，则

其中(a，b)为椭圆的长短半轴，(u₀，v₀)为椭圆圆心；

其它的参数设置为0。

根据本发明的基于鱼眼镜头的车载移动摄影测量***的一实施例，单应矩阵计算模块包括：

棋盘格图像读取单元，读取标定板上的棋盘格图像；

交叉点选取单元，耦接棋盘格图像读取单元，在每张棋盘格图像上依次选取棋盘格顶点处的4个交叉点；

反投影单元，耦接交叉点选取单元，利用初始化内参，将交叉点

反投影到单位球上得到单位向量

其中j为第j幅图像，i为第i个棋盘格交叉点；

单应矩阵估计单元，耦接反投影单元，估计单应矩阵H_j，将单位向量表示为

单位向量与标定板上的空间点xⁱ之间存在单应变换H_j，通过线性算法估计单应变换H_j，得到标定板上的空间点xⁱ在单应变换H_j下的对应点：

其中x_p ⁱ是第j幅棋盘格图像上第i个交叉点的空间坐标；

单应矩阵优化单元，耦接单应矩阵估计单元，通过LM迭代最小化误差函数

以优化单应矩阵H_j，其中是向量

和

之间的夹角；

交叉点映射单元，耦接单应矩阵优化单元，将标定板上的所有交叉点通过优化后的单应矩阵H_j映射到单位球上得到对应点：

交叉点图像坐标获取单元，耦接交叉点映射单元，将单位向量变换到图像上：

在投影点

的邻域寻找交叉点的图像坐标

棋盘格图像读取单元，读取标定板上的棋盘格图像；

交叉点选取单元，耦接棋盘格图像读取单元，在每张棋盘格图像上依次选取所有的棋盘格交叉点；

反投影到单位球上得到单位向量

其中j为第j幅图像，i为第i个棋盘格交叉点；

单应矩阵估计单元，耦接反投影单元，估计单应矩阵H_j，将单位向量

表示为

单位向量与标定板上的空间点xⁱ之间存在单应变换H_j，通过线性算法估计单应变换H_j，得到标定板上的空间点xⁱ在单应变换H_j下的对应点：其中x_p ⁱ是第j幅棋盘格图像上第i个交叉点的空间坐标；

以优化单应矩阵H_j，其中

是向量

和

之间的夹角。

根据本发明的基于鱼眼镜头的车载移动摄影测量***的一实施例，初始化外参模块的处理如下：

外参

由单应矩阵H_j初始化如下：

r_{j}^{1} = λ_{j} h_{j}^{1},

r_{j}^{2} = λ_{j} h_{j}^{2},

r_{j}^{3} = r_{j}^{1} \times r_{j}^{2},

t_{j} = λ_{j} h_{j}^{3}

其中，

R_j为旋转参数，T_j为位移参数，

为第j个单应矩阵H_j的第i个列向量。

根据本发明的基于鱼眼镜头的车载移动摄影测量***的一实施例，迭代优化模块的处理如下：

LM迭代最小化重投影误差

得到优化后的内参和外参，其中

为图像点

之间的像素距离，M为每幅棋盘格图像上的交叉点数量，N为棋盘格图像数量。

本发明对比现有技术有如下的有益效果：本发明的主要特点是将鱼眼相机立体视觉模块应用于车载测量***，利用鱼眼镜头视野范围大的特点，实现大范围的测量。通过车辆位姿获取单元，可以得到所采集图像的位置及距离信息，包括经纬度、姿态、以及车辆运行的距离等，加上全景采集模块，同时获取具有丰富色彩信息的全景影像数据。从而解决了现有测量***测量范围小，图像色彩少或信息不完全的问题，可让用户快速获取所需要的信息，尤其针对城市环境，大大提升了测量的效率和精准度，为数据统计和更新，特别是城市建设、规划、勘测提供了更加简易和全面的方法。

附图说明

图1示例性的示出了本发明的基于鱼眼镜头的车载移动摄影测量***的第一实施例的原理图。

图2示例性的示出了本发明的基于鱼眼镜头的车载移动摄影测量***的第二实施例的原理图。

图3示例性的示出了本发明的基于鱼眼镜头的车载移动摄影测量***的第三实施例的原理图。

图4示例性的示出了本发明的标定装置的实施例的原理图。

图5示例性的示出了本发明的标定装置中的单应矩阵计算模块的一种示例的细化原理图。

图6示例性的示出了本发明的标定装置中的单应矩阵计算模块的另一种示例的细化原理图。

图7示例性的示出了本发明的半单位球面模型的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

在介绍本发明的各个实施例之前，还要对鱼眼图像(影像)作一个说明：鱼眼影像是指通过鱼眼镜头汇聚光线透射到感光成像元件上并存储获得的影像，由于是通过鱼眼镜头获取的，则称这类照片为鱼眼影像。

介绍本发明的各个实施例之前，还要对鱼眼相机做一个说明：将相机与鱼眼镜头连接，所生成的影像能获得超广角的视野范围，则称这类相机为鱼眼相机。

在介绍本发明的各个实施例之前，首先对全景或者全景图像(影像)作一个说明：若将图像放在一个球空间、或立方体空间、或柱形空间、或锥形空间、或椭球空间中，通过上述空间中固定一点作为观察点，通过该观察点采用单点透视该图像所获得的影像的过程即为全景播放，则该图像被对应的称为球形全景、或立方体全景、或柱形全景、或锥形全景、或椭球全景，并且统称该图像为全景或全景图像(影像)。

基于鱼眼镜头的车载移动摄影测量***的第一实施例

图1示出了本发明的基于鱼眼镜头的车载移动摄影测量***的第一实施例。请参见图1。本实施例的基于鱼眼镜头的车载移动摄影测量***包括数据采集装置10a、数据存储装置20a、数据处理单元装置30a。

这三个装置之间的连接关系是：数据采集装置10a的输出端连接数据存储装置20a，数据存储装置20a的输出端连接数据处理装置30a。

数据采集装置10a包括鱼眼相机立体视觉模块102a，由至少一个立体视觉对组成，即两台鱼眼相机。鱼眼立体相机立体视觉模块102a包括鱼眼镜头1022a，CCD相机1024a和标定装置1026a。鱼眼镜头1022a连接到CCD相机1024a上，组成可以生成超广角视野的鱼眼影像。标定装置1026a用于获取鱼眼相机的成像参数以及鱼眼相机立体视觉对参数。

标定装置1026a是采用基于多项式拟合的技术来建立数学模型并描述鱼眼镜头的成像过程。

标定装置1026a的细化原理如图4所示，鱼眼成像关系建立模块40、初始化内参模块50、单应矩阵计算模块60、初始化外参模块70、迭代优化模块80。

这些模块之间的连接关系是：鱼眼成像关系建立模块40的输出端耦接初始化内参模块50，初始化内参模块50的输出端连接单应矩阵计算模块60，单应矩阵计算模块60的输出端耦接初始化外参模块70，初始化外参模块70的输出端耦接迭代优化模块80。

以下是标定装置1026a的其中一种示例的实施情况。

鱼眼成像关系建立模块40用于建立半单位球面模型，并在单位球面模型上建立鱼眼成像关系。

半单位球面模型的示意如图7所示，记空间中一点x，其在鱼眼图像上的成像点为(u，v)，其指向单位球球心的入射光线的入射角度为

其中θ是入射光线与单位球Z轴正方向的夹角，

是入射光线在单位球XY平面上的投影与单位球X轴正方向的夹角，则由入射光线的入射角度

到鱼眼图像上的成像点(u，v)的鱼眼成像模型由以下方程描述：

r(θ)＝k₁θ+k₂θ²+k₃θ³+k₄θ⁴+k₅θ⁵+...k_nθⁿ (1)

r表示图像上的某个像素点到图像主点的距离，k₁，...k_n是鱼眼镜头的成像参数。

Δ_r表示鱼眼镜头的径向畸变，l₁，...l_n，i₁，...i₄为径向畸变参数。

Δ_t表示鱼眼镜头的切向畸变，m₁，...m_n，j₁，...j₄为切向畸变参数。

x_d为像素点的位置向量，即(x_d，y_d)，u_r为径向单位向量，

为切向单位向量。

(\begin{matrix} u \\ v \end{matrix}) = (\begin{matrix} m_{u} & 0 \\ 0 & m_{v} \end{matrix}) (\begin{matrix} x_{d} \\ y_{d} \end{matrix}) + (\begin{matrix} u_{0} \\ v_{0} \end{matrix}) - - - (5)

(u₀，v₀)为图像的主点坐标，(m_u，m_v)分别为CCD水平与垂直方向上单位距离上的像素数。

其中已知信息为空间点x的入射角度

以及空间点x在图像上的对应点(u，v)，其余参数(k₁，k₂，k₃，k₄，k₅，l₁，l₂，l₃，i₁，i₂，i₃，i₄，m₁，m₂，m₃，j₁，j₂，j₃，j₄，m_u，m_v，u₀，v₀)为待标定的鱼眼镜头参数。需要指出的是，公式(1)、(2)、(3)中的多项式的阶次可以到无穷次，实验中发现，公式(1)中多项式阶次取到5次，公式(2)、公式(3)中多项式阶次取到3次已经能够精确建模鱼眼镜头成像过程。

初始化内参模块50用于初始化内参。

初始化内参的具体处理如下。读取厂商提供的镜头参数：焦距f以及最大视角θ_max令k₁＝f，r_max＝fθ_max。检测鱼眼图像边界，对边界点进行椭圆拟合：

{(\frac{u - u_{0}}{a})}^{2} + {(\frac{v - v_{0}}{b})}^{2} = 1 .

然后根据椭圆拟合求得u₀，v₀，a，b，则

其中(a，b)为椭圆的长短半轴，(u₀，v₀)为椭圆圆心。并将其它参数设置为0。

内参是指鱼眼相机自身的参数，与外部环境无关，本实施例中所指的内参为：(k₁，k₂，k₃，k₄，k₅，l₁，l₂，l₃，i₁，i₂，i₃，i₄，m₁，m₂，m₃，j₁，j₂，j₃，j₄，m_u，m_v，u₀，v₀)需要指出的是，公式(1)、(2)、(3)中的多项式的阶次可以到无穷次，实验中发现，公式(1)中多项式阶次取到5次，公式(2)、公式(3)中多项式阶次取到3次已经能够精确建模鱼眼镜头成像过程。

单应矩阵计算模块60用于计算单应矩阵。

计算单应矩阵的原理如图5所示，包括棋盘格图像读取单元600、交叉点选取单元601、反投影单元602、单应矩阵估计单元603、单应矩阵优化单元604、交叉点映射单元605以及交叉点图像坐标获取单元606。

这些单元之间的连接关系是：棋盘格图像读取单元600的输出端耦接交叉点选取单元601，交叉点选取单元601的输出端耦接反投影单元602，反投影单元602的输出端耦接单应矩阵估计单元603，单应矩阵估计单元603的输出端耦接单应矩阵优化单元604，单应矩阵优化单元604的输出端耦接交叉点映射单元605，交叉点映射单元605的输出端耦接交叉点图像坐标获取单元606。

棋盘格图像读取单元600读取棋盘格图像。

交叉点选取单元601在每张棋盘格图像上依次选取棋盘格顶点处的4个交叉点。

反投影单元602利用初始化内参，将交叉点

反投影到单位球上得到单位向量

过程如下：

(\begin{matrix} x_{j}^{i} \\ y_{j}^{i} \end{matrix}) = (\begin{matrix} \frac{1}{m_{u}} & 0 \\ 0 & \frac{1}{m_{v}} \end{matrix}) (\begin{matrix} u_{j}^{i} - u_{0} \\ v_{j}^{i} - v_{0} \end{matrix})

r_{j}^{i} = \sqrt{{(x_{j}^{i})}^{2} + {(y_{j}^{i})}^{2}}

k_{1} θ_{j}^{i} + k_{2} {(θ_{j}^{i})}^{2} + k_{3} {(θ_{j}^{i})}^{3} + k_{4} {(θ_{j}^{i})}^{4} + k_{5} {(θ_{j}^{i})}^{5} - r_{j}^{i} = 0

其中j为第j幅图像，i为第i个棋盘格交叉点。

单应矩阵估计单元603估计单应矩阵。单位向量

可以表示为：其与标定板上的空间点xⁱ之间存在单应变换H_j，通过线性算法估计该单应变换H_j，得到空间点xⁱ在单应变换H_j下的对应点：

{\hat{x}}_{j}^{i} = H_{j} x_{p}^{i} / | | H_{j} x_{p}^{i} | | .

单应矩阵优化单元604通过LM迭代最小化误差函数以优化单应矩阵H_j，其中

是向量

和

之间的夹角。

交叉点映射单元605将标定板上的所有交叉点通过优化后的单应矩阵H_j映射到单位球上得到对应点：

其中x_p ⁱ是第j幅棋盘格图像上第i个交叉点的空间坐标。

交叉点图像坐标获取单元606将单位向量变换到图像上：在投影点的邻域寻找交叉点的图像坐标

重复反投影单元602、单应矩阵估计单元603以及单应矩阵优化单元604的运作就能得到基于所有交叉点估计的更加准确的单应矩阵H_j。

初始化外参模块70初始化外参。

外参可由单应矩阵H_j初始化如下：

r_{j}^{1} = λ_{j} h_{j}^{1},

r_{j}^{2} = λ_{j} h_{j}^{2},

r_{j}^{3} = r_{j}^{1} \times r_{j}^{2},

t_{j} = λ_{j} h_{j}^{3}

其中，

R_j为旋转参数，T_j为位移参数，

为第j个单应矩阵H_j的第i个列向量。

外参是指鱼眼相机与外部环境之间的参数，本实施例中是指鱼眼相机与标定板之间的参数R_j和T_j。

迭代优化模块80用于LM迭代最小化重投影误差

得到优化后的内参与外参。其中

为图像点

以下是标定装置1026a的其中另一种示例的实施情况。

这一种示例的标定装置的鱼眼成像关系建立模块40用于建立半单位球面模型，并在单位球面模型上建立鱼眼成像关系。

其中θ是入射光线与单位球Z轴正方向的夹角，

r(θ)＝k₁θ+k₂θ²+k₃θ³+k₄θ⁴+k₅θ⁵+...k_nθⁿ (1)

x_d为像素点的位置向量，即(x_d，y_d)，ur为径向单位向量，为切向单位向量。

(\begin{matrix} u \\ v \end{matrix}) = (\begin{matrix} m_{u} & 0 \\ 0 & m_{v} \end{matrix}) (\begin{matrix} x_{d} \\ y_{d} \end{matrix}) + (\begin{matrix} u_{0} \\ v_{0} \end{matrix}) - - - (5)

其中已知信息为空间点x的入射角度

初始化内参模块50用于初始化内参。

{(\frac{u - u_{0}}{a})}^{2} + {(\frac{v - v_{0}}{b})}^{2} = 1 .

然后根据椭圆拟合求得u₀，v₀，a，b，则

单应矩阵计算模块60用于计算单应矩阵。

本实施例的计算单应矩阵的原理如图6所示，包括棋盘格图像读取单元610、交叉点选取单元611、反投影单元612、单应矩阵估计单元613、单应矩阵优化单元614。

这些单元之间的连接关系是：棋盘格图像读取单元610的输出端耦接交叉点选取单元611，交叉点选取单元611的输出端耦接反投影单元612，反投影单元612的输出端耦接单应矩阵估计单元613，单应矩阵估计单元613的输出端耦接单应矩阵优化单元614。

棋盘格图像读取单元610读取棋盘格图像。

交叉点选取单元611在每张棋盘格图像上依次选取所有的棋盘格交叉点。

反投影单元612利用初始化内参，将交叉点

反投影到单位球上得到单位向量

过程如下：

(\begin{matrix} x_{j}^{i} \\ y_{j}^{i} \end{matrix}) = (\begin{matrix} \frac{1}{m_{u}} & 0 \\ 0 & \frac{1}{m_{v}} \end{matrix}) (\begin{matrix} u_{j}^{i} - u_{0} \\ v_{j}^{i} - v_{0} \end{matrix})

r_{j}^{i} = \sqrt{{(x_{j}^{i})}^{2} + {(y_{j}^{i})}^{2}}

k_{1} θ_{j}^{i} + k_{2} {(θ_{j}^{i})}^{2} + k_{3} {(θ_{j}^{i})}^{3} + k_{4} {(θ_{j}^{i})}^{4} + k_{5} {(θ_{j}^{i})}^{5} - r_{j}^{i} = 0

其中j为第j幅图像，i为第i个棋盘格交叉点。

单应矩阵估计单元613估计单应矩阵。单位向量

其中x_p ⁱ是第j幅棋盘格图像上第i个交叉点的空间坐标。

单应矩阵优化单元614通过LM迭代最小化误差函数以优化单应矩阵H_j，其中

是向量

和

之间的夹角。

初始化外参模块70初始化外参。

外参

可由单应矩阵H_j初始化如下：

r_{j}^{1} = λ_{j} h_{j}^{1},

r_{j}^{2} = λ_{j} h_{j}^{2},

r_{j}^{3} = r_{j}^{1} \times r_{j}^{2},

t_{j} = λ_{j} h_{j}^{3}

其中，R_j为旋转参数，T_j为位移参数，

为第j个单应矩阵H_j的第i个列向量。

迭代优化模块80用于LM迭代最小化重投影误差得到优化后的内参与外参。其中

为图像点

之间的像素距离，其中M为每幅棋盘格图像上的交叉点数量，N为棋盘格图像数量。

数据采集装置10a中的鱼眼立体视觉模块102a采集连续的鱼眼图像，并将这些影像数据存储到数据存储装置20a上，利用鱼眼立体视觉对的参数，数据处理装置30a对所采集的数据进行处理，实现对所采集的鱼眼影像的测量，比如道路宽度、转弯半径，建筑的宽、高，广告牌的面积等。

值得注意的是，其中的CCD相机1024a也可以是其他形式的例如CMOS相机。

基于鱼眼镜头的车载移动摄影测量***的第二实施例

图2示出了本发明的基于鱼眼镜头的车载移动摄影测量***的第二实施例。请参见图2。本实施例的基于鱼眼镜头的车载移动摄影测量***包括数据采集装置10b，数据存储装置20b，数据处理装置30b。

这三个装置之间的连接关系是：数据采集装置10b的输出端连接数据存储装置20b，数据存储装置20b的输出端连接数据处理装置30b。

数据采集装置10b包括鱼眼相机立体视觉模块102b和车辆位姿获取模块104b。鱼眼相机立体视觉模块102b，由至少一个立体视觉对组成，即两台鱼眼相机。鱼眼立体相机立体视觉模块102b包括鱼眼镜头1022b，CCD相机1024b和标定装置1026b。鱼眼镜头1022b连接到CCD相机1024b上，组成可以生成超广角视野的鱼眼影像。标定装置1026b用于获取鱼眼相机的成像参数以及鱼眼相机立体视觉对参数。标定装置1026b的具体实施方式(有两种)均在第一实施例中详细描述，在此不再赘述。

车辆位姿获取模块104b用于获取车辆行驶过程中的经纬度、姿态信息以及车辆行驶的准确距离。车辆位姿获取模块104b可以包括卫星定位***，如GPS天线、GPS接收器、GPS基站，车辆姿态获取装置，如陀螺仪、加速度计等，车辆运行距离获取装置，如汽车总线或车轮编码器等。

数据采集装置10b中的鱼眼立体视觉模块102b采集连续的鱼眼图像，车辆位姿获取模块104b获取车辆行驶过程中的经纬度、姿态及车辆运行的距离信息，这些影像数据和位置、姿态、距离信息存储到数据存储装置20b上。利用鱼眼立体视觉对的参数，数据处理装置30b对所采集的数据进行处理，实现对所采集的鱼眼影像的测量，比如道路宽度，建筑的宽、高等。结合车辆位姿获取模块104b所采集到的信息，数据处理装置30b可以计算出鱼眼影像中物体的精确大地坐标和方向，即影像中感兴趣物体的绝对位置信息，从而对感兴趣物体进行标注，以实现城市管理、普查和规划的目的。

基于鱼眼镜头的车载移动摄影测量***的第三实施例

图3示出了本发明的基于鱼眼镜头的车载移动摄影测量***的第三实施例。请参见图3。本实施例的基于鱼眼镜头的车载移动摄影测量***包括数据采集装置10c、数据存储装置20c、数据处理装置30c。

这三个装置之间的连接关系是：数据采集装置10c的输出端连接数据存储装置20c，数据存储装置20c的输出端连接数据处理装置30c。

数据采集装置10c包括鱼眼相机立体视觉模块102c、车辆位姿获取模块104c和全景采集模块106c。

鱼眼相机立体视觉模块102c由至少一个立体视觉对组成，即两台鱼眼相机。鱼眼立体相机立体视觉模块102c包括鱼眼镜头1022c，CCD相机1024c和标定装置1026c。鱼眼镜头1022c连接到CCD相机1024c上，组成可以生成超广角视野的鱼眼影像。标定装置1026c用于获取鱼眼相机的成像参数以及鱼眼相机立体视觉对参数。标定装置1026c的具体实施方式(有两种)均在第一实施例中详细描述，在此不再赘述。

车辆位姿获取模块104c用于获取车辆行驶过程中的经纬度、姿态信息，以及车辆行驶的准确距离。车辆位姿获取模块104c可以包括卫星定位***，如GPS天线、GPS接收器、GPS基站，车辆姿态获取装置，如陀螺仪、加速度计等，车辆运行距离获取装置，如汽车总线或车轮编码器等。

全景采集模块106c用于采集高质量连续的全景影像数据。

数据采集装置10c中的鱼眼立体视觉模块102c采集连续的鱼眼图像，车辆位姿获取模块104c获取车辆行驶过程中的经纬度、姿态及车辆运行的距离信息，全景采集模块106c采集连续的道路全景影像，这些影像数据和位置、姿态、距离信息存储到数据存储装置20c上。利用鱼眼立体视觉对的参数，数据处理装置30c对所采集的数据进行处理，实现对所采集的鱼眼影像的测量，比如道路宽度，建筑的宽、高等。结合车辆位姿获取模块104c所采集到的信息，数据处理装置30c可以计算出鱼眼影像的精确大地坐标和方向，即所测量物体的绝对位置信息，同时可以得到具有GIS信息的全景影像数据。

上述实施例是提供给本领域普通技术人员来实现和使用本发明的，本领域普通技术人员可在不脱离本发明的发明思想的情况下，对上述实施例做出种种修改或变化，因而本发明的发明范围并不被上述实施例所限，而应该是符合权利要求书所提到的创新性特征的最大范围。