CN101794448A - 主从摄像机***的全自动标定方法 - Google Patents

Abstract

一种图像处理技术领域的主从摄像机***的全自动标定方法，本发明通过将转动动态摄像机过程中自动获得的图像拼接成马赛克图像，再自动将该图像与主摄像机图像进行特征点的提取与匹配，从而获得静态摄像机图像像素坐标与动态摄像机控制参数之间的标定结果，实现全自动标定主从摄像机***。通过马赛克拼接图像表示动态摄像机的视场范围，利用了SURF特征点估计两个不同成像平面之间的关系，只需要事先制定好动态摄像机的运动轨迹，就可以自动的标定出该主从摄像机***，能够在保持标定精度较好的条件下(误差率为3％-5％)，实现主从摄像机***的自动标定，节省了人力与时间，降低了标定过程中的复杂程度。

Description

主从摄像机***的全自动标定方法

技术领域

本发明涉及的是一种图像处理技术领域的方法，具体是一种主从摄像机***的全自动标定方法。

背景技术

目前，公共场所普遍配备了摄像监控***，安装大量的摄像头用于大型覆盖区域。随着监控***的发展，对高分辨率监控图像的需求也越来越多。主从摄像机监控***便是一种解决该问题的方案。在这样一个***中，一个(或多个)固定的摄像机作为一个领导者，引领一台(或多台)动态(PTZ)摄像机去聚焦感兴趣目标。这样就即可以获得一个宽广区域的宏观监控图像，又可以获得目标的高分辨率图像。主从摄像机***的标定正是解决这个问题的方法。经过标定的主从摄像机监控***，当主摄像机扑捉到感兴趣目标时，动态摄像机可以自动对准该目标，从而获得细节图像。

经过对现有技术的文献检索发现，相关文献如下：

1、X.Zhou等人在The First ACM International Workshop on Video Surveillance(美国计算机协会第一届国际视频监控研讨会)所发表的“A master-slave system to acquirebiometric imagery of humans at distance(一种在远距离获取人物生物图像特征的主从***)”一文中从主摄像机图像中选取一些样本点，手动移动动态摄像机，使得动态摄像机图像中心与选取的样本点相对应，然后记录下样本点坐标与控制参数。其他静态摄像机图像上的点对应的动态摄像机转动参数能够通过对已经获得的参数进行插值得到。但是该技术需要手动的调整动态摄像机参数，因此耗时且不方便大规模应用。

2、A.W.Senior等2005年在The seventh IEEE Workshops on Application of ComputerVision(国际电气电子工程师协会第七届计算机视觉应用研讨会)所发表的“AcquiringMulti-Scale Images by Pan-Tilt-Zoom Control and Automatic Multi-Camera Calibration(通过PTZ控制与多摄像机自动标定获得多尺度图像)”中，该技术通过计算两个摄像机图像之间的单应矩阵来估计主摄像机与动态摄像机的关系。但是该技术也需要手动的调整动态摄像机参数，同样的耗时且不方便大规模应用。

发明内容

本发明针对现有技术的上述不足，提出了一种主从摄像机***的全自动标定方法。本发明通过将转动动态摄像机过程中自动获得的图像拼接成马赛克图像，再自动将该图像与主摄像机图像进行特征点的提取与匹配，从而获得静态摄像机图像像素坐标与动态摄像机位置参数之间的标定结果，实现全自动标定主从摄像机***。

本发明是通过以下技术方案实现的，包括如下步骤：

步骤一，预先设定动态摄像机的运动轨迹，动态摄像机沿着该运动轨迹自动旋转，并每隔时间t采样一幅子图像，同时按采集到的时间顺序，对每一幅子图像标号，记录采集每幅子图像时动态摄像机转动的参数，即：水平转动角度与垂直转动角度，并将每幅子图像及其对应的标号和对应的动态摄像机转动的参数和位置信息一并进行存储。

步骤二，动态摄像机旋转结束后，对得到的N幅子图像按拍摄位置进行分组排列处理，得到K组子图像集合，对每组子图像集合中相邻的两幅子图像进行特征点提取和匹配处理，得到匹配特征点对，进而得到同一组子图像集合中相邻的两幅子图像间的变换矩阵M。

所述的分组排列处理是将子图像对应的动态摄像机水平转动角度差小于阈值的子图像划分为一组子图像集合，从而得到K组子图像集合，并将每组中的子图像按照对应的动态摄像机的垂直转动角度大小进行排列。

所述的特征点提取和匹配处理是通过SURF方法完成的，即由快速Hessian提取器提取每组子图像集合中相邻两幅子图像的特征点，再得到特征点的SURF特征向量。

所述的同一组子图像集合中相邻的两幅子图像间的变换矩阵M是通过RANSAC方法得到的，具体是：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\end{array}\right]=\left[\begin{array}{ccc}{m}_0& m_1& m_2\\ m_3& m_4& m_5\\ m_6& m_7& m_8\end{array}\right]*\left[\begin{array}{c}x\\ y\\ z\end{array}\right]\mathrm{or}{u}^{\′}=\mathrm{Mu},$

其中：(x′，y′，z′)和(x，y，z)分别是同一特征点在相邻的两幅子图像坐标系中的坐标，子图像坐标系以图像左上角为原点、x轴水平向右为正、y轴垂直向下为正建立的。

步骤三，根据得到的变换矩阵，对每组子图像集合进行图像拼接处理，从而将每组子图像集合拼接成一幅列拼接图像，共得到K幅列拼接图像。

所述的图像拼接处理，具体是：以每组子图像集合中最中间的子图像为该组子图像集合的基准图像，将该组子图像集合中其他子图像根据得到的变换矩阵变换至基准图像平面坐标系中，对图像的重合区域的像素点进行带权重的灰度拼接处理，对图像的非重合区域中的像素点的灰度保持不变，从而将每组子图像集合拼接成一幅列拼接图像。

所述的带权重的灰度拼接处理，具体是：

$f_{\mathrm{res}}\left(P\right)=\frac{\underset{i=1}{\overset{W}{\mathrm{\Σ}}}{f}_i\left(P\right)d_i^n}{\underset{i=1}{\overset{W}{\mathrm{\Σ}}}{d}_i^n},$

其中：f_res(P)是拼接后P点的像素值，f_i(p)是第i幅图像中P点的像素值，W为参加拼接的图像数量，n为一常数，d_i为P点至参与拼接的第i幅图像边界的最短距离。

步骤四，将K幅列拼接图像作为一个图像集合，对其依次进行特征点提取、匹配处理和图像拼接处理，从而得到一幅马赛克拼接图像。

步骤五，由静态摄像机采集一幅静态图像，对该静态图像和马赛克拼接图像进行特征点提取与匹配处理，且利用极线几何原理进一步搜索特征点，获得静态图像和马赛克拼接图像间的匹配特征点对，且使匹配的特征点尽可能均匀分布在静态图像和马赛克拼接图像上。

所述的极线几何原理是：一幅图像的点在另一幅图像上的对应点位于相应极线上。

所述的进一步搜索特征点是使静态图像的特征点在马赛克拼接图像上的对应点位于相应极线上，从而增加特征点的数量。

步骤六，对静态图像和马赛克拼接图像进行全局标定处理，从而得到静态图像与马赛克拼接图像间的映射关系，即主从摄像机之间的标定关系。

所述的全局标定处理，包括步骤为：

1)在静态图像中的任一点P_s(x_s，y_s)邻近区域内，搜索静态图像特征点，N_R(P_s)为距离点P_s距离小于或者等于R的所有静态图像特征点构成的集合，即：

$N_R\left(P_s\right)=\{(P_s^1,r_1),(P_s^2,r_2),...\},$ 其中：P_s ⁱ是距离P_s为r_i的特征点；

2)找到N_R(P_s)集合中的每个静态图像特征点P_s ⁱ对应的马赛克图像特征点P_d ⁱ，得到包括P_d ⁱ的子图像，进而从包括P_d ⁱ的子图像中选择P_d ⁱ最接近其所在子图像中心的一幅子图像I_r ⁱ；

3)查找子图像I_r ⁱ在所有子图像集合中的标号，得到动态摄像机在拍摄子图像I_r ⁱ时所处的位置参数S_i；

4)对动态摄像机的位置参数S_i进行插值处理，得到静态图像中任一点P_s(x_s，y_s)与动态摄像机的位置参数的对应关系，具体是：

S＝S₁*f₁(r₁，f₂，...r_n)+S₂*f₂(r₁，r₂，...r_n)+...+S_n*f_n(r₁，r₂，...r_n)，

其中：f_i为插值函数。

与现有技术相比，本发明的有益效果是：通过马赛克拼接图像表示动态摄像机的视场范围，利用了SURF特征点估计两个不同成像平面之间的关系，只需要事先制定好动态摄像机的运动轨迹，就可以自动的标定出该主从摄像机***，能够在保持标定精度较好的条件下(误差率为3％-5％)，实现主从摄像机***的自动标定，节省了人力与时间，降低了标定过程中的复杂程度。

附图说明

图1是实施例动态摄像机转动轨迹示意图；

其中：(a)是拍摄64幅子图像时的动态摄像机的位置；(b)是动态摄像机拍摄的若干子图像。

图2是带权重的灰度拼接处理的示意图。

图3是实施例得到的马赛克拼接图像。

图4是实施例得到的匹配特征点；

其中：(a)是单纯的利用SURF方法得到的匹配特征点；(b)是进一步利用极线几何原理得到的匹配特征点。

图5是全局标定处理的示意图。

图6是实施例的标定结果；

其中：(a)静态摄像机拍摄的一幅图像；(b)是相对于(a)的动态摄像机拍摄的图像；(c)是静态摄像机拍摄的另一幅图像；(d)是相对于(c)的静态摄像机拍摄的图像。

图7是实施例标定误差率示意图；

其中：(a)是实施例X方向的误差率示意图；(b)是实施例Y方向的误差率示意图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施例中对某室内安装于不同地点的一台静态摄像机与一台动态摄像机进行标定。静态摄像机与动态摄像机的分辨率均为320*240。

本实施例包括如下步骤：

步骤一，预先设定动态摄像机的运动轨迹是“之”字形，动态摄像机沿着给定的运动轨迹自动旋转，并每隔时间t采样一幅子图像，同时按采集的时间顺序，对每一幅子图像标号，记录每次采集图像时动态摄像机转动的参数，即：水平转动角度与垂直转动角度，并将每幅子图像及其对应的标号和对应的动态摄像机转动的参数和位置信息一并进行存储。

本实施例中动态摄像机的运动轨迹如图1(a)中箭头所示，分别在图2中圆点处采样一幅子图像，共得到64幅子图像，得到的若干子图像如图1(b)所示。

步骤二，动态摄像机旋转结束后，对得到的N幅子图像按拍摄位置进行分组排列处理，得到K组子图像集合，对每组子图像集合中相邻两幅子图像进行特征点提取和匹配处理，得到匹配特征点对，进而得到同一组子图像集合中相邻的两幅子图像间的变换矩阵M。

所述的分组排列处理是将对64幅子图像按摄像机水平转动角度从小到大分为8组，每组包含8幅子图像，并将每组中的子图像按照对应的动态摄像机的垂直转动角度由小到大进行排序。

所述的特征点提取和匹配处理是通过SURF方法完成的，即由快速Hessian提取器提取每组子图像集合中相邻两幅子图像的特征点，再得到特征点的SURF特征向量。

所述的同一组子图像集合中相邻的两幅子图像间的变换矩阵M是通过RANSAC方法得到的，具体是：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\end{array}\right]=\left[\begin{array}{ccc}{m}_0& m_1& m_2\\ m_3& m_4& m_5\\ m_6& m_7& m_8\end{array}\right]*\left[\begin{array}{c}x\\ y\\ z\end{array}\right]\mathrm{or}{u}^{\′}=\mathrm{Mu},$

其中：(x′，y′，z′)和(x，y，z)分别是同一特征点在相邻的两幅子图像坐标系中的坐标，子图像坐标系是以图像左上角为原点、x轴水平向右为正、y轴垂直向下为正建立的。

步骤三，根据得到的变换矩阵，对每组子图像集合进行图像拼接处理，从而将每组子图像集合拼接成一幅列拼接图像，共得到8幅列拼接图像。

所述的图像拼接处理，具体是：以每组子图像集合中最中间的子图像(本实施例为第五幅子图像)为该组子图像集合的基准图像，将该组子图像集合中其他子图像根据得到的变换矩阵变换至基准图像平面坐标系中，对图像的重合区域的像素点进行带权重的灰度拼接处理，对图像的非重合区域中的像素点的灰度保持不变，从而将每组子图像集合拼接成一幅列拼接图像。

如图2所示，所述的带权重的灰度拼接处理，具体是：

$f_{\mathrm{res}}\left(P\right)=\frac{\underset{i=1}{\overset{8}{\mathrm{\Σ}}}{f}_i\left(P\right)d_i^n}{\underset{i=1}{\overset{8}{\mathrm{\Σ}}}{d}_i^n},$

其中：f_res(P)是拼接后P点的像素值，f_i(p)是第i幅图像中P点的像素值，n为一常数，d_i为P点至参与拼接的第i幅图像边界的最短距离。

本实施例中n为3。

步骤四，将8幅列拼接图像作为一个图像集合，按照步骤二和步骤三的方法对其依次进行特征点提取、匹配处理和图像拼接处理，从而得到一幅马赛克拼接图像。

本实施例得到的马赛克拼接图像如图3所示，其中的白线条为每幅子图像的边界。

步骤五，由静态摄像机采集一幅静态图像，对该静态图像和马赛克拼接图像进行特征点提取与匹配处理，且利用极线几何原理进一步搜索特征点，获得静态图像和马赛克拼接图像间的匹配特征点对，且使匹配的特征点尽可能均匀分布在两幅图像上。

所述的极线几何原理是：一幅图像的点在另一幅图像上的对应点位于相应极线上。

本实施例单纯的利用SURF方法得到的匹配特征点如图4(a)所示，进一步利用极线几何原理得到的匹配特征点如图4(b)所示。

步骤六，对静态图像和马赛克拼接图像进行全局标定处理，从而得到静态图像与马赛克拼接图像间的映射关系，即主从摄像机之间的标定关系。

如图5所示，所述的全局标定处理，包括步骤为：

1)在静态图像中的任一点P_s(x_s，y_s)邻近区域内，搜索静态图像SURF特征点，N_R(P_s)为距离点P_s距离小于或者等于R的所有静态图像SURF特征点构成的集合：

$N_R\left(P_s\right)=\{(P_s^1,r_1),(P_s^2,r_2),...\},$ 其中：P_s ⁱ是距离P_s为r_i的特征点；

2)找到N_R(P_s)集合中的每个静态图像SURF特征点P_s ⁱ对应的马赛克图像特征点P_d ⁱ，得到包括P_d ⁱ的子图像，进而从包括P_d ⁱ的子图像中选择P_d ⁱ最接近子图像中心的子图像I_r ⁱ；

3)查找子图像I_r ⁱ在所有子图像集合中的标号，得到动态摄像机在拍摄子图像I_r ⁱ时所处的位置S_i(α_i，β_i，Z_i)i＝1，2，3...；

4)对S_i(α_i，β_i，Z_i)进行插值处理，得到静态图像中任一点P_s(x_s，y_s)与动态摄像机的位置参数的对应关系，具体是：

S＝S₁*f₁(r₁，r₂，...r_n)+S₂*f₂(r₁，r₂，...r_n)+...+S_n*f_n(r₁，r₂，...r_n)，

其中：f_i为插信函数。

本实施例中插值函数具体为： $f_i(r_1,r_2,...r_n)=r_i/\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{r}_i^2}.$

使用静态摄像机拍摄一幅图像如图6(a)所示，使用本实施例方法对图6(a)中的感兴趣目标(人)进行动态摄像机的标定，从而旋转动态摄像机得到的图像如图6(b)所示；类似的，静态摄像机拍摄另一幅图像如图6(c)所示，相应的得到动态摄像机的图像如图6(d)所示。

本实施例选取静态图像中的任意8个点，按得到的主从摄像机之间的标定关系计算出动态摄像机对应的旋转角度，旋转动态摄像机后，计算动态摄像机图像中心与选取点对应的点在X、Y方向上的距离，从而根据X、Y方向上的距离与动态摄像机分辨率的比值，得到主从摄像机标定的误差率，本实施例得到的X方向的误差率如图7(a)所示，Y方向的误差率如图7(b)所示，由图7可知本实施例方法简单且标定精度高。

Claims (9)

1.一种主从摄像机***的全自动标定方法，其特征在于，包括以下步骤：

步骤一，预先设定动态摄像机的运动轨迹，动态摄像机沿着该运动轨迹自动旋转，并每隔时间t采样一幅子图像，同时按采集到的时间顺序，对每一幅子图像标号，记录采集每幅子图像时动态摄像机转动的参数，，并将每幅子图像及其对应的标号和对应的动态摄像机转动的参数和位置信息进行存储；

步骤二，动态摄像机旋转结束后，对得到的N幅子图像按拍摄位置进行分组排列处理，得到K组子图像集合，对每组子图像集合中相邻的两幅子图像进行特征点提取和匹配处理，得到匹配特征点对，进而得到同一组子图像集合中相邻的两幅子图像间的变换矩阵M；

步骤三，根据得到的变换矩阵，对每组子图像集合进行图像拼接处理，从而将每组子图像集合拼接成一幅列拼接图像，共得到K幅列拼接图像；

步骤四，将K幅列拼接图像作为一个图像集合，对其依次进行特征点提取、匹配处理和图像拼接处理，从而得到一幅马赛克拼接图像；

步骤五，由静态摄像机采集一幅静态图像，对该静态图像和马赛克拼接图像进行特征点提取与匹配处理，且利用极线几何原理进一步搜索特征点，获得静态图像和马赛克拼接图像间的匹配特征点对，且使匹配的特征点尽可能均匀分布在静态图像和马赛克拼接图像上；

步骤六，对静态图像和马赛克拼接图像进行全局标定处理，从而得到静态图像与马赛克拼接图像间的映射关系，即主从摄像机之间的标定关系。

2.根据权利要求1所述的主从摄像机***的全自动标定方法，其特征是，步骤一中所述的动态摄像机转动的参数是指：水平转动角度与垂直转动角度。

3.根据权利要求1所述的主从摄像机***的全自动标定方法，其特征是，步骤二中所述的分组排列处理是将子图像对应的动态摄像机水平转动角度差小于阈值的子图像划分为一组子图像集合，从而得到K组子图像集合，并将每组中的子图像按照对应的动态摄像机的垂直转动角度大小进行排列。

4.根据权利要求1所述的主从摄像机***的全自动标定方法，其特征是，步骤二中所述的特征点提取和匹配处理是由快速Hessian提取器提取每组子图像集合中相邻两幅子图像的特征点，再得到特征点的SURF特征向量。

5.根据权利要求1所述的主从摄像机***的全自动标定方法，其特征是，步骤二中所述的同一组子图像集合中相邻的两幅子图像间的变换矩阵M是：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\end{array}\right]=\left[\begin{array}{ccc}{m}_0& m_1& m_2\\ m_3& m_4& m_5\\ m_6& m_7& m_8\end{array}\right]*\left[\begin{array}{c}x\\ y\\ z\end{array}\right]\mathrm{or}{u}^{\′}=\mathrm{Mu},$

其中：(x′，y′，z′)和(x，y，z)分别是同一特征点在相邻的两幅子图像坐标系中的坐标，子图像坐标系以图像左上角为原点、x轴水平向右为正、y轴垂直向下为正建立的。

6.根据权利要求1所述的主从摄像机***的全自动标定方法，其特征是，步骤三中所述的图像拼接处理是：以每组子图像集合中最中间的子图像为该组子图像集合的基准图像，将该组子图像集合中其他子图像根据得到的变换矩阵变换至基准图像平面坐标系中，对图像的重合区域的像素点进行带权重的灰度拼接处理，对图像的非重合区域中的像素点的灰度保持不变，从而将每组子图像集合拼接成一幅列拼接图像。

7.根据权利要求6所述的主从摄像机***的全自动标定方法，其特征是，所述的带权重的灰度拼接处理是：

$f_{\mathrm{res}}\left(P\right)=\frac{\underset{i=1}{\overset{W}{\mathrm{\Σ}}}{f}_i\left(P\right)d_i^n}{\underset{i=1}{\overset{W}{\mathrm{\Σ}}}{d}_i^n},$

其中：f_res(P)是拼接后P点的像素值，f_i(p)是第i幅图像中P点的像素值，W为参加拼接的图像数量，n为一常数，d_i为P点至参与拼接的第i幅图像边界的最短距离。

8.根据权利要求1所述的主从摄像机***的全自动标定方法，其特征是，步骤五中所述的进一步搜索特征点是使静态图像的特征点在马赛克拼接图像上的对应点位于相应极线上，从而增加特征点的数量。

9.根据权利要求1所述的主从摄像机***的全自动标定方法，其特征是，步骤六中所述的全局标定处理，包括步骤为：

1)在静态图像中的任一点P_s(x_s，y_s)邻近区域内，搜索静态图像特征点，N_R(P_s)为距离点P_s距离小于或者等于R的所有静态图像特征点构成的集合，即：

其中：P_s ⁱ是距离P_s为r_i的特征点；

2)找到N_R(P_s)集合中的每个静态图像特征点P_s ⁱ对应的马赛克图像特征点P_d ⁱ，得到包括P_d ⁱ的子图像，进而从包括P_d ⁱ的子图像中选择P_d ⁱ最接近其所在子图像中心的一幅子图像I_r ⁱ；

3)查找子图像I_r ⁱ在所有子图像集合中的标号，得到动态摄像机在拍摄子图像I_r ⁱ时所处的位置参数S_i；

4)对动态摄像机的位置参数S_i进行插值处理，得到静态图像中任一点P_s(x_s，y_s)与动态摄像机的位置参数的对应关系是：

S＝S₁*f₁(r₁，r₂，...r_n)+S₂*f₂(r₁，r₂，...r_n)+...+S_n*f_n(r₁，r₂，...r_n)，

其中：f_i为插值函数。

Images