CN104537659A - 双摄像机的自动标定方法和*** - Google Patents

Abstract

本发明提供一种双摄像机的自动标定方法和***，该方法包括：控制PTZ摄像机按预设的水平方向运动步长和垂直方向运动步长对监控区域进行拍摄，获得PTZ图像，并记录拍摄每张PTZ图像时的拍摄参数；其中，PTZ摄像机拍摄时前后两张PTZ图像的重叠区域大于预设的重叠范围；PTZ摄像机的拍摄参数包括PTZ摄像机当前的拍摄倍数、在水平方向上的移动值以及在垂直方向上的移动值；提取每张PTZ图像的特征点以及广角图像的特征点；匹配PTZ图像的特征点和广角图像的特征点，获得PTZ图像与广角图像的匹配对；根据匹配对中PTZ图像的特征点和广角图像的特征点的像素坐标，获得广角图像中像素点的坐标与PTZ摄像机的拍摄参数的映射关系。本发明的定标过程简单，定标结果精确度高。

Description

双摄像机的自动标定方法和***

技术领域

本发明涉及摄像机标定技术领域，特别是涉及一种双摄像机的自动标定方法，以及一种双摄像机的自动标定***。

背景技术

目前安防监控领域要获取清晰监控视频图像作为监控和执法取证依据的需求不断提高，传统单摄像头监控***不能直接获取大场景中远处不断移动目标的清晰图像，而是通过人工对目标物的通过手动变焦进行特写放大，这种监控方式会造成巨大的人力浪费，并且经常会产生监控人员因疲劳漏报的情况。因此现有的双摄像监控***的应用工程成本较高，仅仅应用于特殊重要的场所，不能广泛应用在现在的城市安防和交通领域。

传统技术中广泛采用双摄像头监控***，该***具有两个摄像装置，包括广角摄像机，即枪机，以及PTZ摄像机，即球机；广角摄像机指引球机摄像机旋转定位到监测对象的位置，使目标置于PTZ球机摄像机的中心位置。PTZ在安防监控应用中是Pan/Tilt/Zoom的简写，代表云台全方位(上下、左右)移动及镜头变倍、变焦控制。一个固定摄像机的像素位置与球机PTZ的摄像机运动参数的空间映射关系是两者联动的关键。当对于室外大场景工程定标难度较大，现有的标定方法比较繁琐，所以双摄像头的监控的普适性低，设备成本较高。

现有技术中，摄像机标定的方法分为三类：

一类是人工手动定标，选中广角图像中一个像素点作为目标，记下图像坐标，然后控制球机，使枪机的目标点位于球机画面的中心，对广角图像中每个像素进行定标，形成了监控***的枪机像素与球机运动位置一一对应的点映射表，但是在实际应用的过程比较繁琐，特别是大场景下，一一定标的过程非常巨大。

一类为几何映射模型法，它需要足够精确的摄像机成像模型和环境几何模型，采用多参考点变焦转换与定焦参数模型参数，定标映射的准确性取决于该模型参数准确性，参数求解过程比较复杂，容易产生求解参数不收敛，无法保证定标的精确性。

另一类为数据拟合法，是通过采集广角的像素位置信息与摄像机运动参数之间信息，采用多项式近似求解或者最小二乘法进行求出映射关系，传统技术中采用三对以上的广角枪机图像像素坐标与球机的水平与垂直高度对点用最小二乘法求解映射转换矩阵，其中的摄像机的内参是通过畸变校正方法得到，其中三对以上的对点是通过图像的采用sift/surf特征匹配算法得到，但是该方法最大的问题在于室外大场景与纹理比较单一的场景及大量的重复性的纹理中会产生很大的偏差，参数求解参数的精度会影响到定标的准确性，如果对整个城市的每个安防和交通区域监控区域存在很多类似广场及重复性纹理的场景，实施难度较大。还有的一种就是采用大量的离线数据进行标定过程，需要采用大量数据采集进行拟合，计算量比较大。

发明内容

基于此，本发明提供一种双摄像机的自动标定方法和***，其定标过程简单，定标结果精确度高。

一种双摄像机的自动标定方法，包括如下步骤：

控制PTZ摄像机按预设的水平方向运动步长和垂直方向运动步长对所述监控区域进行拍摄，获得PTZ图像，并记录拍摄每张所述PTZ图像时所述PTZ摄像机的拍摄参数；其中，PTZ摄像机拍摄时前后两张PTZ图像的重叠区域大于预设的重叠范围；所述PTZ摄像机的拍摄参数包括所述PTZ摄像机当前的拍摄倍数、在水平方向上的移动值以及在垂直方向上的移动值；

提取每张PTZ图像的特征点，以及提取由广角摄像机拍摄所述监控区域获得的广角图像的特征点；其中，所述PTZ图像的特征点和广角图像的特征点均为二进制特征点；

匹配所述PTZ图像的特征点和所述广角图像的特征点，获得所述PTZ图像与所述广角图像的匹配对；

根据所述匹配对中所述PTZ图像的特征点和所述广角图像的特征点的像素坐标，获得所述广角图像中像素点的坐标与所述PTZ摄像机的拍摄参数的映射关系。

一种双摄像机的自动标定***，所述双摄像机包括广角摄像机和PTZ摄像机，所述广角摄像机拍摄监控区域获得广角图像，所述PTZ摄像机拍摄监控区域的获得PTZ图像，其中，所述***包括：

控制模块，用于控制所述PTZ摄像机按预设的水平方向运动步长和垂直方向运动步长对所述监控区域进行拍摄，获得所述PTZ图像，并记录拍摄每张所述PTZ图像时所述PTZ摄像机的拍摄参数；其中，PTZ摄像机拍摄时前后两张PTZ图像的重叠区域大于预设的重叠范围；所述PTZ摄像机的拍摄参数包括所述PTZ摄像机当前的拍摄倍数、在水平方向上的移动值以及在垂直方向上的移动值；

提取模块，用于提取每张PTZ图像的特征点以及所述广角图像的特征点；其中，所述PTZ图像的特征点和广角图像的特征点均为二进制特征点；

匹配模块，用于匹配所述PTZ图像的特征点和所述广角图像的特征点，获得所述PTZ图像与所述广角图像的匹配对；

映射关系获取模块，用于根据所述匹配对中所述PTZ图像的特征点和所述广角图像的特征点的像素坐标，获得所述广角图像中像素点的坐标与所述PTZ摄像机的拍摄参数的映射关系。

上述双摄像机的自动标定方法和***，通过控制PTZ摄像机按预设的水平方向运动步长和垂直方向运动步长对所述监控区域进行拍摄，获得所述PTZ图像，并记录PTZ摄像机的拍摄参数；对所述PTZ图像和广角图像进行特征点提取和匹配，获得两者的特征点匹配对；根据特征点匹配对中所述PTZ图像和广角图像的特征点对应关系，确定所述广角图像中像素点的坐标与所述PTZ摄像机的拍摄参数的映射关系；本发明标定过程简单、工程操作方便，通过图像特征点提取和匹配实现了自动标定，减少了标定的时间和复杂度；本发明并未涉及非几何参数模型，能保证标定结果的精确度。

附图说明

图1为本发明双摄像机的自动标定方法在一实施例中的流程示意图。

图2为本发明双摄像机的自动标定***在一实施例中的结构示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细说明，但本发明的实施方式不限于此。

如图1所示，是本发明的双摄像机的自动标定方法在第一实施方式中的流程示意图，包括如下步骤：

S11、控制PTZ摄像机按预设的水平方向运动步长和垂直方向运动步长对所述监控区域进行拍摄，获得PTZ图像，并记录拍摄每张所述PTZ图像时所述PTZ摄像机的拍摄参数；其中，PTZ摄像机拍摄时前后两张PTZ图像的重叠区域大于预设的重叠范围；所述PTZ摄像机的拍摄参数包括所述PTZ摄像机当前的拍摄倍数、在水平方向上的移动值以及在垂直方向上的移动值；

S12、提取每张PTZ图像的特征点，以及提取由广角摄像机拍摄所述监控区域获得的广角图像的特征点；其中，所述PTZ图像的特征点和广角图像的特征点均为二进制特征点；

S13、匹配所述PTZ图像的特征点和所述广角图像的特征点，获得所述PTZ图像与所述广角图像的匹配对；

S14、根据所述匹配对中所述PTZ图像的特征点和所述广角图像的特征点的像素坐标，获得所述广角图像中像素点的坐标与所述PTZ摄像机的拍摄参数的映射关系；

本实施例的双摄像机的自动标定方法，通过控制PTZ摄像机按预设的水平方向运动步长和垂直方向运动步长对所述监控区域进行拍摄，获得所述PTZ图像，并记录PTZ摄像机的拍摄参数；对所述PTZ图像和广角图像进行特征点提取和匹配，获得两者的特征点匹配对；根据特征点匹配对中所述PTZ图像和广角图像的特征点对应关系，确定所述广角图像中像素点的坐标与所述PTZ摄像机的拍摄参数的映射关系；本实施例的方法标定过程简单、工程操作方便，通过图像特征点提取和匹配实现了自动标定，减少了标定的时间和复杂度；本实施例的方法并未涉及非几何参数模型，能保证标定结果的精确度。

对于S11、控制PTZ摄像机按预设的水平方向运动步长和垂直方向运动步长对所述监控区域进行拍摄，获得PTZ图像，并记录拍摄每张所述PTZ图像时所述PTZ摄像机的拍摄参数；其中，PTZ摄像机拍摄时前后两张PTZ图像的重叠区域大于预设的重叠范围；所述PTZ摄像机的拍摄参数包括所述PTZ摄像机当前的拍摄倍数、在水平方向上的移动值以及在垂直方向上的移动值；

本实施例中，广角摄像机能拍摄到整个监控区域的广角图像，而PTZ摄像机则能拍摄到监控区域中的局部放大图像；首先，可预先设定PTZ的水平方向和垂直方向运动步长ΔP和ΔT，控制PTZ摄像机在广角图像上轮回拍摄获得多张PTZ图像，同时保证前一张PTZ图像与后一张PTZ图像保证至少有一定的区域重叠；例如可设定至少有1/2的区域重叠，或者是2/3的区域重叠，该预设的水平方向运动步长、垂直方向运动步长以及重叠范围大小具体可根据实际需要而设定，本实施例对此不做限定；

PTZ摄像机在拍摄监控区域时，对生成的每张PTZ图像记录其对应的PTZ摄像机的拍摄参数，所述拍摄参数包括所述PTZ摄像机当前的拍摄倍数z、在水平方向上的移动值p以及在垂直方向上的移动值t；在本实施例中，拍摄倍数可为固定值，而在水平方向上的移动值p以及在垂直方向上的移动值t，可预先设定PTZ摄像机的拍摄零位，根据PTZ摄像机拍摄时的位置与零位的差异，确定在水平方向上的移动值p以及在垂直方向上的移动值t。

S12、提取每张PTZ图像的特征点，以及提取由广角摄像机拍摄所述监控区域获得的广角图像的特征点；其中，所述PTZ图像的特征点和广角图像的特征点均为二进制特征点；

本实施例中，对每张PTZ图像及所述广角图像进行特征提取；本实施例提取的特征点，可用二进值特征描述子，但不限ORB、BRISK、FREAK等；采用二进制编码的方法对特征点周围区域块(patch)提取描述子，在提取特征前可对patch进行高斯平滑，可以减少噪声的干扰，二进制描述子更简单，存储空间计算也比SIFT、SURF更小更快。例如，利用ORB特征进行对广角图像和PTZ图像分别提取特征点。

S13、匹配所述PTZ图像的特征点和所述广角图像的特征点，获得所述PTZ图像与所述广角图像的匹配对；

本实施例中，对从两幅图像中提取的特征点进行特征匹配；若采用二进制进行特征描述，可以采用hamming距离，最近查找法(Nearest Neighbor,AN)如、FLANN，或者近似最近邻查找(Approximate Nearest Neighbor,ANN)，例如K-d tree with BBF,Randomized Kd-trees,Hierarchical K-means Tree、LSH(Locality-Sensitive Hashing)等算法进行初步特征匹配，并不限于此类方法。再对匹配上的点进行筛选，保留正确匹配点。常用的方法包括Ransac，得到广角图像与PTZ图像的匹配对{(x₁,y₁)_wide,…,(x_n,y_n)_wide}_wide和{(x₁,y₁)_ptz,…,(x_n,y_n)_ptz}_PTZ。

S14、根据所述匹配对中所述PTZ图像的特征点和所述广角图像的特征点的像素坐标，获得所述广角图像中像素点的坐标与所述PTZ摄像机的拍摄参数的映射关系；

本实施例中，PTZ图像与广角图像的匹配对中包括了所述PTZ图像的特征点和所述广角图像的特征点，根据两幅图像的特征点的像素坐标，可获得所述广角图像中像素点的坐标与所述PTZ摄像机的拍摄参数的映射关系。

对N张PTZ图像重复上述的标定过程，可得到n维映射关系，当输入监测对象的像素坐标时，则可根据映射关系查找对应的PTZ摄像机的拍摄参数，获得监测对象的局部放大图像。

以下是本发明双摄像机的自动标定方法的第二实施方式，本实施方式与第一实施方式的区别在于，所述控制所述PTZ摄像机按预设的水平方向运动步长和垂直方向运动步长对所述监控区域进行拍摄，获得所述PTZ图像，并记录拍摄每张所述PTZ图像时所述PTZ摄像机的拍摄参数的步骤可包括：

根据预设的PTZ摄像机拍摄的零位，使所述广角图像的四个顶点位置位于所述PTZ摄像机拍摄的中心点，获得所述PTZ摄像机的水平方向移动范围和垂直方向移动范围；其中，所述零位为所述广角图像的其中一个顶点；

控制所述PTZ摄像机按预设的水平方向运动步长和垂直方向运动步长，在所述水平方向移动范围和垂直方向移动范围内对所述监控区域进行拍摄，获得所述PTZ图像，并记录拍摄每张所述PTZ图像时所述PTZ摄像机的拍摄参数；其中，所述在水平方向上的移动值为所述PTZ摄像机在水平方向上与所述零位的差值，所述在垂直方向上的移动值为所述PTZ摄像机在垂直方向上与所述零位的差值；

本实施例中，以广角图像的其中一个顶点作为零位，例如可为广角图像的左上顶点，则图像中左上的值最小，右下的值最大；具体的，零位的位置可根据实际需要选择广角图像的任一顶点，本实施例对此不做限定；摇动PTZ摄像机，使广角图像的顶点位于PTZ摄像机拍摄的中心，记录四个顶点位于PTZ摄像机拍摄的中心时PTZ摄像机从零位到该拍摄位置的转动距离，获得水平方向边界点和垂直方向边界点：P_min、P_max、T_min和T_max，此处的P为水平摇动Pan，T为垂直运动Tilt，根据水平方向边界点和垂直方向边界点获得PTZ摄像机的水平方向移动范围和垂直方向移动范围；

接着，控制所述PTZ摄像机在水平方向移动范围和垂直方向移动范围内轮回移动拍摄监控区域，获得多张PTZ图像，移动时可按预设的水平方向运动步长ΔP和垂直方向运动步长ΔT进行拍摄，记录拍摄每张所述PTZ图像时所述PTZ摄像机的拍摄参数；所述在水平方向上的移动值即为所述PTZ摄像机在水平方向上与所述零位的差值，所述在垂直方向上的移动值即为所述PTZ摄像机在垂直方向上与所述零位的差值。

在一较佳实施例中，对于室外场景存在单一场景以及重复性纹理场景的情况，经常会出现特征匹配对中匹配位置具有较大偏差的情况，因此需检查匹配对，删除误差较大或出现匹配错误的特征点；在本实施例中，在所述匹配所述PTZ图像的特征点和所述广角图像的特征点，获得所述PTZ图像与所述广角图像的匹配对的步骤之后，还可包括步骤：

将所述广角图像划分为多个图像块，确定各个图像块对应的坐标范围；

根据所述PTZ图像对应的水平方向上的移动值以及垂直方向上的移动值，确定与所述PTZ图像对应的图像块的坐标范围；

判断所述匹配对中广角图像的特征点的像素坐标是否与所述坐标范围对应；

若不对应，则判断所述匹配对有误并将其删除；

本实施例中，对特征点引入了位置信息：对广角图像划分成N个小图像块，并根据广角图像的像素坐标，确定每个小图像块的坐标范围；例如，将分辨率为300*200的广角图像划分为3*2的6个小图像块，则第一个图像块的坐标范围为：行(0，100)列(0，100)，第二个图像块的坐标范围为：行(100，200)列(0，100)，以此类推；

由于已设定了PTZ摄像机的零位，则广角图像位置(x,y)与球机的水平垂直的运动(p,t)基本保持一致，因此根据PTZ图像对应的拍摄参数：水平方向上的移动值以及垂直方向上的移动值，以及预设的步长，则可确定PTZ图像与哪一个图像块对应；例如，若PTZ图像对应的拍摄参数为：PTZ摄像机在水平方向上移动5步，步长为30个像素点，在垂直方向上移动6步，步长为10个像素点，因此可确定PTZ图像对应的图像块应为第二个图像块，对应的坐标范围为行(100，200)列(0，100)；

因此，匹配对中广角图像的特征点的像素坐标与PTZ图像特征点，两者的对应关系，应与上述确定的PTZ图像对应的图像块的坐标范围是一致的；例如，若检查发现匹配对中，与PTZ图像特征点对应的广角图像的特征点的像素坐标是在第三个图像块的坐标范围内，则可立刻判断该匹配对有误，应将其删除。其中，上述图像块的大小和形状可根据实际的广角图像的大小而设定，本实施例对此不进行限定，可优选为行列数相等的宫格，更有利于提高检测速度。

本实施例通过上述对广角图像划分图像块，并检查匹配对的过程，可快速地查找出匹配错误的特征点，进而提高标定的准确性。

在一较佳实施例中，所述根据所述匹配对中所述PTZ图像的特征点和所述广角图像的特征点的像素坐标，获得所述广角图像中像素点的坐标与所述PTZ摄像机的拍摄参数的映射关系的步骤包括：

对所述匹配对中的{(x₁,y₁)_ptz,…,(x_n,y_n)_ptz}_PTZ和{(x₁,y₁)_wide,…,(x_n,y_n)_wide}_wide，计算距离所述PTZ图像的中心点最近的特征点(x_r,y_r)_ptz，计算距离所述广角图像的中心点(x_r,y_r)_wide最近的特征点；其中，所述{(x₁,y₁)_ptz,…,(x_n,y_n)_ptz}_PTZ为所述匹配对中PTZ图像的特征点；所述{(x₁,y₁)_wide,…,(x_n,y_n)_wide}_wide为所述匹配对中广角图像的特征点，(x_n,y_n)为像素坐标；

根据(x_r,y_r)_ptz对应的PTZ摄像机的拍摄参数，获得所述映射关系(x_r,y_r,p,t,z)；其中，p,t,z为所述PTZ摄像机的拍摄参数；

本实施例中，对于每张PTZ图像及广角图像，都有对应的匹配对(包含所述PTZ图像的特征点和所述广角图像的特征点)；本实施例中，可计算距离所述PTZ图像的中心点最近的特征点(x_r,y_r)_ptz，计算距离所述广角图像的中心点(x_r,y_r)_wide最近的特征点，该距离可采用欧氏距离方法计算得到；之后根据PTZ图像中的(x_r,y_r)_ptz，广角图像中的(x_r,y_r)_wide，可获得该映射关系(x_r,y_r,p,t,z)，即所述广角图像中像素点的坐标与所述PTZ摄像机的拍摄参数的对应关系。

通过PTZ摄像机的轮回拍摄，不断得到PTZ图像，并可自动获得映射关系；对获得的映射关系，还可在积累到一定数量后，采用统计分析方法，例如采用计算映射关系中的均值和方差，将方差较大的映射关系删除掉，从而减少误差，提高标定的精确度。

在一较佳实施例中，对于在映射关系中没有包含的监测点，可以采用线性插值法得到该点相应的PTZ值；可包括如下步骤：

获取待监测像素点；

当所述映射关系中没有包含待监测像素点时，根据下式计算所述待监测像素点对应的PTZ摄像机的拍摄参数：

$\left\{\begin{array}{cc}{p}_0=p_{\mathrm{nl}}+\frac{x_0-x_{\mathrm{nl}}}{x_{\mathrm{nr}}-x_{\mathrm{nl}}}*(p_{\mathrm{nr}}-p_{\mathrm{nl}}),& x_{\mathrm{nl}}<x_0<x_{\mathrm{nr}},\\ t_0=t_{\mathrm{nl}}+\frac{y_0-y_{\mathrm{nl}}}{y_{\mathrm{nr}}-y_{\mathrm{nl}}}*(t_{\mathrm{nr}}-t_{\mathrm{nl}}),& y_{\mathrm{nl}}<y_0<y_{\mathrm{nr}},\end{array}\right.$

其中，(x₀,y₀)_wide为所述待监测像素点，(x_nr,y_nr)_wide和(x_nl,y_nl)_wide为所述映射关系中距离所述待监测像素点最近的两个像素点。

如图2所示，是本发明一种双摄像机的自动标定***在第一实施方式中的结构示意图，所述双摄像机包括广角摄像机和PTZ摄像机，所述广角摄像机拍摄监控区域获得广角图像，所述PTZ摄像机拍摄监控区域获得PTZ图像，所述***包括：

控制模块21，用于控制所述PTZ摄像机按预设的水平方向运动步长和垂直方向运动步长对所述监控区域进行拍摄，获得所述PTZ图像，并记录拍摄每张所述PTZ图像时所述PTZ摄像机的拍摄参数；其中，PTZ摄像机拍摄时前后两张PTZ图像的重叠区域大于预设的重叠范围；所述PTZ摄像机的拍摄参数包括所述PTZ摄像机当前的拍摄倍数、在水平方向上的移动值以及在垂直方向上的移动值；

提取模块22，用于提取每张PTZ图像的特征点以及所述广角图像的特征点；其中，所述PTZ图像的特征点和广角图像的特征点均为二进制特征点；

匹配模块23，用于匹配所述PTZ图像的特征点和所述广角图像的特征点，获得所述PTZ图像与所述广角图像的匹配对；

映射关系获取模块24，用于根据所述匹配对中所述PTZ图像的特征点和所述广角图像的特征点的像素坐标，获得所述广角图像中像素点的坐标与所述PTZ摄像机的拍摄参数的映射关系；

本实施例的双摄像机的自动标定***，通过控制PTZ摄像机按预设的水平方向运动步长和垂直方向运动步长对所述监控区域进行拍摄，获得所述PTZ图像，并记录PTZ摄像机的拍摄参数；对所述PTZ图像和广角图像进行特征点提取和匹配，获得两者的特征点匹配对；根据特征点匹配对中所述PTZ图像和广角图像的特征点对应关系，确定所述广角图像中像素点的坐标与所述PTZ摄像机的拍摄参数的映射关系；本实施例标定过程简单、工程操作方便，通过图像特征点提取和匹配实现了自动标定，减少了标定的时间和复杂度；本实施例并未涉及非几何参数模型，能保证标定结果的精确度。

对于控制模块21，用于控制所述PTZ摄像机按预设的水平方向运动步长和垂直方向运动步长对所述监控区域进行拍摄，获得所述PTZ图像，并记录拍摄每张所述PTZ图像时所述PTZ摄像机的拍摄参数；其中，PTZ摄像机拍摄时前后两张PTZ图像的重叠区域大于预设的重叠范围；所述PTZ摄像机的拍摄参数包括所述PTZ摄像机当前的拍摄倍数、在水平方向上的移动值以及在垂直方向上的移动值；

本实施例中，广角摄像机能拍摄到整个监控区域的广角图像，而PTZ摄像机则能拍摄到监控区域中的局部放大图像；首先，可预先设定PTZ的水平方向和垂直方向运动步长ΔP和ΔT，控制PTZ摄像机在广角图像上轮回拍摄获得多张PTZ图像，同时保证前一张PTZ图像与后一张PTZ图像保证至少有一定的区域重叠；例如可设定至少有1/2的区域重叠，或者是1/3的区域重叠，该预设的水平方向运动步长、垂直方向运动步长以及重叠范围大小具体可根据实际需要而设定，本实施例对此不做限定；

PTZ摄像机在拍摄监控区域时，对生成的每张PTZ图像记录其对应的PTZ摄像机的拍摄参数，所述拍摄参数包括所述PTZ摄像机当前的拍摄倍数z、在水平方向上的移动值p以及在垂直方向上的移动值t；在本实施例中，拍摄倍数可为固定值，而在水平方向上的移动值p以及在垂直方向上的移动值t，可预先设定PTZ摄像机的拍摄零位，根据PTZ摄像机拍摄时的位置与零位的差异，确定在水平方向上的移动值p以及在垂直方向上的移动值t。

对于提取模块22，用于提取每张PTZ图像的特征点以及所述广角图像的特征点；其中，所述PTZ图像的特征点和广角图像的特征点均为二进制特征点；

本实施例中，对每张PTZ图像及所述广角图像进行特征提取；本实施例提取的特征点，可用二进值特征描述子，但不限ORB、BRISK、FREAK等；采用二进制编码的方法对特征点周围区域块(patch)提取描述子，在提取特征前可对patch进行高斯平滑，可以减少噪声的干扰，二进制描述子更简单，存储空间计算也比SIFT、SURF更小更快。例如，利用ORB特征进行对广角图像和PTZ图像分别提取特征点。

对于匹配模块23，用于匹配所述PTZ图像的特征点和所述广角图像的特征点，获得所述PTZ图像与所述广角图像的匹配对；

本实施例中，对从两幅图像中提取的特征点进行特征匹配；若采用二进制进行特征描述，可以采用hamming距离，最近查找法(Nearest Neighbor,AN)如FLann，或者近似最近邻查找(Approximate Nearest Neighbor,ANN)，例如K-dtree with BBF,Randomized Kd-trees,Hierarchical K-means Tree、LSH(Locality-Sensitive Hashing)等算法进行初步特征匹配，并不限于此类方法。再对匹配上的点进行筛选，保留正确匹配点。常用的方法包括Ransac，得到广角图像与PTZ图像的匹配对{(x₁,y₁)_wide,…,(x_n,y_n)_wide}_wide和{(x₁,y₁)_ptz,…,(x_n,y_n)_ptz}_PTZ。

对于映射关系获取模块24，用于根据所述匹配对中所述PTZ图像的特征点和所述广角图像的特征点的像素坐标，获得所述广角图像中像素点的坐标与所述PTZ摄像机的拍摄参数的映射关系；

本实施例中，PTZ图像与广角图像的匹配对中包括了所述PTZ图像的特征点和所述广角图像的特征点，根据两幅图像的特征点的像素坐标，可获得所述广角图像中像素点的坐标与所述PTZ摄像机的拍摄参数的映射关系。

对N张PTZ图像重复上述的标定过程，可得到n维映射关系，当输入监测对象的像素坐标时，则可根据映射关系查找对应的PTZ摄像机的拍摄参数，获得监测对象的局部放大图像。

以下是本发明双摄像机的自动标定***的第二实施方式，本实施方式与第一实施方式的区别在于，所述控制模块21还包括：

移动范围获取模块，用于根据预设的PTZ摄像机拍摄的零位，使所述广角图像的四个顶点位置位于所述PTZ摄像机拍摄的中心点，获得所述PTZ摄像机的水平方向移动范围和垂直方向移动范围；其中，所述零位为所述广角图像的其中一个顶点；

拍摄控制模块，用于控制所述PTZ摄像机按预设的水平方向运动步长和垂直方向运动步长，在所述水平方向移动范围和垂直方向移动范围内对所述监控区域进行拍摄，获得所述PTZ图像，并记录拍摄每张所述PTZ图像时所述PTZ摄像机的拍摄参数；其中，所述在水平方向上的移动值为所述PTZ摄像机在水平方向上与所述零位的差值，所述在垂直方向上的移动值为所述PTZ摄像机在垂直方向上与所述零位的差值；

本实施例中，以广角图像的其中一个顶点作为零位，例如可为广角图像的左上顶点，则图像中左上的值最小，右下的值最大；摇动PTZ摄像机，使广角图像的顶点位于PTZ摄像机拍摄的中心，记录四个顶点位于PTZ摄像机拍摄的中心时PTZ摄像机从零位到该拍摄位置的转动距离，获得水平方向边界点和垂直方向边界点：P_min、P_max、T_min和T_max，此处的P为水平摇动Pan，T为垂直运动Tilt，根据水平方向边界点和垂直方向边界点获得PTZ摄像机的水平方向移动范围和垂直方向移动范围；

接着，控制所述PTZ摄像机在水平方向移动范围和垂直方向移动范围内轮回移动拍摄监控区域，获得多张PTZ图像，移动时可按预设的水平方向运动步长ΔP和垂直方向运动步长ΔT进行拍摄，记录拍摄每张所述PTZ图像时所述PTZ摄像机的拍摄参数；所述在水平方向上的移动值即为所述PTZ摄像机在水平方向上与所述零位的差值，所述在垂直方向上的移动值即为所述PTZ摄像机在垂直方向上与所述零位的差值。

在一较佳实施例中，对于室外场景存在单一场景以及重复性纹理场景的情况，经常会出现特征匹配对中匹配位置具有较大偏差的情况，因此需检查匹配对，删除误差较大或出现匹配错误的特征点；因此，本实施例的***还可包括：

划分模块，用于将所述广角图像划分为多个图像块，确定各个图像块对应的坐标范围；

坐标范围确定模块，用于根据所述PTZ图像对应的水平方向上的移动值以及垂直方向上的移动值，确定与所述PTZ图像对应的图像块的坐标范围；

判断模块，用于判断所述匹配对中广角图像的特征点的像素坐标是否与所述坐标范围对应；

删除模块，用于若不对应，则判断所述匹配对有误并将其删除；

本实施例中，对特征点引入了位置信息：对广角图像划分成N个小图像块，并根据广角图像的像素坐标，确定每个小图像块的坐标范围；例如，将分辨率为300*200的广角图像划分为3*2的6个小图像块，则第一个图像块的坐标范围为：行(0,100)列(0,100)，第二个图像块的坐标范围为：行(100，200)列(0,100)，以此类推；

由于已设定了PTZ摄像机的零位，则广角图像位置(x,y)与球机的水平垂直的运动(p,t)基本保持一致，因此根据PTZ图像对应的拍摄参数：水平方向上的移动值以及垂直方向上的移动值，以及预设的步长，则可确定PTZ图像与哪一个图像块对应；例如，若PTZ图像对应的拍摄参数为：PTZ摄像机在水平方向上移动5步，步长为30个像素点，在垂直方向上移动6步，步长为10个像素点，因此可确定PTZ图像对应的图像块应为第二个图像块，对应的坐标范围为行(100，200)列(0,100)；

因此，匹配对中广角图像的特征点的像素坐标与PTZ图像特征点，两者的对应关系，应与上述确定的PTZ图像对应的图像块的坐标范围是一致的；例如，若检查发现匹配对中，与PTZ图像特征点对应的广角图像的特征点的像素坐标是在第三个图像块的坐标范围内，则可立刻判断该匹配对有误，应将其删除。其中，上述图像块的大小和形状可根据实际的广角图像的大小而设定，本实施例对此不进行限定，可优选为行列数相等的宫格，更有利于提高检测速度。

本实施例通过上述对广角图像划分图像块，并检查匹配对的过程，可快速地查找出匹配错误的特征点，进而提高标定的准确性。

在一较佳实施例中，所述映射关系获取模块24还可用于：对所述匹配对中的{(x₁,y₁)_ptz,…,(x_n,y_n)_ptz}_PTZ和{(x₁,y₁)_wide,…,(x_n,y_n)_wide}_wide，计算距离所述PTZ图像的中心点最近的特征点(x_r,y_r)_ptz，计算距离所述广角图像的中心点(x_r,y_r)_wide最近的特征点；其中，所述{(x₁,y₁)_ptz,…,(x_n,y_n)_ptz}_PTZ为所述匹配对中PTZ图像的特征点；所述{(x₁,y₁)_wide,…,(x_n,y_n)_wide}_wide为所述匹配对中广角图像的特征点，(x_n,y_n)为像素坐标；根据(x_r,y_r)_ptz对应的PTZ摄像机的拍摄参数，获得所述映射关系(x_r,y_r,p,t,z)；其中，p,t,z为所述PTZ摄像机的拍摄参数；

本实施例中，对于每张PTZ图像及广角图像，都有对应的匹配对(包含所述PTZ图像的特征点和所述广角图像的特征点)；本实施例中，可计算距离所述PTZ图像的中心点最近的特征点(x_r,y_r)_ptz，计算距离所述广角图像的中心点(x_r,y_r)_wide最近的特征点，该距离可采用欧氏距离方法计算得到；之后根据PTZ图像中的(x_r,y_r)_ptz，广角图像中的(x_r,y_r)_wide，可获得该映射关系(x_r,y_r,p,t,z)，即所述广角图像中像素点的坐标与所述PTZ摄像机的拍摄参数的映射关系。

通过PTZ摄像机的轮回拍摄，不断得到PTZ图像，并可自动获得映射关系；对获得的映射关系，还可在积累到一定数量后，采用统计分析方法，例如采用计算映射关系中的均值和方差，将方差较大的映射关系删除掉，从而减少误差，提高标定的精确度。

在一较佳实施例中，对于在映射关系中没有包含的监测点，可以采用线性插值法得到该点相应的PTZ值；本实施例的***还可包括：

获取模块，用于获取待监测像素点；

参数计算模块，用于当所述映射关系中没有包含待监测像素点时，根据下式计算所述待监测像素点对应的PTZ摄像机的拍摄参数：

$\left\{\begin{array}{cc}{p}_0=p_{\mathrm{nl}}+\frac{x_0-x_{\mathrm{nl}}}{x_{\mathrm{nr}}-x_{\mathrm{nl}}}*(p_{\mathrm{nr}}-p_{\mathrm{nl}}),& x_{\mathrm{nl}}<x_0<x_{\mathrm{nr}},\\ t_0=t_{\mathrm{nl}}+\frac{y_0-y_{\mathrm{nl}}}{y_{\mathrm{nr}}-y_{\mathrm{nl}}}*(t_{\mathrm{nr}}-t_{\mathrm{nl}}),& y_{\mathrm{nl}}<y_0<y_{\mathrm{nr}},\end{array}\right.$

其中，(x₀,y₀)_wide为所述待监测像素点，(x_nr,y_nr)_wide和(x_nl,y_nl)_wide为所述映射关系中距离所述待监测像素点最近的两个像素点。

本发明双摄像机的自动标定方法和***，通过控制PTZ摄像机按预设的水平方向运动步长和垂直方向运动步长对所述监控区域进行拍摄，获得所述PTZ图像，并记录PTZ摄像机的拍摄参数；对所述PTZ图像和广角图像进行特征点提取和匹配，获得两者的特征点匹配对；根据特征点匹配对中所述PTZ图像和广角图像的特征点对应关系，确定所述广角图像中像素点的坐标与所述PTZ摄像机的拍摄参数的映射关系；本实施例标定过程简单、工程操作方便，通过图像特征点提取和匹配实现了自动标定，减少了标定的时间和复杂度；本实施例并未涉及非几何参数模型，能保证标定结果的精确度。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种双摄像机的自动标定方法，其特征在于，包括如下步骤：

控制PTZ摄像机按预设的水平方向运动步长和垂直方向运动步长对所述监控区域进行拍摄，获得PTZ图像，并记录拍摄每张所述PTZ图像时所述PTZ摄像机的拍摄参数；其中，PTZ摄像机拍摄时前后两张PTZ图像的重叠区域大于预设的重叠范围；所述PTZ摄像机的拍摄参数包括所述PTZ摄像机当前的拍摄倍数、在水平方向上的移动值以及在垂直方向上的移动值；

提取每张PTZ图像的特征点，以及提取由广角摄像机拍摄所述监控区域获得的广角图像的特征点；其中，所述PTZ图像的特征点和广角图像的特征点均为二进制特征点；

匹配所述PTZ图像的特征点和所述广角图像的特征点，获得所述PTZ图像与所述广角图像的匹配对；

根据所述匹配对中所述PTZ图像的特征点和所述广角图像的特征点的像素坐标，获得所述广角图像中像素点的坐标与所述PTZ摄像机的拍摄参数的映射关系。

2.根据权利要求1所述的双摄像机的自动标定方法，其特征在于，所述控制所述PTZ摄像机按预设的水平方向运动步长和垂直方向运动步长对所述监控区域进行拍摄，获得所述PTZ图像，并记录拍摄每张所述PTZ图像时所述PTZ摄像机的拍摄参数的步骤包括：

根据预设的PTZ摄像机拍摄的零位，使所述广角图像的四个顶点位置位于所述PTZ摄像机拍摄的中心点，获得所述PTZ摄像机的水平方向移动范围和垂直方向移动范围；其中，所述零位为所述广角图像的其中一个顶点；

控制所述PTZ摄像机按预设的水平方向运动步长和垂直方向运动步长，在所述水平方向移动范围和垂直方向移动范围内对所述监控区域进行拍摄，获得所述PTZ图像，并记录拍摄每张所述PTZ图像时所述PTZ摄像机的拍摄参数；其中，所述在水平方向上的移动值为所述PTZ摄像机在水平方向上与所述零位的差值，所述在垂直方向上的移动值为所述PTZ摄像机在垂直方向上与所述零位的差值。

3.根据权利要求2所述的双摄像机的自动标定方法，其特征在于，在所述匹配所述PTZ图像的特征点和所述广角图像的特征点，获得所述PTZ图像与所述广角图像的匹配对的步骤之后，还包括步骤：

将所述广角图像划分为多个图像块，确定各个图像块对应的坐标范围；

根据所述PTZ图像对应的水平方向上的移动值以及垂直方向上的移动值，确定与所述PTZ图像对应的图像块的坐标范围；

判断所述匹配对中广角图像的特征点的像素坐标是否与所述坐标范围对应；

若不对应，则判断所述匹配对有误并将其删除。

4.根据权利要求2或3所述的双摄像机的自动标定方法，其特征在于，所述根据所述匹配对中所述PTZ图像的特征点和所述广角图像的特征点的像素坐标，获得所述广角图像中像素点的坐标与所述PTZ摄像机的拍摄参数的映射关系的步骤包括：

对所述匹配对中的{(x₁,y₁)_ptz,…,(x_n,y_n)_ptz}_PTZ和{(x₁,y₁)_wide,…,(x_n,y_n)_wide}_wide，计算距离所述PTZ图像的中心点最近的特征点(x_r,y_r)_ptz，计算距离所述广角图像的中心点(x_r,y_r)_wide最近的特征点；其中，所述{(x₁,y₁)_ptz,…,(x_n,y_n)_ptz}_PTZ为所述匹配对中PTZ图像的特征点；所述{(x₁,y₁)_wide,…,(x_n,y_n)_wide}_wide为所述匹配对中广角图像的特征点，(x_n,y_n)为像素坐标；

根据(x_r,y_r)_ptz对应的PTZ摄像机的拍摄参数，获得所述映射关系(x_r,y_r,p,t,z)；其中，p,t,z为所述PTZ摄像机的拍摄参数。

5.根据权利要求4所述的双摄像机的自动标定方法，其特征在于，还包括步骤：

获取待监测像素点；

当所述映射关系中没有包含待监测像素点时，根据下式计算所述待监测像素点对应的PTZ摄像机的拍摄参数：

$\left\{\begin{array}{cc}{p}_0=p_{\mathrm{nl}}+\frac{x_0-x_{\mathrm{nl}}}{x_{\mathrm{nr}}-x_{\mathrm{nl}}}*(p_{\mathrm{nr}}-p_{\mathrm{nl}}),& x_{\mathrm{nl}}<x_0<x_{\mathrm{nr}},\\ t_0=t_{\mathrm{nl}}+\frac{y_0-y_{\mathrm{nl}}}{y_{\mathrm{nr}}-y_{\mathrm{nl}}}*(t_{\mathrm{nr}}-t_{\mathrm{nl}}),& y_{\mathrm{nl}}<y_0<y_{\mathrm{nr}},\end{array}\right.$

其中，(x₀,y₀)_wide为所述待监测像素点，(x_nr,y_nr)_wide和(x_nl,y_nl)_wide为所述映射关系中距离所述待监测像素点最近的两个像素点。

6.一种双摄像机的自动标定***，所述双摄像机包括广角摄像机和PTZ摄像机，所述广角摄像机拍摄监控区域获得广角图像，所述PTZ摄像机拍摄监控区域获得PTZ图像，其特征在于，所述***包括：

控制模块，用于控制所述PTZ摄像机按预设的水平方向运动步长和垂直方向运动步长对所述监控区域进行拍摄，获得所述PTZ图像，并记录拍摄每张所述PTZ图像时所述PTZ摄像机的拍摄参数；其中，PTZ摄像机拍摄时前后两张PTZ图像的重叠区域大于预设的重叠范围；所述PTZ摄像机的拍摄参数包括所述PTZ摄像机当前的拍摄倍数、在水平方向上的移动值以及在垂直方向上的移动值；

提取模块，用于提取每张PTZ图像的特征点以及所述广角图像的特征点；其中，所述PTZ图像的特征点和广角图像的特征点均为二进制特征点；

匹配模块，用于匹配所述PTZ图像的特征点和所述广角图像的特征点，获得所述PTZ图像与所述广角图像的匹配对；

映射关系获取模块，用于根据所述匹配对中所述PTZ图像的特征点和所述广角图像的特征点的像素坐标，获得所述广角图像中像素点的坐标与所述PTZ摄像机的拍摄参数的映射关系。

7.根据权利要求6所述的双摄像机的自动标定***，其特征在于，所述控制模块还包括：

移动范围获取模块，用于根据预设的PTZ摄像机拍摄的零位，使所述广角图像的四个顶点位置位于所述PTZ摄像机拍摄的中心点，获得所述PTZ摄像机的水平方向移动范围和垂直方向移动范围；其中，所述零位为所述广角图像的其中一个顶点；

拍摄控制模块，用于控制所述PTZ摄像机按预设的水平方向运动步长和垂直方向运动步长，在所述水平方向移动范围和垂直方向移动范围内对所述监控区域进行拍摄，获得所述PTZ图像，并记录拍摄每张所述PTZ图像时所述PTZ摄像机的拍摄参数；其中，所述在水平方向上的移动值为所述PTZ摄像机在水平方向上与所述零位的差值，所述在垂直方向上的移动值为所述PTZ摄像机在垂直方向上与所述零位的差值。

8.根据权利要求7所述的双摄像机的自动标定***，其特征在于，还包括：

划分模块，用于将所述广角图像划分为多个图像块，确定各个图像块对应的坐标范围；

坐标范围确定模块，用于根据所述PTZ图像对应的水平方向上的移动值以及垂直方向上的移动值，确定与所述PTZ图像对应的图像块的坐标范围；

判断模块，用于判断所述匹配对中广角图像的特征点的像素坐标是否与所述坐标范围对应；

删除模块，用于若不对应，则判断所述匹配对有误并将其删除。

9.根据权利要求7或8所述的双摄像机的自动标定***，其特征在于，所述映射关系获取模块还用于：对所述匹配对中的{(x₁,y₁)_ptz,…,(x_n,y_n)_ptz}_PTZ和{(x₁,y₁)_wide,…,(x_n,y_n)_wide}_wide，计算距离所述PTZ图像的中心点最近的特征点(x_r,y_r)_ptz，计算距离所述广角图像的中心点(x_r,y_r)_wide最近的特征点；其中，所述{(x₁,y₁)_ptz,…,(x_n,y_n)_ptz}_PTZ为所述匹配对中PTZ图像的特征点；所述{(x₁,y₁)_wide,…,(x_n,y_n)_wide}_wide为所述匹配对中广角图像的特征点，(x_n,y_n)为像素坐标；根据(x_r,y_r)_ptz对应的PTZ摄像机的拍摄参数，获得所述映射关系(x_r,y_r,p,t,z)；其中，p,t,z为所述PTZ摄像机的拍摄参数。

10.根据权利要求9所述的双摄像机的自动标定***，其特征在于，还包括：

获取模块，用于获取待监测像素点；

参数计算模块，用于当所述映射关系中没有包含待监测像素点时，根据下式计算所述待监测像素点对应的PTZ摄像机的拍摄参数：

$\left\{\begin{array}{cc}{p}_0=p_{\mathrm{nl}}+\frac{x_0-x_{\mathrm{nl}}}{x_{\mathrm{nr}}-x_{\mathrm{nl}}}*(p_{\mathrm{nr}}-p_{\mathrm{nl}}),& x_{\mathrm{nl}}<x_0<x_{\mathrm{nr}},\\ t_0=t_{\mathrm{nl}}+\frac{y_0-y_{\mathrm{nl}}}{y_{\mathrm{nr}}-y_{\mathrm{nl}}}*(t_{\mathrm{nr}}-t_{\mathrm{nl}}),& y_{\mathrm{nl}}<y_0<y_{\mathrm{nr}},\end{array}\right.$

其中，(x₀,y₀)_wide为所述待监测像素点，(x_nr,y_nr)_wide和(x_nl,y_nl)_wide为所述映射关系中距离所述待监测像素点最近的两个像素点。