CN113487683A - 一种基于三目视觉的目标跟踪*** - Google Patents

Abstract

本发明公开了一种基于三目视觉的目标跟踪***，***包括三目视觉模块、相机标定模块、目标位置获取模块、目标位置预测模块、虚拟枪机双目视觉标定模块、视差图获得模块、场景深度信息获取模块、PT参数获取模块、Z参数获取模块以及跟踪模块；提出了一种通过移动枪机构建虚拟双目视觉***的方法来提前估计得到场景深度信息，并以目标的接地点的深度约束来估计其空间位置，达到唯一确定PTZ控制参数的目的，从而提高了跟踪的准确性。

Description

一种基于三目视觉的目标跟踪***

技术领域

本发明涉及目标跟踪***，具体涉及一种基于三目视觉的目标跟踪***。

背景技术

在一些军事或民用设施的重点要害部位，如机场场坪、油库、化工厂等，人们对智能视频监控的性能有着更高的要求。

现有技术中通常采用双目视觉的方法进行目标跟踪，采用枪机或全向摄像机结合PTZ球机实现的双目视觉***，先使用枪机或全向摄像机检测运动目标，再用PTZ球机实现跟踪和放大抓拍。

利用PTZ球机对运动目标进行跟踪，是近年来一个研究热点，现有技术仅由目标在图像上的二维坐标进行PTZ控制参数的估算，未考虑目标与PTZ球机的距离信息，在场景深度变化较大的场合会产生较大的跟踪误差。虽然考虑了Z坐标给目标定位带来的影响，并利用消隐点等信息估计目标的深度信息，但这些特殊的约束条件对场景内容提出了附加要求，仅适用于场景内容存在可供参考的约束信息的情况。

综上所述，现有的目标跟踪方法估算存在跟踪结果不准确的问题。

发明内容

本发明的目的在于提供一种基于三目视觉的目标跟踪***，用以解决现有技术中的目标跟踪方法存在跟踪结果不准确的问题。

为了实现上述任务，本发明采用以下技术方案：

一种基于三目视觉的目标跟踪***，其特征在于，所述的***包括三目视觉模块、相机标定模块、目标位置获取模块、目标位置预测模块、虚拟枪机双目视觉标定模块、视差图获得模块、场景深度信息获取模块、PT参数获取模块、Z参数获取模块以及跟踪模块；

所述的三目视觉模块用于采集包含有运动目标的图像，所述的三目视觉模块包括一个枪机和一对PTZ球机，所述的枪机和PTZ球机安装在滑轨上，所述的枪机沿着所述的滑轨在所述的两个PTZ球机中间移动；所述的PTZ球机零位时的光轴与枪机的朝向相同；一对PTZ球机的参数相同；

所述的三目视觉模块用于采集包含有同一运动目标的图像，获得枪机图像、第一PTZ球机图像和第二PTZ球机图像；

所述的相机标定模块用于对所述的枪机和两个PTZ球机进行内外参数标定，获得枪机内参、枪机外参、第一PTZ球机内部参数

第一PTZ球机初始旋转矩阵R₀_1、第一PTZ球机平移向量t₀_1、第二PTZ球机内部参数

第二PTZ球机初始旋转矩阵R₀_2以及第二PTZ球机平移向量t₀_2；

所述的目标位置获取模块用于根据所述的枪机图像进行预处理，获得目标区域坐标，所述的目标区域坐标为目标外接矩阵的坐标，所述的目标区域坐标包括矩形4个顶点以及1个中心点的坐标，m_i(u_i,v_i)，i＝1,2,3,4,5；

所述的目标位置预测模块用于根据所述的目标区域坐标进行预测，获得目标区域预测坐标，所述目标区域预测坐标与所述的目标区域坐标一一对应，所述的目标区域预测坐标中包括2个接地点m₃与m₄，所述的2个接地点为矩形的顶点，所述的2个接地点连成的线平行于地面且与地面之间的距离小于目标区域预测坐标中其他2个接地点连成的线与地面之间的距离；

所述的虚拟枪机双目视觉标定模块存储有第一计算机程序，所述的第一计算机程序在被处理器执行时实现以下步骤：

步骤A、保持标定板位置固定，控制枪机移动至第一抓拍点上，拍摄一副含有标定板的图像，获得第一标定板图像P_A；

步骤B、控制所述的枪机固定在第一抓拍点上，拍摄含有运动目标的图像，获得第一枪机图像；

步骤C、控制枪机移动至第二抓拍点后拍摄含有运动目标的图像，获得第二枪机图像；

步骤D、控制枪机固定在所述的第二抓拍点上，拍摄一副含有标定板的图像，获得第二标定板图像P_B，，所述的标定板在拍摄获得第二标定板图像P_B与拍摄获得第一标定板图像P_A时均在所述枪机(3)的视场中部；

步骤E、利用所述的第一标定板图像P_A与第二标定板图像P_B进行标定，获得所述枪机的旋转向量R_AB以及平移向量t_AB；

所述的视差图获得模块中存储有第二计算机程序，所述的第二计算机程序在被处理器执行时实现以下步骤：

步骤a、根据所述的枪机(3)的旋转向量R_AB以及平移向量t_AB，采用立体校正算法对第一枪机图像与第二枪机图像进行立体校正，获得重投影转换矩阵Q和枪机的旋转矩阵R；获得采集第一枪机图像时枪机(3)的第一内参矩阵K_A和第一投影矩阵P_A；

其中

步骤b、采用式I将第一枪机图像的T点图像坐标(u_A,v_A)映射至摄像机坐标中，获得T点第一摄像机坐标(x′_A,y′_A)；

步骤c、利用旋转矩阵R对第一枪机图像进行旋转变换，采用式II获得枪机坐标系的T点第一观测坐标(x_A,y_A)；

步骤d、利用所述的重投影转换矩阵Q对第一枪机图像与第二枪机图像进行重投影后，利用立体匹配算法，获得视差图；

步骤e、采用式III获得T点在视差图的图像坐标(u′_A,v′_A)；

步骤f、根据所述的T点在视差图的图像坐标(u′_A,v′_A)，获得图像中T点的深度信息；

所述的场景深度信息获取模块用于将枪机图像中的接地点m₃与m₄分别作为T点输入至视差图获得模块中，获得接地点m₃与m₄的视差值d₃与d₄；

所述的场景深度信息获取模块还用于获得近似视差值

所述的目标位置预测模块还用于根据所述的近似视差值d₀，获得目标区域预测坐标中中心点坐标对应在枪机坐标系下的三维坐标X_W(5)＝(X_W(5),Y_W(5),Z_W(5))；

所述的PT参数获取模块用于采用式IV获得第一PTZ球机的P向转动角度θ_{P_1}和第一PTZ球机的T向转动角度的值θ_{T_1}以及第二PTZ球机的P向转动角度θ_{P_2}和第二PTZ球机的T向转动角度θ_{T_2}：

其中X_{C_1}＝(X_{C_1},Y_{C_1},Z_{C_1})为中心点在第一PTZ球机中的三维坐标，X_{C_1}＝R_{0_1}X_W(5)+t_{0_1}；X_{C_2}＝(X_{C_2},Y_{C_2},Z_{C_2})为中心点在第二PTZ球机中的三维坐标，X_{C_2}＝R_{0_2}X_W(5)+t_{0_2}；

所述的Z参数获取模块中存储有第三计算机程序，所述的第三计算机程序在被处理器执行时实现以下步骤：

步骤1、采用式V获得第一PTZ球机旋转矩阵R_PT_1以及第二PTZ球机旋转矩阵R_PT_2；

步骤2、获得目标区域预测坐标中矩形的4个顶点经过PTZ球机光轴投影后的坐标(-X_max,Y_max)，(X_max,Y_max)，(X_max,-Y_max)和(-X_max,-Y_max)；

步骤3、若矩形的长宽比例大于等于球机长宽比例时，设置X轴为主方向，否则Y轴为主方向；

步骤4、采用式VI获得X轴方向上的焦距

或Y轴方向上的焦距

其中k为比例系数，k为常数，Z_E表示球机的变焦控制参数，Z_E为常数，W₁表示第一PTZ球机的分辨率的长，W₁为常数，W₂表示第二PTZ球机的分辨率的长，W₂为常数；H₁表示第一PTZ球机的分辨率的宽，H₁为常数，H₂表示第二PTZ球机的分辨率的宽，H₂为常数；

步骤5、当步骤3中设置主方向为X轴时，采用牛顿法求解式VII，获得控制参数Z：

当步骤3中设置主方向为Y轴时，采用牛顿法求解式VIII，获得PTZ球机焦距控制参数值Z：

所述f_{x_1}(Z)、f_{x_2}(Z)、f_{y_1}(Z)与f_{y_2}(Z)均为相机标定模块标定得到的拟合函数；

所述的跟踪模块用于利用PT参数获取模块获得的第一PTZ球机的P向转动角度θ_{P_1}和第一PTZ球机的T向转动角度的值θ_{T_1}以及第二PTZ球机的P向转动角度θ_{P_2}和第二PTZ球机的T向转动角度θ_{T_2}控制第一PTZ球机和第二PTZ球机的PT角度；

用于利用Z参数获取模块分别获得第一PTZ球机和第二PTZ球机的焦距控制参数值后，控制第一PTZ球机和第二PTZ球机的焦距参数后，完成跟踪。

进一步地，视差图获得模块的步骤a中的立体校正算法为Bouguet立体校正算法。

进一步地，所述的相机标定模块以及虚拟枪机双目视觉标定模块中均采用张正友标定算法进行标定。

进一步地，所述的目标位置获取模块采用DACB前景检测算法对枪机图像进行处理，获得包含阴影和运动目标的前景区域后，利用阴影消除算法，获得目标区域坐标。

进一步地，目标位置预测模块用于利用Kalman预测算法对目标区域坐标进行预测，获得目标区域预测坐标。

本发明与现有技术相比具有以下技术效果：

1、本发明提供的基于三目视觉的目标跟踪***，提出了一种通过移动枪机构建虚拟双目视觉***的方法来提前估计得到场景深度信息，并以目标的接地点的深度约束来估计其空间位置，达到唯一确定PTZ控制参数的目的，从而提高了目标跟踪的准确性；

2、本发明提供的基于三目视觉的目标跟踪***，实现虚拟双目视觉***下的场景深度获取，并获得了实时图像和视差图的坐标对应关系，提高了场景深度获取的准确性，从而提高了目标跟踪的准确性；

3、本发明提供的基于三目视觉的目标跟踪***，充分利用作为主摄像机的枪机参数稳定的特性，结合***初始化阶段得到的场景深度信息，实现运动目标的三维坐标估计，并以此实现PTZ控制参数的计算，达到精确计算的目的；

4、本发明提供的基于三目视觉的目标跟踪***，利用场景深度信息和目标预测位置接地点计算得到PTZ球机的跟踪控制参数，从而提高了控制参数计算的准确性及便捷性。

附图说明

图1为本发明提供的三目视觉模块的结构示意图；

图2为本发明的一个实施例中提供的枪机在滑轨上的移动路径示意图；

图3为本发明的一个实施例中提供的PTZ控制参数计算流程示意图；

图4为本发明的一个实施例中提供的平行双目视觉***示意图；

图5为本发明的一个实施例中提供的预测目标位置与PT角度的几何关系示意图；

图6为本发明的一个实施例中提供的枪机图像中的运动目标描述示意图；

图7为本发明的一个实施例中提供的PT控制参数与实际转动角度的最小二乘拟合中P方向角度拟合结果图；

图8为本发明的一个实施例中提供的PT控制参数与实际转动角度的最小二乘拟合中T方向角度拟合结果图；

图9为本发明的一个实施例中提供的PTZ球机PT转动后目标位置示意图；

图10为本发明的一个实施例中提供的坐标系中的目标矩形重建示意图。

图中的标号代表：1-导轨，2-PTZ球机，3-枪机。

具体实施方式

下面结合附图和实施例对本发明进行详细说明。以便本领域的技术人员更好的理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

以下对本发明涉及的定义或概念内涵做以说明：

枪机：枪机是监控类摄像机中一种。枪机外观长方体，前面是C/CS镜头接口。

PTZ球机：Pan-Tilt-Zoom球机，在安防监控应用中是Pan/Tilt/Zoom的简写，代表云台全方位(左右/上下)移动及镜头变倍、变焦控制的球型监控摄像机。

实施例

在实施例中公开了一种基于三目视觉的目标跟踪***，***包括三目视觉模块、相机标定模块、目标位置获取模块、目标位置预测模块、虚拟枪机双目视觉标定模块、视差图获得模块、场景深度信息获取模块、PT参数获取模块、Z参数获取模块以及跟踪模块；

如图1所示，本发明提供的三目视觉模块用于采集包含有运动目标的图像，所述的三目视觉模块包括一个枪机3和两个PTZ球机2，所述的枪机3和PTZ球机2安装在滑轨1上，滑轨1平行于水平面设置，所述的枪机3沿着所述的滑轨1在所述的两个PTZ球机2中间移动；所述的PTZ球机2零位时的光轴与枪机3的朝向相同；一对PTZ球机的参数完全相同；

本发明利用枪机内部参数恒定的特性，如图1所示，通过将其固定在导轨1上的两个不同位置来实现虚拟的双目视觉***，并同时得到两个位置的标定模板图像以及场景图像。图2为枪机3在导轨1上的移动路径示意图。B位置枪机相对于A位置枪机之间的位置关系用旋转向量r_AB和平移向量t_AB描述。

所述的三目视觉模块用于采集包含有同一运动目标的图像，获得枪机图像、第一PTZ球机图像和第二PTZ球机图像；

所述的相机标定模块用于对所述的枪机和两个PTZ球机进行内外参数标定，获得枪机内参、枪机外参、第一PTZ球机内部参数

第一PTZ球机初始旋转矩阵R₀_1、第一PTZ球机平移向量t₀_1、第二PTZ球机内部参数

第二PTZ球机初始旋转矩阵R₀_2以及第二PTZ球机平移向量t₀_2；

本发明提供的PTZ参数获取方法如图3所示。

所述的目标位置获取模块用于根据所述的枪机图像进行预处理，获得目标区域坐标，所述的目标区域坐标为目标外接矩阵的坐标，所述的目标区域坐标包括矩形4个顶点以及1个中心点的坐标，m_i(u_i,v_i)，i＝1,2,3,4,5；

在本实施例中，要得到目标预测位置处PTZ参数的精确控制参数，控制PTZ球机运动使得其光轴正对目标中心，则需要通过坐标变换得到目标在PTZ球机坐标系的三维坐标。

可选地，所述的目标位置获取模块采用DACB前景检测算法对枪机图像进行处理，获得包含阴影和运动目标的前景区域后，利用阴影消除算法，获得目标区域坐标。

在本实施例中，首先由DACB前景检测算法得到包含阴影和运动目标的前景区域，再由阴影消除算法剔除阴影成分得到运动目标的区域描述，获得目标区域坐标。

所述的目标位置预测模块用于根据所述的目标区域坐标进行预测，获得目标区域预测坐标，所述目标区域预测坐标与所述的目标区域坐标一一对应，所述的目标区域预测坐标中包括2个接地点m₃与m₄，所述的2个接地点为矩形的顶点，所述的2个接地点连成的线平行于地面且与地面之间的距离小于目标区域预测坐标中其他2个接地点连成的线与地面之间的距离；

可选地，目标位置预测模块用于利用Kalman预测算法对目标区域坐标进行预测，获得目标区域预测坐标。

理论上，通过背景建模算法得到目标在当前帧的图像位置，结合Kalman预测算法就可得到该目标在ΔT时间后的预测位置，如下式。

其中d_x，d_y为Kalman预测算法基于历史信息给出的物体在X、Y两个方向上的运动速度预测，ΔT为视频延时、控制延时等一系列延时的总和，如下式。

ΔT＝T_QJ+ΔT_VISCA+ΔT_PT

ΔT_PT是PTZ球机将光轴从当前PT角度转动至目标中心所需的时间，转动角度越大，ΔT_PT越大。而转动角度又受延迟总时间ΔT影响，即目标在ΔT延时内的移动会对PTZ球机跟踪精度带来影响。可以看出，PT转动角度和延迟时间是相互影响，互相制约的，因而难以同时得到两个参数的精确解。为此，本发明对该问题做了如下处理：

(1)以目标当前位置代替预测位置计算PZ控制需要转动的角度，得到PT延时；

(2)将PT延时代入上式，得到总延时ΔT，并利用其进一步计算各项控制参数。

采用这种类似迭代的处理方法，可以快速得到各项控制参数的近似解，并对PTZ球机实施跟踪控制。

在本实施例中，利用结合直方图统计信息的Kalman预测算法，即可得到目标在一定延时后的位置预测。并将结果用一个矩形表示，如图5、6所示，图5中标号3代表枪机，标号2代表PTZ球机，并以矩形中心点C为运动目标的中心位置，设这五点在枪机图像中的坐标为m_i(u_i,v_i)，i＝1,2,3,4,5。其中3、4两点可以视为ΔT时间后目标运动至预测矩形与地面的接触点，称其为接地点。在本实施例中将借助这两个接地点近似估计目标矩形四个顶点以及中心点C的三维坐标。

所述的虚拟枪机双目视觉标定模块存储有第一计算机程序，所述的第一计算机程序在被处理器执行时实现以下步骤：

步骤A、保持标定板位置固定，控制枪机3移动至第一抓拍点上，拍摄一副含有标定板的图像，获得第一标定板图像P_A；

步骤B、控制所述的枪机3固定在第一抓拍点上，拍摄含有运动目标的图像，获得第一枪机图像；

步骤C、控制枪机3移动至第二抓拍点后拍摄含有运动目标的图像，获得第二枪机图像；

步骤D、控制枪机3固定在所述的第二抓拍点上，拍摄一副含有标定板的图像，获得第二标定板图像P_B，，所述的标定板在拍摄获得第二标定板图像P_B与拍摄获得第一标定板图像P_A时均在所述枪机3的视场中部；

步骤E、利用所述的第一标定板图像P_A与第二标定板图像P_B进行标定，获得所述枪机3的旋转向量R_AB以及平移向量t_AB；

为了简化操作，减少误差，本发明采用如下四步操作来实现标定和场景图像的抓拍：

(1)将枪机固定于B点，抓拍一幅场景图像S_B，并保存；

(2)保持枪机位置不变，并将一张标定模板固定放置于枪机视野中部稍偏左(保证枪机移至A点后，模板仍能位于枪机的视场中部)，抓拍一幅标定模板图像P_B；

(3)保持标定模板位置不变，将枪机移至A点并可靠固定(作为最终的工作位置)，抓拍第二幅标定模板图像P_A；

(4)移走标定模板，抓拍第二幅场景图像S_A。

不同于通常意义上的双目视觉***，本发明提供的双目***中的双目实为位于两不同位置的同一摄像机，故其内部参数完全一致且精确已知，因而仅需标定它们之间的相互位置关系。因此，仅使用两张标定模板图像也能取得较好的标定结果，得到足够精度的r_AB和t_AB。此处，标定使用GML MatLab Camera Calibration Toolbox工具箱。

可选地，步骤E中采用张正友标定算法进行标定。

在本实施中对枪机3进行了标定，标定得到是经罗德里格斯变换后的的旋转向量r_AB和平移向量t_AB，标定结果为：

需要说明的是，r_AB向量的所有元素值以及t_AB中的t_y和t_z分量理论上应全为0，而实际得到的向量元素并不为0而是三个较小的数值，这说明移动过程中产生了微小的偏差。它们的值越小，在立体校正时对图像的投影修正越少，最终获取的场景深度信息精度越高。

所述的视差图获得模块中存储有第二计算机程序，所述的第二计算机程序在被处理器执行时实现以下步骤：

步骤a、根据所述的枪机3的旋转向量R_AB以及平移向量t_AB，采用立体校正算法对第一枪机图像与第二枪机图像进行立体校正，获得重投影转换矩阵Q和枪机的旋转矩阵R；获得采集第一枪机图像时枪机(3)的第一内参矩阵K_A和第一投影矩阵P_A；

其中

在本发明中，如图2、4所示，由于A点位置的摄像机与B点摄像机为同一个摄像机，也就是双目摄像机中的两个摄像机完全相同，因此内参矩阵、投影矩阵等也完全相同，因此无需多次计算，仅采用左摄像机即可获得视差图。或者采用同样地方法对B点位置的摄像机(双目中的右相机)，获得第二内参矩阵K_B和第二投影矩阵P_B，也可仅采用右摄像机获得视差图。

因此，A点或B点获得的第一内参矩阵K_A或第二内参矩阵K_B，第一投影矩阵P_A或第二投影矩阵P_B如下：

可选地，所述的步骤a中的立体校正算法为Bouguet立体校正算法。

在本实施例中，得到R_AB和t_AB以后，利用Bouguet立体校正算法对场景图像S_A和S_B进行立体校正，得到校正所需的投影矩阵(由于事先已经完成畸变校正，因此该校正时不考虑畸变参数，畸变向量所有元素值为0)。对两幅图像进行重投影就可完成图像的行对齐操作，再通过立体匹配算法即可得到视差图。

在本实施例中，校正后的左右摄像机矩阵K_A和K_B，与投影矩阵P_A和P_B如下式，其中A点位置上的枪机3为双目相机中的左相机,B点位置上的枪机3为双目相机中的右相机：

(其中，α_A＝α_B＝0，α_A与α_B均是像素畸变比例，由于生产工艺的改进，目前市场上的摄像机该参数都可以认为是0)。

投影矩阵可通过将齐次坐标中的3D点转换至齐次坐标系下的2D点，可得屏幕坐标为(x/w,y/w)。如果给定屏幕坐标和摄像机内参矩阵数矩阵，则可将二维点进行重投影得到三维坐标，重投影矩阵Q如下：。

式中除c′_x外的所有参数都来自于第一枪机图像，c′_x是主点在第二枪机图像上的x坐标。如果主光线在无穷远处相交，那么c′_x＝c_x，并且右下角的项为0。

给定一个二维齐次坐标和对应的视差d，则可用下式将此点投影到三维坐标系中，得到其空间坐标(X/W,Y/W,Z/W)，该坐标包含了空间点的深度信息。

通过上述Bouguet校正算法，可以得到重投影所需的各转换矩阵，如下式，实现图像对的立体校正，虚拟出一个如图4所示的平行双目立体视觉***，为后续的沿极线的匹配搜索和深度求取打下基础。

在本实施例中，由于在立体匹配过程，算法需要对两幅图像进行极线校正，因此得到的场景视差图和枪机实时图像之间的图像坐标并非一一对应，而是存在一个映射转换关系。在本发明中视A点位置摄像机为双目中的左摄像机，设摄像机内参矩阵为K_QJ，畸变向量为d_QJ，Bouguet立体校正算法得到第一旋转矩阵R_A和第一投影矩阵P_A。枪机图像已经提前完成畸变校正，故此处的d_QJ用全0填充。

步骤b、采用式I将第一枪机图像的T点图像坐标(u_A,v_A)映射至摄像机坐标中，获得T点第一摄像机坐标(x′_A,y′_A)；

在本实施例中，获得T点第一摄像机坐标(x′_A,y′_A)和T点第二摄像机坐标(x′_B,y′_B)如下式：

步骤c、利用旋转矩阵R对第一枪机图像进行旋转变换，采用式II获得枪机坐标系的T点第一观测坐标(x_A,y_A)；

在本实施例中，获得枪机坐标系的T点第一观测坐标(x_A,y_A)和T点第二观测坐标(x_B,y_B)：

步骤d、利用所述的重投影转换矩阵Q对第一枪机图像与第二枪机图像进行重投影后，利用立体匹配算法，获得视差图；

步骤e、采用式III获得T点在视差图的图像坐标(u′_A,v′_A)；

在本实施例中，获得T点在视差图的图像坐标(u′_A,v′_A)和(u′_B,v′_B)：

步骤f、根据所述的T点在视差图的图像坐标(u′_A,v′_A)，获得图像中T点的深度信息；

在本实施例中，可以根据视差图的图像坐标(u′_A,v′_A)或(u′_B,v′_B)，获得图像中T点的深度信息，给定一个二维齐次坐标和对应的视差d，则可用

将此点投影到三维坐标系中，得到其空间坐标(X/W,Y/W,Z/W)，该坐标包含了空间点的深度信息。

所述的场景深度信息获取模块用于将枪机图像中的接地点m₃与m₄分别作为T点输入至视差图获得模块中，获得接地点m₃与m₄的视差值d₃与d₄；

所述的场景深度信息获取模块还用于获得近似视差值

在本实施例中，首先得到接地点m₃与m₄在视差图中的坐标位置m_{d_3}(u_{d_3},v_{d_3})和m_{d_4}(u_{d_4},v_{d_4})，并从场景视差图中查询得到两点的视差值记为d₃、d₄，取它们的平均值d₀作为整个目标矩形的四个顶点及中心点C的近似视差值，再根据式即可求得四个顶点及C点在枪机坐标系下的三维坐标X_W(i)＝(X_W(i),Y_W(i),Z_W(i))i＝1,2,3,4,5。

所述的目标位置预测模块还用于根据所述的近似视差值d₀，获得目标区域预测坐标中中心点坐标对应在枪机坐标系下的三维坐标X_W(5)＝(X_W(5),Y_W(5),Z_W(5))；

所述的PT参数获取模块用于采用式I获得第一PTZ球机的P向转动角度θ_{P_1}和第一PTZ球机的T向转动角度的值θ_{T_1}以及第二PTZ球机的P向转动角度θ_{P_2}和第二PTZ球机的T向转动角度θ_{T_2}：

其中X_{C_1}＝(X_{C_1},Y_{C_1},Z_{C_1})为中心点在第一PTZ球机中的三维坐标，X_{C_1}＝R_{0_1}X_W(5)+t_{0_1}；X_{C_2}＝(X_{C_2},Y_{C_2},Z_{C_2})为中心点在第二PTZ球机中的三维坐标，X_{C_2}＝R_{0_2}X_W(5)+t_{0_2}；

在本实施例中，利用枪机坐标系与两PTZ球机坐标的初始关系R_{0_s}和t_{0_s}(s＝1,2分别代表两个PTZ球机)，计算C点在第一PTZ球机第二PTZ球机的摄像机坐标系中的坐标。

在本实施例中，还提供了实际PT参数求解的方法，采用下式获得：

根据PT参数的拟合公式，利用式计算PT实际所需的控制参数。

为了提高PTZ球机主动跟踪时的控制精度，本发明提出了一种时间加权的PT控制参数最小二乘拟合算法。

本发明对PT控制参数与角度之间采用如式数学模型：

PTZ球机工作一段时间以后，可以得到N组θ与θ′的对应数据，根据最小二乘法，可以得到参数a和b在最小二乘意义下的最优解，如下式。

对于PT控制参数，近期的数据变化趋势更能反映PT控制***的当前状态，对未来能提供更有用的信息，而早期数据的作用则小一些。因此，本实施例中根据数据的时间先后设置权值，权值采用指数权重法。为了防止长时间运行带来数据量过大的问题，本实施例设置了一个数据有效周期，即仅保留最近N组数据，对过期的数据不参与最小二乘运算。同时为了防止野点的干扰，本发明将判断误差过大的数据(即控制参数值与实际求解得到的精确值存在较大偏差的数据对)并将其忽略。本发明取N＝20，根据N的取值，对1与权值总和的差值叠加到最新一组数据上，保证权值总和为1。

具体方法为：先假设最新数据(第N组)的权重为w_N＝s(0<s<1)，第t组数据的权重为w_t＝s(1-s)^N-t。由于这N个权值之和小于1，因此本发明将剩余的权值进行N等分再叠加到已有的N个权值上，得到归一化的N组数据权值

如下式。表1为N取20时各组数据的权值计算结果(取s＝0.2，有w_Rest＝0.011529)，使用权值后的参数求解公式如式所示。

表1 N＝20时的权值分布(s＝0.2)

图7、8所示为左PTZ球机20次跟踪实验后的加权最小二乘法参数拟合效果，图7为P方向角度拟合结果，图8为T方向角度拟合结果。下式为得到的拟合函数。需要说明的是，该拟合函数的参数会随着跟踪的次数增多、拟合数据的更新而不断变化。这种在线更新拟合函数的机制可以有效地适应不断变化的PTZ球机转动角度误差，保证控制参数拟合的准确性和可持续性。

所述的Z参数获取模块中存储有第一计算机程序，所述的第一计算机程序在被处理器执行时实现以下步骤：

步骤a、采用式V获得第一PTZ球机旋转矩阵R_PT_1以及第二PTZ球机旋转矩阵R_PT_2；

步骤b、获得目标区域预测坐标中矩形的4个顶点经过PTZ球机光轴投影后的坐标(-X_max,Y_max)，(X_max,Y_max)，(X_max,-Y_max)和(-X_max,-Y_max)；

步骤c、若矩形的长宽比例大于等于球机长宽比例时，设置X轴为主方向，否则Y轴为主方向；

步骤d、采用式VI获得X轴方向上的焦距

或Y轴方向上的焦距

其中k为比例系数，k为常数，Z_E表示球机的变焦控制参数，Z_E为常数，W₁表示第一PTZ球机的分辨率的长，W₁为常数，W₂表示第二PTZ球机的分辨率的长，W₂为常数；H₁表示第一PTZ球机的分辨率的宽，H₁为常数，H₂表示第二PTZ球机的分辨率的宽，H₂为常数；

步骤e、当步骤c中设置的主方向为X轴时，采用牛顿法求解式VII，获得控制参数Z：

当步骤c中设置的主方向为Y轴时，采用牛顿法求解式VIII，获得控制参数Z：

所述f_{x_1}(Z)、f_{x_2}(Z)、f_{y_1}(Z)与f_{y_2}(Z)均为相机标定模块标定得到的拟合函数。

在本实施例中，为了计算Z控制参数，利用得到的PT控制参数，将以如下五个步骤介绍Z参数的计算过程。由于两PTZ球机控制参数计算过程相同，故此处不考虑PTZ球机1、2的区别。

(1)计算PT运动后目标在PTZ球机坐标系中的三维坐标下式描述了利用PTZ球机的PT动作生成的旋转矩阵RPT(摄像机作纯旋转运动，故不考虑t向量)，将PTZ球机坐标系中目标矩形四个顶点进行旋转变换得到其在PTZ球机坐标系中的三维坐标的过程。

(2)目标矩形重构

得到如图9所示的PT跟踪结果后，就可以认为PTZ球机的光轴穿过目标的中心，原来定义的矩形由于投射的影响而不再是一个矩形(此处不考虑各点在Z轴坐标上的差异)，如图10中的P′₁P′₂P′₃P′₄。因此，本发明选取X，Y两个方向上的最大坐标值Xmax和Ymax，如式，并以它们为参数重新构建矩形P″₁P″₂P″₃P″₄。重构后，P″₁P″₂P″₃P″₄四个顶点的X、Y方向坐标分别为(-Xmax,Ymax)，(Xmax,Ymax)，(Xmax,-Ymax)和(-Xmax,-Ymax)。

(3)主方向选取

在本实施例中，PTZ球机成像分辨率为704×576，即有长宽比例q＝W/H＝704/576＝1.222。定义矩形中长宽比例高于q时X为主方向，否则Y为主方向，如下式。

(4)理论焦距求解

在本实施例中期望最终成像大小在整个PTZ球机图像占据一个合适的比例，该比例由主方向上的长或宽确定，如图10。设该比例为k(k<1)，因此在确定主方向后，就可以根据小孔成像模型中的三角几何关系，求出实现主方向上成像大小占PTZ球机图像大小比例为k时的最佳焦距，式为以主方向为X时的焦距计算过程。

(5)Z控制参数求解

根据PTZ球机标定时得到的f_x(或f_y)拟合函数f_x(Z)，构造等式，并利用牛顿法求解使等式成立时的Z值，该值即为PTZ球机的焦距控制参数值。当主方向为Y时，步骤(4)、(5)中的焦距则用fy代替，式中的W＝704用H＝576代替。

在本实施例中利用三目视觉***灵活的***架构，实现了场景深度的估计，并结合运动目标的预测位置得到PTZ球机的跟踪控制参数，提高PTZ控制参数获取的准确性。

跟踪模块用于利用PT参数获取模块获得的第一PTZ球机的P向转动角度θ_{P_1}和第一PTZ球机的T向转动角度的值θ_{T_1}以及第二PTZ球机的P向转动角度θ_{P_2}和第二PTZ球机的T向转动角度θ_{T_2}控制第一PTZ球机和第二PTZ球机的PT角度；

用于利用Z参数获取模块分别获得第一PTZ球机和第二PTZ球机的焦距控制参数值后，控制第一PTZ球机和第二PTZ球机的焦距参数后，完成跟踪。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法。

Claims (5)

1.一种基于三目视觉的目标跟踪***，其特征在于，所述的***包括三目视觉模块、相机标定模块、目标位置获取模块、目标位置预测模块、虚拟枪机双目视觉标定模块、视差图获得模块、场景深度信息获取模块、PT参数获取模块、Z参数获取模块以及跟踪模块；

所述的三目视觉模块用于采集包含有运动目标的图像，所述的三目视觉模块包括一个枪机(3)和一对PTZ球机(2)，所述的枪机(3)和PTZ球机(2)安装在滑轨(1)上，所述的滑轨(1)平行于水平面设置，所述的枪机(3)沿着所述的滑轨(1)在所述的一对PTZ球机(2)中间移动；所述的PTZ球机(2)零位时的光轴与枪机(3)的朝向相同；所述的一对PTZ球机(2)的参数相同；

所述的三目视觉模块用于采集包含有同一运动目标的图像，获得枪机图像、第一PTZ球机图像和第二PTZ球机图像；

所述的相机标定模块用于对所述的枪机和两个PTZ球机进行内外参数标定，获得枪机内参、枪机外参、第一PTZ球机内部参数

第一PTZ球机初始旋转矩阵R₀_1、第一PTZ球机平移向量t₀_1、第二PTZ球机内部参数

第二PTZ球机初始旋转矩阵R₀_2以及第二PTZ球机平移向量t₀_2；

所述的目标位置获取模块用于根据所述的枪机图像进行预处理，获得目标区域坐标，所述的目标区域坐标为目标外接矩阵的坐标，所述的目标区域坐标包括矩形4个顶点以及1个中心点的坐标，m_i(u_i,v_i)，i＝1,2,3,4,5；

所述的目标位置预测模块用于根据所述的目标区域坐标进行预测，获得目标区域预测坐标，所述目标区域预测坐标与所述的目标区域坐标一一对应，所述的目标区域预测坐标中包括2个接地点m₃与m₄，所述的2个接地点为矩形的顶点，所述的2个接地点连成的线平行于地面且与地面之间的距离小于目标区域预测坐标中其他2个接地点连成的线与地面之间的距离；

所述的虚拟枪机双目视觉标定模块存储有第一计算机程序，所述的第一计算机程序在被处理器执行时实现以下步骤：

步骤A、保持标定板位置固定，控制枪机(3)移动至第一抓拍点上，拍摄一副含有标定板的图像，获得第一标定板图像P_A；

步骤B、控制所述的枪机(3)固定在第一抓拍点上，拍摄含有运动目标的图像，获得第一枪机图像；

步骤C、控制枪机(3)移动至第二抓拍点后拍摄含有运动目标的图像，获得第二枪机图像；

步骤D、控制枪机(3)固定在所述的第二抓拍点上，拍摄一副含有标定板的图像，获得第二标定板图像P_B，，所述的标定板在拍摄获得第二标定板图像P_B与拍摄获得第一标定板图像P_A时均在所述枪机(3)的视场中部；

步骤E、利用所述的第一标定板图像P_A与第二标定板图像P_B进行标定，获得所述枪机(3)的旋转向量R_AB以及平移向量t_AB；

所述的视差图获得模块中存储有第二计算机程序，所述的第二计算机程序在被处理器执行时实现以下步骤：

步骤a、根据所述的枪机(3)的旋转向量R_AB以及平移向量t_AB，采用立体校正算法对第一枪机图像与第二枪机图像进行立体校正，获得重投影转换矩阵Q和枪机的旋转矩阵R；获得采集第一枪机图像时枪机(3)的第一内参矩阵K_A和第一投影矩阵P_A；

其中

步骤b、采用式I将第一枪机图像的T点图像坐标(u_A,v_A)映射至摄像机坐标中，获得T点第一摄像机坐标(x′_A,y′_A)；

步骤c、利用旋转矩阵R对第一枪机图像进行旋转变换，采用式II获得枪机坐标系的T点第一观测坐标(x_A,y_A)；

步骤d、利用所述的重投影转换矩阵Q对第一枪机图像与第二枪机图像进行重投影后，利用立体匹配算法，获得视差图；

步骤e、采用式III获得T点在视差图的图像坐标(u′_A,v′_A)；

步骤f、根据所述的T点在视差图的图像坐标(u′_A,v′_A)，获得图像中T点的深度信息；

所述的场景深度信息获取模块用于将枪机图像中的接地点m₃与m₄分别作为T点输入至视差图获得模块中，获得接地点m₃与m₄的视差值d₃与d₄；

所述的场景深度信息获取模块还用于获得近似视差值

所述的目标位置预测模块还用于根据所述的近似视差值d₀，获得目标区域预测坐标中中心点坐标对应在枪机坐标系下的三维坐标X_W(5)＝(X_W(5),Y_W(5),Z_W(5))；

所述的PT参数获取模块用于采用式IV获得第一PTZ球机的P向转动角度θ_{P_1}和第一PTZ球机的T向转动角度的值θ_{T_1}以及第二PTZ球机的P向转动角度θ_{P_2}和第二PTZ球机的T向转动角度θ_{T_2}：

其中X_{C_1}＝(X_{C_1},Y_{C_1},Z_{C_1})为中心点在第一PTZ球机中的三维坐标，X_{C_1}＝R_{0_1}X_W(5)+t_{0_1}；X_{C_2}＝(X_{C_2},Y_{C_2},Z_{C_2})为中心点在第二PTZ球机中的三维坐标，X_{C_2}＝R_{0_2}X_W(5)+t_{0_2}；

所述的Z参数获取模块中存储有第三计算机程序，所述的第三计算机程序在被处理器执行时实现以下步骤：

步骤1、采用式V获得第一PTZ球机旋转矩阵R_PT_1以及第二PTZ球机旋转矩阵R_PT_2；

步骤2、获得目标区域预测坐标中矩形的4个顶点经过PTZ球机光轴投影后的坐标(-X_max,Y_max)，(X_max,Y_max)，(X_max,-Y_max)和(-X_max,-Y_max)；

步骤3、若矩形的长宽比例大于等于球机长宽比例时，设置X轴为主方向，否则Y轴为主方向；

步骤4、采用式VI获得X轴方向上的焦距

或Y轴方向上的焦距

其中k为比例系数，k为常数，Z_E表示球机的变焦控制参数，Z_E为常数，W₁表示第一PTZ球机的分辨率的长，W₁为常数，W₂表示第二PTZ球机的分辨率的长，W₂为常数；H₁表示第一PTZ球机的分辨率的宽，H₁为常数，H₂表示第二PTZ球机的分辨率的宽，H₂为常数；

步骤5、当步骤3中设置主方向为X轴时，采用牛顿法求解式VII，获得控制参数Z：

当步骤3中设置主方向为Y轴时，采用牛顿法求解式VIII，获得PTZ球机焦距控制参数值Z：

所述f_{x_1}(Z)、f_{x_2}(Z)、f_{y_1}(Z)与f_{y_2}(Z)均为相机标定模块标定得到的拟合函数；

所述的跟踪模块用于利用PT参数获取模块获得的第一PTZ球机的P向转动角度θ_{P_1}和第一PTZ球机的T向转动角度的值θ_{T_1}以及第二PTZ球机的P向转动角度θ_{P_2}和第二PTZ球机的T向转动角度θ_{T_2}控制第一PTZ球机和第二PTZ球机的PT角度；

用于利用Z参数获取模块分别获得第一PTZ球机和第二PTZ球机的焦距控制参数值后，控制第一PTZ球机和第二PTZ球机的焦距参数后，完成跟踪。

2.如权利要求1所述的基于三目视觉的目标跟踪***，其特征在于，视差图获得模块的步骤a中的立体校正算法为Bouguet立体校正算法。

3.如权利要求1所述的基于三目视觉的目标跟踪***，其特征在于，所述的相机标定模块以及虚拟枪机双目视觉标定模块中均采用张正友标定算法进行标定。

4.如权利要求1所述的基于三目视觉的目标跟踪***，其特征在于，所述的目标位置获取模块采用DACB前景检测算法对枪机图像进行处理，获得包含阴影和运动目标的前景区域后，利用阴影消除算法，获得目标区域坐标。

5.如权利要求1所述的基于三目视觉的目标跟踪***，其特征在于，目标位置预测模块用于利用Kalman预测算法对目标区域坐标进行预测，获得目标区域预测坐标。

Images