CN103106659A - 基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法 - Google Patents

Abstract

本发明涉及一种基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法，包括以下步骤：利用张氏棋盘标定法完成对摄像机的标定，并建立摄像机坐标系和用户定义的世界坐标系之间的转换关系。之后，执行本方法相关算法，其中，输入是两台摄像机的同步图像，先将图像矫正到极线平行状态，而后利用极线约束完成稀疏特征点匹配。将匹配点映射至世界坐标系中，并投影至地平面上，借助人体体型信息和黄金分割比完成离散点聚类。最后，以聚类为单元，结合联合概率数据关联和目标颜色信息完成监控区域内行人目标的鲁棒检测与跟踪。本发明使得运算量变小，并且使得目标检测和跟踪更为准确。

Description

基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法

技术领域

本发明涉及计算机视觉技术领域中的目标检测和跟踪方法，特别是涉及一种基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法。

背景技术

动目标检测和跟踪一直是计算机视觉领域的重要研究方向，也是视频监控领域目标行为分析和智能视频事件检测的基础。然而，现存的目标检测和跟踪算法还远不能满足视频监控智能分析的需求，完善此方面的工作尤为重要。

动目标检测方法主要包括光流法、帧差法和背景差法。光流法计算复杂度高，通常不予采用；帧差法主要利用视频帧间差分信息进行前景提取，受目标运动速度影响大，且只能获取目标大致位置信息和大概轮廓，通常会存在目标拉伸现象；背景差法是目前静止摄像机视频处理中应用最为广泛的方法，主要包括非模型法和模型法两类{钱晋,2007#39}，非模型法主要是从过去的一组观测图像中按照一定的假设选择像素灰度构成当前的背景图像，其需要引入用于背景判断的固定阈值T，这就大大降低了其对环境变化的自适应能力。而模型法是对图像中的每个像素点建立对应的模型，自适应更新模型参数获取背景图像，如Wren.C.R等人提出的单高斯模型、Stauffer.C等人提出的混合高斯模型、Elgammal.A等人提出的非参数核密度估计模型。与非模型法相比，模型法能更准确的提取背景，但计算量远大于非模型法，且同其他方法一样难以分割有重叠区域的目标，无法应对光照突变情况。

传统的目标跟踪方法主要包括三个步骤：目标初始特征描述、目标运动位置估计和特征匹配。这类方法仅在目标跟踪开始时建立特征描述，而不对其进行更新，忽略了目标在运动过程中自身特征的变化。这种变化来自内部和外部两个方面，内部影响主要体现在目标运动过程中外形和姿态的变化，外部影响主要体现在光照变化、相机运动、相机视角变化、以及遮挡造成的目标特征丢失。为此，David.R等人提出了伴随均值更新的增量PCA方法，并引入遗忘因子完成目标特征描述的更新；Grabner.H等人提出了基于在线Boosting的更新方法，并以类Haar特征、方向直方图和局部二值模式作为目标特征描述；Babenko.B等人则在最近提出了依据在线多示例学习的更新方法，显示了比在线Boosting方法更优越的性能，但计算复杂度更高。虽然这些方法较之前的跟踪算法有了明显的改善，如MeanShift、CAMShift等，但计算复杂度大大增加。由于此类算法须在跟踪开始时准确选取目标区域，难以在需完成目标自动检测与跟踪的***中应用。

相比单目视觉，双目立体视觉能够提供监控区域三维信息，且能够在一定程度上克服光照突变问题。Philip.K等人在双目稠密视差图的基础上依据人体生物信息（按照黄金分割比）完成了行人检测，然而稠密视差图的获取须确定左右图像的所有对应像点，计算量大且易产生误匹配；Lenz.P等人提出了基于双目立体视觉的稀疏点三维光流目标检测与跟踪方法，须计算大量特征点连续多帧的光流数据，依据各点的速度矢量差异完成目标分割，不适于纹理不丰富目标或非刚体目标；Cai.L等人提出了基于稀疏匹配点的目标检测和跟踪方法，主要依据MeanShift算法对离散点聚类，完成目标检测，并借助Kalman滤波进行目标跟踪，相比稠密匹配精度更高，且克服了光照突变问题，然而此方法易陷入局部极值造成聚类失败。

发明内容

本发明所要解决的技术问题是提供一种基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法，使得运算量变小，并且使得目标检测和跟踪更为准确。

本发明解决其技术问题所采用的技术方案是：提供一种基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法，包括以下步骤：

（1）通过摄像机构建双目立体视觉***；

（2）采用张氏标定法标定双目立体视觉***；

（3）设定监测区域；

（4）利用由标定获得的摄像机参数对摄像机获取的两幅图像进行矫正，使所有极线平行；

（5）提取两幅图像兴趣区域内的匹配特征点，计算相应点的三维坐标，并将特征点映射到地平面上；

（6）根据人体体型和黄金分割比对离散点进行聚类，实现目标检测；

（7）结合聚类结果、联合概率数据关联和目标颜色信息完成目标自动检测和跟踪。

所述步骤（1）中采用两台摄像机构建双目立体视觉***，其中两台摄像机的光轴保持平行，基线宽度为0.3～2m。

所述步骤（1）中采用一体化双目立体摄像机构建双目立体视觉***。

所述步骤（2）包括以下子步骤：

（21）依据标定需求对棋盘标定板进行采样，要求每次采样时，标定板位于两台摄像机的共同视域内，处于不同位置，且标定板在两采样图像中占据的面积超出图像面积的一半；

（22）依据张氏标定法标定两台摄像机的内部参数和外部参数，同时确定摄像机坐标系和世界坐标系的转换关系，其中，世界坐标系Z轴垂直地面向上，XY平面与需监控的平坦区域平面平行。

所述步骤（5）包括以下子步骤：

（51）在第一图像的兴趣区域内进行稀疏特征点检测，然后在第二图像沿对应极线方向，在视差范围内利用归一化互相关进行匹配点检测；

（52）计算匹配点对的三维坐标，并依次映射到地平面上。

所述步骤（6）包括以下子步骤：

（61）初步聚类，将映射到地平面中同一像点的匹配点作为同一类，同时计算这些归属同一类的匹配点距离地面的最大与最小高度差；

（62）深度聚类，若某两个初步聚类对应映射图上的像点欧式距离小于人体肩宽，则将这两个分类聚为一类，循环往复，直至所有聚类完成；

（63）根据聚类结果，删除小分类，分割大分类，对各个分类映射到地平面上的像点进行椭圆拟合，将椭圆长轴作为肩宽，椭圆短轴作为人体厚度，若某分类计算所得肩宽和厚度明显小于正常人体肩宽和厚度，则将此分类作为小分类删除，若某分类计算所得肩宽或厚度过大，则依照kmeans算法进行大分类分割，分类数目由计算所得肩宽和厚度相比正常人体肩宽和厚度的倍数确定，直至所有分类均接近正常尺寸；

（64）将最终聚类结果作为目标检测结果。

所述步骤（7）包括以下子步骤：

（71）检测到候选新目标后，初始化相应的联合概率数据关联参数，依据目标稀疏特征点聚类结果，以目标稀疏特征点在第一图像中的外接凸多边形区域为目标区域建立基于核约束的目标颜色直方图；

（72）在跟踪过程中依据跟踪结果更新目标颜色直方图属性，更新方式为h＝(1-α)×h_new+α×h_old，h_new为新获取的基于核约束的目标直方图，h为更新后的目标直方图，h_old为更新前的目标直方图；

（73）某量测在满足联合概率数据关联量测有效性判定，如果其对应目标颜色直方图和某已有目标相似度在门限内时，则确定该量测一定不源于杂波或虚警，并依据此规则建立确认矩阵；

（74）在获得的确认矩阵基础上，按照联合概率数据关联方法进行目标关联，完成目标跟踪。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明基于已标定双目摄像机，对稀疏匹配点聚类，完成对监控区域行人的自动检测，并依据联合概率数据关联和目标颜色直方图信息实现对目标的鲁棒跟踪。经验证，该方法能够应对目标部分遮挡，光照突变问题，满足实时性要求，并且运算量小，以及目标检测和跟踪准确。

附图说明

图1是本发明摄像机布设和坐标系示意图；

图2是本发明流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法，包括以下步骤：利用张氏棋盘标定法完成对摄像机的标定，并建立摄像机坐标系和用户定义的世界坐标系之间的转换关系。之后，执行本方法相关算法，其中，输入是两台摄像机的同步图像，先将图像矫正到极线平行状态，而后利用极线约束完成稀疏特征点匹配。将匹配点映射至世界坐标系中，并投影至地平面上，借助人体体型信息和黄金分割比完成离散点聚类。最后，以聚类为单元，结合联合概率数据关联和目标颜色信息完成监控区域内行人目标的鲁棒检测与跟踪。如图2所示，具体步骤如下：

步骤一、架设视频采集装置，通过两台摄像机构建双目立体视觉***，也可采用一体化双目立体摄像机。

若采用分立摄像机，架设时要求两摄像机光轴基本保持平行，且有大部分相同视域，基线宽度视需求而定，0.3～2m为宜，此外，要求有大面积的空旷平坦区域（地面）出现在摄像机视域内。

步骤二、标定双目立体视觉***。采用张氏标定法，该方法只需要一块棋盘标定板，操作简单且标定精度高，具体步骤如下：

Step1：依据标定需求对棋盘标定板采样。要求每次采样时，标定板位于两摄像机的共同视域内，处于不同位置（与摄像机的距离不同或倾斜角度不同），且标定板在两采样图像中占据大量面积（超出图像面积的一半）。

Step2：依据张氏标定法标定两摄像机的内部参数和外部参数。同时确定摄像机坐标系和世界坐标系的转换关系。要求世界坐标系Z轴垂直地面向上，XY平面与需监控的平坦区域平面平行，如图1所示。

步骤三、设定监控区域。要求设定的监控区域为空旷平坦区域（地面），可直接在两图像中分别设定监控区域，也可将三维监控区域映射至图像上，最终得到两图像上的兴趣区域。

步骤四、利用已标定参数对两摄像机获取的图像进行矫正，使得所有极线平行。

步骤五、查找两图像兴趣区域内的匹配特征点，计算相应点的三维坐标，并将特征点映射到地平面上。

Step1：在左图兴趣区域内进行Harris角点检测，然后在右图沿对应极线方向，在视差范围内利用NCC（归一化互相关）进行匹配点检测，NCC计算公式为

R(u,v)为归一化互相关系数，N₁×N₂为匹配模板大小，x_i+u,j+v，y_i,j为对应位置像点的灰度值。为提高匹配点的准确性，采取双向匹配策略，且忽略次优匹配和最优匹配比低于0.9的点。此外，若某对匹配点视差明显不同于周围匹配点视差，同样忽略此对匹配点。本***中除可使用Harris角点外，还可选择使用其他特征点，如更加鲁棒的SIFT或SURF算子等，但此类特征点会对***实时性产生影响。

Step2：计算匹配点对的三维坐标，并依次映射到地平面上。为建立一张俯视离散点映射图（映射图x、y轴分别沿世界坐标系x轴、y轴方向），就涉及到一个分辨率问题，即映射图上一个像点代表的真实尺寸，这一尺寸不宜过大，过大会导致映射点过于密集，易造成映射点聚类错误，记映射图分辨率为resX×resY，则resX设置成（0.01～0.05m），resY设置成（0.01～0.05m）为宜。

步骤六、将稀疏匹配点聚类，实现目标检测。

Step1：初步聚类，将映射到映射图中同一像点的匹配点作为同一类，记为S′_i，同时计算这些归属同一类的匹配点距离地面的最大与最小高度差，记为h_i。

Step2：深度聚类，记分类S′_i映射到映射图上的像点为O_i，若O_j到O_i的欧式距离小于

则将S′_j和S′_i聚为一类，如此往复，直至所有点聚类完毕。其中

为依照黄金分割比，人肩宽占身高的比率，为0.236。

Step3：依据上一步的聚类结果，删除小分类，分割大分类。对各个分类映射到映射图上的像点进行椭圆拟合，将椭圆长轴作为肩宽，椭圆短轴作为人体厚度。若某分类计算所得肩宽和厚度明显小于正常人体肩宽和厚度，则将此分类作为小分类删除，若某分类计算所得肩宽或厚度过大，则依照kmeans算法进行大分类分割，分类数目由计算所得肩宽和厚度相比正常人体肩宽和厚度的倍数确定。这一过程持续进行，直至所有分类均接近正常尺寸。

Step4：将最终聚类结果作为目标检测结果。若某目标距离所有已有旧目标均较远，则认为是候选新目标。依据步骤七对该候选新目标连续跟踪n帧，若连续多帧都有有效量测，则认为是新目标，若n帧中有多帧无有效量测，则认为是误检测，删除该目标。

步骤七、利用JPDA（联合概率数据关联），结合基于核约束的目标颜色直方图匹配完成目标跟踪，同时在跟踪过程中更新各目标颜色直方图属性。

Step1：检测到候选新目标后，初始化相应的JPDA参数，依据目标稀疏特征点聚类结果，以目标稀疏特征点在左图像中的外接凸多边形区域为目标区域建立基于核约束的目标颜色直方图。

Step2：在跟踪过程中依据跟踪结果更新目标颜色直方图属性。更新方式为h＝(1-α)×h_new+α×h_old，h_new为新获取的基于核约束的目标直方图，h为更新后的目标直方图，h_old为更新前的目标直方图。

Step3：传统JPDA算法只利用量测与目标之间的物理距离作为判定量测是否为有效量测的依据，且假设每个量测都可能源于杂波或者是虚警。本方法引入目标颜色距离作为量测有效性的判定，若某量测在满足传统JPDA量测有效性判定的同时，其对应目标颜色直方图和某已有目标相似度在门限内时，则确定该量测一定不源于杂波或虚警，并依据此规则建立确认矩阵。

Step4：在获得的确认矩阵基础上，按照传统JPDA方法进行目标关联，完成目标跟踪。

本发明主要针对空旷监控区域（基本平坦，且地面在摄像机视域内）的场景，基于已标定双目摄像机，对稀疏匹配点聚类，完成对监控区域行人的自动检测，并依据联合概率数据关联和目标颜色直方图信息实现对目标的鲁棒跟踪。经验证，该方法能够应对目标部分遮挡，光照突变问题，且满足实时性要求。下面以一个具体实例进一步说明本发明。

步骤一、用两台摄像机，一个三脚架和与三脚架连接的水平杆完成***架设，***对一条过道进行监测；两台摄像机水平间距1.5米，开始拍摄。

步骤二、利用张氏标定法完成摄像机标定。

步骤四、将监控区域设定为平坦过道上自摄像机起，到距摄像机20米处过道平坦区域。

步骤三、利用摄像机内外参矫正输入图像，使两图像极线平行。

步骤五、利用NCC完成Harris特征点匹配，并将特征点映射到俯视图上，即地平面上，resX和resY均设置为0.02米。

步骤六、依据人体生理信息（黄金分割比、人体正常肩宽和人体厚度）完成离散点聚类。若在此聚类附近0.7米内（距离聚类中心）没有其他目标，则将该聚类作为候选新目标，以左图中对应离散点边界包围区域为目标区域，建立基于核约束的颜色直方图，此处利用RGB信息，采用Epanechnikov核。

步骤七、结合目标颜色直方图和JPDA完成目标跟踪。跟踪过程中对直方图进行更新。在对候选新目标进行跟踪时，不更新直方图信息，若连续5帧跟踪过程中，候选新目标均存在有效量测，则认为确实是新目标，继续跟踪并在跟踪过程中更新目标直方图信息。

Claims (8)

1.一种基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法，其特征在于，包括以下步骤：

（1）通过摄像机构建双目立体视觉***；

（2）采用张氏标定法标定双目立体视觉***；

（3）设定监测区域；

（4）利用由标定获得的摄像机参数对摄像机获取的两幅图像进行矫正，使所有极线平行；

（5）提取两幅图像兴趣区域内的匹配特征点，计算相应点的三维坐标，并将特征点映射到地平面上；

（6）根据人体体型和黄金分割比对离散点进行聚类，实现目标检测；

（7）结合聚类结果、联合概率数据关联和目标颜色信息完成目标自动检测和跟踪。

2.根据权利要求1所述的基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法，其特征在于，所述步骤（1）中采用两台摄像机构建双目立体视觉***，其中两台摄像机的光轴保持平行，基线宽度为0.3～2m。

3.根据权利要求1所述的基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法，其特征在于，所述步骤（1）中采用一体化双目立体摄像机构建双目立体视觉***。

4.根据权利要求2所述的基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法，其特征在于，所述步骤（2）包括以下子步骤：

（21）依据标定需求对棋盘标定板进行采样，要求每次采样时，标定板位于两台摄像机的共同视域内，处于不同位置，且标定板在两采样图像中占据的面积超出图像面积的一半；

（22）依据张氏标定法标定两台摄像机的内部参数和外部参数，同时确定摄像机坐标系和世界坐标系的转换关系，其中，世界坐标系Z轴垂直地面向上，XY平面与需监控的平坦区域平面平行。

5.根据权利要求1所述的基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法，其特征在于，所述步骤（5）包括以下子步骤：

（51）在第一图像的兴趣区域内进行稀疏特征点检测，然后在第二图像沿对应极线方向，在视差范围内利用归一化互相关进行匹配点检测；

（52）计算匹配点对的三维坐标，并依次映射到地平面上。

6.根据权利要求5所述的基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法，其特征在于，所述步骤（51）中采取双向匹配策略，且忽略次优匹配和最优匹配比低于0.9的点，同时忽略视差明显不同于周围匹配点视差的匹配点。

7.根据权利要求1所述的基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法，其特征在于，所述步骤（6）包括以下子步骤：

（61）初步聚类，将映射到地平面中同一像点的匹配点作为同一类，同时计算这些归属同一类的匹配点距离地面的最大与最小高度差；

（62）深度聚类，若某两个初步聚类对应映射图上的像点欧式距离小于人体肩宽，则将这两个分类聚为一类，循环往复，直至所有聚类完成；

（63）根据聚类结果，删除小分类，分割大分类，对各个分类映射到地平面上的像点进行椭圆拟合，将椭圆长轴作为肩宽，椭圆短轴作为人体厚度，若某分类计算所得肩宽和厚度明显小于正常人体肩宽和厚度，则将此分类作为小分类删除，若某分类计算所得肩宽或厚度过大，则依照kmeans算法进行大分类分割，分类数目由计算所得肩宽和厚度相比正常人体肩宽和厚度的倍数确定，直至所有分类均接近正常尺寸；

（64）将最终聚类结果作为目标检测结果。

8.根据权利要求1所述的基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法，其特征在于，所述步骤（7）包括以下子步骤：

（71）检测到候选新目标后，初始化相应的联合概率数据关联参数，依据目标稀疏特征点聚类结果，以目标稀疏特征点在第一图像中的外接凸多边形区域为目标区域建立基于核约束的目标颜色直方图；

（72）在跟踪过程中依据跟踪结果更新目标颜色直方图属性，更新方式为h＝(1-α)×h_new+α×h_old，h_new为新获取的基于核约束的目标直方图，h为更新后的目标直方图，h_old为更新前的目标直方图；

（73）某量测在满足联合概率数据关联量测有效性判定，如果其对应目标颜色直方图和某已有目标相似度在门限内时，则确定该量测一定不源于杂波或虚警，并依据此规则建立确认矩阵；

（74）在获得的确认矩阵基础上，按照联合概率数据关联方法进行目标关联，完成目标跟踪。

Images