CN110490903A - 一种双目视觉测量中多目标快速捕获与跟踪方法 - Google Patents

Abstract

本发明提供了一种双目视觉测量中多目标快速捕获与跟踪方法，属于计算机视觉测量领域。所述多目标快速捕获与跟踪方法包括强杂波背景条件下图像预处理，目标捕获，多目标识别，多目标跟踪。本发明能够实现海量数据的实时处理，同时在太阳光照、天空云层、成像噪声、海平面反射等强杂波情况下能够稳定的捕获和跟踪物体上多个信标点，并将图像中每个信标点和其空间位置对应匹配，本发明能够提高双目视觉测量中多目标识别与跟踪的稳定性和鲁棒性。

Description

一种双目视觉测量中多目标快速捕获与跟踪方法

技术领域

本发明涉及一种复杂背景下多个弱小目标的快速捕获与跟踪方法，特别是双目视觉测量中多个合作目标源(即下文所说的信标)捕获与跟踪方法。属于图像处理、计算机视觉测量领域。

背景技术

随着光电技术的发展以及和学科交叉之间的融合，采用计算机视觉测量方法进行非接触测量正在成为一种重要的测量方法。视觉测量技术不仅可以测量物体的距离同时可以测量物体的三维空间位置和姿态角度。视觉测量技术具有成本低、作用距离远等特点，只要测量相机能够有效提取物体上一定数量的特征点，理论上可以测量任意远的物***置。现在视觉测量技术广泛应用于航天、航空、航海等领域，同时也广泛应用于机械制造、医学、生物学、建筑学等领域。

要快速实时测量空间中物体相对于某一参考坐标系的位置和姿态，首要的问题就是要快速捕获和准确跟踪物体上一定个数的合作信标点。通过提取信标点在图像中的坐标，结合对应信标点在被测物体上的坐标，可以建立投影映射方程组，通过摄影测量原理可以计算出被测物体相对于参考坐标系的旋转和平移矩阵，即测量出被测物体在空间中的位置和姿态角度。

在实现本发明的过程中，发明人发现现有技术至少存在以下不足：

双目视觉测量***中目标捕获和跟踪装置大都基于PC机，然而PC机体积大、功耗高、稳定性差，难以满足工程应用，迫切需要开发一种稳定的高速嵌入式处理平台进行双相机中大数据量的实时处理；传统的多目标捕获与跟踪方法大都孤立的对每个信标进行处理，没有考虑双目视觉测量中同一物体两侧不同信标点之间的刚性连接，以及有效利用双目测量***特有的结果数据，即被测量物体的位置和姿态信息，以提高目标捕获和跟踪的稳定性。

发明内容

本发明的目的在于提供一种双目视觉测量中多目标快速捕获跟踪方法，以实现海量数据的实时处理，同时在强杂波(太阳光照、天空云层、成像噪声、海平面反射等)情况下稳定的捕获和跟踪物体上多个信标点，并将跟踪到的每个图像信标和其物理空间位置对应匹配。

本发明一种双目测量中多目标捕获与跟踪方法，包括：1)强杂波背景条件下图像预处理；2)目标捕获；3)多目标识别；4)多目标跟踪,下面分别对每一步骤进行介绍。

1)强杂波背景条件下图像预处理。采用滤波方法抑制背景杂波的干扰，增强目标能量。

所述背景杂波主要包括太阳光照、天空云层、海平面反射等。

所述滤波方法是指采用一个5*5的高通滤波器模板对图像进行卷积，以增强图像中的信标点，抑制背景杂波。

2)目标捕获。通过提取图像中所有可能的候选目标，形成候选目标集，为下一步目标识别做准备。所述目标捕获包括目标自适应阈值分割和目标搜索与区域标记。

所述目标自适应阈值分割是指根据全局图像特点，自动计算分割阈值，利用该阈值将图像分割成前景为1，背景为0的二值图像。

所述目标搜索与区域标记是指对分割后的二值图像计算所有连通区域，并统计每个连通区域的属性特征，包括数学形态学处理；多目标区域标记；目标合并与分离；多目标特征提取。

所述数学形态学处理是指利用数学形态学中的开操作对二值图像进行处理，即先对图像进行腐蚀，然后进行膨胀操作，去除面积较小的虚假连通区域，并填充面积较大的连通区域。

所述多目标区域标记是指将二值图像中符合某种连通规则(4邻域连通和8邻域连通)的像素用相同的标记表示，使得相连通的区域标记相同。

所述目标合并与分离是指如果两个目标区域距离很近，则将这两个区域进行合并，形成一个目标区域；否则，将这两个区域进行分离。

所述多目标特征提取是指计算候选目标集中每个候选目标的属性特征，包括目标的面积、能量、长宽比、质心点坐标。

3)多目标识别。从候选目标集中识别出多个真实的信标点，包括目标属性特征识别；目标之间几何关系识别；目标运动连续性识别。

所述目标属性特征识别是指根据目标一定的属性特征从候选目标集中去除虚假目标，保留最有可能是真实信标点的目标集。

所述一定的属性特征是指候选目标的面积、能量和长宽比，如果候选目标的面积、能量和长宽比特征超过合理范围，则认为其为假目标，予以剔除。

所述目标之间几何关系识别是指安装在被测物体每一侧的多个信标点投影在图像上都呈现近似正方形的关系，可以利用多个信标点之间的几何位置关系从候选目标集中找到真实的多个信标点。

所述目标运动连续性识别是指通过每个目标运动轨迹进行分析，以便从候选目标集中剔除虚假的目标点。

所述目标运动轨迹是利用目标运动时在每帧图像的特征信息(包括目标面积信息和目标位置信息)，通过统计目标在相邻图像序列之间变化的平滑性和目标坐标位置变化的连续性进行判断。

4)多目标跟踪。在每帧图像中提取每个信标点的质心坐标，形成目标的运动轨迹，包括多目标初始跟踪；多目标轨迹预测；多目标锁定跟踪；目标丢失重新捕获。

所述多目标初始跟踪是通过目标在相邻图像序列之间运动的连续性判断所要跟踪的多个信标点是否为真实的信标点，同时构建每个信标的运动轨迹，为目标轨迹预测作准备，是多目标识别步骤的补充。

所述多目标轨迹预测是指根据当前时刻目标的速度和位移预测目标在下一时刻的位移。

所述多目标锁定跟踪是指实时提取当前时刻每个信标的质心坐标，建立每个信标的运动轨迹。

所述目标丢失重新捕获是指当目标丢失时，跟踪算法可以继续对剩下的目标点进行锁定跟踪，并利用剩下的目标点进行摄影测量，计算物体的位置和姿态，只要两个摄相机中剩下的信标个数之和大于等于四个即可；当丢失的目标重新出现时，目标丢失重新捕获方法能够立刻将丢失的目标捕获到，并加入到摄影测量的方程组中，提高方程求解精度，同时提高物***置和姿态的计算精度。

本发明与现有技术相比的优点在于：

(1)本发明利用强杂波背景条件下图像预处理方法可以降低背景杂波、提高图像的信噪比，降低后续目标捕获和跟踪的复杂度和处理时间；

(2)本发明利用多层递进的方式进行多目标识别。首先通过目标属性特征识别进行候选目标的初步筛查；然后利用目标之间几何关系进行进一步识别，将大量不满足几何关系的候选目标组合排除掉；最后利用目标运动连续性进行时域识别，通过目标运动的轨迹连续性进行最终判别。这样递进的识别方式一方面提高了识别的效率，减少了计算量，同时也可以降低误识别率；

(3)本发明可以对多目标进行稳定跟踪，当某个目标丢失时仍可以对剩余目标进行继续跟踪，同时当丢失目标再次出现时，目标丢失重新捕获方法仍可以将其捕获并加入到跟踪列表，同时不改变目标的跟踪编号；

(4)本发明方法可以广泛应用于双目视觉测量***，提高***中目标捕获和跟踪的可靠性和稳定性。

附图说明

图1为本发明双目视觉测量中多目标快速捕获和跟踪方法流程示意图；

图2为本发明目标捕获方法流程示意图；

图3为本发明目标搜索与区域标记方法流程示意图；

图4为本发明多目标识别方法流程示意图；

图5为本发明图像上多个信标点编号示意图；

图6为本发明被测量物体一侧多个信标点在图像上投影关系示意图；

图7为本发明多目标跟踪方法流程示意图；

图8为本发明多目标快速捕获和跟踪方法不同构成单元状态转换示意图；

图9为本发明双目视觉测量原理示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方法作进一步详细描述。

用于实施本发明的硬件环境是：图像处理平台；两台摄像机；被测物体。其中图像处理平台由4片主频为600MHz的32位浮点ADSP-TS201数字信号处理器以及1片超大规模高速可编程逻辑器件XC4VLX80组成。如图9所示，两台摄像机31、32分布在被测目标两侧，被测目标33两侧各安装4个信标灯。本发明实施流程为：首先通过两路摄像机同时获取被测量物体两侧各包含4个信标点的图像数据流，将两路数据流通过光纤实时传给图像处理平台；图像处理平台对图像进行预处理、多目标捕获与跟踪，提取每个信标点的质心坐标；然后利用信标点的质心坐标进行摄影测量，解算出物体相对于参考坐标系34的位置和姿态。

如图1所示，本发明一种双目视觉测量中多目标快速捕获和跟踪方法，用于在强杂波干扰条件下目标快速捕获、识别和跟踪。其方法的具体实施步骤是：1)强杂波背景条件下图像预处理；2)目标捕获；3)多目标识别；4)多目标跟踪。各步骤的详细说明如下：

1)强杂波背景条件下图像预处理

为了后续目标捕获和跟踪的正确实施，必须选择有效的预处理方法对强杂波背景条件下图像进行预处理，以提高目标的能量、去除或削弱背景杂波的影响。经过实验数据分析发现，主要的杂波干扰为太阳光照、天空云层、海面杂波等，而物体在一定的测量范围内，其两侧的信标点成像大小为3*3～5*5像素左右，信标点在图像上的能量远远小于太阳光照的能量，信标点在图像上的成像是一个个孤立的奇异点。

有鉴于此，本发明提供了一个5*5的高通滤波器模板F对图像中的信标点进行增强，对背景杂波进行抑制。所述5*5的高通滤波器模板F为：

通过将高通滤波器模板F对图像进行卷积运算，可以将图像中大部分连续分布的杂波干扰去除掉，如连续分布的云层、太阳光照等，但是对于不连续分布的云层干扰仍然无法去除，所以滤波后的图像中除了包含有用的目标点数据，还含有一部分滤波后的噪声点数据，就需要在后续步骤中进行处理。

2)目标捕获

如图2所示，所述目标捕获包括目标自适应阈值分割和目标搜索与区域标记，下面对每一步骤进行详细介绍。

所述目标自适应阈值分割是指将当前的灰度图像分割成前景为1、背景为0的二值图像，具体是通过如下方法进行：

a).统计预处理后图像的均值：

其中I(x,y)是坐标为(x,y)的像素灰度值，M和N是图像的长和宽，是图像均值。

b).统计图像的方差：

其中S是图像的方差值；图像的分割阈值选为：其中a是调节因子，优选为1.75～2.45之间。

如图3所示，所述目标搜索与区域标记包括如下步骤：(a)数学形态学处理；(b)多目标区域标记；(c)目标合并与分离；(d)多目标特征提取。

(a)数学形态学处理。对自适应阈值分割后的二值图像进行形态学开操作，即先对图像进行腐蚀，然后进行膨胀操作，以去除面积较小的虚假连通区域，并填充面积较大的连通区域。其中，腐蚀和膨胀所采用的结构元素都是3*3的模板，由于该部分的都是简单的逻辑操作，算法的并行度比较高，所以该部分运算放在现场可编程逻辑器件中进行，以提高运算的速度。

(b)多目标区域标记。将二值图像中符合某种连通规则(4邻域连通和8邻域连通)的像素用相同的标记表示，本发明选用8邻域连通的方式对数学形态学处理后的图像进行标记。本发明中图像行数为N，目标段定义为图像一行中像素连续为1的像素集合，并标记为L[i]＝{Ms，Me，line}，其中Ms，Me分别表示line行中目标段的开始位置和终止位置。算法具体实施步骤为：

第0步：label初始化为0，其记录连通区域的标记编号，line初始化为0；

第1步：在当前行中寻找未标记过的目标段，如果有，则记为{Ms，Me，line},并且label加1，对该目标段中的像素标记赋值为label，进行第2～4步；如果没有，则进入第4步；

第2步：如果line>0,在上一行即line-1行寻找与当前目标段连通的所有未标记过的目标段，如果有，则对每一个目标段中的像素标记为label，同时，对每一个目标段重复第2～3步；如果没有或者line＝0,则进入第3步；

第3步：如果line+1<N,在下一行即line+1行寻找与当前目标段连通的所有未标记过的目标段，如果有，则对每一个目标段中的像素标记为label，同时，对每一个目标段重复第2～3步；如果没有，或者line＝N-1，不进行任何操作；

第4步：如果当前行结束，则line加1(如果line＝N，则结束；否则进入第1步)；如果当前行没有结束,进入第1步。

经过以上5步即可以完成多目标区域标记，每个连通的目标区域都赋予唯一的编号。

(c)目标合并与分离。在上述多目标区域标记的基础之上，即如果两个目标区域距离很近，则将这两个区域进行合并，形成一个目标区域；否则，将这两个区域进行分离。其中两个目标区域相邻是指两个目标的区域边缘小于阈值T。

所述阈值T优选为3～5个像素之间。

(d)多目标特征提取。计算候选目标集中每个候选目标的属性特征，为下一步目标识别提供判据。

所述候选目标集是指经过上一步目标合并与分离后，剩下的每个连通的目标区域。

所述候选目标的属性特征包括：每个候选目标的面积、能量、长宽比、质心点坐标。对每个候选目标都建立一个特征结构体，这样有几个候选目标就建立几个特征结构体，最后输出特征结构体数组，即候选目标属性特征集。

3)多目标识别

如图4所示，所述多目标识别包括如下步骤：(a)目标属性特征识别；(b)目标之间几何关系识别；(c)目标运动连续性识别。

(a)目标属性特征识别。通过目标的属性特征从候选目标集中去除虚假目标，保留最有可能是真实信标点的目标集。具体方法为：首先，利用目标的面积和能量判据判断每个候选目标集中的目标是否是虚假目标。根据被测量物体在空间中运动时其相对于相机距离的变化范围，以及信标点的实际大小，通过小孔成像原理可以近似判断出信标点在图像上面积和能量变化范围，如果某个候选目标的面积或者能量超出此范围，则认为其为虚假目标，从候选目标集中删除；其次，利用目标的长宽比属性对剩下的候选目标集进行判别，由于真实的激光目标源是圆形光斑，其在图像上成像也近似为圆形，或椭圆形，所以如果某个候选目标的长宽比超过阈值T，则认为其为虚假目标，从候选目标集中删除，所述阈值T优选为1.2～1.5之间。

以上即完成了目标属性特征识别步骤，通过该操作，可以从候选特征集中去除大量的虚假目标，减少了下一步目标之间几何关系识别的计算量。

(b)目标之间几何关系识别。利用安装在被测物体上多个信标点之间的几何关系进行识别。

由于进行物***置和姿态测量时，需要提供物体上至少4个信标点才可求解出物体的空间位置，本发明方法中被测物体左右两侧各安装4个信标点，共8个信标点，是为了保证测量的准确性和鲁棒性，同时需要图像上提取的信标点和其物体上的空间坐标点对应匹配。

如图6所示，安装在被测物体每一侧的4个信标点都呈现近似正方形的关系，同时4个信标点也近似处在同一平面内，根据被测物体相对于相机运动的距离和角度，以及摄影几何知识可以判断投影在图像平面上的4个信标点几何关系。图5是4个信标在图像上投影编号，被测量物体左上角的信标点在图像上投影为编号I，右上角为编号II，左下角为编号III，右下角为编号IV。设候选目标集为O＝{o₁,o₂,...,o_n}，其中n为目标集中候选目标个数，具体识别被测量物体空间中的4个信标点在图像上对应的4个点的步骤如下：

第1步：对候选目标集O＝{o₁,o₂,...,o_n}中目标质心坐标的纵坐标进行由小到大排序，这样保证图像视场上方的目标点出现在候选目标集的前列，同时判断候选目标集的个数n，如果n＝4，则转入第6步；

第2步：选取候选目标集中第i候选目标点，其中i＝1,...,n，并假设其为图5中编号为I的信标点，然后从剩下的候选目标集中判断是否存在图5中编号为II、III、IV的信标点，同时然后转入下一步；

第3步：对于j＝1,...,n且j≠i，判断如下条件是否满足：

①x_i+t₂＞x_j＞x_i+t₁

其中，t₁优选为10～15个像素之间；t₂优选为30～35个像素之间；t₃优选为0.75～0.80之间。如果第j候选目标点满足上述两个条件，则初步判断其为图5中编号为II的信标点，转入下一步，如果所有候选信标点都不满足上述两个条件，则转入第2步；

第4步：对于k＝1,...,n且k≠i，k≠j，判断如下条件是否满足：

①y_i+t₂＞y_k＞y_i+t₁

如果第k候选目标点满足上述两个条件，则初步判断其为图5中编号为III的信标点，转入下一步，如果所有候选信标点都不满足上述两个条件，则转入第2步；

第5步：对于l＝1,...,n且l≠i，l≠j，l≠k，判断如下条件是否满足：

①x_k+t₂＞x_l＞x_k+t₁

②y_j+t₂＞y_l＞y_j+t₁

其中t₄优选为0.5～0.65之间。如果第l候选目标点满足上述三个条件，则初步判断其为图5中编号为IV的信标点，转入下一步，如果所有候选信标点都不满足上述三个条件，则转入第2步；

第6步：对4个候选目标点进行几何成像关系判断。根据摄影几何知识计算和实验数据分析发现：4个信标点在图像上的成像不可能为凹四边形，只可能为凸四边形，同时四个信标点分布在以该4个信标点的中心点为原点，水平向右方向为横坐标，垂直向下方法为纵坐标的坐标系的四个象限内。具体判别步骤为：首先计算4个目标候选目标点的中心点，即，

以该中心点为原点(X₀,Y₀)，建立坐标系，首先在4个候选目标点中寻找是否有第一象限的点，即，如果某一候选目标点的坐标满足：x_i＜X₀且y_i＜Y₀，则该点为图5中编号为I的信标点；如果某一候选目标点的坐标满足：x_i＞X₀且y_i＜Y₀，则该点为图5中编号为II信标点；如果某一候选目标点的坐标满足：x_i＞X₀且y_i＞Y₀，则该点为图5中编号为III信标点；如果某一候选目标点的坐标满足：x_i＞X₀且y_i＞Y₀，则该点为图5中编号为IV信标点。如果4个候选目标点都对应到了图5中的4个信标点上，则转入下一步，否则返回第2步；

第7步：判断4个候选信标点两两之间的距离。如图5所示，4个信标点之间可以串联成四边形，通过对四边形的四条边的长和宽进行计算，可以进一步判别所要识别的4个候选点是否为真实的信标点。即如果四边形的长和宽小于最小阈值，大于最大阈值则该4点不全是真实的信标点，返回第2步，否则寻找到4个真实信标点，结束判断。

其中，最小阈值优选为10～15之间，最大阈值优选为30～35之间。

(c)目标运动连续性识别。通过每个目标运动的轨迹进行分析，以便从候选目标集中剔除虚假的目标点。其中，目标运动的轨迹是利用目标运动时在每帧图像的特征信息(包括目标面积信息和目标位置信息)，通过统计目标在相邻图像序列之间变化的平滑性和目标坐标位置变化的连续性进行判断。

其中，统计目标面积在相邻图像序列之间变化的平滑性的方法为：设当前时刻为t，统计前n帧图像中目标面积的均值：

如果当前时刻t的目标面积满足：时，则认为目标面积变化不平滑，将该目标从候选目标集中去除。所述n优选5～7之间。

所述统计目标坐标位置变化的连续性的方法是根据摄像机实时采集图像数据流特点，目标在相邻图像序列之间的坐标位置变化不会产生突变，同时目标距离相机的远近，其在图像上成像面积大小也会发生变化，如果目标距离相机比较近，则目标在图像上成像面积比较大，在相邻图像序列之间的运动距离也比较大；如果目标距离相机比较远，则在图像上面积比较小，在相邻图像序列之间的运动距离也比较小。利用该特性，将相邻图像序列之间目标的运动距离除以目标的面积，若该比率超过阈值T，则认为目标坐标位移变化不平稳，将该目标从候选目标集中去除。所述阈值T优选为20％～30％之间。

4)多目标跟踪

所述多目标跟踪包括如下步骤：(a)多目标初始跟踪；(b)多目标轨迹预测；(c)多目标锁定跟踪；(d)目标丢失重新捕获。下面分别对每一步的具体操作进行介绍。

(a)所述多目标初始跟踪是多目标识别步骤的补充，即通过目标在相邻图像序列之间运动的连续性判断所要跟踪的4个信标点是否为真实的信标点，根据要测量物体在空间中的真实运动速度，以及要测量物体相对于相机的距离可以估算出物体在相邻序列之间的运动距离，具体估算方法如下：

其中，f为摄像机镜头的焦距；L为要测量物体相对于相机的距离；σ为摄像机CCD的像元尺寸；d为信标在相邻序列之间运动距离，即要估计的值；D为被测量物体运动速度，P为相机的频率。由于是近似估计所以没有考虑物体相对于相机光轴方向的运动分量。通过判断D的最大值，即可以估计出d的最大值。如果初始跟踪的信标点在相邻序列之间运动距离超过了d的最大值，即可判断该目标为假目标。如果连续T帧信标在相邻序列之间运动距离都在最大值以内，即进入下一步，其中T优选为4。

(b)根据本发明，所述多目标轨迹预测是指根据当前时刻目标的速度和位移预测目标在下一时刻的位移。由于是实时数据采样，目标在相邻时刻运动位移较小，可以采用线性预测的方法来估计目标的位移。目标在下一时刻k+1的位移预测估计公式如下：

其中，f(k),f(k-1),f(k-2)分别为第k,k-1和k-2图像序列中目标的位移。

(c)根据本发明，所述多目标锁定跟踪是指实时提取当前时刻每个信标的质心位置，建立每个信标的运动轨迹。具体计算过程为：分别以目标轨迹预测的信标位置为中心，建立一个T*T大小的窗口区域，计算该区域的质心位置。其中T优选为其中S_i为第i信标点的面积。每个信标点的质心由下式计算：

其中，I(x,y)为位置(x,y)处图像的灰度值，(X_i,Y_i)为第i信标点的质心。

(d)根据本发明，所述目标丢失重新捕获是指当目标丢失时，跟踪算法可以继续对剩下的目标点进行锁定跟踪，并利用剩下的目标点进行摄影测量，计算物体的位置和姿态，只要两个摄相机中剩下的信标个数之和大于等于4个即可；当丢失的目标重新出现时，目标丢失重新捕获方法能够立刻将丢失的目标捕获到，并加入到摄影测量的方程组中，提高方程求解精度并提高物***置和姿态的计算精度。

目标丢失重新捕获方法的基本原理是基于投影误差最小化。如图6所示，空间中的被测量物体121某一侧上4个信标点经过摄影变换可以投影到图像平面122内，根据下列变换式：

可以计算被测物体上的空间三维坐标点相对于相机坐标系的旋转矩阵R₁R₂和平移向量R₁T₂+T，其中R₁和T₁是物体自身坐标系相对于参考坐标系的旋转和平移矩阵；R₂和T₂是参考坐标系相对于相机坐标系的旋转和平移矩阵；X_O是物体坐标系；X_H是参考坐标系；X_C是相机坐标系。由于R₁和T₁是最终摄影测量结果，当目标丢失不超过4个时就可以进行计算，R₂和T₂是相机外参数标定结果，所以可以根据小孔成像原理将被测物体三维空间坐标{(X₁,Y₁)，...，(X₈,Y₈)}变换到图像平面坐标{(x₁,y₁)，...，(x₈,y₈)}。如果某一个信标点i在跟踪过程中丢失，则在跟踪其它未丢失的信标点的同时，在丢失信标点i可能出现的邻域继续搜索，即以丢失信标点i的投影点(x_i,y_i)为圆心，以阈值T为半径，搜索当前丢失的信标点i是否再次出现。阈值T优选为5～7个像素之间。

图7所示为多目标跟踪的流程图。首先进行目标初始跟踪，当初始跟踪的帧数超过4帧时，即转入目标轨迹预测过程，目标轨迹预测预测到下一时刻目标的位置后，进入目标锁定跟踪环节，目标锁定跟踪过程以目标预测位置为圆心，计算该区域的质心点，该点即为跟踪到的目标位置，同时判断是否有目标丢失，如果没有目标丢失则转入目标轨迹预测过程，否则进入目标丢失重新捕获环节，该过程循环往复，如果出现被测物体在运动过程中一侧4个信标全部丢失，则重新进行目标捕获。

图8为多目标快速捕获和跟踪方法中不同构成单元状态转换示意图。当图像数据流到来时，首先进行目标捕获，然后转入目标识别，如果目标识别单元没有发现真实的信标点，则重新返回目标捕获单元继续进行下一帧的目标捕获，否则进入目标初始跟踪单元。目标初始跟踪对每个信标点建立初始运动轨迹，并对轨迹连续性进行判断，如果不连续则返回目标捕获单元，否则，进入目标锁定跟踪单元。目标锁定跟踪通过一系列的过程完成目标质心点的提取，并判断目标是否丢失，如果目标全部丢失则再次进入目标捕获单元。

Claims (1)

1.一种双目视觉测量中多目标快速捕获与跟踪方法，其特点在于，所述方法包括：

步骤一、强杂波背景条件下图像预处理；

步骤二、目标捕获，所述目标捕获包括目标自适应阈值分割和目标搜索与区域标记；

所述目标自适应阈值分割是指根据全局图像特点，自动计算分割阈值，利用该阈值将图像分割成前景为1，背景为0的二值图像；

所述目标搜索与区域标记是指对分割后的二值图像计算所有连通区域，并统计每个连通区域的属性特征，包括数学形态学处理、多目标区域标记、目标合并与分离、多目标特征提取；

步骤三、多目标识别，所述多目标识别包括目标属性特征识别、目标之间几何关系识别、目标运动连续性识别；

所述目标属性特征识别是指通过目标的属性特征从候选目标集中去除虚假目标，保留最有可能是真实信标点的目标集，如果候选目标的面积和能量等特征超过合理范围，则认为其为假目标，予以剔除；

所述目标之间几何关系识别是指安装在被测物体每一侧的4个信标点投影在图像上都呈现近似正方形的关系，可以利用4个信标点之间的几何位置关系从候选目标集中找到真实的4个信标点；

所述目标运动连续性识别是指通过每个目标运动轨迹进行分析，以便从候选目标集中剔除虚假的目标点；

所述目标运动轨迹是利用目标运动时在每帧图像的特征信息(包括目标面积信息和目标位置信息)，通过统计目标在相邻图像序列之间变化的平滑性和目标坐标位置变化的连续性进行判断；

步骤四、多目标跟踪，所述多目标跟踪包括多目标初始跟踪、多目标轨迹预测、多目标锁定跟踪、目标丢失重新捕获；

所述多目标初始跟踪是通过目标在相邻图像序列之间运动的连续性判断所要跟踪的4个信标点是否为真实的信标点，同时构建每个信标的运动轨迹，是多目标识别步骤的补充；

所述多目标轨迹预测是指根据当前时刻目标的速度和位移预测目标在下一时刻的位移；

所述多目标锁定跟踪是指实时提取当前时刻每个信标的质心坐标，建立每个信标的运动轨迹；

所述目标丢失重新捕获是指当目标丢失时，跟踪算法可以继续对剩下的目标点进行锁定跟踪，并利用剩下的目标点进行摄影测量，计算物体的三维空间位置和姿态，只要两个摄相机中剩下的信标个数之和大于等于4个即可；当图像中丢失的信标重新出现时，目标丢失重新捕获方法能够立刻将丢失的信标捕获到，并加入到摄影测量的方程组中，提高方程求解精度，同时提高物***置和姿态的计算精度。