CN115908491A - 一种双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法 - Google Patents

Abstract

本发明公开了一种双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法，包括：左右视图管道初始化；左右视图管道对应关系构建；管道与标志点ID关联；左右相机同步采集一帧图像；标志点实时检测；帧间标志点实时跟踪；左右视图标志点实时匹配；管道更新；判断是否停止序列图像的实时采集；若是，则结束实时跟踪与匹配；否则，重复执行，实时采集图像、实时跟踪与匹配。本发明将管道滤波算法、形状上下文算法、单应性变换及极线约束相结合，构建出左右视图管道队列及管道相互对应关系，在完成帧间标志点跟踪的同时实现左右视图中标志点的自动匹配，不需要进行专门的匹配，因此，跟踪与匹配的效率得到极大提升，具有快速、准确、鲁棒等优点。

Description

一种双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法

技术领域

本发明属于双目立体视觉技术领域，涉及一种双目序列图像中标志点跟踪与匹配方法，更进一步涉及一种双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法。

背景技术

双目立体视觉作为计算机视觉的一个重要分支，旨在通过左右两台摄像机去模仿人类的双目视觉机理，来计算目标场景的三维信息。因其具有便捷、低成本、实时性较强且精度较高的特点，在机器人视觉、航空测绘、反求工程、国防军工、医学成像和工业检测等领域中得到了广泛应用。双目立体视觉通常使用人工标志点或自然特征点(角点)作为测量目标。其中，基于人工标志点的测量方式因其精度高、实时性强而应用广泛。获取左右相机序列图像中人工标志点(主要是非编码标志点)的匹配关系是其关键一步，也是保证双目立体视觉实时性和精度的基础。跟踪与匹配的准确性决定了检测的准确性，跟踪与匹配的速度决定了检测的效率。

中国发明专利ZL200710307748.6提出一种基于卡尔曼滤波器的帧间标志点跟踪方法。但该方法在初始化阶段需要通过手工建立双目视觉下两组视频图像之间的同步对应关系，不能实现自动匹配；跟踪过程中，需要同时利用二维卡尔曼滤波器和三维卡尔曼滤波器进行预测，并利用三维卡尔曼滤波器修正二维卡尔曼滤波器预测结果，整个过程比较耗时。中国发明专利ZL 202010054037.8基于随机邻域拓扑排列的特征向量对变形前图像和变形后图像中的同一标志点进行匹配。在对每个标志点进行匹配时，由于每次需要获取标志点总数量的2/3至3/4作为相邻标志点确定与该标志点的相对位置，因此，匹配运行量大，效率低。

中国发明专利ZL201910403384.4基于标定参数构造第三视角图像，利用左相机图像和构造的第三视角图像在右图像中的双重极线约束完成特征标志点的匹配。通过双重极限约束在一定程度上降低了误匹配的概率，但每帧图像匹配过程中构造一幅第三视角图像需要耗费大量的时间。中国发明专利ZL201910224546.8提出了一种利用极线校正得到共面且对准的双目立体视觉图像，然后通过标志点之间的欧氏距离来获得左右相机序列图像标志点的匹配关系。但当标志点分布过于密集时，计算的极线会在图像中产生重叠现象，使得上述方法失效。同时，在实际匹配过程中，由于定向参数不精确等的影响，也会导致像点与对应极线的距离误差较大，降低了该方法的稳定性。

发明内容

为了克服现有技术的不足，本发明将管道滤波算法、形状上下文算法、单应性变换及极线约束相结合，提出了一种双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法。首先，在管道初始化阶段为左右视图(左右相机采集的图像称为左右视图)中的每个圆形非编码标志点构建一个管道，在此基础上，实现左右相机采集的序列图像中圆形非编码标志点的帧间实时跟踪；其次，将形状上下文算法与极线约束相结合，构建出左右视图管道队列中的管道的相互对应关系，基于此实现左右视图中圆形非编码标志点的快速匹配。最后，对于因遮挡等导致采用管道滤波算法匹配失败的少数圆形非编码标志点，利用单应性变换算法进行快速、准确的匹配，从而保证了立体匹配的准确性、鲁棒性。该方法中最为耗时的步骤为形状上下文算法与极线约束相结合的左右视图管道对应关系构建，但该过程放在了管道初始化阶段，后续实时跟踪与匹配阶段不涉及，因此，保证了跟踪与匹配的实时性。总之，与现有技术相比，该方法兼顾了圆形非编码标志点匹配的实时性与准确性，具有快速、精准、鲁棒等优点。

为了实现上述目的，本发明采用的技术方案是：

一种双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法，包括如下步骤：

第一步，左右视图管道初始化。控制左右相机同步采集N帧图像(N为管道长度，一般取8～10)，完成管道初始化。

第二步，左右视图管道对应关系构建。结合形状上下文算法与极线约束建立左右视图管道对应关系。

第三步，管道与标志点ID关联。将第二步所构建的左右视图中的对应管道与圆形非编码标志点的ID关联。

第四步，左右相机同步采集一帧图像。控制左右相机实时同步采集一帧圆形非编码标志点图像。

第五步，标志点实时检测。提取第四步所采集的图像中标志点的中心坐标。

第六步，帧间标志点实时跟踪。基于所构建的管道及其对应关系实现第五步所提取的圆形非编码标志点的帧间实时跟踪。

第七步，左右视图标志点实时匹配。根据第六步帧间标志点跟踪结果，实时匹配左右视图中的圆形非编码标志点。

第八步，管道更新。根据标志点跟踪与匹配结果，对管道进行更新。

第九步，判断是否停止序列图像的实时采集；若是，则结束圆形非编码标志点的实时跟踪与匹配；否则，重复执行第四步至第八步，实时采集图像、实时跟踪与匹配。

与现有技术相比，本发明的有益效果是：

(1)本发明方法采用管道滤波算法实现了单相机序列图像中圆形非编码标志点的快速匹配。通过建立左右视图管道队列及其更新方法，实现了左、右视图中非编码标志点的帧间快速匹配。因此，本发明方法比需要同时利用二维卡尔曼滤波器和三维卡尔曼滤波器进行预测，并利用三维卡尔曼滤波器修正二维卡尔曼滤波器预测结果的策略更加高效。

(2)通过构建管道及其相互对应关系，在跟踪的同时便实现了左右视图中圆形非编码标志点的自动匹配。跟踪完成后，具有相同ID的圆形非编码标志点即为左右视图中的对应点，不再需要单独进行匹配，只需采用外极线约束进行验证即可，因此，保证了匹配的实时性，比现有的需要构造一幅第三视角图像的方法或者进行图像校正的方法耗时更少。

(3)对于因遮挡等原因导致的采用管道滤波算法匹配失败的少数圆形非编码标志点，利用单应性变换算法进行快速、准确的匹配，从而保证了立体匹配的准确性、鲁棒性。比现有仅依靠外极线约束进行匹配的方法更加可靠。

(4)本发明方法中最为耗时的步骤为形状上下文算法与极线约束相结合的左右视图管道对应关系构建，但该过程放在了管道初始化阶段，后续实时跟踪与匹配阶段不涉及，因此，保证了跟踪与匹配的实时性。

附图说明

图1为本发明具体操作步骤的流程图。

图2为圆形非编码标志点实时检测流程图。

图3为某一圆形非编码标志点所构建的管道的中心及截面积大小示意图。

图4为左右相机实时同步采集的一帧圆形非编码标志点图像，其中a为左相机采集的图像，b为右相机采集的图像。

图5为图4中圆形非编码标志点实时跟踪与匹配结果，其中a为图4中a的实时跟踪与匹配结果，b为图4中b的实时跟踪与匹配结果。

图6为管道更新流程图。

图7为左右相机采集的第40帧图像中圆形非编码标志点实时跟踪与匹配结果，其中a为左相机结果，b为右相机结果。

图8为左右相机采集的第60帧图像中圆形非编码标志点实时跟踪与匹配结果，其中a为左相机结果，b为右相机结果。

具体实施方式

以下结合附图对本发明作进一步的详细说明。

本发明提出了一种双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法，流程如图1所示，包括：

第一步，左右视图管道初始化。控制左右相机同步采集N帧图像(N为管道长度，一般取8～10)，完成管道初始化，具体步骤如下：

1)控制左右相机同步采集第1帧图像。其中，左相机采集的图像称为左视图，右相机采集的图像称为右视图。此外，在采集图像之前需要对左右相机进行双目标定，获得左右相机的内、外参数，用于后续步骤中外极线的求解。

2)采用圆形非编码标志点实时检测算法等方法提取第1)步所采集的左右视图中圆形非编码标志点的中心坐标。所述的圆形非编码标志点实时检测算法流程如图2所示，主要在GPU端实现。首先，在CPU端与GPU端进行初始化，即在CPU端分配足够的锁页内存用于存储第1)步所采集的图像、在GPU端的全局内存中分配足够的内存区域用于GPU端处理过程中数据的存储。CPU端与GPU端的初始化耗时较多，但只需初始化一次，即第一次初始化完成后该步骤不再被执行。其次，将第1)步所采集的左右视图从CPU端上传至GPU端，传输时采用异步传输，即左视图传输完成后就启动左视图的二值化处理，同时启动右视图的异步上传。GPU端的二值化采用Sauvola局部自适应二值化算法。左视图二值化后，就GPU端采用两步法(Two-Pass算法)进行连通域标记与分析，并在此基础上提取圆形非编码标志点的整像素边缘；接下来，在GPU端基于空间矩法进行亚像素边缘的提取，并采用最小二乘椭圆拟合算法获得圆形非编码标志点的中心坐标；最后，将左视图检测结果从GPU端异步传输至CPU端，同时启动右视图的二值化处理，二值化后进行连通域标记与分析、整像素与亚像素边缘提取及最小二乘椭圆拟合操作，从而获得右视图中圆形非编码标志点的中心坐标，并将检测结果异步传输至CPU端，完成左右视图中圆形非编码标志点的在线实时检测。

3)为左右视图中的每一个圆形非编码标志点构建一个管道，如图3所示，圆形非编码标志点的中心为管道中心，管道的截面积大小为(2L+1)×(2L+1)，L取值与相机帧率有关，一般取L＝(40～200)d/F，其中d为像元大小，F为相机帧率。其次，将管道计数器设置为1，消失帧计数器设置为0。最后，按照管道构建的先后顺序，将左视图中所有圆形非编码标志点对应的管道加入一个队列，并标记为左视图管道队列；将右视图中所有圆形非编码标志点对应的管道加入另外一个队列，并标记为右视图管道队列。

4)控制左右相机同步采集第a帧图像，a＝2,3,4,...,N，并提取第a帧图像中所有圆形非编码标志点的中心坐标，提取方法可采用第2)步所述的圆形非编码标志点实时检测算法。

5)对第4)步所提取的左视图中的圆形非编码标志点进行管道归属。归属方法如下：对第4)步所提取的左视图中的每个圆形非编码标志点，判断其是否落入第3)步所构建的左视图管道队列中的某一个管道；若落入，则该管道的计数器加1，并将该管道的中心更新为该圆形非编码标志点的中心，归属成功；否则，归属失败，按第3)步所述方法为该圆形非编码标志点构建一个新管道，并加入左视图管道队列。

判断某一圆形非编码标志点是否落入某个管道的方法为：若该圆形非编码标志点中心坐标与某个管道中心坐标的x坐标分量的差的绝对值小于L，并且y坐标分量的差的绝对值也小于L，则判定该圆形非编码标志点落入该管道内。

6)对第4)步所提取的右视图中的圆形非编码标志点进行管道归属。归属方法如下：对第4)步所提取的右视图中的每个圆形非编码标志点，判断其是否落入第3)步所构建的右视图管道队列中的某一个管道；若落入，则该管道的计数器加1，并将该管道的中心更新为该圆形非编码标志点的中心，归属成功；否则，归属失败，按第3)步所述方法为该圆形非编码标志点构建一个新管道，并加入右视图管道队列。

7)管道编号。若当前帧为第N帧，即i＝N时，对左右视图管道队列中的管道进行编号。首先，将左视图管道队列中的每个管道的计数器与阈值K_c做比较，若计数器大于或等于K_c，则将该管道的编号设置为M_l+1，M_l为左视图管道队列中管道编号的最大值，M_l初始值为0；若计数器小于K_c，则将该管道的编号设置为-1。其次，将右视图管道队列中的每个管道的计数器与阈值K_c做比较，若计数器大于等于K_c，则将该管道的编号设置为M_r+1，M_r为右视图管道队列中管道编号的最大值，M_r初始值也为0；若计数器小于K_c，则将该管道的编号设置为-1。阈值K_c一般取5～7。

第二步，左右视图管道对应关系构建。结合形状上下文算法与极线约束建立左右视图管道对应关系，包括如下步骤：

1)设左视图管道队列中编号不为-1的管道中心集合为P＝{p₁,p₂,...,p_n}，n表示管道数量。首先，任选其中一个管道中心p_i为参考点，1≤i≤n，建立以p_i为极点的极坐标系。其次，创建以极点为圆心、R为半径的圆，R＝log(max(p_b-p_i))，1≤b≤n，max()表示取最大值函数，log()表示对数函数。接下来将该圆在极径方向上按对数距离等分为k₁份，沿极角方向等分为k₂份，则该区域被划分成了k₁×k₂个子区域。其中k₁一般取5～7，k₂一般取10～12。

2)统计P中其余管道中心在第1)步所划分的子区域中的数量，得到直方图h_i(k)，1≤k≤k₁×k₂，称为p_i的形状上下文。

3)以P中其余管道中心为参考点，重复第1)步与第2)步，计算出P中其余管道中心的形状上下文。

4)设右视图管道队列中编号不为-1的管道中心集合为Q＝{q₁,q₂...,q_m}，m表示管道数量。按照第1)步到第3)步所述流程，计算出Q中的管道中心的形状上下文。

5)相似性度量矩阵计算。相似性度量矩阵C第i行第j列的值C_ij的计算方法如下：

其中，h_i(k)与h_j(k)分别表示计算的左视图管道队列中管道中心p_i和右视图管道队列中管道中心q_j的形状上下文，1≤i≤n，1≤j≤m。

6)基于第5)步所计算的相似性度量矩阵C，采用二分图匹配算法求解最优匹配π。求解最优匹配π时的优化目标函数为：

其中，π表示左视图管道队列中的管道中心与右视图管道队列中的管道中心的对应关系，π(i)表示左视图管道队列中第i个管道中心p_i对应右视图管道队列中第π(i)个管道中心q_π(i)，1≤π(i)≤m。目标函数H(π)最小时所对应的π即为所求的最优匹配。

7)对第6)步所匹配成功的一对管道中心p_i与q_π(i)，若它们的管道编号均不为-1，则根据左右相机的内外参数计算出基础矩阵，根据基础矩阵求解出p_i在右视图中的外极线f_ri，及q_π(i)至f_ri的距离d_ri；其次，根据左右相机的内外参数计算出q_π(i)在左视图中的外极线f_li，及p_i至f_li的距离d_li；令d_i＝d_li+d_ri，给定距离阈值K_d，若d_i≤K_d，则标记左视图管道队列中的第i个管道与右视图管道队列中的第π(i)个管道相互对应。距离阈值K_d一般取3～6个像素。

第三步，管道与标志点ID关联。将第二步所构建的左右视图中的对应管道与圆形非编码标志点的ID关联。假设左视图管道队列中的第i个管道与右视图管道队列中的第j个管道相互对应，则为它们关联一个值为100+i的标志点ID；否则，如果某管道未与其它管道对应，则为其关联一个值为-1的标志点ID。

第四步，左右相机同步采集一帧图像。控制左右相机实时同步采集一帧圆形非编码标志点图像。图4中a与b分别为左右相机实时同步采集的一帧某风电叶片在疲劳激励试验过程中的圆形非编码标志点图像。

第五步，标志点实时检测。提取第四步所采集的左右视图中圆形非编码标志点的中心坐标，并将圆形非编码标志点的ID初始值置为-1。其中提取方法可采用前述的圆形非编码标志点实时检测算法。

第六步，帧间标志点实时跟踪。基于所构建的管道及其对应关系，实现第五步所检测的左右视图中圆形非编码标志点的实时跟踪。对于第五步所检测的左视图中的任意一个圆形非编码标志点，判断其是否落入所构建的左视图管道队列中的某一个管道；若落入，则将其归属至该管道，并将其ID置为该管道所关联的标志点ID，其状态标记为跟踪成功；否则，将其状态标记为跟踪失败。同理，对于第五步所检测的右视图中的任意一个圆形非编码标志点，判断其是否落入所构建的右视图管道队列中的某一个管道，若落入，则将其归属至该管道，并将其ID置为该管道所关联的标志点ID，其状态标记为跟踪成功；否则，将其状态标记为跟踪失败。

第七步，左右视图标志点实时匹配。对第六步帧间跟踪成功的左右视图中的圆形非编码标志点进行实时匹配，具体步骤如下：

1)对于第六步帧间跟踪后左右视图中ID相同且均不为-1的圆形非编码标志点对进行外极线校验；若校验成功，则该对圆形非编码标志点匹配成功，否则将该对圆形非编码标志点的ID均置为-1。外极线校验规则为：对左右视图中ID相同的一对圆形非编码标志点a_i与b_j，首先基于第二步所计算的基础矩阵计算出a_i在右视图中的外极线f_ri，及b_j至f_ri的距离d_ri；其次，计算出b_j在左视图中的外极线f_lj，及a_i至f_lj的距离d_lj；令d_i＝d_lj+d_ri，若d_i＜K_d，校验成功。其中，a_i表示左视图中的第i个圆形非编码标志点，1≤i≤n1，n1表示左视图中圆形非编码标志点的数量，b_j表示右视图中第j个圆形非编码标志点，1≤j≤m1，m1表示右视图中圆形非编码标志点的数量，阈值K_d的取值如第一步中所述。

2)对于第1)步校验后左视图中未匹配成功的任一圆形非编码标志点a_i，1≤i≤n1，若其所归属的管道的编号不为-1，则搜索其在左视图中匹配成功的四个最邻近点及这些邻近点在右视图中的对应点，并基于所搜索的四对对应点计算出单应性矩阵H，进而将a_i变换至右视图中。假设a_i变换后的坐标为a_i′，在右视图未匹配成功的标志点中搜索其最邻近点b_j。若b_j所归属的管道的编号也不为-1，则基于第二步所计算的基础矩阵计算出a_i在右视图中的外极线f_ri，及b_j至f_ri的距离d_ri；若d_i＜K_d/2，则认为左视图中的圆形非编码标志点a_i与右视图中的圆形非编码标志点b_j为对应点，匹配成功。若a_i的ID不为-1，则将b_j的ID修改为a_i的ID；若a_i的ID为-1，而b_j的ID不为-1，则将a_i的ID修改为b_j的ID；若a_i与b_j的ID均为-1，则将它们的ID置为ID_m+1；其中，ID_m表示左右管道队列中的管道所关联的最大ID，阈值K_d的取值如第一步中所述。

图5中a所示为图4中a圆形非编码标志点实时跟踪与匹配结果。图5中b所示为图4中b圆形非编码标志点实时跟踪与匹配结果。由图可以看出不管是背景中静止不动的圆形非编码标志点如ID为118至120的标志点，还是随风电叶片上运动的圆形非编码标志点如ID为102、104与109的标志点，都能正确的跟踪与匹配上。

第八步，管道更新。根据标志点跟踪与匹配结果，如图6所示，分三种情况对管道进行更新。第一种情况，若某一圆形非编码标志点跟踪成功，则将其所归属的管道的计数器加1、消失帧计数器置0、管道中心坐标置为圆形非编码标志点的中心坐标；同时，若该圆形非编码标志点ID不为-1，则将其所归属的管道所关联的ID置为圆形非编码标志点ID。此外，若其所归属的管道编号为-1，且管道的计数器大于阈值K_c，则将该管道的编号设置为M_l+1(当管道位于左视图管道队列中时)或者M_r+1(当管道位于右视图管道队列中时)。其中，阈值K_c、M_l及M_r的含义与取值如第一步所述。

第二种情况，若某一圆形非编码标志点跟踪失败，则按第一步所述的管道构建方法为该圆形非编码标志点新构建一个管道；其次，将新管道加入管道队列中(当圆形非编码标志点属于左视图时新管道加入左视图管道队列，否则加入右视图管道队列)，并关联一个值为-1的标志点ID。

第三种情况，对于未有圆形非编码标志点落入的管道，将其计数器置0，消失帧计数器加1，并判断消失帧计数器是否大于阈值K_e，若大于，则删除该管道。阈值K_e,一般取3～5。

第九步，判断左右相机是否停止序列图像的实时采集；若是，则结束圆形非编码标志点的实时跟踪与匹配；否则，重复执行第四步至第八步，实时采集图像、实时跟踪与匹配。图7中a与b为左右相机实时同步采集的第40帧图像中圆形非编码标志点实时跟踪与匹配结果，图8中a与b为左右相机实时同步采集的第60帧图像中圆形非编码标志点实时跟踪与匹配结果。由图可以看出，尽管圆形非编码标志点随叶片运动了很大的范围，但所有的圆形非编码标志点均能正确的跟踪与匹配，说明了本发明方法的准确性与鲁棒性。以上处理过程在配置I9-11900H CPU与RTX3060显卡的笔记本电脑上进行，图像分辨率为500万像素(2448*2048)、包含20个圆形非编码标志点，在线处理速率为70HZ。其中，除去第五步标志点实时检测所消耗的时间，第六步帧间标志点实时跟踪、第七步左右视图标志点实时匹配及第八步管道更新所消耗的时间总计在2ms以内，当图像中标志点数量增加至100个以上时，第六步至第八步在线实时跟踪与匹配时间在3ms以内，说明本发明方法实时性强，可以很好地满足在线实时跟踪与匹配的实际应用需求。

综上，本发明将管道滤波算法、形状上下文算法、单应性变换及极线约束相结合，构建出左右视图管道队列及管道相互对应关系，在完成帧间标志点跟踪的同时实现左右视图中标志点的自动匹配，不需要进行专门的匹配，因此，跟踪与匹配的效率得到极大提升。此外，对于因遮挡等干扰因素导致采用管道滤波算法匹配失败的少数圆形非编码标志点，利用单应性变换进行二次匹配，匹配的准确性、鲁棒性更强。总之，与现有技术相比，本发明方法具有快速、准确、鲁棒等优点，可实现双目序列图像中圆形非编码标志点的在线实时跟踪与匹配。

Claims (8)

1.一种双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法，其特征在于，包括如下步骤：

第一步，左右视图管道初始化

控制左右相机同步采集N帧图像，完成管道初始化，N为管道长度；

第二步，左右视图管道对应关系构建

结合形状上下文算法与极线约束建立左右视图管道对应关系；

第三步，管道与标志点ID关联

将第二步所构建的左右视图中的对应管道与圆形非编码标志点的ID关联；

第四步，左右相机同步采集一帧图像

控制左右相机实时同步采集一帧圆形非编码标志点图像；

第五步，标志点实时检测

提取第四步所采集的图像中标志点的中心坐标；

第六步，帧间标志点实时跟踪

基于所构建的管道及其对应关系实现第五步所提取的圆形非编码标志点的帧间实时跟踪；

第七步，左右视图标志点实时匹配

根据第六步帧间标志点跟踪结果，实时匹配左右视图中的圆形非编码标志点；

第八步，管道更新

根据标志点跟踪与匹配结果，对管道进行更新；

第九步，判断是否停止序列图像的实时采集；若是，则结束圆形非编码标志点的实时跟踪与匹配；否则，重复执行第四步至第八步，实时采集图像、实时跟踪与匹配。

2.根据权利要求1所述双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法，其特征在于，所述第一步左右视图管道初始化包含如下步骤：

1)控制左右相机同步采集第1帧图像，其中在采集图像之前对左右相机进行双目标定，获得左右相机的内、外参数，用于后续外极线的求解；

2)提取第1)步所采集的左右视图中圆形非编码标志点的中心坐标；

3)为左右视图中的每一个圆形非编码标志点构建一个管道，管道中心为圆形非编码标志点的中心，管道的截面积大小为(2L+1)×(2L+1)，L为与相机帧率有关的计算参数，取L＝(40～200)d/F，其中d为像元大小，F为相机帧率；将管道计数器设置为1，消失帧计数器设置为0；按照管道构建的先后顺序，将左视图中所有圆形非编码标志点对应的管道加入一个队列，并标记为左视图管道队列；将右视图中所有圆形非编码标志点对应的管道加入另外一个队列，并标记为右视图管道队列；

4)控制左右相机同步采集第a帧图像，a＝2,3,4,...,N，并提取所采集的第a帧图像中所有圆形非编码标志点的中心坐标；

5)对第4)步所检测的左视图中的圆形非编码标志点进行管道归属，归属方法如下：对第4)步所提取的左视图中的每个圆形非编码标志点，判断其是否落入第3)步所构建的左视图管道队列中的某一个管道；若落入，则该管道的计数器加1，并将该管道的中心更新为该圆形非编码标志点的中心，归属成功；否则，归属失败，按第3)步所述方法为该圆形非编码标志点构建一个新管道，并加入左视图管道队列；

其中判断某一圆形非编码标志点是否落入某个管道的方法为：若该圆形非编码标志点中心坐标与某个管道中心坐标的x坐标分量的差的绝对值小于L，并且y坐标分量的差的绝对值也小于L，则判定该圆形非编码标志点落入该管道内；

6)对第4)步所检测的右视图中的圆形非编码标志点进行管道归属，归属方法如下：对第4)步所提取的右视图中的每个圆形非编码标志点，判断其是否落入第3)步所构建的右视图管道队列中的某一个管道；若落入，则该管道的计数器加1，并将该管道的中心更新为该圆形非编码标志点的中心，归属成功；否则，归属失败，按第3)步所述方法为该圆形非编码标志点构建一个新管道，并加入右视图管道队列；

7)管道编号

若当前帧为第N帧，即a＝N时，对左右视图管道队列中的管道进行编号，过程如下：首先，将左视图管道队列中的每个管道的计数器与阈值K_c做比较，若计数器大于或等于K_c，则将该管道的编号设置为M_l+1，M_l为左视图管道队列中管道编号的最大值，M_l初始值为0；若计数器小于K_c，则将该管道的编号设置为-1；其次，将右视图管道队列中的每个管道的计数器与阈值K_c做比较，若计数器大于等于K_c，则将该管道的编号设置为M_r+1，M_r为右视图管道队列中管道编号的最大值，M_r初始值也为0；若计数器小于K_c，则将该管道的编号设置为-1。

3.根据权利要求2所述双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法，其特征在于，所述2)、4)以及所述第五步，均利用圆形非编码标志点实时检测算法提取中心坐标，所述的圆形非编码标志点实时检测算法流程包括：首先，在CPU端与GPU端进行初始化，即在CPU端分配足够的锁页内存用于存储所采集的图像、在GPU端的全局内存中分配足够的内存区域用于GPU端处理过程中数据的存储；其次，将所采集的左右视图从CPU端上传至GPU端，传输时采用异步传输，即左视图传输完成后就启动左视图的二值化处理，同时启动右视图的异步上传，左视图二值化后，在GPU端采用两步法进行连通域标记与分析，并在此基础上提取圆形非编码标志点的整像素边缘；接下来，在GPU端基于空间矩法进行亚像素边缘的提取，并采用最小二乘椭圆拟合算法获得圆形非编码标志点的中心坐标；最后，将左视图检测结果从GPU端异步传输至CPU端，同时启动右视图的二值化处理，二值化后进行连通域标记与分析、整像素与亚像素边缘提取及最小二乘椭圆拟合操作，从而获得右视图中圆形非编码标志点的中心坐标，并将检测结果异步传输至CPU端，完成左右视图中圆形非编码标志点的在线实时检测。

4.根据权利要求2所述双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法，其特征在于，所述第二步左右视图管道对应关系构建方法如下：

1)设左视图管道队列中编号不为-1的管道中心集合为P＝{p₁,p₂,...,p_n}，n表示管道数量；首先，任选其中一个管道中心p_i为参考点，1≤i≤n，建立以p_i为极点的极坐标系；其次，创建以极点为圆心、R为半径的圆，R＝log(max(p_b-p_i))，1≤b≤n，max()表示取最大值函数，log()表示对数函数；最后将该圆在极径方向上按对数距离等分为k₁份，沿极角方向等分为k₂份，则该区域被划分成了k₁×k₂个子区域；其中k₁取5～7，k₂取10～12；

2)统计P中其余管道中心在第1)步所划分的子区域中的数量，得到直方图h_i(k)，1≤k≤k₁×k₂，称为p_i的形状上下文；

3)以P中其余管道中心为参考点，重复第1)步与第2)步，计算出P中其余管道中心的形状上下文；

4)设右视图管道队列中编号不为-1的管道中心集合为Q＝{q₁,q₂...,q_m}，m表示管道数量，按照第1)步到第3)步所述流程，计算出Q中的管道中心的形状上下文；

5)相似性度量矩阵计算，相似性度量矩阵C第i行第j列的值C_ij的计算方法如下：

其中，h_i(k)与h_j(k)分别表示计算的左视图管道队列中管道中心p_i和右视图管道队列中管道中心q_j的形状上下文，1≤i≤n，1≤j≤m；

6)基于第5)步所计算的相似性度量矩阵C，采用二分图匹配算法求解最优匹配π，求解最优匹配π时的优化目标函数为：

其中，π表示左视图管道队列中的管道中心与右视图管道队列中的管道中心的对应关系，π(i)表示左视图管道队列中第i个管道中心p_i对应右视图管道队列中第π(i)个管道中心q_π(i)，1≤π(i)≤m；目标函数H(π)最小时所对应的π即为所求的最优匹配；

7)对第6)步所匹配成功的一对管道中心p_i与q_π(i)，若它们的管道编号均不为-1，则根据左右相机的内外参数计算出基础矩阵，根据基础矩阵求解p_i在右视图中的外极线f_ri，及q_π(i)至f_ri的距离d_ri；其次，根据左右相机的内外参数计算出q_π(i)在左视图中的外极线f_li，及p_i至f_li的距离d_li；令d_i＝d_li+d_ri，给定距离阈值K_d，若d_i≤K_d，则标记左视图管道队列中的第i个管道与右视图管道队列中的第π(i)个管道相互对应，距离阈值K_d取3～6个像素。

5.根据权利要求4所述双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法，其特征在于，所述第三步管道与标志点ID关联方法为：设左视图管道队列中第i个管道与右视图管道队列中第j个管道对应，则为它们关联一个值为100+i的标志点ID；否则，若某一管道未与其它管道对应，则为其关联一个值为-1的标志点ID。

6.根据权利要求4所述双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法，其特征在于，所述第六步帧间标志点实时跟踪方法为：对于第五步所检测的左视图中的任意一个圆形非编码标志点，判断其是否落入所构建的左视图管道队列中的某一个管道；若落入，则将其归属至该管道，并将其ID置为该管道所关联的标志点ID，其状态标记为跟踪成功；否则，将其状态标记为跟踪失败；对于第五步所检测的右视图中的任意一个圆形非编码标志点，判断其是否落入所构建的右视图管道队列中的某一个管道，若落入，则将其归属至该管道，并将其ID置为该管道所关联的标志点ID，其状态标记为跟踪成功；否则，将其状态标记为跟踪失败。

7.根据权利要求4所述双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法，其特征在于，所述第七步左右视图标志点实时匹配过程包含如下步骤：

1)对于第六步帧间跟踪后左右视图中ID相同且均不为-1的圆形非编码标志点对进行外极线校验；若校验成功，则该对圆形非编码标志点匹配成功，否则将该对圆形非编码标志点的ID均置为-1；外极线校验规则为：对左右视图中ID相同的一对圆形非编码标志点a_i与b_j，首先基于第二步所计算的基础矩阵计算出a_i在右视图中的外极线f_ri，及b_j至f_ri的距离d_ri；其次，计算出b_j在左视图中的外极线f_lj，及a_i至f_lj的距离d_lj；令d_i＝d_jl+d_ri，若d_i＜K_d，校验成功；其中，a_i表示左视图中的第i个圆形非编码标志点，1≤i≤n1，n1表示左视图中圆形非编码标志点的数量，b_j表示右视图中第j个圆形非编码标志点，1≤j≤m1，m1表示右视图中圆形非编码标志点的数量，阈值K_d的取值如第一步中所述；

2)对于第1)步校验后左视图中未匹配成功的任一圆形非编码标志点a_i，1≤i≤n1，若其所归属的管道的编号不为-1，则搜索其在左视图中匹配成功的四个最邻近点及这些邻近点在右视图中的对应点，并基于所搜索的四对对应点计算出单应性矩阵H，进而将a_i变换至右视图中；设a_i变换后的坐标为a_i′，在右视图未匹配成功的标志点中搜索其最邻近点b_j，若b_j所归属的管道的编号也不为-1，则基于第二步所计算的基础矩阵计算出a_i在右视图中的外极线f_ri，及b_j至f_ri的距离d_ri；若d_i＜K_d/2，则认为左视图中的圆形非编码标志点a_i与右视图中的圆形非编码标志点b_j为对应点，匹配成功；若a_i的ID不为-1，则将b_j的ID修改为a_i的ID；若a_i的ID为-1，而b_j的ID不为-1，则将a_i的ID修改为b_j的ID；若a_i与b_j的ID均为-1，则将它们的ID置为ID_m+1；其中，ID_m表示左右管道队列中的管道所关联的最大ID。

8.根据权利要求4所述双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法，其特征在于，所述第八步管道更新分三种情况：

第一种情况，若某一圆形非编码标志点跟踪成功，则将其所归属的管道的计数器加1、消失帧计数器置0、管道中心坐标置为圆形非编码标志点的中心坐标；同时，若该圆形非编码标志点ID不为-1，则将其所归属的管道所关联的ID置为圆形非编码标志点ID；并且，若其所归属的管道编号为-1，且管道的计数器大于阈值K_c，则当管道位于左视图管道队列中时，将该管道的编号设置为M_l+1，当管道位于右视图管道队列中时，将该管道的编号设置为M_r+1；

第二种情况，若某一圆形非编码标志点跟踪失败，则按第一步所述的管道构建方法为该圆形非编码标志点新构建一个管道；其次，将新管道加入管道队列中，并关联一个值为-1的标志点ID，其中，当圆形非编码标志点属于左视图时新管道加入左视图管道队列，否则加入右视图管道队列。

第三种情况，对于未有圆形非编码标志点落入的管道，将其计数器置0，消失帧计数器加1，并判断消失帧计数器是否大于阈值K_e，若大于，则删除该管道，阈值K_e,取3～5。

Images