CN114758151A - 一种结合线特征与三角网约束的序列影像密集匹配方法 - Google Patents

Abstract

本发明提供一种结合线特征与三角网约束的序列影像密集匹配方法，通过对序列影像中的初始立体像对进行三角网约束的准稠密匹配获得准稠密点，以此为基础采用KLT光流追踪算法对其他序列影像依次进行跟踪匹配，得到每张影像上的跟踪匹配点，采用BA优化算法对结果进行整体优化得到可靠的三维点云。在初始立体像对准稠密匹配过程中，通过采用匹配得到的线特征对同名点构建的Delaunay三角网进行优化，改善了地物边缘处三角网的构网效果，加强边缘纹理断裂处的匹配约束，在一定程度上改善了结果三维点云地物边缘处的不规则现象，提高边缘点云的重建效果。

Description

一种结合线特征与三角网约束的序列影像密集匹配方法

技术领域

本发明涉及近景摄影测量与计算机视觉技术领域，尤其涉及一种结合线特征与三角网约束的序列影像密集匹配方法。

背景技术

计算机视觉主要任务之一就是通过对采集的影像或视频进行处理以获得相应场景的三维信息。影像匹配作为其中一个关键技术，是实现二维图像恢复三维信息进而实现基于影像三维重建的基础。目前基于影像的三维模型获取主要来源于密集匹配点云数据，该模型基本上能较好的表达目标物轮廓信息，但放大后目标物边缘处细节问题突出，尤其对于建筑物等人工地物，边界会存在粘连、缺失、变形等问题。而物方场景中人工地物等目标物都蕴含着大量的直线特征，包含丰富的几何信息，能够较好地表达目标物的结构特征。如果能将地物的边缘特征线用于图像区域分割及约束后续密集匹配，定能起到较好的优化效果。

发明内容

针对现有技术的不足，本发明的目的是提供一种结合线特征与三角网约束的序列影像密集匹配方法，将点-线联合构建的三角网用于约束匹配，对现有密集匹配结果点云中建筑物等人工地物边缘处不规则现象在一定程度上进行改善，提高建筑物边缘的重建效果。

本发明提供一种结合线特征与三角网约束的序列影像密集匹配方法。

为实现上述目的，本发明提供的一种结合线特征与三角网约束的序列影像密集匹配方法，包括：

步骤1：输入序列影像I₁,I₂,...,I_n及相机的内参矩阵K；

步骤2：采用SIFT算法对两张影像I₁和I₂构成的立体像对进行匹配，其中I₁为参考影像，I₂为搜索影像，采用RANSAC算法对匹配结果进行检核，剔除错误匹配，获取初始可靠的稀疏匹配点集S；

步骤3：采用LSD算法对I₁、I₂两张影像进行特征直线段提取，采用线对特征约束的匹配方法对两影像上提取的直线段进行匹配，得到两影像上的同名直线段集合分别为M₁、M₂；

步骤4：根据匹配点集S，利用八点法计算基础矩阵F；

步骤5：以匹配点集S为基础数据，构建两张影像I₁和I₂上的同名Delaunay三角网；

步骤6：对初始同名直线进行筛选，得到集合

和

步骤7：将直线段集合

和

中线段分别***到影像I₁和I₂上的同名Delaunay三角网中，得到线特征优化后的三角网；

步骤8：以线特征优化后的三角网为基础数据，实现I₁、I₂两张影像的三角网约束迭代加密匹配，得到两影像上密集匹配点云集合S′；

步骤9：以S′为序列影像跟踪匹配的初始匹配基元，采用KLT光流追踪算法实现相邻影像跟踪匹配，得到每张影像上的匹配点，根据多视影像几何和BA优化算法得到序列影像匹配点对应的三维点云。

所述步骤6包括：

步骤6.1：根据匹配点集S，计算得到两影像仿射变换参数A；

步骤6.2：根据基础矩阵F，分别计算直线段集合M₁中每条线段中点在影像I₂上的核线，分别记为

N为同名直线的数目，

为集合M₁中第i条直线的中点，得到集合L＝{l₁,l₂,…，l_N}；

步骤6.3；分别计算集合L中核线与影像I₂上对应的同名直线的夹角θ＝{θ₁,θ₂,…，θ_N}，如果θ_i＞T_θ，T_θ为角度阈值，则将直线段m_i放到集合

中，否则，认为核线与对应的同名直线平行或近似平行，将直线段m_i放到集合

中，对应得到I₂影像上两同名直线集合

步骤6.4：根据仿射变换参数A，计算集合

中该直线端点在搜索影像上的投影点，计算投影点到对应核线的距离，如果小于给定阈值T_d，则保留该组匹配直线，否则将删除，最终得到更新后的集合

和集合

步骤6.5：通过上述筛选，最终保留两影像上用于约束后续加密匹配的同名直线集合，分别记为

所述步骤7包括：

步骤7.1：将集合

中的直线段分段***到已有的Delaunay三角网中，得到线段优化后的Delaunay三角网，记录每条线段上分段点坐标；

步骤7.2：以集合

中每条直线段的分段点为基准，计算其在影像I₂上的同名点；

步骤7.3：以影像I₁上优化后的Delaunay三角网为基准，对应的得到影像I₂上的同名三角网。

所述步骤7.1包括：

步骤7.1.1：选取集合

中的第i条直线段m_i，确定其经过三角网中的三角形，记录三角形索引得到集合R_i；

步骤7.1.2：计算线段m_i与所经过三角形边的交点，将交点和线段m_i两端点一起记为集合τ_i，交点将直线段分段，每一段作为三角形的一条边***到三角网中；

步骤7.1.3：对于线段端点所在的三角形，将三角形顶点与线段端点相连构网，同时对集合R_i中三角形因线段***产生的四边形进行三角划分；

步骤7.1.4：步骤7.1.1-步骤7.1.3过程中涉及到的三角网进行局部优化；

步骤7.1.5：对集合中的每条线段，都重复上述7.1.1-步骤7.1.4的处理，最终得到影像I₁上线特征优化后的Delaunay三角网，同时得到分段点集合Γ＝{τ_i,i＝1,2,…,U，U+1,...,V}。

所述步骤7.2包括：

步骤7.2.1：对于集合

中的每一条线段m_j，其端点和分段点集合为τ_j,j∈[1,U]，跟据基础矩阵F，计算集合τ_j中的每个点在影像I₂上的核线，计算核线与对应同名直线段m′_j的交点，得到分段点对应的同名点集τ′_j；

步骤7.2.2：对于集合

中的每一条线段m_r，其端点和分段点集合为τ_r,r∈[U+1,V]，根据仿射变换参数A计算集合中每个点在搜索影像的投影点，过投影点做同名直线m′_j的垂线，将垂足记为对应分段点的同名点，得到分段点对应的同名点集τ′_r。

所述步骤8包括：

步骤8.1：统计同名点数目以及三角网中三角形的数目K，初始化h＝1；

步骤8.2：判断h是否等于K，如果等于，转到步骤8.8，否则，选取参数影像I₁上第h个三角形，计算其内切圆圆心T_riη，将圆心T_riη作为待匹配点；

步骤8.3：判断三角形面积是否大于给定的阈值T_S，如果大于，转到步骤8.4，否则，令h＝h+1，转到步骤8.2；

步骤8.4：根据基础矩阵F，计算待匹配点T_riη在搜索影像上的核线

将核线经过搜索影像I₂上第h个三角形内切圆内的像素记为待匹配点的初始匹配候选点集δ₀；

步骤8.5：分别计算待匹配点与初始匹配候选点集δ₀中每个候选点的相似性系数ρ，保留ρ大于相似性系数阈值T_ρ的候选点，得到匹配候选点集δ＝{p′_j,j＝1,2,...,n′}，n′为点集中包含候选点的数目；

步骤8.6：判断n′＞0，若满足，令h＝h+1，转到步骤8.2，否则，转到步骤8.7；

步骤8.7：将核线与内切圆交点记为a、b，分别计算候选点集合中每个点到两交点a、b的距离差绝对值，记为

如果满足min({D₁,D₂,…,D_n′})＜T_D，选择其中最小值对应的候选点记为T_riη的匹配同名点，记为T′_riη，如果上述条件不满足，则令h＝h+1，转到步骤8.2；

步骤8.8：更新同名点，判断是否有新增的同名点，如果有，更新三角网，重复步骤8.1到步骤8.7，否则，转到步骤8.9；

步骤8.9：加密匹配迭代停止，得到最终密集点集S'。

所述步骤9包括：

步骤9.1：选取第一张影像I₁的像空间坐标系为世界坐标系，计算影像I₂相对于第一张影像的相机投影矩阵，利用三角测量原理计算两张影像上匹配点的三维坐标；

步骤9.2：令u＝2；

步骤9.3：以影像I_u上的密集匹配点S′_u为基础，采用KLT光流追踪算法对I_u+1影像进行追踪匹配，得到I_u、I_u+1影像对上跟踪匹配的同名点集S′_u-(u+1)；

步骤9.4：根据同名点解算得到相邻影像间相机投影矩阵，利用三角测量原理计算相邻两张影像上匹配点的三维坐标；

步骤9.5：令u＝u+1，如果u＝n，停止跟踪，转到步骤9.6，否则，转到步骤9.3；

步骤9.6：对上述结果进行整体BA优化，得到最终的三维点云。

采用上述技术方法所产生的有益效果在于：

本发明提供一种结合线特征与三角网约束的序列影像密集匹配方法，具有如下有益效果：

(1)本发明提供了一种结合线特征与三角网约束的序列影像密集匹配方法，为序列影像密集匹配提供了新的技术支持。在匹配点构建Delaunay三角网的基础上，利用匹配线对其进行优化，提高地物边缘处三角网的构网效果，对后续加密匹配起到较好的约束，增强了地物边缘点云的细节信息和边缘效果，具有一定的实用价值及普适性。

(2)本发明首先通过加密匹配算法得到初始两张影像上的密集匹配点，并以此为基础使用KLT光流追踪算法对序列影像中的其他相邻影像进行跟踪匹配，得的每张影像上的跟踪匹配点，进而得到相邻影像间投影对应关系及匹配点的三维信息。通过BA优化对序列影像及其匹配结果进行优化计算，确保最终三维点云的可靠性。

附图说明

图1为本发明具体实施方式中结合线特征与三角网约束的序列影像密集匹配方法流程图；

图2为本发明具体实施方式中在不同角度所拍摄待重建物体的序列影像；

图3为本发明具体实施方式中初始两张影像上的同名直线段，其中(a)为该立体像对中参考影像上匹配的直线段，(b)为搜索影像上匹配的直线段；

图4为本发明具体实施方式中利用初始可靠同名点构建的同名三角网，其中(a)为该立体像对中的参考影像，(b)为搜索影像；

图5为本发明具体实施方式中为直线穿过三角网中三角形；

图6为本发明具体实施方式中直线加入到三角网中；

图7为本发明具体实施方式中三角网局部优化结果；

图8为本发明具体实施方式中为线特征优化后的同名三角网，其中(a)为该立体像对中的参考影像，(b)为搜索影像；

图9为本发明具体实施方式中基于KLT光流追踪算法和BA优化算法示意图；

图10为本发明具体实施方式中生成的序列影像三维点云，其中(a)、(b)、(c)分别为不同视角显示的点云效果图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

一种结合线特征与三角网约束的序列影像密集匹配方法，如图1所示，包括：

步骤1：输入序列影像I₁,I₂,...,I_n及相机的内参矩阵K；

从https://www.maths.lth.se/.com网站提供的公开数据集中选取一组序列影像，如图2所示，该组序列影像由NIKON D60相机拍摄，共包含12张影像，影像大小均为1296*1936，其相机内参数矩阵为：

步骤2：采用尺度不变特征转换(简称SIFT)算法对两张影像I₁和I₂构成的立体像对进行匹配，其中I₁为参考影像，I₂为搜索影像，采用随机抽样一致算法(简称RANSAC)算法对匹配结果进行检核，剔除错误匹配，获取初始可靠的稀疏匹配点集S，包含初始同名点数目10551；

步骤3：采用直线段检测(简称LSD)算法对I₁、I₂两张影像进行特征直线段提取，采用线对特征约束的匹配方法对两影像上提取的直线段进行匹配，得到两影像上的同名直线段集合分别为M₁、M₂，同名直线数目为2132，匹配直线如图3所示；

步骤4：根据匹配点集S，利用八点法计算基础矩阵F；

根据对极几何原理可知，同名点与基础矩阵F满足

关系，其中，基础矩阵F可表示为

将初始可靠匹配点集S中的N对同名点分别代入到

中，得到Af＝0，其中：

f＝[F₁₁ F₁₂ F₁₃ F₂₁ F₂₂ F₂₃ F₃₁ F₃₂ F₃₃]^T，

当N≥8时，可根据最小二乘原理直接求解基础矩阵F。

步骤5：以初始匹配点集S为基础数据，构建两张影像I₁和I₂上的同名Delaunay三角网，如图4所示；

步骤6：对初始同名直线进行筛选，得到集合

和

包括：

步骤6.1：根据匹配点集S，计算得到两影像仿射变换参数A；

步骤6.2：根据基础矩阵F，分别计算直线段集合M₁中每条线段中点在影像I₂上的核线，分别记为

N为同名直线的数目，

为集合M₁中第i条直线的中点，得到集合L＝{l₁,l₂,…，l_N}；

步骤6.3；分别计算集合L中核线与影像I₂上对应的同名直线的夹角θ＝{θ₁,θ₂,…，θ_N}，如果θ_i＞T_θ，T_θ为角度阈值，在本实施算例中设为5，则将直线段m_i放到集合

中，否则，认为核线与对应的同名直线平行或近似平行，将直线段m_i放到集合

中，对应得到I₂影像上两同名直线集合

该步骤将已有的同名直线分为两类；

步骤6.4：进一步对步骤6.3中的第二类同名直线进行筛选，根据仿射变换参数A，计算集合

中该直线端点在搜索影像上的投影点，计算投影点到对应核线的距离，如果小于给定阈值T_d，则保留该组匹配直线，否则将删除，最终得到更新后的集合

和集合

步骤6.5：通过上述筛选，最终保留两影像上用于约束后续加密匹配的同名直线集合，分别记为

集合中直线总数目为V，

中包含直线段数目为U。

步骤7：将直线段集合

和

中线段分别***到影像I₁和I₂上的同名Delaunay三角网中，得到线特征优化后的三角网；包括：

步骤7.1：以参考影像为基准，将集合

中的直线段分段***到已有的Delaunay三角网中，得到线段优化后的Delaunay三角网。记录每条线段上分段点坐标；包括：

步骤7.1.1：选取集合

中的第i条直线段m_i，确定其经过三角网中的三角形，如图5所示，记录三角形索引得到集合R_i；

步骤7.1.2：计算线段m_i与所经过三角形边的交点，将交点和线段m_i两端点一起记为集合τ_i，交点将直线段分段，每一段作为三角形的一条边***到三角网中；

步骤7.1.3：对于线段端点所在的三角形，将三角形顶点与线段端点相连构网，同时对集合R_i中三角形因线段***产生的四边形进行三角划分，如图6所示；

步骤7.1.4：根据Delaunay三角网局部优化算法LOP(Local OptimizationProcedure)对步骤7.1.1-步骤7.1.3过程中涉及到的三角网进行局部优化，如图7所示；

步骤7.1.5：对集合中的每条线段，都重复上述7.1.1-步骤7.1.4的处理，最终得到影像I₁上线特征优化后的Delaunay三角网，如图8所示，同时得到分段点集合Γ＝{τ_i,i＝1,2,...,U，U+1,...,V}，其中{τ₁,...,τ_U}为

中直线段对应的分段点集，{τ_U+1,...,τ_V}为

中直线段对应的分段点集；

步骤7.2：以集合

中每条直线段的分段点为基准，计算其在影像I₂上的同名点；包括：

步骤7.2.1：对于集合

中的每一条线段m_j，其端点和分段点集合为τ_j,j∈[1,U]，据基础矩阵F，计算集合τ_j中的每个点在影像I₂上的核线，计算核线与对应同名直线段m′_j的交点，得到分段点对应的同名点集τ′_j；

步骤7.2.2：对于集合

中的每一条线段m_r，其端点和分段点集合为τ_r,r∈[U+1,V]，根据仿射变换参数A计算集合中每个点在搜索影像的投影点，过投影点做同名直线m′_j的垂线，将垂足记为对应分段点的同名点，得到分段点对应的同名点集τ′_r。

步骤7.3：以影像I₁上优化后的Delaunay三角网为基准，对应的得到影像I₂上的同名三角网；

步骤8：以线特征优化后的三角网为基础数据，实现I₁、I₂两张影像的三角网约束迭代加密匹配，得到两影像上密集匹配点云集合S′；包括：

步骤8.1：统计同名点数目以及三角网中三角形的数目K，初始化h＝1；

步骤8.2：判断h是否等于K，如果等于，转到步骤8.8，否则，选取参数影像I₁上第h个三角形，计算其内切圆圆心T_riη，将圆心T_riη作为待匹配点；

步骤8.3：判断三角形面积是否大于给定的阈值T_s＝5，如果大于，转到步骤8.4，否则，令h＝h+1，转到步骤8.2；

步骤8.4：根据基础矩阵F，计算待匹配点T_riη在搜索影像上的核线

将核线经过搜索影像I₂上第h个三角形内切圆内的像素记为待匹配点的初始匹配候选点集δ₀；

步骤8.5：分别计算待匹配点与初始匹配候选点集δ₀中每个候选点的相似性系数ρ，保留ρ大于相似性系数阈值T_ρ＝0.75的候选点，得到匹配候选点集δ＝{p′_j,j＝1,2,...,n′}，n′为点集中包含候选点的数目；

步骤8.6：判断n′＞0，若满足，令h＝h+1，转到步骤8.2，否则，转到步骤8.7；

步骤8.7：将核线与内切圆交点记为a、b，分别计算候选点集合中每个点到两交点a、b的距离差绝对值，记为

如果满足min({D₁,D₂,…,D_n′})＜T_D，本实施例中设T_D＝1，选择其中最小值对应的候选点记为T_riη的匹配同名点，记为T′_riη，如果上述条件不满足，则令h＝h+1，转到步骤8.2；

步骤8.8：更新同名点，判断是否有新增的同名点，如果有，更新三角网，重复步骤8.1到步骤8.7，否则，转到步骤8.9；

步骤8.9：加密匹配迭代停止，得到最终密集点集S′；

步骤9：以S'为序列影像跟踪匹配的初始匹配基元，采用KLT光流追踪算法实现相邻影像跟踪匹配，得到每张影像上的匹配点，并根据多视影像几何和BA优化算法计算得到序列影像匹配得到的三维点云，具体流程如图9所示；具体步骤如下：

步骤9.1：选取第一张影像I₁的像空间坐标系为世界坐标系，计算影像I₂相对于第一张影像的相机投影矩阵，利用三角测量原理计算两张影像上匹配点的三维坐标；

步骤9.2：令u＝2；

步骤9.3：以影像I_u上的密集匹配点S′_u为基础，采用KLT光流追踪算法对I_u+1影像进行追踪匹配，得到I_u、I_u+1影像对上跟踪匹配的同名点集S′_u-(u+1)；

步骤9.4：根据同名点解算得到相邻影像间相机投影矩阵，利用三角测量原理计算相邻两张影像上匹配点的三维坐标；

步骤9.5：令u＝u+1，如果u＝n，停止跟踪，转到步骤9.6，否则，转到步骤9.3；

步骤9.6：对上述结果进行整体BA优化(Bundle Adjustment，简称BA)，得到最终的三维点云，如图10所示。

在本实施方式中，在使用SIFT匹配和RANSAC检核算法获取初始可靠匹配点的基础上，通过LSD算法对初始两张影像的线特征进行匹配，并将直线内插进入三角网后重新构造三角网，接着通过三角网约束迭代加密匹配在初始两影像上得到密集特征点，使得同名点数目从10511增加到477579。最后使用KLT光流追踪算法在后续影像上得到对应密集特征点。

Claims (7)

1.一种结合线特征与三角网约束的序列影像密集匹配方法，其特征在于，包括以下步骤：

步骤1：输入序列影像I₁,I₂,...,I_n及相机的内参矩阵K；

步骤2：采用SIFT算法对两张影像I₁和I₂构成的立体像对进行匹配，其中I₁为参考影像，I₂为搜索影像，采用RANSAC算法对匹配结果进行检核，剔除错误匹配，获取初始可靠的稀疏匹配点集S；

步骤3：采用LSD算法对I₁、I₂两张影像进行特征直线段提取，采用线对特征约束的匹配方法对两影像上提取的直线段进行匹配，得到两影像上的同名直线段集合分别为M₁、M₂；

步骤4：根据匹配点集S，利用八点法计算基础矩阵F；

步骤5：以匹配点集S为基础数据，构建两张影像I₁和I₂上的同名Delaunay三角网；

步骤6：对初始同名直线进行筛选，得到集合

和

步骤7：将直线段集合

和

中线段分别***到影像I₁和I₂上的同名Delaunay三角网中，得到线特征优化后的三角网；

步骤8：以线特征优化后的三角网为基础数据，实现I₁、I₂两张影像的三角网约束迭代加密匹配，得到两影像上密集匹配点云集合S′；

步骤9：以S′为序列影像跟踪匹配的初始匹配基元，采用KLT光流追踪算法实现相邻影像跟踪匹配，得到每张影像上的匹配点，根据多视影像几何和BA优化算法得到序列影像匹配点对应的三维点云。

2.根据权利要求1所述的一种结合线特征与三角网约束的序列影像密集匹配方法，其特征在于，所述步骤6具体包括：

步骤6.1：根据匹配点集S，计算得到两影像仿射变换参数A；

步骤6.2：根据基础矩阵F，分别计算直线段集合M₁中每条线段中点在影像I₂上的核线，分别记为

N为同名直线的数目，

为集合M₁中第i条直线的中点，得到集合L＝{l₁,l₂,…，l_N}；

步骤6.3；分别计算集合L中核线与影像I₂上对应的同名直线的夹角θ＝{θ₁,θ₂,…，θ_N}，如果θ_i＞T_θ，T_θ为角度阈值，则将直线段m_i放到集合

中，否则，认为核线与对应的同名直线平行或近似平行，将直线段m_i放到集合

中，对应得到I₂影像上两同名直线集合

步骤6.4：根据仿射变换参数A，计算集合

中该直线端点在搜索影像上的投影点，计算投影点到对应核线的距离，如果小于给定阈值T_d，则保留该组匹配直线，否则将删除，最终得到更新后的集合

和集合

步骤6.5：经筛选后保留两影像上用于约束后续加密匹配的同名直线集合，分别记为

3.根据权利要求1所述的一种结合线特征与三角网约束的序列影像密集匹配方法，其特征在于，所述步骤7包括：

步骤7.1：将集合

中的直线段分段***到已有的Delaunay三角网中，得到线段优化后的Delaunay三角网，记录每条线段上分段点坐标；

步骤7.2：以集合

中每条直线段的分段点为基准，计算其在影像I₂上的同名点；

步骤7.3：以影像I₁上优化后的Delaunay三角网为基准，对应的得到影像I₂上的同名三角网。

4.根据权利要求3所述的一种结合线特征与三角网约束的序列影像密集匹配方法，其特征在于，所述步骤7.1包括：

步骤7.1.1：选取集合

中的第i条直线段m_i，确定其经过三角网中的三角形，记录三角形索引得到集合R_i；

步骤7.1.2：计算线段m_i与所经过三角形边的交点，将交点和线段m_i两端点一起记为集合τ_i，交点将直线段分段，每一段作为三角形的一条边***到三角网中；

步骤7.1.3：对于线段端点所在的三角形，将三角形顶点与线段端点相连构网，同时对集合R_i中三角形因线段***产生的四边形进行三角划分；

步骤7.1.4：对步骤7.1.1-步骤7.1.3过程中涉及到的三角网进行局部优化；

步骤7.1.5：对集合中的每条线段，都重复上述7.1.1-步骤7.1.4的处理，最终得到影像I₁上线特征优化后的Delaunay三角网，同时得到分段点集合Γ＝{τ_i,i＝1,2,...,U，U+1,...,V}。

5.根据权利要求3所述的一种结合线特征与三角网约束的序列影像密集匹配方法，其特征在于，所述步骤7.2包括：

步骤7.2.1：对于集合

中的每一条线段m_j，其端点和分段点集合为τ_j,j∈[1,U]，跟据基础矩阵F，计算集合τ_j中的每个点在影像I₂上的核线，计算核线与对应同名直线段m′_j的交点，得到分段点对应的同名点集τ′_j；

步骤7.2.2：对于集合

中的每一条线段m_r，其端点和分段点集合为τ_r,r∈[U+1,V]，根据仿射变换参数A计算集合中每个点在搜索影像的投影点，过投影点做同名直线m′_j的垂线，将垂足记为对应分段点的同名点，得到分段点对应的同名点集τ′_r。

6.根据权利要求1所述的一种结合线特征与三角网约束的序列影像密集匹配方法，其特征在于，所述步骤8包括：

步骤8.1：统计同名点数目以及三角网中三角形的数目K，初始化h＝1；

步骤8.2：判断h是否等于K，如果等于，转到步骤8.8，否则，选取参数影像I₁上第h个三角形，计算其内切圆圆心T_riη，将圆心T_riη作为待匹配点；

步骤8.3：判断三角形面积是否大于给定的阈值T_S，如果大于，转到步骤8.4，否则，令h＝h+1，转到步骤8.2；

步骤8.4：根据基础矩阵F，计算待匹配点T_riη在搜索影像上的核线

将核线经过搜索影像I₂上第h个三角形内切圆内的像素记为待匹配点的初始匹配候选点集δ₀；

步骤8.5：分别计算待匹配点与初始匹配候选点集δ₀中每个候选点的相似性系数ρ，保留ρ大于相似性系数阈值T_ρ的候选点，得到匹配候选点集δ＝{p′_j,j＝1,2,...,n′}，n′为点集中包含候选点的数目；

步骤8.6：判断n′＞0，若满足，令h＝h+1，转到步骤8.2，否则，转到步骤8.7；

步骤8.7：将核线与内切圆交点记为a、b，分别计算候选点集合中每个点到两交点a、b的距离差绝对值，记为

如果满足min({D₁,D₂,…,D_n′})＜T_D，选择其中最小值对应的候选点记为T_riη的匹配同名点，记为T′_riη，如果上述条件不满足，则令h＝h+1，转到步骤8.2；

步骤8.8：更新同名点，判断是否有新增的同名点，如果有，更新三角网，重复步骤8.1到步骤8.7，否则，转到步骤8.9；

步骤8.9：加密匹配迭代停止，得到最终密集点集S'。

7.根据权利要求1所述的一种结合线特征与三角网约束的序列影像密集匹配方法，其特征在于，所述步骤9包括：

步骤9.1：选取第一张影像I₁的像空间坐标系为世界坐标系，计算影像I₂相对于第一张影像的相机投影矩阵，利用三角测量原理计算两张影像上匹配点的三维坐标；

步骤9.2：令u＝2；

步骤9.3：以影像I_u上的密集匹配点S′_u为基础，采用KLT光流追踪算法对I_u+1影像进行追踪匹配，得到I_u、I_u+1影像对上跟踪匹配的同名点集S′_u-(u+1)；

步骤9.4：根据同名点解算得到相邻影像间相机投影矩阵，利用三角测量原理计算相邻两张影像上匹配点的三维坐标；

步骤9.5：令u＝u+1，如果u＝n，停止跟踪，转到步骤9.6，否则，转到步骤9.3；

步骤9.6：对上述结果进行整体BA优化，得到最终的三维点云。

Images