CN113160389A - 基于特征线匹配的图像重建方法、装置及存储介质 - Google Patents

Abstract

本申请公开了一种基于特征线匹配的图像重建方法、装置、存储介质及处理器。该基于特征线匹配的图像重建方法包括：获取至少三张图像的轮廓线；在所述轮廓线中确定一第一轮廓线，并从中选取一第一特征线；根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点；将离所述第二特征点最近的第二特征线与所述第一特征线相匹配；基于匹配结果执行三维重建图像的操作。本申请解决了拍摄成像质量和拍摄方式要求非常高的技术问题。

Description

基于特征线匹配的图像重建方法、装置及存储介质

技术领域

本申请涉及图像处理领域，具体而言，涉及一种基于特征线匹配的图像重建方法、装置、存储介质及处理器。

背景技术

基于航拍图像的三维重建方法主要是基于Structure from Motion(运动恢复结构)方法发展出来的。该方法是一项利用相机照片恢复三维结构的三维重建技术。

通过输入一组拍摄固定景象的照片，该技术会识别出图像中存在的特征点，并对不同图像中的相同特征点进行匹配，计算出拍摄不同照片时相机分别所处的位置以及特征点的空间位置，最终生成一组反映景象空间结构的三维点云。

从识别并恢复图像中特征线的空间结构入手，经过三维重建生成一组具有空间结构的三维线段。基于特征线的算法能够保留建筑物的直线轮廓，最终生成更为精确的三维模型。

但是，现有的基于特征线的Structure from Motion技术存在以下缺陷：

1)对拍摄成像质量要求非常高。该技术建立在同一条建筑物轮廓线条在不同视角的图像中都能够完整、准确地识别的基础上，但受限于现有的直线识别技术，直线识别的准确性受光照、拍摄角度等多方面的影响，同一条建筑物轮廓线在成像质量高的图像中容易被识别为完整的线段，而在成像质量不高的图像中则容易被识别为多条线段或不识别为线段。

2)对拍摄方式要求非常高。该技术要求同一条建筑物的轮廓线在不同视角的图像中都能完整展示，但受限于实际拍摄的路线，拍摄过程中很容易出现物体之间相互遮挡的情况。同一条建筑物轮廓线前一张图像中能完整展示，但在另一个视角下的图像中则可能会被部分遮挡，这也就对拍摄方式提出了更高的要求。

针对相关技术中对拍摄成像质量和拍摄方式要求非常高的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种基于特征线匹配的图像重建方法、装置、存储介质及处理器，以解决拍摄成像质量和拍摄方式要求非常高的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种基于特征线匹配的图像重建方法。

根据本申请的供了一种基于特征线匹配的图像重建方法包括：S01、获取至少三张图像的轮廓线；S02、在所述轮廓线中确定一第一轮廓线，并从中选取一第一特征线；S03、根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点；S04、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配；S05、基于匹配结果执行三维重建图像的操作。

进一步的，S01、获取至少三张图像的轮廓线包括：S011、识别选取的三张图像中的特征点；S012、基于任一图像进行与另外两图像间的特征点匹配； S013、采用RANSAC算法计算拍摄三张图像时的相机位置，并筛除不满足相机位置关系的特征点；S014、采用FastLineDetector算法快速识别图像中景物的轮廓线。

进一步的，S03、根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点包括：S031、搜索得到离所述第一特征线最近的第一特征点；S032、判断所述第一特征点是否满足预设定位条件，如果满足则执行S033，如果不满足，则执行S034；S033、根据第一特征点在其余图像中搜索得到第二特征点；S034、终止特征线匹配。

进一步的，S04、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配包括：S041、判断其余图像中是否存在第二特征点，如果存在，则执行步骤S042，如果不存在，则执行步骤S043；S042、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配；S043、终止特征线匹配。

进一步的，S05、基于匹配结果执行三维重建图像的操作包括：S051、根据相机位置和相互匹配的特征点、特征线，利用三角定位算法将匹配的特征点投射到三维空间，得到三维景物模型。

进一步的，将离所述第二特征点最近的第二特征线与所述第一特征线相匹配之后还包括：S061、判断是否遍历所述第一轮廓线中的所有第一特征线； S062、如果是，则结束特征线匹配，并执行步骤S05；S063、如果不是，则执行步骤S02至步骤S04。

进一步的，S04、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配之后还包括：S071、参数化表达已匹配的第一特征线组中的至少三条第一特征线；S072、将参数化表达结果代入预设的三焦点张量模型以判断是否满足预设的轮廓线条件；S073、如果满足，则将经过匹配的所述至少三条第一特征线筛选至目标匹配组中。

进一步的，S05、基于匹配结果执行三维重建图像的操作之后还包括： S081、判断所有图像是否均执行了步骤S01至步骤S05；S082、如果是，则图像三维重建完成；S083、如果不是，则基于未执行的图像执行步骤S01至步骤 S05。

为了实现上述目的，根据本申请的另一方面，提供了一种基于特征线匹配的图像重建装置。

根据本申请的供了一种基于特征线匹配的图像重建装置包括：包括：获取模块10，用于获取至少三张图像的轮廓线；选取模块20，用于在所述轮廓线中确定一第一轮廓线，并从中选取一第一特征线；搜索模块30，用于根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点；匹配模块40，用于将离所述第二特征点最近的第二特征线与所述第一特征线相匹配；执行模块50，用于基于匹配结果执行三维重建图像的操作。

为了实现上述目的，根据本申请的另一方面，提供了一种存储介质。

根据本申请的供了一种存储介质包括：所述的基于特征线匹配的图像重建方法。

在本申请实施例中，采用基于特征线匹配的方式，通过获取至少三张图像的轮廓线；在所述轮廓线中确定一第一轮廓线，并从中选取一第一特征线；根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点；将离所述第二特征点最近的第二特征线与所述第一特征线相匹配；基于匹配结果执行三维重建图像的操作；达到了避免特征线本身完整性影响特征线匹配的目的，从而实现了大大降低对拍摄成像质量和拍摄方式的要求的技术效果，进而解决了拍摄成像质量和拍摄方式要求非常高的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的基于特征线匹配的图像重建方法的流程示意图；

图2是根据本申请一优选实施例的基于特征线匹配的图像重建方法的流程示意图；

图3是根据本申请再一优选实施例的基于特征线匹配的图像重建方法的流程示意图；

图4是根据本申请再一优选实施例的基于特征线匹配的图像重建方法的流程示意图；

图5是根据本申请再一优选实施例的基于特征线匹配的图像重建方法的流程示意图；

图6是根据本申请再一优选实施例的基于特征线匹配的图像重建方法的流程示意图；

图7是根据本申请再一优选实施例的基于特征线匹配的图像重建方法的流程示意图；

图8是根据本申请再一优选实施例的基于特征线匹配的图像重建方法的流程示意图；

图9是根据本申请实施例的基于特征线匹配的图像重建装置的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本发明实施例，提供了一种基于特征线匹配的图像重建方法，如图1 所示，该方法包括如下的步骤S01至步骤S05：

S01、获取至少三张图像的轮廓线；

从所有图像中选取至少三张图像，并建立工作单元。本实施例中，图像选取可以是计算机通过随机算法自动随机选择，也可以是用户通过在软件界面的选择操作选取至少三张图像；优选后者，可以通过在界面中的人为比对，保证至少三张图像中的一张图像和其余图像分别有较大面积的景物重叠；其余图像之间有部分景物重叠；能够保证图像质量，为后续的特征点、特征线匹配提供保障。

根据本发明实施例，优选的，如图2所示，S01、获取至少三张图像的轮廓线包括：

S011、识别选取的三张图像中的特征点；

S012、基于任一图像进行与另外两图像间的特征点匹配；

S013、采用RANSAC算法计算拍摄三张图像时的相机位置，并筛除不满足相机位置关系的特征点；

S014、采用FastLineDetector算法快速识别图像中景物的轮廓线。

在本实施例中，优选为选取三张图像，且定义三张图像中的中间图像为与其余两张图像具有较大景物重叠的图像。采用了Structure from Motion技术于基于特征线的Structure from Motion技术相结合，利用了Structure from Motion技术对于成像数量要求较低的优势，只需两张图像之间有较大的景象重叠即可，大大降低了成像数量的要求。

根据基于特征线的Structure from Motion技术可以识别出三张图像的特征点，再基于中间图像进行与另外两张图像间的特征点匹配，使不同图像的相同特征点相互匹配；匹配的特征点存在无匹配的情况，在这里，采用RANSAC 算法计算出拍摄三张图像时的相机位置(不同图像的拍摄角度、位置均不一样)，并筛除不满足相机位置关系的特征点，使最终获取的特征点组更为精确；最后基于匹配后的特征点能够采用FastLineDetector算法快速识别图像中景物的轮廓线；该轮廓线为景物的外部轮廓，能够有效保留景物的直线轮廓，有助于生成更为精确的三维模型。

S02、在所述轮廓线中确定一第一轮廓线，并从中选取一第一特征线；

仅仅通过FastLineDetector算法识别出的轮廓线，其与景物真实轮廓存在较大的差别，必然导致最终的三维模型无法真实反映景物的真实轮廓，精确性低。因此，为了解决这个问题，需要引入特征线匹配技术。具体而言，以中间图像的轮廓线作为第一轮廓线，再将第一轮廓线分为若干段特征线，采用随机选择算法从中选取任一特征线作为第一特征线，为后续的特征线匹配提供保障。

S03、根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点；

根据本发明实施例，优选的，如图3所示，S03、根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点包括：

S031、搜索得到离所述第一特征线最近的第一特征点；

S032、判断所述第一特征点是否满足预设定位条件，如果满足则执行 S033，如果不满足，则执行S034；

S033、根据第一特征点在其余图像中搜索得到第二特征点；

S034、终止特征线匹配。

由上述的S011至S014可以知晓，三张图像的相同特征点均已相互匹配，因此，匹配的特征点可以作为特征线匹配的参考，以消除特征线即使不完整也不影响特征线匹配的影响；具体而言，首先，计算已匹配的所有特征点到该第一特征线的距离，并且给这些距离排序，将排序为最近的距离所对应的特征点作为第一特征点；然后，匹配后的第一特征点和另外两张图像中的特征点具有匹配关系，因此，据其可以匹配出另外两张图像中的特征点作为第二特征点；从而为根据第二特征点搜得第二特征线提供保障。

本实施例中，优选的，预先设置了定位条件，只有判断满足了该条件，才将该第一特征点作为定位点；否则后续的特征线匹配将被终止。具体而言，判断标准如下：寻找图像中离该第一特征点最近的两条特征线，其中离该特第一征点最近的特征线应为选取的特征线；计算该特征点分别离这两条特征线的距离，其中最短的距离应小于另一段距离的0.7倍；该最短距离还应当小于固定阈值，本实施例中，优选的，将该固定阈值设为10个像素点。若该特征点满足上述条件，则认为其可以作为选取的特征线的定位点，继续执行步骤S033；若不同时满足，则认为该特征点不能作为选取的特征线的定位点，跳过该第一特征线的匹配工作。预设的条件能确保第一特征点能作为特征线合格的定位点，从而提升匹配的成功率。

S04、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配；

根据本发明实施例，优选的，如图4所示，S04、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配包括：

S041、判断其余图像中是否存在第二特征点，如果存在，则执行步骤S042，如果不存在，则执行步骤S043；

S042、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配；

S043、终止特征线匹配。

参照搜索得到离所述第一特征线最近的第一特征点的方法，通过另外两张图像所对应的第二特征点也可以搜索得到离其最近的第二特征线；如此，借助第一特征点、第二特征点的匹配关系，可以建立第一特征线和两条第二特征线的匹配关系。如此，即使三张图像中有图像的质量不高，或受限于拍摄方式，存在光照、拍摄角度、景物轮廓线被遮挡或其他问题，导致直线识别算法没法完整、准确的识别景物的轮廓线，出现断断续续的轮廓线的情况，这些断续的轮廓线也不会影响第一特征线、第二特征线的匹配。因为，在上述的特征线匹配的过程中，并没有基于特征线本身所具有的特征直接进行匹配，而是通过离特征线很近的已匹配的特征点间接进行匹配；也就是说，特征线本身由于质量和/或拍摄方式问题导致的轮廓线完整性差，并不会影响特征线之间的匹配；因而，拍摄成像质量拍摄方式要求得到大大降低，使用质量低，受限于拍摄方式的图像也能最终实现三维图像的重建。

作为本实施例中优选的，为了确保另外两张图像中都存在与第一特征点匹配的第二特征点，需要在第一特征线、第二特征线匹配前判断第二特征点是否存在，仅在都存在的情况下进行第一特征线、第二特征线的匹配；否则后续的特征线匹配将被终止。如此可以一定程度排除误匹配的情况。

根据本发明实施例，优选的，如图6所示，S04、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配之后还包括：

S061、判断是否遍历所述第一轮廓线中的所有第一特征线；

S062、如果是，则结束特征线匹配，并执行步骤S05；

S063、如果不是，则执行步骤S02至步骤S04。

第一特征线、第二特征线匹配结束后，为了保证第一轮廓线中的所有第一特征线均进行了特征线匹配的过程，通过本实施例中的判断方法进行是否已经遍历了第一轮廓线中所有的第一特征线，仅在遍历了所有的第一特征线后，才结束特征线匹配，并为后续结合所有匹配后的特征线组进行三维重建提供保障。如果判断为没有遍历所有第一特征线，则继续执行步骤S02至步骤S04 进行特征线的匹配工作。

S05、基于匹配结果执行三维重建图像的操作。

根据本发明实施例，优选的，如图5所示，S05、基于匹配结果执行三维重建图像的操作包括：

S051、根据相机位置和相互匹配的特征点、特征线，利用三角定位算法将匹配的特征点投射到三维空间，得到三维景物模型。

依照计算得到的相机位置、相互匹配的特征点以及相互匹配的多段特征线，再结合三角定位算法将匹配的特征点投射到三维空间，得到三维景物模型。因为三张图像的特征线并不能完整反映景物的整体轮廓线，因此经过重建得到的三维景物模型也是还原景象的部分三维结构。

根据本发明实施例，优选的，如图8所示，S05、基于匹配结果执行三维重建图像的操作之后还包括：

S081、判断所有图像是否均执行了步骤S01至步骤S05；

S082、如果是，则图像三维重建完成；

S083、如果不是，则基于未执行的图像执行步骤S01至步骤S05。

部分三维结构并不能凸显景物整体，为此，还需要另外多组图像组(一组图像组为三张图像)补齐三维结构。当一组图像组执行完所有步骤完成三维图像的部分重建后，判断是有图像组是否已经全部执行了步骤S01至步骤S05，仅在判断为是的情况下终止程序，完成图像三维重建；如果判断为否，则将未执行的图像组中的一组继续执行步骤S01至步骤S05，直至判断为是，终止程序。

从以上的描述中，可以看出，本发明实现了如下技术效果：

在本申请实施例中，采用基于特征线匹配的方式，通过获取至少三张图像的轮廓线；在所述轮廓线中确定一第一轮廓线，并从中选取一第一特征线；根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点；将离所述第二特征点最近的第二特征线与所述第一特征线相匹配；基于匹配结果执行三维重建图像的操作；达到了避免特征线本身完整性影响特征线匹配的目的，从而实现了大大降低对拍摄成像质量和拍摄方式的要求的技术效果，进而解决了拍摄成像质量和拍摄方式要求非常高的技术问题。

根据本发明实施例，优选的，如图7所示，将离所述第二特征点最近的第二特征线与所述第一特征线相匹配之后还包括：

S071、参数化表达已匹配的第一特征线组中的至少三条第一特征线；

采用基于特征线直接匹配或基于距离最近特征点进行特征线匹配的方法可以得到一组包含三条第一特征线的第一特征线组，将该特征组输入参数化模块进行参数化表达。具体而言，由于拍摄三张图像时的相机的位置各不相同，因此，相互匹配的三条第一特征线需要按照相机的位置分别建立相应的图像坐标体系，并且在各自的图像坐标系下，通过数学表达式分别表达这三条第一特征线。从而为参照这些参数化表达的数学表达式建立相应的模型提供保障。

S072、将参数化表达结果代入预设的三焦点张量模型以判断是否满足预设的轮廓线条件；

依照三张图像各自的相机位置可以建立三焦点张量模型；通过该模型可以实现三条特征线是否为同一条特征线的判断，即可以判断出三条不同图像内的第一特征线是否存在无匹配的情况；具体而言，将参数化表达的三条第一特征线得到的三个参数化表达式输入建立的三焦点张量模型中，该模型通过计算，如果计算结果为等式成立，则认为三条第一特征线反映的是同一条特征线，没有误匹配；如果计算结果为等式不成立，则认为三条第一特征线并不能反映用一条特征线，存在误匹配的。如此可以为后续的误匹配的特征线组的筛除提供保障。

优选的，三焦点张量模型的预设包括：

根据三张图像分别对应的相机位置计算得到三焦点张量模型。

其中三张图像对应的相机坐标分别为P＝[I|0],P′＝[A|a₄],P″＝[B|b₄]。其中A＝[a₁,a₂,a₃],B＝[b₁,b₂,b₃]。a_i和b_i分别为矩阵P′和P″的第i列， i＝1,2,3,4。I,I′和I″代表分别位于三张图像上的待匹配特征线。若三条特征线是正确匹配的，则它们之前应满足如下公式：

S073、如果满足，则将经过匹配的所述至少三条第一特征线筛选至目标匹配组中。

通过上述的三焦点张量模型的判断，已经可以知晓第一特征线组中的特征线是否为误匹配；如果是误匹配，则直接将该误匹配的特征线组予以筛除；如果不是误匹配，则对该三条第一特征线重新进行匹配，并筛选到目标匹配组中，等待后续的三维重建。如此，可以将误匹配的特征线组筛除，采用更为精确的特征线组，有效提高了三维重建图像的准确率。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本发明实施例，还提供了一种用于实施上述基于特征线匹配的图像重建方法的装置，如图9所示，该装置包括：

获取模块10，用于获取至少三张图像的轮廓线；

从所有图像中选取至少三张图像，并建立工作单元。本实施例中，图像选取可以是计算机通过随机算法自动随机选择，也可以是用户通过在软件界面的选择操作选取至少三张图像；优选后者，可以通过在界面中的人为比对，保证至少三张图像中的一张图像和其余图像分别有较大面积的景物重叠；其余图像之间有部分景物重叠；能够保证图像质量，为后续的特征点、特征线匹配提供保障。

根据本发明实施例，优选的，获取至少三张图像的轮廓线包括：

识别选取的三张图像中的特征点；

基于任一图像进行与另外两图像间的特征点匹配；

采用RANSAC算法计算拍摄三张图像时的相机位置，并筛除不满足相机位置关系的特征点；

采用FastLineDetector算法快速识别图像中景物的轮廓线。

在本实施例中，优选为选取三张图像，且定义三张图像中的中间图像为与其余两张图像具有较大景物重叠的图像。采用了Structure from Motion技术于基于特征线的Structure from Motion技术相结合，利用了Structure from Motion技术对于成像数量要求较低的优势，只需两张图像之间有较大的景象重叠即可，大大降低了成像数量的要求。

根据基于特征线的Structure from Motion技术可以识别出三张图像的特征点，再基于中间图像进行与另外两张图像间的特征点匹配，使不同图像的相同特征点相互匹配；匹配的特征点存在无匹配的情况，在这里，采用RANSAC 算法计算出拍摄三张图像时的相机位置(不同图像的拍摄角度、位置均不一样)，并筛除不满足相机位置关系的特征点，使最终获取的特征点组更为精确；最后基于匹配后的特征点能够采用FastLineDetector算法快速识别图像中景物的轮廓线；该轮廓线为景物的外部轮廓，能够有效保留景物的直线轮廓，有助于生成更为精确的三维模型。

选取模块20，用于在所述轮廓线中确定一第一轮廓线，并从中选取一第一特征线；

仅仅通过FastLineDetector算法识别出的轮廓线，其与景物真实轮廓存在较大的差别，必然导致最终的三维模型无法真实反映景物的真实轮廓，精确性低。因此，为了解决这个问题，需要引入特征线匹配技术。具体而言，以中间图像的轮廓线作为第一轮廓线，再将第一轮廓线分为若干段特征线，采用随机选择算法从中选取任一特征线作为第一特征线，为后续的特征线匹配提供保障。

搜索模块30，用于根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点；

根据本发明实施例，优选的，根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点包括：

搜索得到离所述第一特征线最近的第一特征点；

判断所述第一特征点是否满足预设定位条件；

如果满足，则根据第一特征点在其余图像中搜索得到第二特征点；

如果不满足，则终止特征线匹配。

由上可以知晓，三张图像的相同特征点均已相互匹配，因此，匹配的特征点可以作为特征线匹配的参考，以消除特征线即使不完整也不影响特征线匹配的影响；具体而言，首先，计算已匹配的所有特征点到该第一特征线的距离，并且给这些距离排序，将排序为最近的距离所对应的特征点作为第一特征点；然后，匹配后的第一特征点和另外两张图像中的特征点具有匹配关系，因此，据其可以匹配出另外两张图像中的特征点作为第二特征点；从而为根据第二特征点搜得第二特征线提供保障。

本实施例中，优选的，预先设置了定位条件，只有判断满足了该条件，才将该第一特征点作为定位点；否则后续的特征线匹配将被终止。具体而言，判断标准如下：寻找图像中离该第一特征点最近的两条特征线，其中离该特第一征点最近的特征线应为选取的特征线；计算该特征点分别离这两条特征线的距离，其中最短的距离应小于另一段距离的0.7倍；该最短距离还应当小于固定阈值，本实施例中，优选的，将该固定阈值设为10个像素点。若该特征点满足上述条件，则认为其可以作为选取的特征线的定位点，继续向下执行；若不同时满足，则认为该特征点不能作为选取的特征线的定位点，跳过该第一特征线的匹配工作。预设的条件能确保第一特征点能作为特征线合格的定位点，从而提升匹配的成功率。

匹配模块40，用于将离所述第二特征点最近的第二特征线与所述第一特征线相匹配；

根据本发明实施例，优选的，将离所述第二特征点最近的第二特征线与所述第一特征线相匹配包括：

判断其余图像中是否存在第二特征点；

如果存在，则将离所述第二特征点最近的第二特征线与所述第一特征线相匹配；

如果不存在，则终止特征线匹配。

参照搜索得到离所述第一特征线最近的第一特征点的方法，通过另外两张图像所对应的第二特征点也可以搜索得到离其最近的第二特征线；如此，借助第一特征点、第二特征点的匹配关系，可以建立第一特征线和两条第二特征线的匹配关系。如此，即使三张图像中有图像的质量不高，或受限于拍摄方式，存在光照、拍摄角度、景物轮廓线被遮挡或其他问题，导致直线识别算法没法完整、准确的识别景物的轮廓线，出现断断续续的轮廓线的情况，这些断续的轮廓线也不会影响第一特征线、第二特征线的匹配。因为，在上述的特征线匹配的过程中，并没有基于特征线本身所具有的特征直接进行匹配，而是通过离特征线很近的已匹配的特征点间接进行匹配；也就是说，特征线本身由于质量和/或拍摄方式问题导致的轮廓线完整性差，并不会影响特征线之间的匹配；因而，拍摄成像质量拍摄方式要求得到大大降低，使用质量低，受限于拍摄方式的图像也能最终实现三维图像的重建。

作为本实施例中优选的，为了确保另外两张图像中都存在与第一特征点匹配的第二特征点，需要在第一特征线、第二特征线匹配前判断第二特征点是否存在，仅在都存在的情况下进行第一特征线、第二特征线的匹配；否则后续的特征线匹配将被终止。如此可以一定程度排除误匹配的情况。

根据本发明实施例，优选的，将离所述第二特征点最近的第二特征线与所述第一特征线相匹配之后还包括：

判断是否遍历所述第一轮廓线中的所有第一特征线；

如果是，则结束特征线匹配，并进入执行模块50；

如果不是，则执行选取模块20、搜索模块30及匹配模块40。

第一特征线、第二特征线匹配结束后，为了保证第一轮廓线中的所有第一特征线均进行了特征线匹配的过程，通过本实施例中的判断方法进行是否已经遍历了第一轮廓线中所有的第一特征线，仅在遍历了所有的第一特征线后，才结束特征线匹配，并为后续结合所有匹配后的特征线组进行三维重建提供保障。如果判断为没有遍历所有第一特征线，则继续执行选取模块20、搜索模块30及匹配模块40进行特征线的匹配工作。

执行模块50，用于基于匹配结果执行三维重建图像的操作。

根据本发明实施例，优选的，如图5所示，S05、基于匹配结果执行三维重建图像的操作包括：

S051、根据相机位置和相互匹配的特征点、特征线，利用三角定位算法将匹配的特征点投射到三维空间，得到三维景物模型。

依照计算得到的相机位置、相互匹配的特征点以及相互匹配的多段特征线，再结合三角定位算法将匹配的特征点投射到三维空间，得到三维景物模型。因为三张图像的特征线并不能完整反映景物的整体轮廓线，因此经过重建得到的三维景物模型也是还原景象的部分三维结构。

根据本发明实施例，优选的，基于匹配结果执行三维重建图像的操作之后还包括：

判断所有图像是否均执行了获取模块10、选取模块20、搜索模块30、匹配模块40及执行模块50；

如果是，则图像三维重建完成；

如果不是，则基于未执行的图像执行获取模块10、选取模块20、搜索模块30、匹配模块40及执行模块50。

部分三维结构并不能凸显景物整体，为此，还需要另外多组图像组(一组图像组为三张图像)补齐三维结构。当一组图像组执行完所有步骤完成三维图像的部分重建后，判断是有图像组是否已经全部执行了获取模块10、选取模块20、搜索模块30、匹配模块40及执行模块50，仅在判断为是的情况下终止程序，完成图像三维重建；如果判断为否，则将未执行的图像组中的一组继续执行获取模块10、选取模块20、搜索模块30、匹配模块40及执行模块50，直至判断为是，终止程序。

从以上的描述中，可以看出，本发明实现了如下技术效果：

在本申请实施例中，采用基于特征线匹配的方式，通过获取至少三张图像的轮廓线；在所述轮廓线中确定一第一轮廓线，并从中选取一第一特征线；根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点；将离所述第二特征点最近的第二特征线与所述第一特征线相匹配；基于匹配结果执行三维重建图像的操作；达到了避免特征线本身完整性影响特征线匹配的目的，从而实现了大大降低对拍摄成像质量和拍摄方式的要求的技术效果，进而解决了拍摄成像质量和拍摄方式要求非常高的技术问题。

根据本发明实施例，优选的，将离所述第二特征点最近的第二特征线与所述第一特征线相匹配之后还包括：

参数化表达已匹配的第一特征线组中的至少三条第一特征线；

采用基于特征线直接匹配或基于距离最近特征点进行特征线匹配的方法可以得到一组包含三条第一特征线的第一特征线组，将该特征组输入参数化模块进行参数化表达。具体而言，由于拍摄三张图像时的相机的位置各不相同，因此，相互匹配的三条第一特征线需要按照相机的位置分别建立相应的图像坐标体系，并且在各自的图像坐标系下，通过数学表达式分别表达这三条第一特征线。从而为参照这些参数化表达的数学表达式建立相应的模型提供保障。

将参数化表达结果代入预设的三焦点张量模型以判断是否满足预设的轮廓线条件；

依照三张图像各自的相机位置可以建立三焦点张量模型；通过该模型可以实现三条特征线是否为同一条特征线的判断，即可以判断出三条不同图像内的第一特征线是否存在无匹配的情况；具体而言，将参数化表达的三条第一特征线得到的三个参数化表达式输入建立的三焦点张量模型中，该模型通过计算，如果计算结果为等式成立，则认为三条第一特征线反映的是同一条特征线，没有误匹配；如果计算结果为等式不成立，则认为三条第一特征线并不能反映用一条特征线，存在误匹配的。如此可以为后续的误匹配的特征线组的筛除提供保障。

优选的，三焦点张量模型的预设包括：

根据三张图像分别对应的相机位置计算得到三焦点张量模型。

其中三张图像对应的相机坐标分别为P＝[I|0],P′＝[A|a₄],P″＝[B|b₄]。其中A＝[a₁,a₂,a₃],B＝[b₁,b₂,b₃]。a_i和b_i分别为矩阵P′和P″的第i列， i＝1,2,3,4。I,I′和I″代表分别位于三张图像上的待匹配特征线。若三条特征线是正确匹配的，则它们之前应满足如下公式：

如果满足，则将经过匹配的所述至少三条第一特征线筛选至目标匹配组中。

通过上述的三焦点张量模型的判断，已经可以知晓第一特征线组中的特征线是否为误匹配；如果是误匹配，则直接将该误匹配的特征线组予以筛除；如果不是误匹配，则对该三条第一特征线重新进行匹配，并筛选到目标匹配组中，等待后续的三维重建。如此，可以将误匹配的特征线组筛除，采用更为精确的特征线组，有效提高了三维重建图像的准确率。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于特征线匹配的图像重建方法，其特征在于，包括：

S01、获取至少三张图像的轮廓线；

S02、在所述轮廓线中确定一第一轮廓线，并从中选取一第一特征线；

S03、根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点；

S04、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配；

S05、基于匹配结果执行三维重建图像的操作。

2.根据权利要求1所述的图像重建方法，其特征在于，S01、获取至少三张图像的轮廓线包括：

S011、识别选取的三张图像中的特征点；

S012、基于任一图像进行与另外两图像间的特征点匹配；

S013、采用RANSAC算法计算拍摄三张图像时的相机位置，并筛除不满足相机位置关系的特征点；

S014、采用FastLineDetector算法快速识别图像中景物的轮廓线。

3.根据权利要求1所述的图像重建方法，其特征在于，S03、根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点包括：

S031、搜索得到离所述第一特征线最近的第一特征点；

S032、判断所述第一特征点是否满足预设定位条件，如果满足则执行S033，如果不满足，则执行S034；

S033、根据第一特征点在其余图像中搜索得到第二特征点；

S034、终止特征线匹配。

4.根据权利要求1所述的图像重建方法，其特征在于，S04、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配包括：

S041、判断其余图像中是否存在第二特征点，如果存在，则执行步骤S042，如果不存在，则执行步骤S043；

S042、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配；

S043、终止特征线匹配。

5.根据权利要求2所述的图像重建方法，其特征在于，S05、基于匹配结果执行三维重建图像的操作包括：

S051、根据相机位置和相互匹配的特征点、特征线，利用三角定位算法将匹配的特征点投射到三维空间，得到三维景物模型。

6.根据权利要求1所述的图像重建方法，其特征在于，S04、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配之后还包括：

S061、判断是否遍历所述第一轮廓线中的所有第一特征线；

S062、如果是，则结束特征线匹配，并执行步骤S05；

S063、如果不是，则执行步骤S02至步骤S04。

7.根据权利要求1所述的图像重建方法，其特征在于，S04、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配之后还包括：

S071、参数化表达已匹配的第一特征线组中的至少三条第一特征线；

S072、将参数化表达结果代入预设的三焦点张量模型以判断是否满足预设的轮廓线条件；

S073、如果满足，则将经过匹配的所述至少三条第一特征线筛选至目标匹配组中。

8.根据权利要求1所述的图像重建方法，其特征在于，S05、基于匹配结果执行三维重建图像的操作之后还包括：

S081、判断所有图像是否均执行了步骤S01至步骤S05；

S082、如果是，则图像三维重建完成；

S083、如果不是，则基于未执行的图像执行步骤S01至步骤S05。

9.一种基于特征线匹配的图像重建装置，其特征在于，包括：

获取模块10，用于获取至少三张图像的轮廓线；

选取模块20，用于在所述轮廓线中确定一第一轮廓线，并从中选取一第一特征线；

搜索模块30，用于根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点；

匹配模块40，用于将离所述第二特征点最近的第二特征线与所述第一特征线相匹配；

执行模块50，用于基于匹配结果执行三维重建图像的操作。

10.一种存储介质，其特征在于，用于存储权利要求1至8中任一项所述的基于特征线匹配的图像重建方法。

Images