CN113160389A - 基于特征线匹配的图像重建方法、装置及存储介质 - Google Patents
基于特征线匹配的图像重建方法、装置及存储介质 Download PDFInfo
- Publication number
- CN113160389A CN113160389A CN202110452921.1A CN202110452921A CN113160389A CN 113160389 A CN113160389 A CN 113160389A CN 202110452921 A CN202110452921 A CN 202110452921A CN 113160389 A CN113160389 A CN 113160389A
- Authority
- CN
- China
- Prior art keywords
- line
- feature
- characteristic
- matching
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000014509 gene expression Effects 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种基于特征线匹配的图像重建方法、装置、存储介质及处理器。该基于特征线匹配的图像重建方法包括:获取至少三张图像的轮廓线;在所述轮廓线中确定一第一轮廓线,并从中选取一第一特征线;根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点;将离所述第二特征点最近的第二特征线与所述第一特征线相匹配;基于匹配结果执行三维重建图像的操作。本申请解决了拍摄成像质量和拍摄方式要求非常高的技术问题。
Description
技术领域
本申请涉及图像处理领域,具体而言,涉及一种基于特征线匹配的图像重建方法、装置、存储介质及处理器。
背景技术
基于航拍图像的三维重建方法主要是基于Structure from Motion(运动恢复结构)方法发展出来的。该方法是一项利用相机照片恢复三维结构的三维重建技术。
通过输入一组拍摄固定景象的照片,该技术会识别出图像中存在的特征点,并对不同图像中的相同特征点进行匹配,计算出拍摄不同照片时相机分别所处的位置以及特征点的空间位置,最终生成一组反映景象空间结构的三维点云。
从识别并恢复图像中特征线的空间结构入手,经过三维重建生成一组具有空间结构的三维线段。基于特征线的算法能够保留建筑物的直线轮廓,最终生成更为精确的三维模型。
但是,现有的基于特征线的Structure from Motion技术存在以下缺陷:
1)对拍摄成像质量要求非常高。该技术建立在同一条建筑物轮廓线条在不同视角的图像中都能够完整、准确地识别的基础上,但受限于现有的直线识别技术,直线识别的准确性受光照、拍摄角度等多方面的影响,同一条建筑物轮廓线在成像质量高的图像中容易被识别为完整的线段,而在成像质量不高的图像中则容易被识别为多条线段或不识别为线段。
2)对拍摄方式要求非常高。该技术要求同一条建筑物的轮廓线在不同视角的图像中都能完整展示,但受限于实际拍摄的路线,拍摄过程中很容易出现物体之间相互遮挡的情况。同一条建筑物轮廓线前一张图像中能完整展示,但在另一个视角下的图像中则可能会被部分遮挡,这也就对拍摄方式提出了更高的要求。
针对相关技术中对拍摄成像质量和拍摄方式要求非常高的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种基于特征线匹配的图像重建方法、装置、存储介质及处理器,以解决拍摄成像质量和拍摄方式要求非常高的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种基于特征线匹配的图像重建方法。
根据本申请的供了一种基于特征线匹配的图像重建方法包括:S01、获取至少三张图像的轮廓线;S02、在所述轮廓线中确定一第一轮廓线,并从中选取一第一特征线;S03、根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点;S04、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配;S05、基于匹配结果执行三维重建图像的操作。
进一步的,S01、获取至少三张图像的轮廓线包括:S011、识别选取的三张图像中的特征点;S012、基于任一图像进行与另外两图像间的特征点匹配; S013、采用RANSAC算法计算拍摄三张图像时的相机位置,并筛除不满足相机位置关系的特征点;S014、采用FastLineDetector算法快速识别图像中景物的轮廓线。
进一步的,S03、根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点包括:S031、搜索得到离所述第一特征线最近的第一特征点;S032、判断所述第一特征点是否满足预设定位条件,如果满足则执行S033,如果不满足,则执行S034;S033、根据第一特征点在其余图像中搜索得到第二特征点;S034、终止特征线匹配。
进一步的,S04、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配包括:S041、判断其余图像中是否存在第二特征点,如果存在,则执行步骤S042,如果不存在,则执行步骤S043;S042、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配;S043、终止特征线匹配。
进一步的,S05、基于匹配结果执行三维重建图像的操作包括:S051、根据相机位置和相互匹配的特征点、特征线,利用三角定位算法将匹配的特征点投射到三维空间,得到三维景物模型。
进一步的,将离所述第二特征点最近的第二特征线与所述第一特征线相匹配之后还包括:S061、判断是否遍历所述第一轮廓线中的所有第一特征线; S062、如果是,则结束特征线匹配,并执行步骤S05;S063、如果不是,则执行步骤S02至步骤S04。
进一步的,S04、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配之后还包括:S071、参数化表达已匹配的第一特征线组中的至少三条第一特征线;S072、将参数化表达结果代入预设的三焦点张量模型以判断是否满足预设的轮廓线条件;S073、如果满足,则将经过匹配的所述至少三条第一特征线筛选至目标匹配组中。
进一步的,S05、基于匹配结果执行三维重建图像的操作之后还包括: S081、判断所有图像是否均执行了步骤S01至步骤S05;S082、如果是,则图像三维重建完成;S083、如果不是,则基于未执行的图像执行步骤S01至步骤 S05。
为了实现上述目的,根据本申请的另一方面,提供了一种基于特征线匹配的图像重建装置。
根据本申请的供了一种基于特征线匹配的图像重建装置包括:包括:获取模块10,用于获取至少三张图像的轮廓线;选取模块20,用于在所述轮廓线中确定一第一轮廓线,并从中选取一第一特征线;搜索模块30,用于根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点;匹配模块40,用于将离所述第二特征点最近的第二特征线与所述第一特征线相匹配;执行模块50,用于基于匹配结果执行三维重建图像的操作。
为了实现上述目的,根据本申请的另一方面,提供了一种存储介质。
根据本申请的供了一种存储介质包括:所述的基于特征线匹配的图像重建方法。
在本申请实施例中,采用基于特征线匹配的方式,通过获取至少三张图像的轮廓线;在所述轮廓线中确定一第一轮廓线,并从中选取一第一特征线;根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点;将离所述第二特征点最近的第二特征线与所述第一特征线相匹配;基于匹配结果执行三维重建图像的操作;达到了避免特征线本身完整性影响特征线匹配的目的,从而实现了大大降低对拍摄成像质量和拍摄方式的要求的技术效果,进而解决了拍摄成像质量和拍摄方式要求非常高的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的基于特征线匹配的图像重建方法的流程示意图;
图2是根据本申请一优选实施例的基于特征线匹配的图像重建方法的流程示意图;
图3是根据本申请再一优选实施例的基于特征线匹配的图像重建方法的流程示意图;
图4是根据本申请再一优选实施例的基于特征线匹配的图像重建方法的流程示意图;
图5是根据本申请再一优选实施例的基于特征线匹配的图像重建方法的流程示意图;
图6是根据本申请再一优选实施例的基于特征线匹配的图像重建方法的流程示意图;
图7是根据本申请再一优选实施例的基于特征线匹配的图像重建方法的流程示意图;
图8是根据本申请再一优选实施例的基于特征线匹配的图像重建方法的流程示意图;
图9是根据本申请实施例的基于特征线匹配的图像重建装置的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中,术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例,并非用于限定所指示的装置、元件或组成部分必须具有特定方位,或以特定方位进行构造和操作。
并且,上述部分术语除了可以用于表示方位或位置关系以外,还可能用于表示其他含义,例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言,可以根据具体情况理解这些术语在本发明中的具体含义。
此外,术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如,可以是固定连接,可拆卸连接,或整体式构造;可以是机械连接,或电连接;可以是直接相连,或者是通过中间媒介间接相连,又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
根据本发明实施例,提供了一种基于特征线匹配的图像重建方法,如图1 所示,该方法包括如下的步骤S01至步骤S05:
S01、获取至少三张图像的轮廓线;
从所有图像中选取至少三张图像,并建立工作单元。本实施例中,图像选取可以是计算机通过随机算法自动随机选择,也可以是用户通过在软件界面的选择操作选取至少三张图像;优选后者,可以通过在界面中的人为比对,保证至少三张图像中的一张图像和其余图像分别有较大面积的景物重叠;其余图像之间有部分景物重叠;能够保证图像质量,为后续的特征点、特征线匹配提供保障。
根据本发明实施例,优选的,如图2所示,S01、获取至少三张图像的轮廓线包括:
S011、识别选取的三张图像中的特征点;
S012、基于任一图像进行与另外两图像间的特征点匹配;
S013、采用RANSAC算法计算拍摄三张图像时的相机位置,并筛除不满足相机位置关系的特征点;
S014、采用FastLineDetector算法快速识别图像中景物的轮廓线。
在本实施例中,优选为选取三张图像,且定义三张图像中的中间图像为与其余两张图像具有较大景物重叠的图像。采用了Structure from Motion技术于基于特征线的Structure from Motion技术相结合,利用了Structure from Motion技术对于成像数量要求较低的优势,只需两张图像之间有较大的景象重叠即可,大大降低了成像数量的要求。
根据基于特征线的Structure from Motion技术可以识别出三张图像的特征点,再基于中间图像进行与另外两张图像间的特征点匹配,使不同图像的相同特征点相互匹配;匹配的特征点存在无匹配的情况,在这里,采用RANSAC 算法计算出拍摄三张图像时的相机位置(不同图像的拍摄角度、位置均不一样),并筛除不满足相机位置关系的特征点,使最终获取的特征点组更为精确;最后基于匹配后的特征点能够采用FastLineDetector算法快速识别图像中景物的轮廓线;该轮廓线为景物的外部轮廓,能够有效保留景物的直线轮廓,有助于生成更为精确的三维模型。
S02、在所述轮廓线中确定一第一轮廓线,并从中选取一第一特征线;
仅仅通过FastLineDetector算法识别出的轮廓线,其与景物真实轮廓存在较大的差别,必然导致最终的三维模型无法真实反映景物的真实轮廓,精确性低。因此,为了解决这个问题,需要引入特征线匹配技术。具体而言,以中间图像的轮廓线作为第一轮廓线,再将第一轮廓线分为若干段特征线,采用随机选择算法从中选取任一特征线作为第一特征线,为后续的特征线匹配提供保障。
S03、根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点;
根据本发明实施例,优选的,如图3所示,S03、根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点包括:
S031、搜索得到离所述第一特征线最近的第一特征点;
S032、判断所述第一特征点是否满足预设定位条件,如果满足则执行 S033,如果不满足,则执行S034;
S033、根据第一特征点在其余图像中搜索得到第二特征点;
S034、终止特征线匹配。
由上述的S011至S014可以知晓,三张图像的相同特征点均已相互匹配,因此,匹配的特征点可以作为特征线匹配的参考,以消除特征线即使不完整也不影响特征线匹配的影响;具体而言,首先,计算已匹配的所有特征点到该第一特征线的距离,并且给这些距离排序,将排序为最近的距离所对应的特征点作为第一特征点;然后,匹配后的第一特征点和另外两张图像中的特征点具有匹配关系,因此,据其可以匹配出另外两张图像中的特征点作为第二特征点;从而为根据第二特征点搜得第二特征线提供保障。
本实施例中,优选的,预先设置了定位条件,只有判断满足了该条件,才将该第一特征点作为定位点;否则后续的特征线匹配将被终止。具体而言,判断标准如下:寻找图像中离该第一特征点最近的两条特征线,其中离该特第一征点最近的特征线应为选取的特征线;计算该特征点分别离这两条特征线的距离,其中最短的距离应小于另一段距离的0.7倍;该最短距离还应当小于固定阈值,本实施例中,优选的,将该固定阈值设为10个像素点。若该特征点满足上述条件,则认为其可以作为选取的特征线的定位点,继续执行步骤S033;若不同时满足,则认为该特征点不能作为选取的特征线的定位点,跳过该第一特征线的匹配工作。预设的条件能确保第一特征点能作为特征线合格的定位点,从而提升匹配的成功率。
S04、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配;
根据本发明实施例,优选的,如图4所示,S04、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配包括:
S041、判断其余图像中是否存在第二特征点,如果存在,则执行步骤S042,如果不存在,则执行步骤S043;
S042、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配;
S043、终止特征线匹配。
参照搜索得到离所述第一特征线最近的第一特征点的方法,通过另外两张图像所对应的第二特征点也可以搜索得到离其最近的第二特征线;如此,借助第一特征点、第二特征点的匹配关系,可以建立第一特征线和两条第二特征线的匹配关系。如此,即使三张图像中有图像的质量不高,或受限于拍摄方式,存在光照、拍摄角度、景物轮廓线被遮挡或其他问题,导致直线识别算法没法完整、准确的识别景物的轮廓线,出现断断续续的轮廓线的情况,这些断续的轮廓线也不会影响第一特征线、第二特征线的匹配。因为,在上述的特征线匹配的过程中,并没有基于特征线本身所具有的特征直接进行匹配,而是通过离特征线很近的已匹配的特征点间接进行匹配;也就是说,特征线本身由于质量和/或拍摄方式问题导致的轮廓线完整性差,并不会影响特征线之间的匹配;因而,拍摄成像质量拍摄方式要求得到大大降低,使用质量低,受限于拍摄方式的图像也能最终实现三维图像的重建。
作为本实施例中优选的,为了确保另外两张图像中都存在与第一特征点匹配的第二特征点,需要在第一特征线、第二特征线匹配前判断第二特征点是否存在,仅在都存在的情况下进行第一特征线、第二特征线的匹配;否则后续的特征线匹配将被终止。如此可以一定程度排除误匹配的情况。
根据本发明实施例,优选的,如图6所示,S04、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配之后还包括:
S061、判断是否遍历所述第一轮廓线中的所有第一特征线;
S062、如果是,则结束特征线匹配,并执行步骤S05;
S063、如果不是,则执行步骤S02至步骤S04。
第一特征线、第二特征线匹配结束后,为了保证第一轮廓线中的所有第一特征线均进行了特征线匹配的过程,通过本实施例中的判断方法进行是否已经遍历了第一轮廓线中所有的第一特征线,仅在遍历了所有的第一特征线后,才结束特征线匹配,并为后续结合所有匹配后的特征线组进行三维重建提供保障。如果判断为没有遍历所有第一特征线,则继续执行步骤S02至步骤S04 进行特征线的匹配工作。
S05、基于匹配结果执行三维重建图像的操作。
根据本发明实施例,优选的,如图5所示,S05、基于匹配结果执行三维重建图像的操作包括:
S051、根据相机位置和相互匹配的特征点、特征线,利用三角定位算法将匹配的特征点投射到三维空间,得到三维景物模型。
依照计算得到的相机位置、相互匹配的特征点以及相互匹配的多段特征线,再结合三角定位算法将匹配的特征点投射到三维空间,得到三维景物模型。因为三张图像的特征线并不能完整反映景物的整体轮廓线,因此经过重建得到的三维景物模型也是还原景象的部分三维结构。
根据本发明实施例,优选的,如图8所示,S05、基于匹配结果执行三维重建图像的操作之后还包括:
S081、判断所有图像是否均执行了步骤S01至步骤S05;
S082、如果是,则图像三维重建完成;
S083、如果不是,则基于未执行的图像执行步骤S01至步骤S05。
部分三维结构并不能凸显景物整体,为此,还需要另外多组图像组(一组图像组为三张图像)补齐三维结构。当一组图像组执行完所有步骤完成三维图像的部分重建后,判断是有图像组是否已经全部执行了步骤S01至步骤S05,仅在判断为是的情况下终止程序,完成图像三维重建;如果判断为否,则将未执行的图像组中的一组继续执行步骤S01至步骤S05,直至判断为是,终止程序。
从以上的描述中,可以看出,本发明实现了如下技术效果:
在本申请实施例中,采用基于特征线匹配的方式,通过获取至少三张图像的轮廓线;在所述轮廓线中确定一第一轮廓线,并从中选取一第一特征线;根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点;将离所述第二特征点最近的第二特征线与所述第一特征线相匹配;基于匹配结果执行三维重建图像的操作;达到了避免特征线本身完整性影响特征线匹配的目的,从而实现了大大降低对拍摄成像质量和拍摄方式的要求的技术效果,进而解决了拍摄成像质量和拍摄方式要求非常高的技术问题。
根据本发明实施例,优选的,如图7所示,将离所述第二特征点最近的第二特征线与所述第一特征线相匹配之后还包括:
S071、参数化表达已匹配的第一特征线组中的至少三条第一特征线;
采用基于特征线直接匹配或基于距离最近特征点进行特征线匹配的方法可以得到一组包含三条第一特征线的第一特征线组,将该特征组输入参数化模块进行参数化表达。具体而言,由于拍摄三张图像时的相机的位置各不相同,因此,相互匹配的三条第一特征线需要按照相机的位置分别建立相应的图像坐标体系,并且在各自的图像坐标系下,通过数学表达式分别表达这三条第一特征线。从而为参照这些参数化表达的数学表达式建立相应的模型提供保障。
S072、将参数化表达结果代入预设的三焦点张量模型以判断是否满足预设的轮廓线条件;
依照三张图像各自的相机位置可以建立三焦点张量模型;通过该模型可以实现三条特征线是否为同一条特征线的判断,即可以判断出三条不同图像内的第一特征线是否存在无匹配的情况;具体而言,将参数化表达的三条第一特征线得到的三个参数化表达式输入建立的三焦点张量模型中,该模型通过计算,如果计算结果为等式成立,则认为三条第一特征线反映的是同一条特征线,没有误匹配;如果计算结果为等式不成立,则认为三条第一特征线并不能反映用一条特征线,存在误匹配的。如此可以为后续的误匹配的特征线组的筛除提供保障。
优选的,三焦点张量模型的预设包括:
根据三张图像分别对应的相机位置计算得到三焦点张量模型。
其中三张图像对应的相机坐标分别为P=[I|0],P′=[A|a4],P″=[B|b4]。其中A=[a1,a2,a3],B=[b1,b2,b3]。ai和bi分别为矩阵P′和P″的第i列, i=1,2,3,4。I,I′和I″代表分别位于三张图像上的待匹配特征线。若三条特征线是正确匹配的,则它们之前应满足如下公式:
S073、如果满足,则将经过匹配的所述至少三条第一特征线筛选至目标匹配组中。
通过上述的三焦点张量模型的判断,已经可以知晓第一特征线组中的特征线是否为误匹配;如果是误匹配,则直接将该误匹配的特征线组予以筛除;如果不是误匹配,则对该三条第一特征线重新进行匹配,并筛选到目标匹配组中,等待后续的三维重建。如此,可以将误匹配的特征线组筛除,采用更为精确的特征线组,有效提高了三维重建图像的准确率。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
根据本发明实施例,还提供了一种用于实施上述基于特征线匹配的图像重建方法的装置,如图9所示,该装置包括:
获取模块10,用于获取至少三张图像的轮廓线;
从所有图像中选取至少三张图像,并建立工作单元。本实施例中,图像选取可以是计算机通过随机算法自动随机选择,也可以是用户通过在软件界面的选择操作选取至少三张图像;优选后者,可以通过在界面中的人为比对,保证至少三张图像中的一张图像和其余图像分别有较大面积的景物重叠;其余图像之间有部分景物重叠;能够保证图像质量,为后续的特征点、特征线匹配提供保障。
根据本发明实施例,优选的,获取至少三张图像的轮廓线包括:
识别选取的三张图像中的特征点;
基于任一图像进行与另外两图像间的特征点匹配;
采用RANSAC算法计算拍摄三张图像时的相机位置,并筛除不满足相机位置关系的特征点;
采用FastLineDetector算法快速识别图像中景物的轮廓线。
在本实施例中,优选为选取三张图像,且定义三张图像中的中间图像为与其余两张图像具有较大景物重叠的图像。采用了Structure from Motion技术于基于特征线的Structure from Motion技术相结合,利用了Structure from Motion技术对于成像数量要求较低的优势,只需两张图像之间有较大的景象重叠即可,大大降低了成像数量的要求。
根据基于特征线的Structure from Motion技术可以识别出三张图像的特征点,再基于中间图像进行与另外两张图像间的特征点匹配,使不同图像的相同特征点相互匹配;匹配的特征点存在无匹配的情况,在这里,采用RANSAC 算法计算出拍摄三张图像时的相机位置(不同图像的拍摄角度、位置均不一样),并筛除不满足相机位置关系的特征点,使最终获取的特征点组更为精确;最后基于匹配后的特征点能够采用FastLineDetector算法快速识别图像中景物的轮廓线;该轮廓线为景物的外部轮廓,能够有效保留景物的直线轮廓,有助于生成更为精确的三维模型。
选取模块20,用于在所述轮廓线中确定一第一轮廓线,并从中选取一第一特征线;
仅仅通过FastLineDetector算法识别出的轮廓线,其与景物真实轮廓存在较大的差别,必然导致最终的三维模型无法真实反映景物的真实轮廓,精确性低。因此,为了解决这个问题,需要引入特征线匹配技术。具体而言,以中间图像的轮廓线作为第一轮廓线,再将第一轮廓线分为若干段特征线,采用随机选择算法从中选取任一特征线作为第一特征线,为后续的特征线匹配提供保障。
搜索模块30,用于根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点;
根据本发明实施例,优选的,根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点包括:
搜索得到离所述第一特征线最近的第一特征点;
判断所述第一特征点是否满足预设定位条件;
如果满足,则根据第一特征点在其余图像中搜索得到第二特征点;
如果不满足,则终止特征线匹配。
由上可以知晓,三张图像的相同特征点均已相互匹配,因此,匹配的特征点可以作为特征线匹配的参考,以消除特征线即使不完整也不影响特征线匹配的影响;具体而言,首先,计算已匹配的所有特征点到该第一特征线的距离,并且给这些距离排序,将排序为最近的距离所对应的特征点作为第一特征点;然后,匹配后的第一特征点和另外两张图像中的特征点具有匹配关系,因此,据其可以匹配出另外两张图像中的特征点作为第二特征点;从而为根据第二特征点搜得第二特征线提供保障。
本实施例中,优选的,预先设置了定位条件,只有判断满足了该条件,才将该第一特征点作为定位点;否则后续的特征线匹配将被终止。具体而言,判断标准如下:寻找图像中离该第一特征点最近的两条特征线,其中离该特第一征点最近的特征线应为选取的特征线;计算该特征点分别离这两条特征线的距离,其中最短的距离应小于另一段距离的0.7倍;该最短距离还应当小于固定阈值,本实施例中,优选的,将该固定阈值设为10个像素点。若该特征点满足上述条件,则认为其可以作为选取的特征线的定位点,继续向下执行;若不同时满足,则认为该特征点不能作为选取的特征线的定位点,跳过该第一特征线的匹配工作。预设的条件能确保第一特征点能作为特征线合格的定位点,从而提升匹配的成功率。
匹配模块40,用于将离所述第二特征点最近的第二特征线与所述第一特征线相匹配;
根据本发明实施例,优选的,将离所述第二特征点最近的第二特征线与所述第一特征线相匹配包括:
判断其余图像中是否存在第二特征点;
如果存在,则将离所述第二特征点最近的第二特征线与所述第一特征线相匹配;
如果不存在,则终止特征线匹配。
参照搜索得到离所述第一特征线最近的第一特征点的方法,通过另外两张图像所对应的第二特征点也可以搜索得到离其最近的第二特征线;如此,借助第一特征点、第二特征点的匹配关系,可以建立第一特征线和两条第二特征线的匹配关系。如此,即使三张图像中有图像的质量不高,或受限于拍摄方式,存在光照、拍摄角度、景物轮廓线被遮挡或其他问题,导致直线识别算法没法完整、准确的识别景物的轮廓线,出现断断续续的轮廓线的情况,这些断续的轮廓线也不会影响第一特征线、第二特征线的匹配。因为,在上述的特征线匹配的过程中,并没有基于特征线本身所具有的特征直接进行匹配,而是通过离特征线很近的已匹配的特征点间接进行匹配;也就是说,特征线本身由于质量和/或拍摄方式问题导致的轮廓线完整性差,并不会影响特征线之间的匹配;因而,拍摄成像质量拍摄方式要求得到大大降低,使用质量低,受限于拍摄方式的图像也能最终实现三维图像的重建。
作为本实施例中优选的,为了确保另外两张图像中都存在与第一特征点匹配的第二特征点,需要在第一特征线、第二特征线匹配前判断第二特征点是否存在,仅在都存在的情况下进行第一特征线、第二特征线的匹配;否则后续的特征线匹配将被终止。如此可以一定程度排除误匹配的情况。
根据本发明实施例,优选的,将离所述第二特征点最近的第二特征线与所述第一特征线相匹配之后还包括:
判断是否遍历所述第一轮廓线中的所有第一特征线;
如果是,则结束特征线匹配,并进入执行模块50;
如果不是,则执行选取模块20、搜索模块30及匹配模块40。
第一特征线、第二特征线匹配结束后,为了保证第一轮廓线中的所有第一特征线均进行了特征线匹配的过程,通过本实施例中的判断方法进行是否已经遍历了第一轮廓线中所有的第一特征线,仅在遍历了所有的第一特征线后,才结束特征线匹配,并为后续结合所有匹配后的特征线组进行三维重建提供保障。如果判断为没有遍历所有第一特征线,则继续执行选取模块20、搜索模块30及匹配模块40进行特征线的匹配工作。
执行模块50,用于基于匹配结果执行三维重建图像的操作。
根据本发明实施例,优选的,如图5所示,S05、基于匹配结果执行三维重建图像的操作包括:
S051、根据相机位置和相互匹配的特征点、特征线,利用三角定位算法将匹配的特征点投射到三维空间,得到三维景物模型。
依照计算得到的相机位置、相互匹配的特征点以及相互匹配的多段特征线,再结合三角定位算法将匹配的特征点投射到三维空间,得到三维景物模型。因为三张图像的特征线并不能完整反映景物的整体轮廓线,因此经过重建得到的三维景物模型也是还原景象的部分三维结构。
根据本发明实施例,优选的,基于匹配结果执行三维重建图像的操作之后还包括:
判断所有图像是否均执行了获取模块10、选取模块20、搜索模块30、匹配模块40及执行模块50;
如果是,则图像三维重建完成;
如果不是,则基于未执行的图像执行获取模块10、选取模块20、搜索模块30、匹配模块40及执行模块50。
部分三维结构并不能凸显景物整体,为此,还需要另外多组图像组(一组图像组为三张图像)补齐三维结构。当一组图像组执行完所有步骤完成三维图像的部分重建后,判断是有图像组是否已经全部执行了获取模块10、选取模块20、搜索模块30、匹配模块40及执行模块50,仅在判断为是的情况下终止程序,完成图像三维重建;如果判断为否,则将未执行的图像组中的一组继续执行获取模块10、选取模块20、搜索模块30、匹配模块40及执行模块50,直至判断为是,终止程序。
从以上的描述中,可以看出,本发明实现了如下技术效果:
在本申请实施例中,采用基于特征线匹配的方式,通过获取至少三张图像的轮廓线;在所述轮廓线中确定一第一轮廓线,并从中选取一第一特征线;根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点;将离所述第二特征点最近的第二特征线与所述第一特征线相匹配;基于匹配结果执行三维重建图像的操作;达到了避免特征线本身完整性影响特征线匹配的目的,从而实现了大大降低对拍摄成像质量和拍摄方式的要求的技术效果,进而解决了拍摄成像质量和拍摄方式要求非常高的技术问题。
根据本发明实施例,优选的,将离所述第二特征点最近的第二特征线与所述第一特征线相匹配之后还包括:
参数化表达已匹配的第一特征线组中的至少三条第一特征线;
采用基于特征线直接匹配或基于距离最近特征点进行特征线匹配的方法可以得到一组包含三条第一特征线的第一特征线组,将该特征组输入参数化模块进行参数化表达。具体而言,由于拍摄三张图像时的相机的位置各不相同,因此,相互匹配的三条第一特征线需要按照相机的位置分别建立相应的图像坐标体系,并且在各自的图像坐标系下,通过数学表达式分别表达这三条第一特征线。从而为参照这些参数化表达的数学表达式建立相应的模型提供保障。
将参数化表达结果代入预设的三焦点张量模型以判断是否满足预设的轮廓线条件;
依照三张图像各自的相机位置可以建立三焦点张量模型;通过该模型可以实现三条特征线是否为同一条特征线的判断,即可以判断出三条不同图像内的第一特征线是否存在无匹配的情况;具体而言,将参数化表达的三条第一特征线得到的三个参数化表达式输入建立的三焦点张量模型中,该模型通过计算,如果计算结果为等式成立,则认为三条第一特征线反映的是同一条特征线,没有误匹配;如果计算结果为等式不成立,则认为三条第一特征线并不能反映用一条特征线,存在误匹配的。如此可以为后续的误匹配的特征线组的筛除提供保障。
优选的,三焦点张量模型的预设包括:
根据三张图像分别对应的相机位置计算得到三焦点张量模型。
其中三张图像对应的相机坐标分别为P=[I|0],P′=[A|a4],P″=[B|b4]。其中A=[a1,a2,a3],B=[b1,b2,b3]。ai和bi分别为矩阵P′和P″的第i列, i=1,2,3,4。I,I′和I″代表分别位于三张图像上的待匹配特征线。若三条特征线是正确匹配的,则它们之前应满足如下公式:
如果满足,则将经过匹配的所述至少三条第一特征线筛选至目标匹配组中。
通过上述的三焦点张量模型的判断,已经可以知晓第一特征线组中的特征线是否为误匹配;如果是误匹配,则直接将该误匹配的特征线组予以筛除;如果不是误匹配,则对该三条第一特征线重新进行匹配,并筛选到目标匹配组中,等待后续的三维重建。如此,可以将误匹配的特征线组筛除,采用更为精确的特征线组,有效提高了三维重建图像的准确率。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于特征线匹配的图像重建方法,其特征在于,包括:
S01、获取至少三张图像的轮廓线;
S02、在所述轮廓线中确定一第一轮廓线,并从中选取一第一特征线;
S03、根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点;
S04、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配;
S05、基于匹配结果执行三维重建图像的操作。
2.根据权利要求1所述的图像重建方法,其特征在于,S01、获取至少三张图像的轮廓线包括:
S011、识别选取的三张图像中的特征点;
S012、基于任一图像进行与另外两图像间的特征点匹配;
S013、采用RANSAC算法计算拍摄三张图像时的相机位置,并筛除不满足相机位置关系的特征点;
S014、采用FastLineDetector算法快速识别图像中景物的轮廓线。
3.根据权利要求1所述的图像重建方法,其特征在于,S03、根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点包括:
S031、搜索得到离所述第一特征线最近的第一特征点;
S032、判断所述第一特征点是否满足预设定位条件,如果满足则执行S033,如果不满足,则执行S034;
S033、根据第一特征点在其余图像中搜索得到第二特征点;
S034、终止特征线匹配。
4.根据权利要求1所述的图像重建方法,其特征在于,S04、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配包括:
S041、判断其余图像中是否存在第二特征点,如果存在,则执行步骤S042,如果不存在,则执行步骤S043;
S042、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配;
S043、终止特征线匹配。
5.根据权利要求2所述的图像重建方法,其特征在于,S05、基于匹配结果执行三维重建图像的操作包括:
S051、根据相机位置和相互匹配的特征点、特征线,利用三角定位算法将匹配的特征点投射到三维空间,得到三维景物模型。
6.根据权利要求1所述的图像重建方法,其特征在于,S04、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配之后还包括:
S061、判断是否遍历所述第一轮廓线中的所有第一特征线;
S062、如果是,则结束特征线匹配,并执行步骤S05;
S063、如果不是,则执行步骤S02至步骤S04。
7.根据权利要求1所述的图像重建方法,其特征在于,S04、将离所述第二特征点最近的第二特征线与所述第一特征线相匹配之后还包括:
S071、参数化表达已匹配的第一特征线组中的至少三条第一特征线;
S072、将参数化表达结果代入预设的三焦点张量模型以判断是否满足预设的轮廓线条件;
S073、如果满足,则将经过匹配的所述至少三条第一特征线筛选至目标匹配组中。
8.根据权利要求1所述的图像重建方法,其特征在于,S05、基于匹配结果执行三维重建图像的操作之后还包括:
S081、判断所有图像是否均执行了步骤S01至步骤S05;
S082、如果是,则图像三维重建完成;
S083、如果不是,则基于未执行的图像执行步骤S01至步骤S05。
9.一种基于特征线匹配的图像重建装置,其特征在于,包括:
获取模块10,用于获取至少三张图像的轮廓线;
选取模块20,用于在所述轮廓线中确定一第一轮廓线,并从中选取一第一特征线;
搜索模块30,用于根据离所述第一特征线最近的第一特征点在其余图像中搜索得到第二特征点;
匹配模块40,用于将离所述第二特征点最近的第二特征线与所述第一特征线相匹配;
执行模块50,用于基于匹配结果执行三维重建图像的操作。
10.一种存储介质,其特征在于,用于存储权利要求1至8中任一项所述的基于特征线匹配的图像重建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110452921.1A CN113160389B (zh) | 2021-04-25 | 2021-04-25 | 基于特征线匹配的图像重建方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110452921.1A CN113160389B (zh) | 2021-04-25 | 2021-04-25 | 基于特征线匹配的图像重建方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113160389A true CN113160389A (zh) | 2021-07-23 |
CN113160389B CN113160389B (zh) | 2024-06-18 |
Family
ID=76870729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110452921.1A Active CN113160389B (zh) | 2021-04-25 | 2021-04-25 | 基于特征线匹配的图像重建方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113160389B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115564837A (zh) * | 2022-11-17 | 2023-01-03 | 歌尔股份有限公司 | 一种视觉定位方法、装置和*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104504684A (zh) * | 2014-12-03 | 2015-04-08 | 小米科技有限责任公司 | 边缘提取方法和装置 |
CN106485737A (zh) * | 2015-08-25 | 2017-03-08 | 南京理工大学 | 基于线特征的点云数据与光学影像的自动配准融合方法 |
CN107256406A (zh) * | 2017-04-19 | 2017-10-17 | 深圳清华大学研究院 | 重叠纤维图像分割方法、装置、存储介质和计算机设备 |
US10186049B1 (en) * | 2017-03-06 | 2019-01-22 | URC Ventures, Inc. | Determining changes in object structure over time using mobile device images |
CN110738111A (zh) * | 2019-09-11 | 2020-01-31 | 鲁班嫡系机器人(深圳)有限公司 | 基于多目的匹配、姿态识别方法、装置及*** |
CN112037200A (zh) * | 2020-08-31 | 2020-12-04 | 上海交通大学 | 一种医学影像中解剖特征自动识别与模型重建方法 |
-
2021
- 2021-04-25 CN CN202110452921.1A patent/CN113160389B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104504684A (zh) * | 2014-12-03 | 2015-04-08 | 小米科技有限责任公司 | 边缘提取方法和装置 |
CN106485737A (zh) * | 2015-08-25 | 2017-03-08 | 南京理工大学 | 基于线特征的点云数据与光学影像的自动配准融合方法 |
US10186049B1 (en) * | 2017-03-06 | 2019-01-22 | URC Ventures, Inc. | Determining changes in object structure over time using mobile device images |
CN107256406A (zh) * | 2017-04-19 | 2017-10-17 | 深圳清华大学研究院 | 重叠纤维图像分割方法、装置、存储介质和计算机设备 |
CN110738111A (zh) * | 2019-09-11 | 2020-01-31 | 鲁班嫡系机器人(深圳)有限公司 | 基于多目的匹配、姿态识别方法、装置及*** |
CN112037200A (zh) * | 2020-08-31 | 2020-12-04 | 上海交通大学 | 一种医学影像中解剖特征自动识别与模型重建方法 |
Non-Patent Citations (1)
Title |
---|
陈春晓;张娟;: "基于三焦点张量的多视图三维重构", 生物医学工程学杂志, no. 04, pages 769 - 774 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115564837A (zh) * | 2022-11-17 | 2023-01-03 | 歌尔股份有限公司 | 一种视觉定位方法、装置和*** |
CN115564837B (zh) * | 2022-11-17 | 2023-04-18 | 歌尔股份有限公司 | 一种视觉定位方法、装置和*** |
Also Published As
Publication number | Publication date |
---|---|
CN113160389B (zh) | 2024-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111667520B (zh) | 红外图像和可见光图像的配准方法、装置及可读存储介质 | |
CN109816703B (zh) | 一种基于相机标定和icp算法的点云配准方法 | |
CN111598993B (zh) | 基于多视角成像技术的三维数据重建方法、装置 | |
US6072903A (en) | Image processing apparatus and image processing method | |
CN108537876A (zh) | 基于深度相机的三维重建方法、装置、设备及存储介质 | |
US20120177284A1 (en) | Forming 3d models using multiple images | |
CN110363817B (zh) | 目标位姿估计方法、电子设备和介质 | |
CN109410316B (zh) | 物体的三维重建的方法、跟踪方法、相关装置及存储介质 | |
KR100681320B1 (ko) | 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법 | |
CN109640066B (zh) | 高精度稠密深度图像的生成方法和装置 | |
CN113689578B (zh) | 一种人体数据集生成方法及装置 | |
CN110619660A (zh) | 一种物体定位方法、装置、计算机可读存储介质及机器人 | |
WO2021076185A1 (en) | Joint depth prediction from dual-cameras and dual-pixels | |
CN112184793B (zh) | 深度数据的处理方法、装置及可读存储介质 | |
Kallwies et al. | Triple-SGM: stereo processing using semi-global matching with cost fusion | |
CN113160389B (zh) | 基于特征线匹配的图像重建方法、装置及存储介质 | |
CN114004935A (zh) | 通过三维建模***进行三维建模的方法和装置 | |
CN117726747A (zh) | 补全弱纹理场景的三维重建方法、装置、存储介质和设备 | |
CN110750094A (zh) | 确定可移动设备的位姿变化信息的方法、装置和*** | |
JP2019211981A (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
CN109754467B (zh) | 三维人脸构建方法、计算机存储介质和计算机设备 | |
CN110514140B (zh) | 一种三维成像方法、装置、设备以及存储介质 | |
CN109712230B (zh) | 三维模型补充方法、装置、存储介质及处理器 | |
CN108510538B (zh) | 三维图像合成方法、装置及计算机可读存储介质 | |
CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |