CN116402978A - 一种基于双目视觉结构特性的稠密三维重建方法 - Google Patents
一种基于双目视觉结构特性的稠密三维重建方法 Download PDFInfo
- Publication number
- CN116402978A CN116402978A CN202310328135.XA CN202310328135A CN116402978A CN 116402978 A CN116402978 A CN 116402978A CN 202310328135 A CN202310328135 A CN 202310328135A CN 116402978 A CN116402978 A CN 116402978A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- matching
- dense
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000001914 filtration Methods 0.000 claims abstract description 24
- 238000012937 correction Methods 0.000 claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于双目视觉结构特性的稠密三维重建方法，涉及计算机视觉技术领域；本发明方法对双目相机进行标定，获取内参与外参；获取双目相机图像；利用内参对图像进行畸变校正；进行图像特征提取；进行图像匹配，检索包含相同场景区域的图像对；进行图像特征匹配；基于双目视觉结构特性，使用增量式SfM算法生成稀疏点云，实现从图像序列中恢复环境结构；对场景进行稠密重建，并与场景进行融合；利用3D Delaunay算法生成Mesh网格，开展网格滤波；生成UV纹理贴图，将纹理信息与Mesh网格进行融合，得到稠密三维重建的最终结果。
Description
技术领域
本发明公开一种稠密三维重建方法，涉及计算机视觉技术领域，具体地说是一种基于双目视觉结构特性的稠密三维重建方法。
背景技术
三维重建技术是基于计算机视觉和计算机图形学的交叉学科领域，旨在从二维图像中恢复出高精度、高保真的三维模型。从数据获取方法上来划分，三维重建可以划分为接触式和非接触式两种。接触式方法利用仪器快速直接测量场景的三维信息，主要包括触发式测量和连续式测量等；非接触式根据采集设备是否主动发射测量信号，分为基于主动视觉和基于被动视觉的三维重建方法。主动视觉三维重建方法主要包括激光扫描法、结构光法、阴影法、TOF技术、雷达技术、Kinect技术等；被动视觉三维重建方法只使用摄像机采集三维场景得到其投影的二维图像，根据图像的纹理分布等信息恢复深度信息，进而实现三维重建。
被动视觉稠密三维重建技术是计算机视觉领域的一个重要分支，在数字孪生、虚拟现实等方面具有广泛的应用前景。随着计算机硬件性能的不断提高和计算机视觉算法的不断进步，被动视觉稠密三维重建技术已经在许多领域得到广泛应用，如机器人导航、虚拟现实、文物保护、工业制造等。在被动视觉稠密三维重建中，多视图几何技术在发挥着至关重要的作用。
多视图几何技术基于多个视角下的图像数据，通过计算几何关系，将多个视角下的数据融合成一个稠密的三维模型。基于多视图几何的三维重建通常采用单目视觉采集序列化图像，通过运动结构恢复算法计算一系列的相机位姿及参数，再经过立体匹配算法生成稠密深度信息。相机位姿的计算依赖于图像特征之间的匹配关系，匹配关系的偏差在很大程度上影响了最终的三维重建效果。
发明内容
本发明针对现有技术的问题，提供一种基于双目视觉结构特性的稠密三维重建方法，使用双目视觉替代单目视觉，基于尺度不变特征变换SIFT算法提取图像特征，并将双目视觉的结构特性引入到运动结构恢复算法中，旨在解决在稠密三维重建中相机位姿解算准确度的问题，从而在保证稠密三维重建效率的前提下提高重建结果的精度。
本发明提出的具体方案是：
本发明提供一种基于双目视觉结构特性的稠密三维重建方法，具体步骤为：
步骤1：对双目相机开展标定工作，获取双目相机的内参与外参；
步骤2：使用双目相机采集待重建场景，获取图像；
步骤3：利用内参对图像进行畸变校正处理；
步骤4：对处理后的图像利用SIFT算法开展图像特征提取；
步骤5：输入所有图像并开展图像匹配，检索包含相同场景区域的图像获得匹配的图像对；
步骤6：基于匹配的图像对开展图像特征匹配，使用随机一致性采样RANSAC算法对特征匹配候选列表进行几何过滤获取最佳匹配点；
步骤7：根据图像对之间已匹配的图像特征，使用增量式SfM算法计算图像对之间的基础矩阵，获取每幅图像所对应的相机参数及位姿估计，将双目相机的外参引入，修正同一时间对应的左右视图之间的相对位姿关系，对相机位姿估计结果进行优化，从而获取更准确的相机位姿矩阵，基于优化后的相机参数及相机位姿矩阵，完成对图像的校正，并计算相应图像特征的三维坐标，生成稀疏点云，实现从图像序列中恢复环境结构；
步骤8：利用校正后图像及每幅图像所对应的相机位姿，利用立体匹配算法进行稠密重建，获取各场景对应的深度图，并将所有深度图进行融合；
步骤9：基于融合后的全部点云，利用3D Delaunay算法生成Mesh网格，并对网格进行滤波获得优化后网格；
步骤10：利用校正后的图像和所对应的相机位姿生成UV纹理贴图，通过空间位置匹配将纹理信息与Mesh网格进行融合，得到基于双目视觉结构特性的稠密三维重建结果。
进一步，所述的一种基于双目视觉结构特性的稠密三维重建方法中所述步骤1，包括以下步骤：
步骤11：使用双目相机从多角度多距离拍摄相机标定板图像；
步骤12：基于拍摄的图像，利用张正友标定法获取双目相机内参与外参。
进一步，所述的一种基于双目视觉结构特性的稠密三维重建方法中所述步骤2，包括以下步骤：
步骤21：使用双目相机为图像采集设备，以单张图像拍摄或视频录制的形式采集待重建场景信息；
步骤22：将采集的待重建场景信息的图像进行整合，其中将视频按帧率提取为一系列单张图像与采集到的图像打包为重建图像数据集。
进一步，所述的一种基于双目视觉结构特性的稠密三维重建方法中所述步骤4，包括以下步骤：
步骤41：构建尺度空间，检测极值点，获得尺度不变性；
步骤42：过滤图像特征点并对特征点进行精确定位；
步骤43：为特征点分配方向值；
步骤44：生成特征描述子；
步骤45：由于纹理复杂性的变化，不同图像之间提取特征的数量存在差异，对所有提取特征进行过滤处理，控制提取特征的数量在合理范围内。
进一步，所述的一种基于双目视觉结构特性的稠密三维重建方法中所述步骤5，包括以下步骤：
步骤51:使用词汇树方法生成图像描述符；
步骤52:将所有提取的特征描述符传递给词汇树，通过词汇树将描述符与词汇树的每个节点上的描述符进行比较来进行分类，每个特征描述符以一片叶子结束，通过索引存储叶子，用特征描述符索引的集合表示图像描述符；
步骤53:通过对比图像描述符查看不同的图像是否包含相同的内容。
进一步，所述的一种基于双目视觉结构特性的稠密三维重建方法中所述步骤6，包括以下步骤：
步骤61：对输入图像对的特征描述符集合进行光度匹配，对于一幅图像中的每个特征，获得另一幅图像中所对应的候选特征列表，
假设另一幅图像中只有一个有效匹配项，对于第一幅图像上的每个特征描述符，寻找2个最接近的特征描述符，建立基于光度标准的特征匹配候选列表；
步骤62：使用随机一致性采样RANSAC算法对特征匹配候选列表进行几何过滤获取最佳匹配点。
进一步，所述的一种基于双目视觉结构特性的稠密三维重建方法中所述步骤7，包括以下步骤：
步骤71：将图像对之间的所有匹配特征融合到tracks中，每个track代表空间中的一个点，从多个视角观测；
步骤72：基于随机抽样一致性RANSAC算法，以最大化的特征匹配数量为标准选择最佳的初始图像对，同时保证图像对所对应的视角之间的角度也足够大；
步骤73：计算这两个图像之间的基础矩阵，并将第一幅图像所对应的相机坐标系视为世界坐标系原点，计算出前两个摄像机的位姿后将相应的2D特征三角化为点云；
步骤74：选择与已经进行三维重建的特征有足够关联的图像，使用Perspective-n-Point算法查找验证新的相机位姿，并将特征三角化为点云；
步骤75：将双目相机的外参引入，修正同一时间对应的左右视图之间的相对位姿关系，对相机位姿估计结果进行优化，获取更准确的相机位姿矩阵；
步骤76：使用Bundle Adjustment算法优化所有相机的外部和内部参数以及所有点云的位置，实现从图像序列中恢复环境结构。
进一步，所述的一种基于双目视觉结构特性的稠密三维重建方法中所述步骤9，包括以下步骤：
步骤91：将所有点云数据融合到一个全局八叉树中，其中相互兼容的点云数据被合并到同一个八叉树单元中；
步骤92：执行3D Delaunay四面体化，计算单元格的权重和连接单元格的小平面的权重；
步骤93：使用Graph Cut Max-Flow算法开展最优化切割，切面代表提取的网格表面，过滤表面不良单元，并在网格上应用拉普拉斯过滤以去除切割痕迹；
步骤94：过滤掉网格中不需要的元素以生成最终网格。
本发明还提供一种基于双目视觉结构特性的稠密三维重建装置，包括标定模块、采集模块、处理模块、特征提取模块、匹配模块、恢复环境结构模块、融合模块、网格模块和纹理贴图模块，
标定模块对双目相机开展标定工作，获取双目相机的内参与外参；
采集模块使用双目相机采集待重建场景，获取图像；
处理模块利用内参对图像进行畸变校正处理；
特征提取模块对处理后的图像利用SIFT算法开展图像特征提取；
匹配模块输入所有图像并开展图像匹配，检索包含相同场景区域的图像获得匹配的图像对；
基于匹配的图像对开展图像特征匹配，使用随机一致性采样RANSAC算法对特征匹配候选列表进行几何过滤获取最佳匹配点；
恢复环境结构模块根据图像对之间已匹配的图像特征，使用增量式SfM算法计算图像对之间的基础矩阵，获取每幅图像所对应的相机参数及位姿估计，将双目相机的外参引入，修正同一时间对应的左右视图之间的相对位姿关系，对相机位姿估计结果进行优化，从而获取更准确的相机位姿矩阵，基于优化后的相机参数及相机位姿矩阵，完成对图像的校正，并计算相应图像特征的三维坐标，生成稀疏点云，实现从图像序列中恢复环境结构；
融合模块利用校正后图像及每幅图像所对应的相机位姿，利用立体匹配算法进行稠密重建，获取各场景对应的深度图，并将所有深度图进行融合；
网格模块基于融合后的全部点云，利用3D Delaunay算法生成Mesh网格，并对网格进行滤波获得优化后网格；
纹理贴图模块利用校正后的图像和所对应的相机位姿生成UV纹理贴图，通过空间位置匹配将纹理信息与Mesh网格进行融合，得到基于双目视觉结构特性的稠密三维重建结果。
本发明还提供一种可读存储介质，所述可读存储介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行所述的一种基于双目视觉结构特性的稠密三维重建方法。
本发明的有益之处是：
与基于单目视觉的三维重建***相比，本发明提出的基于双目视觉结构特性的稠密三维重建方法充分利用了双目视觉的结构特性，没有在图像采集阶段直接利用视差匹配算法获取深度信息，而是使用尺度不变特征变换SIFT算法提取图像多尺度特征来代替双目视觉常用的快速特征提取匹配方法，并引入随机一致性采样RANSAC算法来获取最佳匹配点，提高特征匹配的准确性及匹配成功率。然后将双目视觉的结构特性引入到运动结构恢复算法中，有效提高了稠密三维重建中相机位姿解算的准确度，从而提升运动结构恢复的效果。基于更为准确的相机位姿及参数，使用立体匹配算法获取精度更高的稠密三维重建结果。
附图说明
图1是本发明方法流程示意图。
图2是本发明方法涉及的相机位姿解算优化算法流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本发明提供一种基于双目视觉结构特性的稠密三维重建方法，具体步骤为：
步骤1：对双目相机开展标定工作，获取双目相机的内参与外参；
步骤2：使用双目相机采集待重建场景，获取图像；
步骤3：利用内参对图像进行畸变校正处理；
步骤4：对处理后的图像利用SIFT算法开展图像特征提取；
步骤5：输入所有图像并开展图像匹配，检索包含相同场景区域的图像获得匹配的图像对；
步骤6：基于匹配的图像对开展图像特征匹配，使用随机一致性采样RANSAC算法对特征匹配候选列表进行几何过滤获取最佳匹配点；
步骤7：根据图像对之间已匹配的图像特征，使用增量式SfM算法计算图像对之间的基础矩阵，获取每幅图像所对应的相机参数及位姿估计，将双目相机的外参引入，修正同一时间对应的左右视图之间的相对位姿关系，对相机位姿估计结果进行优化，从而获取更准确的相机位姿矩阵，基于优化后的相机参数及相机位姿矩阵，完成对图像的校正，并计算相应图像特征的三维坐标，生成稀疏点云，实现从图像序列中恢复环境结构；
步骤8：利用校正后图像及每幅图像所对应的相机位姿，利用立体匹配算法进行稠密重建，获取各场景对应的深度图，并将所有深度图进行融合；
步骤9：基于融合后的全部点云，利用3D Delaunay算法生成Mesh网格，并对网格进行滤波获得优化后网格；
步骤10：利用校正后的图像和所对应的相机位姿生成UV纹理贴图，通过空间位置匹配将纹理信息与Mesh网格进行融合，得到基于双目视觉结构特性的稠密三维重建结果。
本发明方法使用双目视觉替代单目视觉，基于尺度不变特征变换SIFT算法提取图像特征，并将双目视觉的结构特性引入到运动结构恢复算法中，旨在解决在稠密三维重建中相机位姿解算准确度的问题，从而在保证稠密三维重建效率的前提下提高重建结果的精度。
具体应用中，基于本发明技术方案，在本发明方法的一些实施例中，具体步骤可参考如下：
步骤1：对双目相机开展标定工作，获取双目相机的内参与外参，其中进一步地步骤1中，包括以下步骤：
步骤11：使用双目相机从多角度多距离拍摄相机标定板图像；
步骤12：基于拍摄的图像，利用张正友标定法获取双目相机内参与外参。
步骤2：使用双目相机采集待重建场景，获取图像，其中进一步地步骤2中，包括以下步骤：
步骤21：使用双目相机为图像采集设备，以单张图像拍摄或视频录制的形式采集待重建场景信息；
步骤22：将采集的待重建场景信息的图像进行整合，其中将视频按帧率提取为一系列单张图像与采集到的图像打包为重建图像数据集。
步骤3：利用内参对图像进行畸变校正处理。
步骤4：对处理后的图像利用SIFT算法开展图像特征提取，其中进一步地，步骤4中包括以下步骤：
步骤41：构建尺度空间，检测极值点，获得尺度不变性；
步骤42：过滤图像特征点并对特征点进行精确定位；
步骤43：为特征点分配方向值；
步骤44：生成特征描述子；
步骤45：由于纹理复杂性的变化，不同图像之间提取特征的数量存在差异，对所有提取特征进行过滤处理，控制提取特征的数量在合理范围内。
步骤5：输入所有图像并开展图像匹配，检索包含相同场景区域的图像获得匹配的图像对，进一步，所述步骤5，包括以下步骤：
步骤51:使用词汇树方法生成图像描述符；
步骤52:将所有提取的特征描述符传递给词汇树，通过词汇树将描述符与词汇树的每个节点上的描述符进行比较来进行分类，每个特征描述符以一片叶子结束，通过索引存储叶子，用特征描述符索引的集合表示图像描述符；
步骤53:通过对比图像描述符查看不同的图像是否包含相同的内容。
步骤6：基于匹配的图像对开展图像特征匹配，使用随机一致性采样RANSAC算法对特征匹配候选列表进行几何过滤获取最佳匹配点，进一步，所述步骤6，包括以下步骤：
步骤61：对输入图像对的特征描述符集合进行光度匹配，对于一幅图像中的每个特征，获得另一幅图像中所对应的候选特征列表，
假设另一幅图像中只有一个有效匹配项，对于第一幅图像上的每个特征描述符，寻找2个最接近的特征描述符，建立基于光度标准的特征匹配候选列表；
步骤62：使用随机一致性采样RANSAC算法对特征匹配候选列表进行几何过滤获取最佳匹配点。
步骤7：根据图像对之间已匹配的图像特征，使用增量式SfM算法计算图像对之间的基础矩阵，获取每幅图像所对应的相机参数及位姿估计，将双目相机的外参引入，修正同一时间对应的左右视图之间的相对位姿关系，对相机位姿估计结果进行优化，从而获取更准确的相机位姿矩阵，基于优化后的相机参数及相机位姿矩阵，完成对图像的校正，并计算相应图像特征的三维坐标，生成稀疏点云，实现从图像序列中恢复环境结构；进一步，所述步骤7，包括以下步骤：
步骤71：将图像对之间的所有匹配特征融合到tracks中，每个track代表空间中的一个点，从多个视角观测；
步骤72：基于随机抽样一致性RANSAC算法，以最大化的特征匹配数量为标准选择最佳的初始图像对，同时保证图像对所对应的视角之间的角度也足够大；
步骤73：计算这两个图像之间的基础矩阵，并将第一幅图像所对应的相机坐标系视为世界坐标系原点，计算出前两个摄像机的位姿后将相应的2D特征三角化为点云；
步骤74：选择与已经进行三维重建的特征有足够关联的图像，使用Perspective-n-Point算法查找验证新的相机位姿，并将特征三角化为点云；
步骤75：将双目相机的外参引入，修正同一时间对应的左右视图之间的相对位姿关系，对相机位姿估计结果进行优化，获取更准确的相机位姿矩阵；
步骤76：使用Bundle Adjustment算法优化所有相机的外部和内部参数以及所有点云的位置，实现从图像序列中恢复环境结构。
步骤8：利用校正后图像及每幅图像所对应的相机位姿，利用立体匹配算法进行稠密重建，获取各场景对应的深度图，并将所有深度图进行融合。
步骤9：基于融合后的全部点云，利用3D Delaunay算法生成Mesh网格，并对网格进行滤波获得优化后网格；进一步，所述步骤9，包括以下步骤：
步骤91：将所有点云数据融合到一个全局八叉树中，其中相互兼容的点云数据被合并到同一个八叉树单元中；
步骤92：执行3D Delaunay四面体化，计算单元格的权重和连接单元格的小平面的权重；
步骤93：使用Graph Cut Max-Flow算法开展最优化切割，切面代表提取的网格表面，过滤表面不良单元，并在网格上应用拉普拉斯过滤以去除切割痕迹；
步骤94：过滤掉网格中不需要的元素以生成最终网格。
步骤10：利用校正后的图像和所对应的相机位姿生成UV纹理贴图，通过空间位置匹配将纹理信息与Mesh网格进行融合，得到基于双目视觉结构特性的稠密三维重建结果。
本发明还提供一种基于双目视觉结构特性的稠密三维重建装置，包括标定模块、采集模块、处理模块、特征提取模块、匹配模块、恢复环境结构模块、融合模块、网格模块和纹理贴图模块，
标定模块对双目相机开展标定工作，获取双目相机的内参与外参；
采集模块使用双目相机采集待重建场景，获取图像；
处理模块利用内参对图像进行畸变校正处理；
特征提取模块对处理后的图像利用SIFT算法开展图像特征提取；
匹配模块输入所有图像并开展图像匹配，检索包含相同场景区域的图像获得匹配的图像对；
基于匹配的图像对开展图像特征匹配，使用随机一致性采样RANSAC算法对特征匹配候选列表进行几何过滤获取最佳匹配点；
恢复环境结构模块根据图像对之间已匹配的图像特征，使用增量式SfM算法计算图像对之间的基础矩阵，获取每幅图像所对应的相机参数及位姿估计，将双目相机的外参引入，修正同一时间对应的左右视图之间的相对位姿关系，对相机位姿估计结果进行优化，从而获取更准确的相机位姿矩阵，基于优化后的相机参数及相机位姿矩阵，完成对图像的校正，并计算相应图像特征的三维坐标，生成稀疏点云，实现从图像序列中恢复环境结构；
融合模块利用校正后图像及每幅图像所对应的相机位姿，利用立体匹配算法进行稠密重建，获取各场景对应的深度图，并将所有深度图进行融合；
网格模块基于融合后的全部点云，利用3D Delaunay算法生成Mesh网格，并对网格进行滤波获得优化后网格；
纹理贴图模块利用校正后的图像和所对应的相机位姿生成UV纹理贴图，通过空间位置匹配将纹理信息与Mesh网格进行融合，得到基于双目视觉结构特性的稠密三维重建结果。
上述装置内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
同样地，本发明装置充分利用了双目视觉的结构特性，没有在图像采集阶段直接利用视差匹配算法获取深度信息，而是使用尺度不变特征变换SIFT算法提取图像多尺度特征来代替双目视觉常用的快速特征提取匹配方法，并引入随机一致性采样RANSAC算法来获取最佳匹配点，提高特征匹配的准确性及匹配成功率。然后将双目视觉的结构特性引入到运动结构恢复算法中，有效提高了稠密三维重建中相机位姿解算的准确度，从而提升运动结构恢复的效果。基于更为准确的相机位姿及参数，使用立体匹配算法获取精度更高的稠密三维重建结果。
本发明还提供一种可读存储介质，所述可读存储介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行所述的一种基于双目视觉结构特性的稠密三维重建方法。具体地，可以提供配有存储介质的***或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该***或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作***等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到***计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
需要说明的是，上述各流程和各装置结构中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的***结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。
Claims (10)
1.一种基于双目视觉结构特性的稠密三维重建方法，其特征是具体步骤为：
步骤1：对双目相机开展标定工作，获取双目相机的内参与外参；
步骤2：使用双目相机采集待重建场景，获取图像；
步骤3：利用内参对图像进行畸变校正处理；
步骤4：对处理后的图像利用SIFT算法开展图像特征提取；
步骤5：输入所有图像并开展图像匹配，检索包含相同场景区域的图像获得匹配的图像对；
步骤6：基于匹配的图像对开展图像特征匹配，使用随机一致性采样RANSAC算法对特征匹配候选列表进行几何过滤获取最佳匹配点；
步骤7：根据图像对之间已匹配的图像特征，使用增量式SfM算法计算图像对之间的基础矩阵，获取每幅图像所对应的相机参数及位姿估计，将双目相机的外参引入，修正同一时间对应的左右视图之间的相对位姿关系，对相机位姿估计结果进行优化，从而获取更准确的相机位姿矩阵，基于优化后的相机参数及相机位姿矩阵，完成对图像的校正，并计算相应图像特征的三维坐标，生成稀疏点云，实现从图像序列中恢复环境结构；
步骤8：利用校正后图像及每幅图像所对应的相机位姿，利用立体匹配算法进行稠密重建，获取各场景对应的深度图，并将所有深度图进行融合；
步骤9：基于融合后的全部点云，利用3D Delaunay算法生成Mesh网格，并对网格进行滤波获得优化后网格；
步骤10：利用校正后的图像和所对应的相机位姿生成UV纹理贴图，通过空间位置匹配将纹理信息与Mesh网格进行融合，得到基于双目视觉结构特性的稠密三维重建结果。
2.根据权利要求1所述的一种基于双目视觉结构特性的稠密三维重建方法，其特征是所述步骤1，包括以下步骤：
步骤11：使用双目相机从多角度多距离拍摄相机标定板图像；
步骤12：基于拍摄的图像，利用张正友标定法获取双目相机内参与外参。
3.根据权利要求1所述的一种基于双目视觉结构特性的稠密三维重建方法，其特征是所述步骤2，包括以下步骤：
步骤21：使用双目相机为图像采集设备，以单张图像拍摄或视频录制的形式采集待重建场景信息；
步骤22：将采集的待重建场景信息的图像进行整合，其中将视频按帧率提取为一系列单张图像与采集到的图像打包为重建图像数据集。
4.根据权利要求1所述的一种基于双目视觉结构特性的稠密三维重建方法，其特征是所述步骤4，包括以下步骤：
步骤41：构建尺度空间，检测极值点，获得尺度不变性；
步骤42：过滤图像特征点并对特征点进行精确定位；
步骤43：为特征点分配方向值；
步骤44：生成特征描述子；
步骤45：由于纹理复杂性的变化，不同图像之间提取特征的数量存在差异，对所有提取特征进行过滤处理，控制提取特征的数量在合理范围内。
5.根据权利要求1所述的一种基于双目视觉结构特性的稠密三维重建方法，其特征是所述步骤5，包括以下步骤：
步骤51:使用词汇树方法生成图像描述符；
步骤52:将所有提取的特征描述符传递给词汇树，通过词汇树将描述符与词汇树的每个节点上的描述符进行比较来进行分类，每个特征描述符以一片叶子结束，通过索引存储叶子，用特征描述符索引的集合表示图像描述符；
步骤53:通过对比图像描述符查看不同的图像是否包含相同的内容。
6.根据权利要求1所述的一种基于双目视觉结构特性的稠密三维重建方法，其特征是所述步骤6，包括以下步骤：
步骤61：对输入图像对的特征描述符集合进行光度匹配，对于一幅图像中的每个特征，获得另一幅图像中所对应的候选特征列表，
假设另一幅图像中只有一个有效匹配项，对于第一幅图像上的每个特征描述符，寻找2个最接近的特征描述符，建立基于光度标准的特征匹配候选列表；
步骤62：使用随机一致性采样RANSAC算法对特征匹配候选列表进行几何过滤获取最佳匹配点。
7.根据权利要求1所述的一种基于双目视觉结构特性的稠密三维重建方法，其特征是所述步骤7，包括以下步骤：
步骤71：将图像对之间的所有匹配特征融合到tracks中，每个track代表空间中的一个点，从多个视角观测；
步骤72：基于随机抽样一致性RANSAC算法，以最大化的特征匹配数量为标准选择最佳的初始图像对，同时保证图像对所对应的视角之间的角度也足够大；
步骤73：计算这两个图像之间的基础矩阵，并将第一幅图像所对应的相机坐标系视为世界坐标系原点，计算出前两个摄像机的位姿后将相应的2D特征三角化为点云；
步骤74：选择与已经进行三维重建的特征有足够关联的图像，使用Perspective-n-Point算法查找验证新的相机位姿，并将特征三角化为点云；
步骤75：将双目相机的外参引入，修正同一时间对应的左右视图之间的相对位姿关系，对相机位姿估计结果进行优化，获取更准确的相机位姿矩阵；
步骤76：使用Bundle Adjustment算法优化所有相机的外部和内部参数以及所有点云的位置，实现从图像序列中恢复环境结构。
8.根据权利要求1所述的一种基于双目视觉结构特性的稠密三维重建方法，其特征是所述步骤9，包括以下步骤：
步骤91：将所有点云数据融合到一个全局八叉树中，其中相互兼容的点云数据被合并到同一个八叉树单元中；
步骤92：执行3D Delaunay四面体化，计算单元格的权重和连接单元格的小平面的权重；
步骤93：使用Graph Cut Max-Flow算法开展最优化切割，切面代表提取的网格表面，过滤表面不良单元，并在网格上应用拉普拉斯过滤以去除切割痕迹；
步骤94：过滤掉网格中不需要的元素以生成最终网格。
9.一种基于双目视觉结构特性的稠密三维重建装置，其特征是包括标定模块、采集模块、处理模块、特征提取模块、匹配模块、恢复环境结构模块、融合模块、网格模块和纹理贴图模块，
标定模块对双目相机开展标定工作，获取双目相机的内参与外参；
采集模块使用双目相机采集待重建场景，获取图像；
处理模块利用内参对图像进行畸变校正处理；
特征提取模块对处理后的图像利用SIFT算法开展图像特征提取；
匹配模块输入所有图像并开展图像匹配，检索包含相同场景区域的图像获得匹配的图像对；
基于匹配的图像对开展图像特征匹配，使用随机一致性采样RANSAC算法对特征匹配候选列表进行几何过滤获取最佳匹配点；
恢复环境结构模块根据图像对之间已匹配的图像特征，使用增量式SfM算法计算图像对之间的基础矩阵，获取每幅图像所对应的相机参数及位姿估计，将双目相机的外参引入，修正同一时间对应的左右视图之间的相对位姿关系，对相机位姿估计结果进行优化，从而获取更准确的相机位姿矩阵，基于优化后的相机参数及相机位姿矩阵，完成对图像的校正，并计算相应图像特征的三维坐标，生成稀疏点云，实现从图像序列中恢复环境结构；
融合模块利用校正后图像及每幅图像所对应的相机位姿，利用立体匹配算法进行稠密重建，获取各场景对应的深度图，并将所有深度图进行融合；
网格模块基于融合后的全部点云，利用3D Delaunay算法生成Mesh网格，并对网格进行滤波获得优化后网格；
纹理贴图模块利用校正后的图像和所对应的相机位姿生成UV纹理贴图，通过空间位置匹配将纹理信息与Mesh网格进行融合，得到基于双目视觉结构特性的稠密三维重建结果。
10.一种可读存储介质，其特征是所述可读存储介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至8任一项所述的一种基于双目视觉结构特性的稠密三维重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310328135.XA CN116402978A (zh) | 2023-03-28 | 2023-03-28 | 一种基于双目视觉结构特性的稠密三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310328135.XA CN116402978A (zh) | 2023-03-28 | 2023-03-28 | 一种基于双目视觉结构特性的稠密三维重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116402978A true CN116402978A (zh) | 2023-07-07 |
Family
ID=87017187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310328135.XA Pending CN116402978A (zh) | 2023-03-28 | 2023-03-28 | 一种基于双目视觉结构特性的稠密三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116402978A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116704587A (zh) * | 2023-08-02 | 2023-09-05 | 山东建筑大学 | 融合纹理信息和深度信息的多人头部姿态估计方法及*** |
| CN117252996A (zh) * | 2023-11-20 | 2023-12-19 | 中国船舶集团有限公司第七〇七研究所 | 一种特种车辆在船舱环境下的数据扩充***及方法 |
| CN117710602A (zh) * | 2024-02-04 | 2024-03-15 | 航天宏图信息技术股份有限公司 | 面向稀疏网格三维数据的建筑物重建方法、装置及设备 |
-
2023
- 2023-03-28 CN CN202310328135.XA patent/CN116402978A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116704587A (zh) * | 2023-08-02 | 2023-09-05 | 山东建筑大学 | 融合纹理信息和深度信息的多人头部姿态估计方法及*** |
| CN116704587B (zh) * | 2023-08-02 | 2023-10-20 | 山东建筑大学 | 融合纹理信息和深度信息的多人头部姿态估计方法及*** |
| CN117252996A (zh) * | 2023-11-20 | 2023-12-19 | 中国船舶集团有限公司第七〇七研究所 | 一种特种车辆在船舱环境下的数据扩充***及方法 |
| CN117252996B (zh) * | 2023-11-20 | 2024-05-10 | 中国船舶集团有限公司第七〇七研究所 | 一种特种车辆在船舱环境下的数据扩充***及方法 |
| CN117710602A (zh) * | 2024-02-04 | 2024-03-15 | 航天宏图信息技术股份有限公司 | 面向稀疏网格三维数据的建筑物重建方法、装置及设备 |
| CN117710602B (zh) * | 2024-02-04 | 2024-05-10 | 航天宏图信息技术股份有限公司 | 面向稀疏网格三维数据的建筑物重建方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109631855B (zh) | 基于orb-slam的高精度车辆定位方法 | |
| CN108648240B (zh) | 基于点云特征地图配准的无重叠视场相机姿态标定方法 | |
| CN107862744B (zh) | 航空影像三维建模方法及相关产品 | |
| CN107833181B (zh) | 一种基于变焦立体视觉的三维全景图像生成方法 | |
| CN109165680B (zh) | 基于视觉slam的室内场景下单一目标物体字典模型改进方法 | |
| CN116402978A (zh) | 一种基于双目视觉结构特性的稠密三维重建方法 | |
| CN108519102B (zh) | 一种基于二次投影的双目视觉里程计算方法 | |
| CN113592721B (zh) | 摄影测量方法、装置、设备及存储介质 | |
| CN111882655B (zh) | 三维重建的方法、装置、***、计算机设备和存储介质 | |
| CN113052880B (zh) | 一种sfm稀疏重建方法、***及应用 | |
| CN112419497A (zh) | 基于单目视觉的特征法与直接法相融合的slam方法 | |
| AliAkbarpour et al. | Fast structure from motion for sequential and wide area motion imagery | |
| CN111612731B (zh) | 基于双目显微视觉的测量方法、装置、***及介质 | |
| CN116229019A (zh) | 面向数字孪生的大场景融合三维重建方法及*** | |
| Gadasin et al. | Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems | |
| CN114140527A (zh) | 一种基于语义分割的动态环境双目视觉slam方法 | |
| CN112150518A (zh) | 一种基于注意力机制的图像立体匹配方法及双目设备 | |
| Jiang et al. | Learned local features for structure from motion of uav images: A comparative evaluation | |
| CN113592015B (zh) | 定位以及训练特征匹配网络的方法和装置 | |
| CN114882106A (zh) | 位姿确定方法和装置、设备、介质 | |
| CN114241141A (zh) | 光滑物体三维重建方法、装置、计算机设备和存储介质 | |
| CN116935013B (zh) | 基于三维重建的电路板点云大范围拼接方法及*** | |
| CN112270748A (zh) | 基于图像的三维重建方法及装置 | |
| CN116894876A (zh) | 基于实时图像的6-dof的定位方法 | |
| CN115359193B (zh) | 一种基于双目鱼眼相机的快速半稠密三维重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |