CN113674407A - 基于双目视觉图像的三维地形重建方法、装置及存储介质 - Google Patents

基于双目视觉图像的三维地形重建方法、装置及存储介质 Download PDF

Info

Publication number
CN113674407A
CN113674407A CN202110801417.8A CN202110801417A CN113674407A CN 113674407 A CN113674407 A CN 113674407A CN 202110801417 A CN202110801417 A CN 202110801417A CN 113674407 A CN113674407 A CN 113674407A
Authority
CN
China
Prior art keywords
image
dimensional
terrain
right images
epipolar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110801417.8A
Other languages
English (en)
Other versions
CN113674407B (zh
Inventor
杜兴卓
张晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202110801417.8A priority Critical patent/CN113674407B/zh
Publication of CN113674407A publication Critical patent/CN113674407A/zh
Application granted granted Critical
Publication of CN113674407B publication Critical patent/CN113674407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双目视觉图像的三维地形重建方法、装置及存储介质，恢复了地形表面三维信息并实现了高精度高效率的三维地形重建。仅使用两个相机模拟人类视觉***，首先拍摄棋盘格以获取相机内外参数矩阵；随后拍摄地形图像并对其进行预处理与校正；然后使用改进的特征点提取及匹配算法以匹配双目地形图像的特征点；其次利用改进的视差图生成算法结合匹配的特征点以获取目标地形的视差图；最后结合相机内外参数进行点云拼接以及点云颜色渲染即可完成地形的三维重建。与现有三维重建方法相比，本发明提出的方法能在很大程度上提升三维地形重建精度，在实际中可广泛的应用在飞机视景仿真、航空测绘以及无人驾驶等领域，实用性较强。

Description

基于双目视觉图像的三维地形重建方法、装置及存储介质
技术领域
本发明涉及计算机视觉和图像处理技术领域，具体涉及一种基于双目视觉图像的三维地形重建方法、装置及存储介质。
背景技术
计算机视觉是通过相机设备采集数字化的图像，再将数字图像送入计算机，用计算机代替大脑完成对图像内容的感知、理解与识别。计算机视觉在智能生产，航空航天以及医学建模等方面提供包括虚拟视觉仿真，视觉识别与三维重建等技术，其能够有效地提高生产效率和产品质量，降低运营成本和资源能源消耗。
传统的三维地形重建方法有红外重建法、激光重建法以及声纳重建法等，这些方法都或多或少存在着操作困难、过程繁琐、应用场景狭隘以及设备昂贵等缺点，在实际应用的过程中往往需要消耗大量的人力物力。
发明内容
为了解决传统的三维地形重建方法操作困难、过程繁琐、应用场景狭隘、设备昂贵、需要消耗大量的人力物力的问题，本发明提供了一种基于双目视觉图像的三维地形重建方法、装置及存储介质。其仅使用两个摄像头模拟自然光下的人类视觉***，首先拍摄地形图像并对其进行校正；然后使用改进的稀疏特征点提取及匹配算法以匹配双目地形图像的特征点；其次利用改进的视差图生成算法以获取目标地形的视差图；最后结合相机内外参数进行点云拼接以及点云颜色渲染即可完成地形的三维重建。
为了实现上述目的，本发明一种基于双目视觉图像的三维地形重建方法，包括以下步骤：
S1、对双目相机进行标定，得到所述双目相机的内外参数矩阵；
S2、利用所述双目相机拍摄待重建目标地形图像，得到左右两张目标地形图像；
S3、对所述左右两张目标地形图像依次进行校正、预处理及极线约束，得到极线约束的左右图像；
S4、利用SURF算法对所述极线约束的左右图像进行特征点提取及匹配，得到匹配特征点；
S5、根据所述匹配特征点，利用SGBM算法计算所述极线约束的左右图像的视差，同时利用边缘检测方法以及形态学处理方法提取极线约束的左右图像的地形边缘特征，再将所述地形边缘特征作为约束条件，计算得到极线约束的左右图像的视差图；
S6、根据所述极线约束的左右图像的视差图，结合所述双目相机的内外参数矩阵计算得到三维地形图像各特征点的三维坐标信息，生成三维特征点云；
S7、将所述三维特征点云按照所述三维空间坐标信息在三维立体空间中进行排列，并提取左右两张目标地形图像中特征点的颜色信息，根据所述颜色信息对所述三维特征点云进行颜色渲染，得到重建的三维地形图像。
进一步地，步骤S3具体包括：
S31、根据所述双目相机的内外参数矩阵，对所述左右两张目标地形图像进行校正，得到校正后的左右图像；
S32、利用图像预处理方法对所述校正后的左右图像进行灰度变换、降噪以及增加信噪比处理，得到预处理的左右图像；
S33、根据对极几何原理在所述预处理的图像上绘制多束极线进行极线约束，得到极线约束的左右图像。
更进一步地，步骤S32具体包括：
S321、对所述校正后的左右图像进行灰度变换，得到灰度变换后的左右图像，所述灰度变换的具体公式为：
s＝clog(1+r)
其中，c为常数，r为原始图像灰度值，s为变换后的灰度值；
S322、对所述灰度变换后的左右图像进行直方图均衡化以增强信噪比，得到信噪比增强的左右图像；
S323、对所述信噪比增强的左右图像进行高斯滤波降噪，得到降噪后的左右图像，所述高斯滤波降噪的具体公式为：
Figure BDA0003164885450000021
其中，f表示进行高斯滤波操作，x表示任意连续的随机变量，μ为常数，σ为正态分布的标准偏差，称x服从参数为μ，σ(σ>0)的高斯分布。
进一步地，步骤S4具体包括：
S41、利用SURF算法检测所述极线约束的左右图像中灰度值变化大于设定阈值的角点，并标记为特征点；
S42、根据左图像上的特征点以及极线约束条件，在右图像上找到左图像上的特征点所对应的特征点，得到匹配特征点；
S43、利用RANSAC算法筛除错误的匹配特征点，完成特征点提取及匹配。
更进一步地，步骤S41具体包括：
S411、构建Hessian矩阵定位所述极线约束的左右图像中的特征点；
所述Hessian矩阵的行列式为：
detH＝DxxDxy-(0.9Dxy)2
其中，Dxx、Dyy分别是Hessian矩阵水平X、Y方向的二阶偏导，Dxy是Hessian矩阵垂直方向的二阶偏导；
S412、对所述特征点进行特征方向选择，得到特征点的主方向；
S413、根据所述特征点和所述特征点的主方向构造SURF特征点描述算子。
进一步地，步骤S5具体包括：
S51、利用边缘检测方法提取所述极线约束的左右图像的地形边缘特征，所述边缘检测方法的具体公式为：
Figure BDA0003164885450000031
其中A1、A2分别为所述极线约束的左右图像的边缘梯度值，θ表示实际目标地形的边缘灰度值；
S52、对所述极线约束的左右图像的采用膨胀运算，通过某一像素点周围灰度值最高的点代替该像素点，增强图像效果；对所述极线约束的左右图像采用腐蚀运算，通过某一像素点周围灰度值最低的点代替该像素点，删除一部分图像或图像特征，削弱图像效果；最后用膨胀运算结果减去腐蚀运算结果，完成形态学处理以加强物体的地形边缘特征；
S53、将所述地形边缘特征作为约束条件，利用SGBM算法计算所述极线约束的左右图像的视差图，具体计算公式为：
E(A)＝∑(B(m，Am)+∑X1I(|Am-An|＝1)+∑X2I(|Am-An|＞1))
其中，A是任意某个特征点的视差值，E(A)是该视差值对应误差函数，m，n为图像中的任意一个特征点的邻域内的特征点，B(m，Am)是当前特征点的视差为Am时，这个特征点与其他邻域内特征点的差，X1是对应于m的邻域内的特征点中与m的视差值小于1的惩罚因子，X2是对应于m的邻域内的特征点中与m的视差值大于1的惩罚因子，当Am与An为真实值时，I返回值为1，否则I返回值为0。
此外，为了实现上述目的，本发明还提供了一种基于双目视觉图像的三维地形重建装置，包括以下模块：
相机标定模块，用于对双目相机进行标定，得到所述双目相机的内外参数矩阵；
图像采集模块，用于利用所述双目相机拍摄待重建目标地形图像，得到左右两张目标地形图像；
图像处理模块，用于对所述左右两张目标地形图像依次进行校正、预处理及极线约束，得到极线约束的左右图像；
提取及匹配模块，用于利用SURF算法对所述极线约束的左右图像进行特征点提取及匹配，得到匹配特征点；
视差计算模块，用于根据所述匹配特征点，利用SGBM算法计算所述极线约束的左右图像的视差，同时利用边缘检测方法以及形态学处理方法提取所述极线约束的左右图像的地形边缘特征，再将所述地形边缘特征作为约束条件，计算得到所述极线约束的左右图像的视差图；
点云生成模块，用于根据所述极线约束的左右图像的视差图，结合所述双目相机的内外参数矩阵计算得到三维地形图像各特征点的三维坐标信息，生成三维特征点云；
拼接渲染模块，用于将所述三维特征点云按照所述三维空间坐标信息在三维立体空间中进行排列，并提取所述左右两张目标地形图像中特征点的颜色信息，根据所述颜色信息对所述三维特征点云进行颜色渲染，得到重建的三维地形图像。
此外，为了实现上述目的，本发明还提供了一种存储介质，所述存储介质上存储有三维地形重建程序，所述道三维地形重建程序被处理器执行时实现所述的三维地形重建方法的步骤。
本发明的有益效果在于：
本发明一种基于双目视觉的三维地形重建方法仅使用两个相机模拟人类视觉***，获取目标地形的双目地形图像；然后使用改进的特征点提取及匹配算法(SURF算法结合RANSAC算法)以匹配双目地形图像的特征点；其次利用改进的视差图生成算法(SGBM算法结合边缘检测方法以及形态学处理方法)结合匹配的特征点以获取目标地形的视差图；最后结合相机内外参数进行点云拼接以及点云颜色渲染即可完成地形的三维重建。与现有三维重建方法相比，本发明提出的方法能在很大程度上提升三维地形重建精度，在实际中可广泛的应用在飞机视景仿真、航空测绘以及无人驾驶等领域，实用性较强。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明基于双目视觉图像的三维地形重建方法流程图；
图2是本发明搭建的模拟地形实验场景；
图3是本发明相机采集的黑白棋盘图像；
图4是本发明相机标定及校正结果；
图5是本发明拍摄的目标地形图像；
图5(a)是左图像，图5(b)是右图像；
图6是本发明对目标地形图像进行预处理后的图像；
图6(a)对应左图像，图6(b)对应右图像；
图7是本发明对目标地形图像进行极线约束的结果；
图7(a)对应左图像，图7(b)对应右图像；
图8是本发明的特征点匹配结果；
图9是本发明的特征点匹配正确率；
图10是本发明生成的视差图；
图11是本发明计算出的点云的三维空间坐标以及该点RGB颜色信息；
图12是本发明重建的三维地形结果正视图；
图13本发明重建的三维地形结果侧视图；
图14是本发明基于双目视觉图像的三维地形重建装置结构图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
参考图1，本实施例提供了一种基于双目视觉图像的三维地形重建方法，包括以下步骤：
S1、利用双目相机拍摄标准黑白棋盘格图像，通过张正友平面标定法计算得到双目相机的内外参数矩阵(参考图2-4)；
S2、利用双目相机拍摄待重建目标地形图像，得到左右两张目标地形图像(参考图5)；
S3、对所述左右两张目标地形图像依次进行校正、预处理及极线约束，得到极线约束的左右图像。
在本实施例中，步骤S3具体包括：
S31、根据所述双目相机的内外参数矩阵，对所述左右两张目标地形图像进行校正，得到校正后的左右图像(参考图4)；
S32、利用图像预处理方法对所述校正后的左右图像进行灰度变换、降噪以及增加信噪比处理，得到预处理的左右图像(参考图6)；
步骤S32具体包括：
S321、对所述校正后的左右图像进行灰度变换，得到灰度变换后的左右图像，所述灰度变换的具体公式为：
s＝clog(1+r)
其中，c为常数，r为原始图像灰度值，s为变换后的灰度值；
S322、对所述灰度变换后的左右图像进行直方图均衡化以增强信噪比，得到信噪比增强的左右图像；
S323、对所述信噪比增强的左右图像进行高斯滤波降噪，得到降噪后的左右图像，即得到预处理的左右图像，所述高斯滤波降噪的具体公式为：
Figure BDA0003164885450000061
其中，f表示进行高斯滤波操作，x表示任意连续的随机变量，μ为常数，σ为正态分布的标准偏差，称x服从参数为μ，σ(σ>0)的高斯分布。
S33、根据对极几何原理在所述预处理的图像上绘制多束极线进行极线约束，得到极线约束的左右图像(参考图7)。
S4、利用SURF算法对所述极线约束的左右图像进行特征点提取及匹配，得到匹配特征点(参考图8和图9)。
在本实施例中，步骤S4具体包括：
S41、利用SURF算法检测所述极线约束的左右图像中灰度值变化大于设定阈值的角点，并标记为特征点，本实施例中，设定阈值为0.7；
S41具体包括：
S411、构建Hessian矩阵定位所述极线约束的左右图像中的特征点；
所述Hessian矩阵的行列式为：
detH＝DxxDxy-(0.9Dxy)2
其中，Dxx、Dyy分别是Hessian矩阵水平X、Y方向的二阶偏导，Dxy是Hessian矩阵垂直方向的二阶偏导；
S412、对所述特征点进行特征方向选择，得到特征点的主方向；
S413、根据所述特征点和所述特征点的主方向构造SURF特征点描述算子。
S42、根据左图像上的特征点以及极线约束条件，在右图像上找到左图像上的特征点所对应的特征点，得到匹配特征点；
S43、利用RANSAC算法筛除错误的匹配特征点，通过计算特征点到中心的平均距离以筛除匹配错误的特征点，从而完成特征点提取及匹配。
S5、根据所述匹配特征点，利用SGBM算法计算所述极线约束的左右图像的视差，同时利用边缘检测方法以及形态学处理方法提取极线约束的左右图像的地形边缘特征，再将所述地形边缘特征作为约束条件，计算得到极线约束的左右图像的视差图(参考图10)。
在本实施例中，步骤S5具体包括：
S51、利用边缘检测方法提取极线约束的左右图像的地形边缘特征，所述边缘检测方法的具体公式为：
Figure BDA0003164885450000071
其中A1、A2分别为所述极线约束的左右图像的边缘梯度值，θ表示实际目标地形的边缘灰度值；
S52、对所述极线约束的左右图像的采用膨胀运算，通过某一像素点周围灰度值最高的点代替该像素点，增强图像效果；对所述极线约束的左右图像采用腐蚀运算，通过某一像素点周围灰度值最低的点代替该像素点，删除一部分图像或图像特征，削弱图像效果；最后用膨胀运算结果减去腐蚀运算结果，完成形态学处理以加强物体的地形边缘特征；
S53、将所述地形边缘特征作为约束条件，仅在地形图像边缘内进行检测计算，可排除其他无关因素的干扰，进而提升视差计算的精度。在计算出所有特征点的视差后，即可得到双目地形图像的视差图，利用SGBM算法计算所述极线约束的左右图像的视差图，具体计算公式为：
EA)＝∑(B(m，Am)+∑X1I(|Am-An|＝1)+∑X2I(|Am-An|＞1))
其中，A是任意某个特征点的视差值，E(A)是该视差值对应误差函数，m，n为图像中的任意一个特征点的邻域内的特征点，B(m，Am)是当前特征点的视差为Am时，这个特征点与其他邻域内特征点的差，X1是对应于m的邻域内的特征点中与m的视差值小于1的惩罚因子，X2是对应于m的邻域内的特征点中与m的视差值大于1的惩罚因子，当Am与An为真实值时，I返回值为1，否则I返回值为0。
S6、根据所述极线约束的左右图像的视差图，结合所述双目相机的内外参数矩阵计算得到三维地形图像各特征点的三维坐标信息，生成三维特征点云。
S7、将所述三维特征点云按照所述三维空间坐标信息在三维立体空间中进行排列，并提取左右两张目标地形图像中特征点的颜色信息(参考图11)，根据所述颜色信息对所述三维特征点云进行颜色渲染，得到重建的三维地形图像(参考图12和图13)。
作为可选地实施方式，本实施还提供了一种基于双目视觉图像的三维地形重建装置，用于实施上述的三维地形重建方法。
参考图14，该装置包括以下模块：
相机标定模块1，用于利用双目相机拍摄标准黑白棋盘格图像，通过张正友平面标定法计算得到双目相机的内外参数矩阵；
图像采集模块2，用于利用双目相机拍摄待重建目标地形图像，得到左右两张目标地形图像；
图像处理模块3，用于对所述左右两张目标地形图像依次进行校正、预处理及极线约束，得到极线约束的左右图像；
提取及匹配模块4，用于利用SURF算法对所述极线约束的左右图像进行特征点提取及匹配，得到匹配特征点；
视差计算模块5，用于根据所述匹配特征点，利用SGBM算法计算所述极线约束的左右图像的视差，同时利用边缘检测方法以及形态学处理方法提取所述极线约束的左右图像的地形边缘特征，再将所述地形边缘特征作为约束条件，计算得到所述极线约束的左右图像的视差图；
点云生成模块6，用于根据所述极线约束的左右图像的视差图，结合所述双目相机的内外参数矩阵计算得到三维地形图像各特征点的三维坐标信息，生成三维特征点云；
拼接渲染模块7，用于将所述三维特征点云按照所述三维空间坐标信息在三维立体空间中进行排列，并提取所述左右两张目标地形图像中特征点的颜色信息，根据所述颜色信息对所述三维特征点云进行颜色渲染，得到重建的三维地形图像。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于双目视觉图像的三维地形重建方法，其特征在于，包括以下步骤：
S1、对双目相机进行标定，得到所述双目相机的内外参数矩阵；
S2、利用所述双目相机拍摄待重建目标地形图像，得到左右两张目标地形图像；
S3、对所述左右两张目标地形图像依次进行校正、预处理及极线约束，得到极线约束的左右图像；
S4、利用SURF算法对所述极线约束的左右图像进行特征点提取及匹配，得到匹配特征点；
S5、根据所述匹配特征点，利用SGBM算法计算极线约束的左右图像的视差，同时利用边缘检测方法以及形态学处理方法提取极线约束的左右图像的地形边缘特征，再将所述地形边缘特征作为约束条件，计算得到极线约束的左右图像的视差图；
S6、根据所述极线约束的左右图像的视差图，结合所述双目相机的内外参数矩阵计算得到三维地形图像各特征点的三维坐标信息，生成三维特征点云；
S7、将所述三维特征点云按照所述三维空间坐标信息在三维立体空间中进行排列，并提取左右两张目标地形图像中特征点的颜色信息，根据所述颜色信息对所述三维特征点云进行颜色渲染，得到重建的三维地形图像。
2.根据权利要求1所述的基于双目视觉图像的三维地形重建方法，其特征在于：步骤S3具体包括：
S31、根据所述双目相机的内外参数矩阵，对所述左右两张目标地形图像进行校正，得到校正后的左右图像；
S32、利用图像预处理方法对所述校正后的左右图像进行灰度变换、降噪以及增加信噪比处理，得到预处理的左右图像；
S33、根据对极几何原理在所述预处理的图像上绘制多束极线进行极线约束，得到极线约束的左右图像。
3.根据权利要求2所述的基于双目视觉图像的三维地形重建方法，其特征在于：步骤S32具体包括：
S321、对所述校正后的左右图像进行灰度变换，得到灰度变换后的左右图像，所述灰度变换的具体公式为：
s＝clog(1+r)
其中，c为常数，r为原始图像灰度值，s为变换后的灰度值；
S322、对所述灰度变换后的左右图像进行直方图均衡化以增强信噪比，得到信噪比增强的左右图像；
S323、对所述信噪比增强的左右图像进行高斯滤波降噪，得到降噪后的左右图像，所述高斯滤波降噪的具体公式为：
Figure FDA0003164885440000021
其中，f表示进行高斯滤波操作，x表示任意连续的随机变量，μ为常数，σ为正态分布的标准偏差，称x服从参数为μ，σ(σ＞0)的高斯分布。
4.根据权利要求1所述的基于双目视觉图像的三维地形重建方法，其特征在于：步骤S4具体包括：
S41、利用SURF算法检测所述极线约束的左右图像中灰度值变化大于设定阈值的角点，并标记为特征点；
S42、根据左图像上的特征点以及极线约束条件，在右图像上找到左图像上的特征点所对应的特征点，得到匹配特征点；
S43、利用RANSAC算法筛除错误的匹配特征点，完成特征点提取及匹配。
5.根据权利要求4所述的基于双目视觉图像的三维地形重建方法，其特征在于：步骤S41具体包括：
S411、构建Hessian矩阵定位所述极线约束的左右图像中的特征点；
所述Hessian矩阵的行列式为：
detH＝DxxDxy-(0.9Dxy)2
其中，Dxx、Dyy分别是Hessian矩阵水平X、Y方向的二阶偏导，Dxy是Hessian矩阵垂直方向的二阶偏导；
S412、对所述特征点进行特征方向选择，得到特征点的主方向；
S413、根据所述特征点和所述特征点的主方向构造SURF特征点描述算子。
6.根据权利要求1所述的基于双目视觉图像的三维地形重建方法，其特征在于：所述步骤S5具体包括：
S51、利用边缘检测方法提取所述极线约束的左右图像的地形边缘特征，所述边缘检测方法的具体公式为：
Figure FDA0003164885440000022
其中A1、A2分别为所述极线约束的左右图像的边缘梯度值，θ表示实际目标地形的边缘灰度值；
S52、对所述极线约束的左右图像的采用膨胀运算，通过某一像素点周围灰度值最高的点代替该像素点，增强图像效果；对所述极线约束的左右图像采用腐蚀运算，通过某一像素点周围灰度值最低的点代替该像素点，删除一部分图像或图像特征，削弱图像效果；最后用膨胀运算结果减去腐蚀运算结果，完成形态学处理以加强物体的地形边缘特征；
S53、将所述地形边缘特征作为约束条件，利用SGBM算法计算所述极线约束的左右图像的视差图，具体计算公式为：
E(A)＝∑(B(m，Am)+∑X1I(|Am-An|＝1)+∑X2I(|Am-An|＞1))
其中，A是任意某个特征点的视差值，E(A)是该视差值对应误差函数，m，n为图像中的任意一个特征点的邻域内的特征点，B(m，Am)是当前特征点的视差为Am时，这个特征点与其他邻域内特征点的差，X1是对应于m的邻域内的特征点中与m的视差值小于1的惩罚因子，X2是对应于m的邻域内的特征点中与m的视差值大于1的惩罚因子，当Am与An为真实值时，I返回值为1，否则I返回值为0。
7.一种基于双目视觉图像的三维地形重建装置，其特征在于：包括以下模块：
相机标定模块，用于对双目相机进行标定，得到所述双目相机的内外参数矩阵；
图像采集模块，用于利用双目相机拍摄待重建目标地形图像，得到左右两张目标地形图像；
图像处理模块，用于对所述左右两张目标地形图像依次进行校正、预处理及极线约束，得到极线约束的左右图像；
提取及匹配模块，用于利用SURF算法对所述极线约束的左右图像进行特征点提取及匹配，得到匹配特征点；
视差计算模块，用于根据所述匹配特征点，利用SGBM算法计算所述极线约束的左右图像的视差，同时利用边缘检测方法以及形态学处理方法提取所述极线约束的左右图像的地形边缘特征，再将所述地形边缘特征作为约束条件，计算得到所述极线约束的左右图像的视差图；
点云生成模块，用于根据所述极线约束的左右图像的视差图，结合所述双目相机的内外参数矩阵计算得到三维地形图像各特征点的三维坐标信息，生成三维特征点云；
拼接渲染模块，用于将所述三维特征点云按照所述三维空间坐标信息在三维立体空间中进行排列，并提取所述左右两张目标地形图像中特征点的颜色信息，根据所述颜色信息对所述三维特征点云进行颜色渲染，得到重建的三维地形图像。
8.一种存储介质，其特征在于，所述存储介质上存储有三维地形重建程序，所述道三维地形重建程序被处理器执行时实现如权利要求1至6中任一项所述的三维地形重建方法的步骤。
CN202110801417.8A 2021-07-15 2021-07-15 基于双目视觉图像的三维地形重建方法、装置及存储介质 Active CN113674407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110801417.8A CN113674407B (zh) 2021-07-15 2021-07-15 基于双目视觉图像的三维地形重建方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110801417.8A CN113674407B (zh) 2021-07-15 2021-07-15 基于双目视觉图像的三维地形重建方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113674407A true CN113674407A (zh) 2021-11-19
CN113674407B CN113674407B (zh) 2024-02-13

Family

ID=78539238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110801417.8A Active CN113674407B (zh) 2021-07-15 2021-07-15 基于双目视觉图像的三维地形重建方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113674407B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147763A (zh) * 2022-07-01 2022-10-04 兰州理工大学 一种冰川运动表面流速快速获取方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976455A (zh) * 2010-10-08 2011-02-16 东南大学 一种基于立体匹配的彩色图像三维重建方法
US20110222737A1 (en) * 2008-12-03 2011-09-15 Bernhard Biskup Method for measuring the growth of leaf disks of plants and apparatus suited therefor
CN106303501A (zh) * 2016-08-23 2017-01-04 深圳市捷视飞通科技股份有限公司 基于图像稀疏特征匹配的立体图像重构方法及装置
US20170264887A1 (en) * 2016-03-09 2017-09-14 Sony Corporation Method for 3d multiview reconstruction by feature tracking and model registration
CN107423772A (zh) * 2017-08-08 2017-12-01 南京理工大学 一种新的基于ransac的双目图像特征匹配方法
CN109269478A (zh) * 2018-10-24 2019-01-25 南京大学 一种基于双目视觉的集装箱码头场桥障碍物检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110222737A1 (en) * 2008-12-03 2011-09-15 Bernhard Biskup Method for measuring the growth of leaf disks of plants and apparatus suited therefor
CN101976455A (zh) * 2010-10-08 2011-02-16 东南大学 一种基于立体匹配的彩色图像三维重建方法
US20170264887A1 (en) * 2016-03-09 2017-09-14 Sony Corporation Method for 3d multiview reconstruction by feature tracking and model registration
CN106303501A (zh) * 2016-08-23 2017-01-04 深圳市捷视飞通科技股份有限公司 基于图像稀疏特征匹配的立体图像重构方法及装置
CN107423772A (zh) * 2017-08-08 2017-12-01 南京理工大学 一种新的基于ransac的双目图像特征匹配方法
CN109269478A (zh) * 2018-10-24 2019-01-25 南京大学 一种基于双目视觉的集装箱码头场桥障碍物检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张志刚;霍晓丽;周冰;: "基于双目立体视觉的物流包装箱尺寸测量研究", 包装工程, no. 19 *
薛亚东;: "双目视觉技术在人机交互体育运动中的应用", 自动化与仪器仪表, no. 10 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147763A (zh) * 2022-07-01 2022-10-04 兰州理工大学 一种冰川运动表面流速快速获取方法及装置
CN115147763B (zh) * 2022-07-01 2023-10-20 兰州理工大学 一种冰川运动表面流速快速获取方法及装置

Also Published As

Publication number Publication date
CN113674407B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN110363858B (zh) 一种三维人脸重建方法及***
CN110264416B (zh) 稀疏点云分割方法及装置
CN111063021B (zh) 一种空间运动目标的三维重建模型建立方法及装置
CN104063702B (zh) 一种基于遮挡修复和局部相似性匹配的三维步态识别方法
CN113178009B (zh) 一种利用点云分割和网格修补的室内三维重建方法
CN104156536B (zh) 一种盾构机刀具磨损的可视化定量标定及分析方法
CN105046710A (zh) 基于深度图分割与代理几何体的虚实碰撞交互方法及装置
CN111524233B (zh) 一种静态场景动态目标的三维重建方法
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、***和存储介质
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN113313116B (zh) 一种基于视觉的水下人工目标准确检测与定位方法
CN113724379B (zh) 融合图像与激光点云的三维重建方法及装置
CN112734914A (zh) 一种增强现实视觉的图像立体重建方法及装置
Concha et al. Real-time localization and dense mapping in underwater environments from a monocular sequence
CN113538569A (zh) 一种弱纹理物***姿估计方法和***
Meline et al. A camcorder for 3D underwater reconstruction of archeological objects
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计***
CN114677479A (zh) 一种基于深度学习的自然景观多视图三维重建方法
CN112348890A (zh) 一种空间定位方法、装置及计算机可读存储介质
CN107958489B (zh) 一种曲面重建方法及装置
CN115713469A (zh) 基于通道注意力和形变生成对抗网络的水下图像增强方法
CN113674407B (zh) 基于双目视觉图像的三维地形重建方法、装置及存储介质
Nouduri et al. Deep realistic novel view generation for city-scale aerial images
CN113724329A (zh) 融合平面与立体信息的目标姿态估计方法、***和介质
CN111914790A (zh) 基于双摄像头的不同场景下实时人体转动角度识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant