CN114187404A - 一种用于近海域高分辨率的三维重建方法和*** - Google Patents
一种用于近海域高分辨率的三维重建方法和*** Download PDFInfo
- Publication number
- CN114187404A CN114187404A CN202111511729.1A CN202111511729A CN114187404A CN 114187404 A CN114187404 A CN 114187404A CN 202111511729 A CN202111511729 A CN 202111511729A CN 114187404 A CN114187404 A CN 114187404A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- feature
- dimensional
- plane
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000005457 optimization Methods 0.000 claims abstract description 16
- 238000005070 sampling Methods 0.000 claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 238000010586 diagram Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 29
- 230000008569 process Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种用于近海域高分辨率的三维重建方法和***，包括采用透视尺寸不变特征对近海域多视场角图像进行匹配，根据特征相似度指导采样，得到稀疏特征点云；基于结构化局部二值模式，利用图割法获取每个像素深度，加密稀疏特征点云生成稠密点云；对所有视角的点云进行全局误差优化，并根据匹配的特征点的深度信息，生成特征点在空间中的三维坐标；构建平面基元之间的强弱连接关系，通过图结构与能量函数获取表面模型。该发明可获取海域的广域大范围全景高分辨率信息，构建三维模型，能够直观展示近海域时空大数据。
Description
技术领域
本发明涉及图像处理的技术领域，尤其涉及一种用于近海域高分辨率的三维重建方法和***。
背景技术
近海域区域具有丰富的自然资源、优越的地理位置以及宜人的生活环境，目前是经济最发达、人口最密集的区域。人类经济活动对自然资源过度开发利用，对近海域生态***正常结构与功能产生干扰，引发生态***改变甚至退化。自然景观人工化、植被覆盖度降低、防护林带破坏、近岸海域水质恶化等一系列环境问题威胁着区域生态安全状况。
当前面向近海域的地理空间应用服务***，缺乏基于大规模真实三维场景以及环境智能感知的数据处理与决策***。主流***只是静态显示近海域及海岸带的影像，难以对近海域上发生的事件以及海岸带发生的活动进行智能分析。
发明内容
为了解决现有技术中主流***只是静态显示近海域及海岸带的影像，难以对近海域上发生的事件以及海岸带发生的活动进行智能分析，缺乏基于大规模真实三维场景的问题，本发明提出了一种用于近海域高分辨率的三维重建方法和***，用以解决上述技术问题。
根据本发明的一个方面，提出了一种用于近海域高分辨率的三维重建方法，包括：
S1：采用透视尺寸不变特征对近海域多视场角图像进行匹配，根据特征相似度指导采样，得到稀疏特征点云；
S2：基于结构化局部二值模式，利用图割法获取每个像素深度，加密稀疏特征点云生成稠密点云；
S3：对所有视角的点云进行全局误差优化，并根据匹配的特征点的深度信息，生成特征点在空间中的三维坐标；以及
S4：构建平面基元之间的强弱连接关系，通过图结构与能量函数获取表面模型。
在一些具体的实施例中，步骤S1中根据特征相似度指导采样包括：
计算N组多视角近海域图像特征匹配对
对于变换模型集合的残差序
其中
表示第i组匹配中残差第j小的模型；
设置松弛区域扩张窗口扫描范围，利用观测窗口内的排列关系计算模型逆序，约束相似度函数，相似度函数
其中，h为窗口长度，ε为松弛区域，β(h)是与窗口长度h相关的惩罚因子，
为窗口内重叠模型排列的逆序，A和B分别是变窗口和逆序模型两种模型的权重。凭借该结构可以加快结构估算速度，提高估算可靠性。
在一些具体的实施例中，步骤S2中图割法获取像素深度采用如下优化函数
其中，
为融合了结构局部二值模式像素模板相似度的数据项，
是对邻域深度信息进行约束的平滑项。凭借该优化函数可以获得更加精确的稠密点云空间坐标。
在一些具体的实施例中，步骤S2中稠密点云的生成包括：求解所有像素点的深度信息，利用计算机视觉的几何原理反算像素对应关系，生成稠密点云。
在一些具体的实施例中，步骤S3还包括基于曲率滤波畸变校正技术，利用相邻数据产生曲率信息对点云数据进行平滑处理。滤波后的数据可以避免过度平滑，在消除畸变信号的同时对边缘具有很好的保真性。
在一些具体的实施例中，步骤S4中包括：
S41：基于拟合局内点到平面基元的最大距离的最大容忍距离以及拟合成一个平面基元的最小局内点个数的最小集合数，探测生成初始基元；
S42：根据基元之间不同的内在拓扑关系依次构建强连接图和软连接图；
S43：在软连接图的基础上利用图结构生成所有候选面集合并获取三维表面模型，根据能量函数和约束对三维表面模型进行优化和约束。
在一些具体的实施例中，能量函数和约束为minxλfEf+λcEc+λmEm，
其中，Ef是基于表面覆盖的能量项，选择的平面凸多边形覆盖的面积越大，能量越小；Ec是基于数据拟合的能量项，选择的平面覆盖原本三维模型中的三角面越多，能量越小；Em是基于模型复杂度的能量项，最后模型中的边越少，能量越小；约束则表示结果的每一条边一定要连接两个平面，N为候选多边形平面集的个数总和，|E|为生成模型的边数总和；指示变量xi的值在第i个平面未被选中时为0，在第i个平面被选中时为1。凭借该步骤可获取更加具有拓扑逻辑与流形水密特性的表面模型。
在一些具体的实施例中，步骤S42中的强连接图和软连接图包括：
遍历基元局内点，对每一个局内点进行球形邻域搜索，响应于基元中至少存在一个局内点通过球形邻域搜索到其他基元局内点，两基元之间为强连接关系，构建强连接图；
利用平面形状生长算法，将每个基元的局内点集合投影至拟合平面，获取二维点集最小凸多边形，基于此确定基本尺度、伸缩可容忍尺度和探测尺度的多尺度区域及其对应置信度，获取基元平面交点在各平面的置信度和，响应于交点的置信度和大于预设阈值，在强连接图的基础上，添加软连接边，构建软连接图。
根据本发明的第二方面，提出了一种计算机可读存储介质，其上存储有一或多个计算机程序，该一或多个计算机程序被计算机处理器执行时实施上述方法。
根据本发明的第三方面，提出了一种用于近海域高分辨率的三维重建***，该***包括：
图像匹配单元：配置用于采用透视尺寸不变特征对近海域多视场角图像进行匹配，根据特征相似度指导采样，得到稀疏特征点云；
稠密点云生成单元：配置用于基于结构化局部二值模式，利用图割法获取每个像素深度，加密稀疏特征点云生成稠密点云；
配准单元：配置用于对所有视角的点云进行全局误差优化，并根据匹配的特征点的深度信息，生成特征点在空间中的三维坐标；
三维重建单元：配置用于构建平面基元之间的强弱连接关系，通过图结构与能量函数获取表面模型。
本发明提出了一种用于近海域高分辨率的三维重建方法，利用透视尺度不变特征以确保多视角图像匹配的稳定性，以稀疏特征点云为基准，引入图割法用于多视角立体匹配，以提高稠密点云生成的精度；引入信号平滑的研究趋势，通过曲率滤波策略充分考虑了相邻数据产生曲率信息，并以此为依据对数据进行平滑，滤波后的数据可以避免过度平滑，在消除畸变信号的同时对边缘具有很好的保真性。并通过构建一种平面基元之间的强弱连接关系解决由于遮挡等现象引起的点云缺失，在模型生成过程中，通过设计闭合约束的能量函数，达到更加具有拓扑逻辑与流形水密特性的表面模型，在降低分辨率的条件下能增强三维模型的可视化效果。
附图说明
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是根据本申请的一个实施例的用于近海域高分辨率的三维重建方法流程图；
图2a-c是根据本申请的一个具体的实施例的平面形状生长流程图；
图3是根据本申请的一个实施例的多尺度置信度生成示意图；
图4是根据本申请的一个具体的实施例的软连接图顶点生成示意图；
图5a-b是根据本申请的一个实施例的三平面相交的情况；
图6是根据本申请的一个实施例的用于近海域高分辨率的三维重建还原***的框架图；
图7是适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
根据本申请的一个实施例的基于图像的眼动追踪方法，图1示出了根据本申请的一个实施例的用于近海域高分辨率的三维重建方法流程图。如图1所示，该方法包括：
S101：采用透视尺寸不变特征对近海域多视场角图像进行匹配，根据特征相似度指导采样，得到稀疏特征点云。根据计算机视觉的透视投影原理提出了图像多角度观测模型，以透视变换采样的方式模拟视角变化导致的图像变形现象，利用透视尺寸不变特征有效提高了不同视角的匹配稳定性。
在具体的实施例中，基于指导采样的估算策略，可以加快结构估算速度，提高估算可靠性。计算N组多视角近海域图像特征匹配对
对于变换模型集合的残差序
其中
表示第i组匹配中残差第j小的模型。通过残差序列定义特征配对之间的相似度函数评估匹配特征之间的相似程度，用于指导采样进程。针对近海域水面图像匹配的特点，采用窗口长度的自适应调整策略：设置松弛区域以扩张窗口扫描范围，使相似度函数更加客观地反映不同特征来自同一模型的可能性；通过观测窗口内的排列关系计算模型逆序，对相似度函数加以约束。融合了变窗口与逆序模型的相似度如下：
其中，h为窗口长度，ε为松弛区域，β(h)是与窗口长度h相关的惩罚因子，
为窗口内重叠模型排列的逆序，A和B分别是变窗口和逆序模型两种模型的权重。
在具体的实施例中，根据特征相似度进行采样指导，采样过程基于贝叶斯原则，后续特征匹配点的选择依赖于与被选中点之间的概率乘积，根据条件概率获得的点集生成新的变换模型，新模型可以不断地添加更新原来的模型集，同时特征相似度函数也相应更新。在特征匹配与鲁棒估计的基础上，可在平差过程中融入图像对应的GPS以及传感器获取的旋转角参数等信息，构建全局优化函数用于匹配特征的几何约束，以提高相机参数的估算精度以及稀疏特征点云的定位精度。
S102：基于结构化局部二值模式，利用图割法获取每个像素深度，加密稀疏特征点云生成稠密点云。稀疏特征点云不足以作为近海域点云拟合的依据，因此需对点云进行上述加密处理。
在具体的实施例中，为提高稠密点云的精度，根据图像纹理特点利用结构化局部二值模式，可有效描述纹理细微变化，对噪声以及光照具有很好鲁棒性。根据窗口内各个像素的结构化局部二值构造直方图，作为模板的局部描述子。以稀疏特征点云为基准，利用图割法进行处理求解每个像素深度的最优值，具体采用如下优化函数：
其中，
为融合了结构局部二值模式像素模板相似度的数据项，
是对邻域深度信息进行约束的平滑项。对于近海域重建的精度要求，在相似度数据项中嵌入已有匹配特征对应像素的深度信息，同时对其邻域平滑项也加以一定的约束，求解所有像素点的深度。最后通过计算机视觉的几何原理中反算像素对应关系，生成稠密点云。利用该方式可以解决近海域中的海面和沙滩纹理相似，传统的统计相关性的模板匹配可靠性无法保证，生成点云的信噪比很低的问题，通过弱纹理的匹配提高稠密点云的精度。
S103：对所有视角的点云进行全局误差优化，并根据匹配的特征点的深度信息，生成特征点在空间中的三维坐标。
在具体的实施例中，航拍高分辨率图像信息可根据标定参数映射到深度图产生的点云中。根据图像局部特征的尺度、旋转不变性，根据匹配的特征点深度信息，生成特征点在空间中的三维坐标。在相机定位与点云外参数计算中充分融合点云特征匹配与图像特征匹配的约束，提升相机的外参数精度和点云融合精度，具体通过如下公式实现：
其中，xi表示输入点云中的第i个点坐标，T(xi)为xi映射到参考点云坐标体系的位置，yi为距离T(xi)最近的点坐标；fj为点云对应图像中第j个局部特征在点云中的位置；fj为图像特征fj匹配点的空间坐标；FPH(·)表示点云的特征描述子。该融合了局部特征匹配方法可以实现点云的自动配准。
在具体的实施例中，海洋虚拟展示需要构建近海域三维场景，需要融合多个视角的点云信息，若采用逐个视角添加匹配的方法会导致变换误差累加。针对所有视角的点云进行全局误差优化，即统计所有同名特征点的坐标与特征向量误差，求解各个扫面点的实际方位信息，通过可优化多视角点云的总体匹配误差，可实现变换参数的提取与多视角点云的融合。具体公式为：
其中k∈1，2，…，K是视角变量。TN是将所有点云映射到同一坐标系的变换。
在具体的实施例中，还可以引入信号平滑的方式，通过相邻数据产生的曲率信息对数据进行平滑，滤波后的数据可以避免过度平滑，在消除畸变信号的同时对边缘具有很好的保真性。通过高效的图像边缘特征提取方法，在点云生成过程中根据边缘信息构建正则化项，用于信息约束点云的定位精度。在此基础上，利用点云空间信息构建K-邻域图，通过定义不同的割集，分析隐含高斯曲率信号，实现对噪声点的过滤，从而有效改善三维模型的表面细微畸变问题。
S104：构建平面基元之间的强弱连接关系，通过图结构与能量函数获取表面模型。近海域点云数据的来源包括空域雷达扫描、无人机运动结构恢复或者多视图几何等，原始点云数据的可视化模型普遍存在存储量大、遮挡缺失的问题。利用构建平面基元之间的强弱连接关系可以有效解决遮挡导致的点云缺失。通过设计闭合约束的能量函数，可以获得具有拓扑逻辑与流形水密特性的表面模型，在降低分辨率的条件下能增强三维模型的可视化效果。
在具体的实施例中，表面模型的重建包括以下步骤：首先，探测生成平面初始基元，初始基元采用结构随机采样生成，输入模型包括平面、球形、圆柱形和圆锥形等。在一个优选的实施例中，本发明的算法输入为带有法向量属性的点云数据或三角网格数据，点云数据探测平面基元使用RANSAC算法，三角网格数据选取基于平面度的区域生长算法，对于平面基元的探测依赖于拟合局内点到平面基元的最大距离的最大容忍距离以及拟合成一个平面基元的最小局内点个数的最小集合数。
其次，根据强连接关系构建强连接图。连接图的生成目的在于从原始模型中捕捉基元之间的内在拓扑关系并且编码在无向图中。对于点云数据，单个基元的强连接关系构建需要对基元局内点进行遍历，同时对每一个局内点进行球形邻域搜索。若基元中至少有一个局内点可以通过球形邻域搜索到其他基元的局内点，可认为两个基元具有强连接关系；对于三角网格数据而言，单个基元的强连接关系构建即对基元中的每一个三角面片进行遍历，若基元中至少有一个三角面片与其他基元的三角面片邻接，则认为两个基元具有强连接关系。在一些优选的实施例中，在构建强连接关系图之前，可通过优化过程除去一些局内点个数小于阈值的基元与合并法向量角度小于给定阈值并且局内点满足共面条件的基元，以使得求解过程更加稳定且去除了一定的噪声。
在具体的实施例中，在强连接图的基础上，利用软连接图以刻画关系基元之间的关系。利用尺度延展生成平面形状，对于每个基元的局内点集合，将其投影到拟合平面，将三维点映射为二维点，对平面上的二维点集计算其最小凸多边形。对于凸多边形的每一个顶点，赋予其两个属性，包括为重心到其构成的直线L，以及以重心为圆心经过顶点的圆C。通过控制每一个圆的半径相对于其初始半径的长度以比例增长，从而达到模型凸多边形生长的效果。具体生成流程如图2a-c所示。
在具体的实施例中，将平面凸多边形的伸缩定为了三个尺度：基本尺度、伸缩可容忍尺度和探测尺度，同时为这三个尺度赋予不同的置信度等级。基本尺度定义为最高的置信度3，同时也是生长最小的凸多边形；探测尺度定义为最低的置信度1，同时也是生长最大的凸多边形。三个尺度对应了三个生长参数，在实现过程中使用一个统一参数可以使得三个尺度按照同一比例生长(可定义三个等级的尺度分别为1.1K，1.4K，2K，只需要把控一个额外参数K即可控制生长尺度)。此外，可定义拟合出的基元平面的置信度等级为0。具体的多尺度置信度生成示意图如图3所示。
在具体的实施例中，每一个基元计算完多尺度的凸多边形后，所有基元平面的交点首先要在确定原始模型的3D边界框中。每个交点都由三个平面基元相交所产生，空间中三个平面两两不相互平行，三个平面会相交与一点(如图4所示)。若将所有平面直接放入能量函数中进行优化求解，很大概率会出现伴随着平面数量增多，使得求解时间以指数级形式上升。因此，相对于在求解时间上的消耗，本申请采用提前计算交点会大大降低能量函数求解的时间。在得到了空间中所有的交点之后，可为每一个顶点计算其置信度。置信度的计算方法如下：对于一个交点P及其三个平面，将该三维点P分别投影至三个二维平面上，根据二维点P’会落在哪一个置信度的凸多边形中，则将其置信度加上落入凸多边形的置信度等级(每个交点初始置信度为0)。
在具体的实施例中，图5a-b中示出了三平面相交的两种情况：对于三个平面无法构成强连接关系时，三个平面基元的形成的最小凸多边形在空间中的关系图5a，三个平面的交点分别投影到平面上时，如果都可以落入伸缩可容忍尺度的凸多边形中时，此时可认为三个平面之间为软连接；如图5b，对于三个平面其中有两对平面已经构成了强连接关系，剩余一对平面未能构成强连接关系时，三个平面基元的形成的最小凸多边形在空间中的关系如5b所示，在此情况下，三个平面的交点分别投影到平面上时，交点分别落入平面A的基本尺度凸多边形、平面B的伸缩可容忍尺度凸多边形与平面C的探测尺度多边形时，可认为三个平面为软连接。上述的两种情况得到的交点的置信度为落入三个平面的置信度之和，可以得知上述两种情况交点的置信度都为6，允许的交点置信度最低阈值为6，交点置信度大于等于6才会将其形成的关系加入软连接中。其他平面空间结构会形成不同置信度的交点，交点置信度最大值为9、最小值为0。对于置信度大于6所有交点的平面，可以软连接的形式建立软连接图，所有的强连接关系一定可以构成软连接。因此，可在软连接图在强连接图的基础上，添加软连接边，从而形成软连接图。
在具体的实施例中，在构造软连接图的基础上，使用图结构生成候选面，两个顶点及其连接形成一条边，三个顶点形成闭环形成点，得到所有的候选面集合，进而生成候选表面模型。对模型进行优化和约束，模型的求解基于二分类线性整数编码问题，设置指示变量xi，值为0(第i个平面未被选中)或1(第i个平面被选中)，同时加入约束保证生成的结果模型具有流形与水密的性质，具体的，能量函数和约束为minxλfEf+λcEc+λmEm，
其中，Ef是基于表面覆盖的能量项，选择的平面凸多边形覆盖的面积越大，能量越小；Ec是基于数据拟合的能量项，选择的平面覆盖原本三维模型中的三角面越多，能量越小；Em是基于模型复杂度的能量项，最后模型中的边越少，能量越小；约束则表示结果的每一条边一定要连接两个平面，N为候选多边形平面集的个数总和，|E|为生成模型的边数总和。凭借该步骤可以获得更加具有拓扑逻辑与流形水密特性的表面模型。
继续参考图6，图6示出了根据本申请的一个实施例的用于近海域高分辨率的三维重建***的框架图。该***具体包括图像匹配单元601、稠密点云生成单元602、配准单元603和三维重建单元604。其中，图像匹配单元601配置用于采用透视尺寸不变特征对近海域多视场角图像进行匹配，根据特征相似度指导采样，得到稀疏特征点云；稠密点云生成单元602配置用于基于结构化局部二值模式，利用图割法获取每个像素深度，加密稀疏特征点云生成稠密点云；配准单元603配置用于对所有视角的点云进行全局误差优化，并根据匹配的特征点的深度信息，生成特征点在空间中的三维坐标；三维重建单元604配置用于构建平面基元之间的强弱连接关系，通过图结构与能量函数获取表面模型。
下面参考图7，其示出了适于用来实现本申请实施例的电子设备的计算机***700的结构示意图。图7示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，计算机***700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有***700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：采用透视尺寸不变特征对近海域多视场角图像进行匹配，根据特征相似度指导采样，得到稀疏特征点云；基于结构化局部二值模式，利用图割法获取每个像素深度，加密稀疏特征点云生成稠密点云；对所有视角的点云进行全局误差优化，并根据匹配的特征点的深度信息，生成特征点在空间中的三维坐标；构建平面基元之间的强弱连接关系，通过图结构与能量函数获取表面模型。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种用于近海域高分辨率的三维重建方法，其特征在于，包括：
S1：采用透视尺寸不变特征对近海域多视场角图像进行匹配，根据特征相似度指导采样，得到稀疏特征点云；
S2：基于结构化局部二值模式，利用图割法获取每个像素深度，加密所述稀疏特征点云生成稠密点云；
S3：对所有视角的点云进行全局误差优化，并根据匹配的特征点的深度信息，生成所述特征点在空间中的三维坐标；以及
S4：构建平面基元之间的强弱连接关系，通过图结构与能量函数获取表面模型。
2.根据权利要求1所述的用于近海域高分辨率的三维重建方法，其特征在于，所述步骤S1中根据特征相似度指导采样包括：
计算N组多视角近海域图像特征匹配对
对于变换模型集合的残差序
其中
表示第i组匹配中残差第j小的模型；
设置松弛区域扩张窗口扫描范围，利用观测窗口内的排列关系计算模型逆序，约束相似度函数，所述相似度函数
其中，h为窗口长度，ε为松弛区域，β(h)是与窗口长度h相关的惩罚因子，
为窗口内重叠模型排列的逆序，A和B分别是变窗口和逆序模型两种模型的权重。
3.根据权利要求1所述的用于近海域高分辨率的三维重建方法，其特征在于，所述步骤S2中图割法获取像素深度采用如下优化函数
其中，
为融合了结构局部二值模式像素模板相似度的数据项，
是对邻域深度信息进行约束的平滑项。
4.根据权利要求3所述的用于近海域高分辨率的三维重建方法，其特征在于，所述步骤S2中稠密点云的生成包括：求解所有像素点的深度信息，利用计算机视觉的几何原理反算像素对应关系，生成稠密点云。
5.根据权利要求1所述的用于近海域高分辨率的三维重建方法，其特征在于，所述步骤S3还包括基于曲率滤波畸变校正技术，利用相邻数据产生曲率信息对点云数据进行平滑处理。
6.根据权利要求1所述的用于近海域高分辨率的三维重建方法，其特征在于，所述步骤S4中包括：
S41：基于拟合局内点到平面基元的最大距离的最大容忍距离以及拟合成一个平面基元的最小局内点个数的最小集合数，探测生成初始基元；
S42：根据基元之间不同的内在拓扑关系依次构建强连接图和软连接图；
S43：在所述软连接图的基础上利用图结构生成所有候选面集合并获取三维表面模型，根据能量函数和约束对所述三维表面模型进行优化和约束。
7.根据权利要求6所述的用于近海域高分辨率的三维重建方法，其特征在于，所述能量函数和约束为minxλfEf+λcEc+λmEm，
其中，Ef是基于表面覆盖的能量项，选择的平面凸多边形覆盖的面积越大，能量越小；Ec是基于数据拟合的能量项，选择的平面覆盖原本三维模型中的三角面越多，能量越小；Em是基于模型复杂度的能量项，最后模型中的边越少，能量越小；约束则表示结果的每一条边一定要连接两个平面，N为候选多边形平面集的个数总和，|E|为生成模型的边数总和；指示变量xi的值在第i个平面未被选中时为0，在第i个平面被选中时为1。
8.根据权利要求6所述的用于近海域高分辨率的三维重建方法，其特征在于，所述步骤S42中的强连接图和软连接图包括：
遍历基元局内点，对每一个局内点进行球形邻域搜索，响应于基元中至少存在一个局内点通过球形邻域搜索到其他基元局内点，两基元之间为强连接关系，构建强连接图；
利用平面形状生长算法，将每个基元的局内点集合投影至拟合平面，获取二维点集最小凸多边形，基于此确定基本尺度、伸缩可容忍尺度和探测尺度的多尺度区域及其对应置信度，获取基元平面交点在各平面的置信度和，响应于交点的置信度和大于预设阈值，在强连接图的基础上，添加软连接边，构建软连接图。
9.一种计算机可读存储介质，其上存储有一或多个计算机程序，其特征在于，该一或多个计算机程序被计算机处理器执行时实施权利要求1至8中任一项所述的方法。
10.一种用于近海域高分辨率的三维重建***，其特征在于，包括
图像匹配单元：配置用于采用透视尺寸不变特征对近海域多视场角图像进行匹配，根据特征相似度指导采样，得到稀疏特征点云；
稠密点云生成单元：配置用于基于结构化局部二值模式，利用图割法获取每个像素深度，加密所述稀疏特征点云生成稠密点云；
配准单元：配置用于对所有视角的点云进行全局误差优化，并根据匹配的特征点的深度信息，生成所述特征点在空间中的三维坐标；
三维重建单元：配置用于构建平面基元之间的强弱连接关系，通过图结构与能量函数获取表面模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111511729.1A CN114187404A (zh) | 2021-12-06 | 2021-12-06 | 一种用于近海域高分辨率的三维重建方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111511729.1A CN114187404A (zh) | 2021-12-06 | 2021-12-06 | 一种用于近海域高分辨率的三维重建方法和*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114187404A true CN114187404A (zh) | 2022-03-15 |
Family
ID=80604511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111511729.1A Pending CN114187404A (zh) | 2021-12-06 | 2021-12-06 | 一种用于近海域高分辨率的三维重建方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114187404A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117333758A (zh) * | 2023-12-01 | 2024-01-02 | 博创联动科技股份有限公司 | 基于大数据分析的田地路线识别*** |
-
2021
- 2021-12-06 CN CN202111511729.1A patent/CN114187404A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117333758A (zh) * | 2023-12-01 | 2024-01-02 | 博创联动科技股份有限公司 | 基于大数据分析的田地路线识别*** |
| CN117333758B (zh) * | 2023-12-01 | 2024-02-13 | 博创联动科技股份有限公司 | 基于大数据分析的田地路线识别*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xia et al. | Geometric primitives in LiDAR point clouds: A review | |
| US11094114B2 (en) | Satellite SAR artifact suppression for enhanced three-dimensional feature extraction, change detection, and visualizations | |
| Tian et al. | Depth estimation using a self-supervised network based on cross-layer feature fusion and the quadtree constraint | |
| Campos et al. | A surface reconstruction method for in-detail underwater 3D optical mapping | |
| EP2849117B1 (en) | Methods, apparatuses and computer program products for automatic, non-parametric, non-iterative three dimensional geographic modeling | |
| Budroni et al. | Automatic 3D modelling of indoor manhattan-world scenes from laser data | |
| CN113781667A (zh) | 三维结构简化重建方法、装置、计算机设备和存储介质 | |
| CN110998671B (zh) | 三维重建方法、装置、***和存储介质 | |
| Peters et al. | Visibility Analysis in a Point Cloud Based on the Medial Axis Transform. | |
| Wang et al. | A new upsampling method for mobile lidar data | |
| CN115272599A (zh) | 一种面向城市信息模型的三维语义地图构建方法 | |
| Zhang et al. | SurRF: Unsupervised multi-view stereopsis by learning surface radiance field | |
| CN114187404A (zh) | 一种用于近海域高分辨率的三维重建方法和*** | |
| Palma et al. | Detection of geometric temporal changes in point clouds | |
| Zhu et al. | Triangulation of well-defined points as a constraint for reliable image matching | |
| Li et al. | Spherical coordinate transformation-embedded deep network for primitive instance segmentation of point clouds | |
| Jung et al. | Progressive modeling of 3D building rooftops from airborne Lidar and imagery | |
| Lhuillier | Estimating the vertical direction in a photogrammetric 3D model, with application to visualization | |
| Zhu et al. | A performance study on different stereo matching costs using airborne image sequences and satellite images | |
| Habib et al. | Integration of lidar and airborne imagery for realistic visualization of 3d urban environments | |
| Marchand et al. | Evaluating Surface Mesh Reconstruction of Open Scenes | |
| Afrose | Adaptive methods for point cloud and mesh processing | |
| Haenel et al. | Integration of Depth Maps from Arcore to Process Point Clouds in Real Time on a Smartphone | |
| Glumova et al. | Investigation of algorithms for generating surfaces of 3D models based on an unstructured point cloud | |
| Guo et al. | A Local Enhancement Method for Large‐Scale Building Facade Depth Images using Densely Matched Point Clouds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |