CN111028335B - 一种基于深度学习的点云数据的分块面片重建方法 - Google Patents

一种基于深度学习的点云数据的分块面片重建方法 Download PDF

Info

Publication number
CN111028335B
CN111028335B CN201911172325.7A CN201911172325A CN111028335B CN 111028335 B CN111028335 B CN 111028335B CN 201911172325 A CN201911172325 A CN 201911172325A CN 111028335 B CN111028335 B CN 111028335B
Authority
CN
China
Prior art keywords
sdf
point cloud
cube
neural network
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911172325.7A
Other languages
English (en)
Other versions
CN111028335A (zh
Inventor
郑友怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201911172325.7A priority Critical patent/CN111028335B/zh
Publication of CN111028335A publication Critical patent/CN111028335A/zh
Application granted granted Critical
Publication of CN111028335B publication Critical patent/CN111028335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)

Abstract

本文提出的发明称为一种基于深度学习的点云数据的分块表面重建方法。本发明公开了一种基于深度学习的从点云重建表面模型方法，该方法利用三维空间中的点云数据分块地生成出SDF(Signed Distance Field，有向距离场)并整合各个块得到完整的SDF，最后采用Marching Cubes算法得到最后的面片数据。本发明可以在点云数据存在噪声，尤其是法向信息偏差的情况下仍然表现鲁棒，大大地降低了对采集点云数据的方向准确度的要求；在运行时，本发明还可以并行处理，效率高。关于本发明的用途，主要集中在三维物体重建的领域，在数字娱乐中的三维建模，计算机辅助设计等等方面有广泛的应用空间。

Description

一种基于深度学习的点云数据的分块面片重建方法
技术领域
本发明属于计算机图形学，人工智能领域，尤其涉及一种基于深度学习的点云数据的分块面片重建方法。
背景技术
三维重建在最近几年来的数字娱乐，计算机辅助设计领域有着极其广泛的应用；虚拟现实技术，增强显示技术，三维动画电影，地图成像等等都需要大量的三维模型。若这些三维模型都需要人为设计的话将会耗费巨大人力资源，但目前全自动的基于图片，基于点云等等的三维重建技术都存在各自的缺陷。
本发明针对的是利用点云数据的三维面片重建工作。以往的点云三维重建工作都存在着一定的缺陷。例如经典的泊松表面重建方法非常依赖点云的法向信息，若法向信息有噪声就会对生成的结果产生较大的误差。最近提出的DeepSDF(J.J.Park etal.ICCV2019)方法也是基于深度学习的点云三维重建方法，该方法不依赖点云的法向信息，但是这种方法只能针对个别类别的模型，如飞机、沙发等，进行三维重建。
发明内容
本发明的目的在于针对现有技术的不足，基于深度学习提供一种高效，高质量的利用点云数据的面片重建方法。
本发明的目的是通过如下技术方案实现的：
一种基于深度学习的点云数据的分块面片重建方法，包括以下步骤：
步骤一：将三维空间划分成C个N×N×N正方体块区域，N为分辨率；
步骤二：选取正方体块区域点云中距离正方体体心最近的点为圆心，以正方体块区域外接球的半径为半径，构成一个球形区域。
步骤三：以正方体体心为原点建立坐标系，将步骤二中构成的球形区域对应的点云转化为体素。得到的体素中包含了点云在以正方体体心为原点建的立坐标系中的三个轴位置坐标和法向信息。
步骤四：将步骤三中转化好的体素作为预先训练好的三维卷积神经网络的输入，输出对应块区域的SDF。
步骤五：将步骤一划分得到的每个正方体块区域通过步骤二至四得到对应的SDF，将所有正方体块区域得到的SDF根据距离融合得到最终完整的SDF。融合分块SDF的公式为：
Figure BDA0002289054430000021
S是正方体块区域的SDF,
Figure BDA0002289054430000022
表示最终完整的SDF,集合I表示需要融合的SDF集合，D表示的是SDF对应的正方体块区域的中心到当前采样区域中心的距离。
步骤六：使用Marching Cubes算法对步骤五得到的最终完整的SDF重建得到最后的面片结果。
进一步地，所述步骤一中，划分正方体块区域为不平均的划分，当划分的正方体块区域的点较为密集时，将该块区域继续细分成多个更小的正方体块区域；所述阈值为128或者不大于网络输入体素网格数的1/16。
进一步地，所述步骤四中，预先训练好的三维卷积神经网络通过如下方法训练获得：
(4.1)构建深度卷积神经网络模型：深度卷积神经网络模型由降采样部分，中间连接部分和升采样部分构成。降采样部分由两个残差神经网络块构成，每个残差神经网络块之后都进行最大值池化；中间连接部分是两个残差神经网络块；升采样部分由升采样网络层和残差神经网络交叉以及最后进行的一个降低特征维度的卷积构成。整个网络结构中，每一层卷积操作之后都有一个激活函数层，激活函数采用ReLu激活函数。训练采用的损失函数是：
Figure BDA0002289054430000023
α,β是两个部分损失的权重，值得大小分别为0.8,0.2。Y,
Figure BDA0002289054430000024
分别表示真值和输出的分块SDF，Δ是拉普拉斯运算符。
(4.2)获取包含法向信息的点云数据，并整体生成SDF，在点云中随机选取点作为圆心，固定尺寸半径搜索区域内的临近点并生成体素，以体素作为深度卷积神经网络模型的输入、再在整体生成的SDF中选取对应区域的SDF作为真值进行训练，获得训练好的深度卷积神经网络模型。本方法对点云数据的法向量加一定的高斯噪声合成法向带噪声的点集，然后再合成体素，通过这样的方式来减小本发明对点云数据的法向信息的依赖，提高鲁棒性。
进一步地，步骤(4.1)中，α,β分别为0.8,0.2。
本发明的有益效果是，本发明利用深度学习的强大的拟合能力，根据输入点云对应的体素来生成SDF，避免了复杂的几何操作；并通过分块的SDF的融合来计算整合完整的SDF来提高计算得到的SDF的可靠性。同时本文分块的方法可以对每个单独的块并行处理，因而本发明具有高效率。
附图说明
图1是本发明中深度卷积神经网络的结构示意图。
图2是本发明针对点云数据重建的整体流程示意图。
具体实施方式
下面根据附图详细说明本发明。
参阅图1，本发明采用的深度卷积神经网络需要以点云转化的体素信息作为输入，输出对应的SDF，因此在训练时本方法准备了匹配的体素信息和SDF作为网络训练的数据集。本方法使用Princeton University开源的A Benchmark for 3D Mesh Segmentation数据集中原本的面片数据计算出对应的包含法向信息的点云数据，并生成对应的SDF。在生成出的点云中随机选取点作为圆心，固定尺寸半径搜索区域内的临近点并生成体素作为深度卷积神经网络的输入数据，然后再在对应的区域中选取SDF作为真值进行训练。
图1描述的深度卷积神经网络由降采样部分，中间连接部分和升采样部分构成。降采样部分由两个残差神经网络块构成，每个残差神经网络块之后都进行最大值池化；中间连接部分是两个残差神经网络块；升采样部分由升采样网络层和残差神经网络交叉以及最后进行的一个降低特征维度的卷积构成。整个网络结构中，每一层卷积操作之后都有一个激活函数层，本方法采用ReLu激活函数。
深度卷积神经网络的训练过程需要设定损失函数，本方法采用的损失函数是：
Figure BDA0002289054430000031
Y,
Figure BDA0002289054430000032
分别表示真值和输出的分块SDF，Δ是拉普拉斯运算符。α,β是两个部分损失的权重，值得大小分别为0.8,0.2。第一项表示的真值和网络输出值的平方误差，该项能够使得网络输出的结果接近真值；第二项表示的是真值和网络输出的Laplacian之间的误差，该项强调了网络的结果的梯度和真值梯度的分布，使得生成的SDF在每个单元之间的过渡中能够和真值保持一致的平滑。
网络训练完成之后就可以作用于整个三维重建的流水线中，按照本发明阐述的技术方案，本发明需要在针对点云的三维重建过程中完成以下步骤：
步骤一：将三维空间划分成C个N×N×N正方体块区域，然后对每一块包含点云中点的正方体区域进行步骤二；对于点云密集的区域，优选地，本方法将该空间进一步细分多个更小的正方体块区域，以保证采集足够多的点云信息来生成的细节面片，通常情况下，正方体块区域的点密度不超过128，或者不大于网络输入体素网格数的1/16；选取的正方体块区域为Ωi,i∈[1,C+c]，c是进一步细分得到的正方体块区域数。
步骤二：以选取的正方体块区域Ωi点云中距离正方体体心最近的点云中的点为圆心，以正方体块区域外接球的半径为半径，构成一个球形区域并选取该区域中所有的点云中的点。
步骤三：以正方体体心为原点建立坐标系，将对应的点云转化为体素。得到的体素中包含了点云在以正方体体心为原点建的立坐标系中的三个轴位置坐标和法向信息，可以表示为张量X,X∈RN×N×N×6，N为分辨率。
步骤四：将转化好的体素作为预先训练好的三维卷积神经网络的输入，输出对应区域的SDF。
步骤五：将步骤一划分得到的每个正方体区域通过步骤二至四得到对应输出的SDF，将所有正方体块区域得到的SDF根据距离融合得到最终完整的SDF。融合分块SDF的公式为：
Figure BDA0002289054430000041
Figure BDA0002289054430000042
表示融合后的SDF,集合I表示需要融合的区域中分块的SDF集合，D表示的是分块的SDF中心到当前采样区域中心的距离。即距离越小，权重越高，生成的SDF可靠性越高。
步骤六：对SDF使用多分辨率的Marching Cubes算法得到最后的面片结果。如图2流程图最后一步所示，Marching Cubes算法是通过片面匹配的方法将SDF转化为面片数据的算法，多分辨率的Marching Cubes就是可以对不均匀的SDF进行匹配的算法。
以上所述为本发明的主要内容，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种基于深度学习的点云数据的分块面片重建方法，其特征在于，包括以下步骤：
步骤一：将三维空间划分成C个N×N×N正方体块区域，N为分辨率，C为正整数；
步骤二：选取正方体块区域点云中距离正方体体心最近的点为圆心，以正方体块区域外接球的半径为半径，构成一个球形区域；
步骤三：以正方体体心为原点建立坐标系，将步骤二中构成的球形区域对应的点云转化为体素；得到的体素中包含了点云在以正方体体心为原点建立的 坐标系中的三个轴位置坐标和法向信息；
步骤四：将步骤三中转化好的体素作为预先训练好的三维卷积神经网络的输入，输出对应块区域的有向距离场SDF；
步骤五：将步骤一划分得到的每个正方体块区域通过步骤二至四得到对应的SDF，将所有正方体块区域得到的SDF根据距离融合得到最终完整的SDF；融合分块SDF的公式为：
Figure FDA0003173833920000011
Si是第i个正方体块区域的SDF,
Figure FDA0003173833920000012
表示最终完整的SDF,集合I表示需要融合的SDF集合，Di表示的是第i个SDF对应的正方体块区域的中心到当前采样区域中心的距离；
步骤六：使用Marching Cubes算法对步骤五得到的最终完整的SDF重建得到最后的面片结果。
2.根据权利要求1所述基于深度学***均的划分，当划分的正方体块区域的点较为密集时，将该块区域继续细分成多个更小的正方体块区域；所述正方体块区域的点密度不超过128或者不大于网络输入体素网格数的1/16。
3.根据权利要求1所述基于深度学习的点云数据的分块面片重建方法，其特征在于，所述步骤四中，预先训练好的三维卷积神经网络通过如下方法训练获得：
(4.1)构建深度卷积神经网络模型：深度卷积神经网络模型由降采样部分，中间连接部分和升采样部分构成；降采样部分由两个残差神经网络块构成，每个残差神经网络块之后都进行最大值池化；中间连接部分是两个残差神经网络块；升采样部分由升采样网络层和残差神经网络交叉以及最后进行的一个降低特征维度的卷积构成；整个网络结构中，每一层卷积操作之后都有一个激活函数层，激活函数采用ReLu激活函数；训练采用的损失函数是：
Figure FDA0003173833920000013
α,β是两个部分损失的权重；
Figure FDA0003173833920000021
分别表示真值和输出的分块SDF，Δ是拉普拉斯运算符；
(4.2)获取包含法向信息的点云数据，并整体生成SDF，在点云中随机选取点作为圆心，固定尺寸半径搜索区域内的临近点并生成体素，以体素作为深度卷积神经网络模型的输入、再在整体生成的SDF中选取对应区域的SDF作为真值进行训练，获得训练好的深度卷积神经网络模型。
4.根据权利要求3所述基于深度学习的点云数据的分块面片重建方法，其特征在于，所述步骤(4.1)中，α,β分别为0.8,0.2。
CN201911172325.7A 2019-11-26 2019-11-26 一种基于深度学习的点云数据的分块面片重建方法 Active CN111028335B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911172325.7A CN111028335B (zh) 2019-11-26 2019-11-26 一种基于深度学习的点云数据的分块面片重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911172325.7A CN111028335B (zh) 2019-11-26 2019-11-26 一种基于深度学习的点云数据的分块面片重建方法

Publications (2)

Publication Number Publication Date
CN111028335A CN111028335A (zh) 2020-04-17
CN111028335B true CN111028335B (zh) 2021-10-29

Family

ID=70202212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911172325.7A Active CN111028335B (zh) 2019-11-26 2019-11-26 一种基于深度学习的点云数据的分块面片重建方法

Country Status (1)

Country Link
CN (1) CN111028335B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184899A (zh) * 2020-11-06 2021-01-05 中山大学 一种基于符号距离函数的三维重建方法
CN112634149B (zh) * 2020-12-10 2022-11-11 浙江大学 一种基于图卷积网络的点云去噪方法
CN113470180B (zh) * 2021-05-25 2022-11-29 思看科技(杭州)股份有限公司 三维网格重建方法、装置、电子装置和存储介质
CN113570692A (zh) * 2021-06-03 2021-10-29 清华大学 一种使用面片卷积的三维模型特征提取方法
CN116029022A (zh) * 2022-12-23 2023-04-28 内蒙古自治区交通建设工程质量监测鉴定站(内蒙古自治区交通运输科学发展研究院) 一种用于隧道的三维可视化温度场构建方法及相关设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223387A (zh) * 2019-05-17 2019-09-10 武汉奥贝赛维数码科技有限公司 一种基于深度学习的三维模型重建技术

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971414B (zh) * 2017-03-10 2021-02-23 华东交通大学 一种基于深度循环神经网络算法的三维动画生成方法
US10713816B2 (en) * 2017-07-14 2020-07-14 Microsoft Technology Licensing, Llc Fully convolutional color constancy with confidence weighted pooling
US11095482B2 (en) * 2018-04-30 2021-08-17 Apple Inc. Channel state information reference signal (CSI-RS) and sounding reference signal (SRS) triggering
CN110379001B (zh) * 2019-07-04 2023-04-07 新拓三维技术(深圳)有限公司 一种足制品定制方法、装置、终端设备及计算机可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223387A (zh) * 2019-05-17 2019-09-10 武汉奥贝赛维数码科技有限公司 一种基于深度学习的三维模型重建技术

Also Published As

Publication number Publication date
CN111028335A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN111028335B (zh) 一种基于深度学习的点云数据的分块面片重建方法
CN109147048B (zh) 一种利用单张彩色图的三维网格重建方法
CN110458939B (zh) 基于视角生成的室内场景建模方法
CN108921926B (zh) 一种基于单张图像的端到端三维人脸重建方法
CN112927357B (zh) 一种基于动态图网络的3d物体重建方法
CN110288695B (zh) 基于深度学习的单帧图像三维模型表面重建方法
CN104268934B (zh) 一种由点云直接重建三维曲面的方法
CN108038906B (zh) 一种基于图像的三维四边形网格模型重建方法
CN113096234B (zh) 利用多张彩色图片生成三维网格模型的方法及装置
CN112257597B (zh) 一种点云数据的语义分割方法
CN111696210A (zh) 一种基于三维点云数据特征轻量化的点云重构方法及***
CN113158288A (zh) 一种基于构件复用与重装配的信息模型几何轻量化方法
CN114782634B (zh) 基于表面隐函数的单目图像着装人体重建方法与***
Denninger et al. 3d scene reconstruction from a single viewport
CN107481313A (zh) 一种基于学习有效点云生成的密集三维物体重建方法
CN115115797B (zh) 大场景稀疏光场语义驱动智能重建方法、***与装置
Zhang et al. Point cloud completion via skeleton-detail transformer
CN110766786A (zh) 基于生成对抗网络的草图到浅浮雕模型生成的方法
Sharma et al. Point cloud upsampling and normal estimation using deep learning for robust surface reconstruction
CN113593033A (zh) 一种基于网格细分结构的三维模型特征提取方法
CN117315169A (zh) 基于深度学习多视密集匹配的实景三维模型重建方法和***
CN113808006B (zh) 一种基于二维图像重建三维网格模型的方法及装置
Bhardwaj et al. SingleSketch2Mesh: generating 3D mesh model from sketch
CN112991402B (zh) 一种基于改进差分进化算法的文物点云配准方法及***
CN113593007B (zh) 一种基于变分自编码的单视图三维点云重建方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant