CN110163799B - 一种基于深度学习的超分辨率点云生成方法 - Google Patents
一种基于深度学习的超分辨率点云生成方法 Download PDFInfo
- Publication number
- CN110163799B CN110163799B CN201910367926.7A CN201910367926A CN110163799B CN 110163799 B CN110163799 B CN 110163799B CN 201910367926 A CN201910367926 A CN 201910367926A CN 110163799 B CN110163799 B CN 110163799B
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- neural network
- points
- outer product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 title claims abstract description 4
- 238000013528 artificial neural network Methods 0.000 claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims abstract description 15
- 239000013598 vector Substances 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 7
- 238000009826 distribution Methods 0.000 abstract description 3
- 238000009877 rendering Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 8
- 238000011160 research Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于深度学习的超分辨率点云生成方法。该方法结合传统点云的细分插值算法和深度神经网络来生成理想的超分辨率点云。在第一阶段使用一种改进的局部细分插值算法将输入的稀疏点云进行插值操作；第二个步骤，使用深度神经网络来进行进一步的点坐标位置调优，依靠神经网络强大的学习能力输出对插值点的调整值。在神经网络中，加入了外积操作将全局的特征向量转变成外积矩阵。外积矩阵的引入能够方便的使用卷积网络进行特征的进一步处理，同时能够减少网络的参数。与原有的细分插值算法和基于神经网络的超分辨点云生成方法相比，本方法不仅在误差控制和点均匀度分布上都取得了更好的结果，可以应用在模型渲染和曲面重建等场景。
Description
技术领域
本发明属于计算机图形三维视觉领域，具体地说是一种两步法的超分辨率点云生成的框架。
背景技术
目前，三维点云数据为国内外研究的一个热点，其中核心问题是通过对点云数据处理来获得对真实世界的感知和理解。本发明立足于这一研究热点，对超分辨点云生成进行了相关的探索和研究。
自从深度传感器设备的普及，很多学者都投入到三维点云数据的研究中，并提出了许多有效的点云数据处理的方法。自动驾驶，无人机等技术的兴起也带动了点云处理的发展，借助近年来在图像处理领域大热的卷积神经网络使得点云处理的进展得到长足的进步。目前，国内外研究现状如下：
最早关于点云上采样的方法是由Alexa提出，该方法首先计算出点云表面一个移动最小二乘平面，然后构造出Voronoi图，最后将点***在Voronoi图中最大半径的圆中。随后Guennebaud等人提出另一种上采样方法，该方法通过查询最近的邻域然后构造多边形来完成点云的插值同时能够保证插值过程的实时性。Huang等人提出了一种边缘感知的点云重采样方法。首先，该方法重新采样远离边缘的部分，然后逐渐接近边缘和角落。以上是一些传统的点云上采样的方法，这些上采样方法都需要满足一些特定的条件并且这些算法的参数都需要手动选定。
新兴的基于神经网络的方法则可以能通过学习到许多非线性的函数来完成三维点云的分类，切割等任务。首个将神经网络应用到点云上面的工作是Qi等人提出的PointNet,该网络能够以原始的点云数据包含(X,Y,Z)坐标作为输入，然后进行物体分类，物件分割，场景理解等任务。利用神经网络进行超分辨点云生成的网络PU-Net由Yu等人首先提出，该方法能够学习输入的点云patch不同层次的特征，再通过KNN进行***新的点，然后利用(Earth Mover Distance)EMD、(Chamfer Distance)CD距离来优化插值之后输出的patch和真实的patch之间的误差。
发明内容
本发明针对上述现有技术的不足，本文提出一种两阶段的超分辨率点云生成框架。框架的第一步是基于已有的一些插值算法进行适当的改进得到初步的上采样点云，第二步再结合深度神经网络来优化调整插值后的点云，达到更精准的三维点云模型。
本发明采用的技术方案：一种两阶段的超分辨率点云生成框架,基于该框架的过程包括以下步骤：
步骤1：使用泊松采样把点云模型进行下采样；
步骤2：用改进的插值算法将输入的点云模型进行上采样；
步骤3：将步骤2中得到新***的点构造数据集，将点云模型中需要调整的点查询到的邻域填充成patch与标签一一对应；
步骤4：利用深度神经网络将数据集进行训练，神经网络输出为patch中心坐标的偏移值；
步骤5：最后用输出的偏移量修正点的坐标位置(ΔX,ΔY,ΔZ)；
其中步骤2中用改进的插值算法将输入的点云模型进行上采样具体包括以下步骤：
步骤(1)：将下采样后的点云模型进行插值操作，使用最近邻KNN找出中心点的第一环邻域；
步骤(2)：计算第一环邻域中所有邻域点与中心点的角度，然后按照顺时针方向对角度大小进行排序，如果相邻两点的角度小于某个阈值则舍弃该点；
步骤(3)：按照排序后的点的顺序构建凸多边形，具体为：如果当前点到中心点的欧式距离小于等于上一个点到中心点的欧氏距离，则由当前点和中心点构建一个新的凸多边形，否则将当前点加入当前凸多边形；
步骤(4)：根据步骤(3)构成的凸多边形，每个凸多边形的重心即为新***的点；
步骤4中的深度神经网络的结构为：
深度神经网络包括两个模块，第一个模块是点云patch的特征提取模块，第二个模块为基于外积操作的卷积模块；其中基于外积操作的卷积模块中外积操作首先将第一模块输出的全局特征进行拆分，得到两个相同大小的向量，将这两个向量进行外积操作，得到一个外积矩阵。
其中步骤(3)采用深度卷积神经网络来进行进一步的点坐标调优。在步骤(3)中引入了基于外积操作的卷积网络，通过产生外积矩阵将局部特征转换成矩阵形式表达。通过外积操作之后，每个输出的点云patch的全局特征在外积矩阵中保持同样的空间信息，卷积操作就能够方便的在外积矩阵进行进一步的特征处理，同时能够减少网络的参数。
根据本发明的框架流程，在框架的第一阶段，一种改进优化的局部插值算法能够快速使得输入的稀疏的点云变得稠密从而得到理想的点的数量。一些的已有的研究往往在插值之后就完成了点云的上采样任务。在此的基础上借助神经网络强大的学***面上，投影到该平面上的点坐标即为调整目标。后面这种方法能够更好的避免点堆积而产生多个相聚很近的点的调整目标为真实点云上的同一个点。
本发明的有益效果是：本文提出的基于两步法的生成框架通过结合传统插值方法和神经网络的优点来达到理想的超分辨率点云生成结果。该框架可以应用于场景渲染，曲面重建等场景中。
附图说明
图1为本文提出的两步骤的超分辨率点云生成框架总体流程图；
图2是本文提出的改进的插值算法的示例，图中▲表示插值过程的中心点，●为以中心点说找到的一邻域，■表示在插值过程中产生的新坐标点；
图3是显示本文框架产生的超分辨率点云与其他方法的对比结果，图中第一列为输入的稀疏点云，第二列是PointNet(vanailla)网络的结果，第三列是PointNet网络的结果，第四列为DGCNN网络的结果，第五列为本发明的结果。
具体实施方式
下面结合附图对本发明的具体实施方式进行进一步阐释。
如图1所示是超分辨率点云生成框架的流程图，下面根据***流程图对本发明的整个框架进行详细的描述。
本发明先使用基于改进传统的点云插值算法，即对稀疏的点云进行插值操作，将新***的点均匀的分布在点云的表面，插值的过程需要注意的是将原有的下采样的点云的特征细致化，另外一点需要注意的是点的均匀分布，要做到插值后的点不会使得某一处过于聚集或者出现过于稀疏的情况。为了达到这一要求，本发明提出了一种基于局部插值的算法，保证充分发掘局部特征的同时也能够保证点的均匀分布。插值算法的步骤如下：
步骤1：选定任意点为中心进行插值操作，使用KNN找出中心点的第一环邻域。
步骤2：计算所有邻域点与中心点的角度，然后按照顺时针方向对角度大小进行排序，如果相邻两点的角度小于某个阈值则舍弃该点。
步骤3：按照排序后的点的顺序构建凸多边形，具体的，如果当前点到中心点的欧式距离小于上一个点到中心点的欧氏距离，则由当前点和中心点构建新的凸多边形，如果距离大于上一个点到中心点的欧式距离，则将当前点加入当前凸多边形。
步骤4：根据步骤3构成的凸多边形，每个多边形的重心即为新***的点。
在图2中展示了本发明提出的改进的插值算法的应用示例。
神经网络对于输入数据的空间信息是非常敏感的，为了让输入的patch有统一的视角。在构建数据集的过程中对每个patch的空间位置进行了统一。首先，计算出当前patch的重心然后得到协方差矩阵。接着使用PCA计算出当前patch的法向量，最后计算出使得patch平行于XOY平面的旋转矩阵Rt。
接下来是框架的第二个步骤，即基于神经网络的点云坐标位置微调模块。整个神经网络的模块由两部分组成，第一个模块是点云patch的特征提取模块，后面的模块则是本发明提出的基于外积操作的卷积模块。点云patch直接作为神经网络的输入，对于点云这种非欧几里得空间的数据，经典的2D卷积操作无法在上面直接进行，所以使用了经典的前馈神经网络即(Multi-Layer Perception)MLP对输入的点云patch特征提取。其中MLP操作可以使用以下公式进行表示：
Hi＝(h(x1),…,h(xn))
式中的h表示的标量点函数，Hi表示第i层隐藏层的输出。
为了增加网络的表现能力，在第一个模块中使用了4层MLP网络，每层MLP层都加入了batch normalization和非线性激活函数ReLU。
在多层MLP之后，加入了池化操作来确保patch内点的任意排列不会对输出造成影响，这里使用最常见的Max Pooling来进行池化操作。
第二个模块是外界操作的卷积模块，卷积网络的结构的好处在于参数共享，即每一个输出通道所使用的卷积核都是相同的，这样可以减少很多网络的参数。在卷积模块之前我们首先将前一个模块输出的特征向量进行拆分，然后得到两个相同大小的向量，最后将这两个向量进行外积操作，就可以得到一个外积矩阵。经过上述操作之后，就可以把全局特征向量都使用外积矩阵进行表示。外积矩阵在空间上仍然保留了patch的空间信息。矩阵表示的好处在于可以使得在图像上操作的2D卷积应用到得到的外积矩阵上。随后构建卷积残差块，每个卷积残差块中包含两层卷积层，卷积层均使用3*3大小的卷积核。将多个卷积残差块按照Res-Net中的连接方式进行连接。最后，在最后层的卷积块后加入全连接层，输出当前patch中心坐标与真实坐标之间的偏移值(ΔX,ΔY,ΔZ)。
最后，在附图3中给出了本文提出的框架的实际生成结果，然后将结果可视化。结果表明本发明提出的框架在误差控制，点分布均匀度上都超过了一些已有的方法，达到了理想的结果。
Claims (1)
1.一种基于深度学习的超分辨率点云生成方法，其特征在于，基于该方法的超分辨率点云生成过程包括以下步骤：
步骤1：使用泊松采样把点云模型进行下采样；
步骤2：用改进的插值算法将输入的点云模型进行上采样；
步骤3：将步骤2中得到新***的点构造数据集，将点云模型中需要调整的点查询到的邻域填充成patch与标签一一对应；
步骤4：利用深度神经网络将数据集进行训练，神经网络输出为patch中心坐标的偏移值；
步骤5：最后用输出的偏移量修正点的坐标位置(ΔX,ΔY,ΔZ)；
其中步骤2中用改进的插值算法将输入的点云模型进行上采样具体包括以下步骤：
步骤(1)：将下采样后的点云模型进行插值操作，使用最近邻KNN找出中心点的第一环邻域；
步骤(2)：计算第一环邻域中所有邻域点与中心点的角度，然后按照顺时针方向对角度大小进行排序，如果相邻两点的角度小于某个阈值则舍弃该点；
步骤(3)：按照排序后的点的顺序构建凸多边形，具体为：如果当前点到中心点的欧式距离小于等于上一个点到中心点的欧氏距离，则由当前点和中心点构建一个新的凸多边形，否则将当前点加入当前凸多边形；
步骤(4)：根据步骤(3)构成的凸多边形，每个凸多边形的重心即为新***的点；
步骤4中的深度神经网络的结构为：
深度神经网络包括两个模块，第一个模块是点云patch的特征提取模块，第二个模块为基于外积操作的卷积模块；其中基于外积操作的卷积模块中外积操作首先将第一模块输出的全局特征进行拆分，得到两个相同大小的向量，将这两个向量进行外积操作，得到一个外积矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910367926.7A CN110163799B (zh) | 2019-05-05 | 2019-05-05 | 一种基于深度学习的超分辨率点云生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910367926.7A CN110163799B (zh) | 2019-05-05 | 2019-05-05 | 一种基于深度学习的超分辨率点云生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110163799A CN110163799A (zh) | 2019-08-23 |
| CN110163799B true CN110163799B (zh) | 2023-05-05 |
Family
ID=67633431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910367926.7A Active CN110163799B (zh) | 2019-05-05 | 2019-05-05 | 一种基于深度学习的超分辨率点云生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110163799B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110503148B (zh) * | 2019-08-26 | 2022-10-11 | 清华大学 | 一种具有尺度不变性的点云对象识别方法 |
| CN110569926B (zh) * | 2019-09-19 | 2021-06-08 | 北京工商大学 | 一种基于局部边缘特征增强的点云分类方法 |
| CN111724478B (zh) | 2020-05-19 | 2021-05-18 | 华南理工大学 | 一种基于深度学习的点云上采样方法 |
| CN111797972A (zh) * | 2020-05-27 | 2020-10-20 | 北京迈格威科技有限公司 | 应用卷积神经网络处理数据的方法、装置和电子*** |
| CN112348959B (zh) * | 2020-11-23 | 2024-02-13 | 杭州师范大学 | 一种基于深度学习的自适应扰动点云上采样方法 |
| CN113689329B (zh) * | 2021-07-02 | 2023-06-02 | 上海工程技术大学 | 一种用于稀疏点云增强的最短路径插值法 |
| WO2023133350A1 (en) * | 2022-01-10 | 2023-07-13 | Interdigital Vc Holdings, Inc. | Coordinate refinement and upsampling from quantized point cloud reconstruction |
| CN117351109B (zh) * | 2023-09-05 | 2024-06-07 | 中交第二公路勘察设计研究院有限公司 | 一种盾构隧道的截面曲线重构方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410321A (zh) * | 2018-10-17 | 2019-03-01 | 大连理工大学 | 基于卷积神经网络的三维重建方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2864631B1 (fr) * | 2003-12-31 | 2006-04-14 | Mauna Kea Technologies | Procede et systeme de super-resolution d'images confocales acquises a travers un guide d'image, et dispositif utilise pour la mise en oeuvre d'un tel procede |
| US8274508B2 (en) * | 2011-02-14 | 2012-09-25 | Mitsubishi Electric Research Laboratories, Inc. | Method for representing objects with concentric ring signature descriptors for detecting 3D objects in range images |
| US10262243B2 (en) * | 2017-05-24 | 2019-04-16 | General Electric Company | Neural network point cloud generation system |
| US11004202B2 (en) * | 2017-10-09 | 2021-05-11 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for semantic segmentation of 3D point clouds |
-
2019
- 2019-05-05 CN CN201910367926.7A patent/CN110163799B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410321A (zh) * | 2018-10-17 | 2019-03-01 | 大连理工大学 | 基于卷积神经网络的三维重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110163799A (zh) | 2019-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163799B (zh) | 一种基于深度学习的超分辨率点云生成方法 | |
| CN109064514B (zh) | 一种基于投影点坐标回归的六自由度位姿估计方法 | |
| CN112435282B (zh) | 一种基于自适应候选视差预测网络的实时双目立体匹配方法 | |
| CN109598268B (zh) | 一种基于单流深度网络的rgb-d显著目标检测方法 | |
| CN109377530A (zh) | 一种基于深度神经网络的双目深度估计方法 | |
| US11640690B2 (en) | High resolution neural rendering | |
| CN109598754B (zh) | 一种基于深度卷积网络的双目深度估计方法 | |
| CN109146001B (zh) | 多视角isar图像融合方法 | |
| CN111027415B (zh) | 一种基于偏振图像的车辆检测方法 | |
| CN109978767A (zh) | 基于多机器人协同的激光slam地图方法 | |
| CN115032648B (zh) | 一种基于激光雷达密集点云的三维目标识别与定位方法 | |
| CN112634393B (zh) | 基于Web的临近空间大气风场实时自适应可视化方法 | |
| CN113449612A (zh) | 一种基于子流型稀疏卷积的三维目标点云识别的方法 | |
| CN108171651B (zh) | 基于多模型几何拟合和分层单应变换的图像对齐方法 | |
| CN108345007B (zh) | 一种障碍物识别方法和装置 | |
| CN112861862A (zh) | 基于区域生长与深度学习结合的针对兵马俑点云的无监督分割方法 | |
| Li et al. | Monocular 3-D Object Detection Based on Depth-Guided Local Convolution for Smart Payment in D2D Systems | |
| CN111951319A (zh) | 一种图像立体匹配方法 | |
| CN113808006B (zh) | 一种基于二维图像重建三维网格模型的方法及装置 | |
| CN115330601A (zh) | 一种多尺度文物点云超分辨率方法及*** | |
| CN112508007B (zh) | 基于图像分割Mask和神经渲染的空间目标6D姿态估计方法 | |
| CN115271037A (zh) | 一种面向点云的高效二值化神经网络量化方法及装置 | |
| CN107564011B (zh) | 基于直方图一维微分距离的分层超像素分割模型 | |
| Shen et al. | An Overview of Image Super-resolution Reconstruction | |
| CN114266900B (zh) | 一种基于动态卷积的单目3d目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |