CN113808261B - 一种基于全景图的自监督学习场景点云补全的数据集生成方法 - Google Patents
一种基于全景图的自监督学习场景点云补全的数据集生成方法 Download PDFInfo
- Publication number
- CN113808261B CN113808261B CN202111163824.7A CN202111163824A CN113808261B CN 113808261 B CN113808261 B CN 113808261B CN 202111163824 A CN202111163824 A CN 202111163824A CN 113808261 B CN113808261 B CN 113808261B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- panoramic
- viewpoint
- normal
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 claims description 2
- 230000002950 deficient Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 claims description 2
- 238000009877 rendering Methods 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 abstract description 5
- 230000011218 segmentation Effects 0.000 description 7
- 238000012800 visualization Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- FKOQWAUFKGFWLH-UHFFFAOYSA-M 3,6-bis[2-(1-methylpyridin-1-ium-4-yl)ethenyl]-9h-carbazole;diiodide Chemical compound [I-].[I-].C1=C[N+](C)=CC=C1C=CC1=CC=C(NC=2C3=CC(C=CC=4C=C[N+](C)=CC=4)=CC=2)C3=C1 FKOQWAUFKGFWLH-UHFFFAOYSA-M 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
- G06V10/7792—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being an automated module, e.g. "intelligent oracle"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明属于计算机视觉领域中的三维重建技术领域,提供了一种基于全景图的自监督学习场景点云补全的数据集生成方法。以同一视点下的全景RGB图像、全景深度图和全景法线图作为输入,可以生成成对的带有RGB信息和法线信息的残缺点云和目标点云,用以构造训练场景点云补全网络的自监督学习数据集。本发明的关键点是基于视点转换的遮挡预测和等矩形投影及转换过程中针对条纹问题、点对点遮挡问题的处理。本发明的方法简化真实场景点云数据的采集方式;视点转换的遮挡预测思想;视点选取策略的设计。
Description
技术领域
本发明属于计算机视觉领域中的三维重建(3D Reconstruction)领域,具体实现结果为以全景图作为输入,通过自监督学习的方式,生成适用于训练场景点云补全网络的数据集。
背景技术
在采集三维场景的过程中,不可避免地存在一些遮挡区域,如何从这些遮挡区域中恢复缺失信息成为近年来一个非常活跃的研究领域。
但场景级别的点云重建方法目前存在两个关键问题,第一,在较为复杂的场景中,机器人难以灵活移动,多视角的采集费时费力,全局场景重建效果更难以保障。第二,在开放环境下,室内场景类型多样,难以获取充足的用于监督训练的数据,导致传统场景重建方法的适应性较差,难以重建出质量较好的真实点云场景。基于以上两个存在的问题,提出了基于全景图的自监督学习场景点云补全的数据集生成方法。
本说明书主要从场景点云数据集和全景图场景重建两个方面进行介绍。
(a)场景点云数据集
考虑到目前还没有专门针对场景点云补全任务的数据集,介绍一些现有的包含场景点云的数据集,比如2D-3D-S、ScanNetv2和Matterport3D。但是由于真实场景点云数据采集不易,用于监督训练的数据量有限;而且为了适用场景点云补全任务,还需单独设计生成模拟真实场景遮挡情况的缺失区域的方法。
2D-3D-S数据集提供了分布在6个不同的区域的270个室内点云建图场景。其中,图像和点云都进行了实例级别的语义标注,可用于语义分割和实例分割任务。同时,该数据集还提供了表面法向量的真值。
ScanNetV2数据集提供了1513个室内点云建图场景,包含语义和实例级别的标注,可用于图像和点云的语义分割和实例分割任务,同时也适用于场景识别任务。其中1201个场景用于训练,312个场景用于验证。
Matterport3D数据集共采集来自于90个教学楼场景下的194400张RGBD图片,拼接得到10800张三维全景图片和对应的三维场景。每个场景均进行了实例级别的语义标注,可用于图像和点云的语义分割、实例分割以及表面法向量估计。其中61个教学楼场景用于训练,11个用于验证,18个用于测试。
(b)全景图场景重建
2020年发表在ACM-TOG的工作(Noise-resilient reconstruction of panoramasand 3D scenes using robot-mounted unsynchronized commodity RGB-D cameras)核心思想是通过构建全景图来实现大型室内场景模型的三维重建,全文主要分为两个部分,第一部分是有关全景图的构建,第二部分是全景图的整合,通过几张全景图来实现室内场景的三维重建。但是因为全景图视角受限,部分区域产生遮挡,重建出来的场景点云存在很多缺失区域,不够精细化。
2021年发表在CVPR的工作(Indoor Panorama Planar 3D Reconstruction viaDivide and Conquer)核心思想是对室内全景平面进行三维重建,总体采用分治思想。首先根据像素的平面方向估计来划分像素,之后借助实例分割模块在每个平面方向组中完成平面聚类的任务,最后采用平面重建方法进行室内全景平面的三维重建。但是该工作主要是对平行或垂直于重力方向的平面进行重建,与整个室内场景重建还存在很大差距。
2020年发表在BMVC的工作(Pano2Scene:3D Indoor Semantic SceneReconstruction from a Single Indoor Panorama Image)核心思想是从单个室内全景图像重建三维室内语义场景,主要包括三部分内容,第一部分是全景深度估计和全景实例分割,第二部分是三维场景布局估计,第三部分是物体形状补全,最后输出重建的三维室内语义场景点云。但是该工作主要是场景布局下的物体补全,不包含墙壁、天花板、地板等边缘区域,而且未考虑物体间的关系,缺乏整体性。
发明内容
本发明针对场景点云补全领域数据集的匮乏问题,提出了一种基于全景图的自监督学习场景点云补全的数据集生成方法。以同一视点下的全景RGB图像、全景深度图和全景法线图作为输入,可以生成成对的带有RGB信息和法线信息的残缺点云和目标点云,用以构造训练场景点云补全网络的自监督学习数据集。本发明的关键点是基于视点转换的遮挡预测和等矩形投影及转换过程中针对条纹问题、点对点遮挡问题的处理。
本发明的技术方案为:
一种基于全景图的自监督学习场景点云补全的数据集生成方法,具体包括以下步骤:
步骤1:由特定视点下的全景图生成初始点云
1.1)引入球体来表示三维世界,通过经度和纬度可以表示x、y、z三个方向的坐标,球体半径r可以表示深度值。假定全景深度图D1的长度对应于场景水平方向360度(-180°至180°)的范围,全景深度图D1的宽度对应垂直方向180度(-90°至90°)的范围,将全景深度图D1的每个像素的坐标用纬度和经度表示,每个像素对应球内点的半径是全景深度图D1的每个像素的深度值。在球坐标系下,将每个像素的纬度、经度和深度值转换为相机坐标系下的x、y、z坐标,生成点云P0。
1.2)基于视点v1对应的相机外参将相机坐标系下的点云P0转换到世界坐标系下,并按像素点先行后列的顺序将全景RGB图像C1和全景法线图像N1的颜色信息分别赋值给点云P0中的每一个点,生成带有RGB信息的初始点云P1和带有法线信息的初始点云P2。
步骤2:基于初始点云选取新的遮挡预测视点
2.1)采用截断符号距离函数(TSDF)对初始点云P1进行编码。将选定要建模的三维空间分割为诸多小块,每个小块被称为体素;体素存储该小块与其最近的物体表面之间的距离值,该距离值的符号表示体素是在自由空间中还是在封闭空间中;若该距离值的绝对值超过设定的截断距离D,则进行截断处理。
2.2)假定视点v1对应的小体素块为t0,更新t0的距离值为0,并将t0附近的小体素块按照距离t0的远近更新距离值,距离t0越近,距离值衰退的越多。
2.3)遍历每个小体素块,查找距离值最大的体素块。若有多个体素块的距离值相同,则选择距离场景中心最近的。若距离场景中心的距离仍相同,则在满足条件的体素块中进行随机选取。被选中的体素块的中心即为视点v2所在的位置,由此可得视点v2的平移矩阵,视点v2的旋转矩阵保持与视点v1的旋转矩阵相同。
步骤3:由初始点云生成选定视点下的全景图
3.1)基于视点v2对应的相机外参,将世界坐标系下的带有RGB信息的初始点云P1和带有法线信息的初始点云P2转换到相机坐标系下。
3.2)在球坐标系下,分别将点云P1和点云P2中每个点的x、y、z坐标转化为用纬度、经度和半径表示,并对应到2D全景图的像素位置上,每个点的颜色也一并对应到像素位置上。考虑到遮挡是依靠点对点的遮挡完成的,与现实世界不符,因此增大每个点的影响范围,具体为将计算得到的每个像素(x,y)向外扩展到像素(x,y),(x+1,y),(x,y+1)和(x+1,y+1),每个像素携带的信息一并复制到新像素上。
3.3)将像素点合并为全景图,存在多个点对应同一像素的问题,需要进行解决。算法首先初始化全景深度图D2的每个像素的深度值为无符号16位二进制数所能表示的最大值65535,并分别初始化全景RGB图像C2和全景法线图像N2每个像素的颜色值为背景颜色,之后对步骤3.2中生成的所有像素进行如下操作:获取该像素的位置(x,y)以及对应的深度值,并与全景深度图D2中(x,y)处的深度值进行比较,若前者深度值更小,则将全景深度图D2中(x,y)处的深度值以及全景RGB图像C2和全景法线图像N2中(x,y)处的颜色值进行更新;若后者深度值更小,则保持不变。更新全部完成后,即可获得新视点v2下渲染的全景RGB图像C2、全景深度图D2和全景法线图像N2。
步骤4:由选定视点下的全景图生成残缺点云
~
4.1)类比步骤1.1,由全景深度图D2生成点云P0。
4.2)根据全景法线图N2计算出世界坐标系下的法线方向,并根据视点v2对应的相机外参将世界坐标系下的法线方向转化到相机坐标系下(注:全景法线图N2是在视点v2对应的相机坐标系下渲染的,但全景法线图的颜色记录的却是世界坐标系下的法线方向)。
4.3)大部分情况下场景缺失是由于遮挡而产生,但还有一部分是因为视角导致,比如以近似水平的角度去看桌子上平面,投影得到的点云即为条纹状;因此在2D-3D等矩形投影的过程中需要计算出角度掩码用以定位条纹区域,使场景点云补全网络更针对地补全真正的遮挡区域。具体实施方案为,在相机坐标系下对点云中的每个点进行计算,记原点到中的点的连线所表示的向量为记由全景法线图N2计算出的对应顺序下(先行后列)的点的向量为计算向量和向量之间的夹角α,之后对夹角α与90°作差求绝对值,并对绝对值小于15°的点进行过滤,作为角度掩码。
4.4)基于视点v2对应的相机外参将相机坐标系下的点云转换到世界坐标系下,并按像素点先行后列的顺序将全景RGB图像C2和全景法线图像N2的颜色信息分别赋值给点云中的每一个点,生成带有RGB信息的残缺点云P3和带有法线信息的残缺点云P4。
步骤5:构建自监督学习数据集
以带有RGB信息的残缺点云P3和带有法线信息的残缺点云P4以及角度掩码作为输入,即可用于场景点云补全网络的训练。场景点云补全网络的目标是带有RGB信息的残缺点云P3和带有法线信息的残缺点云P4。由此可生成用于场景点云补全的自监督学习数据对,进而构建自监督学习数据集。
本发明的有益效果:
(1)简化真实场景点云数据的采集方式。无需复杂、繁琐的场景采集,本发明仅以全景图作为输入,即可生成用于场景点云补全网络训练的数据集。
(2)视点转换的遮挡预测思想。相比于针孔相机视野有限,全景图本质上支持视点的变化,进而与基于视点转换的遮挡预测思想进行结合,可以真实模拟场景点云的缺失分布,进而支持以自监督学习的方式完成场景点云补全任务。
(3)视点选取策略的设计。视点的选取影响到预测的遮挡分布,若预测的遮挡区域很小,难以使网络学到有效的信息;若预测的遮挡区域过大或者与原始点云的缺失相近,则补全的难度大大提升。基于以上问题,本发明提出了遮挡预测视点选取策略,借助TSDF表达可以有效地进行视点的选取,用于辅助场景补全任务的完成。
附图说明
图1是整体框架的流程图。
图2是中间结果示例的可视化效果图。
图3是角度掩码示例的可视化效果图。
具体实施方式
下面结合附图和技术方案,进一步说明本发明的具体实施方式。
本发明基于斯坦福大学发布的2D-3D-Semantics数据集。该数据集涉及到6个大型室内区域,这些区域源自3个以教育和办公为主的不同建筑。数据集总共包含1413个等矩形全景RGB图像,以及相应的深度图、表面法线图、语义注释图、和相机元数据等,足以支持本发明提出的基于全景图的自监督学习场景点云补全的数据集生成方法。此外,其他拍摄或采集到的等矩形全景图也适用于本发明。
本发明包括四个主要模块,分别是2D-3D等矩形投影模块、视点选取模块、3D-2D等矩形投影及点对点遮挡处理模块,和2D-3D等矩形投影及角度掩码过滤模块,如图1所示。第一,2D-3D等矩形投影模块以v1视点下的全景RGB图像C1、全景深度图D1和全景法线图N1作为输入,生成带有RGB信息的初始点云P1和带有法线信息的初始点云P2。第二,视点选取模块以初始点云P1作为输入,生成新的遮挡预测视点v2。第三,3D-2D等矩形投影及点对点遮挡处理模块以初始点云P1、初始点云P2以及视点v2作为输入,生成v2视点下的全景RGB图像C2、全景深度图D2和全景法线图N2。第四,2D-3D等矩形投影及角度掩码过滤模块以v2视点下的全景RGB图像C2、全景深度图D2和全景法线图N2作为输入,生成带有RGB信息的残缺点云P3、带有法线信息的残缺点云P4,以及用于过滤条纹区域的角度掩码。最后,生成的残缺点云P3、残缺点云P4以及角度掩码可以送入到场景点云补全网络中,最后生成补全后的点云P5。其中,残缺点云P3(输入)和初始点云P1(预期目标)或残缺点云P4(输入)和初始点云P2(预期目标)可作为自监督学习数据对。
中间结果示例的可视化效果如图2所示,展示了v1视点下的全景RGB图像C1、全景深度图D1和全景法线图N1,初始点云P1和初始点云P2;以及v2视点下的全景RGB图像C2、全景深度图D2和全景法线图N2,残缺点云P3和残缺点云P4。
角度掩码示例的可视化效果如图3所示,展示了以近似水平的角度去看桌子上平面而生成的角度掩码,可见过滤的区域是条纹状,可有效解决视角导致的点云残缺问题。
Claims (1)
1.一种基于全景图的自监督学习场景点云补全的数据集生成方法,其特征在于,步骤如下:
步骤1:由特定视点下的全景图生成初始点云
1.1)引入球体来表示三维世界,通过经度和纬度表示x、y、z三个方向的坐标,球体半径r表示深度值;假定全景深度图D1的长度对应于场景水平方向-180°~180°范围,全景深度图D1的宽度对应垂直方向-90°~90°范围,将全景深度图D1的每个像素的坐标用纬度和经度表示,每个像素对应球内点的半径是全景深度图D1的每个像素的深度值;在球坐标系下,将每个像素的纬度、经度和深度值转换为相机坐标系下的x、y、z坐标,生成点云P0;
1.2)基于视点v1对应的相机外参将相机坐标系下的点云P0转换到世界坐标系下,并按像素点先行后列的顺序将全景RGB图像C1和全景法线图像N1的颜色信息分别赋值给点云P0中的每一个点,生成带有RGB信息的初始点云P1和带有法线信息的初始点云P2;
步骤2:基于初始点云选取新的遮挡预测视点
2.1)采用截断符号距离函数对初始点云P1进行编码;将选定要建模的三维空间分割为诸多小块,每个小块被称为体素;体素存储该小块与其最近的物体表面之间的距离值,该距离值的符号表示体素是在自由空间中还是在封闭空间中;若该距离值的绝对值超过设定的截断距离D,则进行截断处理;
2.2)假定视点v1对应的小体素块为t0,更新t0的距离值为0,并将t0附近的小体素块按照距离t0的远近更新距离值,距离t0越近,距离值衰退的越多;
2.3)遍历每个小体素块,查找距离值最大的体素块;若有多个体素块的距离值相同,则选择距离场景中心最近的;若距离场景中心的距离仍相同,则在满足条件的体素块中进行随机选取;被选中的体素块的中心即为视点v2所在的位置,由此得视点v2的平移矩阵,视点v2的旋转矩阵保持与视点v1的旋转矩阵相同;
步骤3:由初始点云生成选定视点下的全景图
3.1)基于视点v2对应的相机外参,将世界坐标系下的带有RGB信息的初始点云P1和带有法线信息的初始点云P2转换到相机坐标系下;
3.2)在球坐标系下,分别将点云P1和点云P2中每个点的x、y、z坐标转化为用纬度、经度和半径表示,并对应到2D全景图的像素位置上,每个点的颜色也一并对应到像素位置上;考虑到遮挡是依靠点对点的遮挡完成的,与现实世界不符,因此增大每个点的影响范围,具体为将计算得到的每个像素(x,y)向外扩展到像素(x,y),(x+1,y),(x,y+1)和(x+1,y+1),每个像素携带的信息一并复制到新像素上;
3.3)将像素点合并为全景图,存在多个点对应同一像素的问题;首先初始化全景深度图D2的每个像素的深度值为无符号16位二进制数所能表示的最大值65535,并分别初始化全景RGB图像C2和全景法线图像N2每个像素的颜色值为背景颜色,之后对步骤3.2)中生成的所有像素进行如下操作:获取该像素的位置(x,y)以及对应的深度值,并与全景深度图D2中(x,y)处的深度值进行比较,若前者深度值更小,则将全景深度图D2中(x,y)处的深度值以及全景RGB图像C2和全景法线图像N2中(x,y)处的颜色值进行更新;若后者深度值更小,则保持不变;更新全部完成后,即获得新视点v2下渲染的全景RGB图像C2、全景深度图D2和全景法线图像N2;
步骤4:由选定视点下的全景图生成残缺点云
4.2)根据全景法线图N2计算出世界坐标系下的法线方向,并根据视点v2对应的相机外参将世界坐标系下的法线方向转化到相机坐标系下;全景法线图N2是在视点v2对应的相机坐标系下渲染的,但全景法线图的颜色记录的是世界坐标系下的法线方向;
4.3)大部分情况下场景缺失是由于遮挡而产生,但还有一部分是因为视角导致,因此在2D-3D矩形投影的过程中需要计算出角度掩码用以定位条纹区域,使场景点云补全网络更针对地补全真正的遮挡区域;具体实施方案为,在相机坐标系下对点云中的每个点进行计算,记原点到中的点的连线所表示的向量为记由全景法线图N2计算出的先行后列顺序下的点的向量为计算向量和向量之间的夹角α,之后对夹角α与90°作差求绝对值,并对绝对值小于15°的点进行过滤,作为角度掩码;
4.4)基于视点v2对应的相机外参将相机坐标系下的点云转换到世界坐标系下,并按像素点先行后列的顺序将全景RGB图像C2和全景法线图像N2的颜色信息分别赋值给点云中的每一个点,生成带有RGB信息的残缺点云P3和带有法线信息的残缺点云P4;
步骤5:构建自监督学习数据集
以带有RGB信息的残缺点云P3和带有法线信息的残缺点云P4以及角度掩码作为输入,即可用于场景点云补全网络的训练;场景点云补全网络的目标是带有RGB信息的残缺点云P3和带有法线信息的残缺点云P4;由此生成用于场景点云补全的自监督学习数据对,进而构建自监督学习数据集。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111163824.7A CN113808261B (zh) | 2021-09-30 | 2021-09-30 | 一种基于全景图的自监督学习场景点云补全的数据集生成方法 |
US17/533,878 US11875583B2 (en) | 2021-09-30 | 2021-11-23 | Dataset generation method for self-supervised learning scene point cloud completion based on panoramas |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111163824.7A CN113808261B (zh) | 2021-09-30 | 2021-09-30 | 一种基于全景图的自监督学习场景点云补全的数据集生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113808261A CN113808261A (zh) | 2021-12-17 |
CN113808261B true CN113808261B (zh) | 2022-10-21 |
Family
ID=78938946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111163824.7A Active CN113808261B (zh) | 2021-09-30 | 2021-09-30 | 一种基于全景图的自监督学习场景点云补全的数据集生成方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11875583B2 (zh) |
CN (1) | CN113808261B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110728717B (zh) * | 2019-09-27 | 2022-07-15 | Oppo广东移动通信有限公司 | 定位方法及装置、设备、存储介质 |
CN114895796B (zh) * | 2022-07-15 | 2022-11-11 | 杭州易绘科技有限公司 | 一种基于全景图的空间交互方法、装置及应用 |
CN115937043B (zh) * | 2023-01-04 | 2023-07-04 | 南京邮电大学 | 一种触觉辅助点云补全的方法 |
CN116503551B (zh) * | 2023-04-14 | 2024-08-20 | 卡奥斯数字科技(上海)有限公司 | 一种三维重建方法及装置 |
CN116778127B (zh) * | 2023-07-05 | 2024-01-05 | 广州视景医疗软件有限公司 | 一种基于全景图的三维数字场景构建方法及*** |
CN117422629B (zh) * | 2023-12-19 | 2024-04-26 | 华南理工大学 | 一种实例感知的单目语义场景补全方法、介质及设备 |
CN117994444B (zh) * | 2024-04-03 | 2024-06-18 | 浙江华创视讯科技有限公司 | 复杂场景的重建方法、设备及存储介质 |
CN117994309B (zh) * | 2024-04-07 | 2024-08-20 | 北京远见知行科技有限公司 | 一种基于大模型的slam激光点云与全景影像自动配准方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9824486B2 (en) * | 2013-12-16 | 2017-11-21 | Futurewei Technologies, Inc. | High resolution free-view interpolation of planar structure |
US11295517B2 (en) * | 2019-11-15 | 2022-04-05 | Waymo Llc | Generating realistic point clouds |
CN112258651B (zh) * | 2020-10-20 | 2024-03-22 | 河北农业大学 | 一种遮挡情况下奶牛体表点云三维重建方法 |
CN113160068B (zh) * | 2021-02-23 | 2022-08-05 | 清华大学 | 基于图像的点云补全方法及*** |
CN113205466B (zh) * | 2021-05-10 | 2024-04-02 | 南京航空航天大学 | 一种基于隐空间拓扑结构约束的残缺点云补全方法 |
-
2021
- 2021-09-30 CN CN202111163824.7A patent/CN113808261B/zh active Active
- 2021-11-23 US US17/533,878 patent/US11875583B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN113808261A (zh) | 2021-12-17 |
US11875583B2 (en) | 2024-01-16 |
US20230094308A1 (en) | 2023-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113808261B (zh) | 一种基于全景图的自监督学习场景点云补全的数据集生成方法 | |
CN111986307B (zh) | 使用光度网格表示的3d对象重建 | |
CN108564527B (zh) | 基于神经网络的全景图内容补全和修复的方法及装置 | |
CN110633628B (zh) | 基于人工神经网络的rgb图像场景三维模型重建方法 | |
Shan et al. | Auxiliary use and detail optimization of computer VR technology in landscape design | |
JP3463755B2 (ja) | 球状バッファを用いるコンピュータ生成画像の生成方法 | |
CN112530005B (zh) | 一种三维模型直线结构识别与自动修复方法 | |
CN113112581A (zh) | 三维模型的纹理贴图生成方法、装置、设备及存储介质 | |
Brosz et al. | Single camera flexible projection | |
CN109685879A (zh) | 多视影像纹理分布的确定方法、装置、设备和存储介质 | |
CN116051747A (zh) | 一种基于缺失点云数据的房屋三维模型重建方法及设备、介质 | |
CN115719407A (zh) | 一种面向大规模航拍图像的分布式多视图立体重建方法 | |
CN106023147A (zh) | 一种基于gpu的线阵遥感影像dsm快速提取方法 | |
Komatsu et al. | 360 depth estimation from multiple fisheye images with origami crown representation of icosahedron | |
CN114387386A (zh) | 一种基于三维点阵渲染的快速建模方法及*** | |
US9401044B1 (en) | Method for conformal visualization | |
CN116503577A (zh) | 一种虚拟仿真场景三维模型快速采集方法及*** | |
CN115937461A (zh) | 多源融合模型构建及纹理生成方法、装置、介质及设备 | |
JPH11504452A (ja) | 2次元投影図に基づいて3次元の対象物を再現し、取り扱うための装置と方法 | |
JP2006163547A (ja) | 立体画像生成プログラム、立体画像生成システム及び立体画像生成装置。 | |
CN116384209B (zh) | 一种用于应急模拟演练的灾害仿真方法 | |
JP2832463B2 (ja) | 3次元モデルの再構成方法および表示方法 | |
CN115409962B (zh) | 虚幻引擎内构建坐标***的方法、电子设备和存储介质 | |
CN115526976A (zh) | 虚拟场景渲染方法、装置、存储介质和电子设备 | |
Meng et al. | Distortion-aware room layout estimation from a single fisheye image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |