CN114140586B - 面向室内空间的三维建模方法、装置和存储介质 - Google Patents
面向室内空间的三维建模方法、装置和存储介质 Download PDFInfo
- Publication number
- CN114140586B CN114140586B CN202210109965.9A CN202210109965A CN114140586B CN 114140586 B CN114140586 B CN 114140586B CN 202210109965 A CN202210109965 A CN 202210109965A CN 114140586 B CN114140586 B CN 114140586B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- indoor
- standard template
- semantic category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000011218 segmentation Effects 0.000 claims abstract description 35
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 4
- 238000013499 data model Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract description 5
- 241000221696 Sclerotinia sclerotiorum Species 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000238097 Callinectes sapidus Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种面向室内空间的三维建模方法、装置和存储介质,涉及自动建模技术领域,所述方法包括:通过激光扫描设备获取室内空间的室内点云数据;通过语义分割网络对室内点云数据进行测试,获取每个点云的语义类别;对于每种语义类别,根据语义类别的点云标准模板对属于语义类别的点云进行实例分割,得到各个实例的实例点云数据;将各个实例点云数据与对应的点云标准模板进行匹配;根据匹配后的实例点云数据进行自动化三维白模构建;根据匹配后的实例点云数据的几何中心和主方向放置预先制作的精细三维模型模板。解决了现有技术中由于噪点、孔洞众多导致的室内要素自动分割困难、模型粗糙劣质、精细化程度低且同类物体模型不一致的问题。
Description
技术领域
本发明涉及一种面向室内空间的三维建模方法、装置和存储介质,属于自动建模技术领域。
背景技术
室内空间是人类创造的特殊空间。随着建筑技术与室内空间设计的不断发展,室内空间面积不断扩大且复杂度也逐渐增加,人类在室内空间的活动愈加频繁,这给室内导航定位、扫地机器人、智慧建筑、应急消防等复杂应用带来了更大的挑战。传统的二维地图已经无法满足这些复杂空间应用的需求。高效便捷的数据采集方式、高精度的室内三维模型构建与制图技术则成为支撑各类室内复杂应用的关键。
三维激光扫描技术作为一项新型的现代化测量技术,具有扫描范围大、效率高、数据精度高等特点,其获取的海量点云数据能完整、真实、精细地刻画复杂现实世界,满足室内空间的建模需求。目前室内点云的模型构建方法主要包括:使用点云处理算法(如RANSAC、欧式聚类、区域生长等),对室内点云进行特征线、特征面的自动提取分割,结合先验知识和上下文信息,对线面要素进行三维拉伸,从而实现简单面结构的自动化建模。然而上述方法丢失了大量纹理信息和语义信息,精细化程度和不同目标的智能化识别程度低,只在墙壁、地板、门窗等简单结构的粗模构建上有较好的效果,无法智能化构建结构更复杂的办公家具等室内要素的精细化三维模型。
发明内容
本发明的目的在于提供一种面向室内空间的三维建模方法、装置和存储介质,用于解决现有技术中存在的问题。
为达到上述目的,本发明提供如下技术方案:
根据第一方面,本发明实施例提供了一种面向室内空间的三维建模方法,所述方法包括:
通过激光扫描设备获取室内空间的室内点云数据;
通过语义分割网络对所述室内点云数据进行测试,获取每个点云的语义类别;
对于每种语义类别,根据所述语义类别的点云标准模板对属于所述语义类别的点云进行实例分割,得到各个实例的实例点云数据;
将各个实例点云数据与对应的点云标准模板进行匹配;
根据匹配后的实例点云数据进行三维白模自动构建;
根据匹配后的实例点云数据的几何中心和主方向放置三维精细化模型模板。
可选的,所述通过语义分割网络对所述室内点云数据进行测试,获取每个点云的语义类别,包括:
对所述室内点云数据进行预处理,得到预处理后的数据文件;
通过所述语义分割网络对所述数据文件进行测试,获取得到每个点云的语义类别。
可选的,所述对所述室内点云数据进行预处理,得到预处理后的数据文件,包括:
对所述室内点云数据进行坐标系归一化操作,归一化后的坐标原点为所述激光扫描设备的起始扫描位置;
将归一化之后的所述室内点云数据按照预设顺序进行排列,所述预设顺序为XYZRGB;
对排序后的所述室内点云数据进行预处理,得到处理后的数据文件。
可选的,所述对于每种语义类别,根据所述语义类别的点云标准模板对属于所述语义类别的点云进行实例分割,得到各个实例的实例点云数据,包括:
对于每种语义类别,通过欧式聚类方法对属于所述语义类别的点云进行去噪分割;
对比所述点云标准模板的几何信息以及欧式去噪后的实例分割结果的几何属性,将属于所述语义类别的点云划分为由多个点云标准模板组成的集合。
可选的,所述将各个实例点云数据与对应的点云标准模板进行匹配,包括:
根据所述实例点云数据的几何信息以及对应的点云标准模板的几何信息提取同名特征点对,使用奇异值分解算法对所述实例点云数据和所述点云标准模板进行初步匹配;
通过最近点迭代算法对初步匹配后的实例点云数据与所述点云标准模板进行最终匹配。
可选的,所述根据所述实例点云数据的几何信息以及对应的点云标准模板的几何信息提取同名特征点对,使用奇异值分解算法对所述实例点云数据和所述点云标准模板进行初步匹配,包括:
提取所述实例点云数据中的m个特征角点,m为正整数;
确定所述实例点云数据的主方向;
根据确定的所述主方向将提取得到的m个特征角点与所述点云标准模板中的特征角点进行对应;
根据各个特征角点对,通过所述奇异值分解算法将所述实例点云数据与所述点云标准模板进行初步匹配。
可选的,所述通过最近点迭代算法对初步匹配后的实例点云数据与所述点云标准模板进行最终匹配,包括:
通过所述最近点迭代算法迭代初步匹配后的实例点云数据与所述点云标准模板之间的变换矩阵;
根据获取到的变换矩阵对初步匹配后的实例点云数据和所述点云标准模板不断配准,并得到最终匹配结果。
可选的,所述根据匹配后的实例点云数据进行三维白模自动构建,包括:
根据各个实例点云数据的语义类别,确定所述实例点云数据在CityGML标准数据模型中对应的类别和关联关系;
将所述实例点云数据所对应的点云标准模板拆分为线面组合;
根据所述线面组合以及所述点云标准模板的特征轮廓点,填充匹配后的所述实例点云数据的线面特征轮廓坐标至多边形面标签下的线环中;
通过CityGML可视化软件或程序读取所述线环,自动构建三维白模。
第二方面,提供了一种面向室内空间的三维建模装置,所述装置包括存储器和处理器,所述存储器中存储有至少一条程序指令,所述处理器通过加载并执行所述至少一条程序指令以实现如第一方面所述的方法。
第三方面,提供了一种计算机存储介质,所述计算机存储介质中存储有至少一条程序指令,所述至少一条程序指令被处理器加载并执行以实现如第一方面所述的方法。
通过激光扫描设备获取室内空间的室内点云数据;通过语义分割网络对所述室内点云数据进行测试,获取每个点云的语义类别;对于每种语义类别,根据所述语义类别的点云标准模板对属于所述语义类别的点云进行实例分割,得到各个实例的实例点云数据;将各个实例点云数据与对应的点云标准模板进行匹配;根据匹配后的实例点云数据进行三维白模自动构建;根据匹配后的实例点云数据的几何中心和主方向放置三维精细化模型模板。解决了现有技术中由于噪点、孔洞众多导致的室内要素自动分割困难、模型粗糙劣质、精细化程度低且同类物体模型不一致的问题。达到了基于室内点云数据快速自动构建精细化室内家具三维模型的效果。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,并可依照说明书的内容予以实施,以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
图1为本发明一个实施例提供的面向室内空间的三维建模方法的方法流程图;
图2为本发明一个实施例提供的针对中型室内场景获取到的室内点云数据的示意图;
图3为本发明一个实施例提供的语义分割后得到的分割结果的示意图;
图4为本发明一个实施例提供的分割得到的办公桌椅的实例点云数据的示意图;
图5为本发明一个实施例提供的匹配得到的办公桌椅的点云和轮廓的示意图;
图6和图7为本发明一个实施例提供的建模得到的办公桌和办公椅的三维模型的示意图;
图8为本发明一个实施例提供的构建得到的办公椅和办公桌的CityGML模型的一种可能的示意图;
图9是本发明一个实施例提供的三维模型放置后室内空间的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖 直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。 此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间 未构成冲突就可以相互结合。
请参考图1,其示出了本申请一个实施例提供的面向室内空间的三维建模方法的方法流程图,如图1所示,所述方法包括:
步骤101,通过激光扫描设备获取室内空间的室内点云数据;
在本申请的一种可能的实施方式中,本步骤包括:
第一,外业采集数据,利用激光雷达移动设备和3dScanner软件采集室内空间的三维激光点云数据;
实际实现时,移动扫描时按照正常步行速度移动,并左右转动激光雷达移动设备扫描身体两侧及前方地物,注意屏幕上部件成型情况,确保场景内物体被成功扫描。
第二,内业点云解算,使用3d Scanner软件处理点云数据,添加纹理,得到真彩色三维网络模型,将真彩色三维网络模型导出为包含XYZ、RGB六维数据的txt文件。
其中,室内空间可以划分为大型、中型和小型。比如,完整室内场景为大型、一半为中型,四分之一为小型。
在本实施例一种可能的实现方式中,请参考图2,其示出了针对中型室内场景,获取到的室内点云数据的示意图。
步骤102,通过语义分割网络对所述室内点云数据进行测试,获取每个点云的语义类别;
本步骤包括:
第一,对所述室内点云数据进行预处理,得到预处理后的数据文件;
(1)、对所述室内点云数据进行坐标系归一化操作,归一化后的坐标原点为所述激光扫描设备的起始扫描位置;
实际实现时,在归一化操作之后,地板平面与XY轴平面平行,高程方向代表Z轴。
(2)、将归一化之后的所述室内点云数据按照预设顺序进行排列,所述预设顺序为XYZRGB;
室内点云数据也即txt文件中有6列,分别为XZYRGB,本申请调换第二列和第三列,得到XYZRGB。实际实现时,由于不同激光雷达采集设备输出的数据的格式有所不同,因此,在本步骤中调整顺序的具体调整方式可能有所不同,仅需保证调整后为XYZRGB格式即可。
(3)、对排序后的所述室内点云数据进行预处理,得到处理后的数据文件。
实际实现时,按照S3DIS(Stanford Large-Scale 3D Indoor Spaces Dataset)的数据存储方式,将大型、中型、小型区域点云依次放入Area_1的office_1、office_2、office_3文件夹中,每个office文件夹包含步骤上述步骤处理后的txt格式扫描点云。设置好数据格式和路径后,输入采样网格边长大小为0.04米,使用RandLA-Net开源框架下的data_prepare_s3dis.py脚本文件对点云进行自动化预处理,每个区域点云均得到三个预处理后文件,如网格采样后的Area_1_office_1.ply文件,用于快速查找近邻的Area_1_office_1_KDTree.pkl文件以及用于预测时将结果映射回原始大小的Area_1_office_1_proj.pkl文件。
第二,通过所述语义分割网络对所述数据文件进行测试,获取得到每个点云的语义类别。
本实施例所述的语义分割网络可以为预先训练得到的网络。具体的,可以使用RandLA-Net开源框架下的main_S3DIS.py文件训练S3DIS数据集,得到训练后的S3DIS模型,训练后的S3DIS模型即为语义分割网络。
在训练得到语义分割网络之后,即可通过训练后的语义分割网络读取预处理后的数据文件,使用RandLA-Net开源框架下的main_S3DIS.py文件测试预处理后的数据文件,输出每个点的分类标签(如桌、椅、地板、墙、门、窗等共计14个对象标签),拼接原始点云坐标XYZ以及分类后标签对应的RGB值,得到最终的语义分割点云。其中,同类点云颜色一致,如黄色点云代表办公桌、深绿色点云代表办公椅、浅绿色点云代表地板、青色点云代表天花板、蓝色点云代表杂物类、红色点云代表墙壁。比如,请参考图3,其示出了分割得到一种可能的示意图。
实际实现时,拼接原始点云坐标XYZ和分类后标签对应的RGB值的步骤可以包括:将原始点云坐标与分类后标签对应的RGB值按照XYZRGB顺序存储为txt数据。
步骤103,对于每种语义类别,根据所述语义类别的点云标准模板对属于所述语义类别的点云进行实例分割,得到各个实例的实例点云数据;
在执行本步骤之前,可以构建各种不同实例对应的点云标准模板。比如,选取完整的办公桌、办公椅点云作为各自类别的点云标准模板,记录模板的几何中心坐标、序号、特征轮廓点坐标以及桌面、椅面的长宽。其中,办公桌的特征轮廓点包括桌面的边缘轮廓以及三条桌腿的圆形底面轮廓,办公椅的特征轮廓点为椅背最高处的两边缘角点以及椅面上与椅背两角点连线垂线距离最远的两个对应角点。
相应的,本步骤可以包括:
(1)、对于每种语义类别,通过欧式聚类方法对属于所述语义类别的点云进行去噪分割;
对于属于所述语义类别的点云中的某点P,通过KD树近邻搜索算法找到k个离P点最近的点,这些点中距离小于设定阈值的便聚类到集合Q中。如果Q中元素的数目不在增加,整个聚类过程便结束;否则须在集合Q中选取P点以外的点,重复上述过程,直到Q中元素的数目不再增加为止。
在一种可能的实施例中,设置办公桌的近邻搜索半径为0.15米,办公椅的近邻搜索半径为0.02米,聚类的最小点数目均为1000,最大点数目均为200000,最终得到4个办公桌聚类块以及14个办公椅聚类块;
(2)、对比所述点云标准模板的几何信息以及欧式去噪后的实例分割结果的几何属性,将属于所述语义类别的点云划分为由多个点云标准模板组成的集合。
对比办公桌点云标准模板的几何信息(长l为3.5米、宽w为1.4米)以及欧式聚类分割结果的几何属性(如长L约7米、宽W约3米),则该聚类块可以按长宽比计算公式(L/l*W/w)拆分成4个近似的标准模板,沿长边、短边中线进行实例分割,同理对所有聚类块进行上述操作,请参考图4中的a图,最终得到10个新的办公桌聚类,请参考图4中的b图可以同理得到14个办公椅聚类。实际实现时,可以先对L/l以及W/w取整后相乘。
步骤104,将各个实例点云数据与对应的点云标准模板进行匹配;
第一,根据所述实例点云数据的几何信息以及对应的点云标准模板的几何信息提取同名特征点对,使用奇异值分解算法对所述实例点云数据和所述点云标准模板进行初步匹配;
(1)、提取所述实例点云数据中的m个特征角点,m为正整数;
在本实施例中,m为大于等于4的整数。
在一种可能的实施例中,以某一实例为办公桌为例,桌面的四个特征角点可以使用PCL库的getMinMax3D函数获取,这些特征角点可用于旋转变换矩阵的求解;就办公椅而言,其四个特征角点包括椅背两角点以及椅面两角点,椅背的两个角点可以基于高程阈值(在办公椅较高处)和欧式距离最大值(两角点间距最大)批量求取,这两点距离即为椅背长度;获取椅背两个角点后,得到其平面直线方程Ax+By+C=0,根据任一点(x0,y0)到直线的距离计算公式可以获取办公椅平面投影点云中距离该直线最远的坐标点,该垂线长度d即为椅面宽度,分别过椅背角点向椅面方向延伸垂线段长度d,该线段的另一个端点即为椅背角点对应的椅面角点坐标,从而得到四个特征点。
(2)、确定所述实例点云数据的主方向;
以本场景中的办公桌为例,主方向信息可以精简为“M型”和“W型”,首先将待匹配实例点云数据的长边与X轴对齐,短边与Y轴对齐,然后对实例点云数据进行网格化处理,将平面空间划分为一个个0.2米*0.2米的正方形网格,沿Y轴自下而上逐行统计存在点云的网格数量,若底部带有点云的网格数量大于顶部带有点云的网格数量,则可判断为“W型”;反之则为“M型”;就办公椅而言,椅背至椅面的垂线方向即为主方向,同样可以确保四个特征角点的一一对应。
(3)、根据确定的所述主方向将提取得到的m个特征角点与所述点云标准模板中的特征角点进行对应;
(4)、根据各个特征角点对,通过奇异值分解算法将所述实例点云数据与所述点云标准模板进行初步匹配。
根据至少四对同名点对,使用奇异值分解算法求取旋转变换矩阵,实现桌椅点云与各自标准模板的初步匹配。
第二,通过最近点迭代算法对初步匹配后的实例点云数据与所述点云标准模板进行最终匹配。
(1)、通过所述最近点迭代算法迭代初步匹配后的实例点云数据与所述点云标准模板之间的变换矩阵;
(2)、根据获取到的变换矩阵对初步匹配后的实例点云数据和所述点云标准模板不断配准,并得到最终匹配结果。
采用PCL(Point Cloud Library,点云库)库中的ICP(Iterative Closest Point,最近点迭代算法)算法迭代计算模板点云和粗匹配后点云两者间的变换矩阵,不断进行场景配准,直到获取最优匹配。具体的,计算得到的旋转变换矩阵的旋转参数为R,平移向量为t;则初步匹配后的实例点云数据的坐标P按(R*P+t)这一公式计算得到新点云坐标,依次不断匹配,直到得到最优匹配结果。
比如,请参考图5中的a图,其示出了办公桌模板匹配后的点云,请参考图5中的b图,其示出了办公桌模板匹配后特征轮廓点的示意图;类似的,请参考图5中的c图,其示出了办公椅匹配后的点云以及特征轮廓点的示意图。
步骤105,根据匹配后的实例点云数据进行三维白模自动构建;
第一,根据各个实例点云数据的语义类别,确定所述实例点云数据在CityGML标准数据模型中对应的类别和关联关系;
新建xml格式文件,基于语义信息确定办公桌椅在CityGML标准中的头部定义为室内家具类<bldg:interiorFurniture>下的建筑物家具类<bldg:BuildingFurniture>,且具有LOD4的细节层次信息,以<bldg:lod4Geometry>表示。
第二,将所述实例点云数据所对应的点云标准模板拆分为线面组合;
CityGML模型均由面片组合而成,如办公桌面由标准模板的桌面轮廓点构成,圆柱形桌腿的两个底面由底面轮廓点按顺序相连表示,圆柱形桌腿的侧面由两底面对应轮廓点构成的多个矩形面片近似表示,其它室内要素的面片构成规则类似。
第三,根据所述线面组合以及所述点云标准模板的特征轮廓点,填充匹配后的所述实例点云数据的线面特征轮廓坐标至多边形面标签下的线环中;
第四,通过CityGML可视化软件或程序读取所述线环和语义类别,自动构建三维白模。
依照各个室内元素的组合规则,将所有匹配好的特征轮廓点按首尾两点坐标一致的闭环线串形式传输至存放面片坐标信息的<gml:posList>中,该类位于复杂多面体<gml:MultiSurface>下的面成员<gml:surfaceMember>中,每新填充一个完整的<gml:surfaceMember>即表示新构建了一个面片,所有同类室内要素的生成模式一致,只需按规则传入不同的轮廓点坐标即可自动完成模型构建。
请参考图6,其示出了构建得到的办公桌的CityGML模型的一种可能的示意图。类似的,请参考图7,其示出了构建得到的办公椅的CityGML模型的一种可能的示意图。请参考图8,其示出了构建得到的办公椅和办公桌的CityGML模型的一种可能的示意图。
步骤106,根据匹配后的实例点云数据的几何中心和主方向放置精细化三维模型模板。
读取匹配后点云的几何中心和主方向,在商业建模软件中批量放置精细化三维模型模板,高精度、高还原度完整重现整个室内家具场景。其中,精细化三维模型模板为使用商业建模软件对典型家具进行精细的三维模型构建和渲染得到的模板。
请参考图9,其示出了三维模型放置后室内空间的示意图。
综上所述,通过激光扫描设备获取室内空间的室内点云数据;通过语义分割网络对所述室内点云数据进行测试,获取每个点云的语义类别;对于每种语义类别,根据所述语义类别的点云标准模板对属于所述语义类别的点云进行实例分割,得到各个实例的实例点云数据;将各个实例点云数据与对应的点云标准模板进行匹配;根据匹配后的实例点云数据进行三维白模自动构建;根据匹配后的实例点云数据的几何中心和主方向放置三维精细化模型模板。解决了现有技术中由于噪点、孔洞众多导致的室内要素自动分割困难、模型粗糙劣质、精细化程度低且同类物体模型不一致的问题。达到了基于室内点云数据快速自动构建精细化室内家具三维模型的效果。
本申请支持室内点云中各要素(墙壁、地板、桌椅等)的自动化准确实例分割,保留了室内家具的语义信息,解决了传统点云分割过程中往往割裂具体的对象,以无语义的面、线、柱状特征表示室内要素的问题。
本申请支持室内办公家具多层级的三维显示,一套建模流程不仅可以获取模板匹配后的纯点云模型、CityGML白模,还能构建精细化的三维渲染模型,满足不同场景的建模需求。
本申请提供了一种面向室内空间的三维建模装置,所述装置包括存储器和处理器,所述存储器中存储有至少一条程序指令,所述处理器通过加载并执行所述至少一条程序指令以实现如上所述的方法。
本申请提供了一种计算机存储介质,所述计算机存储介质中存储有至少一条程序指令,所述至少一条程序指令被处理器加载并执行以实现如上所述的方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (5)
1.一种面向室内空间的三维建模方法,其特征在于,所述方法包括:
通过激光扫描设备获取室内空间的室内点云数据;
通过语义分割网络对所述室内点云数据进行测试,获取每个点云的语义类别;其具体步骤包括:对所述室内点云数据进行坐标系归一化操作,归一化后的坐标原点为所述激光扫描设备的起始扫描位置;将归一化之后的所述室内点云数据按照预设顺序进行排列,所述预设顺序为XYZRGB;对排序后的所述室内点云数据进行预处理,得到处理后的数据文件;通过所述语义分割网络对所述数据文件进行测试,获取得到每个点云的语义类别;
对于每种语义类别,根据所述语义类别的点云标准模板对属于所述语义类别的点云进行实例分割,得到各个实例的实例点云数据;
将各个实例点云数据与对应的点云标准模板进行匹配;其具体步骤包括:根据所述实例点云数据的几何信息以及对应的点云标准模板的几何信息提取同名特征点对,使用奇异值分解算法对所述实例点云数据和所述点云标准模板进行初步匹配;通过最近点迭代算法对初步匹配后的实例点云数据与所述点云标准模板进行最终匹配;其中,“所述根据所述实例点云数据的几何信息以及对应的点云标准模板的几何信息提取同名特征点对,使用奇异值分解算法对所述实例点云数据和所述点云标准模板进行初步匹配”包括:提取所述实例点云数据中的m个特征角点,m为正整数;确定所述实例点云数据的主方向;根据确定的所述主方向将提取得到的m个特征角点与所述点云标准模板中的特征角点进行对应;根据各个特征角点对,通过所述奇异值分解算法将所述实例点云数据与所述点云标准模板进行初步匹配;
根据匹配后的实例点云数据进行三维白模自动构建;其具体步骤包括:根据各个实例点云数据的语义类别,确定所述实例点云数据在CityGML标准数据模型中对应的类别和关联关系;将所述实例点云数据所对应的点云标准模板拆分为线面组合;根据所述线面组合以及所述点云标准模板的特征轮廓点,填充匹配后的所述实例点云数据的线面特征轮廓坐标至多边形面标签下的线环;通过CityGML可视化软件或程序读取所述线环和语义类别,自动构建三维白模;
根据匹配后的实例点云数据的几何中心和主方向放置三维精细化模型模板。
2.根据权利要求1所述的面向室内空间的三维建模方法,其特征在于,所述对于每种语义类别,根据所述语义类别的点云标准模板对属于所述语义类别的点云进行实例分割,得到各个实例的实例点云数据,包括:
对于每种语义类别,通过欧式聚类方法对属于所述语义类别的点云进行去噪分割;
对比所述点云标准模板的几何信息以及欧式去噪后的实例分割结果的几何属性,将属于所述语义类别的点云划分为由多个点云标准模板组成的集合。
3.根据权利要求1所述的面向室内空间的三维建模方法,其特征在于,所述通过最近点迭代算法对初步匹配后的实例点云数据与所述点云标准模板进行最终匹配,包括:
通过所述最近点迭代算法迭代初步匹配后的实例点云数据与所述点云标准模板之间的变换矩阵;
根据获取到的变换矩阵对初步匹配后的实例点云数据和所述点云标准模板不断配准,并得到最终匹配结果。
4.一种面向室内空间的三维建模装置,其特征在于,所述装置包括存储器和处理器,所述存储器中存储有至少一条程序指令,所述处理器通过加载并执行所述至少一条程序指令以实现如权利要求1至3任一所述的面向室内空间的三维建模方法。
5.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有至少一条程序指令,所述至少一条程序指令被处理器加载并执行以实现如权利要求1至3任一所述的面向室内空间的三维建模方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210109965.9A CN114140586B (zh) | 2022-01-29 | 2022-01-29 | 面向室内空间的三维建模方法、装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210109965.9A CN114140586B (zh) | 2022-01-29 | 2022-01-29 | 面向室内空间的三维建模方法、装置和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114140586A CN114140586A (zh) | 2022-03-04 |
CN114140586B true CN114140586B (zh) | 2022-05-17 |
Family
ID=80381826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210109965.9A Active CN114140586B (zh) | 2022-01-29 | 2022-01-29 | 面向室内空间的三维建模方法、装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114140586B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114926699B (zh) * | 2022-07-20 | 2022-12-06 | 深圳大学 | 一种室内三维点云语义分类方法、装置、介质及终端 |
CN115273645B (zh) * | 2022-08-09 | 2024-04-09 | 南京大学 | 一种室内面要素自动聚类的地图制图方法 |
CN115546302B (zh) * | 2022-10-20 | 2024-06-14 | 上海人工智能创新中心 | 一种局部几何建模的点云数据解算方法 |
CN116246069B (zh) * | 2023-02-07 | 2024-01-16 | 北京四维远见信息技术有限公司 | 自适应地形点云滤波的方法、装置、智能终端及存储介质 |
CN116188713B (zh) * | 2023-04-25 | 2023-08-15 | 煤炭科学研究总院有限公司 | 基于点云镜像模型的煤矿三维场景动态生成方法和装置 |
CN117058314B (zh) * | 2023-08-16 | 2024-04-12 | 广州葛洲坝建设工程有限公司 | 一种基于点云数据的现浇结构模板逆向建模方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109887082A (zh) * | 2019-01-22 | 2019-06-14 | 武汉大学 | 一种基于点云数据的室内建筑三维建模方法及装置 |
CN110097593A (zh) * | 2019-04-15 | 2019-08-06 | 上海海事大学 | 一种从多线激光雷达点云数据中识别圆柱面的方法 |
CN110349247A (zh) * | 2018-04-08 | 2019-10-18 | 哈尔滨工业大学 | 一种基于语义理解的室内场景cad三维重建方法 |
CN110363849A (zh) * | 2018-04-11 | 2019-10-22 | 株式会社日立制作所 | 一种室内三维建模方法及*** |
CN111932671A (zh) * | 2020-08-22 | 2020-11-13 | 扆亮海 | 基于密集点云数据的三维实体模型重建方法 |
CN113051654A (zh) * | 2021-06-02 | 2021-06-29 | 苏州工业园区测绘地理信息有限公司 | 基于二维gis数据的室内楼梯三维地理实体模型构建方法 |
CN113129311A (zh) * | 2021-03-10 | 2021-07-16 | 西北大学 | 一种标签优化点云实例分割方法 |
CN113740864A (zh) * | 2021-08-24 | 2021-12-03 | 上海宇航***工程研究所 | 基于激光三维点云的探测器软着陆末段自主位姿估计方法 |
WO2022016311A1 (zh) * | 2020-07-20 | 2022-01-27 | 深圳元戎启行科技有限公司 | 基于点云的三维重建方法、装置和计算机设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111599001B (zh) * | 2020-05-14 | 2023-03-14 | 星际(重庆)智能装备技术研究院有限公司 | 基于图像三维重建技术的无人机导航地图构建***及方法 |
CN113128405B (zh) * | 2021-04-20 | 2022-11-22 | 北京航空航天大学 | 一种结合语义分割与点云处理的植物识别与模型构建方法 |
-
2022
- 2022-01-29 CN CN202210109965.9A patent/CN114140586B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110349247A (zh) * | 2018-04-08 | 2019-10-18 | 哈尔滨工业大学 | 一种基于语义理解的室内场景cad三维重建方法 |
CN110363849A (zh) * | 2018-04-11 | 2019-10-22 | 株式会社日立制作所 | 一种室内三维建模方法及*** |
CN109887082A (zh) * | 2019-01-22 | 2019-06-14 | 武汉大学 | 一种基于点云数据的室内建筑三维建模方法及装置 |
CN110097593A (zh) * | 2019-04-15 | 2019-08-06 | 上海海事大学 | 一种从多线激光雷达点云数据中识别圆柱面的方法 |
WO2022016311A1 (zh) * | 2020-07-20 | 2022-01-27 | 深圳元戎启行科技有限公司 | 基于点云的三维重建方法、装置和计算机设备 |
CN111932671A (zh) * | 2020-08-22 | 2020-11-13 | 扆亮海 | 基于密集点云数据的三维实体模型重建方法 |
CN113129311A (zh) * | 2021-03-10 | 2021-07-16 | 西北大学 | 一种标签优化点云实例分割方法 |
CN113051654A (zh) * | 2021-06-02 | 2021-06-29 | 苏州工业园区测绘地理信息有限公司 | 基于二维gis数据的室内楼梯三维地理实体模型构建方法 |
CN113740864A (zh) * | 2021-08-24 | 2021-12-03 | 上海宇航***工程研究所 | 基于激光三维点云的探测器软着陆末段自主位姿估计方法 |
Non-Patent Citations (2)
Title |
---|
"Rethinking PointNet Embedding for Faster and Compact Model";Teppei Suzuki .etc;《2020 International Conference on 3D Vision (3DV)》;20210119;第791-800页 * |
"基于激光点云数据的室内精细三维模型建立";贾小凤 等;《北京测绘》;20181120;第32卷(第11期);第1281-1284页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114140586A (zh) | 2022-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114140586B (zh) | 面向室内空间的三维建模方法、装置和存储介质 | |
CN111008422B (zh) | 一种建筑物实景地图制作方法及*** | |
EP3574473B1 (en) | Apparatus, method, and system for alignment of 3d datasets | |
US7639250B2 (en) | Sketching reality | |
CN110349247B (zh) | 一种基于语义理解的室内场景cad三维重建方法 | |
US20060061566A1 (en) | Method and apparatus for performing three-dimensional computer modeling | |
IL266060A (en) | Strong merging of three-dimensional texture grids | |
CN110363849A (zh) | 一种室内三维建模方法及*** | |
CN105354883A (zh) | 基于点云的3ds Max快速精细三维建模方法及*** | |
CN114926699B (zh) | 一种室内三维点云语义分类方法、装置、介质及终端 | |
CN110827398A (zh) | 基于深度神经网络的室内三维点云自动语义分割算法 | |
CN109118588B (zh) | 一种基于块分解的彩色lod模型自动生成方法 | |
Gruen et al. | Semantically enriched high resolution LoD 3 building model generation | |
Zhang et al. | A data-driven approach for adding facade details to textured LoD2 CityGML models | |
Tian et al. | Lidar super-resolution based on segmentation and geometric analysis | |
CN111915720B (zh) | 一种建筑物Mesh模型到CityGML模型的自动转换方法 | |
Thiemann et al. | 3D-symbolization using adaptive templates | |
Huang et al. | A 3D individual tree modeling technique based on terrestrial LiDAR point cloud data | |
US11107257B1 (en) | Systems and methods of generating playful palettes from images | |
Xian et al. | Mesh simplification with appearance-driven optimizations | |
Sahebdivani et al. | Deep learning based classification of color point cloud for 3D reconstruction of interior elements of buildings | |
CN109509249B (zh) | 一种基于部件的虚拟场景光源智能生成方法 | |
Gruen et al. | An Operable System for LoD3 Model Generation Using Multi-Source Data and User-Friendly Interactive Editing | |
Xiong | Reconstructing and correcting 3d building models using roof topology graphs | |
Smith | 3D data representation, storage and processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: 215000 No. 101, Suhong Middle Road, industrial park, Wuzhong District, Suzhou City, Jiangsu Province Patentee after: Yuance Information Technology Co.,Ltd. Address before: 215000 No. 101, Suhong Middle Road, industrial park, Wuzhong District, Suzhou City, Jiangsu Province Patentee before: SUZHOU INDUSTRIAL PARK SURVEYING MAPPING AND GEOINFORMATION Co.,Ltd. |