CN117315001B - 一种基于激光扫描的房建面积快速检测方法及*** - Google Patents
一种基于激光扫描的房建面积快速检测方法及*** Download PDFInfo
- Publication number
- CN117315001B CN117315001B CN202311590212.5A CN202311590212A CN117315001B CN 117315001 B CN117315001 B CN 117315001B CN 202311590212 A CN202311590212 A CN 202311590212A CN 117315001 B CN117315001 B CN 117315001B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- data
- point
- combined
- scanning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 53
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims description 41
- 239000013598 vector Substances 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 7
- 238000013480 data collection Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 230000001172 regenerating effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000009435 building construction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/28—Measuring arrangements characterised by the use of optical techniques for measuring areas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Geometry (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于激光扫描的房建面积快速检测方法及***,涉及房建面积检测技术领域,通过训练点云合并模型,收集待测算房屋中的所有扫描区域数据,基于扫描区域数据,生成交叉集合数据;收集待合并点云数据,基于交叉集合数据和待合并点云数据,使用特征提取算法,生成合并区域组合集合,基于合并区域组合集合,使用点云合并模型,生成合并点云结果集合数据,基于合并区域组合集合,更新交叉集合数据,直至合并区域组合集合的大小为1,对合并点云结果集合数据进行面积测算,在降低数据处理量的同时,提高点位数据合并结果的准确性,从而提高房间面积测算的准确性。
Description
技术领域
本发明涉及房建面积检测技术领域,具体是一种基于激光扫描的房建面积快速检测方法及***。
背景技术
在建筑设计、房地产评估和城市规划等领域,准确测量房建的面积是一个重要的任务。传统的测量方法可能会受到人为误差、不完整的数据和复杂的结构等因素的影响,导致测量结果的不准确性。激光扫描技术作为一种非接触式、高精度的测量方法,逐渐被引入用于测量房屋建筑的面积。
激光扫描技术可以通过激光扫描仪从不同角度和位置获取建筑物的点云数据,这些点云数据可以准确地捕捉建筑物的几何形状和细节。基于这些点云数据,可以使用点云处理和分析技术来生成房屋的三维模型。生成的三维模型可以准确地表示建筑物的外部和内部结构,包括墙壁、楼梯、楼板等。
通过对生成的三维模型进行分析,可以计算建筑物的各个部分的面积,包括地面面积、墙面面积和屋顶面积等。
因为激光扫描仪的扫描覆盖范围有限且容易受到障碍物阻挡,因此往往需要将多个激光扫描仪的点云数据进行合并融合获得房屋模型,然而在对点云数据进行合并融合过程中,不同点云数据之间可能存在重叠区域和缺失区域,甚至部分点云数据存在噪声,这些问题均为点云数据的合并融合,以及对合并融合后的房间面积的测算准确性带来了挑战。
申请公开号为CN114494708A的专利公开了一种基于多模态特征融合点云数据分类方法及装置,方法包括下述步骤:利用预先设立的多视角卷积神经网络模型进行图像特征提取;利用预先设立的点云Transformer模型对点云数据进行点云特征提取;将图像特征和点云特征利用特征融合模块进行多模态特征融合,根据融合后的特征得到点云数据分类结果;但该方法未能解决房建面积测算问题。
为此,本发明提出一种基于激光扫描的房建面积快速检测方法及***。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种基于激光扫描的房建面积快速检测方法及***,在降低数据处理量的同时,提高点位数据合并结果的准确性,从而提高房间面积测算的准确性。
为实现上述目的,本发明提出一种基于激光扫描的房建面积快速检测方法,包括以下步骤:
步骤一:收集区域点云样本数据以及合并点云结果数据,以区域点云样本数据为输入,以合并点云结果数据为输出,训练点云合并模型;
步骤二:收集待测算房屋中的所有扫描区域数据,基于扫描区域数据,生成交叉集合数据;收集待合并点云数据;
步骤三:基于交叉集合数据和待合并点云数据,使用特征提取算法,生成合并区域组合集合,基于合并区域组合集合,使用点云合并模型,生成合并点云结果集合数据;
步骤四:基于合并区域组合集合,更新交叉集合数据,并重复执行步骤三至步骤四,直至合并区域组合集合的大小为1;
步骤五:对合并点云结果集合数据进行面积测算;
其中,所述收集区域点云样本数据以及合并点云结果数据的方式为:
在测试环境中,以任意两台具有交叉关系的测试激光扫描仪作为一组测试组,收集每组测试组中的每台测试激光扫描仪生成的区域点云特征集合,并收集每组测试组对应的合并点云特征集合;其中,所有测试组的区域点云特征集合作为区域点云样本数据,所有测试组的合并点云特征集合作为合并点云结果数据;
所述训练点云合并模型包括:
构建训练Transformer模型的每组输入数据;
构建训练Transformer模型的每组真实数据;
构建Transformer模型的模型结构;模型结构包括:
编码器:对于每组输入数据中每个点云特征向量,使用 Transformer 编码器进行编码,每个点云特征向量编码后的结果将作为Transformer模型的输入;
注意力机制:在编码器中使用自注意力机制捕捉每组区域点云特征集合中点之间的关系和模式;
多头注意力机制:使用多头注意力机制来捕捉不同组区域点云特征集合之间的点与点的关系和模式;
解码器:将经过编码的每个点云特征向量输入到解码器,解码器中通过多头自注意力机制生成解码后的每个点云特征向量的全连接层输入特征;
全连接层:将解码器输出的全连接层输入特征通过全连接层映射为融合后每个点的点云特征向量,形成对合并点云结果数据的预测输出;
构建训练目标:所述训练目标为所有真实数据与对应的预测输出的误差之和;
所述收集待测算房屋中的所有扫描区域数据的方式为:
建立三维坐标系,在三维坐标系中构造出待测算房屋的长方体空间,基于边界面、激光扫描仪的位置以及最大扫描角度,获得待测算房屋中的每个激光扫描仪对应的扫描区域;所述扫描区域数据包括所有激光扫描仪与扫描区域的对应关系;
生成交叉集合数据的方式为:
为每个激光扫描仪构造一个交叉集合;所述交叉集合初始为空;
对于每个激光扫描仪对应的交叉集合,从其余所有扫描区域中,筛选出与该激光扫描仪对应的扫描区域具有交叉关系的扫描区域,将筛选出的所有扫描区域对应的激光扫描仪的编号添加至该交叉集合中;
所有激光扫描仪的交叉集合组成交叉集合数据。
所述具有交叉关系的判断条件为:
对于任意两个扫描区域的重合区域,若重合区域的体积大于预设的重合体积阈值,则该两个扫描区域对应的激光扫描仪具有交叉关系。
所述生成合并区域组合集合的方式为:
将待合并点云数据中,每个激光扫描仪的点云数据中的每个点按三维坐标位置关系组成扫描三维图像;
对于每个激光扫描仪,基于扫描三维图像,使用特征提取算法从该激光扫描仪对应的交叉集合中挑选出特征点重合度最大的激光扫描区域的编号作为候选编号,并获得候选编号对应的特征点重合度作为最大特征点重合度;
将所有激光扫描仪的编号按最大特征点重合度从大到小进行排序;
将合并区域组合集合初始置为空集合;按排序后的顺序遍历,依次判断是否向合并区域组合中添加点云数据组合,所述点云数据组合包括遍历的当前的激光扫描仪的编号以及对应的候选编号;若遍历的当前激光扫描仪的编号不存在于合并区域组合中的任意一个点云数据组合中,则添加点云数据组合;
所述使用特征提取算法从该激光扫描仪对应的交叉集合中挑选出特征点重合度最大的激光扫描区域的编号作为候选编号,并获得候选编号对应的特征点重合度作为最大特征点重合度的方式为:
对于每个激光扫描仪的扫描三维图像,使用特征点提取算法提取特征点集合,将该特征点集合表示为原特征点集合;
获取交叉集合中的每个激光扫描仪的扫描三维图像对应的特征点提取算法提取特征点集合,将交叉集合中每个激光扫描仪的特征点集合表示为对比特征点集合;
将每个对比特征点集合与原特征点集合具有的重合的特征点数量作为特征点重合度;
将所有对比特征点集合按特征点重合度从大到小进行排序,则第一个对比特征点集合对应的激光扫描仪的编号作为候选编号,并将第一个对比特征点集合的特征点数量表示为最大特征点重合度。
所述生成合并点云结果集合数据的方式为:
对于合并区域组合集合中的每组点云数据组合,将其中的每个激光扫描仪的点云数据转换为区域点云特征集合,将每组点云数据组合的区域点云特征集合输入至点云合并模型中,获得点云合并模型对合并点云结果数据的预测,所有预测数据作为合并点云结果集合数据;
所述更新交叉集合数据的方式为:
将激光扫描仪按合并区域组合集合中的点云数据组合进行组合编号;将待合并点云数据中,点云数据组合的每个激光扫描仪的扫描区域进行合并,作为新的扫描区域;
对组合后的新的扫描区域重新生成新的交叉集合数据;新的交叉集合数据中,每个组合编号对应的点云数据为合并点云结果集合数据中,对应的点云数据组合的预测输出的合并点云结果数据。
本发明提出一种基于激光扫描的房建面积快速检测***,包括模型训练模块、扫描数据收集模块以及房建面积测算模块;各个模块之间通过电性连接;
所述模型训练模块用于收集区域点云样本数据以及合并点云结果数据,以区域点云样本数据为输入,以合并点云结果数据为输出,训练点云合并模型,并将点云合并模型发送至房建面积测算模块;
所述扫描数据收集模块用于收集待测算房屋中的所有扫描区域数据,基于扫描区域数据,生成交叉集合数据;收集待合并点云数据,并将交叉集合数据以及待合并点云数据发送至房建面积测算模块;
所述房建面积测算模块用于基于点云合并模型、交叉集合数据以及待合并点云数据,对房建面积进行测算。
一种电子设备,包括:处理器和存储器,其中,所述存储器中存储有可供处理器调用的计算机程序;
所述处理器通过调用所述存储器中存储的计算机程序,执行上述的基于激光扫描的房建面积快速检测方法。
一种计算机可读存储介质,其上存储有可擦写的计算机程序;
当所述计算机程序在计算机设备上运行时,使得所述计算机设备执行上述的基于激光扫描的房建面积快速检测方法。
与现有技术相比,本发明的有益效果是:
本发明通过收集区域点云样本数据以及合并点云结果数据,以区域点云样本数据为输入,以合并点云结果数据为输出,训练点云合并模型,收集待测算房屋中的所有扫描区域数据,基于扫描区域数据,生成交叉集合数据;收集待合并点云数据,基于交叉集合数据和待合并点云数据,使用特征提取算法,生成合并区域组合集合,基于合并区域组合集合,使用点云合并模型,生成合并点云结果集合数据,基于合并区域组合集合,循环更新交叉集合数据,直至合并区域组合集合的大小为1,对合并点云结果集合数据进行面积测算;在训练两个点云数据进行合并的模型,减小模型复杂程度,降低模型训练时间;进一步的,通过采用分布式的两两合并,每次合并特征点重合度最高的区域点位数据的方式,在最多合并Log2M次且降低每次合并的数据处理量的同时,提高合并结果的准确性。
附图说明
图1为本发明实施例1中基于激光扫描的房建面积快速检测方法的流程示意图;
图2为本发明实施例2中基于激光扫描的房建面积快速检测***的模块连接关系图;
图3为本发明实施例3中的电子设备结构示意图;
图4为本发明实施例4中的计算机可读存储介质结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例1:如图1所示,一种基于激光扫描的房建面积快速检测方法,包括以下步骤:
步骤一:收集区域点云样本数据以及合并点云结果数据,以区域点云样本数据为输入,以合并点云结果数据为输出,训练点云合并模型;
步骤二:收集待测算房屋中的所有扫描区域数据,基于扫描区域数据,生成交叉集合数据;收集待合并点云数据;
步骤三:基于交叉集合数据和待合并点云数据,使用特征提取算法,生成合并区域组合集合,基于合并区域组合集合,使用点云合并模型,生成合并点云结果集合数据;
步骤四:基于合并区域组合集合,更新交叉集合数据,并重复执行步骤三至步骤四,直至合并区域组合集合的大小为1;
步骤五:对合并点云结果集合数据进行面积测算;
其中,所述收集区域点云样本数据以及合并点云结果数据的方式为:
在测试环境中,以任意两台具有交叉关系的测试激光扫描仪作为一组测试组,收集每组测试组中的每台测试激光扫描仪生成的区域点云特征集合,并收集每组测试组对应的合并点云特征集合;其中,所有测试组的区域点云特征集合作为区域点云样本数据,所有测试组的合并点云特征集合作为合并点云结果数据;
进一步的,所述收集每组测试组中的每台测试激光扫描仪生成的区域点云特征集合的方式为:
使用N个测试激光扫描仪在测试环境中的不同位置进行扫描,获得每个测试激光扫描仪对应的点云数据;需要说明的是,在所述点云数据中包含了每个点的三维坐标信息,所述三维坐标信息是通过激光测距原理以及传感器的测量数据计算获得的,具体的计算过程属于本领域的常规技术手段,本发明在此不再赘述;其中,N为选择的测试激光扫描仪的数量;
对每组点云数据使用点云特征提取算法,获得点云数据中每个点对应的点云特征向量;需要说明的是,点云特征提取算法属于本领域的常规技术手段,具体的点云特征提取算法包括但不限于PointNet、PointNet++算法等;进一步的,所述点云特征向量中依然包括有每个点的三维坐标数据;
则每台测试激光扫描仪的所述区域点云特征集合包括对应的点云数据中每个点的点云特征向量;
进一步的,对于每组测试组,使用大范围激光扫描仪对合并区域进行扫描,并获得对应的点云数据,以及该点云数据对应的区域点云特征集合,该区域点云特征集合为该测试组对应的合并点云结果数据;所述大范围激光扫描仪为扫描覆盖范围包括该测试组中所有测试激光扫描仪的扫描覆盖范围的激光扫描仪,所述合并区域即为该测试组中所有测试激光扫描仪的扫描覆盖范围的所有区域;
优选的,所述训练点云合并模型包括:
构建Transformer模型的每组输入数据;具体的,每组输入数据包括每组测试组中的两条输入序列,每条输入序列对应一台测试激光扫描仪,每条输入序列包括该测试激光扫描仪对应的区域点云特征集合;
构建训练Transformer模型的每组真实数据;具体的,所述真实数据包括每组测试组对应的合并点云结果数据;
构建训练Transformer模型的模型结构;具体的,模型结构包括:
编码器:对于每组输入数据中每个点云特征向量,使用 Transformer 编码器进行编码,每个点云特征向量编码后的结果将作为Transformer模型的输入;
注意力机制:在编码器中使用自注意力机制捕捉每组区域点云特征集合中点之间的关系和模式;
多头注意力机制:使用多头注意力机制来捕捉不同组区域点云特征集合之间的点与点的关系和模式,从而构建全局特征表示;
解码器:将经过编码的每个点云特征向量输入到解码器,解码器中通过多头自注意力机制生成解码后的每个点云特征向量的全连接层输入特征;
全连接层:将解码器输出的全连接层输入特征通过全连接层映射为融合后每个点的点云特征向量,形成对合并点云结果数据的预测输出;可以理解的是,映射后每个点的点云特征向量即为对区域点云进行融合后,每个点预测的的全局的特征向量;
构建训练目标;优选的,所述训练目标为所有真实数据与对应的预测输出的预测误差之和,具体的,所述预测误差表达公式可以为均方误差、交叉熵等;
其中,所述收集待测算房屋中的所有扫描区域数据的方式为:
建立三维坐标系,在三维坐标系中构造出待测算房屋的长方体空间,基于边界面、激光扫描仪的位置以及最大扫描角度,获得待测算房屋中的每个激光扫描仪对应的扫描区域;所述扫描区域数据包括所有激光扫描仪与扫描区域的对应关系;所有优选的,所述三维坐标系可以为地心坐标系(ECI),WGS84坐标系,也可为CGCS2000坐标系;
在一个优选的实施例中,所述构造出待测算房屋的长方体空间的方式为:
基于待测算房屋的实际布局和空间结构,找出8个位置,构成长方体空间;所述长方体空间满足的条件为:将待测算房屋所在的空间完全覆盖;
在一个优选的实施例中,获得待测算房屋中的每个激光扫描仪对应的扫描区域的方式为:
将长方体所在的空间位置投影至三维坐标系中;
根据待测算房屋中使用的每个激光扫描仪所在位置与长方体空间的相对位置,将每个激光扫描仪的位置投影至三维坐标系;
基于激光扫描仪的扫描角度,在每个激光扫描仪处生成对应的圆锥体,所述圆锥体的顶点激光扫描仪在三维坐标系中的三维坐标,圆锥体的角度为激光扫描仪的最大扫描角度;
获得每个圆锥体在长方体空间内的空间区域,将该空间区域作为扫描区域;
进一步的,生成交叉集合数据的方式为:
为每个激光扫描仪构造一个交叉集合;所述交叉集合初始为空集合;
对于每个激光扫描仪对应的交叉集合,从其余所有扫描区域中,筛选出与该激光扫描仪对应的扫描区域具有交叉关系的扫描区域,将筛选出的所有扫描区域对应的激光扫描仪的编号添加至该交叉集合中;
所有激光扫描仪的交叉集合组成交叉集合数据;
在一个优选的实施例中,所述具有交叉关系的判断条件为:
对于任意两个扫描区域的重合区域,若重合区域的体积大于预设的重合体积阈值,则该两个扫描区域对应的激光扫描仪具有交叉关系,若重合区域的体积小于或等于预设的重合体积阈值,则该两个扫描区域对应的激光扫描仪不具有交叉关系;可以理解的是,每两个激光扫描仪之间的重合区域越大,说明这两个激光扫描仪具有更多相近的特征,因此合并的准确性越高,然而因为长方体空间并不能完全代表房屋,因此还需要进一步的分析相近特征;使用交叉集合的主要目的是初步筛选出具有交叉关系的激光扫描仪组合,降低后续使用特征点提取算法的频次;
所有激光扫描仪的交叉集合组成交叉集合数据;
进一步的,所述收集待合并点云数据的方式为:
待测算房屋内所有激光扫描仪生成的点云数据组成待合并点云数据;
进一步的,所述生成合并区域组合集合的方式为:
将待合并点云数据中,每个激光扫描仪的点云数据中的每个点按三维坐标位置关系组成扫描三维图像;
对于每个激光扫描仪,基于扫描三维图像,使用特征提取算法从该激光扫描仪对应的交叉集合中挑选出特征点重合度最大的激光扫描区域的编号作为候选编号,并获得候选编号对应的特征点重合度作为最大特征点重合度;
将所有激光扫描仪的编号按最大特征点重合度从大到小进行排序;
将合并区域组合集合初始置为空集合;按排序后的顺序遍历,依次判断是否向合并区域组合中添加点云数据组合,所述点云数据组合包括遍历的当前的激光扫描仪的编号以及对应的候选编号;若遍历的当前激光扫描仪的编号存在于合并区域组合中的任意一个点云数据组合中,则不添加点云数据组合;若遍历的当前激光扫描仪的编号不存在于合并区域组合中的任意一个点云数据组合中,则添加点云数据组合;具体的,所述合并区域组合集合的一个例子可以为[1-3,2-4];
在一个优选的实施例中,按三维坐标位置关系组成扫描三维图像的方式可以为:
将长方体空间按单位距离划分为不同的区块,每个区块对应一个二值灰度像素点;每个二值灰度像素点的像素值初始为0;
若任意一个像素点中包含点云数据中的点,则将该二值灰度像素点的像素值置为1;
则扫描三维图像即为激光扫描仪的扫描区域包含的所有二值灰度像素点组成的三维图像;
在一个优选的实施例中,所述使用特征提取算法从该激光扫描仪对应的交叉集合中挑选出特征点重合度最大的激光扫描区域的编号作为候选编号,并获得候选编号对应的特征点重合度作为最大特征点重合度的方式为:
对于每个激光扫描仪的扫描三维图像,使用特征点提取算法提取特征点集合,将该特征点集合表示为原特征点集合;优选的,所述特征点提取算法包括但不限于SIFT算法、SURF算法或ORB算法;
获取交叉集合中的每个激光扫描仪的扫描三维图像对应的特征点提取算法提取特征点集合,将交叉集合中每个激光扫描仪的特征点集合表示为对比特征点集合;
将每个对比特征点集合与原特征点集合具有的重合的特征点数量作为特征点重合度;
将所有对比特征点集合按特征点重合度从大到小进行排序,则第一个对比特征点集合对应的激光扫描仪的编号作为候选编号,并将第一个对比特征点集合的特征点数量表示为最大特征点重合度;所述重合的特征点数量的判断条件为:任意两个特征点之间的欧式距离小于或等于预设的距离阈值;
可以理解的是,为每个激光扫描仪挑选出具有特征点重合度最大的激光扫描区域的编号可以采用分布式计算或并行计算的方式同时进行,从而提高处理效率;
进一步的,所述生成合并点云结果集合数据的方式为:
对于合并区域组合集合中的每组点云数据组合,将其中的每个激光扫描仪的点云数据转换为区域点云特征集合,将每组点云数据组合的区域点云特征集合输入至点云合并模型中,获得点云合并模型输出的对合并点云结果数据的预测输出,所有预测输出作为合并点云结果集合数据;可以理解的是,该合并点云结果集合数据中的每组合并的结果为激光扫描仪的点位数据进行两两合并的结果,还需要再进行进一步的合并,共合并Log2M次,其中M为待测算房屋中使用的激光扫描仪的数量;可以理解的是,对每组点云数据组合进行对合并点云结果数据的预测输出的过程可以采用分布式计算或并行计算的方式同时进行,从而提高处理效率;
进一步的,所述更新交叉集合数据的方式为:
将激光扫描仪按合并区域组合集合中的点云数据组合进行组合编号;例如:对于合并区域组合集合为[1-3,2-4]的例子,将编号1和2的激光扫描仪进行组合编号为1,将编号为2-4的激光扫描仪进行组合编号为2;
将待合并点云数据中,点云数据组合的每个激光扫描仪的扫描区域进行合并,作为新的扫描区域;
对组合后的新的扫描区域重新生成新的交叉集合数据;新的交叉集合数据中,每个组合编号对应的点云数据为合并点云结果集合数据中,对应的点云数据组合的预测输出的合并点云结果数据;
进一步可以理解的是,最终获得的合并点云结果集合数据中的合并点云结果数据即为整个房屋的三维空间模型,通过测算该三维空间模型的占地空间,即可得到房建面积等数据。
实施例2:如图2所示,一种基于激光扫描的房建面积快速检测***,包括模型训练模块、扫描数据收集模块以及房建面积测算模块;其中,各个模块之间通过电性连接;
其中,所述模型训练模块主要用于收集区域点云样本数据以及合并点云结果数据,以区域点云样本数据为输入,以合并点云结果数据为输出,训练点云合并模型,并将点云合并模型发送至房建面积测算模块;
其中,所述扫描数据收集模块主要用于收集待测算房屋中的所有扫描区域数据,基于扫描区域数据,生成交叉集合数据;收集待合并点云数据,并将交叉集合数据以及待合并点云数据发送至房建面积测算模块;
其中,所述房建面积测算模块主要用于基于点云合并模型、交叉集合数据以及待合并点云数据,对房建面积进行面积测算;
实施例3:图3是本发明实施例提供的电子设备结构示意图。如图3所示,根据本申请的又一方面还提供了一种电子设备100。该电子设备100可包括一个或多个处理器以及一个或多个存储器。其中,存储器中存储有计算机可读代码,计算机可读代码当由一个或多个处理器运行时,可以执行如上述的基于激光扫描的房建面积快速检测方法实现。
根据本申请实施方式的方法或***也可以借助于图3所示的电子设备的架构来实现。如图3所示,电子设备100可包括总线101、一个或多个CPU102、只读存储器(ROM)103、随机存取存储器(RAM)104、连接到网络的通信端口105、输入/输出组件106、硬盘107等。电子设备100中的存储设备,例如ROM103或硬盘107可存储本申请提供的基于激光扫描的房建面积快速检测方法实现。基于激光扫描的房建面积快速检测方法实现可例如包括以下步骤:包括以下步骤:步骤一:收集区域点云样本数据以及合并点云结果数据,以区域点云样本数据为输入,以合并点云结果数据为输出,训练点云合并模型;步骤二:收集待测算房屋中的所有扫描区域数据,基于扫描区域数据,生成交叉集合数据;收集待合并点云数据;步骤三:基于交叉集合数据和待合并点云数据,使用特征提取算法,生成合并区域组合集合,基于合并区域组合集合,使用点云合并模型,生成合并点云结果集合数据;步骤四:基于合并区域组合集合,更新交叉集合数据,并重复执行步骤三至步骤四,直至合并区域组合集合的大小为1;步骤五:对合并点云结果集合数据进行面积测算。
进一步地,电子设备100还可包括用户界面108。当然,图3所示的架构只是示例性的,在实现不同的设备时,根据实际需要,可以省略图3示出的电子设备中的一个或多个组件。
实施例4:图4是本发明实施例提供的计算机可读存储介质结构示意图。如图4所示,是根据本申请一个实施方式的计算机可读存储介质200。计算机可读存储介质200上存储有计算机可读指令。当计算机可读指令由处理器运行时,可执行参照以上附图描述的根据本申请实施方式的基于激光扫描的房建面积快速检测方法实现。计算机可读存储介质200包括但不限于例如易失性存储器和/或非易失性存储器。易失性存储器例如可包括随机存取存储器(RAM)和高速缓冲存储器(cache)等。非易失性存储器例如可包括只读存储器(ROM)、硬盘、闪存等。
另外,根据本发明的实施方式,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请提供了一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质存储有机器可读指令,所述机器可读指令能够由处理器运行以执行与本申请提供的方法步骤对应的指令,在该计算机程序被中央处理单元(CPU)执行时,执行本申请的方法中限定的上述功能。
可能以许多方式来实现本申请的方法和装置、设备。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明,本申请的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本申请实施为记录在记录介质中的程序,这些程序包括用于实现根据本申请的方法的机器可读指令。因而,本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
另外,本申请的实施方式中提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明,以免过多赘述。
如上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明。应理解的是,以上所述仅为本发明的具体实施方式,并不用于限制本发明。凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等均应包含在本发明的保护范围之内。
以上的预设的参数或预设的阈值均由本领域的技术人员根据实际情况设定或者大量数据模拟获得。
以上实施例仅用以说明本发明的技术方法而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方法进行修改或等同替换,而不脱离本发明技术方法的精神和范围。
Claims (10)
1.一种基于激光扫描的房建面积快速检测方法,其特征在于,包括以下步骤:
步骤一:收集区域点云样本数据以及合并点云结果数据,以区域点云样本数据为输入,以合并点云结果数据为输出,训练点云合并模型;
步骤二:收集待测算房屋中的所有扫描区域数据,基于扫描区域数据,生成交叉集合数据;收集待合并点云数据;
步骤三:基于交叉集合数据和待合并点云数据,使用特征提取算法,生成合并区域组合集合,基于合并区域组合集合,使用点云合并模型,生成合并点云结果集合数据;
步骤四:基于合并区域组合集合,更新交叉集合数据,并重复执行步骤三至步骤四,直至合并区域组合集合的大小为1;
步骤五:对合并点云结果集合数据进行面积测算;
所述生成合并区域组合集合的方式为:
将待合并点云数据中,每个激光扫描仪的点云数据中的每个点按三维坐标位置关系组成扫描三维图像;
对于每个激光扫描仪,基于扫描三维图像,使用特征提取算法从该激光扫描仪对应的交叉集合中挑选出特征点重合度最大的激光扫描区域的编号作为候选编号,并获得候选编号对应的特征点重合度作为最大特征点重合度;
将所有激光扫描仪的编号按最大特征点重合度从大到小进行排序;
将合并区域组合集合初始置为空集合;按排序后的顺序遍历,依次判断是否向合并区域组合中添加点云数据组合,所述点云数据组合包括遍历的当前的激光扫描仪的编号以及对应的候选编号;若遍历的当前激光扫描仪的编号不存在于合并区域组合中的任意一个点云数据组合中,则添加点云数据组合;
所述使用特征提取算法从该激光扫描仪对应的交叉集合中挑选出特征点重合度最大的激光扫描区域的编号作为候选编号,并获得候选编号对应的特征点重合度作为最大特征点重合度的方式为:
对于每个激光扫描仪的扫描三维图像,使用特征点提取算法提取特征点集合,将该特征点集合表示为原特征点集合;
获取交叉集合中的每个激光扫描仪的扫描三维图像对应的特征点提取算法提取特征点集合,将交叉集合中每个激光扫描仪的特征点集合表示为对比特征点集合;将每个对比特征点集合与原特征点集合具有的重合的特征点数量作为特征点重合度;
将所有对比特征点集合按特征点重合度从大到小进行排序,则第一个对比特征点集合对应的激光扫描仪的编号作为候选编号,并将第一个对比特征点集合的特征点数量表示为最大特征点重合度;
所述生成合并点云结果集合数据的方式为:
对于合并区域组合集合中的每组点云数据组合,将其中的每个激光扫描仪的点云数据转换为区域点云特征集合,将每组点云数据组合的区域点云特征集合输入至点云合并模型中,获得点云合并模型对合并点云结果数据的预测,所有预测数据作为合并点云结果集合数据。
2.根据权利要求1所述的一种基于激光扫描的房建面积快速检测方法,其特征在于,所述收集区域点云样本数据以及合并点云结果数据的方式为:
在测试环境中,以任意两台具有交叉关系的测试激光扫描仪作为一组测试组,收集每组测试组中的每台测试激光扫描仪生成的区域点云特征集合,并收集每组测试组对应的合并点云特征集合;其中,所有测试组的区域点云特征集合作为区域点云样本数据,所有测试组的合并点云特征集合作为合并点云结果数据。
3.根据权利要求2所述的一种基于激光扫描的房建面积快速检测方法,其特征在于,所述训练点云合并模型包括:
构建训练Transformer模型的每组输入数据;
构建训练Transformer模型的每组真实数据;
构建Transformer模型的模型结构;模型结构包括:
编码器:对于每组输入数据中每个点云特征向量,使用 Transformer 编码器进行编码,每个点云特征向量编码后的结果将作为Transformer模型的输入;
注意力机制:在编码器中使用自注意力机制捕捉每组区域点云特征集合中点之间的关系和模式;
多头注意力机制:使用多头注意力机制来捕捉不同组区域点云特征集合之间的点与点的关系和模式;
解码器:将经过编码的每个点云特征向量输入到解码器,解码器中通过多头自注意力机制生成解码后的每个点云特征向量的全连接层输入特征;
全连接层:将解码器输出的全连接层输入特征通过全连接层映射为融合后每个点的点云特征向量,形成对合并点云结果数据的预测输出;
构建训练目标:所述训练目标为所有真实数据与对应的预测输出的误差之和。
4.根据权利要求3所述的一种基于激光扫描的房建面积快速检测方法,其特征在于,所述收集待测算房屋中的所有扫描区域数据的方式为:
建立三维坐标系,在三维坐标系中构造出待测算房屋的长方体空间,基于边界面、激光扫描仪的位置以及最大扫描角度,获得待测算房屋中的每个激光扫描仪对应的扫描区域;所述扫描区域数据包括所有激光扫描仪与扫描区域的对应关系。
5.根据权利要求4所述的一种基于激光扫描的房建面积快速检测方法,其特征在于,生成交叉集合数据的方式为:
为每个激光扫描仪构造一个交叉集合;所述交叉集合初始为空;
对于每个激光扫描仪对应的交叉集合,从其余所有扫描区域中,筛选出与该激光扫描仪对应的扫描区域具有交叉关系的扫描区域,将筛选出的所有扫描区域对应的激光扫描仪的编号添加至该交叉集合中;
所有激光扫描仪的交叉集合组成交叉集合数据。
6.根据权利要求5所述的一种基于激光扫描的房建面积快速检测方法,其特征在于,所述具有交叉关系的判断条件为:
对于任意两个扫描区域的重合区域,若重合区域的体积大于预设的重合体积阈值,则两个扫描区域对应的激光扫描仪具有交叉关系。
7.根据权利要求6所述的一种基于激光扫描的房建面积快速检测方法,其特征在于,所述更新交叉集合数据的方式为:
将激光扫描仪按合并区域组合集合中的点云数据组合进行组合编号;将待合并点云数据中,点云数据组合的每个激光扫描仪的扫描区域进行合并,作为新的扫描区域;
对组合后的新的扫描区域重新生成新的交叉集合数据;新的交叉集合数据中,每个组合编号对应的点云数据为合并点云结果集合数据中,对应的点云数据组合的预测输出的合并点云结果数据。
8.一种基于激光扫描的房建面积快速检测***,其基于权利要求1-7任意一项所述的一种基于激光扫描的房建面积快速检测方法实现,其特征在于,***包括模型训练模块、扫描数据收集模块以及房建面积测算模块;各个模块之间通过电性连接;
所述模型训练模块用于收集区域点云样本数据以及合并点云结果数据,以区域点云样本数据为输入,以合并点云结果数据为输出,训练点云合并模型,并将点云合并模型发送至房建面积测算模块;
所述扫描数据收集模块用于收集待测算房屋中的所有扫描区域数据,基于扫描区域数据,生成交叉集合数据;收集待合并点云数据,并将交叉集合数据以及待合并点云数据发送至房建面积测算模块;
所述房建面积测算模块用于基于点云合并模型、交叉集合数据以及待合并点云数据,对房建面积进行测算;
所述生成合并区域组合集合的方式为:
将待合并点云数据中,每个激光扫描仪的点云数据中的每个点按三维坐标位置关系组成扫描三维图像;
对于每个激光扫描仪,基于扫描三维图像,使用特征提取算法从该激光扫描仪对应的交叉集合中挑选出特征点重合度最大的激光扫描区域的编号作为候选编号,并获得候选编号对应的特征点重合度作为最大特征点重合度;
将所有激光扫描仪的编号按最大特征点重合度从大到小进行排序;
将合并区域组合集合初始置为空集合;按排序后的顺序遍历,依次判断是否向合并区域组合中添加点云数据组合,所述点云数据组合包括遍历的当前的激光扫描仪的编号以及对应的候选编号;若遍历的当前激光扫描仪的编号不存在于合并区域组合中的任意一个点云数据组合中,则添加点云数据组合;
所述使用特征提取算法从该激光扫描仪对应的交叉集合中挑选出特征点重合度最大的激光扫描区域的编号作为候选编号,并获得候选编号对应的特征点重合度作为最大特征点重合度的方式为:
对于每个激光扫描仪的扫描三维图像,使用特征点提取算法提取特征点集合,将该特征点集合表示为原特征点集合;
获取交叉集合中的每个激光扫描仪的扫描三维图像对应的特征点提取算法提取特征点集合,将交叉集合中每个激光扫描仪的特征点集合表示为对比特征点集合;将每个对比特征点集合与原特征点集合具有的重合的特征点数量作为特征点重合度;
将所有对比特征点集合按特征点重合度从大到小进行排序,则第一个对比特征点集合对应的激光扫描仪的编号作为候选编号,并将第一个对比特征点集合的特征点数量表示为最大特征点重合度;
所述生成合并点云结果集合数据的方式为:
对于合并区域组合集合中的每组点云数据组合,将其中的每个激光扫描仪的点云数据转换为区域点云特征集合,将每组点云数据组合的区域点云特征集合输入至点云合并模型中,获得点云合并模型对合并点云结果数据的预测,所有预测数据作为合并点云结果集合数据。
9.一种电子设备,其特征在于,包括:处理器和存储器,其中,
所述存储器中存储有可供处理器调用的计算机程序;
所述处理器通过调用所述存储器中存储的计算机程序,在后台中执行权利要求1-7任意一项所述基于激光扫描的房建面积快速检测方法。
10.一种计算机可读存储介质,其特征在于,其上存储有可擦写的计算机程序;
当所述计算机程序在计算机设备上运行时,使得所述计算机设备在后台中执行权利要求1-7任意一项所述基于激光扫描的房建面积快速检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311590212.5A CN117315001B (zh) | 2023-11-27 | 2023-11-27 | 一种基于激光扫描的房建面积快速检测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311590212.5A CN117315001B (zh) | 2023-11-27 | 2023-11-27 | 一种基于激光扫描的房建面积快速检测方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117315001A CN117315001A (zh) | 2023-12-29 |
CN117315001B true CN117315001B (zh) | 2024-02-23 |
Family
ID=89286800
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311590212.5A Active CN117315001B (zh) | 2023-11-27 | 2023-11-27 | 一种基于激光扫描的房建面积快速检测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117315001B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510587A (zh) * | 2018-02-11 | 2018-09-07 | 上海电力学院 | 一种基于2d激光扫描的室内室外环境建模方法及*** |
CN114494708A (zh) * | 2022-01-25 | 2022-05-13 | 中山大学 | 基于多模态特征融合点云数据分类方法及装置 |
CN115908424A (zh) * | 2023-02-14 | 2023-04-04 | 广东建准检测技术有限公司 | 基于三维激光扫描的建筑物健康检测方法、***及介质 |
CN116858102A (zh) * | 2023-06-29 | 2023-10-10 | 上海市机械施工集团有限公司 | 基于点云匹配的焊缝尺寸检测方法、***、介质及设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103489218B (zh) * | 2013-09-17 | 2016-06-29 | 中国科学院深圳先进技术研究院 | 点云数据质量自动优化方法及*** |
US10877155B2 (en) * | 2018-09-25 | 2020-12-29 | Topcon Corporation | Survey data processing device, survey data processing method, and survey data processing program |
CN109325998B (zh) * | 2018-10-08 | 2023-06-30 | 香港理工大学 | 一种基于点云数据的室内3d建模方法、***及相关装置 |
WO2022251719A1 (en) * | 2021-05-28 | 2022-12-01 | Google Llc | Granular neural network architecture search over low-level primitives |
-
2023
- 2023-11-27 CN CN202311590212.5A patent/CN117315001B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510587A (zh) * | 2018-02-11 | 2018-09-07 | 上海电力学院 | 一种基于2d激光扫描的室内室外环境建模方法及*** |
CN114494708A (zh) * | 2022-01-25 | 2022-05-13 | 中山大学 | 基于多模态特征融合点云数据分类方法及装置 |
CN115908424A (zh) * | 2023-02-14 | 2023-04-04 | 广东建准检测技术有限公司 | 基于三维激光扫描的建筑物健康检测方法、***及介质 |
CN116858102A (zh) * | 2023-06-29 | 2023-10-10 | 上海市机械施工集团有限公司 | 基于点云匹配的焊缝尺寸检测方法、***、介质及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN117315001A (zh) | 2023-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kalfarisi et al. | Crack detection and segmentation using deep learning with 3D reality mesh model for quantitative assessment and integrated visualization | |
CN110084116B (zh) | 路面检测方法、装置、计算机设备和存储介质 | |
Gamba et al. | Improving urban road extraction in high-resolution images exploiting directional filtering, perceptual grouping, and simple topological concepts | |
Tóvári et al. | Segmentation based robust interpolation-a new approach to laser data filtering | |
Wang et al. | Modeling indoor spaces using decomposition and reconstruction of structural elements | |
CN111815707B (zh) | 点云确定方法、点云筛选方法、装置、计算机设备 | |
CN116148808B (zh) | 一种基于点云描述符的自动驾驶激光重定位方法和*** | |
Albers et al. | Automatic extraction and regularization of building outlines from airborne LiDAR point clouds | |
CN110782531A (zh) | 处理三维点云数据的方法和计算设备 | |
CN113838005B (zh) | 基于维度转换的岩体裂隙智能识别与三维重构方法及*** | |
CN112381026A (zh) | 航道岸线检测方法、***、装置和存储介质 | |
Alidoost et al. | Y-shaped convolutional neural network for 3d roof elements extraction to reconstruct building models from a single aerial image | |
KR102260556B1 (ko) | 전역 정보와 지역 정보 통합을 통한 딥러닝 기반 주차구획 검출 방법 및 장치 | |
CN117315001B (zh) | 一种基于激光扫描的房建面积快速检测方法及*** | |
CN111539286A (zh) | 衬砌线识别方法、装置及可读存储介质 | |
CN116843860A (zh) | 激光雷达点云与影像密集匹配点云融合建模方法及装置 | |
CN116678418A (zh) | 一种改进激光slam快速回环检测方法 | |
Sumi et al. | Multiple TLS point cloud registration based on point projection images | |
CN113610971B (zh) | 一种细粒度三维模型构建方法、装置及电子设备 | |
Kim et al. | Automated two-dimensional geometric model reconstruction from point cloud data for construction quality inspection and maintenance | |
Croitoru et al. | Monocular right-angle building hypothesis generation in regularized urban areas by pose clustering | |
CN113762310B (zh) | 一种点云数据分类方法、装置、计算机存储介质及*** | |
CN113129299A (zh) | 模板确定方法、装置、计算机设备及存储介质 | |
CN114155524A (zh) | 单阶段3d点云目标检测方法及装置、计算机设备、介质 | |
Yu et al. | Optimizing pyramid visibiliy coverage for autonomous robots in 3D environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |