CN112132108A - 地面点云数据的提取方法、装置、设备及存储介质 - Google Patents
地面点云数据的提取方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112132108A CN112132108A CN202011075094.0A CN202011075094A CN112132108A CN 112132108 A CN112132108 A CN 112132108A CN 202011075094 A CN202011075094 A CN 202011075094A CN 112132108 A CN112132108 A CN 112132108A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- target
- ground point
- data
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000013075 data extraction Methods 0.000 title claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims abstract description 38
- 238000001914 filtration Methods 0.000 claims abstract description 24
- 238000013507 mapping Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 230000009467 reduction Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000010845 search algorithm Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 20
- 238000004364 calculation method Methods 0.000 abstract description 6
- 238000012216 screening Methods 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种地面点云数据的提取方法、装置、设备及存储介质。该方法包括:获取待采集环境的三维点云数据;将三维点云数据转换至柱状坐标系,得到点云坐标数据;对点云坐标数据进行滤波处理,得到目标地面点云集合;将目标地面点云集合映射至二维图像中,得到目标二维图;对目标二维图进行遍历,计算目标二维图中相邻两像素点形成的角度值,得到目标二维图所对应的角度矩阵;根据角度矩阵对目标二维图进行遍历,得到地面点云数据。通过将点云数据转换至坐标系,对坐标系数据进行滤波处理去除部分非地面数据,根据二维图像对点云数据进行进一步分割,筛选角度值,得到地面点云数据,解决地面点云数据提取过程计算量大和耗费时间的问题。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种地面点云数据的提取方法、装置、设备及存储介质。
背景技术
自动驾驶作为当下汽车行业最为前沿的技术,也是人工智能的主要应用场景之一。其中在自动驾驶感知层面,多线激光雷达应用广泛,特别是通过与相机和毫米波雷达等实现感知信息融合之后,适用于复杂交通环境感知,可以检测交通环境中的不同目标,包括道路、可行驶区域、行驶环境中行人和车辆、交通信号灯和交通标志等交通要素。大力应用的同时,对多线激光雷达的数据处理要求也来越高,尤其涉及车辆所在的地面点云数据,地面点云通常在激光数据流中占取比例较大,计算耗费内存并且费时,如何快速检索出地面点云是一个非常重要且有意义的问题。
目前已有的三维点云中提取地面点云的方法主要有基于极坐标网格线性拟合、RANSAC面拟合方法及三维点云图像化处理方法。对于平面拟合类方法,由于激光点云排列的无序性且稀疏性,其效果鲁棒性不高,容易出现欠分割及延时现象。对于三维点云图像化处理方法,往往直接将三维点云转化到二维深度图上。虽然一定程度上是对数据进行了降维处理,但是激光点云数据量大,降维过程及后续搜索过程依然耗费时间。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种地面点云数据的提取方法、装置、设备及存储介质,旨在解决现有技术中地面点云数据提取过程计算量大和耗费时间的技术问题。
为实现上述目的,本发明提供了一种地面点云数据的提取方法,所述方法包括以下步骤:
获取待采集环境的三维点云数据;
将所述三维点云数据转换至柱状坐标系,得到点云坐标数据;
对所述点云坐标数据进行滤波处理,得到目标地面点云集合;
将所述目标地面点云集合映射至二维图像中,得到目标二维图;
对所述目标二维图进行遍历,计算所述目标二维图中相邻两像素点形成的角度值,得到所述目标二维图所对应的角度矩阵;
根据所述角度矩阵对所述目标二维图进行遍历,得到地面点云数据。
可选地,所述根据所述角度矩阵对所述目标二维图进行遍历,得到地面点云数据,包括:
根据所述角度矩阵获取所述目标二维图中像素点的角度值;
根据深度优先搜索算法对所述目标二维图进行遍历,在遍历到的当前像素点为地面点时,获取相邻的像素点与所述当前像素点之间的角度差值;
在所述角度差值小于预设角度阈值时,将所述相邻的像素点记为地面点;
根据所述地面点得到地面点云数据。
可选地,所述对所述点云坐标数据进行滤波处理,得到目标地面点云集合,包括:
对所述点云坐标数据进行选择,得到地面点云集合;
对所述地面点云集合进行降维处理,得到目标地面点云集合。
可选地,所述将所述三维点云数据转换至柱状坐标系,得到点云坐标数据,包括:
根据所述三维点云数据确定点云信息,其中,所述点云信息包括距离值和方位角;
根据所述距离值和所述方位角确定所述点云信息对应的垂直夹角;
根据所述距离值和所述垂直夹角将所述三维点云数据转换至柱状坐标系,得到点云坐标数据。
可选地,所述对所述点云坐标数据进行选择,得到地面点云集合,包括:
获取预设坐标对应的坐标阈值;
遍历所述点云坐标数据,在遍历到的点云坐标数据对应的坐标值小于所述坐标阈值时,将所述遍历到的点云坐标数据记录为地面点云坐标数据;
根据所述地面点云坐标数据得到地面点云集合。
可选地,所述对所述地面点云集合进行降维处理,得到目标地面点云集合,包括:
获取采集设备对应的型号参数;
根据所述型号参数确定图像像素分布特征;
根据所述图像像素分布特征对所述地面点云集合进行降维处理,得到目标地面点云数据。
可选地,所述对所述目标二维图进行遍历,计算所述目标二维图中相邻两像素点形成的角度值,得到所述目标二维图所对应的角度矩阵,包括:
对所述目标二维图进行遍历,以获取所述目标二维图中相邻两像素点对应的第一距离值和第二距离值,以及所述相邻两像素点对应的第一垂直方向夹角和第二垂直方向夹角;
根据所述第一距离值、所述第二距离值、所述第一垂直方向夹角和所述第二垂直方向夹角计算所述相邻两像素点形成的角度值,从而得到所述目标二维图对应的角度矩阵。
此外,为实现上述目的,本发明还提出一种地面点云数据的提取装置,所述地面点云数据的提取装置包括:
获取模块,用于获取待采集环境的三维点云数据;
转换模块,用于将所述三维点云数据转换至柱状坐标系,得到点云坐标数据;
滤波模块,用于对所述点云坐标数据进行滤波处理,得到目标地面点云集合;
映射模块,用于将所述目标地面点云集合映射至二维图像中,得到目标二维图;
所述获取模块,还用于对所述目标二维图进行遍历,计算所述目标二维图中相邻两像素点形成的角度值,得到所述目标二维图所对应的角度矩阵;
提取模块,用于根据所述角度矩阵对所述目标二维图进行遍历,得到地面点云数据。
此外,为实现上述目的,本发明还提出一种地面点云数据的提取设备,所述地面点云数据的提取设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的地面点云数据的提取程序,所述地面点云数据的提取程序配置为实现如上文所述的地面点云数据的提取方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有地面点云数据的提取程序,所述地面点云数据的提取程序被处理器执行时实现如上文所述的地面点云数据的提取方法的步骤。
本发明通过获取待采集环境的三维点云数据;将三维点云数据转换至柱状坐标系,得到点云坐标数据;对点云坐标数据进行滤波处理,得到目标地面点云集合;将目标地面点云集合映射至二维图像中,得到目标二维图;对目标二维图进行遍历,计算目标二维图中相邻两像素点形成的角度值,得到目标二维图所对应的角度矩阵;根据角度矩阵对目标二维图进行遍历,得到地面点云数据。通过将点云数据转换至坐标系,对坐标系数据进行滤波处理去除部分非地面数据,使后续数据处理以及分割过程效率更高,根据二维图像对点云数据进行进一步分割,根据筛选角度值以提取地面点云数据,解决现有技术中地面点云数据提取过程计算量大和耗费时间的问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的地面点云数据的提取设备的结构示意图;
图2为本发明地面点云数据的提取方法第一实施例的流程示意图;
图3为本发明地面点云数据的提取方法第二实施例的流程示意图;
图4为本发明地面点云数据的提取方法第三实施例的流程示意图;
图5为本发明地面点云数据的提取装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的地面点云数据的提取设备结构示意图。
如图1所示,该地面点云数据的提取设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对地面点云数据的提取设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及地面点云数据的提取程序。
在图1所示的地面点云数据的提取设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明地面点云数据的提取设备中的处理器1001、存储器1005可以设置在地面点云数据的提取设备中,所述地面点云数据的提取设备通过处理器1001调用存储器1005中存储的地面点云数据的提取程序,并执行本发明实施例提供的地面点云数据的提取方法。
本发明实施例提供了一种地面点云数据的提取方法,参照图2,图2为本发明一种地面点云数据的提取方法第一实施例的流程示意图。
本实施例中,所述地面点云数据的提取方法包括以下步骤:
步骤S10:获取待采集环境的三维点云数据。
可以理解的是,本实施例的执行主体可以是车载终端,也可以为地面点云数据的提取设备,地面点云数据的提取设备可以是电脑和服务器等设备,还可为其他可实现相同或相似功能的设备,本实施例对此不加以限制。
需要说明的是,三维点云数据是指通过扫描采集设备得到的以点的形式进行记录的数据,这些点数据包含有三维坐标,有些可能含有颜色信息(RGB)或反射强度信息,主要用来代表一个物体的外表面形状。三维点云数据是由扫描采集设备产生的,例如激光雷达,立体摄像头以及飞行时间相机(Time of Fight Camera)等设备。这些设备用自动化的方式测量在物体表面的大量的点的信息,然后用某种数据文件输出三维点云数据。本实施例以车载激光雷达获取的三维点云数据为例进行说明,车载激光扫描***是由多个传感器组成的,激光扫描仪在垂直于行驶方向作二维扫描,以汽车行驶方向作为运动维,构成三维扫描***,利用激光对地球表面进行密集采样,以产生高精度的x,y,z测量值。初始的三维点云数据是3D高程点的大集合,其包括x值、y值、z值以及GPS时间戳等其他属性,在初始三维点云数据经过相关处理后,可对激光遇到的特定表面要素进行分类,例如地面、建筑物、森林冠层以及高速公路等。本实施例主要是根据三维点云数据提取地面点云数据。
步骤S20:将所述三维点云数据转换至柱状坐标系,得到点云坐标数据。
可以理解的是,在空间直角坐标系中,任给一点P,设(r,θ)是点P在xOy面上投影点的极坐标,z是点P的竖坐标,则称(r,θ,z)是点P的柱状坐标,记为P(r,θ,z)。柱状坐标系可以理解为平面极坐标系加上z轴。
具体地,为了对三维点云数据进行坐标转换处理,输出能被处理的坐标数据,步骤S20包括:根据所述三维点云数据确定点云信息,其中,所述点云信息包括距离值和方位角;根据所述距离值和所述方位角确定所述点云信息对应的垂直夹角;根据所述距离值和所述垂直夹角将所述三维点云数据转换至柱状坐标系,得到点云坐标数据。
需要说明的是,激光返回三维点云数据包括距离值d和方位角θ,根据公式(1)将三维点云数据转换到柱状坐标系下:
其中ω表示三维点云数据中每个点云的垂直夹角。d表示每个点云与激光雷达的距离值,r表示柱状坐标系中的半径坐标,z表示柱状坐标系中的竖坐标,依次将每个点云信息记录为(r,θ,z)。垂直夹角,又称竖直角或高度角,指视准线与其水平视线之间的夹角,是仪器中轴线与观测点的垂直角度,本实施例中每个点云的垂直夹角根据方位角θ分析得到。
步骤S30:对所述点云坐标数据进行滤波处理,得到目标地面点云集合。
在本实施例中,对点云坐标数据进行滤波处理主要包括两个步骤,第一步是根据z坐标对得到的点云坐标数据进行滤波选择,将高度信息明显不属于地面点云的点云去除,减小数据量;第二步是根据采集设备的参数,对三维数据进行降维处理,将部分重合的三维数据进行去除,从而得到滤波后的目标地面点云集合。
步骤S40:将所述目标地面点云集合映射至二维图像中,得到目标二维图。
在本实施例中,将目标地面点云集合的点云映射到二维图像中,没有映射到的像素点对应的参数设置为0,可以对z坐标不同但是(r,θ)极坐标相同的点进行整合,作为同一点云,进一步减小数据量。
步骤S50:对所述目标二维图进行遍历,计算所述目标二维图中相邻两像素点形成的角度值,得到所述目标二维图所对应的角度矩阵。
可以理解的是,根据从上往下,从左到右的顺序计算相邻像素点之间的角度值,其中像素点对应的参数为0的像素直接跳过。
具体地,为了得到目标二维图对应的角度矩阵,以便后续根据角度值对二维图像进行选择,步骤S50,包括:对所述目标二维图进行遍历,以获取所述目标二维图中相邻两像素点对应的第一距离值和第二距离值,以及所述相邻两像素点对应的第一垂直方向夹角和第二垂直方向夹角;根据所述第一距离值、所述第二距离值、所述第一垂直方向夹角和所述第二垂直方向夹角计算所述相邻两像素点形成的角度值,从而得到所述目标二维图对应的角度矩阵。
可以理解的是,将相邻两像素点记为第一像素点和第二像素点,第一距离值是指第一像素点与原点之间的距离值,第二距离值是指第二像素点与原点之间的距离值,原点是指采集设备所处位置。第一垂直方向夹角是指第一像素点连接至原点的直线与水平线之间的夹角,第二垂直方向夹角是指第二像素点连接至原点的直线与水平线之间的夹角。根据第一距离值、第二距离值、第一垂直方向夹角和第二垂直方向夹角计算可以得到第一像素点和第二像素点在极坐标系下的距离值,也可以得到第一像素点和第二像素点在z轴方向上的距离值,从而得到第一像素点和第二像素点形成的角度值。
需要说明的是,根据公式(2)计算得到相邻两像素点之间的角度值:
β=atan2(Δz,Δx) 公式(2)
其中,β为相邻两像素点之间的角度值,Δz为相邻两像素点z轴方向的距离差,Δx为相邻两像素点平面极坐标内的距离差,
根据公式(3)计算得到Δz,根据公式(4)计算得到Δx:
Δz=|dr-1*sin(αm)-dr*sin(αn)| 公式(3)
Δx=|dr-1*cos(αm)-dr*cos(αn)| 公式(4)
其中,dr-1和dr表示相邻像素点的分别与坐标原点之间的距离值,αm和αn表示相邻像素点对应的垂直方向夹角。遍历整个二维图,根据从上往下,从左到右的顺序得出关于角度值的角度矩阵M。垂直方向夹角,是指像素点连接至原点的直线与水平线之间的夹角。
步骤S60:根据所述角度矩阵对所述目标二维图进行遍历,得到地面点云数据。
在本实施例中,采用基于深度优先搜索(Depth First Search,DFS)的方法搜索角度查矩阵M,该方法运行时间快,且可以快速需找出目标,根据实际情况对角度值进行阈值约束,小于阈值的角度值对应的像素点,确定其为地面点云数据,例如,其中角度值的阈值大小采用15度,即小于15度的像素点认为是地面点,大于或者等于15度的像素点认为是非地面点。
本实施例通过获取待采集环境的三维点云数据;将三维点云数据转换至柱状坐标系,得到点云坐标数据;对点云坐标数据进行滤波处理,得到目标地面点云集合;将目标地面点云集合映射至二维图像中,得到目标二维图;对目标二维图进行遍历,计算目标二维图中相邻两像素点形成的角度值,得到目标二维图所对应的角度矩阵;根据角度矩阵对目标二维图进行遍历,得到地面点云数据。通过将点云数据转换至坐标系,对坐标系数据进行滤波处理去除部分非地面数据,使后续数据处理以及分割过程效率更高,根据二维图像对点云数据进行进一步分割,根据筛选角度值以提取地面点云数据,解决现有技术中地面点云数据提取过程计算量大和耗费时间的问题。
参考图3,图3为本发明一种地面点云数据的提取方法第二实施例的流程示意图。
基于上述第一实施例,本实施例地面点云数据的提取方法在所述步骤S60,包括:
步骤S601:根据所述角度矩阵获取所述目标二维图中像素点的角度值。
步骤S602:根据深度优先搜索算法对所述目标二维图进行遍历,在遍历到的当前像素点为地面点时,获取相邻的像素点与所述当前像素点之间的角度差值。
需要说明的是,根据深度优先搜索算法对所述目标二维图进行遍历的过程是,对于最新发现的像素点a,如果它还有以此为起点而还未探索的边,沿此边探索;如果a的所有边已经探索完,再回溯到发现a有起始点的那些边;一直到已经探索了从源起点可到的所有顶点为止;如果还有没探索的顶点,将它定义为一个新的源起点,继续上述过程,直到将目标二维图都遍历到。
步骤S603:在所述角度差值小于预设角度阈值时,将所述相邻的像素点记为地面点。
需要说明的是,在使用深度优先搜索算法对目标二维图进行遍历的过程中,对于与地面点的角度差值小于预设角度阈值的像素点,认为这一像素点与地面点属于同一类型,将这一像素点记为地面点。预设角度阈值根据实际情况进行设置,例如,预设角度阈值为15度,即角度差值小于15度的像素点认为是地面点,大于或者等于15度的像素点认为是非地面点。
举例进行说明,根据目标二维图选取其中一个确定为地面点的m像素点为起点,获取m像素点与n像素点对应的角度差x,其中,m像素点与n像素点相邻,如果角度差x小于预设角度阈值,则认为n像素点也为地面点,继续获取h像素点与n像素点之间的角度差y,其中,h像素点与n像素点相邻,如果角度差y大于预设角度阈值,则重新以m像素点为起点进行查找,直到将目标二维图都遍历到,得到所有标记为地面点的像素点。
步骤S604:根据所述地面点得到地面点云数据。
本实施例通过采用基于深度优先搜索的方法对二维图进行搜索提取,该方法运行时间快,且可以快速需找出最优目标,实现过程中采用队列结构,安全可靠,效率高。且通过合理设置预设角度阈值,可以提取有一定曲率的地面点云数据。解决现有技术中地面点云数据提取过程计算量大和耗费时间的问题。
参考图4,图4为本发明一种地面点云数据的提取方法第三实施例的流程示意图。
基于上述第一实施例,本实施例地面点云数据的提取方法在所述步骤S30,包括:
步骤S301:对所述点云坐标数据进行选择,得到地面点云集合。
具体地,为了减小数据量,对点云数据进行筛选,步骤S301,包括:获取预设坐标对应的坐标阈值;遍历所述点云坐标数据,在遍历到的点云坐标数据对应的坐标值小于所述坐标阈值时,将所述遍历到的点云坐标数据记录为地面点云坐标数据;根据所述地面点云坐标数据得到地面点云集合。
需要说明的是,坐标阈值根据实际情况设置,在本实施例中,预设坐标为柱状坐标系(r,θ,z)中对应的z坐标,通过坐标阈值将地面点云和非地面点云进行区分,将z坐标值大于坐标阈值的点云放入集合B,该集合属于非地面点云集合,反之将z坐标值小于坐标阈值的点云放入集合A,该集合属于包含地面点云集合,将高度信息明显不属于地面点云的点云去除,减小数据量。
步骤S302:对所述地面点云集合进行降维处理,得到目标地面点云集合。
具体地,由于激光点云排列无序且稀疏,为了解决直接对三维激光点云数据进行遍历导致耗费时间的问题,步骤S302,包括:获取采集设备对应的型号参数;根据所述型号参数确定图像像素分布特征;根据所述图像像素分布特征对所述地面点云集合进行降维处理,得到目标地面点云数据。
需要说明的是,为了方便将柱状点云坐标数据二维图像化,在进行z值筛选后,地面点云集合仍然为三维点云数据,由于激光点云排列无序且稀疏,因此在三维激光点云数据上直接进行数据遍历会带来时间消耗大的问题,所以先对三维点云进行降维处理,根据采集设备对应的硬件特性,确定图像像素分布特征。例如,本实施例采用激光为32线的激光雷达进行数据采集,水平扫描范围360度,水平角度分辨率为0.1度,所以对应的图像行数为32,列数为3600。
本实施例通过柱状坐标转换后的点云数据根据预设坐标对应的坐标阈值进行选择滤波,排除了一大部分非地面点,为后续的地面点云提取减小了计算量,大大节约了搜索提取时间;对地面点云集合进行了降维处理,为后续二维图的映射减小了数据量。解决现有技术中地面点云数据提取过程计算量大和耗费时间的问题。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有地面点云数据的提取程序,所述地面点云数据的提取程序被处理器执行时实现如上文所述的地面点云数据的提取方法的步骤。
参照图5,图5为本发明地面点云数据的提取装置第一实施例的结构框图。
如图5所示,本发明实施例提出的地面点云数据的提取装置包括:
获取模块10,用于获取待采集环境的三维点云数据。
需要说明的是,三维点云数据是指通过扫描采集设备得到的以点的形式进行记录的数据,这些点数据包含有三维坐标,有些可能含有颜色信息(RGB)或反射强度信息,主要用来代表一个物体的外表面形状。三维点云数据是由扫描采集设备产生的,例如激光雷达,立体摄像头以及飞行时间相机等设备。这些设备用自动化的方式测量在物体表面的大量的点的信息,然后用某种数据文件输出三维点云数据。本实施例以车载激光雷达获取的三维点云数据为例进行说明,车载激光扫描***是由多个传感器组成的,激光扫描仪在垂直于行驶方向作二维扫描,以汽车行驶方向作为运动维,构成三维扫描***,利用激光对地球表面进行密集采样,以产生高精度的x,y,z测量值。初始的三维点云数据是3D高程点的大集合,其包括x值、y值、z值以及GPS时间戳等其他属性,在初始三维点云数据经过相关处理后,可对激光遇到的特定表面要素进行分类,例如地面、建筑物、森林冠层以及高速公路等。本实施例主要是根据三维点云数据提取地面点云数据。
转换模块20,用于将所述三维点云数据转换至柱状坐标系,得到点云坐标数据。
可以理解的是,在空间直角坐标系中,任给一点P,设(r,θ)是点P在xOy面上投影点的极坐标,z是点P的竖坐标,则称(r,θ,z)是点P的柱状坐标,记为P(r,θ,z)。柱状坐标系可以理解为平面极坐标系加上z轴。
具体地,为了对三维点云数据进行坐标转换处理,输出能被处理的坐标数据,所述转换模块20,还用于所述三维点云数据确定点云信息,其中,所述点云信息包括距离值和方位角;根据所述距离值和所述方位角确定所述点云信息对应的垂直夹角;根据所述距离值和所述垂直夹角将所述三维点云数据转换至柱状坐标系,得到点云坐标数据。
需要说明的是,激光返回三维点云数据包括距离值d和方位角θ,根据公式(1)将三维点云数据转换到柱状坐标系下:
其中ω表示三维点云数据中每个点云的垂直夹角。d表示每个点云与激光雷达的距离值,r表示柱状坐标系中的半径坐标,z表示柱状坐标系中的竖坐标,依次将每个点云信息记录为(r,θ,z)。垂直夹角,又称竖直角或高度角,指视准线与其水平视线之间的夹角,是仪器中轴线与观测点的垂直角度,本实施例中每个点云的垂直夹角根据方位角θ分析得到。
滤波模块30,用于对所述点云坐标数据进行滤波处理,得到目标地面点云集合。
在本实施例中,对点云坐标数据进行滤波处理主要包括两个步骤,第一步是根据z坐标对得到的点云坐标数据进行滤波选择,将高度信息明显不属于地面点云的点云去除,减小数据量;第二步是根据采集设备的参数,对三维数据进行降维处理,将部分重合的三维数据进行去除,从而得到滤波后的目标地面点云集合。
映射模块40,用于将所述目标地面点云集合映射至二维图像中,得到目标二维图。
在本实施例中,将目标地面点云集合的点云映射到二维图像中,没有映射到的像素点对应的参数设置为0,可以对z坐标不同但是(r,θ)极坐标相同的点进行整合,作为同一点云,进一步减小数据量。
所述获取模块10,还用于对所述目标二维图进行遍历,计算所述目标二维图中相邻两像素点形成的角度值,得到所述目标二维图所对应的角度矩阵。
可以理解的是,根据从上往下,从左到右的顺序计算相邻像素点之间的角度值,其中像素点对应的参数为0的像素直接跳过。
具体地,为了得到目标二维图对应的角度矩阵,以便后续根据角度值对二维图像进行选择,所述获取模块10,还用于对所述目标二维图进行遍历,以获取所述目标二维图中相邻两像素点对应的第一距离值和第二距离值,以及所述相邻两像素点对应的第一垂直方向夹角和第二垂直方向夹角;根据所述第一距离值、所述第二距离值、所述第一垂直方向夹角和所述第二垂直方向夹角计算所述相邻两像素点形成的角度值,从而得到所述目标二维图对应的角度矩阵。
可以理解的是,将相邻两像素点记为第一像素点和第二像素点,第一距离值是指第一像素点与原点之间的距离值,第二距离值是指第二像素点与原点之间的距离值,原点是指采集设备所处位置。第一垂直方向夹角是指第一像素点连接至原点的直线与水平线之间的夹角,第二垂直方向夹角是指第二像素点连接至原点的直线与水平线之间的夹角。根据第一距离值、第二距离值、第一垂直方向夹角和第二垂直方向夹角计算可以得到第一像素点和第二像素点在极坐标系下的距离值,也可以得到第一像素点和第二像素点在z轴方向上的距离值,从而得到第一像素点和第二像素点形成的角度值。
需要说明的是,根据公式(2)计算得到相邻两像素点之间的角度值:
β=atan2(Δz,Δx) 公式(2)
其中,β为相邻两像素点之间的角度值,Δz为相邻两像素点z轴方向的距离差,Δx为相邻两像素点平面极坐标内的距离差,
根据公式(3)计算得到Δz,根据公式(4)计算得到Δx:
Δz=|dr-1*sin(αm)-dr*sin(αn)| 公式(3)
Δx=|dr-1*cos(αm)-dr*cos(αn)| 公式(4)
其中,dr-1和dr表示相邻像素点的分别与坐标原点之间的距离值,αm和αn表示相邻像素点对应的垂直方向夹角。遍历整个二维图,根据从上往下,从左到右的顺序得出关于角度值的角度矩阵M。垂直方向夹角,是指像素点连接至原点的直线与水平线之间的夹角。
提取模块50,用于根据所述角度矩阵对所述目标二维图进行遍历,得到地面点云数据。
在本实施例中,采用基于深度优先搜索的方法搜索角度查矩阵M,该方法运行时间快,且可以快速需找出目标,根据实际情况对角度值进行阈值约束,小于阈值的角度值对应的像素点,确定其为地面点云数据,例如,其中角度值的阈值大小采用15度,即小于15度的像素点认为是地面点,大于15度的像素点认为是非地面点。
应当理解的是,以上仅为举例说明,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要进行设置,本发明对此不做限制。
本实施例通过获取待采集环境的三维点云数据;将三维点云数据转换至柱状坐标系,得到点云坐标数据;对点云坐标数据进行滤波处理,得到目标地面点云集合;将目标地面点云集合映射至二维图像中,得到目标二维图;对目标二维图进行遍历,计算目标二维图中相邻两像素点形成的角度值,得到目标二维图所对应的角度矩阵;根据角度矩阵对目标二维图进行遍历,得到地面点云数据。通过将点云数据转换至坐标系,对坐标系数据进行滤波处理去除部分非地面数据,使后续数据处理以及分割过程效率更高,根据二维图像对点云数据进行进一步分割,根据筛选角度值以提取地面点云数据,解决现有技术中地面点云数据提取过程计算量大和耗费时间的问题。
在一实施例中,所述提取模块50,还用于根据所述角度矩阵获取所述目标二维图中像素点的角度值;
根据深度优先搜索算法对所述目标二维图进行遍历,在遍历到的当前像素点为地面点时,获取相邻的像素点与所述当前像素点之间的角度差值;
在所述角度差值小于预设角度阈值时,将所述相邻的像素点记为地面点;
根据所述地面点得到地面点云数据。
在一实施例中,所述滤波模块30,还用于对所述点云坐标数据进行选择,得到地面点云集合;
对所述地面点云集合进行降维处理,得到目标地面点云集合。
在一实施例中,所述滤波模块30,还用于获取预设坐标对应的坐标阈值;
遍历所述点云坐标数据,在遍历到的点云坐标数据对应的坐标值小于所述坐标阈值时,将所述遍历到的点云坐标数据记录为地面点云坐标数据;
根据所述地面点云坐标数据得到地面点云集合。
在一实施例中,所述滤波模块30,还用于获取采集设备对应的型号参数;
根据所述型号参数确定图像像素分布特征;
根据所述图像像素分布特征对所述地面点云集合进行降维处理,得到目标地面点云数据。
需要说明的是,以上所描述的工作流程仅仅是示意性的,并不对本发明的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的,此处不做限制。
另外,未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的地面点云数据的提取方法,此处不再赘述。
此外,需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory,ROM)/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种地面点云数据的提取方法,其特征在于,所述地面点云数据的提取方法包括:
获取待采集环境的三维点云数据;
将所述三维点云数据转换至柱状坐标系,得到点云坐标数据;
对所述点云坐标数据进行滤波处理,得到目标地面点云集合;
将所述目标地面点云集合映射至二维图像中,得到目标二维图;
对所述目标二维图进行遍历,计算所述目标二维图中相邻两像素点形成的角度值,得到所述目标二维图所对应的角度矩阵;
根据所述角度矩阵对所述目标二维图进行遍历,得到地面点云数据。
2.如权利要求1所述的地面点云数据的提取方法,其特征在于,所述根据所述角度矩阵对所述目标二维图进行遍历,得到地面点云数据,包括:
根据所述角度矩阵获取所述目标二维图中像素点的角度值;
根据深度优先搜索算法对所述目标二维图进行遍历,在遍历到的当前像素点为地面点时,获取相邻的像素点与所述当前像素点之间的角度差值;
在所述角度差值小于预设角度阈值时,将所述相邻的像素点记为地面点;
根据所述地面点得到地面点云数据。
3.如权利要求1所述的地面点云数据的提取方法,其特征在于,所述对所述点云坐标数据进行滤波处理,得到目标地面点云集合,包括:
对所述点云坐标数据进行选择,得到地面点云集合;
对所述地面点云集合进行降维处理,得到目标地面点云集合。
4.如权利要求1所述的地面点云数据的提取方法,其特征在于,所述将所述三维点云数据转换至柱状坐标系,得到点云坐标数据,包括:
根据所述三维点云数据确定点云信息,其中,所述点云信息包括距离值和方位角;
根据所述距离值和所述方位角确定所述点云信息对应的垂直夹角;
根据所述距离值和所述垂直夹角将所述三维点云数据转换至柱状坐标系,得到点云坐标数据。
5.如权利要求3所述的地面点云数据的提取方法,其特征在于,所述对所述点云坐标数据进行选择,得到地面点云集合,包括:
获取预设坐标对应的坐标阈值;
遍历所述点云坐标数据,在遍历到的点云坐标数据对应的坐标值小于所述坐标阈值时,将所述遍历到的点云坐标数据记录为地面点云坐标数据;
根据所述地面点云坐标数据得到地面点云集合。
6.如权利要求3所述的地面点云数据的提取方法,其特征在于,所述对所述地面点云集合进行降维处理,得到目标地面点云集合,包括:
获取采集设备对应的型号参数;
根据所述型号参数确定图像像素分布特征;
根据所述图像像素分布特征对所述地面点云集合进行降维处理,得到目标地面点云数据。
7.如权利要求1-6中任一项所述的地面点云数据的提取方法,其特征在于,所述对所述目标二维图进行遍历,计算所述目标二维图中相邻两像素点形成的角度值,得到所述目标二维图所对应的角度矩阵,包括:
对所述目标二维图进行遍历,以获取所述目标二维图中相邻两像素点对应的第一距离值和第二距离值,以及所述相邻两像素点对应的第一垂直方向夹角和第二垂直方向夹角;
根据所述第一距离值、所述第二距离值、所述第一垂直方向夹角和所述第二垂直方向夹角计算所述相邻两像素点形成的角度值,从而得到所述目标二维图对应的角度矩阵。
8.一种地面点云数据的提取装置,其特征在于,所述地面点云数据的提取装置包括:
获取模块,用于获取待采集环境的三维点云数据;
转换模块,用于将所述三维点云数据转换至柱状坐标系,得到点云坐标数据;
滤波模块,用于对所述点云坐标数据进行滤波处理,得到目标地面点云集合;
映射模块,用于将所述目标地面点云集合映射至二维图像中,得到目标二维图;
所述获取模块,还用于对所述目标二维图进行遍历,计算所述目标二维图中相邻两像素点形成的角度值,得到所述目标二维图所对应的角度矩阵;
提取模块,用于根据所述角度矩阵对所述目标二维图进行遍历,得到地面点云数据。
9.一种地面点云数据的提取设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的地面点云数据的提取程序,所述地面点云数据的提取程序配置为实现如权利要求1至7中任一项所述的地面点云数据的提取方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有地面点云数据的提取程序,所述地面点云数据的提取程序被处理器执行时实现如权利要求1至7任一项所述的地面点云数据的提取方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011075094.0A CN112132108A (zh) | 2020-10-09 | 2020-10-09 | 地面点云数据的提取方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011075094.0A CN112132108A (zh) | 2020-10-09 | 2020-10-09 | 地面点云数据的提取方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112132108A true CN112132108A (zh) | 2020-12-25 |
Family
ID=73844069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011075094.0A Pending CN112132108A (zh) | 2020-10-09 | 2020-10-09 | 地面点云数据的提取方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112132108A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112669376A (zh) * | 2021-01-28 | 2021-04-16 | 燕山大学 | 一种料堆残垛层高计算方法及*** |
CN112907746A (zh) * | 2021-03-25 | 2021-06-04 | 上海商汤临港智能科技有限公司 | 电子地图的生成方法、装置、电子设备及存储介质 |
CN113064179A (zh) * | 2021-03-22 | 2021-07-02 | 上海商汤临港智能科技有限公司 | 一种点云数据筛选方法、车辆控制方法及装置 |
CN113538547A (zh) * | 2021-06-03 | 2021-10-22 | 苏州小蜂视觉科技有限公司 | 一种3d线激光传感器的深度处理方法及点胶设备 |
CN113537049A (zh) * | 2021-07-14 | 2021-10-22 | 广东汇天航空航天科技有限公司 | 地面点云数据处理方法、装置、终端设备及存储介质 |
CN114283090A (zh) * | 2021-12-27 | 2022-04-05 | 深圳朗道智通科技有限公司 | 一种地面滤除方法、设备、存储介质及计算机程序产品 |
CN115375699A (zh) * | 2022-10-25 | 2022-11-22 | 杭州华橙软件技术有限公司 | 点云分割方法、移动机器人及计算机可读存储介质 |
CN116071520A (zh) * | 2023-03-31 | 2023-05-05 | 湖南省水务规划设计院有限公司 | 一种数字孪生水务仿真模拟测试方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107798657A (zh) * | 2017-10-30 | 2018-03-13 | 武汉珞珈新空科技有限公司 | 一种基于圆柱坐标的车载激光点云滤波方法 |
CN107845064A (zh) * | 2017-09-02 | 2018-03-27 | 西安电子科技大学 | 基于主动采样和高斯混合模型的图像超分辨重建方法 |
CN109872329A (zh) * | 2019-01-28 | 2019-06-11 | 重庆邮电大学 | 一种基于三维激光雷达的地面点云快速分割方法 |
CN110135335A (zh) * | 2019-05-14 | 2019-08-16 | 哈尔滨工业大学 | 基于直线空间分布关系和投影特征的群目标检测算法 |
CN110244840A (zh) * | 2019-05-24 | 2019-09-17 | 华为技术有限公司 | 图像处理方法、相关设备及计算机存储介质 |
CN110309240A (zh) * | 2018-03-14 | 2019-10-08 | 北京京东尚科信息技术有限公司 | 去除动态目标的方法和装置 |
CN110866449A (zh) * | 2019-10-21 | 2020-03-06 | 北京京东尚科信息技术有限公司 | 识别道路中目标对象的方法和装置 |
-
2020
- 2020-10-09 CN CN202011075094.0A patent/CN112132108A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107845064A (zh) * | 2017-09-02 | 2018-03-27 | 西安电子科技大学 | 基于主动采样和高斯混合模型的图像超分辨重建方法 |
CN107798657A (zh) * | 2017-10-30 | 2018-03-13 | 武汉珞珈新空科技有限公司 | 一种基于圆柱坐标的车载激光点云滤波方法 |
CN110309240A (zh) * | 2018-03-14 | 2019-10-08 | 北京京东尚科信息技术有限公司 | 去除动态目标的方法和装置 |
CN109872329A (zh) * | 2019-01-28 | 2019-06-11 | 重庆邮电大学 | 一种基于三维激光雷达的地面点云快速分割方法 |
CN110135335A (zh) * | 2019-05-14 | 2019-08-16 | 哈尔滨工业大学 | 基于直线空间分布关系和投影特征的群目标检测算法 |
CN110244840A (zh) * | 2019-05-24 | 2019-09-17 | 华为技术有限公司 | 图像处理方法、相关设备及计算机存储介质 |
CN110866449A (zh) * | 2019-10-21 | 2020-03-06 | 北京京东尚科信息技术有限公司 | 识别道路中目标对象的方法和装置 |
Non-Patent Citations (1)
Title |
---|
张清云编著: "Python数据结构学习笔记", 北京:中国铁道出版社, pages: 169 - 171 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112669376A (zh) * | 2021-01-28 | 2021-04-16 | 燕山大学 | 一种料堆残垛层高计算方法及*** |
CN113064179A (zh) * | 2021-03-22 | 2021-07-02 | 上海商汤临港智能科技有限公司 | 一种点云数据筛选方法、车辆控制方法及装置 |
CN112907746A (zh) * | 2021-03-25 | 2021-06-04 | 上海商汤临港智能科技有限公司 | 电子地图的生成方法、装置、电子设备及存储介质 |
CN113538547A (zh) * | 2021-06-03 | 2021-10-22 | 苏州小蜂视觉科技有限公司 | 一种3d线激光传感器的深度处理方法及点胶设备 |
CN113537049A (zh) * | 2021-07-14 | 2021-10-22 | 广东汇天航空航天科技有限公司 | 地面点云数据处理方法、装置、终端设备及存储介质 |
CN113537049B (zh) * | 2021-07-14 | 2023-03-24 | 广东汇天航空航天科技有限公司 | 地面点云数据处理方法、装置、终端设备及存储介质 |
CN114283090A (zh) * | 2021-12-27 | 2022-04-05 | 深圳朗道智通科技有限公司 | 一种地面滤除方法、设备、存储介质及计算机程序产品 |
CN115375699A (zh) * | 2022-10-25 | 2022-11-22 | 杭州华橙软件技术有限公司 | 点云分割方法、移动机器人及计算机可读存储介质 |
CN116071520A (zh) * | 2023-03-31 | 2023-05-05 | 湖南省水务规划设计院有限公司 | 一种数字孪生水务仿真模拟测试方法 |
CN116071520B (zh) * | 2023-03-31 | 2023-07-14 | 湖南省水务规划设计院有限公司 | 一种数字孪生水务仿真模拟测试方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112132108A (zh) | 地面点云数据的提取方法、装置、设备及存储介质 | |
CN108228798B (zh) | 确定点云数据之间的匹配关系的方法和装置 | |
CA2678156C (en) | Measurement apparatus, measurement method, and feature identification apparatus | |
CN110866449A (zh) | 识别道路中目标对象的方法和装置 | |
JP7156515B2 (ja) | 点群アノテーション装置、方法、及びプログラム | |
CN107679458B (zh) | 一种基于K-Means的道路彩色激光点云中道路标线的提取方法 | |
CN111721281B (zh) | 位置识别方法、装置和电子设备 | |
EP3543910B1 (en) | Cloud detection in aerial imagery | |
CN110795978B (zh) | 路面点云数据提取方法、装置、存储介质及电子设备 | |
Yadav et al. | Identification of trees and their trunks from mobile laser scanning data of roadway scenes | |
Tomljenovic et al. | Influence of point cloud density on the results of automated Object-Based building extraction from ALS data | |
CN114882316A (zh) | 目标检测模型训练方法、目标检测方法及装置 | |
Potó et al. | Laser scanned point clouds to support autonomous vehicles | |
Badenko et al. | Comparison of software for airborne laser scanning data processing in smart city applications | |
JP2007193850A (ja) | 変化領域認識装置 | |
CN112749584A (zh) | 一种基于图像检测的车辆定位方法及车载终端 | |
US11423611B2 (en) | Techniques for creating, organizing, integrating, and using georeferenced data structures for civil infrastructure asset management | |
CN112258568B (zh) | 一种高精度地图要素的提取方法及装置 | |
KR100981588B1 (ko) | 특징점 픽셀의 크기와 방향 정보를 이용하는 벡터 변환에 기초한 도시공간 지리정보 생성 시스템 | |
CN106709473B (zh) | 一种基于体元的机载lidar道路提取方法 | |
Vu et al. | Wavelet and scale-space theory in segmentation of airborne laser scanner data | |
WO2021250734A1 (ja) | 座標変換装置、座標変換方法、及び座標変換プログラム | |
KR101114904B1 (ko) | 도화원도와 항공 레이저 측량 데이터를 이용한 도시공간정보 구축 시스템 및 그 방법 | |
CN113192194A (zh) | 一种植被区地形图的绘制方法 | |
KR101079359B1 (ko) | 항공 사진과 항공 레이저 측량 데이터를 이용한 수치지도 구축 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |