CN115424265A - 一种点云语义分割标注方法及*** - Google Patents
一种点云语义分割标注方法及*** Download PDFInfo
- Publication number
- CN115424265A CN115424265A CN202211025642.8A CN202211025642A CN115424265A CN 115424265 A CN115424265 A CN 115424265A CN 202211025642 A CN202211025642 A CN 202211025642A CN 115424265 A CN115424265 A CN 115424265A
- Authority
- CN
- China
- Prior art keywords
- laser
- points
- labeling
- point
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种点云语义分割标注方法及***,其中的方法首先构建激光雷达扫描对应的三维场景,并在三维场景中建立以激光雷达为原点的三维坐标系;然后获取激光点在三维坐标系中的坐标;再采用矩形框或者曲线框的方式对激光点进行框选,最后对框选出的激光点进行标注。针对数据标注的无序、稀疏和分布不均匀等特性,设计了两种点云语义分割和一种删除点云语义人机交互标注方法,让标注员更好的在二维屏幕上精确快速地划分三维场景中的点云,解决了现有技术中的标注方法产生的漏标、错标、效率低的问题。
Description
技术领域
本发明涉及数据处理中点云标注技术领域,尤其涉及一种点云语义分割标注方法及***。
背景技术
近年来,3D传感器不断出现和发展,使得点云数据的应用场景越来越广泛。特别是在自动驾驶领域,广泛采用解决方案就是利用车载激光雷达获取点云,用数据驱动算法模型迭代,使汽车具有强大的感知能力,处理更多、更复杂的场景,其中三维点云数据标注是必不可少的环节之一。
在获取物体表面每个采样点的空间坐标后,得到的是一个点的集合,即为“点云”。包括三维坐标、激光反射强度和颜色信息等。点云语义分割标注任务是将标注对象进行可视化以进行更加详细的检测和分类,从而获取维度精准的分割。给点云中的每个点赋予相应的语义标签,然后将处理好的点云数据输入到深度神经网络,训练模型。一般采用人工标注和半自动化标注两种方式:人工标注完全依赖大量的人力资源,精确度能得到保证;半自动化标注如专利申请CN202111013628.1激光点云数据标注方法、装置、设备及产品,虽然能够在很大程度上提高标注效率,但由于得到得结果并不完全理想,而自动驾驶为了保证安全,对训练数据的要求非常严格,后期也需要进行人工调整。
现有标注平台主要针对二维图像标注,三维点云标注平台还是一片蓝海,且仅有的几个开源点云标注平台只有简单的渲染和交互,标注员无法进行高效的标注,而且标注研究更多是对于三维框的目标检测标注任务,如专利CN202110139777.6一种点云与图片融合标注的方法及***,对点云语义分割这类任务,精细到原子级的标注研究较少,此外,专利CN201710262366.X一种激光点云标注方法及装置,提出了两种标注方式,第一种是点击获取从相机到屏幕点击点的射线,获取到一个区间内标注的点,再判定该区间内激光点到射线的距离是否小于距离阈值;第二种是画出三维框,看点是否在框内;方案一只是对局部点标注,方案二通过画出三维框查找激光点是否落入该局部空间,标注效率均较低。
由此可知,现有技术中的方法存在标注效率不高的技术问题。
发明内容
本发明提供了一种点云语义分割标注方法及***,用以解决或者至少部分解决现有技术中的方法存在的标注效率不高的技术问题。
为了解决上述技术问题,本发明第一方面提供了一种点云语义分割标注方法,包括:
构建激光雷达扫描对应的三维场景,并在三维场景中建立以激光雷达为原点的三维坐标系;
获取激光点在三维坐标系中的坐标;
采用矩形框或者曲线框的方式对激光点进行框选,其中,采用矩形框的方式对激光点进行框选包括:响应于鼠标的点击操作,在屏幕的画布中根据对角的两点和方向确定一个矩形框,将激光点在三维坐标系中的坐标转化为二维屏幕坐标,根据点与矩形的关系,判断激光点是否被矩形框框选;采用曲线框的方式对激光点进行框选,包括:响应于鼠标的点击操作,在屏幕的画布中形成一条曲线,通过监听鼠标的移动事件定时获取鼠标在曲线上的点,在预设间隔内用线段代替一段曲线,依次连接曲线上的点组成一个多边形,然后将激光点在三维坐标系中的坐标转化为二维屏幕坐标,并根据点与多边形的关系,判断激光点是否被曲线对应的多边形框选;
对框选出的激光点进行标注。
在一种实施方式中,将激光点在三维坐标系中的坐标转化为二维屏幕坐标,包括:
通过相机观测变换,将激光点在三维坐标系中的坐标转换为标准设备坐标;
将标准设备坐标转化为二维屏幕坐标。
在一种实施方式中,根据点与矩形的关系,判断激光点是否被矩形框框选,包括:
判断转换后的激光点的二维屏幕坐标的x分量是否在矩形框在水平x方向的最小值与最大值之间,并且转换后的激光点的二维屏幕坐标的y分量是否在矩形框在水平y方向的最小值与最大值之间,如果都在范围之间,则表明该激光点被矩形框框选。
在一种实施方式中,判断激光点是否被曲线对应的多边形框选的方法采用回转数算法,该算法包括:
将待定激光点与多边形的所有点进行连接;
按预设顺序计算相邻两边的夹角,其中,夹角为有向角,逆时针为正,顺时针为负,并取夹角均小于180度的那一侧;
将所有的夹角进行累加;
如果夹角的累加和为0,则表明待定激光点位于多边形外,没有被框选;如果夹角的累加和为360的整数倍,表明待定激光点位于多边形内,被框选。
在一种实施方式中,对框选出的激光点进行标注,包括:
根据激光点所述的类别和类别对应的颜色,对激光点进行标签类型标注和颜色渲染。
在一种实施方式中,在对框选出的激光点进行标注之后,所述方法还包括:检查框选区域所构成的局部标注空间是否出现漏标、误标情况,如果出现漏标情况,则进行再次框选,如果出现误标情况,则对误标的激光点的标注信息进行删除。
基于同样的发明构思,本发明第二方面提供了一种点云语义分割标注***,包括:
场景构建模块,用于构建激光雷达扫描对应的三维场景,并在三维场景中建立以激光雷达为原点的三维坐标系;
三维坐标获取模块,用于获取激光点在三维坐标系中的坐标;
框选模块,用于采用矩形框或者曲线框的方式对激光点进行框选,其中,采用矩形框的方式对激光点进行框选包括:响应于鼠标的点击操作,在屏幕的画布中根据对角的两点和方向确定一个矩形框,将激光点在三维坐标系中的坐标转化为二维屏幕坐标,根据点与矩形的关系,判断激光点是否被矩形框框选;采用曲线框的方式对激光点进行框选,包括:响应于鼠标的点击操作,在屏幕的画布中形成一条曲线,通过监听鼠标的移动事件定时获取鼠标在曲线上的点,在预设间隔内用线段代替一段曲线,依次连接曲线上的点组成一个多边形,然后将激光点在三维坐标系中的坐标转化为二维屏幕坐标,并根据点与多边形的关系,判断激光点是否被曲线对应的多边形框选;
标注模块,用于对框选出的激光点进行标注。
在一种实施方式中,所述***还包括标注数据交互模块,将接收到的对激光点云数据和对应的标签信息、颜色信息进行可视化渲染,标注完成之后,将标注结果反馈给服务器。
基于同样的发明构思,本发明第三方面提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被执行时实现第一方面所述的方法。
基于同样的发明构思,本发明第四方面提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现第一方面所述的方法。
相对于现有技术,本发明的优点和有益的技术效果如下:
本发明提供的一种点云语义分割标注方法,构建了以激光雷达为原点的三维坐标系,并获取激光点在三维坐标系中的坐标,采用了两种不同的框选方式,其中的矩形框框选方式将激光点在三维坐标系中的坐标转化为二维屏幕坐标,然后根据对角的两点和两点之间的方向确定出一个矩形框,曲线框框选的方式通过将任意一条曲线转换为多边形,即通过在二维屏幕中画出二维封闭图形(矩形框或者曲线)去查找激光点是否落入该图形中,一方面能够直接描绘出被扫描目标物体的点云大致轮廓,另一方面在二维屏幕中通过二维图形这种交互方式的效率更高,因此整体提高了标注效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中点云语义分割标注方法的整体流程示意图;
图2为本发明实施例中点云语义分割标注***中提供的可选择的交互工具图标示意图;
图3为本发明实施例中点云语义分割标注***中矩形框语义分割交互示意图;
图4为本发明实施例中点云语义分割标注***中矩形框语义删除交互示意图;
图5为本发明实施例中点云语义分割标注***中曲线框语义分割交互示意图;
图6为具体实施例中利用点云语义分割标注***进行标注的流程图;
图7为具体实施例中提供的点云语义分割标注界面。
具体实施方式
本申请发明人通过大量的研究与实践发现:
申请号为201710262366.X的专利一种激光点云标注方法及装置,提出了两种标注方式,第一种是点击获取从相机到屏幕点击点的射线,获取到一个区间内标注的点,在判定该区间内激光点到射线的距离是否小于距离阈值;第二种是画出三维框,判断点是否在框内。其中,第一种方法虽然能够精确地拾取到点,但是真实的场景中目标物体相对集中且有一定的轮廓,只通过拾取个别数量的点使得标注效率较低;第二种方法通过画出三维框的方式来查找激光点是否落入该局部空间,虽然能够画出一定的轮廓,但是在二维屏幕中通过画三维框这种交互方式本身比较繁琐,这是因为相机视角会造成一定的视觉误差,后期还需要通过调整去贴合物体的轮廓,从而导致标注效率也不高。
基于此,本发明提供了一种点云语义分割标注方法,将点云的三维坐标先转化为二维屏幕坐标,在二维屏幕中画出二维封闭图形(矩形框或者曲线)去查找激光点是否落入该图形中,一方面能够直接描绘出被扫描目标物体的点云大致轮廓,另一方面在二维屏幕中画二维图形这种交互方式体验更好、效率更高。点云语义分割算法需要大量的具有真实准确的语义分割数据,需要高效率、人性化的交互方案。另一方面,从标注工程发展上看,目前自动驾驶企业对数据的依赖已经到了大批量、高效率、低成本的阶段,个体化、小作坊的数据生产已经无法满足现有的数据需求,迫切需要通过工业化、流程化、规模化数据产品生产提升标注的效率,并且标注平台能贯通数据库设计、数据处理、质量控制和数据安全管理等各环节于一体,对点云数据做到一站式加工处理的管理和执行一体化。因此,本发明还提供了一种点云语义分割标注***。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
本发明实施例提供了一种点云语义分割标注方法,包括:
构建激光雷达扫描对应的三维场景,并在三维场景中建立以激光雷达为原点的三维坐标系;
获取激光点在三维坐标系中的坐标;
采用矩形框或者曲线框的方式对激光点进行框选,其中,采用矩形框的方式对激光点进行框选包括:响应于鼠标的点击操作,在屏幕的画布中根据对角的两点和方向确定一个矩形框,将激光点在三维坐标系中的坐标转化为二维屏幕坐标,根据点与矩形的关系,判断激光点是否被矩形框框选;采用曲线框的方式对激光点进行框选,包括:响应于鼠标的点击操作,在屏幕的画布中形成一条曲线,通过监听鼠标的移动事件定时获取鼠标在曲线上的点,在预设间隔内用线段代替一段曲线,依次连接曲线上的点组成一个多边形,然后将激光点在三维坐标系中的坐标转化为二维屏幕坐标,并根据点与多边形的关系,判断激光点是否被曲线对应的多边形框选;
对框选出的激光点进行标注。
本发明的目的在于提供三维点云语义分割标注的解决方案,针对数据标注的无序、稀疏和分布不均匀等特性,设计了两种点云语义分割方法(即矩形框框选和曲线框框选)和一种删除点云语义人机交互标注方法,从而可以让标注员更好的在二维屏幕上精确快速地划分三维场景中的点云,解决现有技术中的标注方法产生的漏标、错标、效率低的问题;相应的,本发明实施例还提供了一套完整的标注***,可满足目前自动驾驶中激光雷达点云语义分割任务标注需求。
请参见图1,为本发明实施例中点云语义分割标注方法的整体流程示意图。
具体来说,通过坐标转换可以将激光点在三维坐标系中的坐标转化为二维屏幕坐标,得到激光点的二维屏幕坐标之后,则可以根据激光点的二维屏幕坐标与画出的矩形的关系来判断激光点是否落在矩形框中。
通过监听鼠标的移动事件定时获取鼠标在曲线上的点,时间间隔可以根据实际情况设置,例如选择20ms。预设间隔也可以根据实际情况设置。
在一种实施方式中,将激光点在三维坐标系中的坐标转化为二维屏幕坐标,包括:
通过相机观测变换,将激光点在三维坐标系中的坐标转换为标准设备坐标;
将标准设备坐标转化为二维屏幕坐标。
具体实施过程中,坐标转换的实现过程如下:
一、将三维坐标通过相机视图变换得到标准设备坐标
首先,先进行视图变换,利用观测(View)矩阵将模型投影到相机上,该矩阵记为V。定义观察矩阵(即相机状态),需要以下参数:
①相机位置Pos=[xp,yp,zp]T
②相机上方U=[xu,yu,zu]T
③相机观察方向L=[xl,yl,zl]T
④相机右方R=L×U=[xr,yr,zr]T
其中x、y、z表示X轴、Y轴、Z轴三个维度坐标,Pos、U、L、R分别表示相机位置坐标、上方向量、观察方向向量、右方向量,下标p、u、l、r也对应这4个量,例如xp,yp,zp表示相机位置的三轴坐标。
要感受物体进行了平移旋转变换,需要对观测矩阵进行相反的操作,也就是从观测矩阵到初始观测矩阵(记为V0)的逆变换。对于平移矩阵VT,将其写成齐次形式如下:
对于旋转矩阵VR,得到其逆向变换如下:
R:[xl,yl,zl]T×[xu,yu,zu]T=[xr,yr,zr]T→[1,0,0]T(X轴方向)
U:[xu,yu,zu]T→[0,1,0]T(Y轴方向)
L:[-xl,-yl,-zl]T→[0,0,1]T(Z轴方向)
因此有:
旋转矩阵又是正交矩阵,可得观测矩阵为:
其次,再进行投影变换转换到以摄像机为原点的观察空间坐标系下,只有位于视锥体的物体才会被摄像机渲染并且可见,需要将范围外的定点剔除,分为正交投影和透视投影两种情况,在正交投影下,正交投影矩阵PO为:
其中,l、r分别表示视锥体左平面和右平面在X轴上的位置,t、b分别表示视锥体上平面和下平面在Y轴上的位置,n、f分别表示视锥体***面和远平面在Z轴上的位置。
透视投影先通过挤压远平面f来变成正交投影,透视投影矩阵PP为:
P表示投影矩阵,下标O和P分别表示正交投影和透视投影,P→O表示从透视投影转换到正交投影,即,PO表示正交投影矩阵,PP表示透视投影矩阵,PP→O表示从透视投影转换到正交投影的投影矩阵。
综上,将观察空间转换到裁剪空间,使变换后的x、y、z分量都位于[-w,w]这个范围内,其齐次裁剪坐标Cc为:
C表示坐标,x、y、z、w表示齐次坐标分量,下标clip表示裁剪坐标,下标p表示激光点坐标。最后将裁剪坐标通过透视除法映射到[-1,1]的空间,标准化设备坐标为:
下标ndc表示标准化设备坐标。
二、将标准化设备坐标转化为屏幕坐标
第二步是在完成所有的裁剪和映射的工作后,进行真正的投影,即投影到屏幕空间,从而得到真正的二维像素坐标:
Screenx=(1+Cndc.x)/2×PixelWidth
Screeny=(1+Cndc.y)/2×PixelHeight
Screen表示屏幕坐标(Screenx、Screeny分别为屏幕的横坐标和纵坐标),PixelWidth和PixelHeight分别表示窗口的宽度和高度。Cndc.x和Cndc.y分别为标准化坐标的x轴和y轴坐标。
在一种实施方式中,根据点与矩形的关系,判断激光点是否被矩形框框选,包括:
判断转换后的激光点的二维屏幕坐标的x分量是否在矩形框在水平x方向的最小值与最大值之间,并且转换后的激光点的二维屏幕坐标的y分量是否在矩形框在水平y方向的最小值与最大值之间,如果都在范围之间,则表明该激光点被矩形框框选。
具体实施过程中,在得到激光点的二维屏幕坐标之后,通过下式来判断激光点是否落入矩形框:
rectangle.xmin<Screenx<rectangle.xmax
&&rectangle.ymin<Screeny<rectangle.ymax
rectangle表示矩形框,下标min和max分别表示矩形框在水平x方向和竖直y方向的小值和大值。
在一种实施方式中,判断激光点是否被曲线对应的多边形框选的方法采用回转数算法,该算法包括:
将待定激光点与多边形的所有点进行连接;
按预设顺序计算相邻两边的夹角,其中,夹角为有向角,逆时针为正,顺时针为负,并取夹角均小于180度的那一侧;
将所有的夹角进行累加;
如果夹角的累加和为0,则表明待定激光点位于多边形外,没有被框选;如果夹角的累加和为360的整数倍,表明待定激光点位于多边形内,被框选。
具体来说,曲线框框选的交互形式是通过鼠标在二维屏幕的画布中画出任意曲线框选出点云。需要利用“以直代曲”的思想将曲线描述成多边形,然后将三维坐标点转换成二维屏幕坐标,通过点是否在封闭多边形内的算法来判定点是否在曲线内。
首先,在屏幕的画布上通过鼠标操作绘制出一条曲线,在曲线的绘制过程中通过监听鼠标的移动事件定时获取鼠标在曲线上的点,本实施方式中时间间隔选择20毫秒,在一个较小的间隔内用线段代替一段曲线,最终能够用多个点组成的多边形去逼近这个封闭曲线。如果绘制的曲线没有形成封闭区域,则将第一个点和最后一个点相连。
除了如何去描述一个曲线之外,还需知道如何绘制出这个曲线,并记录曲线的形状和位置等信息。本实施方式采用的是高阶贝塞尔曲线的方式,取集合中的关键点,同时为了避免阶乘的问题,取的数量也在控制范围内,将其进行分组。
其次,确定判断点是否在封闭多边形内算法。现有技术通常两种算法实现:光线投射算法(Ray casting algorithm又称even-odd算法)和回转数算法(winding numberalgorithm)。光线投射算法依据的是约当曲线定理:一个简单闭合多边形一定会将平面分为内部和外部,连接内部任意一点与外部任意一点的线段一定经过闭合图形的边。光线投射算法是从一点向无穷远处引一条射线,计算该射线和多边形的边相交的次数,如果是奇数次,则点在多边形内部,如果是偶数次,则点在多边形外部。该算法不能够处理射线和多边形顶点相交以及射线和多边形边重合的特殊情形,所以又有改进的光线投射算法,但是其性能消耗较大,考虑到计算点的数量较多和标注员对实时交互体验要求较高,所以本实施方式采取是回转数算法,其计算效率更高。其原理是平面内闭合曲线逆时针绕过该点的总次数。当回转数等于0的时候,点在曲线外部。这个算法同样被称为非零规则(Nonzero-rule)。其计算步骤如下:
①将该点与多边形的所有点连接起来;
②按顺序计算计算相邻两边的夹角;
③规定夹角为有向角,逆时针为正,顺时针为负,并取夹角均小于180度的那一侧;
④将所有的夹角累加;
⑤如果夹角和为0,则这个点再多边形外;如果夹角和是360的整数倍,则在多边形内。
最后,循环遍历所有的激光点,将其从三维坐标转换到二维坐标,其所有转换过程前面已经描述,通过回转数算法落在封闭曲线内的点。
通过矩形框框选和曲线框框选的两种交互,均可以完成对点的选取,然后附上相应的语义标签,如有修改需求,则可以任选一种交互方式重新对其覆盖框选。
在一种实施方式中,对框选出的激光点进行标注,包括:
根据激光点所述的类别和类别对应的颜色,对激光点进行标签类型标注和颜色渲染。
在一种实施方式中,在对框选出的激光点进行标注之后,所述方法还包括:检查框选区域所构成的局部标注空间是否出现漏标、误标情况,如果出现漏标情况,则进行再次框选,如果出现误标情况,则对误标的激光点的标注信息进行删除。
实施例二
基于同样的发明构思,本实施例提供了一种点云语义分割标注***,包括:
场景构建模块,用于构建激光雷达扫描对应的三维场景,并在三维场景中建立以激光雷达为原点的三维坐标系;
三维坐标获取模块,用于获取激光点在三维坐标系中的坐标;
框选模块,用于采用矩形框或者曲线框的方式对激光点进行框选,其中,采用矩形框的方式对激光点进行框选包括:将激光点在三维坐标系中的坐标转化为二维屏幕坐标,响应于鼠标的点击操作,在屏幕的画布中根据对角的两点和方向确定一个矩形框,根据点与矩形的关系,判断激光点是否被矩形框框选;采用曲线框的方式对激光点进行框选,包括:响应于鼠标的点击操作,在屏幕的画布中形成一条曲线,通过监听鼠标的移动事件定时获取鼠标在曲线上的点,在预设间隔内用线段代替一段曲线,依次连接曲线上的点组成一个多边形,然后将激光点在三维坐标系中的坐标转化为二维屏幕坐标,并根据点与多边形的关系,判断激光点是否被曲线对应的多边形框选;
标注模块,用于对框选出的激光点进行标注。
请参见图6,为具体实施例中利用点云语义分割标注***进行标注的流程图。
具体来说,利用点云语义分割标注***进行语义标注的过程如下:
步骤1:将点云数据文件批量上传,例如pcd格式点云。
步骤2:由项目管理者创建点云语义分割标注任务,将上传的点云任务分包,分配给不同的标注员。
步骤3:配置模板,根据预先定义好的点云语义类型,设置不同的标签名和标识,并选定其对应的颜色,便于标注过程中区分。
步骤4:读取并加载对应格式的点云文件,在终端中(前端)构建激光雷达扫描对应的三维场景,建立以激光雷达为原点的三维坐标系,然后对所有的激光点进行遍历获取其对应的位置信息,通过粒子***将其可视化。本发明实例对构建三维场景方式不做严格限制,可采用WebGL、OSG、STK等多种技术方案。
步骤5:点云语义标注,该步骤主要是对激光点进行标注和染色,标注人员能够直观、快速的判断并选取各个语义类型的激光点。整个标注界面被划分为三大块:1)主操作区,在二维屏幕上提供点云的三维构建渲染和交互;2)属性栏,分为标签栏和列表栏,标签栏为模板配置的所有的语义标签,在标注时选中为每个交互操作附上语义信息,列表栏为操作记录列表,支持增删改查;3)工具栏,包含前面设计的四种标注工具,还有点云图拖拽工具,鸟瞰/自由视角切换,点粒子大小调整,帧控制等。
图2~图5分别为本发明实施例中点云语义分割标注***中提供的可选择的交互工具图标、矩形框语义分割交互、矩形框语义删除交互、曲线框语义分割交互示意图。图7为具体实施例中提供的点云语义分割标注界面。
具体标注功能可通过S1~S4交互步骤实现:
S1、在工具栏中选择一种标注工具对激光点进行框选;
S2、在标签栏中设置已选择的激光点的标签类型,并根据目标类型对应的标注颜色区分;
可选地,提供灵活的标注顺序,先进行标签类型的选择,再进行激光点的框选、染色。
S3、检查局部标注空间是否出现漏标、误标,漏标可进行再次框选,误标可以选择擦除工具;
优选地,通过鸟瞰/自由视角切换,选择正交/投影相机,便于标注员对将三维空间理解,还可以调整相机的位置、方向、视角查看三维场景的激光点,选择点云图拖拽工具、缩放,方便标注员定位到下一步想要标注位置,增强标注员的交互体验。
S4、重复上述步骤,保证激光点的语义信息尽可能的精确和全面,检查列表栏的标注记录,确认无误点击下一帧直到任务完成。
步骤6:标注数据交互,以“标签类型—颜色—点序列数组”的形式进行存储,前端接受到服务器发送的激光点云数据和对应的标签信息、颜色信息,会将所有点可视化渲染。同时在标注过程中将结果反馈给服务器,考虑到数据交互量大、点云语义的唯一性,设计合理高效的接口进行数据交互,避免因网络延迟影响标注体验。
步骤7:标注结果导出,考虑到原始点云文件的点序列不变性,将每个点语义标注结果通过序列号对应到原文件中,最后以规定的格式导出。
总体来说,本发明针对数据标注的无序、稀疏和分布不均匀等特性,设计了多种点云语义人机交互标注方法,让标注员更好的在二维屏幕上精确快速地划分三维场景中的点云,解决人工标注产生的漏标、错标、效率低的问题;本发明实施例提供了一套完整的标注***,投入到数据产品生产中,为车企提供基础数据服务。支持百万级点云标注,标注交互延迟200ms以内,常规数据接口相应速度500ms以内,点云操作工具4种,支持多种语义类型标注,平台启动速度3s,最大标注在线人数200人,标注准确率可达到98%以上。
由于本发明实施例二所介绍的***为实施本发明实施例一中点云语义分割标注方法所采用的***,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该***的具体结构及变形,故而在此不再赘述。凡是本发明实施例一中方法所采用的***都属于本发明所欲保护的范围。
实施例三
基于同一发明构思,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被执行时实现如实施例一中所述的方法。
由于本发明实施例三所介绍的计算机可读存储介质为实施本发明实施例一中点云语义分割标注方法所采用的计算机可读存储介质,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该计算机可读存储介质的具体结构及变形,故而在此不再赘述。凡是本发明实施例一的方法所采用的计算机可读存储介质都属于本发明所欲保护的范围。
实施例四
基于同一发明构思,本申请还提供了一种计算机设备,包括存储、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行上述程序时实现实施例一中的方法。
由于本发明实施例四所介绍的计算机设备为实施本发明实施例一中点云语义分割标注方法所采用的计算机设备,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该计算机设备的具体结构及变形,故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机设备都属于本发明所欲保护的范围。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种点云语义分割标注方法,其特征在于,包括:
构建激光雷达扫描对应的三维场景,并在三维场景中建立以激光雷达为原点的三维坐标系;
获取激光点在三维坐标系中的坐标;
采用矩形框或者曲线框的方式对激光点进行框选,其中,采用矩形框的方式对激光点进行框选包括:响应于鼠标的点击操作,在屏幕的画布中根据对角的两点和方向确定一个矩形框,将激光点在三维坐标系中的坐标转化为二维屏幕坐标,根据点与矩形的关系,判断激光点是否被矩形框框选;采用曲线框的方式对激光点进行框选,包括:响应于鼠标的点击操作,在屏幕的画布中形成一条曲线,通过监听鼠标的移动事件定时获取鼠标在曲线上的点,在预设间隔内用线段代替一段曲线,依次连接曲线上的点组成一个多边形,然后将激光点在三维坐标系中的坐标转化为二维屏幕坐标,并根据点与多边形的关系,判断激光点是否被曲线对应的多边形框选;
对框选出的激光点进行标注。
2.如权利要求1所述的点云语义分割标注方法,其特征在于,将激光点在三维坐标系中的坐标转化为二维屏幕坐标,包括:
通过相机观测变换,将激光点在三维坐标系中的坐标转换为标准设备坐标;
将标准设备坐标转化为二维屏幕坐标。
3.如权利要求1所述的基于点云语义分割标注方法,其特征在于,根据点与矩形的关系,判断激光点是否被矩形框框选,包括:
判断转换后的激光点的二维屏幕坐标的x分量是否在矩形框在水平x方向的最小值与最大值之间,并且转换后的激光点的二维屏幕坐标的y分量是否在矩形框在水平y方向的最小值与最大值之间,如果都在范围之间,则表明该激光点被矩形框框选。
4.如权利要求1所述的基于点云语义分割标注方法,其特征在于,判断激光点是否被曲线对应的多边形框选的方法采用回转数算法,该算法包括:
将待定激光点与多边形的所有点进行连接;
按预设顺序计算相邻两边的夹角,其中,夹角为有向角,逆时针为正,顺时针为负,并取夹角均小于180度的那一侧;
将所有的夹角进行累加;
如果夹角的累加和为0,则表明待定激光点位于多边形外,没有被框选;如果夹角的累加和为360的整数倍,表明待定激光点位于多边形内,被框选。
5.如权利要求1所述的基于点云语义分割标注方法,其特征在于,对框选出的激光点进行标注,包括:
根据激光点所述的类别和类别对应的颜色,对激光点进行标签类型标注和颜色渲染。
6.如权利要求1所述的基于点云语义分割标注方法,其特征在于,在对框选出的激光点进行标注之后,所述方法还包括:检查框选区域所构成的局部标注空间是否出现漏标、误标情况,如果出现漏标情况,则进行再次框选,如果出现误标情况,则对误标的激光点的标注信息进行删除。
7.一种点云语义分割标注***,其特征在于,包括:
场景构建模块,用于构建激光雷达扫描对应的三维场景,并在三维场景中建立以激光雷达为原点的三维坐标系;
三维坐标获取模块,用于获取激光点在三维坐标系中的坐标;
框选模块,用于采用矩形框或者曲线框的方式对激光点进行框选,其中,采用矩形框的方式对激光点进行框选包括:响应于鼠标的点击操作,在屏幕的画布中根据对角的两点和方向确定一个矩形框,将激光点在三维坐标系中的坐标转化为二维屏幕坐标,根据点与矩形的关系,判断激光点是否被矩形框框选;采用曲线框的方式对激光点进行框选,包括:响应于鼠标的点击操作,在屏幕的画布中形成一条曲线,通过监听鼠标的移动事件定时获取鼠标在曲线上的点,在预设间隔内用线段代替一段曲线,依次连接曲线上的点组成一个多边形,然后将激光点在三维坐标系中的坐标转化为二维屏幕坐标,并根据点与多边形的关系,判断激光点是否被曲线对应的多边形框选;
标注模块,用于对框选出的激光点进行标注。
8.如权利要求7所述的基于点云语义分割标注***,其特征在于,所述***还包括标注数据交互模块,将接收到的对激光点云数据和对应的标签信息、颜色信息进行可视化渲染,标注完成之后,将标注结果反馈给服务器。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被执行时实现如权利要求1至6中任一项权利要求所述的方法。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6中任一项权利要求所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211025642.8A CN115424265A (zh) | 2022-08-25 | 2022-08-25 | 一种点云语义分割标注方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211025642.8A CN115424265A (zh) | 2022-08-25 | 2022-08-25 | 一种点云语义分割标注方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115424265A true CN115424265A (zh) | 2022-12-02 |
Family
ID=84198736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211025642.8A Withdrawn CN115424265A (zh) | 2022-08-25 | 2022-08-25 | 一种点云语义分割标注方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115424265A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116309962A (zh) * | 2023-05-10 | 2023-06-23 | 倍基智能科技(四川)有限公司 | 一种激光雷达点云数据的标注方法、***及应用 |
CN116597149A (zh) * | 2023-06-07 | 2023-08-15 | 宁波博登智能科技有限公司 | 一种基于工业生产的点云语义分割***和方法 |
-
2022
- 2022-08-25 CN CN202211025642.8A patent/CN115424265A/zh not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116309962A (zh) * | 2023-05-10 | 2023-06-23 | 倍基智能科技(四川)有限公司 | 一种激光雷达点云数据的标注方法、***及应用 |
CN116309962B (zh) * | 2023-05-10 | 2023-09-26 | 倍基智能科技(四川)有限公司 | 一种激光雷达点云数据的标注方法、***及应用 |
CN116597149A (zh) * | 2023-06-07 | 2023-08-15 | 宁波博登智能科技有限公司 | 一种基于工业生产的点云语义分割***和方法 |
CN116597149B (zh) * | 2023-06-07 | 2024-02-06 | 宁波博登智能科技有限公司 | 一种基于工业生产的点云语义分割***和方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108648269B (zh) | 三维建筑物模型的单体化方法和*** | |
Han et al. | Potential of big visual data and building information modeling for construction performance analytics: An exploratory study | |
US11074701B2 (en) | Interior photographic documentation of architectural and industrial environments using 360 panoramic videos | |
CN110176078B (zh) | 一种训练集数据的标注方法及装置 | |
US12046055B2 (en) | Associating two dimensional label data with three-dimensional point cloud data | |
US11978243B2 (en) | System and method using augmented reality for efficient collection of training data for machine learning | |
CN115424265A (zh) | 一种点云语义分割标注方法及*** | |
CN111300416B (zh) | 基于增强现实的模块化可重构机器人规划仿真方法和*** | |
EP1267309B1 (en) | 3D Computer Modelling Apparatus | |
Zollmann et al. | Interactive 4D overview and detail visualization in augmented reality | |
CN109242855B (zh) | 基于多分辨率三维统计信息的屋顶分割方法、***及设备 | |
CN112633657B (zh) | 一种施工质量管理方法、装置、设备及存储介质 | |
CN112528379B (zh) | 一种建筑模型生成方法、装置及电子设备 | |
CN114882272A (zh) | 一种航空制造件全角度投影图像面片属性融合分析方法 | |
CN115546422A (zh) | 一种建筑物的三维模型构建方法、***和电子设备 | |
CN116978010A (zh) | 图像标注方法和装置、存储介质和电子设备 | |
Pal et al. | Activity-level construction progress monitoring through semantic segmentation of 3D-informed orthographic images | |
CN114612393A (zh) | 一种基于单目视觉的反光零件位姿估计方法 | |
CN113870432A (zh) | 一种基于总线的非合作舰船目标全自动三维重建*** | |
Wang et al. | Construction photo localization in 3D reality models for vision-based automated daily project monitoring | |
CN110334818B (zh) | 一种管路自动识别的方法及*** | |
CN113808186B (zh) | 训练数据生成方法、装置与电子设备 | |
CN114612544A (zh) | 图像处理方法、装置、设备和存储介质 | |
EP3779878A1 (en) | Method and device for combining a texture with an artificial object | |
Jarofka et al. | Toolchain Development for Automated Scene Reconstruction using Artificial Neural Network Object Detection and Photogrammetry for the Application in Driving Simulators. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20221202 |
|
WW01 | Invention patent application withdrawn after publication |