CN117894015A - 点云标注数据优选方法及*** - Google Patents
点云标注数据优选方法及*** Download PDFInfo
- Publication number
- CN117894015A CN117894015A CN202410297172.3A CN202410297172A CN117894015A CN 117894015 A CN117894015 A CN 117894015A CN 202410297172 A CN202410297172 A CN 202410297172A CN 117894015 A CN117894015 A CN 117894015A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- differential
- point
- change rate
- clustering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000005457 optimization Methods 0.000 title claims abstract description 21
- 230000008859 change Effects 0.000 claims abstract description 332
- 238000004364 calculation method Methods 0.000 claims abstract description 35
- 238000001914 filtration Methods 0.000 claims abstract description 10
- 238000002372 labelling Methods 0.000 claims description 30
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种点云标注数据优选方法及***,其中,该方法包括:S1、获取原始点云集合;S2、对原始点云集合中的原始点云进行背景差分后过滤,得到差分点云集合,根据过滤结果更新原始点云集合得到最新点云集合;S3、对差分点云集合中各差分点云进行聚类,得到差分点云的聚类目标集合;S4、计算最新点云的信息量,将信息量降序排列,将首位信息量对应的最新点云作为基准点云,按顺序分别计算后续信息量对应的最新点云与基准点云的综合变化率,将小于预设变化率阈值的综合变化率对应的最新点云打标;打标的最新点云不参与后续计算,重复步骤S4直至以最后一个基准点云完成打标,将所有未打标的最新点云作为标注点云。提高了点云优选效率。
Description
技术领域
本发明涉及点云处理领域,尤其涉及一种点云标注数据优选方法及***。
背景技术
采用激光雷达对场景进行扫描会得到多帧连续的点云,这些点云包含很多目标信息,根据使用情况不同,需要对原始采集的点云进行不同类型的标注,例如标注点云中的目标类型、目标数量等,标注后的样本点云可以用于模型训练或物体识别等场景中。
现有技术中对样本点云的标注主要依赖于人工标注,对于一个序列的点云,其实部分点云间目标的变化小,例如场景中只有一个人在走,但走到某处不动了并进行长时间的停留,这种情况下如果不进行提前优选而是全部标注的话,会耗费大量的人力成本及时间成本。另外,对于训练模型的人来说,他面对的可能是一段可能由成千上万的点云构成的原始采集的点云序列,然后在点云可视化软件中一帧一帧地看然后挑选标注的样本,显而易见这是一个非常费时费力的工作。并且这个挑选的过程容易受人的主观判断影响,人工挑选的难度极大。
针对现有技术中人工挑选费时费力的问题,目前还没有一个有效的解决方法。
发明内容
为解决上述问题,本发明提供一种点云标注数据优选方法及***,通过对原始点云进行差分、过滤及聚类,得到聚类目标的有向包围盒信息,之后计算两个点云间的差分点云变化率及聚类目标的变化率,综合这两种变化率得到综合变化率,并根据综合变化率按顺序对一个序列的点云进行优选,以得到更具代表性的点云,从而解决现有技术中人工挑选费时费力的问题。
为达到上述目的,本发明提供了一种点云标注数据优选方法,包括:S1、获取原始点云集合;其中,所述原始点云集合包括连续的多帧原始点云;S2、对所述原始点云集合中的原始点云进行背景差分后过滤,得到过滤后的差分点云集合,并将过滤掉的点云对应的原始点云从所述原始点云集合中删除,得到最新点云集合;S3、对所述差分点云集合中各差分点云进行聚类,得到各差分点云的聚类目标集合;S4、根据差分点云的点数及聚类目标个数计算最新点云集合中对应最新点云的信息量,将信息量降序排列,将首位信息量对应的最新点云作为基准点云,根据点数差距及聚类目标差距,按顺序分别计算后续信息量对应的最新点云与基准点云的综合变化率,将小于预设变化率阈值的综合变化率对应的最新点云打标;将未打标的下一位信息量对应的最新点云作为基准点云,根据点数差距及聚类目标差距,按信息量排列顺序分别计算后续每个未打标的最新点云与基准点云的综合变化率,将小于预设变化率阈值的综合变化率对应的最新点云打标,重复步骤S4直至以最后一个基准点云完成打标,将所有未打标的最新点云作为标注点云。
进一步可选的,所述根据点数差距及聚类目标差距,按顺序分别计算后续信息量对应的最新点云与基准点云的综合变化率,包括:S401、确定所述基准点云对应的第一差分点云,及当前最新点云对应的第二差分点云,根据所述第一差分点云的点数与第二差分点云的点数计算差分点云变化率;S402、将所述第一差分点云的聚类目标集合与第二差分点云的聚类目标集合进行匈牙利匹配,得到匹配成功的聚类目标匹配对及未匹配成功的单聚类目标,根据聚类目标匹配对中两个聚类目标的有向包围盒信息及聚类目标点数计算匹配目标变化率,根据所述单聚类目标的点数及所属差分点云的点数计算未匹配目标变化率,对所有匹配目标变化率及未匹配目标变化率加权求和得到聚类目标变化率;S403、对所述差分点云变化率及聚类目标变化率进行加权求和得到所述综合变化率。
进一步可选的,所述根据所述第一差分点云的点数与第二差分点云的点数计算差分点云变化率,包括:S4011、统计所述第一差分点云的第一点数及第二差分点云的第二点数;S4012、根据所述第一点数与第二点数计算两个差分点云的绝对变化率;S4013、根据预设统计范围在所述第一差分点云中划定第一统计区域,对所述第一统计区域进行X方向及Y方向上的等间隔切片,得到多个点云切片,统计每个点云切片中的第三点数;S4014、根据预设统计范围在所述第二差分点云中划定第二统计区域,对所述第二统计区域进行X方向及Y方向上的等间隔切片,得到多个点云切片,统计每个点云切片中的第四点数;S4015、根据所述第一点数、第二点数、第三点数及第四点数计算两个差分点云的分布变化率;S4016、对所述绝对变化率及分布变化率进行加权求和得到所述差分点云变化率。
进一步可选的,所述根据聚类目标匹配对中两个聚类目标的有向包围盒信息及聚类目标点数计算匹配目标变化率通过下式计算:
;
其中,为聚类目标的有向包围盒的高度变化率的权重,/>为第一差分点云的第i个聚类目标的有向包围盒的高度值,/>为第二差分点云的第j个聚类目标的有向包围盒的高度值;/>为聚类目标的有向包围盒的长度变化率的权重,/>为第一差分点云的第i个聚类目标的有向包围盒的长度值,/>为第二差分点云的第j个聚类目标的有向包围盒的长度值;/>为聚类目标的有向包围盒的宽度变化率的权重,/>为第一差分点云的第i个聚类结果的有向包围盒的宽度值,/>为第二差分点云的第j个聚类结果的有向包围盒的宽度值;/>为聚类目标的有向包围盒的旋转角度变化率的权重,/>为第一差分点云的第i个聚类结果的有向包围盒的旋转角度,/>为第二差分点云的第j个聚类结果的有向包围盒的旋转角度;/>为聚类目标的有向包围盒的中心点相对偏移量的权重,/>,/>,/>分别为第一差分点云的第i个聚类结果的有向包围盒的中心点的x,y,z值;/>,/>,/>分别为第二差分点云的第j个聚类结果的有向包围盒的中心点的x,y,z值;/>为聚类结果的点数变化率的权重,/>为第一差分点云的第i个聚类目标的点数;/>为第二差分点云的第j个聚类目标的点数。
进一步可选的,所述根据所述单聚类目标的点数及所属差分点云的点数计算未匹配目标变化率通过下式计算:
;
其中,是未匹配成功的单聚类目标的点数,/>是该单聚类目标所属差分点云的点数。
进一步可选的,所述根据所述第一点数与第二点数计算两个差分点云的绝对变化率通过下式计算:
;
其中,为绝对变化率,/>为第一点数,/>为第二点数。
进一步可选的,所述根据所述第一点数、第二点数、第三点数及第四点数计算两个差分点云的分布变化率通过下式计算:
;
其中,为分布变化率,/>为第一差分点云的第i个切片的第三点数;/>为第二差分点云的第i个切片的第四点数;/>为第一点数,/>为第二点数。
另一方面,本发明还提供了一种点云标注数据优选***,包括:数据获取模块,用于获取原始点云集合;其中,所述原始点云集合包括连续的多帧原始点云;预处理模块,用于对所述原始点云集合中的原始点云进行背景差分后过滤,得到过滤后的差分点云集合,并将过滤掉的点云对应的原始点云从所述原始点云集合中删除,得到最新点云集合;聚类模块,用于对所述差分点云集合中各差分点云进行聚类,得到各差分点云的聚类目标集合;优选模块,用于根据差分点云的点数及聚类目标个数计算最新点云集合中对应最新点云的信息量,将信息量降序排列,将首位信息量对应的最新点云作为基准点云,根据点数差距及聚类目标差距,按顺序分别计算后续信息量对应的最新点云与基准点云的综合变化率,将小于预设变化率阈值的综合变化率对应的最新点云打标;将未打标的下一位信息量对应的最新点云作为基准点云,根据点数差距及聚类目标差距,按信息量排列顺序分别计算后续每个未打标的最新点云与基准点云的综合变化率,将小于预设变化率阈值的综合变化率对应的最新点云打标,重复优选模块的步骤直至以最后一个基准点云完成打标,将所有未打标的最新点云作为标注点云。
进一步可选的,所述优选模块包括:差分点云变化率计算子模块,用于确定所述基准点云对应的第一差分点云,及当前最新点云对应的第二差分点云,根据所述第一差分点云的点数与第二差分点云的点数计算差分点云变化率;聚类目标变化率计算子模块,用于将所述第一差分点云的聚类目标集合与第二差分点云的聚类目标集合进行匈牙利匹配,得到匹配成功的聚类目标匹配对及未匹配成功的单聚类目标,根据聚类目标匹配对中两个聚类目标的有向包围盒信息及聚类目标点数计算匹配目标变化率,根据所述单聚类目标的点数及所属差分点云的点数计算未匹配目标变化率,对所有匹配目标变化率及未匹配目标变化率加权求和得到聚类目标变化率;综合变化率计算子模块,用于对所述差分点云变化率及聚类目标变化率进行加权求和得到所述综合变化率。
进一步可选的,所述差分点云变化率计算子模块包括:统计单元,用于统计所述第一差分点云的第一点数及第二差分点云的第二点数;绝对变化率计算单元,用于根据所述第一点数与第二点数计算两个差分点云的绝对变化率;第一切片统计单元,用于根据预设统计范围在所述第一差分点云中划定第一统计区域,对所述第一统计区域进行X方向及Y方向上的等间隔切片,得到多个点云切片,统计每个点云切片中的第三点数;第二切片统计单元,用于根据预设统计范围在所述第二差分点云中划定第二统计区域,对所述第二统计区域进行X方向及Y方向上的等间隔切片,得到多个点云切片,统计每个点云切片中的第四点数;分布变化率计算单元,用于根据所述第一点数、第二点数、第三点数及第四点数计算两个差分点云的分布变化率;差分点云变化率计算单元,用于对所述绝对变化率及分布变化率进行加权求和得到所述差分点云变化率。
上述技术方案具有如下有益效果:通过计算点云的差分点云与对应聚类目标,进一步对差分点云差距与聚类目标差距进行量化得到两个点云间的综合变化率,用以衡量两个点云间的变化情况,并根据综合变化率对批量的点云进行优选,提高标注点云的挑选效率,节省了大量人力与时间;在进行综合率计算时通过信息量由大到小的顺序进行,而信息量通过差分点云的点数和聚类结果个数计算得到,保证优选得到的点云信息量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的点云标注数据优选方法的流程图;
图2是本发明实施例提供的综合变化率计算方法的流程图;
图3是本发明实施例提供的差分点云变化率计算方法的流程图;
图4是本发明实施例提供的点云标注数据优选***的结构示意图;
图5是本发明实施例提供的优选模块的结构示意图;
图6是本发明实施例提供的差分点云变化率计算子模块的结构示意图。
附图标记:100-数据获取模块;200-预处理模块;300-聚类模块;400-优选模块;4001-差分点云变化率计算子模块;40011-统计单元;40012-绝对变化率计算单元;40013-第一切片统计单元; 40014-第二切片统计单元; 40015-分布变化率计算单元;40016-差分点云变化率计算单元;4002-聚类目标变化率计算子模块;4003-综合变化率计算子模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为解决现有技术中挑选点云费时费力的问题,本发明实施例提供了一种点云标注数据优选方法,图1是本发明实施例提供的点云标注数据优选方法的流程图,如图1所示,该方法包括:
S1、获取原始点云集合;其中,原始点云集合包括连续的多帧原始点云;
若需采集某一场景的点云,则将激光雷达放置在合适的位置来获取目标场景中的一段点云序列。假设序列中共有t个点云,记为原始点云集合{ },其中,/>为第t帧原始点云。
S2、对原始点云集合中的原始点云进行背景差分后过滤,得到过滤后的差分点云集合,并将过滤掉的点云对应的原始点云从原始点云集合中删除,得到最新点云集合;
采集一帧没有前景目标的原始点云作为背景点云 。按顺序将原始点云集合中的每个原始点云均与背景点云/>进行差分,得到差分后的点云。
具体的,首先将第一帧原始点云 和背景点云/>进行差分,得到差分后的点云 /> 。再将第二帧原始点云/> 和背景点云/>进行差分,得到差分后的点云 />。依次类推,最后将第t帧点云/>与背景点云/>进行差分,得到的差分后的点云 />。这样就获取到差分后的点云集合{/>}。
差分后,需对得到的点云集合{}进行过滤。首先对该集合中的每个点云进行点数统计,并将每个点云对应的点数与预设点数阈值δpt 比较,若当前点云的点数小于预设点数阈值δpt,则认为该当前点云的前景点较少,没有标注的意义,将其从差分后的点云集合中删除。对点云集合中的每个点云均进行以上过滤操作,得到过滤后的差分点云集合{/>},其中,/> 。在对差分后的点云集合进行过滤的同时,也将删除的点云对应的原始点云从原始点云集合中删除,得到过滤后的原始点云集合{ },即最新点云集合。
S3、对差分点云集合中各差分点云进行聚类,得到各差分点云的聚类目标集合;
对差分点云集合中的每个差分点云进行聚类,得到每个差分点云的聚类目标集合,该聚类目标集合中可能包括一个或多个目标,当然也可能存在无目标的情况,此时该聚类目标集合为空集。每个聚类目标通过有向包围盒进行表示,对应有一个有向包围盒信息。
假设第i个差分点云共得到M个聚类目标。那么将第i个差分点云的聚类目标集合表示为Ri{ ,/>,…,/>}。其中/> 表示第i个差分点云的第j个聚类目标的有向包围盒(Oriented Bounding Box,OBB)信息。
有向包围盒信息可以表示为{/> , /> ,/> , /> , /> , />,/> }。其中,/>为第i个差分点云的第j个聚类目标的有向包围盒的中心点的x值;/>为第i个差分点云的第j个聚类目标的有向包围盒的中心点的y值;/>为第i个差分点云的第j个聚类目标的有向包围盒的中心点的z值;/>为第i个差分点云的第j个聚类目标的有向包围盒的长;/>为第i个差分点云的第j个聚类目标的有向包围盒的宽;/>为第i个差分点云的第j个聚类目标的有向包围盒的高;/>为第i个差分点云的第j个聚类目标的有向包围盒的旋转角度。
作为一种可选的实施方式,聚类方法包括:欧式聚类,密度聚类等方法,值得注意的是,在聚类过程中需要保证整个算法运行过程中执行同一套参数,且该参数下能够聚类出大部分目标。
S4、根据差分点云的点数及聚类目标个数计算最新点云集合中对应最新点云的信息量,将信息量降序排列,将首位信息量对应的最新点云作为基准点云,根据点数差距及聚类目标差距,按顺序分别计算后续信息量对应的最新点云与基准点云的综合变化率,将小于预设变化率阈值的综合变化率对应的最新点云打标;将未打标的下一位信息量对应的最新点云作为基准点云,根据点数差距及聚类目标差距,按信息量排列顺序分别计算后续每个未打标的最新点云与基准点云的综合变化率,将小于预设变化率阈值的综合变化率对应的最新点云打标,重复步骤S4直至以最后一个基准点云完成打标,将所有未打标的最新点云作为标注点云。
对于最新点云集合中的每个最新点云,获取其对应的差分点云的点数及聚类目标集合中聚类目标个数,计算该最新点云对应的信息量,对所有最新点云进行信息量计算后得到信息量集合。
作为一种可选的实施方式,一个最新点云的信息量可以通过以下公式计算:
;
其中,为该最新点云的信息量,/> 为该最新点云对应差分点云的点数,为最新点云对应差分点云的点数的权重。/> 为该最新点云对应聚类目标个数,/>为最新点云对应聚类目标个数的权重。
将信息量集合按照信息量从大到小的顺序进行排序,得到排序后的点云信息量集合{ },将具有最大信息量 /> 的对应最新点云作为基准点云,依次计算 /> 对应的最新点云到 /> 对应的最新点云这m-1个最新点云与的对应最新点云的综合变化率,综合变化率根据两个最新点云的变化情况进行计算,本实施例中根据两个最新点云对应的差分点云的点数区别及聚类目标区别计算综合变化率,用以表征两个最新点云间的变化程度,若变化程度低,则认为与基准点云对比的当前最新点云变化不大,不作为标注点云;反之若变化程度高,则认为与基准点云对比的当前最新点云变化大,则可保留该当前最新点云。
为衡量变化程度高低,本实施例设置一个变化率阈值δtcr,依次判断对应的最新点云到/>对应的最新点云这m-1个最新点云与/>的对应基准点云的综合变化率是否大于设定的变化率阈值δtcr。如果m-1个最新点云中存在与/>的对应基准点云的综合变化率小于变化率阈值δtcr的点云,那么就对这些最新点云进行打标,标签为不标注。再对下一个没有打标的信息量对应的最新点云重复以上步骤,在后续的循环中这些打标的最新点云不会参与到与其他最新点云的综合变化率计算。然后对整个排序后点云信息量集合对应的最新点云都完成循环判断后,那些被打上了不标注标签的最新点云就不进行标注了,而另外没有被打上不标注标签的最新点云即为我们所要的标注点云数据。
现进行举例说明:如果以作为基准点云进行综合变化率判断时,结果为这m-1个最新点云中只有/>和 /> 对应的最新点云和/>的对应基准点云的综合变化率小于变化率阈值δtcr,那么给信息量/>和/>对应的最新点云打上不标注的标签。然后继续迭代到/>对应的最新点云,但由于信息量/>对应的最新点云被打上了不标注的标签,因此不进行和其他信息量对应的最新点云的综合变化率判断。接着继续迭代到/> 对应的最新点云,因为/>对应的最新点云没有被打上不标注的标签,因此将/>对应的最新点云分别和 /> 对应的最新点云到/>对应的最新点云这m-4个最新点云(/>对应的最新点云打上了不标注的标签,因此跳过)进行综合变化率判断。然后将综合变化率小于变化率阈值δtcr的最新点云打上不标注的标签。之后按上面的方法一直循环到/>对应的最新点云就结束循环。没有被打上不标注标签的最新点云即为我们所要的标注点云。
作为一种可选的实施方式,图2是本发明实施例提供的综合变化率计算方法的流程,如图2所示,根据点数差距及聚类目标差距,按顺序分别计算后续信息量对应的最新点云与基准点云的综合变化率,包括:
S401、确定基准点云对应的第一差分点云,及当前最新点云对应的第二差分点云,根据第一差分点云的点数与第二差分点云的点数计算差分点云变化率;
将基准点云对应的差分点云作为第一差分点云,将当前最新点云对应的差分点云作为第二差分点云,根据第一差分点云与第二差分点云的点数可以计算得到差分点云变化率,用以衡量基准点云与当前最新点云之间的点云全局信息的变化。
S402、将第一差分点云的聚类目标集合与第二差分点云的聚类目标集合进行匈牙利匹配,得到匹配成功的聚类目标匹配对及未匹配成功的单聚类目标,根据聚类目标匹配对中两个聚类目标的有向包围盒信息及聚类目标点数计算匹配目标变化率,根据单聚类目标的点数及所属差分点云的点数计算未匹配目标变化率,对所有匹配目标变化率及未匹配目标变化率加权求和得到聚类目标变化率;
将第一差分点云对应的聚类目标集合与第二差分点云的聚类目标集合采用匈牙利算法进行全局匹配。其中,两个聚类目标之间的距离计算采用交并比(每个待匹配对的两个聚类目标的有向包围盒之间的交并比)距离。预设一个距离阈值Thr,如果交并比距离大于距离阈值Thr,那就认为该待匹配对匹配失败。匹配算法完成后,得到若干匹配成功的聚类目标匹配对及未匹配成功的单聚类目标。
对于匹配成功的聚类目标匹配对,根据二者有向包围盒信息及聚类目标的点数计算匹配目标变化率。
对于未匹配成功的单聚类目标,根据其所属差分点云的点数及聚类目标的点数计算未匹配目标变化率。
聚类目标变化率包括两个部分,一是匹配目标变化率,二是未匹配目标变化率。
假设第一差分点云的聚类结果有U个,记为聚类集合R1{ , /> ,…, /> },第二差分点云的聚类结果有V个,记为聚类集合R2{ /> , /> ,…, /> }。
然后假设U<V,按以上方式进行两个聚类目标集合的匹配,共有S个聚类目标匹配对,那么未匹配的单聚类目标共U+V-2S个。聚类目标变化率 的计算公式如下:
;
其中,为第i个聚类目标匹配对的匹配目标变化率,/>为匹配目标变化率之和的权重,/>为第i个单聚类目标的未匹配目标变化率,/>为未匹配目标变化率之和的权重。权重可通过实际情况进行设置。
S403、对差分点云变化率及聚类目标变化率进行加权求和得到综合变化率。
对于基准点云与当前最新点云,二者的综合变化率 可通过下式计算:
;
其中,为二者的差分点云变化率,/> 是差分点云变化率/>的权重;是二者的聚类目标变化率,/> 是聚类目标变化率/>的权重。权重可通过实际情况进行设置。
差分点云变化率主要反映点云间的全局信息的变化,聚类目标变化率主要反映点云间个体目标之间的变化,体现了点云间局部信息的变化。
作为一种可选的实施方式,图3是本发明实施例提供的差分点云变化率计算方法的流程图,如图3所示,根据第一差分点云的点数与第二差分点云的点数计算差分点云变化率,包括:
S4011、统计第一差分点云的第一点数及第二差分点云的第二点数;
统计第一差分点云的总点数,即第一点数。统计第二差分点云的总点数,即第二点数。
S4012、根据第一点数与第二点数计算两个差分点云的绝对变化率;
根据第一点数与第二点数之差的绝对值及第一点数与第二点数之和计算绝对变化率。
绝对变化率通过点数方面的差距描述两个差分点云间的变化情况,一般来说,差分点云的点数越多,包含的前景信息越多。两个差分点云的点数相差越多,点云间的变化也越大。
S4013、根据预设统计范围在第一差分点云中划定第一统计区域,对第一统计区域进行X方向及Y方向上的等间隔切片,得到多个点云切片,统计每个点云切片中的第三点数;
预先设置一个统计范围,在Y方向上最小值为minY,最大值为maxY,在X方向上的最小值为minX,最大值为maxX。那么就只统计第一差分点云中x值在[minX,maxX]范围内,y值在[minY,maxY]范围内的点,即第一统计区域。
第一统计区域的统计宽度为maxY-minY,统计长度为maxX-minX。在第一差分点云的X方向及Y方向上分别按间距dx与间距dy对差分点云进行切片,在Y方向上以等间隔dy分割为 份,X方向上等间隔dx分割为 /> 份,那么总共可得k个点云切片。
其中,统计每个点云切片的点数,计为{n1,n2,…,nk},得到第一差分点云中每个切片的第三点数。
S4014、根据预设统计范围在第二差分点云中划定第二统计区域,对第二统计区域进行X方向及Y方向上的等间隔切片,得到多个点云切片,统计每个点云切片中的第四点数;
采用与第一差分点云同样的切片及统计方式得到第二差分点云中每个切片的第四点数。
S4015、根据第一点数、第二点数、第三点数及第四点数计算两个差分点云的分布变化率;
采用第一点数、第二点数、第三点数与第四点数共同计算第一差分点云与第二差分点云间的分布变化率。该分布变化率可以弥补绝对变化率无法描述点云空间分布变化的缺点,例如,两个差分点云的点数相同,但点数的实际位置分布不同,通过分布变化率可以计算出较大的变化率。
S4016、对绝对变化率及分布变化率进行加权求和得到差分点云变化率。
对于基准点云与当前最新点云,通过下式计算二者的差分点云变化率:
;
其中,是两个差分点云的绝对变化率,/>是两个差分点云的分布变化率, 是绝对变化率/>的权重,/> 是分布变化率/>的权重。权重可通过实际情况进行设置。
作为一种可选的实施方式,根据聚类目标匹配对中两个聚类目标的有向包围盒信息及聚类目标点数计算匹配目标变化率,通过下式计算:
;
其中,为聚类目标的有向包围盒的高度变化率的权重,/>为第一差分点云的第i个聚类目标的有向包围盒的高度值,/>为第二差分点云的第j个聚类目标的有向包围盒的高度值;/>为聚类目标的有向包围盒的长度变化率的权重,/>为第一差分点云的第i个聚类目标的有向包围盒的长度值,/>为第二差分点云的第j个聚类目标的有向包围盒的长度值;/>为聚类目标的有向包围盒的宽度变化率的权重,/>为第一差分点云的第i个聚类结果的有向包围盒的宽度值,/>为第二差分点云的第j个聚类结果的有向包围盒的宽度值;/>为聚类目标的有向包围盒的旋转角度变化率的权重,/>为第一差分点云的第i个聚类结果的有向包围盒的旋转角度,/>为第二差分点云的第j个聚类结果的有向包围盒的旋转角度;/>为聚类目标的有向包围盒的中心点相对偏移量的权重,/>,/>,/>分别为第一差分点云的第i个聚类结果的有向包围盒的中心点的x,y,z值;/>,/>,/>分别为第二差分点云的第j个聚类结果的有向包围盒的中心点的x,y,z值;/>为聚类结果的点数变化率的权重,/>为第一差分点云的第i个聚类目标的点数;/>为第二差分点云的第j个聚类目标的点数。
上述公式是基于第一差分点云的第i个聚类目标与第二差分点云的第j个聚类目标匹配成功的情况完成的计算。
作为一种可选的实施方式,根据单聚类目标的点数及所属差分点云的点数计算未匹配目标变化率通过下式计算:
;
其中,是未匹配成功的单聚类目标的点数,/>是该单聚类目标所属差分点云的点数。
上述公式基于是第i个差分点云的第j个聚类目标没有成功匹配的情况完成的计算。
作为一种可选的实施方式,根据第一点数与第二点数计算两个差分点云的绝对变化率通过下式计算:
;
其中,为绝对变化率,/>为第一点数,/>为第二点数。
作为一种可选的实施方式,根据第一点数、第二点数、第三点数及第四点数计算两个差分点云的分布变化率通过下式计算:
;
其中,为分布变化率,/>为第一差分点云的第i个切片的第三点数;/>为第二差分点云的第i个切片的第四点数;/>为第一点数,/>为第二点数。
本发明实施例还提供了一种点云标注数据优选***,图4是本发明实施例提供的点云标注数据优选***的结构示意图,如图4所示,该***包括:
数据获取模块100,用于获取原始点云集合;其中,原始点云集合包括连续的多帧原始点云;
若需采集某一场景的点云,则将激光雷达放置在合适的位置来获取目标场景中的一段点云序列。假设序列中共有t个点云,记为原始点云集合{},其中,/>为第t帧原始点云。
预处理模块200,用于对原始点云集合中的原始点云进行背景差分后过滤,得到过滤后的差分点云集合,并将过滤掉的点云对应的原始点云从原始点云集合中删除,得到最新点云集合;
采集一帧没有前景目标的原始点云作为背景点云。按顺序将原始点云集合中的每个原始点云均与背景点云/>进行差分,得到差分后的点云。
具体的,首先将第一帧原始点云 和背景点云/>进行差分,得到差分后的点云 /> 。再将第二帧原始点云/> 和背景点云/>进行差分,得到差分后的点云 />。依次类推,最后将第t帧点云/>与背景点云/>进行差分,得到的差分后的点云 />。这样就获取到差分后的点云集合{/>}。
差分后,需对得到的点云集合{}进行过滤。首先对该集合中的每个点云进行点数统计,并将每个点云对应的点数与预设点数阈值δpt 比较,若当前点云的点数小于预设点数阈值δpt,则认为该当前点云的前景点较少,没有标注的意义,将其从差分后的点云集合中删除。对点云集合中的每个点云均进行以上过滤操作,得到过滤后的差分点云集合{/>},其中,/> 。在对差分后的点云集合进行过滤的同时,也将删除的点云对应的原始点云从原始点云集合中删除,得到过滤后的原始点云集合{/> },即最新点云集合。
聚类模块300,用于对差分点云集合中各差分点云进行聚类,得到各差分点云的聚类目标集合;
对差分点云集合中的每个差分点云进行聚类,得到每个差分点云的聚类目标集合,该聚类目标集合中可能包括一个或多个目标,当然也可能存在无目标的情况,此时该聚类目标集合为空集。每个聚类目标通过有向包围盒进行表示,对应有一个有向包围盒信息。
假设第i个差分点云共得到M个聚类目标。那么将第i个差分点云的聚类目标集合表示为Ri{ ,/>,…,/>}。其中/> 表示第i个差分点云的第j个聚类目标的有向包围盒(Oriented Bounding Box,OBB)信息。
有向包围盒信息可以表示为{/> , /> ,/> , /> , /> , />,/> }。其中,/>为第i个差分点云的第j个聚类目标的有向包围盒的中心点的x值;/>为第i个差分点云的第j个聚类目标的有向包围盒的中心点的y值;/>为第i个差分点云的第j个聚类目标的有向包围盒的中心点的z值;/>为第i个差分点云的第j个聚类目标的有向包围盒的长;/>为第i个差分点云的第j个聚类目标的有向包围盒的宽;/>为第i个差分点云的第j个聚类目标的有向包围盒的高;/>为第i个差分点云的第j个聚类目标的有向包围盒的旋转角度。
作为一种可选的实施方式,聚类方法包括:欧式聚类,密度聚类等方法,值得注意的是,在聚类过程中需要保证整个算法运行过程中执行同一套参数,且该参数下能够聚类出大部分目标。
优选模块400,用于根据差分点云的点数及聚类目标个数计算最新点云集合中对应最新点云的信息量,将信息量降序排列,将首位信息量对应的最新点云作为基准点云,根据点数差距及聚类目标差距,按顺序分别计算后续信息量对应的最新点云与基准点云的综合变化率,将小于预设变化率阈值的综合变化率对应的最新点云打标;将未打标的下一位信息量对应的最新点云作为基准点云,根据点数差距及聚类目标差距,按信息量排列顺序分别计算后续每个未打标的最新点云与基准点云的综合变化率,将小于预设变化率阈值的综合变化率对应的最新点云打标,重复优选模块的步骤直至以最后一个基准点云完成打标,将所有未打标的最新点云作为标注点云。
对于最新点云集合中的每个最新点云,获取其对应的差分点云的点数及聚类目标集合中聚类目标个数,计算该最新点云对应的信息量,对所有最新点云进行信息量计算后得到信息量集合。
作为一种可选的实施方式,一个最新点云的信息量可以通过以下公式计算:
;
其中,为该最新点云的信息量,/>为该最新点云对应差分点云的点数,/>为最新点云对应差分点云的点数的权重。/>为该最新点云对应聚类目标个数,/>为最新点云对应聚类目标个数的权重。
将信息量集合按照信息量从大到小的顺序进行排序,得到排序后的点云信息量集合{ },将具有最大信息量 /> 的对应最新点云作为基准点云,依次计算 /> 对应的最新点云到 /> 对应的最新点云这m-1个最新点云与的对应最新点云的综合变化率,综合变化率根据两个最新点云的变化情况进行计算,本实施例中根据两个最新点云对应的差分点云的点数区别及聚类目标区别计算综合变化率,用以表征两个最新点云间的变化程度,若变化程度低,则认为与基准点云对比的当前最新点云变化不大,不作为标注点云;反之若变化程度高,则认为与基准点云对比的当前最新点云变化大,则可保留该当前最新点云。
为衡量变化程度高低,本实施例设置一个变化率阈值δtcr,依次判断对应的最新点云到/>对应的最新点云这m-1个最新点云与/>的对应基准点云的综合变化率是否大于设定的变化率阈值δtcr。如果m-1个最新点云中存在与/>的对应基准点云的综合变化率小于变化率阈值δtcr的点云,那么就对这些最新点云进行打标,标签为不标注。再对下一个没有打标的信息量对应的最新点云重复以上步骤,在后续的循环中这些打标的最新点云不会参与到与其他最新点云的综合变化率计算。然后对整个排序后点云信息量集合对应的最新点云都完成循环判断后,那些被打上了不标注标签的最新点云就不进行标注了,而另外没有被打上不标注标签的最新点云即为我们所要的标注点云数据。
现进行举例说明:如果以作为基准点云进行综合变化率判断时,结果为这m-1个最新点云中只有/>和 /> 对应的最新点云和/>的对应基准点云的综合变化率小于变化率阈值δtcr,那么给信息量/>和/>对应的最新点云打上不标注的标签。然后继续迭代到/>对应的最新点云,但由于信息量/>对应的最新点云被打上了不标注的标签,因此不进行和其他信息量对应的最新点云的综合变化率判断。接着继续迭代到/> 对应的最新点云,因为/>对应的最新点云没有被打上不标注的标签,因此将/>对应的最新点云分别和 /> 对应的最新点云到/>对应的最新点云这m-4个最新点云(/>对应的最新点云打上了不标注的标签,因此跳过)进行综合变化率判断。然后将综合变化率小于变化率阈值δtcr的最新点云打上不标注的标签。之后按上面的方法一直循环到/>对应的最新点云就结束循环。没有被打上不标注标签的最新点云即为我们所要的标注点云。
作为一种可选的实施方式,优选模块400包括:
差分点云变化率计算子模块4001,用于确定基准点云对应的第一差分点云,及当前最新点云对应的第二差分点云,根据第一差分点云的点数与第二差分点云的点数计算差分点云变化率;
将基准点云对应的差分点云作为第一差分点云,将当前最新点云对应的差分点云作为第二差分点云,根据第一差分点云与第二差分点云的点数可以计算得到差分点云变化率,用以衡量基准点云与当前最新点云之间的点云全局信息的变化。
聚类目标变化率计算子模块4002,用于将第一差分点云的聚类目标集合与第二差分点云的聚类目标集合进行匈牙利匹配,得到匹配成功的聚类目标匹配对及未匹配成功的单聚类目标,根据聚类目标匹配对中两个聚类目标的有向包围盒信息及聚类目标点数计算匹配目标变化率,根据单聚类目标的点数及所属差分点云的点数计算未匹配目标变化率,对所有匹配目标变化率及未匹配目标变化率加权求和得到聚类目标变化率;
将第一差分点云对应的聚类目标集合与第二差分点云的聚类目标集合采用匈牙利算法进行全局匹配。其中,两个聚类目标之间的距离计算采用交并比(每个待匹配对的两个聚类目标的有向包围盒之间的交并比)距离。预设一个距离阈值Thr,如果交并比距离大于距离阈值Thr,那就认为该待匹配对匹配失败。匹配算法完成后,得到若干匹配成功的聚类目标匹配对及未匹配成功的单聚类目标。
对于匹配成功的聚类目标匹配对,根据二者有向包围盒信息及聚类目标的点数计算匹配目标变化率。
对于未匹配成功的单聚类目标,根据其所属差分点云的点数及聚类目标的点数计算未匹配目标变化率。
聚类目标变化率包括两个部分,一是匹配目标变化率,二是未匹配目标变化率。
假设第一差分点云的聚类结果有U个,记为聚类集合R1{ , /> ,…, /> },第二差分点云的聚类结果有V个,记为聚类集合R2{ /> , /> ,…, /> }。
然后假设U<V,按以上方式进行两个聚类目标集合的匹配,共有S个聚类目标匹配对,那么未匹配的单聚类目标共U+V-2S个。聚类目标变化率的计算公式如下:
;
其中,为第i个聚类目标匹配对的匹配目标变化率,/>为匹配目标变化率之和的权重,/>为第i个单聚类目标的未匹配目标变化率,/>为未匹配目标变化率之和的权重。权重可通过实际情况进行设置。
综合变化率计算子模块4003,用于对差分点云变化率及聚类目标变化率进行加权求和得到综合变化率。
对于基准点云与当前最新点云,二者的综合变化率可通过下式计算:
;
其中,为二者的差分点云变化率,/> 是差分点云变化率/>的权重;是二者的聚类目标变化率,/> 是聚类目标变化率/>的权重。权重可通过实际情况进行设置。
差分点云变化率主要反映点云间的全局信息的变化,聚类目标变化率主要反映点云间个体目标之间的变化,体现了点云间局部信息的变化。
作为一种可选的实施方式,差分点云变化率计算子模块4001包括:
统计单元40011,用于统计第一差分点云的第一点数及第二差分点云的第二点数;
统计第一差分点云的总点数,即第一点数。统计第二差分点云的总点数,即第二点数。
绝对变化率计算单元40012,用于根据第一点数与第二点数计算两个差分点云的绝对变化率;
根据第一点数与第二点数之差的绝对值及第一点数与第二点数之和计算绝对变化率。
绝对变化率通过点数方面的差距描述两个差分点云间的变化情况,一般来说,差分点云的点数越多,包含的前景信息越多。两个差分点云的点数相差越多,点云间的变化也越大。
第一切片统计单元40013,用于根据预设统计范围在第一差分点云中划定第一统计区域,对第一统计区域进行X方向及Y方向上的等间隔切片,得到多个点云切片,统计每个点云切片中的第三点数;
预先设置一个统计范围,在Y方向上最小值为minY,最大值为maxY,在X方向上的最小值为minX,最大值为maxX。那么就只统计第一差分点云中x值在[minX,maxX]范围内,y值在[minY,maxY]范围内的点,即第一统计区域。
第一统计区域的统计宽度为maxY-minY,统计长度为maxX-minX。在第一差分点云的X方向及Y方向上分别按间距dx与间距dy对差分点云进行切片,在Y方向上以等间隔dy分割为份,X方向上等间隔dx分割为/>份,那么总共可得k个点云切片。
其中,统计每个点云切片的点数,计为{n1,n2,…,nk},得到第一差分点云中每个切片的第三点数。
统计每个点云切片的点数,计为{n1,n2,…,nk},得到第一差分点云中每个切片的第三点数。
第二切片统计单元40014,用于根据预设统计范围在第二差分点云中划定第二统计区域,对第二统计区域进行X方向及Y方向上的等间隔切片,得到多个点云切片,统计每个点云切片中的第四点数;
采用与第一差分点云同样的切片及统计方式得到第二差分点云中每个切片的第四点数。
分布变化率计算单元40015,用于根据第一点数、第二点数、第三点数及第四点数计算两个差分点云的分布变化率;
采用第一点数、第二点数、第三点数与第四点数共同计算第一差分点云与第二差分点云间的分布变化率。该分布变化率可以弥补绝对变化率无法描述点云空间分布变化的缺点,例如,两个差分点云的点数相同,但点数的实际位置分布不同,通过分布变化率可以计算出较大的变化率。
差分点云变化率计算单元40016,用于对绝对变化率及分布变化率进行加权求和得到差分点云变化率。
对于基准点云与当前最新点云,通过下式计算二者的差分点云变化率:
;
其中,是两个差分点云的绝对变化率,/>是两个差分点云的分布变化率, 是绝对变化率/>的权重,/> 是分布变化率/>的权重。权重可通过实际情况进行设置。
作为一种可选的实施方式,根据聚类目标匹配对中两个聚类目标的有向包围盒信息及聚类目标点数计算匹配目标变化率,通过下式计算:
;
其中,为聚类目标的有向包围盒的高度变化率的权重,/>为第一差分点云的第i个聚类目标的有向包围盒的高度值,/>为第二差分点云的第j个聚类目标的有向包围盒的高度值;/>为聚类目标的有向包围盒的长度变化率的权重,/>为第一差分点云的第i个聚类目标的有向包围盒的长度值,/>为第二差分点云的第j个聚类目标的有向包围盒的长度值;/>为聚类目标的有向包围盒的宽度变化率的权重,/>为第一差分点云的第i个聚类结果的有向包围盒的宽度值,/>为第二差分点云的第j个聚类结果的有向包围盒的宽度值;/>为聚类目标的有向包围盒的旋转角度变化率的权重,/>为第一差分点云的第i个聚类结果的有向包围盒的旋转角度,/>为第二差分点云的第j个聚类结果的有向包围盒的旋转角度;/>为聚类目标的有向包围盒的中心点相对偏移量的权重,/>,/>,/>分别为第一差分点云的第i个聚类结果的有向包围盒的中心点的x,y,z值;/>,/>,/>分别为第二差分点云的第j个聚类结果的有向包围盒的中心点的x,y,z值;/>为聚类结果的点数变化率的权重,/>为第一差分点云的第i个聚类目标的点数;/>为第二差分点云的第j个聚类目标的点数。
上述公式是基于第一差分点云的第i个聚类目标与第二差分点云的第j个聚类目标匹配成功的情况完成的计算。
作为一种可选的实施方式,根据单聚类目标的点数及所属差分点云的点数计算未匹配目标变化率通过下式计算:
;
其中,是未匹配成功的单聚类目标的点数,/>是该单聚类目标所属差分点云的点数。
上述公式基于是第i个差分点云的第j个聚类目标没有成功匹配的情况完成的计算。
作为一种可选的实施方式,根据第一点数与第二点数计算两个差分点云的绝对变化率通过下式计算:
;
其中,为绝对变化率,/>为第一点数,/>为第二点数。
作为一种可选的实施方式,根据第一点数、第二点数、第三点数及第四点数计算两个差分点云的分布变化率通过下式计算:
;
其中,为分布变化率,/>为第一差分点云的第i个切片的第三点数;/>为第二差分点云的第i个切片的第四点数;/>为第一点数,/>为第二点数。
上述技术方案具有如下有益效果:通过计算点云的差分点云与对应聚类目标,进一步对差分点云差距与聚类目标差距进行量化得到两个点云间的综合变化率,用以衡量两个点云间的变化情况,并根据综合变化率对批量的点云进行优选,提高标注点云的挑选效率,节省了大量人力与时间;在进行综合率计算时通过信息量由大到小的顺序进行,而信息量通过差分点云的点数和聚类结果个数计算得到,保证优选得到的点云信息量。
以上发明的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上内容仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种点云标注数据优选方法,其特征在于,包括:
S1、获取原始点云集合;其中,所述原始点云集合包括连续的多帧原始点云;
S2、对所述原始点云集合中的原始点云进行背景差分后过滤,得到过滤后的差分点云集合,并将过滤掉的点云对应的原始点云从所述原始点云集合中删除,得到最新点云集合;
S3、对所述差分点云集合中各差分点云进行聚类,得到各差分点云的聚类目标集合;
S4、根据差分点云的点数及聚类目标个数计算最新点云集合中对应最新点云的信息量,将信息量降序排列,将首位信息量对应的最新点云作为基准点云,根据点数差距及聚类目标差距,按顺序分别计算后续信息量对应的最新点云与基准点云的综合变化率,将小于预设变化率阈值的综合变化率对应的最新点云打标;将未打标的下一位信息量对应的最新点云作为基准点云,根据点数差距及聚类目标差距,按信息量排列顺序分别计算后续每个未打标的最新点云与基准点云的综合变化率,将小于预设变化率阈值的综合变化率对应的最新点云打标,重复步骤S4直至以最后一个基准点云完成打标,将所有未打标的最新点云作为标注点云。
2.根据权利要求1所述的点云标注数据优选方法,其特征在于,所述根据点数差距及聚类目标差距,按顺序分别计算后续信息量对应的最新点云与基准点云的综合变化率,包括:
S401、确定所述基准点云对应的第一差分点云,及当前最新点云对应的第二差分点云,根据所述第一差分点云的点数与第二差分点云的点数计算差分点云变化率;
S402、将所述第一差分点云的聚类目标集合与第二差分点云的聚类目标集合进行匈牙利匹配,得到匹配成功的聚类目标匹配对及未匹配成功的单聚类目标,根据聚类目标匹配对中两个聚类目标的有向包围盒信息及聚类目标点数计算匹配目标变化率,根据所述单聚类目标的点数及所属差分点云的点数计算未匹配目标变化率,对所有匹配目标变化率及未匹配目标变化率加权求和得到聚类目标变化率;
S403、对所述差分点云变化率及聚类目标变化率进行加权求和得到所述综合变化率。
3.根据权利要求2所述的点云标注数据优选方法,其特征在于,所述根据所述第一差分点云的点数与第二差分点云的点数计算差分点云变化率,包括:
S4011、统计所述第一差分点云的第一点数及第二差分点云的第二点数;
S4012、根据所述第一点数与第二点数计算两个差分点云的绝对变化率;
S4013、根据预设统计范围在所述第一差分点云中划定第一统计区域,对所述第一统计区域进行X方向及Y方向上的等间隔切片,得到多个点云切片,统计每个点云切片中的第三点数;
S4014、根据预设统计范围在所述第二差分点云中划定第二统计区域,对所述第二统计区域进行X方向及Y方向上的等间隔切片,得到多个点云切片,统计每个点云切片中的第四点数;
S4015、根据所述第一点数、第二点数、第三点数及第四点数计算两个差分点云的分布变化率;
S4016、对所述绝对变化率及分布变化率进行加权求和得到所述差分点云变化率。
4.根据权利要求2所述的点云标注数据优选方法,其特征在于,所述根据聚类目标匹配对中两个聚类目标的有向包围盒信息及聚类目标点数计算匹配目标变化率通过下式计算:
;
其中,为聚类目标的有向包围盒的高度变化率的权重,/>为第一差分点云的第i个聚类目标的有向包围盒的高度值,/>为第二差分点云的第j个聚类目标的有向包围盒的高度值;/>为聚类目标的有向包围盒的长度变化率的权重,/>为第一差分点云的第i个聚类目标的有向包围盒的长度值,/>为第二差分点云的第j个聚类目标的有向包围盒的长度值;为聚类目标的有向包围盒的宽度变化率的权重,/>为第一差分点云的第i个聚类结果的有向包围盒的宽度值,/>为第二差分点云的第j个聚类结果的有向包围盒的宽度值;/>为聚类目标的有向包围盒的旋转角度变化率的权重,/>为第一差分点云的第i个聚类结果的有向包围盒的旋转角度,/>为第二差分点云的第j个聚类结果的有向包围盒的旋转角度;为聚类目标的有向包围盒的中心点相对偏移量的权重,/>,/>,/>分别为第一差分点云的第i个聚类结果的有向包围盒的中心点的x,y,z值;/>,/>,/>分别为第二差分点云的第j个聚类结果的有向包围盒的中心点的x,y,z值;/>为聚类结果的点数变化率的权重,/>为第一差分点云的第i个聚类目标的点数;/>为第二差分点云的第j个聚类目标的点数。
5.根据权利要求2所述的点云标注数据优选方法,其特征在于,所述根据所述单聚类目标的点数及所属差分点云的点数计算未匹配目标变化率通过下式计算:
;
其中,是未匹配成功的单聚类目标的点数,/>是该单聚类目标所属差分点云的点数。
6.根据权利要求3所述的点云标注数据优选方法,其特征在于,所述根据所述第一点数与第二点数计算两个差分点云的绝对变化率通过下式计算:
;
其中,为绝对变化率,/>为第一点数,/>为第二点数。
7.根据权利要求3所述的点云标注数据优选方法,其特征在于,所述根据所述第一点数、第二点数、第三点数及第四点数计算两个差分点云的分布变化率通过下式计算:
;
其中,为分布变化率,/>为第一差分点云的第i个切片的第三点数;/>为第二差分点云的第i个切片的第四点数;/>为第一点数,/>为第二点数。
8.一种点云标注数据优选***,其特征在于,包括:
数据获取模块,用于获取原始点云集合;其中,所述原始点云集合包括连续的多帧原始点云;
预处理模块,用于对所述原始点云集合中的原始点云进行背景差分后过滤,得到过滤后的差分点云集合,并将过滤掉的点云对应的原始点云从所述原始点云集合中删除,得到最新点云集合;
聚类模块,用于对所述差分点云集合中各差分点云进行聚类,得到各差分点云的聚类目标集合;
优选模块,用于根据差分点云的点数及聚类目标个数计算最新点云集合中对应最新点云的信息量,将信息量降序排列,将首位信息量对应的最新点云作为基准点云,根据点数差距及聚类目标差距,按顺序分别计算后续信息量对应的最新点云与基准点云的综合变化率,将小于预设变化率阈值的综合变化率对应的最新点云打标;将未打标的下一位信息量对应的最新点云作为基准点云,根据点数差距及聚类目标差距,按信息量排列顺序分别计算后续每个未打标的最新点云与基准点云的综合变化率,将小于预设变化率阈值的综合变化率对应的最新点云打标,重复优选模块的步骤直至以最后一个基准点云完成打标,将所有未打标的最新点云作为标注点云。
9.根据权利要求8所述的点云标注数据优选***,其特征在于,所述优选模块包括:
差分点云变化率计算子模块,用于确定所述基准点云对应的第一差分点云,及当前最新点云对应的第二差分点云,根据所述第一差分点云的点数与第二差分点云的点数计算差分点云变化率;
聚类目标变化率计算子模块,用于将所述第一差分点云的聚类目标集合与第二差分点云的聚类目标集合进行匈牙利匹配,得到匹配成功的聚类目标匹配对及未匹配成功的单聚类目标,根据聚类目标匹配对中两个聚类目标的有向包围盒信息及聚类目标点数计算匹配目标变化率,根据所述单聚类目标的点数及所属差分点云的点数计算未匹配目标变化率,对所有匹配目标变化率及未匹配目标变化率加权求和得到聚类目标变化率;
综合变化率计算子模块,用于对所述差分点云变化率及聚类目标变化率进行加权求和得到所述综合变化率。
10.根据权利要求9所述的点云标注数据优选***,其特征在于,所述差分点云变化率计算子模块包括:
统计单元,用于统计所述第一差分点云的第一点数及第二差分点云的第二点数;
绝对变化率计算单元,用于根据所述第一点数与第二点数计算两个差分点云的绝对变化率;
第一切片统计单元,用于根据预设统计范围在所述第一差分点云中划定第一统计区域,对所述第一统计区域进行X方向及Y方向上的等间隔切片,得到多个点云切片,统计每个点云切片中的第三点数;
第二切片统计单元,用于根据预设统计范围在所述第二差分点云中划定第二统计区域,对所述第二统计区域进行X方向及Y方向上的等间隔切片,得到多个点云切片,统计每个点云切片中的第四点数;
分布变化率计算单元,用于根据所述第一点数、第二点数、第三点数及第四点数计算两个差分点云的分布变化率;
差分点云变化率计算单元,用于对所述绝对变化率及分布变化率进行加权求和得到所述差分点云变化率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410297172.3A CN117894015B (zh) | 2024-03-15 | 2024-03-15 | 点云标注数据优选方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410297172.3A CN117894015B (zh) | 2024-03-15 | 2024-03-15 | 点云标注数据优选方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117894015A true CN117894015A (zh) | 2024-04-16 |
CN117894015B CN117894015B (zh) | 2024-05-24 |
Family
ID=90646086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410297172.3A Active CN117894015B (zh) | 2024-03-15 | 2024-03-15 | 点云标注数据优选方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117894015B (zh) |
Citations (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010120684A2 (en) * | 2009-04-16 | 2010-10-21 | President And Fellows Of Harvard College | Method and apparatus for selecting clusterings to classify a predetermined data set |
KR20110110526A (ko) * | 2010-04-01 | 2011-10-07 | (주)이산솔루션 | 차영상을 이용한 클러스터 분석 방법 및 시스템 |
US20190188435A1 (en) * | 2011-08-30 | 2019-06-20 | Digimarc Corporation | Methods and arrangements for identifying objects |
CN110148144A (zh) * | 2018-08-27 | 2019-08-20 | 腾讯大地通途(北京)科技有限公司 | 点云数据的分割方法和装置、存储介质、电子装置 |
EP3683721A1 (en) * | 2019-01-18 | 2020-07-22 | Intelligrated Headquarters LLC | A material handling method, apparatus, and system for identification of a region-of-interest |
CN111487641A (zh) * | 2020-03-19 | 2020-08-04 | 福瑞泰克智能***有限公司 | 一种利用激光雷达检测物体的方法、装置、电子设备及存储介质 |
US10825243B1 (en) * | 2019-08-15 | 2020-11-03 | Autodesk, Inc. | Three-dimensional (3D) model creation and incremental model refinement from laser scans |
CN112949566A (zh) * | 2021-03-25 | 2021-06-11 | 浙江华是科技股份有限公司 | 一种监控方法、装置、***及计算机存储介质 |
WO2021141208A1 (ko) * | 2020-01-09 | 2021-07-15 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
CN113156411A (zh) * | 2021-05-03 | 2021-07-23 | 湖北汽车工业学院 | 一种车载激光雷达标定方法 |
CN113808166A (zh) * | 2021-09-15 | 2021-12-17 | 西安电子科技大学 | 基于聚类差分和深度孪生卷积神经网络的单目标跟踪方法 |
CN113962141A (zh) * | 2021-09-22 | 2022-01-21 | 北京智行者科技有限公司 | 一种目标检测模型自动化迭代方法、设备及存储介质 |
KR20220053513A (ko) * | 2019-10-16 | 2022-04-29 | 상하이 센스타임 린강 인텔리전트 테크놀로지 컴퍼니 리미티드 | 이미지 데이터 자동 라벨링 방법 및 장치 |
CN114549389A (zh) * | 2020-11-18 | 2022-05-27 | 北京格灵深瞳信息技术有限公司 | 轮对踏面检测方法、装置、***、终端及存储介质 |
US20220207874A1 (en) * | 2020-12-28 | 2022-06-30 | Rakuten Group, Inc. | Image frame extraction apparatus and image frame extraction method |
CN114821248A (zh) * | 2022-07-01 | 2022-07-29 | 深圳大学 | 面向点云理解的数据主动筛选标注方法和装置 |
CN115147433A (zh) * | 2021-03-29 | 2022-10-04 | 苏州杰锐思智能科技股份有限公司 | 点云配准方法 |
CN115588194A (zh) * | 2022-10-14 | 2023-01-10 | 北京云迹科技股份有限公司 | 基于弱监督学习的图像数据标注方法、装置、设备及介质 |
CN115641583A (zh) * | 2022-12-26 | 2023-01-24 | 苏州赫芯科技有限公司 | 一种基于自监督和主动学习的点云检测方法、***及介质 |
WO2023024443A1 (zh) * | 2021-08-27 | 2023-03-02 | 上海商汤智能科技有限公司 | 数据匹配方法及装置、电子设备、存储介质和程序产品 |
CN116152636A (zh) * | 2022-08-31 | 2023-05-23 | 安徽酷哇机器人有限公司 | 修正三维点云人工标注内容的方法和*** |
CN116188489A (zh) * | 2023-02-01 | 2023-05-30 | 中国科学院植物研究所 | 一种基于深度学习和几何校正的麦穗点云分割方法和*** |
US20230177818A1 (en) * | 2020-04-06 | 2023-06-08 | Sense Photonics, Inc. | Automated point-cloud labelling for lidar systems |
CN116402994A (zh) * | 2023-01-18 | 2023-07-07 | 四川西南交大铁路发展股份有限公司 | 基于激光雷达和视频图像融合的铁路危情监测方法 |
CN116563585A (zh) * | 2022-02-04 | 2023-08-08 | Ncr公司 | 结账时的多商品产品辨识 |
CN116665212A (zh) * | 2023-07-31 | 2023-08-29 | 福思(杭州)智能科技有限公司 | 数据标注方法、装置、处理设备、存储介质 |
CN116721246A (zh) * | 2023-07-14 | 2023-09-08 | 酷哇科技有限公司 | 连续帧点云快速标注方法及*** |
CN116823942A (zh) * | 2023-04-26 | 2023-09-29 | 标贝(北京)科技有限公司 | 三维点云的目标标注方法和点云连续帧中目标跟踪方法 |
CN116823940A (zh) * | 2023-04-13 | 2023-09-29 | 杭州电子科技大学 | 一种三维场景移动物体检测方法 |
CN117115263A (zh) * | 2023-08-16 | 2023-11-24 | 华中科技大学 | 一种基于点云数据处理的语义动态建模方法 |
CN117218576A (zh) * | 2023-08-31 | 2023-12-12 | 南京理工大学 | 一种基于视频识别的毫米波雷达点云自动标注方法 |
CN117250610A (zh) * | 2023-11-08 | 2023-12-19 | 浙江华是科技股份有限公司 | 基于激光雷达的入侵人员预警方法及*** |
CN117269952A (zh) * | 2023-09-20 | 2023-12-22 | 赛恩领动(上海)智能科技有限公司 | 一种4d成像毫米波雷达动目标点云半自动标注方法及装置 |
CN117289245A (zh) * | 2022-06-16 | 2023-12-26 | 中车株洲电力机车研究所有限公司 | 多激光雷达的外参自动标定方法以及计算机可读存储介质 |
CN117496515A (zh) * | 2023-11-08 | 2024-02-02 | 科大讯飞股份有限公司 | 点云数据标注方法、存储介质和电子设备 |
CN117576325A (zh) * | 2024-01-16 | 2024-02-20 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 点云数据处理方法和装置以及点云数据管理***和方法 |
-
2024
- 2024-03-15 CN CN202410297172.3A patent/CN117894015B/zh active Active
Patent Citations (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010120684A2 (en) * | 2009-04-16 | 2010-10-21 | President And Fellows Of Harvard College | Method and apparatus for selecting clusterings to classify a predetermined data set |
KR20110110526A (ko) * | 2010-04-01 | 2011-10-07 | (주)이산솔루션 | 차영상을 이용한 클러스터 분석 방법 및 시스템 |
US20190188435A1 (en) * | 2011-08-30 | 2019-06-20 | Digimarc Corporation | Methods and arrangements for identifying objects |
CN110148144A (zh) * | 2018-08-27 | 2019-08-20 | 腾讯大地通途(北京)科技有限公司 | 点云数据的分割方法和装置、存储介质、电子装置 |
EP3683721A1 (en) * | 2019-01-18 | 2020-07-22 | Intelligrated Headquarters LLC | A material handling method, apparatus, and system for identification of a region-of-interest |
US10825243B1 (en) * | 2019-08-15 | 2020-11-03 | Autodesk, Inc. | Three-dimensional (3D) model creation and incremental model refinement from laser scans |
KR20220053513A (ko) * | 2019-10-16 | 2022-04-29 | 상하이 센스타임 린강 인텔리전트 테크놀로지 컴퍼니 리미티드 | 이미지 데이터 자동 라벨링 방법 및 장치 |
WO2021141208A1 (ko) * | 2020-01-09 | 2021-07-15 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
CN111487641A (zh) * | 2020-03-19 | 2020-08-04 | 福瑞泰克智能***有限公司 | 一种利用激光雷达检测物体的方法、装置、电子设备及存储介质 |
US20230177818A1 (en) * | 2020-04-06 | 2023-06-08 | Sense Photonics, Inc. | Automated point-cloud labelling for lidar systems |
CN114549389A (zh) * | 2020-11-18 | 2022-05-27 | 北京格灵深瞳信息技术有限公司 | 轮对踏面检测方法、装置、***、终端及存储介质 |
US20220207874A1 (en) * | 2020-12-28 | 2022-06-30 | Rakuten Group, Inc. | Image frame extraction apparatus and image frame extraction method |
CN112949566A (zh) * | 2021-03-25 | 2021-06-11 | 浙江华是科技股份有限公司 | 一种监控方法、装置、***及计算机存储介质 |
CN115147433A (zh) * | 2021-03-29 | 2022-10-04 | 苏州杰锐思智能科技股份有限公司 | 点云配准方法 |
CN113156411A (zh) * | 2021-05-03 | 2021-07-23 | 湖北汽车工业学院 | 一种车载激光雷达标定方法 |
WO2023024443A1 (zh) * | 2021-08-27 | 2023-03-02 | 上海商汤智能科技有限公司 | 数据匹配方法及装置、电子设备、存储介质和程序产品 |
CN113808166A (zh) * | 2021-09-15 | 2021-12-17 | 西安电子科技大学 | 基于聚类差分和深度孪生卷积神经网络的单目标跟踪方法 |
CN113962141A (zh) * | 2021-09-22 | 2022-01-21 | 北京智行者科技有限公司 | 一种目标检测模型自动化迭代方法、设备及存储介质 |
CN116563585A (zh) * | 2022-02-04 | 2023-08-08 | Ncr公司 | 结账时的多商品产品辨识 |
CN117289245A (zh) * | 2022-06-16 | 2023-12-26 | 中车株洲电力机车研究所有限公司 | 多激光雷达的外参自动标定方法以及计算机可读存储介质 |
CN114821248A (zh) * | 2022-07-01 | 2022-07-29 | 深圳大学 | 面向点云理解的数据主动筛选标注方法和装置 |
CN116152636A (zh) * | 2022-08-31 | 2023-05-23 | 安徽酷哇机器人有限公司 | 修正三维点云人工标注内容的方法和*** |
CN115588194A (zh) * | 2022-10-14 | 2023-01-10 | 北京云迹科技股份有限公司 | 基于弱监督学习的图像数据标注方法、装置、设备及介质 |
CN115641583A (zh) * | 2022-12-26 | 2023-01-24 | 苏州赫芯科技有限公司 | 一种基于自监督和主动学习的点云检测方法、***及介质 |
CN116402994A (zh) * | 2023-01-18 | 2023-07-07 | 四川西南交大铁路发展股份有限公司 | 基于激光雷达和视频图像融合的铁路危情监测方法 |
CN116188489A (zh) * | 2023-02-01 | 2023-05-30 | 中国科学院植物研究所 | 一种基于深度学习和几何校正的麦穗点云分割方法和*** |
CN116823940A (zh) * | 2023-04-13 | 2023-09-29 | 杭州电子科技大学 | 一种三维场景移动物体检测方法 |
CN116823942A (zh) * | 2023-04-26 | 2023-09-29 | 标贝(北京)科技有限公司 | 三维点云的目标标注方法和点云连续帧中目标跟踪方法 |
CN116721246A (zh) * | 2023-07-14 | 2023-09-08 | 酷哇科技有限公司 | 连续帧点云快速标注方法及*** |
CN116665212A (zh) * | 2023-07-31 | 2023-08-29 | 福思(杭州)智能科技有限公司 | 数据标注方法、装置、处理设备、存储介质 |
CN117115263A (zh) * | 2023-08-16 | 2023-11-24 | 华中科技大学 | 一种基于点云数据处理的语义动态建模方法 |
CN117218576A (zh) * | 2023-08-31 | 2023-12-12 | 南京理工大学 | 一种基于视频识别的毫米波雷达点云自动标注方法 |
CN117269952A (zh) * | 2023-09-20 | 2023-12-22 | 赛恩领动(上海)智能科技有限公司 | 一种4d成像毫米波雷达动目标点云半自动标注方法及装置 |
CN117250610A (zh) * | 2023-11-08 | 2023-12-19 | 浙江华是科技股份有限公司 | 基于激光雷达的入侵人员预警方法及*** |
CN117496515A (zh) * | 2023-11-08 | 2024-02-02 | 科大讯飞股份有限公司 | 点云数据标注方法、存储介质和电子设备 |
CN117576325A (zh) * | 2024-01-16 | 2024-02-20 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 点云数据处理方法和装置以及点云数据管理***和方法 |
Non-Patent Citations (8)
Title |
---|
TINGTING LI,: "DiffusionPointLabel: Annotated Point Cloud Generation with Diffusion Model", 《COMPUTER GRPHICS FORUM》, 21 March 2023 (2023-03-21) * |
XIAOCUI YUAN: "Point cloud clustering and outlier detection based on spatial neighbor connected region labeling", 《MEASUREMENT AND CONTROL》, 27 May 2020 (2020-05-27) * |
吴培良;何孔令富;: "一种基于部件功用性语义组合的家庭日常工具分类方法", 机器人, no. 06, 15 November 2017 (2017-11-15) * |
张姗: "智能驾驶车辆环境感知***建模与仿真", 《中国优秀硕士论文电子期刊网》, 15 February 2022 (2022-02-15) * |
杨思远;郑建颖;: "基于路侧三维激光雷达的车辆目标分类算法", 传感器与微***, no. 07, 2 July 2020 (2020-07-02) * |
胡钊政;李招康;陶倩文;: "基于分布式二维激光测距仪的室内行人检测与跟踪", 吉林大学学报(工学版), no. 02, 10 April 2019 (2019-04-10) * |
赵灿;汤春瑞;刘丹丹;: "基于表面波变换的散乱点云去噪方法", 组合机床与自动化加工技术, no. 02, 20 February 2009 (2009-02-20) * |
马进全;李玉忠;穆文龙;: "基于空间相似聚类的点云数据分割方法研究与实验", 地理信息世界, no. 02, 25 April 2018 (2018-04-25) * |
Also Published As
Publication number | Publication date |
---|---|
CN117894015B (zh) | 2024-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107766808B (zh) | 道路网络空间中车辆对象移动轨迹聚类的方法及*** | |
JP5167442B2 (ja) | 画像識別装置およびプログラム | |
CN105374209B (zh) | 一种城市区域路网运行状态特征信息提取方法 | |
CN103077529A (zh) | 基于图像扫描的植物叶片特征分析*** | |
CN111598780B (zh) | 一种适用于机载LiDAR点云的地形自适应插值滤波方法 | |
WO2014054042A1 (en) | Device and method for detecting plantation rows | |
CN106780503A (zh) | 基于后验概率信息熵的遥感图像最优分割尺度确定方法 | |
CN111950589B (zh) | 结合K-means聚类的点云区域生长优化分割方法 | |
CN109472801A (zh) | 一种用于多尺度的神经形态检测和分割方法 | |
CN114167898A (zh) | 一种无人机收集数据的全局路径规划方法及*** | |
WO2011085435A1 (en) | Classification process for an extracted object or terrain feature | |
CN113780144A (zh) | 一种基于3d点云的作物株数及茎宽自动提取方法 | |
CN116258857A (zh) | 一种面向室外树木激光点云分割与提取方法 | |
Naeini et al. | Improving the dynamic clustering of hyperspectral data based on the integration of swarm optimization and decision analysis | |
CN117894015B (zh) | 点云标注数据优选方法及*** | |
CN111210454B (zh) | 基于并行鸽群算法的Otsu图像分割方法 | |
CN116403071B (zh) | 基于特征重构的少样本混凝土缺陷检测方法及装置 | |
CN115719453B (zh) | 一种基于深度学习的水稻种植结构遥感提取方法 | |
CN116842818A (zh) | 基于鹈鹕优化算法的结构面产状分组方法 | |
CN114283163A (zh) | 一种多平台激光雷达大田玉米高通量茎叶分离方法 | |
CN109636818A (zh) | 一种拉普拉斯正则约束下低秩稀疏优化的目标分割方法 | |
CN112036541B (zh) | 一种基于遗传算法优化神经网络的织物疵点检测方法 | |
CN115409969A (zh) | 一种长测距地面激光点云平面分割算法 | |
CN115035254A (zh) | 一种基于重建点云的区域植被三维绿量估算方法 | |
CN114063107A (zh) | 一种基于激光束的地面点云提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |