CN111563450A - 数据处理方法、装置、设备及存储介质 - Google Patents
数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111563450A CN111563450A CN202010367919.XA CN202010367919A CN111563450A CN 111563450 A CN111563450 A CN 111563450A CN 202010367919 A CN202010367919 A CN 202010367919A CN 111563450 A CN111563450 A CN 111563450A
- Authority
- CN
- China
- Prior art keywords
- line
- low
- point cloud
- laser radar
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 40
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 94
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000002372 labelling Methods 0.000 claims description 177
- 239000011159 matrix material Substances 0.000 claims description 39
- 238000012546 transfer Methods 0.000 claims description 25
- 238000012937 correction Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000012958 reprocessing Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000012360 testing method Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- -1 then Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请公开了一种数据处理方法、装置、设备及存储介质,涉及数据处理技术中的自动驾驶技术领域,可以应用在具有数据处理能力的设备上。具体实现方案为:获取高线激光雷达点云数据和在同一时刻得到的低线激光雷达点云数据,将高线激光雷达点云上的高线检测分类结果投影到低线激光雷达点云上,得到低线激光雷达的低线标注结果,由于高线检测分类结果的准确性高,不仅可以保证低线激光雷达的低线标注结果的质量,而且在没有人工参与的情况下,实现了数据的自动化标注,降低了标注成本,缩短了标注时间,提高了标注质量。
Description
技术领域
本申请实施例涉及数据处理技术领域,尤其涉及自动驾驶技术领域的数据处理方法、装置、设备及存储介质。
背景技术
随着人工智能技术的蓬勃发展,自动驾驶车辆的功能越来越强大,其中,自动驾驶车辆的大部分功能是基于训练的智能算法模型实现的,而智能算法模型的实现强依赖于标注的训练数据,训练数据的标注质量直接影响了智能算法模型的精度,因而,如何提高训练数据的标注质量是提高智能算法模型精度的关键。
现有的数据标注方法,通常是人工标注,即数据加工人员借助标记工具对智能算法的训练数据进行加工。但是人工标注方法存在标注成本高,标注时间长、标注质量差的问题。
发明内容
本申请实施例提供了一种数据处理方法、装置、设备及存储介质,用于解决现有人工标注方法存在标注成本高,标注时间长、标注质量差的问题。
第一方面,本申请实施例提供了一种数据处理方法,包括:
获取高线激光雷达进行激光扫描得到的高线激光雷达点云数据和低线激光雷达在同一时刻进行激光扫描得到的低线激光雷达点云数据;
将所述高线激光雷达点云数据对应的高线检测分类结果投影到所述低线激光雷达点云数据上,得到所述低线激光雷达点云数据的低线标注结果。
第二方面,本申请实施例提供了一种数据处理装置,包括:获取模块和处理模块;
所述获取模块,用于获取高线激光雷达进行激光扫描得到的高线激光雷达点云数据和低线激光雷达在同一时刻进行激光扫描得到的低线激光雷达点云数据;
所述处理模块,用于将所述高线激光雷达点云数据对应的高线检测分类结果投影到所述低线激光雷达点云数据上,得到所述低线激光雷达点云数据的低线标注结果。
第三方面,本申请实施例提供一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行第一方面所述的方法。
第四方面,本申请实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行第一方面所述的方法。
第五方面,本申请实施例提供一种数据处理方法,包括:
获取在同一时间段得到的高线激光雷达点云数据和低线激光雷达点云数据;
根据所述高线激光雷达点云数据和所述低线激光雷达点云数据,得到所述低线激光雷达点云数据的低线标注结果。
本申请实施例提供的数据处理方法、装置、设备及存储介质,基于高线激光雷达的点云信息比低线激光雷达的点云信息更丰富,检测距离远的特点,将高线激光雷达点云上的高线检测分类结果投影到低线激光雷达点云上,得到低线激光雷达的低线标注结果,由于利用高线激光雷达检测障碍物的召回率和精度比利用低线激光雷达检测的要高,因而,可以保证低线激光雷达的低线标注结果的质量,在没有人工参与的情况下,也可实现数据的自动化标注,降低了标注成本,缩短了标注时间,提高了标注质量。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是本申请提供的数据处理方法的应用场景示意图;
图2是本申请第一实施例提供的数据处理方法的流程示意图;
图3是本申请实施例中高线激光雷达点云数据、高线检测分类结果与低线激光雷达点云数据的低线标注结果的投影示意图;
图4是本申请第二实施例提供的数据处理方法的流程示意图;
图5为本申请第三实施例提供的数据处理方法的流程示意图;
图6是本申请实施例提供的数据处理方法低线标注结果的更新示意图;
图7是本申请第四实施例提供的数据处理方法的流程示意图;
图8是本申请实施例提供的数据处理装置实施例的结构示意图;
图9是用来实现本申请实施例数据处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在介绍本申请的技术方案之前,首先对本申请实施例中涉及到的术语进行解释:
点云:
点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合,在获取物体表面每个采样点的空间坐标后,得到的是点的集合,称之为“点云”(PointCloud)。
点云数据:
点云数据:采用激光扫描的方式,获取环境的点云数据;当一束激光照射到物体表面时,所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描,便会边扫描边记录到反射的激光点信息,由于扫描极为精细,则能够得到大量的激光点,因而就可形成物体的激光点云数据。点云数据是在目标表面特性的海量点云的集合。
高线激光雷达和低线激光雷达:
在介绍高线激光雷达和低线激光雷达之前,首先介绍一下单线激光雷达和多线激光雷达。其中,单线激光雷达即只有一个激光发射器和一个旋转扫描仪的激光雷达,激光发射器发出的线束是单线的,只能追踪单个物体的运动轨迹。多线激光雷达也称为多点激光雷达,是指能够同时发射及接收多束激光的激光旋转测距雷达,其能够同时追踪多个物体的运动轨迹,可以识别物体的高度信息并获取周围环境的3D扫描图,主要应用于无人驾驶车辆。目前,多线激光雷达主要有4线、8线、16线、32线、 64线和128线之分。
在本申请的实施例中,基于多线激光雷达具有的激光线束数量,可以将多线激光雷达分为高线激光雷达和低线激光雷达,例如,将具有激光线束的数量大于预设线束数量的激光雷达称为高线激光雷达,将具有激光线束的数量小于或等于预设线束数量的激光雷达称为低线激光雷达。示例性的,高线激光雷达可以是128线的多线激光雷达,低线激光雷达可以是4 线的多线激光雷达等。
可以理解的是,在本实施例中,关于预设线束数量的具体取值可以根据实际需要设定,此处不再赘述。例如,在一种场景下,预设线束数量等于32,即,将大于32线的激光雷达称为高线激光雷达,例如,64线激光雷达、128线激光雷达,将小于或等于32线的激光雷达称为低线激光雷达,例如,4线激光雷达、8线激光雷达、16线激光雷达、32线激光雷达;在另一种场景下,预设线束数量等于16,即,将大于16线的激光雷达称为高线激光雷达,例如,32线激光雷达、64线激光雷达、128线激光雷达,将小于或等于16线的激光雷达称为低线激光雷达,例如,4线激光雷达、 8线激光雷达、16线激光雷达。
在介绍本申请的技术方案之前,再对本申请实施例的应用场景进行简单介绍:
随着智能信息技术的不断推进,世界汽车产业也正在发生着显著变化,自动驾驶技术是汽车企业和互联网科技公司追逐的目标之一。自动驾驶技术的终极形态一定是无人驾驶,车辆只代表一个移动出行空间。通常情况下,自动驾驶车辆上安装有高级驾驶辅助***(advanced driving assistant system, ADAS),其可以利用安装在车上的各式各样传感器(毫米波雷达、激光雷达、单\双目摄像头以及卫星导航),在车辆行驶过程中随时感应周围的环境,收集数据,进行静态、动态物体的辨识、侦测与追踪,并结合导航仪地图数据,进行***的运算与分析,从而预先让自动驾驶车辆或驾驶者察觉到可能发生的危险,有效增加汽车驾驶的舒适性和安全性。
在实际应用中,自动驾驶车辆上的ADAS具有的物体辨识、侦测与追踪、***运算与分析等功能通常是基于智能算法模型实现的,而智能算法模型的实现依赖于标注的训练数据,训练数据的标注质量直接影响了智能算法模型的精度。
针对现有人工标注方法存在标注成本高,标注时间长、标注质量差的问题,本申请提出了一种数据处理方法,基于高线激光雷达的点云信息比低线激光雷达的点云信息更丰富,检测距离远的特点,将高线激光雷达点云上的高线检测分类结果投影到低线激光雷达点云上,得到低线激光雷达的低线标注结果,由于利用高线激光雷达检测障碍物的召回率和精度比利用低线激光雷达检测的要高,因而,可以保证低线激光雷达的低线标注结果的质量,在没有人工参与的情况下,也可实现数据的自动化标注,降低了标注成本,缩短了标注时间,提高了标注质量。
图1是本申请提供的数据处理方法的应用场景示意图。如图1所示,该应用场景可以包括:运行在道路上的测试车辆11和位于道路上或道路侧的至少一个障碍物12。其中,该测试车辆11上安装至少一个低线激光雷达111 和至少一个高线激光雷达112。
可选的,测试车辆11上安装的至少一个低线激光雷达111和至少一个高线激光雷达112等探测设备,在测试车辆的行驶过程中能够检测周围对象的特征,从而可以分别得到高线激光雷达点云数据和低线激光雷达点云数据。
在本申请的一种实施例中,该测试车辆11上还安装有控制设备,该控制设备可以获取上述得到的低线激光雷达点云数据和高线激光雷达点云数据,并对其进行处理,以实现本申请的技术方案。
在本申请的另一种实施例中,该测试车辆11上还安装有车载终端,该车载终端可以直接获取上述至少一个低线激光雷达111和至少一个高线激光雷达112等探测设备获取到的激光点云数据,还可以通过测试车辆11上安装的控制设备获取上述至少一个低线激光雷达111和至少一个高线激光雷达112等探测设备获取到的激光点云数据。
相应的,本申请实施例的应用场景还可以包括电子设备13,而且,该电子设备13可以与测试车辆11的车载终端进行有线或无线通信。示例性的,电子设备13可以获取车载终端传输的低线激光雷达点云数据和高线激光雷达点云数据,并对其进行处理,以实现本申请的技术方案。
在本申请的实施例中,上述车载终端可以是测试车辆内设置的行车电脑或车载单元(on board unit,OBU),也可以是测试车辆内搭载的用户终端,例如手机等。测试车辆内的手机、行车电脑或OBU可与网络侧设备通信,此处网络侧设备具体可以是交通控制设备、基站、路侧设备等。进一步的,该车载终端可以通过该网络侧设备与电子设备进行通信。
示例性的,电子设备13可以是云端的监控***,例如,包括:处理器131和显示器132,处理器131用于对接收到的低线激光雷达点云数据和高线激光雷达点云数据进行处理,显示器132用于呈现处理器131的处理结果。图1中的电子设备仅示例性的示出了一个处理器和一个显示器,关于电子设备的实际组成可以根据实际情况确定,此处不再赘述。
在图1所示的应用场景示意图中,以运行在道路上的一个测试车辆以及位于道路上的一个障碍物和道路侧的一个障碍物进行解释说明。可以理解的是,本实施例不限定障碍物的数量和障碍物的种类,其可以根据测试车辆所在的实际场景进行限定,例如,不同的时间范围、不同的地区范围内的测试车辆所处场景的障碍物的数量和障碍物的种类不同。
在本实施例中,障碍物可以是各种各样的类型,例如,周围的车辆(包括:自动驾驶车辆、有人驾驶车辆等机动车辆和非机动车辆等)、周围的行人、动物等动态障碍物,还可以是路障、道路围栏等静态障碍物。本申请实施例并不对障碍物的类型进行限定,其可以根据实际情况确定。
可以理解的是,图1所示的应用场景中各对象只是示意性说明,本申请实施例并不对数据处理的应用场景中的对象进行具体限定。例如,数据处理方法的应用场景具体为智能交通网络中,该智能交通网络中可以包括多辆可以进行无线通信的车辆、和各个车辆进行无线通信的交通控制设备、远程服务器、路侧设备、基站。
本申请实施例的执行主体可以是上述图1中的测试车辆或者安装在测试车辆上的控制设备,还可以是能够与测试车辆进行通信的电子设备,该电子设备能够获取测试车辆通过高线激光雷达和低线激光雷达扫描到的高线激光雷达点云数据和低线激光雷达点云数据,关于该电子设备的具体实现,其可以实际情况确定。
下面,通过具体实施例对本申请的技术方案进行详细说明。需要说明的是,下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图2是本申请第一实施例提供的数据处理方法的流程示意图。示例性的,本申请实施例以执行主体为电子设备进行解释说明。如图2所示,该方法可以包括如下步骤:
S201、获取高线激光雷达进行激光扫描得到的高线激光雷达点云数据和低线激光雷达在同一时刻进行激光扫描得到的低线激光雷达点云数据。
在本申请的实施例中,高线激光雷达和低线激光雷达设置在同一辆测试车辆上,在同一时刻分别利用高线激光雷达和低线激光雷达进行激光扫描,相应的,高线激光雷达扫描后可以得到高线激光雷达点云数据,低线激光雷达扫描后可以得到低线激光雷达点云数据。
可选的,执行本申请数据处理的电子设备与高线激光雷达和低线激光雷达可以通过有线或无线连接,因而,高线激光雷达可以将得到的高线激光雷达点云数据传输给电子设备,同理,低线激光雷达也可以将得到的低线激光雷达点云数据传输给电子设备,以便电子设备对其进行处理。
相应的,执行本申请数据处理的电子设备可以获取到上述高线激光雷达点云数据和低线激光雷达点云数据。
示例性的,在本实施例中,高线激光雷达能够发射和接收的激光线束一定大于低线激光雷达能够发射和接收的激光线束,高线激光雷达的点云信息更加丰富,检测距离更远,在高线激光雷达上的检测的召回率和精度相比于在低线激光雷达上的要高。例如,该高线激光雷达可以是128线激光雷达,例如,velodyne128线,其检测距离约120m。该低线激光雷达可以是4线激光雷达,例如,SCALA4线,其检测距离约70m。
可以理解的是,本申请实施例并不限定高线激光雷达和低线激光雷达的具体线束,其可以根据实际需求确定,此处不再赘述。
S202、将高线激光雷达点云数据对应的高线检测分类结果投影到低线激光雷达点云数据上,得到该低线激光雷达点云数据的低线标注结果。
在本实施例中,电子设备获取到高线激光雷达点云数据和低线激光雷达点云数据后,首先可以对高线激光雷达点云数据进行障碍物分类,得到高线检测分类结果,即确定高线激光雷达的标注数据,然后再利用投影原理,将高线检测分类结果投影到低线激光雷达点云数据上,得到低线激光雷达点云数据的低线标注结果。
关于该步骤的具体实现,可以参见下述实施例中的记载,此处不进行赘述。
其中,关于对高线激光雷达点云数据进行处理得到高线检测分类结果的方式,其可以根据实际需求设定,本申请实施例并不限定。示例性的,电子设备可以对高线激光雷达点云数据进行栅格化及滤除处理,然后对滤波结果进行了聚类分割,比如,依据栅格深度值确定聚类距离阈值,再结合连通区域标记算法得到准确的聚类范围。进一步的,还可以通过匹配相邻障碍物运动状态信息,提高聚类的准确率。
示例性的,图3是本申请实施例中高线激光雷达点云数据、高线检测分类结果与低线激光雷达点云数据的低线标注结果的投影示意图。参照如 3所示,高线激光雷达点云数据分布比较稠密,低线激光雷达点云数据分布相比较稀疏。通过对高线激光雷达点云数据进行聚类分析可以得到高线检测分类结果,例如,道路上存在一个路障,这时根据低线激光雷达和高线激光雷达的映射关系,能够确定低线激光雷达点云数据中的低线标记结果,即低线激光雷达点云数据对应的道路上也存在一个路障。
可以理解的是,图3所示的激光点云数据只示出了一部分,实际应用中,点云数据量可以很大,包括的障碍物数量和种类也可能更多,此处并不对其进行限定。
本申请实施例提供的数据处理方法,通过获取高线激光雷达进行激光扫描得到的高线激光雷达点云数据和低线激光雷达在同一时刻进行激光扫描得到的低线激光雷达点云数据,再将高线激光雷达点云数据对应的高线检测分类结果投影到低线激光雷达点云数据上,得到该低线激光雷达点云数据的低线标注结果,实现了对低线激光雷达点云数据的标注,其基于电子设备自动化实现,降低了标注成本,提高了标注效率,而且高线激光雷达上的检测召回率和检测精度均较高,因而,基于上述方式得到的低线标注结果的质量有保证。
示例性的,在上述实施例的基础上,图4是本申请第二实施例提供的数据处理方法的流程示意图。如图4所示,在本实施例中,上述S202可以通过如下步骤实现:
S401、根据高线激光雷达到低线激光雷达的投影转移矩阵,将高线检测分类结果映射到低线激光雷达点云数据上,得到该低线激光雷达点云数据的低线初始标注结果。
在本申请的实施例中,电子设备通过对高线激光雷达和低线激光雷达的外部参数进行处理后,可以得到高线激光雷达到低线激光雷达的投影转移矩阵,进而基于高线激光雷达点云数据和低线激光雷达点云数据的匹配关系,将高线检测分类结果映射到低线激光雷达点云数据上,从而可以得到该低线激光雷达点云数据的低线初始标注结果,进而得到了携带有低线标注结果的低线激光雷达点云数据,即低线激光雷达点云标注数据。
可选的,在本申请的实施例中,在步骤S401之前,该方法还可以包括如下步骤:
S400、对高线激光雷达和低线激光雷达进行标定,确定该高线激光雷达到低线激光雷达的投影转移矩阵。
在本申请的实施例中,电子设备若想将高线检测分类结果映射到低线激光雷达点云数据上,首先需要建立高线激光雷达和低线激光雷达的投影关系。
具体的,电子设备在执行本申请的技术方案之前,首先对高线激光雷达和低线激光雷达进行标定,得到针对激光雷达的标定结果,即每个激光雷达相关基准点的外参,也称为平移旋转矩阵,再对两个激光雷达的平移旋转矩阵进行矩阵运算,可以得到高线激光雷达到低线激光雷达的转移矩阵,即2个雷达之间的投影转移矩阵(即相对平移旋转矩阵),从而,电子设备可以使用该投影转移矩阵,将高线激光雷达点云数据与低线激光雷达点云进行匹配,为本申请技术方案的实现奠定了基础。
S402、对低线初始标注结果进行修正处理,得到该低线激光雷达点云数据的低线标注结果。
在实际应用中,高线激光雷达和低线激光雷达在使用过程中,会存在雷达震动、高低线激光雷达扫描到障碍物的时间不一致、确定的投影转移矩阵有偏差等问题,其会导致基于S401得到的低线激光雷达点云数据的低线初始标注结果存在一定的偏差,因而,电子设备还需要对上述低线初始标注结果进行修正处理,进而得到该低线激光雷达点云数据的低线标注结果,以提高低线标注结果的准确度。
示例性的,在本申请的实施例中,电子设备可以基于低线标注结果产生偏差的原因,采用对应的误差修正方式进行有针对性的修正处理,关于具体的修正方式可以参见下述图5所示实施例中的记载,此处不再赘述。
本申请实施例提供的数据处理方法,通过对高线激光雷达和低线激光雷达进行标定,确定该高线激光雷达到低线激光雷达的投影转移矩阵,再根据该投影转移矩阵,将高线检测分类结果映射到低线激光雷达点云数据上,得到该低线激光雷达点云数据的低线初始标注结果,对低线初始标注结果进行修正处理,得到该低线激光雷达点云数据的低线标注结果。该技术方案中,利用投影转移矩阵实现了高线检测分类结果到低线激光雷达点云数据的低线标注结果的映射,实现了数据的自动化标注,为降低标注成本,提高标注效率奠定了基础。
示例性的,在上述各实施例的基础上,图5是本申请第三实施例提供的数据处理方法的流程示意图。如图5所示,在本实施例中,上述S402 可以通过如下步骤实现:
S501、确定该低线初始标注结果与高线检测分类结果具有投影偏差的至少一个影响因素。
在本申请实施例的具体实现过程中,基于高线激光雷达到低线激光雷达的投影转移矩阵得到的低线初始标注结果与高线检测分类结果具有投影偏差,这可能是由如下影响因素造成的:第一,标定的高低线激光雷达之间的投影偏移矩阵有一定的偏差;第二,测试车辆在使用过程中,高低线激光雷达的震动带来的偏差;第三,高低线激光雷达的扫描周期不一样,导致高低线激光雷达扫描到障碍物的时间不一致等。
值得说明的是,本申请实施例并不限定上述影响因素的具体实现,其可以根据实际场景确定,此处不再赘述。
S502、根据该至少一个影响因素中每个影响因素对应的偏差修正方式,对低线初始标注结果进行修正处理,得到低线标注结果。
在本实施例中,执行本申请实施例提供的数据处理方法的电子设备中可以预先设置多种造成投影偏差的影响因素以及每种影响因素对应的偏差修正方式,这样,当电子设备确定出投影偏差的至少一个影响因素后,可以再确定出每个影响因素对应的偏差修正方式,进而基于每种偏差修正方式对上述S501得到的低线初始标注结果进行修正处理,得到低线标注结果。
可以理解的是,本申请实施例提供的数据处理方法所处的应用场景不同,上述投影偏差的影响因素不同。通常情况下,投影偏差的影响因素主要有S501中提及的三种:高线激光雷达与低线激光雷达的扫描周期不一致、高线激光雷达和低线激光雷达在使用过程中的震动、标定的投影转移矩阵存在偏差等。下述主要针对上述三种影响因素对该S502的具体实现进行解释说明。
作为一种示例,对于高线激光雷达与低线激光雷达的扫描周期不一致的影响因素,则该S502可以通过如下步骤实现:
根据高线激光雷达点云数据和低线激光雷达点云数据携带的时间戳信息和速度矢量信息,对低线初始标注结果进行修正处理,得到低线标注结果。
在本实施例中,高线激光雷达与低线激光雷达的扫描周期不一致,会导致高低线激光雷达发射的激光波束扫描到障碍物的时间上不一致,从而使得高线激光雷达点云数据和低线激光雷达点云数据携带的时间戳信息和速度矢量信息(方向和大小)不同,因而,将高线激光雷达点云数据的高线检测分类结果直接投影到低线激光雷达点云数据上会存在投影偏差,这时,可以基于投影偏差产生的原因,利用高低线激光点云数据携带的时间戳信息和速度矢量信息对通过投影偏移矩阵得到的低线初始标注结果进行修正,将修正后的标注结果作为低线标注结果。
示例性的,高线检测分类结果对应高线标注框,低线初始标记结果对应低线标注框,即在本实施例中,可以利用高低线激光点云数据携带的时间戳信息、速度大小和速度方向等修正低线标注框与高线标注框之间的偏差,提高标记结果投影的准确度。
作为另一种示例,对于高线激光雷达和低线激光雷达在使用过程中的震动的影响因素,则该S502可以通过如下步骤实现:
根据预设的点云匹配算法,对低线初始标注结果进行修正处理,得到低线标注结果。
在本实施例中,测试车辆在使用过程中,即在道路上运行时,其不可避免的会产生震动,从而使得安装在测试车辆上的高低线激光雷达产生震动,这时通过投影偏移矩阵得到的低线初始标注结果与高线检测分类结果会存在投影偏差,针对此,可以将低线初始标注结果作为初始结果,使用预设的点云匹配算法来矫正投影误差。
可选的,在本申请的实施例中,预设的点云匹配算法可以是高斯迭代最近点(gauss iterative closest point,GICP)算法,该GICP算法是引入高斯分布的ICP算法,可以通过协方差矩阵起到类似于权重的作用。因而,本申请的技术方案在一定程度上消除由于震动导致某些不好的对应点在求解过程中的作用,降低了投影偏差的大小,提高了低线标注结果的准确度。
作为再一种示例,对于标定的投影转移矩阵存在偏差的影响因素,则该S502可以通过如下步骤实现:
A1、以低线初始标注结果包括的每个低线标注框的中心点为基准,分别扩展每个低线标注框的覆盖区域,得到每个扩展后的低线标注框;
A2、对于每个扩展后的低线标注框,根据该扩展后的低线标注框包括的低线激光雷达点云数据,对扩展后的低线标注框的覆盖区域进行更新,得到更新后的低线标注框;
A3、根据所有更新后的低线标注框更新上述低线初始标注结果,得到低线标注结果。
在本申请的实施例中,在将高线激光雷达点云数据的高线检测分类结果投影到低线激光雷达点云数据上之前,首先分别对高线激光雷达和低线激光雷达进行标定,确定出高线激光雷达的第一外部参数和低线激光雷达的第二外部参数,再根据第一外部参数和第二外部参数,确定以低线激光雷达的外部参数为基准点平移旋转矩阵,即投影偏移矩阵。鉴于不同激光雷达的制作工艺、使用材料不同,每个激光雷达可能存在***误差,进而使得计算确定的投影偏移矩阵存在一定的误差。
在本实施例中,高线检测分类结果可能包括多个障碍物的对应的高线标注框,当使用上述投影偏移矩阵,将每个障碍物对应的高线标注框映射到低线激光雷达点云上,得到低线激光雷达点云数据的低线初始标注结果。为了减少或消除投影偏移矩阵存在的偏差,可以在低线初始标注结果上,调整每个障碍物对应低线标注框的覆盖区域,再得到每个扩展后的投影框,再根据该扩展后的低线标注框与低线激光雷达点云数据的关系,确定是否对扩展后的低线标注框的覆盖区域进行更新,若需要更新则进行更新,得到更新后的低线标注框;最后将所有更新后的低线标注框作为低线标注结果的目标标注框。
示例性的,图6是本申请实施例提供的数据处理方法低线标注结果的更新示意图。参照图6所示,假设低线初始标记结果包括1个正方体的低线标注框,该低线标注框具有6个面。对于每个低线标注框,首先将该低线标注框的每个面都往外按照一定的步长扩展,如果在新扩展的区域以内没有引入新的低线激光雷达点云数据,则停止扩展;如果达到扩展的上限 (例如,受扩展区域面积的限制),也会停止扩展,在扩展结束之后,根据扩展后的低线标注框里的激光点来重新计算一次包围框,作为该低线标注框的目标标注框。
示例性的,图6所示的示意图中以1个正方体的低线标注框进行解释说明,在实际应用中,低线激光雷达点云数据上的低线标注框的数量和形状可以根据实际确定,此处不再赘述。
采用该方法可以很好的解决投影偏移矩阵存在偏差的问题,从而减少了由于投影偏移矩阵存在偏差带来的低线标注结果不准确的概率,提高了高线激光雷达到低线激光雷达的映射准确性。
值得说明的是,本申请实施例并不限定上述多个影响因素的处理顺序,其可以根据实际情况确定,此处不再赘述。
本申请实施例提供的数据处理方法,通过确定该低线初始标注结果与高线检测分类结果具有投影偏差的至少一个影响因素,再根据该至少一个影响因素中每个影响因素对应的偏差修正方式,对低线初始标注结果进行修正处理,得到低线标注结果。该技术方案能够很好的解决低线标注结果存在的投影偏差问题,提高了高线检测分类结果到低线标注结果的准确性。
在上述各实施例的基础上,图7是本申请第四实施例提供的数据处理方法的流程示意图。如图7所示,本申请实施例提供的数据处理方法还可以包括如下步骤:
S701、基于预设的验证策略,对低线标注结果包括的标注框进行正确性验证。
在本申请的实施例中,为了进一步保障得到的低线标注结果的准确性,还可以基于预设的验证策略验证低线标注结果包括的低线标注框的正确性,并基于验证结果进行相应的处理。
示例性的,在本实施例中,预设的验证策略可以包括:低线标注框包括的点云数量是否过少、低线标注框是否有重叠等。本申请实施例并不对验证策略的具体实现进行限定,其可以根据实际设计确定。
S702、判断上述低线标注结果包括标注错误的标注框,若是,则执行 S703。
在本申请的实施例中,电子设备以低线标注框包括的点云数量是否过少、低线标注框是否有重叠判断低线标注结果是否标注错误的标注框,若是,则需要对其进行重新处理。
S703、对标注错误的标注框进行重新处理,得到更新的低线标注结果。
示例性的,在本实施例中,对于标注错误的标注框,如果低线标注框内的点数太少,则删除该低线标注框;如果低线标注框之间有重叠,则以各低线标注框的中心点为中心,以低线标注框的个数为类数,重新聚类标注框以内的点云,并将在新的点云上计算的包围框作为更新的低线标注结果。在本实施例中,整合包括所有更新的低线标注框的低线标注结果,便得到低线激光雷达点云数据的低线标注结果。
可选的,重新聚类的方式可以是k均值聚类算法,也可以基于欧式距离将点云进行分类。本申请实施例并不限定重新聚类的方式,其可以根据实际情况确定。
进一步的,在上述S702和/或S703之后,本申请的实施例还可以包括如下步骤:
S704、将携带有验证通过的低线标注结果或更新后的低线标注结果的低线雷达激光点云数据作为低线激光雷达点云标注数据。
在本实施例中,通过将高线激光雷达点云数据的高线检测分类结果投影到低线激光雷达点云数据上,确保了投影的精确性,再对低线激光雷达的低线标注结果进行自动质检,剔除有误的标注结果,将携带有验证通过的低线标注结果或更新后的低线标注结果的低线雷达激光点云数据作为低线激光雷达点云标注数据,可以得到高准确度的投影结果。
更进一步的,在上述S704之后,基于该低线激光雷达点云标注数据的实际应用,本申请的实施例还可以包括如下步骤:
S705、保存上述低线激光雷达点云标注数据。
示例性的,电子设备可以首先将得到的低线激光雷达点云标注数据保存到指定的位置,以便后续使用时可以能够到该指定位置获取。
可选的,指定的位置例如可以是电子设备的存储设备,也可以是与电子设备连接的存储设备,还可以是其他的位置,本申请实施例并不对该位置进行限定,可以根据实际应用确定。
进一步的,参照图7所示,该方法还可以包括如下步骤:
S706、将低线激光雷达点云标注数据作为障碍物处理模型的训练样本。
其中,障碍物处理模型用于对获取到的激光点云数据进行障碍物处理操作,该障碍物处理操作包括:障碍物预测、障碍物分类、障碍物分割。
在实际应用中,电子设备可以利用标注好的低线激光雷达点云标注数据对深度神经网络进行模型训练,例如,可以得到障碍物处理模型等。由于低线激光雷达点云标注数据是携带有低线标注结果的数据,该低线标注结果是对障碍物预测、分割和分类得到的,所以,可以将低线激光雷达点云标注数据作为障碍物处理模型的训练样本。
可以理解的是,在本申请的实施例中,该S705和/或S706均是可选的步骤,即电子设备可以保存得到的低线激光雷达点云标注数据,待后续使用时再取出使用,或者,电子设备在得到低线激光雷达点云标注数据后直接将其作为障碍物处理模型的训练样本使用,再或者,电子设备可以将该低线激光雷达点云标注数据保存至障碍物处理模型训练设备的存储单元中,直接作为训练样本使用。关于实际应用中是否执行S705和/或S706,均可以根据实际需求确定,此处不再赘述。
本申请实施例提供的数据处理方法,基于预设的验证策略,对低线标注结果包括的标注框进行正确性验证,若该低线标注结果包括标注错误的标注框,则对标注错误的标注框进行重新处理,得到更新的低线标注结果,这样可以提高低线激光雷达点云数据的标注质量。通过将携带有低线标注结果的低线雷达激光点云数据作为低线激光雷达点云标注数据,进一步将该低线激光雷达点云标注数据作为障碍物处理模型的训练样本,能够在后续利用该障碍物处理模型对获取到的激光点云数据进行的障碍物处理操作,实现数据标注的实用价值。
有上述各实施例的分析可知,本申请实施例提供的数据处理方法,利用一个电子设备将高线激光雷达点云数据的高线检测分类结果映射到低线激光雷达点云数据上,实现了自动标注,标注一帧仅需要几分钟,不需要人工借助于标注工具标注,降低了标注成本,提高了标注速率,没有人为的干扰,标注质量有保证,标注结果稳定且一致。通过实验表明,利用本申请的技术方案得到的标注结果,其精度和召回率均在97%以上,标注质量较高。
上述介绍了本申请实施例提到的数据处理方法的具体实现,下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
图8是本申请实施例提供的数据处理装置实施例的结构示意图。该装置可以集成在车辆中或者车载设备中,也可以集成在与车载设备通信的电子设备中或通过电子设备实现。如图8所示,在本实施例中,该数据处理装置80可以包括:获取模块801和处理模块802。
其中,该获取模块801,用于获取高线激光雷达进行激光扫描得到的高线激光雷达点云数据和低线激光雷达在同一时刻进行激光扫描得到的低线激光雷达点云数据;
该处理模块802,用于将所述高线激光雷达点云数据对应的高线检测分类结果投影到所述低线激光雷达点云数据上,得到所述低线激光雷达点云数据的低线标注结果。
在本申请的一种可能设计中,处理模块802,具体用于根据所述高线激光雷达到所述低线激光雷达的投影转移矩阵,将所述高线检测分类结果映射到所述低线激光雷达点云数据上,得到所述低线激光雷达点云数据的低线初始标注结果,对所述低线初始标注结果进行修正处理,得到所述低线激光雷达点云数据的低线标注结果。
可选的,处理模块802,用于对所述低线初始标注结果进行修正处理,得到所述低线激光雷达点云数据的低线标注结果,具体为:
处理模块802,具体用于确定所述低线初始标注结果与所述高线检测分类结果具有投影偏差的至少一个影响因素,根据所述至少一个影响因素中每个影响因素对应的偏差修正方式,对所述低线初始标注结果进行修正处理,得到所述低线标注结果。
作为一种示例,对于所述高线激光雷达与所述低线激光雷达的扫描周期不一致的影响因素,则该处理模块802,用于根据所述至少一个影响因素中每个影响因素对应的偏差修正方式,对所述低线初始标注结果进行修正处理,得到所述低线标注结果,具体为:
处理模块802,具体用于根据所述高线激光雷达点云数据和所述低线激光雷达点云数据携带的时间戳信息和速度矢量信息,对所述低线初始标注结果进行修正处理,得到所述低线标注结果。
作为另一种示例,对于所述高线激光雷达和所述低线激光雷达在使用过程中的震动的影响因素,则处理模块802,用于根据所述至少一个影响因素中每个影响因素对应的偏差修正方式,对所述低线初始标注结果进行修正处理,得到所述低线标注结果,具体为:
该处理模块802,具体用于根据预设的点云匹配算法,对所述低线初始标注结果进行修正处理,得到所述低线标注结果。
作为再一种示例,对于标定的所述投影转移矩阵存在偏差的影响因素,则处理模块802,用于根据所述至少一个影响因素中每个影响因素对应的偏差修正方式,对所述低线初始标注结果进行修正处理,得到所述低线标注结果,具体为:
处理模块802,具体用于:
以所述低线初始标注结果包括的每个低线标注框的中心点为基准,分别扩展每个低线标注框的覆盖区域,得到每个扩展后的低线标注框;
对于每个扩展后的低线标注框,根据所述扩展后的低线标注框包括的低线激光雷达点云数据,对所述扩展后的低线标注框的覆盖区域进行更新,得到更新后的低线标注框;
根据所有更新后的低线标注框更新所述低线初始标注结果,得到所述低线标注结果。
在本申请的再一种可能设计中,处理模块802,还用于基于预设的验证策略,对所述低线标注结果包括的标注框进行正确性验证,在所述低线标注结果包括标注错误的标注框时,对所述标注错误的标注框进行重新处理,得到更新的低线标注结果。
在本申请的又一种可能设计中,处理模块802,还用于在根据所述高线激光雷达到所述低线激光雷达的投影转移矩阵,将所述高线检测分类结果映射到所述低线激光雷达点云数据上,得到所述低线激光雷达点云数据的低线初始标注结果之前,对所述高线激光雷达和所述低线激光雷达进行标定,确定所述高线激光雷达到所述低线激光雷达的投影转移矩阵。
在本申请的又一种可能设计中,处理模块802,还用于:将携带有所述低线标注结果的所述低线雷达激光点云数据作为低线激光雷达点云标注数据,以及将所述低线激光雷达点云标注数据作为障碍物处理模型的训练样本,所述障碍物处理模型用于对获取到的激光点云数据进行障碍物处理操作,所述障碍物处理操作包括:障碍物预测、障碍物分类、障碍物分割。
本申请实施例提供的装置,可用于执行前述任一方法实施例中的方法,其实现原理和技术效果类似,在此不再赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,处理模块可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上处理模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
进一步的,根据本申请的实施例,本申请还提供了一种电子设备和一种计算机可读存储介质。
图9是用来实现本申请实施例数据处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示,该电子设备包括:一个或多个处理器901、存储器902,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器***)。图9中以一个处理器901 为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的数据处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的数据处理方法。
存储器902作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的数据处理方法对应的程序指令/模块(例如,附图8所示的获取模块801和处理模块802)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的数据处理方法。
存储器902可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据数据处理的电子设备的使用所创建的数据等。此外,存储器902可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器 902可选包括相对于处理器901远程设置的存储器,这些远程存储器可以通过网络连接至数据处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
数据处理方法的电子设备还可以包括:输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接,图9中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息,以及产生与数据处理的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和 /或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入) 来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
进一步的,本申请的实施例还提供一种数据处理方法,包括:
获取在同一时间段得到的高线激光雷达点云数据和低线激光雷达点云数据;
根据所述高线激光雷达点云数据和所述低线激光雷达点云数据,得到所述低线激光雷达点云数据的低线标注结果。
根据本申请实施例的技术方案,利用一个电子设备将高线激光雷达点云数据的高线检测分类结果映射到低线激光雷达点云数据上,实现了自动标注,标注一帧仅需要几分钟,不需要人工借助于标注工具标注,降低了标注成本,提高了标注速率,没有人为的干扰,标注质量有保证,标注结果稳定且一致。通过实验表明,利用本申请的技术方案得到的标注结果,其精度和召回率均满足实际生产的需求,标注质量较高。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (21)
1.一种数据处理方法,其特征在于,包括:
获取高线激光雷达进行激光扫描得到的高线激光雷达点云数据和低线激光雷达在同一时刻进行激光扫描得到的低线激光雷达点云数据;
将所述高线激光雷达点云数据对应的高线检测分类结果投影到所述低线激光雷达点云数据上,得到所述低线激光雷达点云数据的低线标注结果。
2.根据权利要求1所述的方法,其特征在于,所述将所述高线激光雷达点云数据对应的高线检测分类结果投影到所述低线激光雷达点云数据上,得到所述低线激光雷达点云数据的低线标注结果,包括:
根据所述高线激光雷达到所述低线激光雷达的投影转移矩阵,将所述高线检测分类结果映射到所述低线激光雷达点云数据上,得到所述低线激光雷达点云数据的低线初始标注结果;
对所述低线初始标注结果进行修正处理,得到所述低线激光雷达点云数据的低线标注结果。
3.根据权利要求2所述的方法,其特征在于,所述对所述低线初始标注结果进行修正处理,得到所述低线激光雷达点云数据的低线标注结果,包括:
确定所述低线初始标注结果与所述高线检测分类结果具有投影偏差的至少一个影响因素;
根据所述至少一个影响因素中每个影响因素对应的偏差修正方式,对所述低线初始标注结果进行修正处理,得到所述低线标注结果。
4.根据权利要求3所述的方法,其特征在于,对于所述高线激光雷达与所述低线激光雷达的扫描周期不一致的影响因素,则所述根据所述至少一个影响因素中每个影响因素对应的偏差修正方式,对所述低线初始标注结果进行修正处理,得到所述低线标注结果,包括:
根据所述高线激光雷达点云数据和所述低线激光雷达点云数据携带的时间戳信息和速度矢量信息,对所述低线初始标注结果进行修正处理,得到所述低线标注结果。
5.根据权利要求3所述的方法,其特征在于,对于所述高线激光雷达和所述低线激光雷达在使用过程中的震动的影响因素,则所述根据所述至少一个影响因素中每个影响因素对应的偏差修正方式,对所述低线初始标注结果进行修正处理,得到所述低线标注结果,包括:
根据预设的点云匹配算法,对所述低线初始标注结果进行修正处理,得到所述低线标注结果。
6.根据权利要求3所述的方法,其特征在于,对于标定的所述投影转移矩阵存在偏差的影响因素,则所述根据所述至少一个影响因素中每个影响因素对应的偏差修正方式,对所述低线初始标注结果进行修正处理,得到所述低线标注结果,包括:
以所述低线初始标注结果包括的每个低线标注框的中心点为基准,分别扩展每个低线标注框的覆盖区域,得到每个扩展后的低线标注框;
对于每个扩展后的低线标注框,根据所述扩展后的低线标注框包括的低线激光雷达点云数据,对所述扩展后的低线标注框的覆盖区域进行更新,得到更新后的低线标注框;
根据所有更新后的低线标注框更新所述低线初始标注结果,得到所述低线标注结果。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
基于预设的验证策略,对所述低线标注结果包括的标注框进行正确性验证;
若所述低线标注结果包括标注错误的标注框,则对所述标注错误的标注框进行重新处理,得到更新的低线标注结果。
8.根据权利要求2-6任一项所述的方法,其特征在于,在所述根据所述高线激光雷达到所述低线激光雷达的投影转移矩阵,将所述高线检测分类结果映射到所述低线激光雷达点云数据上,得到所述低线激光雷达点云数据的低线初始标注结果之前,所述方法还包括:
对所述高线激光雷达和所述低线激光雷达进行标定,确定所述高线激光雷达到所述低线激光雷达的投影转移矩阵。
9.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
将携带有所述低线标注结果的所述低线雷达激光点云数据作为低线激光雷达点云标注数据;
将所述低线激光雷达点云标注数据作为障碍物处理模型的训练样本,所述障碍物处理模型用于对获取到的激光点云数据进行障碍物处理操作,所述障碍物处理操作包括:障碍物预测、障碍物分类、障碍物分割。
10.一种数据处理装置,其特征在于,包括:获取模块和处理模块;
所述获取模块,用于获取高线激光雷达进行激光扫描得到的高线激光雷达点云数据和低线激光雷达在同一时刻进行激光扫描得到的低线激光雷达点云数据;
所述处理模块,用于将所述高线激光雷达点云数据对应的高线检测分类结果投影到所述低线激光雷达点云数据上,得到所述低线激光雷达点云数据的低线标注结果。
11.根据权利要求10所述的装置,其特征在于,所述处理模块,具体用于根据所述高线激光雷达到所述低线激光雷达的投影转移矩阵,将所述高线检测分类结果映射到所述低线激光雷达点云数据上,得到所述低线激光雷达点云数据的低线初始标注结果,对所述低线初始标注结果进行修正处理,得到所述低线激光雷达点云数据的低线标注结果。
12.根据权利要求11所述的装置,其特征在于,所述处理模块,用于对所述低线初始标注结果进行修正处理,得到所述低线激光雷达点云数据的低线标注结果,具体为:
所述处理模块,具体用于确定所述低线初始标注结果与所述高线检测分类结果具有投影偏差的至少一个影响因素,根据所述至少一个影响因素中每个影响因素对应的偏差修正方式,对所述低线初始标注结果进行修正处理,得到所述低线标注结果。
13.根据权利要求12所述的装置,其特征在于,对于所述高线激光雷达与所述低线激光雷达的扫描周期不一致的影响因素,则所述处理模块,用于根据所述至少一个影响因素中每个影响因素对应的偏差修正方式,对所述低线初始标注结果进行修正处理,得到所述低线标注结果,具体为:
所述处理模块,具体用于根据所述高线激光雷达点云数据和所述低线激光雷达点云数据携带的时间戳信息和速度矢量信息,对所述低线初始标注结果进行修正处理,得到所述低线标注结果。
14.根据权利要求12所述的装置,其特征在于,对于所述高线激光雷达和所述低线激光雷达在使用过程中的震动的影响因素,则所述处理模块,用于根据所述至少一个影响因素中每个影响因素对应的偏差修正方式,对所述低线初始标注结果进行修正处理,得到所述低线标注结果,具体为:
所述处理模块,具体用于根据预设的点云匹配算法,对所述低线初始标注结果进行修正处理,得到所述低线标注结果。
15.根据权利要求12所述的装置,其特征在于,对于标定的所述投影转移矩阵存在偏差的影响因素,则所述处理模块,用于根据所述至少一个影响因素中每个影响因素对应的偏差修正方式,对所述低线初始标注结果进行修正处理,得到所述低线标注结果,具体为:
所述处理模块,具体用于:
以所述低线初始标注结果包括的每个低线标注框的中心点为基准,分别扩展每个低线标注框的覆盖区域,得到每个扩展后的低线标注框;
对于每个扩展后的低线标注框,根据所述扩展后的低线标注框包括的低线激光雷达点云数据,对所述扩展后的低线标注框的覆盖区域进行更新,得到更新后的低线标注框;
根据所有更新后的低线标注框更新所述低线初始标注结果,得到所述低线标注结果。
16.根据权利要求10-15任一项所述的装置,其特征在于,所述处理模块,还用于基于预设的验证策略,对所述低线标注结果包括的标注框进行正确性验证,在所述低线标注结果包括标注错误的标注框时,对所述标注错误的标注框进行重新处理,得到更新的低线标注结果。
17.根据权利要求11-15任一项所述的装置,其特征在于,所述处理模块,还用于在根据所述高线激光雷达到所述低线激光雷达的投影转移矩阵,将所述高线检测分类结果映射到所述低线激光雷达点云数据上,得到所述低线激光雷达点云数据的低线初始标注结果之前,对所述高线激光雷达和所述低线激光雷达进行标定,确定所述高线激光雷达到所述低线激光雷达的投影转移矩阵。
18.根据权利要求10-15任一项所述的装置,其特征在于,所述处理模块,还用于:
将携带有所述低线标注结果的所述低线雷达激光点云数据作为低线激光雷达点云标注数据;
将所述低线激光雷达点云标注数据作为障碍物处理模型的训练样本,所述障碍物处理模型用于对获取到的激光点云数据进行障碍物处理操作,所述障碍物处理操作包括:障碍物预测、障碍物分类、障碍物分割。
19.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。
21.一种数据处理方法,其特征在于,包括:
获取在同一时间段得到的高线激光雷达点云数据和低线激光雷达点云数据;
根据所述高线激光雷达点云数据和所述低线激光雷达点云数据,得到所述低线激光雷达点云数据的低线标注结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010367919.XA CN111563450B (zh) | 2020-04-30 | 2020-04-30 | 数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010367919.XA CN111563450B (zh) | 2020-04-30 | 2020-04-30 | 数据处理方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111563450A true CN111563450A (zh) | 2020-08-21 |
CN111563450B CN111563450B (zh) | 2023-09-26 |
Family
ID=72067898
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010367919.XA Active CN111563450B (zh) | 2020-04-30 | 2020-04-30 | 数据处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111563450B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112233182A (zh) * | 2020-12-15 | 2021-01-15 | 北京云测网络科技有限公司 | 一种多激光雷达的点云数据的标注方法和装置 |
CN112669373A (zh) * | 2020-12-24 | 2021-04-16 | 北京亮道智能汽车技术有限公司 | 一种自动化标注方法、装置、电子设备及存储介质 |
CN112862017A (zh) * | 2021-04-01 | 2021-05-28 | 北京百度网讯科技有限公司 | 点云数据的标注方法、装置、设备和介质 |
CN112990293A (zh) * | 2021-03-10 | 2021-06-18 | 深圳一清创新科技有限公司 | 一种点云标注方法、装置和电子设备 |
CN113052274A (zh) * | 2021-06-02 | 2021-06-29 | 天津云圣智能科技有限责任公司 | 点云数据处理方法、装置及电子设备 |
CN113808186A (zh) * | 2021-03-04 | 2021-12-17 | 京东鲲鹏(江苏)科技有限公司 | 训练数据生成方法、装置与电子设备 |
CN115952128A (zh) * | 2023-02-22 | 2023-04-11 | 南京芯驰半导体科技有限公司 | 通信方法、相关装置、芯片及存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108020825A (zh) * | 2016-11-03 | 2018-05-11 | 岭纬公司 | 激光雷达、激光摄像头、视频摄像头的融合标定***及方法 |
WO2018205119A1 (zh) * | 2017-05-09 | 2018-11-15 | 深圳市速腾聚创科技有限公司 | 基于激光雷达扫描的路沿检测方法和*** |
CN110084895A (zh) * | 2019-04-30 | 2019-08-02 | 上海禾赛光电科技有限公司 | 对点云数据进行标注的方法和设备 |
CN110096059A (zh) * | 2019-04-25 | 2019-08-06 | 杭州飞步科技有限公司 | 自动驾驶方法、装置、设备及存储介质 |
CN110221603A (zh) * | 2019-05-13 | 2019-09-10 | 浙江大学 | 一种基于激光雷达多帧点云融合的远距离障碍物检测方法 |
CN110264468A (zh) * | 2019-08-14 | 2019-09-20 | 长沙智能驾驶研究院有限公司 | 点云数据标注、分割模型确定、目标检测方法及相关设备 |
CN110618413A (zh) * | 2018-06-19 | 2019-12-27 | 北京京东尚科信息技术有限公司 | 基于多线激光雷达的可通行区域检测方法和装置 |
CN110632617A (zh) * | 2019-09-29 | 2019-12-31 | 北京邮电大学 | 一种激光雷达点云数据处理的方法及装置 |
CN110673107A (zh) * | 2019-08-09 | 2020-01-10 | 北京智行者科技有限公司 | 基于多线激光雷达的路沿检测方法及装置 |
CN110687549A (zh) * | 2019-10-25 | 2020-01-14 | 北京百度网讯科技有限公司 | 障碍物检测方法和装置 |
CN110858291A (zh) * | 2018-08-24 | 2020-03-03 | 北京搜狗科技发展有限公司 | 字符切分方法及装置 |
CN110929669A (zh) * | 2019-11-29 | 2020-03-27 | 北京百度网讯科技有限公司 | 数据标注方法及装置 |
-
2020
- 2020-04-30 CN CN202010367919.XA patent/CN111563450B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108020825A (zh) * | 2016-11-03 | 2018-05-11 | 岭纬公司 | 激光雷达、激光摄像头、视频摄像头的融合标定***及方法 |
WO2018205119A1 (zh) * | 2017-05-09 | 2018-11-15 | 深圳市速腾聚创科技有限公司 | 基于激光雷达扫描的路沿检测方法和*** |
CN110618413A (zh) * | 2018-06-19 | 2019-12-27 | 北京京东尚科信息技术有限公司 | 基于多线激光雷达的可通行区域检测方法和装置 |
CN110858291A (zh) * | 2018-08-24 | 2020-03-03 | 北京搜狗科技发展有限公司 | 字符切分方法及装置 |
CN110096059A (zh) * | 2019-04-25 | 2019-08-06 | 杭州飞步科技有限公司 | 自动驾驶方法、装置、设备及存储介质 |
CN110084895A (zh) * | 2019-04-30 | 2019-08-02 | 上海禾赛光电科技有限公司 | 对点云数据进行标注的方法和设备 |
CN110221603A (zh) * | 2019-05-13 | 2019-09-10 | 浙江大学 | 一种基于激光雷达多帧点云融合的远距离障碍物检测方法 |
CN110673107A (zh) * | 2019-08-09 | 2020-01-10 | 北京智行者科技有限公司 | 基于多线激光雷达的路沿检测方法及装置 |
CN110264468A (zh) * | 2019-08-14 | 2019-09-20 | 长沙智能驾驶研究院有限公司 | 点云数据标注、分割模型确定、目标检测方法及相关设备 |
CN110632617A (zh) * | 2019-09-29 | 2019-12-31 | 北京邮电大学 | 一种激光雷达点云数据处理的方法及装置 |
CN110687549A (zh) * | 2019-10-25 | 2020-01-14 | 北京百度网讯科技有限公司 | 障碍物检测方法和装置 |
CN110929669A (zh) * | 2019-11-29 | 2020-03-27 | 北京百度网讯科技有限公司 | 数据标注方法及装置 |
Non-Patent Citations (4)
Title |
---|
A. KNIGGE等: "High Pulse Power Wavelength Stabilized Laser Diodes for Automotive LiDAR", 《2018 IEEE INTERNATIONAL SEMICONDUCTOR LASER CONFERENCE (ISLC)》 * |
VASYL V.MOLEBNY: "Multi-Dimensional Laser Radars", 《REFERENCE MODULE IN MATERIALS SCIENCE AND MATERIALS ENGINEERING》 * |
姜灏: "一种自动驾驶车的环境感知***", 《电子制作》 * |
孙凯: "面向无人驾驶的多激光雷达耦合***设计与实现", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112233182A (zh) * | 2020-12-15 | 2021-01-15 | 北京云测网络科技有限公司 | 一种多激光雷达的点云数据的标注方法和装置 |
CN112669373A (zh) * | 2020-12-24 | 2021-04-16 | 北京亮道智能汽车技术有限公司 | 一种自动化标注方法、装置、电子设备及存储介质 |
CN112669373B (zh) * | 2020-12-24 | 2023-12-05 | 北京亮道智能汽车技术有限公司 | 一种自动化标注方法、装置、电子设备及存储介质 |
CN113808186A (zh) * | 2021-03-04 | 2021-12-17 | 京东鲲鹏(江苏)科技有限公司 | 训练数据生成方法、装置与电子设备 |
CN113808186B (zh) * | 2021-03-04 | 2024-01-16 | 京东鲲鹏(江苏)科技有限公司 | 训练数据生成方法、装置与电子设备 |
CN112990293A (zh) * | 2021-03-10 | 2021-06-18 | 深圳一清创新科技有限公司 | 一种点云标注方法、装置和电子设备 |
CN112990293B (zh) * | 2021-03-10 | 2024-03-29 | 深圳一清创新科技有限公司 | 一种点云标注方法、装置和电子设备 |
CN112862017B (zh) * | 2021-04-01 | 2023-08-01 | 北京百度网讯科技有限公司 | 点云数据的标注方法、装置、设备和介质 |
CN112862017A (zh) * | 2021-04-01 | 2021-05-28 | 北京百度网讯科技有限公司 | 点云数据的标注方法、装置、设备和介质 |
CN113052274B (zh) * | 2021-06-02 | 2021-09-07 | 天津云圣智能科技有限责任公司 | 点云数据处理方法、装置及电子设备 |
CN113052274A (zh) * | 2021-06-02 | 2021-06-29 | 天津云圣智能科技有限责任公司 | 点云数据处理方法、装置及电子设备 |
CN115952128A (zh) * | 2023-02-22 | 2023-04-11 | 南京芯驰半导体科技有限公司 | 通信方法、相关装置、芯片及存储介质 |
CN115952128B (zh) * | 2023-02-22 | 2023-05-26 | 南京芯驰半导体科技有限公司 | 通信方法、相关装置、芯片及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111563450B (zh) | 2023-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111563450B (zh) | 数据处理方法、装置、设备及存储介质 | |
CN111052132B (zh) | 利用多个传感器的基于运动的车道检测的验证模块***和方法 | |
US11042723B2 (en) | Systems and methods for depth map sampling | |
EP3620823B1 (en) | Method and device for detecting precision of internal parameter of laser radar | |
CN110687549B (zh) | 障碍物检测方法和装置 | |
US10437252B1 (en) | High-precision multi-layer visual and semantic map for autonomous driving | |
US10794710B1 (en) | High-precision multi-layer visual and semantic map by autonomous units | |
CN109270545B (zh) | 一种定位真值校验方法、装置、设备及存储介质 | |
CN111324115B (zh) | 障碍物位置检测融合方法、装置、电子设备和存储介质 | |
EP4080248A1 (en) | Method and apparatus for vehicle positioning, controller, smart car and system | |
US20200042803A1 (en) | Information processing method, information processing apparatus, and recording medium | |
CN110386142A (zh) | 用于自动驾驶车辆的俯仰角校准方法 | |
US10872228B1 (en) | Three-dimensional object detection | |
CN110793544A (zh) | 感知传感器参数标定方法、装置、设备及存储介质 | |
CN113887400B (zh) | 障碍物检测方法、模型训练方法、装置及自动驾驶车辆 | |
CN111353453B (zh) | 用于车辆的障碍物检测方法和装置 | |
US11821752B2 (en) | Method for localizing and enhancing a digital map by a motor vehicle; localization device | |
EP4024974A1 (en) | Data processing method and apparatus, chip system, and medium | |
CN114556442A (zh) | 三维点云分割方法和装置、可移动平台 | |
CN115436920A (zh) | 一种激光雷达标定方法及相关设备 | |
CN114092660A (zh) | 高精地图生成方法、装置及用于生成地图的车辆 | |
CN114528941A (zh) | 传感器数据融合方法、装置、电子设备及存储介质 | |
CN113378694A (zh) | 生成目标检测和定位***及目标检测和定位的方法及装置 | |
KR102618951B1 (ko) | 시각적 매핑 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 | |
US20230025579A1 (en) | High-definition mapping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |