CN110992731A - 基于激光雷达的3d车辆检测方法、装置及存储介质 - Google Patents

基于激光雷达的3d车辆检测方法、装置及存储介质 Download PDF

Info

Publication number
CN110992731A
CN110992731A CN201911273416.XA CN201911273416A CN110992731A CN 110992731 A CN110992731 A CN 110992731A CN 201911273416 A CN201911273416 A CN 201911273416A CN 110992731 A CN110992731 A CN 110992731A
Authority
CN
China
Prior art keywords
data
vehicle
laser radar
vehicle detection
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911273416.XA
Other languages
English (en)
Other versions
CN110992731B (zh
Inventor
赵哲
王维
邓海林
韩升升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhijia Technology Co Ltd
Original Assignee
Suzhou Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhijia Technology Co Ltd filed Critical Suzhou Zhijia Technology Co Ltd
Priority to CN201911273416.XA priority Critical patent/CN110992731B/zh
Publication of CN110992731A publication Critical patent/CN110992731A/zh
Application granted granted Critical
Publication of CN110992731B publication Critical patent/CN110992731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明涉及一种基于激光雷达的3D车辆检测方法、装置及存储介质，基于激光雷达，采集自动驾驶车辆周围环境的3D数据；针对所述3D数据，对每帧3D数据中的目标车辆进行人工标注；针对人工标注后的3D数据，利用卷积和池化操作对3D数据的Z轴数据进行编码，将所述人工标注后的3D数据压缩成2D俯视图；针对所述压缩后的2D俯视图，利用图像检测网络进行训练，获得基于激光雷达的3D车辆检测模型。本发明直接通过3D激光雷达获取3D数据进行检测，省去现有检测方法的2D图像标定、投影步骤，有效减少检测步骤，进而提高检测效率。

Description

基于激光雷达的3D车辆检测方法、装置及存储介质
技术领域
本发明涉及一种基于激光雷达的3D车辆检测方法、装置及存储介质。
背景技术
自动驾驶卡车行驶的过程中需要感知周围环境,周围车辆的信息尤其重要，需要及时知道周围车辆的信息，检测出来，进行车辆的跟踪和预测，才能保证自动驾驶的正常运行。
进行车辆检测时，传统的方法是依赖于2D图像信息，在2D图像上进行车辆的检测，再利用相关标定方法，将2D图像检测的结构投影到3D激光雷达上，再利用3D激光雷达数据进行分析，得到车辆的3D信息。车辆的3D信息包括车辆的3D位置，车辆大小和车辆的朝向。
由此可以看出，现有获得车辆3D信息的方法流程较多，步骤繁琐，计算量相对较大。
发明内容
本发明的发明目的在于提供一种基于激光雷达的3D车辆检测方法及***，有效减少检测步骤，进而提高检测效率。
基于同一发明构思，本发明具有三个独立的技术方案：
1、一种基于激光雷达的3D车辆检测方法，其特征在于，包括如下步骤：
步骤1：基于激光雷达，采集自动驾驶车辆周围环境的3D数据；
步骤2：针对所述3D数据，对每帧3D数据中的目标车辆进行人工标注；
步骤3：针对人工标注后的3D数据，利用卷积和池化操作对3D数据的Z轴数据进行编码，将所述人工标注后的3D数据压缩成2D俯视图；
步骤4：针对所述压缩后的2D俯视图，利用图像检测网络进行训练，获得基于激光雷达的3D车辆检测模型。
进一步地，步骤2中，先利用多帧3D数据根据已知的位置进行融合后，再进行人工标注；人工标注后，再重新投影回单帧3D数据。
进一步地，步骤4中，所述图像检测网络采用CenterNet或Faster-RCNN。
进一步地，包括步骤5，利用人工标注数据，对3D车辆检测模型进行效果评估。
进一步地，步骤5中，当评估效果达不到要求时，增加自动驾驶车辆周围环境的3D数据采集量，重复步骤1至步骤4，直至3D车辆检测模型的检测效果达到要求。
2、一种基于激光雷达的3D车辆检测装置，其特征在于，包括：
激光雷达，用于采集自动驾驶车辆周围环境的3D数据；
检测模块，用于实现上述的方法，获得基于激光雷达的3D车辆检测模型。
3、一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于：所述计算机程序在被处理器执行时实现上述的方法。
本发明具有的有益效果：
本发明基于激光雷达，采集自动驾驶车辆周围环境的3D数据；针对所述3D数据，对每帧3D数据中的目标车辆进行人工标注；针对人工标注后的3D数据，利用卷积和池化操作对3D数据的Z轴数据进行编码，将所述人工标注后的3D数据压缩成2D俯视图；针对所述压缩后的2D俯视图，利用图像检测网络进行训练，获得基于激光雷达的3D车辆检测模型。本发明直接通过3D激光雷达获取3D数据进行检测，省去现有检测方法的2D图像标定、投影步骤，有效减少检测步骤，进而提高检测效率。本发明采用先利用卷积和池化操作对3D数据的Z轴数据进行编码，然后将3D数据压缩成2D俯视图的方式进行检测，有效减少了计算量。相比于现有检测方法的2D图像检测，本发明直接在激光雷达上检测，可以得到360度无死角的感知结果，感知范围更大。
本发明先利用多帧3D数据根据已知的位置进行融合后，再进行人工标注；人工标注后，再重新投影回单帧3D数据。因为融合后的点云比较稠密，相比于单帧的数据，目标车辆在周围环境中更加清晰可见，更便于人工标注，有效提高人工标注效率。
本发明利用人工标注数据，对3D车辆检测模型进行效果评估。当评估效果达不到要求时，增加自动驾驶车辆周围环境的3D数据采集量，直至3D车辆检测模型的检测效果达到要求。本发明通过上述方法进一步保证了车辆检测的准确性。
附图说明
图1是本发明基于激光雷达的3D车辆检测方法的总体流程图。
具体实施方式
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
实施例一：
基于激光雷达的3D车辆检测方法
包括如下步骤：
步骤1：基于激光雷达，采集自动驾驶车辆周围环境的3D数据。
搭载了激光雷达的卡车在不同场景，城市运行，利用激光雷达采集数据，记录在移动硬盘当中.数据采集要尽可能覆盖尽量多的不同场景，保证数据的多样性。
步骤2：针对所述3D数据，对每帧3D数据中的目标车辆进行人工标注，即，每帧3D数据中标出车辆的3D检测框。
先利用多帧3D数据根据已知的位置进行融合后，再进行人工标注；人工标注后，再重新投影回单帧3D数据。
由于激光雷达比较稀疏，3D车辆有时不好区分，将多帧数据根据已知的位置进行融合，融合成一个很稠密的点云数据后，再进行人工标注。因为融合后的点云比较稠密，相比于单帧的数据，目标车辆等物体更加清晰可见，更有利于标注。
步骤3：针对人工标注后的3D数据，利用卷积和池化操作对3D数据的Z轴数据进行编码，将所述人工标注后的3D数据压缩成2D俯视图。
不同于传统的图像上的2D深度学习检测网络，激光雷达的数据是3D形式的。虽然目前对3D数据可做类似3D卷积操作，但是因为3D计算量大和消耗内存多，所以本发明采用先利用卷积和池化操作对3D数据的Z轴数据进行编码，然后将3D数据压缩成2D俯视图的方式，有效减少计算量。
具体实施时，先利用x,y轴对空间进行网格化，10厘米乘10厘米一个网格。每个网格包含10*10厘米空间上Z轴上的所有点。对每个网格中的所有点云进行多次卷积和池化操作，得到每个网格的表示向量，即完成了3D数据中Z轴的编码。每个网络都用向量进行表示，就成功的将3D数据压缩成了2D俯视图结构。
步骤4：针对所述压缩后的2D俯视图，利用图像检测网络进行训练，获得基于激光雷达的3D车辆检测模型。
具体实施时，采用CenterNet图像检测技术。CenterNet是一种无锚点的物体检测技术，利用对图像的多次卷积和池化操作，直接回归出物体的中心位置和检测框。
实施例二：
基于激光雷达的3D车辆检测方法
实施例二中，还包括
步骤5，利用人工标注数据，对3D车辆检测模型进行效果评估。
当评估效果达不到要求时，增加自动驾驶车辆周围环境的3D数据采集量，重复步骤1至步骤4，直至3D车辆检测模型的检测效果达到要求。
训练模型结束之后，利用一些人工标注的数据，我们可以测试本发明模型的效果如何，我们利用准确率和召回率来评估我们的网络模型.由于真实的驾驶场景复杂多样，模型不一定对所有场景都能得到一个比较好的效果.通过评估模型效果，本发明可以及时发现一些bad case，了解模型的实际使用情况.针对一些效果不好的场景，可以通过采集更多的数据，进行人工标注，再加入训练数据集中，来完善模型效果。
步骤6，模型发布。当模型评估满足要求后，我们就可以把模型发布出去，在自动驾驶车上实时进行车辆的检测，用于环境信息的感知和定位。
实施例三：基于激光雷达的3D车辆检测方法
步骤4中，所述图像检测网络采取复用Faster-RCNN、CenterNet。Faster RCNN是一种基于锚点的物体检测技术，先预先对图像中的每个像素定义一些锚点，再将锚点和训练真值进行关联，得到正负训练样本，同时利用多次卷积和池化操作得到图像的特征表示，结合正负样本完成对锚点的分类和回归。CenterNet是一种无锚点的物体检测技术，利用对图像的多次卷积和池化操作，直接回归出物体的中心位置和检测框。
其余，同实施例二。
实施例四：
一种基于激光雷达的3D车辆检测装置
包括：
激光雷达，用于采集自动驾驶车辆周围环境的3D数据；
检测模块，用于实现实施例一或实施例二所述的方法，获得基于激光雷达的3D车辆检测模型。
实施例五：
计算机可读存储介质
所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时实现实施例一或实施例二所述的方法。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (7)

1.一种基于激光雷达的3D车辆检测方法，其特征在于，包括如下步骤：
步骤1：基于激光雷达，采集自动驾驶车辆周围环境的3D数据；
步骤2：针对所述3D数据，对每帧3D数据中的目标车辆进行人工标注；
步骤3：针对人工标注后的3D数据，利用卷积和池化操作对3D数据的Z轴数据进行编码，将所述人工标注后的3D数据压缩成2D俯视图；
步骤4：针对所述压缩后的2D俯视图，利用图像检测网络进行训练，获得基于激光雷达的3D车辆检测模型。
2.根据权利要求1所述的基于激光雷达的3D车辆检测方法，其特征在于：步骤2中，先利用多帧3D数据根据已知的位置进行融合后，再进行人工标注；人工标注后，再重新投影回单帧3D数据。
3.根据权利要求1所述的基于激光雷达的3D车辆检测方法，其特征在于：步骤4中，所述图像检测网络采用CenterNet或Faster-RCNN，或者复用CenterNet、Faster-RCNN。
4.根据权利要求1述的基于激光雷达的3D车辆检测方法，其特征在于：包括步骤5，利用人工标注数据，对3D车辆检测模型进行效果评估。
5.根据权利要求4述的基于激光雷达的3D车辆检测方法，其特征在于：步骤5中，当评估效果达不到要求时，增加自动驾驶车辆周围环境的3D数据采集量，重复步骤1至步骤4，直至3D车辆检测模型的检测效果达到要求。
6.一种基于激光雷达的3D车辆检测装置，其特征在于，包括：
激光雷达，用于采集自动驾驶车辆周围环境的3D数据；
检测模块，用于实现权利要求1至5任何一项所述的方法，获得基于激光雷达的3D车辆检测模型。
7.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于：所述计算机程序在被处理器执行时实现权利要求1至5任何一项所述的方法。
CN201911273416.XA 2019-12-12 2019-12-12 基于激光雷达的3d车辆检测方法、装置及存储介质 Active CN110992731B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911273416.XA CN110992731B (zh) 2019-12-12 2019-12-12 基于激光雷达的3d车辆检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911273416.XA CN110992731B (zh) 2019-12-12 2019-12-12 基于激光雷达的3d车辆检测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110992731A true CN110992731A (zh) 2020-04-10
CN110992731B CN110992731B (zh) 2021-11-05

Family

ID=70092780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911273416.XA Active CN110992731B (zh) 2019-12-12 2019-12-12 基于激光雷达的3d车辆检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110992731B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476902A (zh) * 2020-04-27 2020-07-31 北京小马慧行科技有限公司 3d点云中物体的标注方法、装置、存储介质和处理器
CN111582213A (zh) * 2020-05-15 2020-08-25 北京铁科时代科技有限公司 一种基于Centernet的汽车识别方法
CN111860379A (zh) * 2020-07-27 2020-10-30 联通智网科技有限公司 周边车辆模型的建立方法、装置、存储介质和计算机设备
CN112766206A (zh) * 2021-01-28 2021-05-07 深圳市捷顺科技实业股份有限公司 一种高位视频车辆检测方法、装置、电子设备和存储介质
CN113643226A (zh) * 2020-04-27 2021-11-12 成都术通科技有限公司 标注方法、装置、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104685883A (zh) * 2012-10-04 2015-06-03 高通股份有限公司 用于3d视频的经视图间预测运动向量
CN107578427A (zh) * 2017-07-31 2018-01-12 深圳市易成自动驾驶技术有限公司 动态障碍物的检测方法、装置及计算机可读存储介质
CN108345822A (zh) * 2017-01-22 2018-07-31 腾讯科技（深圳）有限公司 一种点云数据处理方法及装置
US20180352144A1 (en) * 2017-06-02 2018-12-06 SZ DJI Technology Co., Ltd. Systems and methods for multi-target tracking and autofocusing based on deep machine learning and laser radar
CN109543601A (zh) * 2018-11-21 2019-03-29 电子科技大学 一种基于多模态深度学习的无人车目标检测方法
CN110070511A (zh) * 2019-04-30 2019-07-30 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
CN110097047A (zh) * 2019-03-19 2019-08-06 同济大学 一种基于深度学习采用单线激光雷达的车辆检测方法
CN110210398A (zh) * 2019-06-03 2019-09-06 宁波智能装备研究院有限公司 一种三维点云语义分割标注方法
CN110531376A (zh) * 2019-08-23 2019-12-03 畅加风行(苏州)智能科技有限公司 用于港口无人驾驶车辆的障碍物检测和跟踪方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104685883A (zh) * 2012-10-04 2015-06-03 高通股份有限公司 用于3d视频的经视图间预测运动向量
CN108345822A (zh) * 2017-01-22 2018-07-31 腾讯科技（深圳）有限公司 一种点云数据处理方法及装置
US20180352144A1 (en) * 2017-06-02 2018-12-06 SZ DJI Technology Co., Ltd. Systems and methods for multi-target tracking and autofocusing based on deep machine learning and laser radar
CN107578427A (zh) * 2017-07-31 2018-01-12 深圳市易成自动驾驶技术有限公司 动态障碍物的检测方法、装置及计算机可读存储介质
CN109543601A (zh) * 2018-11-21 2019-03-29 电子科技大学 一种基于多模态深度学习的无人车目标检测方法
CN110097047A (zh) * 2019-03-19 2019-08-06 同济大学 一种基于深度学习采用单线激光雷达的车辆检测方法
CN110070511A (zh) * 2019-04-30 2019-07-30 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
CN110210398A (zh) * 2019-06-03 2019-09-06 宁波智能装备研究院有限公司 一种三维点云语义分割标注方法
CN110531376A (zh) * 2019-08-23 2019-12-03 畅加风行(苏州)智能科技有限公司 用于港口无人驾驶车辆的障碍物检测和跟踪方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476902A (zh) * 2020-04-27 2020-07-31 北京小马慧行科技有限公司 3d点云中物体的标注方法、装置、存储介质和处理器
CN113643226A (zh) * 2020-04-27 2021-11-12 成都术通科技有限公司 标注方法、装置、设备及介质
CN111476902B (zh) * 2020-04-27 2023-10-24 北京小马慧行科技有限公司 3d点云中物体的标注方法、装置、存储介质和处理器
CN113643226B (zh) * 2020-04-27 2024-01-19 成都术通科技有限公司 标注方法、装置、设备及介质
CN111582213A (zh) * 2020-05-15 2020-08-25 北京铁科时代科技有限公司 一种基于Centernet的汽车识别方法
CN111860379A (zh) * 2020-07-27 2020-10-30 联通智网科技有限公司 周边车辆模型的建立方法、装置、存储介质和计算机设备
CN112766206A (zh) * 2021-01-28 2021-05-07 深圳市捷顺科技实业股份有限公司 一种高位视频车辆检测方法、装置、电子设备和存储介质
CN112766206B (zh) * 2021-01-28 2024-05-28 深圳市捷顺科技实业股份有限公司 一种高位视频车辆检测方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN110992731B (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN110992731B (zh) 基于激光雷达的3d车辆检测方法、装置及存储介质
KR101829556B1 (ko) 객체 움직임의 라이더 기반 분류 기법
CN104778720B (zh) 一种基于空间不变特性的快速体积测量方法
CN103324937B (zh) 标注目标的方法和装置
CN112418245B (zh) 基于城市环境物理模型的电磁发射点定位方法
CN113870343B (zh) 相对位姿标定方法、装置、计算机设备和存储介质
CN107808123B (zh) 图像可行域检测方法、电子设备、存储介质、检测***
CN111179300A (zh) 障碍物检测的方法、装置、***、设备以及存储介质
CN108280843A (zh) 一种视频目标检测跟踪方法及设备
CN112257605B (zh) 基于自标注训练样本的三维目标检测方法、***及装置
CN111141264B (zh) 一种基于无人机的城市三维测绘方法和***
CN104424630A (zh) 三维重建方法及装置、移动终端
CN111402414A (zh) 一种点云地图构建方法、装置、设备和存储介质
US20240017747A1 (en) Method and system for augmenting lidar data
CN103729846B (zh) 基于不规则三角网的LiDAR点云数据边缘检测方法
CN112346453A (zh) 机器人自动回充方法、装置、机器人和存储介质
CN112419512B (zh) 一种基于语义信息的空中三维模型修复***及方法
CN112082553A (zh) 基于wifi和激光雷达的室内定位方法、定位装置和机器人
CN110307903A (zh) 一种家禽特定部位无接触温度动态测量的方法
CN114494618A (zh) 地图的生成方法、装置、电子设备及存储介质
CN113673400A (zh) 基于深度学习的实景三维语义重建方法、装置及存储介质
CN104463240A (zh) 一种控制列表界面的方法及装置
CN113706633B (zh) 一种目标对象的三维信息确定方法和装置
US20230080540A1 (en) Lidar simulation system
CN117494549B (zh) 一种三维地理信息***的信息仿真展示方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant