CN113655494A - 路侧相机与4d毫米波融合的目标检测方法、设备及介质 - Google Patents

路侧相机与4d毫米波融合的目标检测方法、设备及介质 Download PDF

Info

Publication number
CN113655494A
CN113655494A CN202110853786.1A CN202110853786A CN113655494A CN 113655494 A CN113655494 A CN 113655494A CN 202110853786 A CN202110853786 A CN 202110853786A CN 113655494 A CN113655494 A CN 113655494A
Authority
CN
China
Prior art keywords
image
camera
target
millimeter wave
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110853786.1A
Other languages
English (en)
Other versions
CN113655494B (zh
Inventor
张宇超
秦超
林新雨
王凤军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Intelligent and Connected Vehicle R&D Center Co Ltd
Original Assignee
Shanghai Intelligent and Connected Vehicle R&D Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Intelligent and Connected Vehicle R&D Center Co Ltd filed Critical Shanghai Intelligent and Connected Vehicle R&D Center Co Ltd
Priority to CN202110853786.1A priority Critical patent/CN113655494B/zh
Publication of CN113655494A publication Critical patent/CN113655494A/zh
Application granted granted Critical
Publication of CN113655494B publication Critical patent/CN113655494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及一种路侧相机与4D毫米波融合的目标检测方法、设备及介质,所述目标检测方法包括以下步骤:获取路侧相机的第一图像与4D毫米波雷达的第一点云;将所述第一点云投影到所述第一图像上,在所述第一图像上添加距离信息,获取第二图像;将所述第二图像作为深度补全卷积网络的输入,获取第三图像,该第三图像为稠密深度图;将所述第三图像转换为第二点云,并编码生成第四图像;将所述第四图像输入卷积神经网络进行目标检测,获得目标框;将所述目标框映射为相机坐标系下的3D框,并基于所述第一点云,在所述3D框上添加速度信息。与现有技术相比,本发明具有感知距离远、目标定位准确等优点。

Description

路侧相机与4D毫米波融合的目标检测方法、设备及介质
技术领域
本发明涉及智能车联网技术领域,尤其是涉及一种路侧相机与4D毫米波融合的目标检测方法、设备及介质。
背景技术
目前,自动驾驶与路侧感知以基于激光雷达的3D检测算法为主。根据激光雷达的特点,常用的目标检测方法可分为基于BEV、基于camera view、基于point-wise feature、基于融合特征四类。激光雷达具有不受光照影响的特点,此外该技术也能够直接获得准确三维信息。
但激光雷达还存在以下不足:
(1)激光雷达成本较高,一定程度上阻碍了市场的大规模应用。
(2)激光雷达易受天气影响。激光一般在晴朗的天气里衰减较小,传播距离较远。而在大雨、浓烟、浓雾等坏天气里,衰减急剧加大,传播距离大受影响,而且,大气环流还会使激光光束发生畸变、抖动,直接影响激光雷达的测量精度。因此在雨天、雾天、雪天、扬尘大等情况下激光雷达原始数据会被干扰,同时影响检测算法,造成无法准确定位目标物体。
因此,有必要研发一种新的检测方法。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种感知距离远、目标定位准确的路侧相机与4D毫米波融合的目标检测方法、设备及介质。
本发明的目的可以通过以下技术方案来实现:
第一方面,本发明提供一种路侧相机与4D毫米波融合的目标检测方法,包括以下步骤:
获取路侧相机的第一图像与4D毫米波雷达的第一点云;
将所述第一点云投影到所述第一图像上,在所述第一图像上添加距离信息,获取第二图像;
将所述第二图像作为深度补全卷积网络的输入,获取第三图像,该第三图像为稠密深度图;
将所述第三图像转换为第二点云,并编码生成第四图像;
将所述第四图像输入卷积神经网络进行目标检测,获得目标框;
将所述目标框映射为相机坐标系下的3D框,并基于所述第一点云,在所述3D框上添加速度信息。
进一步地,所述路侧相机和4D毫米波雷达预先进行标定,存储相机雷达标定信息。
进一步地,基于所述相机雷达标定信息将所述第一点云投影到所述第一图像上。
进一步地,基于所述相机雷达标定信息获得相机标定参数,通过所述相机标定参数将所述第三图像转换为第二点云。
进一步地,所述第二点云通过BEV编码生成第四图像。
进一步地,所述速度信息基于4D毫米波雷达获取的对应目标的多个采集速度拟合获得。
进一步地,基于所述多个采集速度通过神经网络拟合获得所述速度信息。
进一步地,所述深度补全卷积网络为多视角融合的深度补全卷积网络。
第二方面,本发明提供一种电子设备,包括:
一个或多个处理器;
存储器;和
被存储在存储器中的一个或多个程序,所述一个或多个程序包括用于执行如上任一所述路侧相机与4D毫米波融合的目标检测方法的指令。
第三方面,本发明提供一种计算机可读存储介质,其特征在于,包括供电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行如上所述路侧相机与4D毫米波融合的目标检测方法的指令。
与现有技术相比,本发明具有以下有益效果:
1、本发明采用4D毫米波雷达,具有波段特性,可以在雨雾雪冰雹等恶劣天气提供有效的路侧3D目标物感知;
2、由于毫米波雷达可直接获取目标的速度,因此本发明可直接通过神经网络拟合目标速度,目标速度获取方便;
3、可减少算力需求,省略通过目标追踪获取去速度的过程;
4、由于毫米波可直接获取速度,针对后处理的目标追踪部分可降低目标丢失率;
5、获取维度信息多:激光雷达只有坐标值,毫米波除了坐标值还有速度;
6、感知距离远:4D毫米波数据有效距离为300米,配合相机可提供250米有效感知,激光只有150m;
7、目标定位准确:4D毫米波原始数据数量远大于传统毫米波(大约11倍),测距精度略差于激光雷达,但完全满足工程需求;由于使用深度补全技术,可将相机等效为激光雷达使用(720p图像等效为720线激光),越是稠密定位优势越显著;
8、硬件成本降低:毫米波雷达成本低,相对于激光低很多。
附图说明
图1为本发明的流程示意图;
图2为本实施例采用的深度补全卷积网络结构示意图;
图3为本实施例采用的卷积神经网络。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
如图1所示,本实施例提供一种路侧相机与4D毫米波融合的目标检测方法,包括以下步骤:
S1、路侧相机和4D毫米波雷达预先进行标定,存储相机雷达标定信息。
S2、获取路侧相机采集的图像数据,称为第一图像,以及4D毫米波雷达采集的点云数据,称为第一点云。
S3、基于所述相机雷达标定信息将所述第一点云投影到所述第一图像上,在所述第一图像上添加距离信息,获取第二图像,具体是:
将相机与4D毫米波时空同步并进行像素级融合,并利用数据分析算法标注深度图与候选框。
添加距离信息具体为:初始化一个rbgd矩阵,在d通道添加投影的点的距离。
S4、将所述第二图像作为深度补全卷积网络的输入,获取第三图像,该第三图像为稠密深度图。
深度补全卷积网络可为多视角融合的深度补全卷积网络,本实施例采用的深度补全卷积网络结构如图2所示。
S5、基于所述相机雷达标定信息获得相机标定参数,通过所述相机标定参数将所述第三图像转换为第二点云,并通过BEV编码生成第四图像,即深度BEV图,将所述第四图像输入卷积神经网络进行目标检测,获得目标框。
本实施例采用的卷积神经网络如图3所示,输入的第四图像依次经编码器和解码器获得热图和对应的目标检测结果。
S6、将所述目标框映射为相机坐标系下的3D框,并基于所述第一点云,在所述3D框上添加速度信息,具体地,速度信息基于4D毫米波雷达获取的对应目标的多个采集速度拟合获得。本实施例通过神经网络拟合获得所述速度信息。
通过上述方法能够以较低的成本实现准确的目标检测。
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种路侧相机与4D毫米波融合的目标检测方法,其特征在于,包括以下步骤:
获取路侧相机的第一图像与4D毫米波雷达的第一点云;
将所述第一点云投影到所述第一图像上,在所述第一图像上添加距离信息,获取第二图像;
将所述第二图像作为深度补全卷积网络的输入,获取第三图像,该第三图像为稠密深度图;
将所述第三图像转换为第二点云,并编码生成第四图像;
将所述第四图像输入卷积神经网络进行目标检测,获得目标框;
将所述目标框映射为相机坐标系下的3D框,并基于所述第一点云,在所述3D框上添加速度信息。
2.根据权利要求1所述的路侧相机与4D毫米波融合的目标检测方法,其特征在于,所述路侧相机和4D毫米波雷达预先进行标定,存储相机雷达标定信息。
3.根据权利要求2所述的路侧相机与4D毫米波融合的目标检测方法,其特征在于,基于所述相机雷达标定信息将所述第一点云投影到所述第一图像上。
4.根据权利要求2所述的路侧相机与4D毫米波融合的目标检测方法,其特征在于,基于所述相机雷达标定信息获得相机标定参数,通过所述相机标定参数将所述第三图像转换为第二点云。
5.根据权利要求1所述的路侧相机与4D毫米波融合的目标检测方法,其特征在于,所述第二点云通过BEV编码生成第四图像。
6.根据权利要求1所述的路侧相机与4D毫米波融合的目标检测方法,其特征在于,所述速度信息基于4D毫米波雷达获取的对应目标的多个采集速度拟合获得。
7.根据权利要求6所述的路侧相机与4D毫米波融合的目标检测方法,其特征在于,基于所述多个采集速度通过神经网络拟合获得所述速度信息。
8.根据权利要求1所述的路侧相机与4D毫米波融合的目标检测方法,其特征在于,所述深度补全卷积网络为多视角融合的深度补全卷积网络。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;和
被存储在存储器中的一个或多个程序,所述一个或多个程序包括用于执行如权利要求1-8任一所述路侧相机与4D毫米波融合的目标检测方法的指令。
10.一种计算机可读存储介质,其特征在于,包括供电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行如权利要求1-8任一所述路侧相机与4D毫米波融合的目标检测方法的指令。
CN202110853786.1A 2021-07-27 2021-07-27 路侧相机与4d毫米波融合的目标检测方法、设备及介质 Active CN113655494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110853786.1A CN113655494B (zh) 2021-07-27 2021-07-27 路侧相机与4d毫米波融合的目标检测方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110853786.1A CN113655494B (zh) 2021-07-27 2021-07-27 路侧相机与4d毫米波融合的目标检测方法、设备及介质

Publications (2)

Publication Number Publication Date
CN113655494A true CN113655494A (zh) 2021-11-16
CN113655494B CN113655494B (zh) 2024-05-10

Family

ID=78490730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110853786.1A Active CN113655494B (zh) 2021-07-27 2021-07-27 路侧相机与4d毫米波融合的目标检测方法、设备及介质

Country Status (1)

Country Link
CN (1) CN113655494B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115236674A (zh) * 2022-06-15 2022-10-25 北京踏歌智行科技有限公司 一种基于4d毫米波雷达的矿区环境感知方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001099930A (ja) * 1999-09-29 2001-04-13 Fujitsu Ten Ltd 周辺監視センサ
US20020027503A1 (en) * 2000-09-04 2002-03-07 Takashi Higuchi Periphery monitoring system
EP3222972A1 (en) * 2016-03-25 2017-09-27 LG Electronics Inc. Display apparatus and vehicle having the same
US20180157920A1 (en) * 2016-12-01 2018-06-07 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for recognizing obstacle of vehicle
EP3525131A1 (en) * 2018-02-09 2019-08-14 Bayerische Motoren Werke Aktiengesellschaft Methods and apparatuses for object detection in a scene represented by depth data of a range detection sensor and image data of a camera
CN110414418A (zh) * 2019-07-25 2019-11-05 电子科技大学 一种图像-激光雷达图像数据多尺度融合的道路检测方法
JP2019194821A (ja) * 2018-05-06 2019-11-07 英俊 古川 目標認識装置、目標認識方法及びプログラム
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN110794397A (zh) * 2019-10-18 2020-02-14 北京全路通信信号研究设计院集团有限公司 一种基于相机和雷达的目标检测方法及***
KR102132303B1 (ko) * 2019-11-13 2020-07-10 주식회사 동부아이씨티 열영상 카메라 및 레이더를 이용한 좌회전 대기 차량 감응 교통신호 제어 시스템
CN111554088A (zh) * 2020-04-13 2020-08-18 重庆邮电大学 一种多功能v2x智能路侧基站***
US20200271473A1 (en) * 2018-02-14 2020-08-27 Tusimple, Inc. Lane Marking Localization
US20200409372A1 (en) * 2018-03-20 2020-12-31 Huawei Technologies Co., Ltd. Data fusion method and related device

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001099930A (ja) * 1999-09-29 2001-04-13 Fujitsu Ten Ltd 周辺監視センサ
US20020027503A1 (en) * 2000-09-04 2002-03-07 Takashi Higuchi Periphery monitoring system
EP3222972A1 (en) * 2016-03-25 2017-09-27 LG Electronics Inc. Display apparatus and vehicle having the same
US20180157920A1 (en) * 2016-12-01 2018-06-07 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for recognizing obstacle of vehicle
EP3525131A1 (en) * 2018-02-09 2019-08-14 Bayerische Motoren Werke Aktiengesellschaft Methods and apparatuses for object detection in a scene represented by depth data of a range detection sensor and image data of a camera
US20200271473A1 (en) * 2018-02-14 2020-08-27 Tusimple, Inc. Lane Marking Localization
US20200409372A1 (en) * 2018-03-20 2020-12-31 Huawei Technologies Co., Ltd. Data fusion method and related device
JP2019194821A (ja) * 2018-05-06 2019-11-07 英俊 古川 目標認識装置、目標認識方法及びプログラム
CN110414418A (zh) * 2019-07-25 2019-11-05 电子科技大学 一种图像-激光雷达图像数据多尺度融合的道路检测方法
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN110794397A (zh) * 2019-10-18 2020-02-14 北京全路通信信号研究设计院集团有限公司 一种基于相机和雷达的目标检测方法及***
KR102132303B1 (ko) * 2019-11-13 2020-07-10 주식회사 동부아이씨티 열영상 카메라 및 레이더를 이용한 좌회전 대기 차량 감응 교통신호 제어 시스템
CN111554088A (zh) * 2020-04-13 2020-08-18 重庆邮电大学 一种多功能v2x智能路侧基站***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115236674A (zh) * 2022-06-15 2022-10-25 北京踏歌智行科技有限公司 一种基于4d毫米波雷达的矿区环境感知方法
CN115236674B (zh) * 2022-06-15 2024-06-04 北京踏歌智行科技有限公司 一种基于4d毫米波雷达的矿区环境感知方法

Also Published As

Publication number Publication date
CN113655494B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
WO2022022694A1 (zh) 自动驾驶环境感知方法及***
CN109143207B (zh) 激光雷达内参精度验证方法、装置、设备及介质
CN110738121A (zh) 一种前方车辆检测方法及检测***
CN107632308B (zh) 一种基于递归叠加算法的车辆前方障碍物轮廓检测方法
WO2022142628A1 (zh) 一种点云数据处理方法及装置
CN108109139B (zh) 基于灰度体元模型的机载lidar三维建筑物检测方法
CN113761999B (zh) 一种目标检测方法、装置、电子设备和存储介质
CN113340334B (zh) 用于无人车的传感器标定方法、装置及电子设备
CN110378919B (zh) 一种基于slam的窄道通行障碍物检测方法
CN111699410B (zh) 点云的处理方法、设备和计算机可读存储介质
CN113327296B (zh) 基于深度加权的激光雷达与相机在线联合标定方法
CN108074232B (zh) 一种基于体元分割的机载lidar建筑物检测方法
CN112698301B (zh) 基于距离强度关联的激光雷达目标识别方法、装置及设备
CN110850394B (zh) 一种自动驾驶激光雷达强度标定方法
CN111080784A (zh) 一种基于地面图像纹理的地面三维重建方法和装置
CN103679167A (zh) 一种ccd图像处理的方法
CN114119850B (zh) 一种虚实激光雷达点云的融合方法
CN116109601A (zh) 一种基于三维激光雷达点云的实时目标检测方法
CN117274749B (zh) 一种基于4d毫米波雷达和图像的融合3d目标检测方法
CN110927762A (zh) 一种定位修正方法、装置及***
US20230206500A1 (en) Method and apparatus for calibrating extrinsic parameter of a camera
CN113655494B (zh) 路侧相机与4d毫米波融合的目标检测方法、设备及介质
CN114549542A (zh) 视觉语义分割方法、装置及设备
CN116467848B (zh) 一种毫米波雷达点云仿真的方法和装置
CN111353481A (zh) 基于激光点云与视频图像的道路障碍物识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant