CN111951305A - 一种基于视觉和激光雷达的目标检测和运动状态估计方法 - Google Patents

一种基于视觉和激光雷达的目标检测和运动状态估计方法 Download PDF

Info

Publication number
CN111951305A
CN111951305A CN202010845378.7A CN202010845378A CN111951305A CN 111951305 A CN111951305 A CN 111951305A CN 202010845378 A CN202010845378 A CN 202010845378A CN 111951305 A CN111951305 A CN 111951305A
Authority
CN
China
Prior art keywords
target
camera
laser radar
dimensional
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010845378.7A
Other languages
English (en)
Other versions
CN111951305B (zh
Inventor
高小倩
冯明驰
冯辉宗
岑明
王字朋
卜川夏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010845378.7A priority Critical patent/CN111951305B/zh
Publication of CN111951305A publication Critical patent/CN111951305A/zh
Application granted granted Critical
Publication of CN111951305B publication Critical patent/CN111951305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明请求保护一种基于视觉和激光雷达的目标检测和运动状态估计方法，包括以下步骤：1.安装相机与激光雷达的位置，并进行两两双目相机之间的标定，以及车前左相机与激光雷达之间的联合标定。并将立体视觉***与激光雷达各自生成的稀疏点云进行融合和补充，构成全局的三维点云图；2.用深度学习的方法对二维图像以及三维点云进行检测，并通过立体视觉生成的图像目标三维运动状态和激光雷达三维点云目标融合，获取综合的目标三维特征点；3.根据目标三维特征点，利用卡尔曼滤波对目标进行跟踪，分析其运动状态。本发明的关键在于视觉与激光雷达传感器之间的融合，改善智能汽车对周围环境的感知能力。

Description

一种基于视觉和激光雷达的目标检测和运动状态估计方法
技术领域
本发明属于智能汽车环境感知领域，具体设计到一种基于视觉和激光雷达在山区复杂路况下的车辆行人等目标检测和运动状态估计方法。
背景技术
随着人工智能、机器视觉等领域在近些年的快速发展，智能车成为了学术界、工业界研究发展的重要领域。对于智能汽车而言，不能够缺失具备实时感知和理解周围环境的能力。只有环境感知技术准确、实时、可靠，才能保证车辆规划出正确的通行路径，进而安全地实现自动行驶，因此环境感知技术是智能汽车实现安全驾驶的基础要求和前提条件。
环境感知技术指的是智能汽车依靠自身携带的传感器，描述车辆周围环境状况的技术。它可以携带一种传感器，也可以携带多种传感器进行工作。在当前，国内外研究者一直在对单一传感器的性能进行完善，但是在复杂工作环境下，单一传感器获取的信息有局限性，仅仅依靠单一传感器不能够保证在各种条件下对目标进行正确的识别，会造成错误的环境感知。而多传感器融合技术能够弥补各自传感器的缺陷，结合它们的优点，准确地、快速地感知车辆周围的环境。例如，激光雷达具有探测距离远，检测精度高等优点，但是激光雷达不具备视觉识别的功能；而视觉传感器弥补了激光雷达在识别物体方面的劣势，它可以捕获物体的细节，如亮度，纹理等特征，但是视觉传感器又受天气状况影响，只能在天气良好的情况下检测和识别目标，且探测物体距离有限，精度不高。
所以，综上所述基于激光雷达和视觉传感器信息融合的技术能够整合两种传感器的优点，既能达到探测距离远，精度高和可靠性强的优点，同时又能准确识别目标。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种基于视觉和激光雷达的目标检测和运动状态估计方法。本发明的技术方案如下：
一种基于视觉和激光雷达的目标检测和运动状态估计方法，其包括以下步骤：
步骤1、安装相机与激光雷达，并进行两两双目相机之间的标定，以及车前左相机与激光雷达之间的联合标定，并将立体视觉***与激光雷达各自生成的稀疏点云进行融合和补充，构成全局的三维点云图；
步骤2、用深度学习的方法对二维图像以及三维点云进行检测，并通过立体视觉生成的图像目标三维运动状态和激光雷达三维点云目标融合，获取综合的目标三维特征点；
步骤3、根据目标三维特征点，利用卡尔曼滤波对目标进行跟踪，分析其运动状态。
进一步的，所述步骤1)具体包括以下步骤：
步骤2-1.采用相同的速率和统一坐标系的方法，实现相机与激光雷达这两种传感器时间与空间的信息同步；
步骤2-2.根据传感器的安装位置，实现双目之间的标定以及相机与激光雷达之间的联合标定，并获取内参fu、fv、uo、vo以及外参R、T。其中fu、fv分别表示相机横、纵焦距，uo、vo表示光学中心，R、T分别表示双目相机的旋转矩阵和平移矩阵，以上都通过标定方法得到；
步骤2-3.根据双目标定获得的内参fu、fv、uo、vo以及外参R、T，对获取的图像进行畸变矫正；
步骤2-4.用特征点提取算法分别对双目相机拍摄的t时刻、t-1时刻左右图像进行特征点提取；
步骤2-5.利用汉明距离原理对图像特征点进行匹配，完成在t时刻左图像与右图像特征点匹配，右图像在t时刻和t-1时刻匹配，t-1时刻右图像与左图像特征点匹配，左图像在t-1时刻和t时刻匹配，构成环形匹配；
步骤2-6.根据步骤2-5中匹配好的特征点以及根据立体视觉测距原理算出其三维坐标，根据左相机与激光雷达的外参系数，以及双目相机之间的外参系数，将双目相机生成的稀疏点云和激光雷达生成的稀疏点云融合在一起，对激光雷达无法生成近处点云和双目相机无法对远处场景生成点云进行了相互补充，从而构成全局的三维点云；
步骤2-7.利用光束法平差方法对融合后的每一个三维点云进行优化，消除噪声；
步骤2-8.重复上述步骤2-2至步骤2-7，完成车左、车右、车后的点云融合，即可以表示为：
Figure BDA0002642874800000031
其中，
Figure BDA0002642874800000032
表示激光雷达获取的点云三维坐标，
Figure BDA0002642874800000033
表示通过立体视觉***获取的点云三维坐标，(xt,yt,zt)将两融合后得到最终的点云三维坐标。
进一步的，所述步骤2-1)实现相机与激光雷达这两种传感器的信息同步，具体包括：在时间上，激光雷达与相机设置相同的采集速率；在空间上，相机和激光雷达都安装在车顶，激光雷达位于中间，相机分别位于车前、车左、车右、车后，其中车前2个摄像头、车左2个摄像头、车后2个摄像头、车右2个摄像头，对于车前方2个摄像头与激光雷达的位置关系，左右摄像头的相机坐标系分别表示为OL-XLYLZL，OR-XRYRZR，空间中的点在两个摄像头图像平面上的像素坐标表示为PL(ul,vl)，PR(ur,vr)激光雷达坐标系为OVLP-XVLPYVLPZVLP，空间中任意点在激光坐标系下表示为(xvlp,yvlp,zvlp)。
进一步的，所述步骤2-2)标定双目相机，在双目相机前方放置一张棋盘格标定板，且必须要求双目相机有共同视野；同时双目相机捕获棋盘格标定板的图像，利用张正友标定法计算各自相机的内参以及双目相机之间的外参，标定左相机与激光雷达，在左相机与激光雷达前放置一张棋盘格标定板，利用ROS录制左相机、激光雷达、棋盘格数据包，使用Autoware工具箱求出左相机与激光雷达的外参。
进一步的，所述步骤2-2具体包括：
对于相机标定而言，根据小孔成像原理去建立相机的透视模型，获取相关参数，其中模型参数包括相机内部参数、外部参数，从中得到世界坐标与图像坐标的转换关系为：
Figure BDA0002642874800000041
其中，
Figure BDA0002642874800000042
分别表示相机的内参，fu、fv分别表示相机横、纵焦距，uo、vo表示光学中心，R、T分别表示双目相机的旋转矩阵和平移矩阵，以上通过标定方法得到。Zc表示在相机坐标系下的Z轴坐标，(xw,yw,zw)表示在世界坐标系下的空间坐标。
对于相机与激光雷达的联合标定而言，它主要是在激光雷达坐标系与相机坐标系之间建立一个齐次变换矩阵，使激光雷达数据与相机图像相对应，转换关系为：
Figure BDA0002642874800000043
M＝RintrinsicL·[RextrinsicL textrinsicL] (4)
其中，RintrinsicL表示左相机的内参，Zcl表示相机坐标系下的Z轴坐标，RextrinsicL，textrinsicL表示激光雷达与左相机之间的外参，(xvlp,yvlp,zvlp)表示三维点，其映射到二维图像对应点为(ul,vl)，M表示激光雷达坐标系与相机坐标系之间的齐次变换矩阵；
进一步的，所述步骤2)用深度学习的方法对二维图像以及三维点云进行检测，并通过立体视觉生成的图像目标三维运动状态和激光雷达三维点云目标融合，获取综合的目标三维特征点，步骤为：
步骤6-1.分别采集图像、点云数据，并对车辆、行人在内的目标进行标注，构成图像数据集和点云数据集，用各自的网络模型进行训练；
步骤6-2.在智能车行驶过程中相机与激光雷达实时采集数据，并用深度学习的方法分别对立体视觉***获取的图像以及激光雷达获取的点云进行检测，获取目标感兴趣区域，采用YOLOv3网络对二维图像进行检测，同时为了保证实时性效果，采用TensorRT加速引擎进行加速，采用Pointnet++对三维点云进行检测；
步骤6-3.将图像目标与三维点云目标融合在一起，获取目标特征点信息。
进一步的，所述步骤6-3)将图像目标与三维点云目标融合在一起，获取目标特征点信息，具体包括：根据图像目标与三维点云目标的融合，剔除了不属于目标框内的特征点，同时由于检测框会包含背景特征点，利用聚类的方法剔除背景特征点，保留场景中车辆、行人等目标的三维特征点。
进一步的，所述步骤3)根据目标三维特征点，利用卡尔曼滤波对目标进行跟踪，分析其运动状态，步骤为：
步骤8-1.根据目标的三维特征点，将其特征点坐标的平均值作为目标的中心，并代表目标当前时刻所在的三维空间位置；
步骤8-2.以左相机光心为原点，建立车辆坐标系，其中相机光轴为X轴，垂直车辆向上为Z轴，垂直XOZ平面向左为Y轴；
步骤8-3.将目标的运动状态在短时间内视为匀速运动模型，利用卡尔曼滤波对目标进行跟踪。由于传感器不能够直接提供目标的速度信息，根据其提供的三维位置以及类别，设置状态变量为
Figure BDA0002642874800000051
其中(xk,yk,zk)表示第i个目标k时刻的位置，(vxk,vyk,vzk)表示分解到各个轴的速度，class表示类别；
间接求出目标在各个轴的速度：
Figure BDA0002642874800000061
上式中，tk、tk-1分别表示在k时刻、k-1时刻的时间戳。
步骤8-4.重复以上所有步骤，完成车左、车右、车后的目标检测以及目标状态估计。
本发明的优点及有益效果如下：
本发明提出了一种基于视觉和激光雷达在山区复杂路况下的车辆行人等目标检测和运动状态估计方法。大多数的目标检测方法都是基于视觉图像提出的，这些方法一般都要求高质量、高分辨率的原始图像，而视觉传感器会因大风、雪等天气或光照变化、遮挡、阴影等因素受到影响。同样地，在视觉传感器中，单目相机只能对平直路面的目标进行三维定位和局部目标检测。激光雷达没有识别能力，而且生成的点云会缺失色彩、纹理等信息，同时也无法对近处场景生成点云。所以单独使用激光雷达依赖三维点云的动态目标检测方法很难取得较好的检测结果。
所以，本发明视觉传感器和激光雷达的信息融合技术成为解决这些难题的有效方法。具体创新表现在以下几点：
(1)本发明采用视觉和激光雷达两种传感器的目标检测融合技术，与其他学者提出的基于单一传感器的目标检测方法相比。该方法结合了视觉和激光雷达传感器各自的优点，弥补了单一传感器的缺陷，构成了一种探测距离远，精度高和可靠性强，同时又能准确识别目标的融合技术，进一步提高目标检测的精度。
(2)本发明利用双目相机构成立体视觉***，与基于单目相机的目标检测相比，它能够对非平直路面进行目标检测以及三维定位。
(3)本发明的立体视觉***生成的点云弥补了激光雷达无法生成近处点云的缺点，同时激光雷达弥补了相机测距有限，对远处目标无法生成点云的缺点。利用立体视觉与激光雷达各自生成的点云，并通过相机与激光雷达之间的标定方法，构成了全局的三维点云图，为分析目标的运动状态奠定了基础。
(4)本发明基于视觉和激光雷达传感器采用深度学习的方法对目标进行检测。防止单一传感器进行目标检测造成误检或者漏检，从而提高了目标检测的精度。
(5)本发明将获取的目标感兴趣区域与目标特征点结合在一起，能够准确地分析目标的运动状态。
附图说明
图1是本发明提供优选实施例方法的流程简图；
图2是本发明中相机和激光雷达在车顶的安装位置示意图；
图3是本发明中前向相机和激光雷达标定时棋盘格摆放以及传感器建立坐标系示意图；
图4是本发明中目标运动状态分析流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
本发明的目的是提供一种基于视觉和激光雷达在山区复杂路况下的车辆行人等目标检测和运动状态估计算法，通过8个摄像头(其中车前侧2个摄像头，车右侧2个摄像头，车左侧2个摄像头，车后侧2个摄像头)和一个激光雷达。利用立体视觉原理和激光雷达的融合技术，解决山城复杂路况以及多雾天气的目标检测及目标运动状态分析，提出此技术方案，如图1所示，包括如下步骤：
步骤1.安装相机与激光雷达的位置，并进行两两双目相机之间的标定，以及车前左相机与激光雷达之间的联合标定。并将立体视觉***与激光雷达各自生成的稀疏点云进行融合和补充，构成全局的三维点云图；
(1)图2所示为相机和激光雷达在车顶的安装位置示意图，激光雷达位于车顶中间，其前面放置2个摄像头，左边放置2个摄像头，右边放置2个摄像头，后面放置2个摄像头；
(2)图3所示为棋盘格标定板摆放示意图，棋盘格标定板大小为18*13，每个小格边长为10cm。棋盘格位于传感器的前方，不管是双目之间还是相机与激光雷达之间，要求在变化棋盘格位置时，都要有共同视野。然后采集多组数据，完成双目相机之间的标定以及相机与激光雷达之间的联合标定；
(3)对双目相机进行标定，获得每台相机的内参fu、fv、u0、v0，以及双目相机之间的旋转平移参数R、T，并对获取的图像进行畸变矫正；获取左相机与激光雷达之间的外参系数RextrinsicL、textrinsicL；
(4)用特征点提取算法分别对双目相机拍摄的t时刻、t-1时刻左右图像进行特征点提取；
(5)利用汉明距离原理对图像特征点进行匹配，完成在t时刻左图像与右图像特征点匹配，右图像在t时刻和t-1时刻匹配，t-1时刻右图像与左图像特征点匹配，左图像在t-1时刻和t时刻匹配，构成环形匹配；
(6)根据匹配好的特征点以及根据立体视觉测距原理算出其三维坐标(x,y,z)，根据左相机与激光雷达的外参系数RextrinsicL、textrinsicL，以及双目相机之间的外参系数R、T，将双目相机生成的稀疏点云和激光雷达生成的稀疏点云融合在一起，对激光雷达无法生成近处点云和双目相机无法对远处场景生成点云进行了相互补充，从而构成全局的三维点云；
(7)利用光束法平差方法对融合后的每一个三维点云进行优化，消除噪声；
(8)重复上述(2)至(7)，完成车左、车右、车后的点云融合，即可以表示为：
Figure BDA0002642874800000091
步骤2.用深度学习的方法对二维图像以及三维点云进行检测，并通过立体视觉生成的图像目标三维运动状态和激光雷达三维点云目标融合，获取综合的目标三维特征点；
(1)分别采集图像、点云数据，并对车辆、行人等目标进行标注，构成图像数据集和点云数据集，用各自的网络模型进行训练；
(2)在智能车行驶过程中相机与激光雷达实时采集数据，并用深度学习的方法分别对立体视觉***获取的图像以及激光雷达获取的点云进行检测，获取目标感兴趣区域。对于二维图像检测采用YOLOv3，同时为了保证实时性效果，采用TensorRT加速引擎进行加速，采用Pointnet++对三维点云进行检测；
(3)根据图像目标与三维点云目标的融合，剔除了不属于目标框内的特征点，同时由于检测框会包含背景特征点，利用聚类的方法剔除背景特征点，保留场景中车辆、行人等目标的三维特征点。
步骤3.图4所示，获取目标三维特征点，利用卡尔曼滤波对目标进行跟踪，分析其运动状态；
(1)根据目标的三维特征点，将其特征点坐标的平均值作为目标的中心，并代表目标当前时刻所在的三维空间位置。
(2)以左相机光心为原点，建立车辆坐标系，其中相机光轴为X轴，垂直车辆向上为Z轴，垂直XOZ平面向左为Y轴。
(3)将目标的运动状态在短时间内视为匀速运动模型，利用卡尔曼滤波对目标进行跟踪。由于传感器不能够直接提供目标的速度信息，根据其提供的三维位置以及类别，设置状态变量为
Figure BDA0002642874800000101
其中(xk,yk,zk)表示第i个目标k时刻的位置，(vxk,vyk,vzk)表示分解到各个轴的速度，class表示类别；
间接求出目标在各个轴的速度：
Figure BDA0002642874800000102
上式中，tk、tk-1分别表示在k时刻、k-1时刻的时间戳。
(4)重复以上所有步骤，完成车左、车右、车后的目标检测以及目标状态估计。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (8)

1.一种基于视觉和激光雷达的目标检测和运动状态估计方法，其特征在于，包括以下步骤：
步骤1、安装相机与激光雷达，并进行两两双目相机之间的标定，以及车前左相机与激光雷达之间的联合标定，并将立体视觉***与激光雷达各自生成的稀疏点云进行融合和补充，构成全局的三维点云图；
步骤2、用深度学习的方法对二维图像以及三维点云进行检测，并通过立体视觉生成的图像目标三维运动状态和激光雷达三维点云目标融合，获取综合的目标三维特征点；
步骤3、根据目标三维特征点，利用卡尔曼滤波对目标进行跟踪，分析其运动状态。
2.根据权利要求1所述的一种基于视觉和激光雷达的目标检测和运动状态估计方法，其特征在于，所述步骤1)具体包括以下步骤：
步骤2-1.采用相同的速率和统一坐标系的方法，实现相机与激光雷达这两种传感器时间与空间的信息同步；
步骤2-2.根据传感器的安装位置，实现双目之间的标定以及相机与激光雷达之间的联合标定，并获取内参fu、fv、uo、vo以及外参R、T，其中fu、fv分别表示相机横、纵焦距，uo、vo表示光学中心，由标定得到；
步骤2-3.根据双目标定获得的内参fu、fv、uo、vo以及外参R、T，对获取的图像进行畸变矫正；
步骤2-4.用特征点提取算法分别对双目相机拍摄的t时刻、t-1时刻左右图像进行特征点提取；
步骤2-5.利用汉明距离原理对图像特征点进行匹配，完成在t时刻左图像与右图像特征点匹配，右图像在t时刻和t-1时刻匹配，t-1时刻右图像与左图像特征点匹配，左图像在t-1时刻和t时刻匹配，构成环形匹配；
步骤2-6.根据步骤2-5中匹配好的特征点以及根据立体视觉测距原理算出其三维坐标，根据左相机与激光雷达的外参系数，以及双目相机之间的外参系数，将双目相机生成的稀疏点云和激光雷达生成的稀疏点云融合在一起，对激光雷达无法生成近处点云和双目相机无法对远处场景生成点云进行了相互补充，从而构成全局的三维点云；
步骤2-7.利用光束法平差方法对融合后的每一个三维点云进行优化，消除噪声；
步骤2-8.重复上述步骤2-2至步骤2-7，完成车左、车右、车后的点云融合，即可以表示为：
Figure FDA0002642874790000021
其中，
Figure FDA0002642874790000022
表示激光雷达获取的点云三维坐标，
Figure FDA0002642874790000023
表示通过立体视觉***获取的点云三维坐标，(xt,yt,zt)将两融合后得到最终的点云三维坐标。
3.根据权利要求2所述的一种基于视觉和激光雷达的目标检测和运动状态估计方法，其特征在于，所述步骤2-1)实现相机与激光雷达这两种传感器的信息同步，具体包括：在时间上，激光雷达与相机设置相同的采集速率；在空间上，相机和激光雷达都安装在车顶，激光雷达位于中间，相机分别位于车前、车左、车右、车后，其中车前2个摄像头、车左2个摄像头、车后2个摄像头、车右2个摄像头，对于车前方2个摄像头与激光雷达的位置关系，左右摄像头的相机坐标系分别表示为OL-XLYLZL，OR-XRYRZR，空间中的点在两个摄像头图像平面上的像素坐标表示为PL(ul,vl)，PR(ur,vr)激光雷达坐标系为OVLP-XVLPYVLPZVLP，空间中任意点在激光坐标系下表示为(xvlp,yvlp,zvlp)。
4.根据权利要求2所述的一种基于视觉和激光雷达的目标检测和运动状态估计方法，其特征在于，所述步骤2-2)标定双目相机，在双目相机前方放置一张棋盘格标定板，且必须要求双目相机有共同视野；同时双目相机捕获棋盘格标定板的图像，利用张正友标定法计算各自相机的内参以及双目相机之间的外参，标定左相机与激光雷达，在左相机与激光雷达前放置一张棋盘格标定板，利用ROS录制左相机、激光雷达、棋盘格数据包，使用Autoware工具箱求出左相机与激光雷达的外参。
5.根据权利要求4所述的一种基于视觉和激光雷达的目标检测和运动状态估计方法，其特征在于，所述步骤2-2具体包括：
对于相机标定而言，根据小孔成像原理去建立相机的透视模型，获取相关参数，其中模型参数包括相机内部参数、外部参数，从中得到世界坐标与图像坐标的转换关系为：
Figure FDA0002642874790000031
其中，
Figure FDA0002642874790000032
分别表示相机的内参，fu、fv分别表示相机横、纵焦距，uo、vo表示光学中心，R、T分别表示双目相机的旋转矩阵和平移矩阵，以上通过标定方法得到，Zc表示在相机坐标系下的Z轴坐标，(xw,yw,zw)表示在世界坐标系下的空间坐标；
对于相机与激光雷达的联合标定而言，它主要是在激光雷达坐标系与相机坐标系之间建立一个齐次变换矩阵，使激光雷达数据与相机图像相对应，转换关系为：
Figure FDA0002642874790000033
M＝RintrinsicL·[RextrinsicL textrinsicL] (4)
其中，RintrinsicL表示左相机的内参，Zcl表示相机坐标系下的Z轴坐标，RextrinsicL，textrinsicL表示激光雷达与左相机之间的外参，(xvlp,yvlp,zvlp)表示三维点，其映射到二维图像对应点为(ul,vl)，M表示激光雷达坐标系与相机坐标系之间的齐次变换矩阵。
6.根据权利要求1所述的一种基于视觉和激光雷达的目标检测和运动状态估计方法，其特征在于，所述步骤2)用深度学习的方法对二维图像以及三维点云进行检测，并通过立体视觉生成的图像目标三维运动状态和激光雷达三维点云目标融合，获取综合的目标三维特征点，步骤为：
步骤6-1.分别采集图像、点云数据，并对车辆、行人在内的目标进行标注，构成图像数据集和点云数据集，用各自的网络模型进行训练；
步骤6-2.在智能车行驶过程中相机与激光雷达实时采集数据，并用深度学习的方法分别对立体视觉***获取的图像以及激光雷达获取的点云进行检测，获取目标感兴趣区域，采用YOLOv3网络对二维图像进行检测，同时为了保证实时性效果，采用TensorRT加速引擎进行加速，采用Pointnet++对三维点云进行检测；
步骤6-3.将图像目标与三维点云目标融合在一起，获取目标特征点信息。
7.根据权利要求1所述的一种基于视觉和激光雷达的目标检测和运动状态估计方法，其特征在于，所述步骤6-3)将图像目标与三维点云目标融合在一起，获取目标特征点信息，具体包括：根据图像目标与三维点云目标的融合，剔除了不属于目标框内的特征点，同时由于检测框会包含背景特征点，利用聚类的方法剔除背景特征点，保留场景中车辆、行人等目标的三维特征点。
8.根据权利要求1所述的一种基于视觉和激光雷达的目标检测和运动状态估计方法，其特征在于，所述步骤3)根据目标三维特征点，利用卡尔曼滤波对目标进行跟踪，分析其运动状态，步骤为：
步骤8-1.根据目标的三维特征点，将其特征点坐标的平均值作为目标的中心，并代表目标当前时刻所在的三维空间位置；
步骤8-2.以左相机光心为原点，建立车辆坐标系，其中相机光轴为X轴，垂直车辆向上为Z轴，垂直XOZ平面向左为Y轴；
步骤8-3.将目标的运动状态在短时间内视为匀速运动模型，利用卡尔曼滤波对目标进行跟踪。由于传感器不能够直接提供目标的速度信息，根据其提供的三维位置以及类别，设置状态变量为
Figure FDA0002642874790000051
其中(xk,yk,zk)表示第i个目标k时刻的位置，(vxk,vyk,vzk)表示分解到各个轴的速度，class表示类别；
间接求出目标在各个轴的速度：
Figure FDA0002642874790000052
上式中，tk、tk-1分别表示在k时刻、k-1时刻的时间戳。
步骤8-4.重复以上所有步骤，完成车左、车右、车后的目标检测以及目标状态估计。
CN202010845378.7A 2020-08-20 2020-08-20 一种基于视觉和激光雷达的目标检测和运动状态估计方法 Active CN111951305B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010845378.7A CN111951305B (zh) 2020-08-20 2020-08-20 一种基于视觉和激光雷达的目标检测和运动状态估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010845378.7A CN111951305B (zh) 2020-08-20 2020-08-20 一种基于视觉和激光雷达的目标检测和运动状态估计方法

Publications (2)

Publication Number Publication Date
CN111951305A true CN111951305A (zh) 2020-11-17
CN111951305B CN111951305B (zh) 2022-08-23

Family

ID=73358718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010845378.7A Active CN111951305B (zh) 2020-08-20 2020-08-20 一种基于视觉和激光雷达的目标检测和运动状态估计方法

Country Status (1)

Country Link
CN (1) CN111951305B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233182A (zh) * 2020-12-15 2021-01-15 北京云测网络科技有限公司 一种多激光雷达的点云数据的标注方法和装置
CN112465877A (zh) * 2020-12-09 2021-03-09 北京航空航天大学 一种基于运动状态估计的卡尔曼滤波视觉追踪稳定方法
CN112529965A (zh) * 2020-12-08 2021-03-19 长沙行深智能科技有限公司 一种激光雷达与单目相机的标定方法及装置
CN112562093A (zh) * 2021-03-01 2021-03-26 湖北亿咖通科技有限公司 目标检测方法、电子介质和计算机存储介质
CN112669335A (zh) * 2021-01-27 2021-04-16 东软睿驰汽车技术（沈阳）有限公司 车辆感知方法、装置、电子设备以及机器可读存储介质
CN112731371A (zh) * 2020-12-18 2021-04-30 重庆邮电大学 一种激光雷达与视觉融合的集成化目标跟踪***及方法
CN112902874A (zh) * 2021-01-19 2021-06-04 中国汽车工程研究院股份有限公司 图像采集装置及方法、图像处理方法及装置、图像处理***
CN112927233A (zh) * 2021-01-27 2021-06-08 湖州市港航管理中心 一种船用激光雷达与视频联合目标捕捉方法
CN113219479A (zh) * 2021-05-13 2021-08-06 环宇智行科技(苏州)有限公司 智能驾驶控制***的摄像头和激光雷达同步方法及***
CN113312992A (zh) * 2021-05-18 2021-08-27 中山方显科技有限公司 一种基于多源传感器信息融合的动态物体感知及预测方法
CN113436258A (zh) * 2021-06-17 2021-09-24 中国船舶重工集团公司第七0七研究所九江分部 基于视觉与激光雷达融合的海上浮码头检测方法及***
CN113506318A (zh) * 2021-07-12 2021-10-15 广东工业大学 一种车载边缘场景下的三维目标感知方法
CN113673493A (zh) * 2021-10-22 2021-11-19 浙江建木智能***有限公司 一种基于工业车辆视觉的行人感知和定位的方法和***
CN113743391A (zh) * 2021-11-08 2021-12-03 江苏天策机器人科技有限公司 应用于低速自主驾驶机器人的三维障碍物检测***与方法
CN113759385A (zh) * 2021-08-12 2021-12-07 江苏徐工工程机械研究院有限公司 一种激光雷达和相机融合测距方法及***
CN113820714A (zh) * 2021-09-07 2021-12-21 重庆驰知科技有限公司 一种基于多传感器融合的尘雾天气道路环境感知***
CN113838140A (zh) * 2021-08-16 2021-12-24 中国矿业大学(北京) 一种基于三维地图辅助的单目视频行人三维定位方法
CN114299155A (zh) * 2021-11-19 2022-04-08 安徽集萃智造机器人科技有限公司 一种激光雷达与相机联合标定的标定方法
CN114463303A (zh) * 2022-01-29 2022-05-10 合肥工业大学 一种基于双目相机和激光雷达融合的道路目标检测方法
CN115100377A (zh) * 2022-07-15 2022-09-23 小米汽车科技有限公司 地图构建方法、装置、车辆、可读存储介质及芯片
CN115598656A (zh) * 2022-12-14 2023-01-13 成都运达科技股份有限公司（Cn） 基于悬挂轨道的障碍物检测方法、装置及***
CN116027269A (zh) * 2023-03-29 2023-04-28 成都量芯集成科技有限公司 一种平面场景定位方法
WO2023202335A1 (zh) * 2022-04-20 2023-10-26 深圳市普渡科技有限公司 目标跟踪方法、机器人、计算机设备和存储介质
WO2024046390A1 (zh) * 2022-08-31 2024-03-07 华南理工大学 基于视觉和imu融合的海洋装备水下损伤三维重建方法
CN118011421A (zh) * 2024-04-10 2024-05-10 中国科学院西安光学精密机械研究所 基于激光雷达深度估计的经纬仪图像自动调焦方法及***
WO2024114119A1 (zh) * 2022-11-29 2024-06-06 中车南京浦镇车辆有限公司 一种基于双目相机引导的传感器融合方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002162466A (ja) * 2000-11-28 2002-06-07 Mitsubishi Heavy Ind Ltd 監視方法
CN107330925A (zh) * 2017-05-11 2017-11-07 北京交通大学 一种基于激光雷达深度图像的多障碍物检测和跟踪方法
CN109146929A (zh) * 2018-07-05 2019-01-04 中山大学 一种基于事件触发相机与三维激光雷达融合***下的物体识别与配准方法
CN109756723A (zh) * 2018-12-14 2019-05-14 深圳前海达闼云端智能科技有限公司 获取影像的方法和装置，存储介质和电子设备
CN110148180A (zh) * 2019-04-22 2019-08-20 河海大学 一种激光雷达与相机融合装置与标定方法
CN110264416A (zh) * 2019-05-28 2019-09-20 深圳大学 稀疏点云分割方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002162466A (ja) * 2000-11-28 2002-06-07 Mitsubishi Heavy Ind Ltd 監視方法
CN107330925A (zh) * 2017-05-11 2017-11-07 北京交通大学 一种基于激光雷达深度图像的多障碍物检测和跟踪方法
CN109146929A (zh) * 2018-07-05 2019-01-04 中山大学 一种基于事件触发相机与三维激光雷达融合***下的物体识别与配准方法
CN109756723A (zh) * 2018-12-14 2019-05-14 深圳前海达闼云端智能科技有限公司 获取影像的方法和装置，存储介质和电子设备
US20200195905A1 (en) * 2018-12-14 2020-06-18 Cloudminds (Shenzhen) Robotics Systems Co., Ltd. Method and apparatus for obtaining image, storage medium and electronic device
CN110148180A (zh) * 2019-04-22 2019-08-20 河海大学 一种激光雷达与相机融合装置与标定方法
CN110264416A (zh) * 2019-05-28 2019-09-20 深圳大学 稀疏点云分割方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
董方新等: "《立体视觉和三维激光***的联合标定方法_董方新》", 《仪器仪表学报》 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529965A (zh) * 2020-12-08 2021-03-19 长沙行深智能科技有限公司 一种激光雷达与单目相机的标定方法及装置
CN112465877A (zh) * 2020-12-09 2021-03-09 北京航空航天大学 一种基于运动状态估计的卡尔曼滤波视觉追踪稳定方法
CN112465877B (zh) * 2020-12-09 2022-11-18 北京航空航天大学 一种基于运动状态估计的卡尔曼滤波视觉追踪稳定方法
CN112233182A (zh) * 2020-12-15 2021-01-15 北京云测网络科技有限公司 一种多激光雷达的点云数据的标注方法和装置
CN112731371B (zh) * 2020-12-18 2024-01-23 重庆邮电大学 一种激光雷达与视觉融合的集成化目标跟踪***及方法
CN112731371A (zh) * 2020-12-18 2021-04-30 重庆邮电大学 一种激光雷达与视觉融合的集成化目标跟踪***及方法
CN112902874A (zh) * 2021-01-19 2021-06-04 中国汽车工程研究院股份有限公司 图像采集装置及方法、图像处理方法及装置、图像处理***
CN112669335A (zh) * 2021-01-27 2021-04-16 东软睿驰汽车技术（沈阳）有限公司 车辆感知方法、装置、电子设备以及机器可读存储介质
CN112927233A (zh) * 2021-01-27 2021-06-08 湖州市港航管理中心 一种船用激光雷达与视频联合目标捕捉方法
CN112562093A (zh) * 2021-03-01 2021-03-26 湖北亿咖通科技有限公司 目标检测方法、电子介质和计算机存储介质
CN113219479A (zh) * 2021-05-13 2021-08-06 环宇智行科技(苏州)有限公司 智能驾驶控制***的摄像头和激光雷达同步方法及***
CN113312992A (zh) * 2021-05-18 2021-08-27 中山方显科技有限公司 一种基于多源传感器信息融合的动态物体感知及预测方法
CN113436258A (zh) * 2021-06-17 2021-09-24 中国船舶重工集团公司第七0七研究所九江分部 基于视觉与激光雷达融合的海上浮码头检测方法及***
CN113436258B (zh) * 2021-06-17 2023-09-12 中国船舶重工集团公司第七0七研究所九江分部 基于视觉与激光雷达融合的海上浮码头检测方法及***
CN113506318A (zh) * 2021-07-12 2021-10-15 广东工业大学 一种车载边缘场景下的三维目标感知方法
CN113506318B (zh) * 2021-07-12 2022-08-02 广东工业大学 一种车载边缘场景下的三维目标感知方法
CN113759385A (zh) * 2021-08-12 2021-12-07 江苏徐工工程机械研究院有限公司 一种激光雷达和相机融合测距方法及***
CN113838140A (zh) * 2021-08-16 2021-12-24 中国矿业大学(北京) 一种基于三维地图辅助的单目视频行人三维定位方法
CN113838140B (zh) * 2021-08-16 2023-07-18 中国矿业大学(北京) 一种基于三维地图辅助的单目视频行人三维定位方法
CN113820714B (zh) * 2021-09-07 2024-04-12 重庆驰知科技有限公司 一种基于多传感器融合的尘雾天气道路环境感知***
CN113820714A (zh) * 2021-09-07 2021-12-21 重庆驰知科技有限公司 一种基于多传感器融合的尘雾天气道路环境感知***
CN113673493B (zh) * 2021-10-22 2022-02-01 浙江建木智能***有限公司 一种基于工业车辆视觉的行人感知和定位的方法和***
CN113673493A (zh) * 2021-10-22 2021-11-19 浙江建木智能***有限公司 一种基于工业车辆视觉的行人感知和定位的方法和***
CN113743391A (zh) * 2021-11-08 2021-12-03 江苏天策机器人科技有限公司 应用于低速自主驾驶机器人的三维障碍物检测***与方法
CN114299155A (zh) * 2021-11-19 2022-04-08 安徽集萃智造机器人科技有限公司 一种激光雷达与相机联合标定的标定方法
CN114463303A (zh) * 2022-01-29 2022-05-10 合肥工业大学 一种基于双目相机和激光雷达融合的道路目标检测方法
WO2023202335A1 (zh) * 2022-04-20 2023-10-26 深圳市普渡科技有限公司 目标跟踪方法、机器人、计算机设备和存储介质
CN115100377A (zh) * 2022-07-15 2022-09-23 小米汽车科技有限公司 地图构建方法、装置、车辆、可读存储介质及芯片
CN115100377B (zh) * 2022-07-15 2024-06-11 小米汽车科技有限公司 地图构建方法、装置、车辆、可读存储介质及芯片
WO2024046390A1 (zh) * 2022-08-31 2024-03-07 华南理工大学 基于视觉和imu融合的海洋装备水下损伤三维重建方法
WO2024114119A1 (zh) * 2022-11-29 2024-06-06 中车南京浦镇车辆有限公司 一种基于双目相机引导的传感器融合方法
CN115598656A (zh) * 2022-12-14 2023-01-13 成都运达科技股份有限公司（Cn） 基于悬挂轨道的障碍物检测方法、装置及***
CN116027269A (zh) * 2023-03-29 2023-04-28 成都量芯集成科技有限公司 一种平面场景定位方法
CN118011421A (zh) * 2024-04-10 2024-05-10 中国科学院西安光学精密机械研究所 基于激光雷达深度估计的经纬仪图像自动调焦方法及***

Also Published As

Publication number Publication date
CN111951305B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN111951305B (zh) 一种基于视觉和激光雷达的目标检测和运动状态估计方法
CN110363820B (zh) 一种基于激光雷达、图像前融合的目标检测方法
CN108229366B (zh) 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN111436216B (zh) 用于彩色点云生成的方法和***
TWI703064B (zh) 用於在不良照明狀況下定位運輸工具的系統和方法
CN110859044B (zh) 自然场景中的集成传感器校准
JP2020525809A (ja) 両眼画像に基づき高解像度地図を更新するためのシステムおよび方法
CN112836737A (zh) 一种基于车路数据融合的路侧组合感知设备在线标定方法
CN110853037A (zh) 一种基于球面投影的轻量化彩色点云分割方法
CN110517216A (zh) 一种基于多类型相机的slam融合方法及其***
CN111723778B (zh) 基于MobileNet-SSD的车辆测距***及方法
US10996337B2 (en) Systems and methods for constructing a high-definition map based on landmarks
CN114114312A (zh) 一种基于多焦距相机与激光雷达融合的三维目标检测方法
CN113920183A (zh) 基于单目视觉的车前障碍物测距方法
CN113643345A (zh) 一种基于双光融合的多目道路智能识别方法
CN110717445A (zh) 一种用于自动驾驶的前车距离跟踪***与方法
CN114463303A (zh) 一种基于双目相机和激光雷达融合的道路目标检测方法
CN113781562A (zh) 一种基于道路模型的车道线虚实配准和自车定位方法
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
WO2020113425A1 (en) Systems and methods for constructing high-definition map
JP2004257837A (ja) ステレオアダプタ撮像システム
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法
CN114037968A (zh) 基于深度雷达点云和图像数据融合的车道线检测方法
AU2018102199A4 (en) Methods and systems for color point cloud generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant