CN115497073A - 一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法 - Google Patents

一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法 Download PDF

Info

Publication number
CN115497073A
CN115497073A CN202211166268.3A CN202211166268A CN115497073A CN 115497073 A CN115497073 A CN 115497073A CN 202211166268 A CN202211166268 A CN 202211166268A CN 115497073 A CN115497073 A CN 115497073A
Authority
CN
China
Prior art keywords
obstacle
camera
target
vehicle
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211166268.3A
Other languages
English (en)
Inventor
周智颖
王科未
陈乾坤
周子建
吴云龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Yuexiang Technology Co Ltd
Original Assignee
Dongfeng Yuexiang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Yuexiang Technology Co Ltd filed Critical Dongfeng Yuexiang Technology Co Ltd
Priority to CN202211166268.3A priority Critical patent/CN115497073A/zh
Publication of CN115497073A publication Critical patent/CN115497073A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法，先是在已标定过的单目摄像机与激光雷达和控制器组成的车载感知***上，使用神经网络进行障碍物的识别，再通过相机标定的结果，将目标位置粗滤的转换至三维空间中，同时在点云中采用传统的点云聚类方式，检测障碍位置，并获取障碍物尺寸信息，通过相对位置与目标大小的信息与图像检测结果进行匹配，从而输出完整可靠的障碍物类别与距离信息，本方案吸纳现有传统障碍物检测方法的优点，整合视觉方法与点云方法的长处，在图像的二维到三维转换过程中采用特殊方式缩小了图像障碍物检测距离估计偏差，进一步与点云在障碍物检测结果信息融合，保障障碍物检测的距离感知与类别分类的准确度。

Description

一种基于车载摄像头和激光雷达融合的障碍物相机实时检测 方法
技术领域
本发明涉及自动驾驶领域，特别涉及一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法。
背景技术
传统计算技术视觉方法，使用模式识别的方式，通过特征匹配图像直方图分析的方式从图像中预设的位置提取障碍物位置。在视觉图像中的障碍物位置通过相机内外参标定的结果，将二维数据反算至三维图像中。这种方法面临两个重要问题，其一是对于障碍物检测的准确率无法保证，通过直方图和模式识别的方式分析检测，检测结果易受环境因素的干扰。且模式识别前期的准备工作耗时长，任务重，一套合适的参数需要大量的时间沉淀积累测试，逐渐已被深度学习替代。其二，通过相机内外参将图像坐标转换为真实坐标由于是从二维信息到三维信息的重建，存在信息缺失的情况，因此存在一定误差，无法准确的预估障碍物在真实的三维世界中的准确位置。
基于深度学习障碍物检测方法，可以通过目标检测或是语义分割的方式对障碍进行检测。虽然深度学习方式解决了障碍物检测准确率的问题，但通过相机内外参将图像坐标转换为真实坐标由于是从二维信息到三维信息的重建，存在信息缺失的情况，因此存在一定误差，无法准确的预估障碍物在真实的三维世界中的准确位置。
发明内容
在现有的自动驾驶车辆的有限算力平台下，给出一种可以实时运行的障碍物检测方法，该方法，相较于已有的方法有更好的鲁棒性，能够支持不同的道路场景，吸收包含深度学习图像障碍物识别准确率高且可以随训练数据增加完善不断提高识别准确率的特性，也可以拥有点云障碍物检测距离感知准确的特点。
本发明提供一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法，包括：
步骤1、在已标定过的单目摄像机与激光雷达和控制器组成的车载感知***上进行相机障碍物目标检测，使用神经网络对障碍物识别；
步骤2、通过相机标定的结果，将目标位置粗滤转换至三维空间中；
步骤3、在点云中采用传统的点云聚类方式，进行相机障碍物位置估计，并获取障碍物尺寸信息，通过点云障碍物感知方法，结合障碍物相对位置与目标大小的信息与图像检测结果进行匹配；
步骤4、进行障碍物信息融合，最终输出完整可靠的障碍物类别与距离信息。
作为优选，在所述步骤1中，相机障碍物目标检测使用以基于YOLO的二维框目标或是三维框目标检测算法，使用深度学习目标检测模型，输出障碍物在相机中的种类与位置信息。
作为优选，所述输出障碍物在相机中的种类与位置信息包含：障碍物类别，障碍物在图片中的尺寸，障碍物在图片中的边缘信息。
作为优选，所述步骤3中，相机障碍物位置估计是基于深度学习，以输出障碍物目标信息与相机内外参的标定结果，对障碍物在真实世界的位置进行估算的方法,方法包括：
步骤11、选取障碍物目标与地面的接触点作为估算距离的位置参考点；
步骤12、标定摄像机内参，建立摄像机内参矩阵：
Figure BDA0003861491990000021
其中，其中u,v为图像坐标，x,y,z为相机坐标系坐标,f/dx为使用像素来描述x轴方向焦距的长度，f/dy为使用像素来描述y轴方向焦距的长度，u0,v0为像素偏移量，f表示摄像机中关于像素点坐标的函数关系；
步骤13、建立摄像机外参矩阵；
Figure BDA0003861491990000031
其中R表示世界坐标系的坐标轴相对于摄像机坐标轴的方向，t表示在摄像机坐标系下空间原点的位置，R为3*3阶旋转矩阵，t为3*1阶平移向量；
步骤14、建立世界坐标到图像坐标的变换关系：
Figure BDA0003861491990000032
修改世界坐标到图像坐标的变换关系，以减少二维到三维信息转换时的信息丢失程度，函数变为：
Figure BDA0003861491990000033
其中，XV,YV为车载坐标系下目标坐标，地面在车载坐标系下为平面，取常量值(x,y,-h),此时由于ZV原本变为常量，因此存在逆运算使得图像坐标系->相机坐标系->车载坐标系,
Figure BDA0003861491990000034
Figure BDA0003861491990000035
Figure BDA0003861491990000036
其中，(sx,sy,sz)是目标点在相机坐标系下的坐标点，(Cx,Cy,Cz)是目标点在世界坐标系下的坐标点，s为参数常量，
得出直接变换函数为
Figure BDA0003861491990000041
图像中地面像素点(u，v)对应的车载坐标下(XV,YV,-h)，
至此，建立起图像坐标系到车载坐标系地面的两个平面间变换关系；
步骤15、在已经建立图像坐标系到车载坐标系变换关系的情况下，检测出目标在地面上的点，即可估算目标距离。
作为优选，在所述步骤15中，车辆、行人及其他障碍物，视作在地面上运动或静止的障碍物，使用以基于YOLO的二维框目标或是三维框目标检测算法提取出边缘框，其边缘框下边缘中点落在地面上，用于进行深度估计，使用平面三维框目标检测，可以更为准确的提取出目标在地面的中心点，进一步提高距离估计精度。
作为优选，在所述步骤3中，点云障碍物感知包括：
步骤21、地面滤除：根据点云的高度信息与聚类结果，将点云中属于地面的点过滤，实现前景与背景的分离；
步骤22、噪点滤除：将地面上方的噪声点做进一步过滤，减少障碍物聚类的干扰项；
步骤23、通过聚类的方式，在已经过滤的点云结果上，提取出障碍物聚类结果，获取聚类障碍物结果的角点、高度、距离信息。
作为优选，所述障碍物感知融合包括：
步骤31、在点云输出的障碍物位置信息的基础上与图像输出的结果做匹配融合；
步骤32、根据距离与尺寸接近的原则，对已检测的目标做距离优先匹配；
步骤33、对于孤立目标则匹配效果较为精确，对于接近目标，在距离匹配的基础上进行尺寸匹配，并根据车辆运动状态，做多帧连续匹配，从而实现障碍物的识别与分类。
与现有技术相比，本发明的有益效果是：
1.本方案吸纳现有传统障碍物检测方法的优点，整合视觉方法与点云方法的长处，在图像的二维到三维转换过程中采用特殊方式缩小了图像障碍物检测距离估计偏差；
2.本方案进一步与点云在障碍物检测结果信息融合，从而保障障碍物检测的距离感知与类别分类的准确度。
附图说明
图1为本发明中传统摄像机内外参坐标系示意图。
图2为本发明中相机障碍物位置估计方法流程图。
图3为本发明中点云障碍物感知方法流程图。
图4为本发明中障碍物信息融合方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法，先是在已标定过的单目摄像机与激光雷达和控制器组成的车载感知***上，使用神经网络进行障碍物的识别，再通过相机标定的结果，将目标位置粗滤的转换至三维空间中；
同时在点云中采用传统的点云聚类方式，检测障碍位置，并获取障碍物尺寸信息，通过相对位置与目标大小的信息与图像检测结果进行匹配，从而最终输出完整可靠的障碍物类别与距离信息。
本实施例完整包括相机障碍物目标检测，相机障碍物位置估计，点云障碍物感知，障碍物信息融合四个部分。
进一步地，所述相机障碍物目标检测使用深度学习目标检测模型，输出障碍物在相机中的种类与位置信息，所述输出信息包含：障碍物类别，障碍物在图片中的尺寸，障碍物在图片中的边缘信息。
本实施例中，目标检测具体方法或方式不为重点，仅需提供包含分类信息的目标检测结果即可。常见的可搭载在车辆上的目标检测深度学习方式以YOLO系列为代表的二维目标框目标检测，或是带有深度信息的图像三维框目标检测均可。
进一步地，所述相机障碍物位置估计是基于深度学习，以输出障碍物目标信息与相机内外参的标定结果，对障碍物在真实世界的位置进行估算的方法，在估算过程中，统一取障碍物目标与地面的接触点作为估算距离的位置参考点，其原因在于这些点位于车辆坐标系下，空间z方向为固定值，从而在二维坐标的坐标转换过程中可以尽量缩小三维位置估计的误差。
相机内参数是与相机自身特性相关的参数，比如相机的焦距、像素大小等；摄像机内参矩阵反应了相机自身的属性，各个相机是不一样的，需要标定才能知道这些参数，其作用是告诉我们摄像机坐标的点在1的基础上，是如何继续经过摄像机的镜头、并通过针孔成像和电子转化而成为像素点的，用于建立相机坐标系到图像坐标系的变换关系。
所述相机障碍物位置估计方法，包括：
步骤S11、选取障碍物目标与地面的接触点作为估算距离的位置参考点；
步骤S12、标定摄像机内参，建立摄像机内参矩阵：
Figure BDA0003861491990000061
其中，其中u,v为为图像坐标，x,y,z为相机坐标系坐标,f/dx为使用像素来描述x轴方向焦距的长度，f/dy为使用像素来描述y轴方向焦距的长度，u0,v0为像素偏移量；
从上述公式中不难发现在相机坐标系坐标变换为图像坐标过程中，存在信息丢失；
步骤S13、建立摄像机外参矩阵；
Figure BDA0003861491990000071
相机外参描述相机在世界坐标系中的参数，比如相机的位置、旋转方向等，外参会随着相机运动发生改变，相机标定的过程即是建立起世界坐标到图像坐标的映射方式；
摄像机的旋转平移属于外参，用于描述相机在静态场景下相机的运动，或者在相机固定时，运动物体的刚性运动；
摄像机外参矩阵：包括旋转矩阵和平移矩阵，其作用是告诉我们现实世界点(世界坐标)是怎样经过旋转和平移，然后落到另一个现实世界点(相机坐标系)上；
旋转矩阵和平移矩阵共同描述了如何把点从世界坐标系转换到摄像机坐标系；
旋转矩阵：R,描述了世界坐标系的坐标轴相对于摄像机坐标轴的方向平移矩阵：t，描述了在摄像机坐标系下，空间原点的位置；
从传统的内外参相机标定的过程不难发现，内外参仅能完成世界坐标系->相机坐标系->图像坐标系，而图像坐标系->相机坐标系->世界坐标系由于是二维到三维信息转换存在信息丢失，因此无法完成图像检测结果到三维世界坐标的转换，为实现图像坐标系->相机坐标系->世界坐标系的转换，需补充缺失的信息；
步骤S14、修改世界坐标到图像坐标的变换关系，以减少二维到三维信息转换时的信息丢失程度，函数变为：
Figure BDA0003861491990000081
其中，XV,YV为车载坐标系下目标坐标，地面在车载坐标系下为平面，取常量值(x,y,-h),得出下述函数：
Figure BDA0003861491990000082
Figure BDA0003861491990000083
Figure BDA0003861491990000084
其中，(sx,sy,sz)是目标点在相机坐标系下的坐标点，(Cx,Cy,Cz)是目标点在世界坐标系下的坐标点，s为参数常量，
得出直接变换函数为：
Figure BDA0003861491990000085
图像中地面像素点(u，v)对应的车载坐标下(XV,YV,-h)；
步骤15、在已经建立图像坐标系到车载坐标系变换关系的情况下，检测出目标在地面上的点，即可估算目标距离。
进一步地，在所述步骤S15中，车辆、行人及其他障碍物，视作在地面上运动或静止的障碍物，使用目标检测的方式可提取出边缘框，其边缘框下边缘中点落在地面上，可用于进行深度估计，若使用平面三维框目标检测，可以更为准确的提取出目标在地面的中心点，进一步提高距离估计精度。
进一步地，所述点云障碍物感知包括：
步骤S21、地面滤除：根据点云的高度信息与聚类结果，将点云中属于地面的点过滤，实现前景与背景的分离；
步骤S22、噪点滤除：将地面上方的噪声点做进一步过滤，减少障碍物聚类的干扰项；
步骤S23、通过聚类的方式，在已经过滤的点云结果上，提取出障碍物聚类结果，获取聚类障碍物结果的角点、高度、距离信息。
进一步地，所述障碍物感知融合包括：
步骤S31、在点云输出的障碍物位置信息的基础上与图像输出的结果做匹配融合；
步骤S32、根据距离与尺寸接近的原则，对已检测的目标做距离优先匹配；
步骤S33、对于孤立目标则匹配效果较为精确，对于接近目标，在距离匹配的基础上进行尺寸匹配，并根据车辆运动状态，做多帧连续匹配，从而实现障碍物的识别与分类。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (7)

1.一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法，包括：
步骤1、在已标定过的单目摄像机与激光雷达和控制器组成的车载感知***上进行相机障碍物目标检测，使用神经网络对障碍物识别；
步骤2、通过相机标定的结果，将目标位置粗滤转换至三维空间中；
步骤3、在点云中采用传统的点云聚类方式，进行相机障碍物位置估计，并获取障碍物尺寸信息，通过点云障碍物感知方法，结合障碍物相对位置与目标大小的信息与图像检测结果进行匹配；
步骤4、进行障碍物信息融合，最终输出完整可靠的障碍物类别与距离信息。
2.如权利要求1所述的一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法，其特征在于，在所述步骤1中，相机障碍物目标检测使用以基于YOLO的二维框目标或是三维框目标检测算法，使用深度学习目标检测模型，输出障碍物在相机中的种类与位置信息。
3.如权利要求2所述一种的基于车载摄像头和激光雷达融合的障碍物相机实时检测方法，其特征在于，所述输出障碍物在相机中的种类与位置信息包含：障碍物类别，障碍物在图片中的尺寸，障碍物在图片中的边缘信息。
4.如权利要求1所述的一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法，其特征在于，所述步骤3中，相机障碍物位置估计是基于深度学习，以输出障碍物目标信息与相机内外参的标定结果，对障碍物在真实世界的位置进行估算的方法,方法包括：
步骤11、选取障碍物目标与地面的接触点作为估算距离的位置参考点；
步骤12、标定摄像机内参，建立摄像机内参矩阵：
Figure FDA0003861491980000021
其中，其中u,v为图像坐标，x,y,z为相机坐标系坐标,f/dx为使用像素来描述x轴方向焦距的长度，f/dy为使用像素来描述y轴方向焦距的长度，u0,v0为像素偏移量，f表示摄像机中关于像素点坐标的函数关系；
步骤13、建立摄像机外参矩阵；
Figure FDA0003861491980000022
其中R表示世界坐标系的坐标轴相对于摄像机坐标轴的方向，t表示在摄像机坐标系下空间原点的位置，R为3*3阶旋转矩阵，t为3*1阶平移向量；
步骤14、修改世界坐标到图像坐标的变换关系，以减少二维到三维信息转换时的信息丢失程度，函数变为：
Figure FDA0003861491980000023
其中，XV,YV为车载坐标系下目标坐标，地面在车载坐标系下为平面，取常量值(x,y,-h),得出下述函数：
Figure FDA0003861491980000024
Figure FDA0003861491980000025
Figure FDA0003861491980000026
其中，(sx,sy,sz)是目标点在相机坐标系下的坐标点，(Cx,Cy,Cz)是目标点在世界坐标系下的坐标点，s为参数常量，得出直接变换函数为：
Figure FDA0003861491980000031
图像中地面像素点(u，v)对应的车载坐标下(XV,YV,-h)；
步骤15、在已经建立图像坐标系到车载坐标系变换关系的情况下，检测出目标在地面上的点，即可估算目标距离。
5.如权利要求4所述的一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法，其特征在于，在所述步骤15中，车辆、行人及其他障碍物，视作在地面上运动或静止的障碍物，使用以基于YOLO的二维框目标或是三维框目标检测算法提取出边缘框，其边缘框下边缘中点落在地面上，用于进行深度估计。
6.如权利要求1所述的一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法，其特征在于，在所述步骤3中，点云障碍物感知包括：
步骤21、地面滤除：根据点云的高度信息与聚类结果，将点云中属于地面的点过滤，实现前景与背景的分离；
步骤22、噪点滤除：将地面上方的噪声点做进一步过滤，减少障碍物聚类的干扰项；
步骤23、通过聚类的方式，在已经过滤的点云结果上，提取出障碍物聚类结果，获取聚类障碍物结果的角点、高度、距离信息。
7.如权利要求1所述的一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法，其特征在于，所述障碍物感知融合包括：
步骤31、在点云输出的障碍物位置信息的基础上与图像输出的结果做匹配融合；
步骤32、根据距离与尺寸接近的原则，对已检测的目标做距离优先匹配；
步骤33、对于孤立目标则匹配效果较为精确，对于接近目标，在距离匹配的基础上进行尺寸匹配，并根据车辆运动状态，做多帧连续匹配，从而实现障碍物的识别与分类。
CN202211166268.3A 2022-09-23 2022-09-23 一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法 Pending CN115497073A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211166268.3A CN115497073A (zh) 2022-09-23 2022-09-23 一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211166268.3A CN115497073A (zh) 2022-09-23 2022-09-23 一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法

Publications (1)

Publication Number Publication Date
CN115497073A true CN115497073A (zh) 2022-12-20

Family

ID=84469647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211166268.3A Pending CN115497073A (zh) 2022-09-23 2022-09-23 一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法

Country Status (1)

Country Link
CN (1) CN115497073A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117953065A (zh) * 2024-03-26 2024-04-30 新乡职业技术学院 一种基于图像处理的场地车辆控制***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117953065A (zh) * 2024-03-26 2024-04-30 新乡职业技术学院 一种基于图像处理的场地车辆控制***
CN117953065B (zh) * 2024-03-26 2024-06-11 新乡职业技术学院 一种基于图像处理的场地车辆控制***

Similar Documents

Publication Publication Date Title
CN109146929B (zh) 一种基于事件触发相机与三维激光雷达融合***下的物体识别与配准方法
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN109034047B (zh) 一种车道线检测方法及装置
CN107767400B (zh) 基于层次化显著性分析的遥感图像序列动目标检测方法
US8212812B2 (en) Active shape model for vehicle modeling and re-identification
CN112396650A (zh) 一种基于图像和激光雷达融合的目标测距***及方法
Nedevschi et al. A sensor for urban driving assistance systems based on dense stereovision
CN113111887A (zh) 一种基于相机和激光雷达信息融合的语义分割方法及***
CN110334678A (zh) 一种基于视觉融合的行人检测方法
CN102774325A (zh) 一种后视倒车辅助***和形成后视障碍图像的方法
JP7091686B2 (ja) 立体物認識装置、撮像装置および車両
CN113313116B (zh) 一种基于视觉的水下人工目标准确检测与定位方法
CN103810475A (zh) 一种目标物识别方法及装置
CN114399675A (zh) 一种基于机器视觉与激光雷达融合的目标检测方法和装置
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN112699267B (zh) 车辆车型的识别方法
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN115327572A (zh) 一种车辆前方障碍物检测方法
CN117058646A (zh) 基于多模态融合鸟瞰图的复杂道路目标检测方法
CN115497073A (zh) 一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法
CN113689365B (zh) 一种基于Azure Kinect的目标跟踪定位方法
CN110197104B (zh) 基于车辆的测距方法及装置
CN113219472A (zh) 一种测距***和方法
Barua et al. An Efficient Method of Lane Detection and Tracking for Highway Safety
CN111583315A (zh) 一种新的可见光图像和红外图像配准方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination