CN112257522A - 基于环境特征的多传感器融合环境感知方法 - Google Patents

基于环境特征的多传感器融合环境感知方法 Download PDF

Info

Publication number
CN112257522A
CN112257522A CN202011063190.3A CN202011063190A CN112257522A CN 112257522 A CN112257522 A CN 112257522A CN 202011063190 A CN202011063190 A CN 202011063190A CN 112257522 A CN112257522 A CN 112257522A
Authority
CN
China
Prior art keywords
sensor
environment
vehicle
light intensity
environmental
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011063190.3A
Other languages
English (en)
Other versions
CN112257522B (zh
Inventor
王展
王春燕
赵万忠
王一松
刘利锋
秦亚娟
刘晓强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202011063190.3A priority Critical patent/CN112257522B/zh
Publication of CN112257522A publication Critical patent/CN112257522A/zh
Application granted granted Critical
Publication of CN112257522B publication Critical patent/CN112257522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种基于环境特征的多传感器融合环境感知方法，首先通过雨滴传感器和光敏传感器对当前环境进行检测，对当前环境做出判断后，根据不同的环境特征对所采用的传感器方案进行选择。然后根据所选择的方案对环境进行建模以及对环境中的障碍物信息进行检测。其中在激光雷达检测障碍物信息中采用多特征多层栅格地图，对障碍物环境信息进行分层，提高检测的准确性，避免悬挂物误检。本发明解决了不同传感器在不同环境特征下鲁棒性有差异的问题，基于不同环境特征选择不同的传感器，增加智能车在各种环境工况下目标检测的鲁棒性和准确性。

Description

基于环境特征的多传感器融合环境感知方法
技术领域
本发明涉及无人驾驶技术的环境感知领域，尤其涉及一种基于环境特征的多传感器融合环境感知方法。
背景技术
智能网联汽车作为一种新兴手段，因其能够规避驾驶危险行为、辅助驾驶员正常行驶、提高驾驶舒适性以及缓解交通拥挤问题，所以在世界范围内得到高度的重视和快速的发展。作为智能网联汽车的重要组成部分之一，目标检测***通过利用传感器对环境信息进行感知，从而为智能网联汽车的其他子***提供重要的信息。目前在智能车上应用较广泛的主要包括激光雷达、毫米波雷达和视觉传感器等。由于单一传感器具有一定的限制性，因此目前在环境感知方向上更多注重于多传感器的联合检测。例如中国专利申请号CN201821484645.7，名称为“一种多参数移动环境感知机器人”中采用了视觉传感器、水位传感器、温湿度传感器、超声波传感器、粉尘检测传感器、紫外线传感器、生命特征检测传感器对环境特征进行检测，联合控制模块传达环境中需要检测的信息。中国专利申请号CN201711085245.9，名称“一种智能车辆感知***的信息融合方法”中融合了激光雷达、毫米波雷达、视觉传感器、超声波雷达，其检测思路为：首先判断超声波传感器是否探测到障碍物，有则不处理毫米波和视觉传感器的信息，无则再处理毫米波和视觉传感器的信息；毫米波和视觉传感器若探测到相同障碍物，通过处理器融合处理上述两传感器信息，只有一个传感器探测到障碍物则只输出对应探测器的信息。以上专利在传感器采用上都未能很好的考虑在不同环境特征下所采用传感器的鲁棒性。在光照条件较差、悬浮物较多和电磁波干扰等情况下不同传感器所表现出来的鲁棒性不同，若不考虑这些因素，往往会对检测结果产生不良影响，从而降低检测的准确度，影响智能车辆在行驶过程中的安全性与智能性。
发明内容
本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种基于环境特征的多传感器融合环境感知方法。
本发明为解决上述技术问题采用以下技术方案：
基于环境特征的多传感器融合环境感知方法，包括以下步骤：
步骤1)，在车辆上设置光敏传感器、雨滴传感器、激光雷达、毫米波雷达和视觉传感器，其中，光敏传感器用于检测车辆所在环境的光强；雨滴传感器用于判断车辆所在环境是否下雨；
步骤2)，获得车辆所在环境当前的光强，并判断车辆所在环境是否下雨；
步骤2.1)，如果不下雨且当前光强小于预设的光强阈值，采用激光雷达进行环境建模和障碍物识别；
步骤2.2)，如果下雨且当前光强小于预设的光强阈值，采用毫米波雷达进行环境建模和障碍物识别；
步骤2.3)，如果不下雨且当前光强大于等于预设的光强阈值，采用视觉传感器与激光雷达传感器融合进行环境建模和障碍物识别；
步骤2.4)，如果下雨且当前光强大于等于预设的光强阈值，采用毫米波雷达与视觉传感器相融合进行环境建模和障碍物识别。
作为本发明基于环境特征的多传感器融合环境感知方法进一步的优化方案，步骤2.1)中采用激光雷达进行环境建模和障碍物识别时，采用多特征多层栅格地图对环境模型划分、采用基于深度值确定距离阈值的聚类方法对栅格信息聚类、采用聚类修正以避免过分割确定障碍物边缘信息。
作为本发明基于环境特征的多传感器融合环境感知方法进一步的优化方案，所述步骤2.2)中采用毫米波雷达进行环境建模和障碍物识别时，基于决策树进行车辆目标检测，具体包括毫米波雷达数据预处理和模型构建和网络训练：
在模型构建中将与目标分类特征没有关系的信息进行剔除，结和距离、速度、横向距离、反射率、横向加速度、角速度和相对加速度八个标签对目标进行分类；然后基于MATLAB中的ID3算法搭建决策树算法；采用训练数据对决策树算法进行训练，逐渐降低损失值，从而完成对于车辆的目标检测。
作为本发明基于环境特征的多传感器融合环境感知方法进一步的优化方案，所述步骤2.3)中采用激光雷达与视觉传感器两者融合进行环境建模和障碍物识别时；
步骤2.3.1)，基于传感器模型进行联合标定工作，实现激光雷达和摄像头数据的空间标定与时间同步工作：在空间标定上，将视觉坐标系与激光雷达坐标系都转化为世界坐标系；在时间上，为不同源的数据构建数据池；
步骤2.3.2)，利用分层聚类方法实现对区域的划分，利用视觉传感器对车辆进行进一步的识别：利用基于YUV空间的局部区域统计分割方法提取车辆车底阴影，利用Sobel边缘检测算子检测车辆对称性，最后利用纹理特征确认是否存在车辆；在激光雷达与视觉传感器的融合结构上，采用像素级融合和决策级融合。
作为本发明基于环境特征的多传感器融合环境感知方法进一步的优化方案，所述步骤2.4)中采用毫米波雷达与视觉传感器融合进行环境建模和障碍物识别时，采用卷积神经网络算法进行视觉图像处理，基于卡尔曼滤波器和车辆二自由度模型的对雷达信号进行处理，并采用加权平均信息融合算法对处理过后的视觉图像和雷达信号进行融合。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1.本发明提出了基于环境特征的多传感器融合算法，增强了在不同环境下智能车辆***中目标检测的鲁棒性。与此同时，由于基于不同天气，所采用的传感器可以自由切换，避免了所有传感器共同工作导致大量数据需要处理，增加了车辆在运行过程中的实时性要求。
2.本发明在激光雷达栅格数据处理中采用了多层多特征栅格地图，对环境中不同种类障碍物信息有了更加清晰的划分，避免智能车辆在行驶过程中的误检现象。
附图说明
图1是本发明原理示意图；
图2是激光雷达检测障碍物中多特征多层栅格地图构建原理示意图；
图3是激光雷达与视觉传感器融合算法结构。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
本发明可以以许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本公开透彻且完整，并且将向本领域技术人员充分表达本发明的范围。在附图中，为了清楚起见放大了组件。
参照图1，本发明公开了一种基于环境特征的多传感器融合环境感知方法，包括以下步骤：
步骤1)，在车辆上设置光敏传感器、雨滴传感器、激光雷达、毫米波雷达和视觉传感器，其中，光敏传感器用于车辆所在环境的光强；雨滴传感器用于判断车辆所在环境是否下雨。
光敏传感器的原理为：利用光敏元件将光信号转换为电信号、放大后通过电流大小表征光强。雨滴传感器的原理为：利用压电振子的压电效应，将雨滴产生的机械位移转变为电信号，利用其冲击能量所转变的电压波形表征是否下雨。
步骤2)，获得车辆所在环境当前的光强，并判断车辆所在环境是否下雨：
步骤2.1)，如果不下雨且当前光强小于预设的光强阈值；
从当前国内外研究者的研究现状可以知道，光照条件对于视觉传感器的精度起着极大的影响。因此，当光照条件较差时，我们将不采用视觉传感器。而激光雷达应用在光线条件较差时也能具有良好的鲁棒性。同时，毫米波雷达与激光雷达相对比，激光雷达具有高精度、大信息量、不受可见光干扰的优势。因此在此类环境特征下采用激光雷达进行环境建模和障碍物识别。
步骤2.2)，如果下雨且当前光强小于预设的光强阈值；
在此类情况下视觉传感器的鲁棒性因为光照条件较差而随之变差，由于处于雨水天气中，激光雷达的精度会随着空气中的悬浮物的密度的增大而减小。研究表明，雨水天气是由小水滴所构成，雨滴的半径和其在空中的分布密度直接决定了激光在传播过程中与之相碰撞的概率。相撞的概率越高，激光的传播速度受到的影响越大。因此，在雨水天气中不适宜采用激光雷达传感器作为环境建模的工作。因此在此类情况下利用毫米波雷达进行环境建模和障碍物识别。
步骤2.3)，如果不下雨且当前光强大于等于预设的光强阈值；
当光照条件良好且不涉及雨水天气时，视觉传感器与激光雷达传感器的鲁棒性较好，而毫米波雷达的鲁棒性会被其他通信设备和雷达之间的电磁波干扰，因此，选择视觉传感器与激光雷达传感器融合进行环境建模和障碍物识别。
步骤2.4)，如果下雨且当前光强大于等于预设的光强阈值；
当光照条件良好时，视觉传感器作为目前应用最成熟且价格便宜的传感器能够在环境感知中起着极大的作用。然而雨水天气也会对视觉传感器的检测精度产生一定的影响，因此采用单一的视觉传感器是不足以完成检测精度的。与此同时，因为雨水天气空气中存在着大量的小水滴，会直接影响激光的传播速度，从而进一步的影响到激光雷达传感器的检测精度，而毫米波雷达的抗悬浮物干扰能力较强，所以最后选择将毫米波雷达与视觉传感器相融合进行环境建模和障碍物识别。
步骤2.1)中采用激光雷达进行环境建模和障碍物识别时，采用多特征多层栅格地图对环境模型划分、采用基于深度值确定距离阈值的聚类方法对栅格信息聚类、采用聚类修正以避免过分割确定障碍物边缘信息。
参照图2所示，多特征多层栅格地图将环境模型划分为路面层、障碍物层和悬挂物层，在划分上联合高度特征和强度特征；在高度特征中设定两个阈值：a和b，b大于a，a设定为偏小的阈值为防止将障碍物误检为地面，而b设定为较大的阈值为防止当路面起伏不平时将路面误检为障碍物；当ΔH＜a时，判定其为路面；当ΔH＜b时，则判定其为障碍物或悬挂物；当ΔH大于等于a小于等于b时，在高度特征阶段，对其不进行判定，在引入强度特征后再进行判断。在对引入强度特征之前，首先需要对强度按照距离进行修正，其修正公式如下：
Figure BDA0002712959940000051
其中focalDistance、K是激光雷达说明书所给出得数据，distance为激光雷达距离障碍物的距离值，intensityVal为测得的强度值。
对强度修正后，考虑到对于行人和车辆来说，由于衣物和油漆的表面性质以及颜色差异较大，障碍物表面的强度信息相对紊乱，导致方差较大。而对于路面来说，表面材料和颜色相对统一，因此，路面的强度信息相对一致，方差较小。因此，通强度均值和强度方差能够很好的分离路面平面块。设定强度均值的上下阈值分别为MeanIa、MeanIb，方差阈值为VarIt，当平面块的强度均值处于阈值范围内且方差小于方差阈值时，则判定为路面平面块。
检测到路面层后，将其高度均值HG作为本栅格内路面层的高度。如果没有检测到路面层，则令HG＝0。然后对悬挂层高度求解，公式如下：
HF＝HG+HV+HS
式中HV和HS分别代表车辆本身加激光雷达的高度和预留到车顶的安全距离。因此，当栅格中表面块的高度均值处于HG至HF间时，便判定表面块为障碍物层。当栅格内表面块的高度均值大于HF时，则判定表面块为悬挂物层。最后对栅格内的数据进行压缩，仅保留障碍物平面块中的高度差和强度均值数据，剔除其他平面块的数据。
对栅格数据分层后对障碍物平面块进行聚类以得到障碍物的边缘信息。其中采用的方法为基于距离阈值确定聚类阈值的方法，其中距离阈值由深度值确定，其公式如下：
Figure BDA0002712959940000052
式中σr代表的为雷达传感器的测量误差，
Figure BDA0002712959940000053
为水平角分辨率，rn-1为障碍栅格中心点的深度值，λ为阈值参数。
聚类后为避免过分割进一步采用聚类修正，利用相似度进行比较，其中相似度公式如下：
Figure BDA0002712959940000054
式中系数a、b、c、d由多次实验获得的经验值。(xi，yi)，(xj，yj)为第i，j个障碍物的中心点坐标。Vi，θi，Ti分别代表障碍块的速度、运动方向和不同时刻的强度均值。
所述步骤2.2)中采用毫米波雷达进行环境建模和障碍物识别时，基于决策树进行车辆目标检测，具体包括毫米波雷达数据预处理、模型构建和网络训练：
在模型构建中将与目标分类特征没有关系的信息进行剔除，结合距离、速度、横向距离、反射率、横向加速度、角速度和相对加速度八个标签对目标进行分类；然后基于MATLAB中的ID3算法搭建决策树算法；采用训练数据对决策树算法进行训练，逐渐降低损失值，从而完成对于车辆的目标检测。
所述步骤2.3)中采用激光雷达与视觉传感器两者融合进行环境建模和障碍物识别时；
步骤2.3.1)，基于传感器模型进行联合标定工作，实现激光雷达和摄像头数据的空间标定与时间同步工作：在空间标定上，将视觉坐标系与激光雷达坐标系都转化为世界坐标系；在在时间上，为不同源的数据构建数据池；
步骤2.3.2)，利用分层聚类方法实现对感兴趣区域的划分，利用视觉传感器对车辆进行进一步的识别：利用基于YUV空间的局部区域统计分割方法提取车辆车底阴影，利用Sobel边缘检测算子检测车辆对称性，最后利用纹理特征确认是否存在车辆；参照图3所示，在激光雷达与视觉传感器的融合结构上，采用像素级融合和决策级融合。
所述步骤2.4)中采用毫米波雷达与视觉传感器融合进行环境建模和障碍物识别时，采用卷积神经网络算法进行视觉图像处理，基于卡尔曼滤波器和车辆二自由度模型的对雷达信号进行处理，并采用加权平均信息融合算法对处理过后的视觉图像和雷达信号进行融合。
其实现检测的具体步骤为通过卡尔曼滤波器及常加速模型完成有效目标具备车辆运动特征的初步筛选，采用深度学习的方式提取图像的费舍尔特征识别车辆。
本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于环境特征的多传感器融合环境感知方法，其特征在于，包括以下步骤：
步骤1），在车辆上设置光敏传感器、雨滴传感器、激光雷达、毫米波雷达和视觉传感器，其中，光敏传感器用于检测车辆所在环境的光强；雨滴传感器用于判断车辆所在环境是否下雨；
步骤2），获得车辆所在环境当前的光强，并判断车辆所在环境是否下雨；
步骤2.1），如果不下雨且当前光强小于预设的光强阈值，采用激光雷达进行环境建模和障碍物识别；
步骤2.2），如果下雨且当前光强小于预设的光强阈值，采用毫米波雷达进行环境建模和障碍物识别；
步骤2.3），如果不下雨且当前光强大于等于预设的光强阈值，采用视觉传感器与激光雷达传感器融合进行环境建模和障碍物识别；
步骤2.4），如果下雨且当前光强大于等于预设的光强阈值，采用毫米波雷达与视觉传感器融合进行环境建模和障碍物识别。
2.根据权利要1所述的基于环境特征的多传感器融合环境感知方法，其特征在于，步骤2.1）中采用激光雷达进行环境建模和障碍物识别时，采用多特征多层栅格地图对环境模型划分、采用基于深度值确定距离阈值的聚类方法对栅格信息聚类、采用聚类修正以避免过分割确定障碍物边缘信息。
3.根据权利要1所述的基于环境特征的多传感器融合环境感知方法，其特征在于，所述步骤2.2）中采用毫米波雷达进行环境建模和障碍物识别时，基于决策树进行车辆目标检测，具体包括毫米波雷达数据预处理、模型构建和网络训练：
在模型构建中将与目标分类特征没有关系的信息进行剔除，结合距离、速度、横向距离、反射率、横向加速度、角速度和相对加速度八个标签对目标进行分类；然后基于MATLAB中的ID3算法搭建决策树算法；采用训练数据对决策树算法进行训练，逐渐降低损失值，从而完成对于车辆的目标检测。
4.根据权利要1所述的基于环境特征的多传感器融合环境感知方法，其特征在于，所述步骤2.3）中采用激光雷达与视觉传感器两者融合进行环境建模和障碍物识别时；
步骤2.3.1），基于传感器模型进行联合标定工作，实现激光雷达和摄像头数据的空间标定与时间同步工作：在空间标定上，将视觉坐标系与激光雷达坐标系都转化为世界坐标系；在在时间上，为不同源的数据构建数据池；
步骤2.3.2），利用分层聚类方法实现对区域的划分，利用视觉传感器对车辆进行进一步的识别：利用基于 YUV 空间的局部区域统计分割方法提取车辆车底阴影，利用Sobel 边缘检测算子检测车辆对称性，最后利用纹理特征确认是否存在车辆；在激光雷达与视觉传感器的融合结构上，采用像素级融合和决策级融合。
5.根据权利要1所述的基于环境特征的多传感器融合环境感知方法，其特征在于，所述步骤2.4）中采用毫米波雷达与视觉传感器融合进行环境建模和障碍物识别时，采用卷积神经网络算法进行视觉图像处理，基于卡尔曼滤波器和车辆二自由度模型的对雷达信号进行处理，并采用加权平均信息融合算法对处理过后的视觉图像和雷达信号进行融合。
CN202011063190.3A 2020-09-30 2020-09-30 基于环境特征的多传感器融合环境感知方法 Active CN112257522B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011063190.3A CN112257522B (zh) 2020-09-30 2020-09-30 基于环境特征的多传感器融合环境感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011063190.3A CN112257522B (zh) 2020-09-30 2020-09-30 基于环境特征的多传感器融合环境感知方法

Publications (2)

Publication Number Publication Date
CN112257522A true CN112257522A (zh) 2021-01-22
CN112257522B CN112257522B (zh) 2024-02-20

Family

ID=74233752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011063190.3A Active CN112257522B (zh) 2020-09-30 2020-09-30 基于环境特征的多传感器融合环境感知方法

Country Status (1)

Country Link
CN (1) CN112257522B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113561894A (zh) * 2021-08-20 2021-10-29 郑州睿行汽车科技有限公司 一种基于双目立体视觉及4d毫米波雷达的限高检测车辆控制***及其控制方法
CN113920782A (zh) * 2021-10-08 2022-01-11 安徽江淮汽车集团股份有限公司 应用于车位检测的多传感器融合方法
CN115630335A (zh) * 2022-10-28 2023-01-20 北京中科东信科技有限公司 一种基于多传感器融合和深度学习模型道路信息生成方法
CN115639536A (zh) * 2022-11-18 2023-01-24 陕西欧卡电子智能科技有限公司 基于多传感器融合的无人船感知目标检测方法及装置
CN116796210A (zh) * 2023-08-25 2023-09-22 山东莱恩光电科技股份有限公司 基于激光雷达的障碍物检测方法
CN118062016A (zh) * 2024-04-25 2024-05-24 深圳市天之眼高新科技有限公司 车辆环境感知方法、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160223643A1 (en) * 2015-01-28 2016-08-04 Wenhua Li Deep Fusion of Polystatic MIMO Radars with The Internet of Vehicles for Interference-free Environmental Perception
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测***
CN109166314A (zh) * 2018-09-29 2019-01-08 河北德冠隆电子科技有限公司 基于全方位跟踪检测雷达的路况感知设备及车路协同***
CN109556615A (zh) * 2018-10-10 2019-04-02 吉林大学 基于自动驾驶的多传感器融合认知的驾驶地图生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160223643A1 (en) * 2015-01-28 2016-08-04 Wenhua Li Deep Fusion of Polystatic MIMO Radars with The Internet of Vehicles for Interference-free Environmental Perception
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测***
CN109166314A (zh) * 2018-09-29 2019-01-08 河北德冠隆电子科技有限公司 基于全方位跟踪检测雷达的路况感知设备及车路协同***
CN109556615A (zh) * 2018-10-10 2019-04-02 吉林大学 基于自动驾驶的多传感器融合认知的驾驶地图生成方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113561894A (zh) * 2021-08-20 2021-10-29 郑州睿行汽车科技有限公司 一种基于双目立体视觉及4d毫米波雷达的限高检测车辆控制***及其控制方法
CN113920782A (zh) * 2021-10-08 2022-01-11 安徽江淮汽车集团股份有限公司 应用于车位检测的多传感器融合方法
CN115630335A (zh) * 2022-10-28 2023-01-20 北京中科东信科技有限公司 一种基于多传感器融合和深度学习模型道路信息生成方法
CN115630335B (zh) * 2022-10-28 2023-06-27 北京中科东信科技有限公司 一种基于多传感器融合和深度学习模型道路信息生成方法
CN115639536A (zh) * 2022-11-18 2023-01-24 陕西欧卡电子智能科技有限公司 基于多传感器融合的无人船感知目标检测方法及装置
CN115639536B (zh) * 2022-11-18 2023-03-21 陕西欧卡电子智能科技有限公司 基于多传感器融合的无人船感知目标检测方法及装置
CN116796210A (zh) * 2023-08-25 2023-09-22 山东莱恩光电科技股份有限公司 基于激光雷达的障碍物检测方法
CN116796210B (zh) * 2023-08-25 2023-11-28 山东莱恩光电科技股份有限公司 基于激光雷达的障碍物检测方法
CN118062016A (zh) * 2024-04-25 2024-05-24 深圳市天之眼高新科技有限公司 车辆环境感知方法、设备和存储介质

Also Published As

Publication number Publication date
CN112257522B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN112257522B (zh) 基于环境特征的多传感器融合环境感知方法
CN108960183B (zh) 一种基于多传感器融合的弯道目标识别***及方法
CN109858460B (zh) 一种基于三维激光雷达的车道线检测方法
CN109684921B (zh) 一种基于三维激光雷达的道路边界检测与跟踪方法
CN105892471B (zh) 汽车自动驾驶方法和装置
CN110178167B (zh) 基于摄像机协同接力的路口违章视频识别方法
CN108647646B (zh) 基于低线束雷达的低矮障碍物的优化检测方法及装置
CN108334819B (zh) 用于自动化车辆的地面分类器***
CN111369541B (zh) 一种智能汽车恶劣天气条件下车辆检测方法
WO2020135810A1 (zh) 多传感器数据融合方法和装置
CN112215306B (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
US20100098297A1 (en) Clear path detection using segmentation-based method
CN113009453B (zh) 矿山路沿检测及建图方法及装置
CN112147615B (zh) 一种基于全天候环境监测***的无人驾驶感知方法
CN113345237A (zh) 一种使用路侧激光雷达数据提取车辆轨迹的变道识别与预测方法、***、设备及存储介质
CN111461048B (zh) 基于视觉的停车场可行驶区域检测与局部地图构建方法
CN112597839B (zh) 基于车载毫米波雷达的道路边界检测方法
CN102201054A (zh) 一种基于鲁棒统计的行道线检测方法
CN112674646B (zh) 基于多算法融合的自适应贴边作业方法及机器人
CN114898296A (zh) 基于毫米波雷达与视觉融合的公交车道占用检测方法
CN112101316B (zh) 一种目标检测方法及***
CN112666573B (zh) 一种矿区卸载区车后方挡土墙及障碍物的检测方法
CN114475573B (zh) 基于v2x与视觉融合的起伏路况识别及车辆控制方法
CN114332647B (zh) 一种用于无人船的河道边界检测与跟踪方法及***
CN114415171A (zh) 一种基于4d毫米波雷达的汽车可行驶区域检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant