CN108458746A - 一种基于多类型传感器自适应融合方法 - Google Patents

一种基于多类型传感器自适应融合方法 Download PDF

Info

Publication number
CN108458746A
CN108458746A CN201711411205.9A CN201711411205A CN108458746A CN 108458746 A CN108458746 A CN 108458746A CN 201711411205 A CN201711411205 A CN 201711411205A CN 108458746 A CN108458746 A CN 108458746A
Authority
CN
China
Prior art keywords
information
road
sensor
self
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711411205.9A
Other languages
English (en)
Inventor
李纪先
张远清
李振
王成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Of Tianjin Ka Yip Medical Technology Development Co Ltd
Original Assignee
State Of Tianjin Ka Yip Medical Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Of Tianjin Ka Yip Medical Technology Development Co Ltd filed Critical State Of Tianjin Ka Yip Medical Technology Development Co Ltd
Priority to CN201711411205.9A priority Critical patent/CN108458746A/zh
Publication of CN108458746A publication Critical patent/CN108458746A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明创造提供了一种基于多类型传感器自适应融合方法，包括,自动驾驶车辆通过已装载的GPS接收机获得自车的初步定位；根据精确定位，从地图数据中检索道路信息，根据检索的道路信息，进行分析判断，控制对应传感器的开启，输出最终结果；本发明可以根据特定行驶场景，动态优化传感器配置，有效减小了自车计算资源，节约功耗。

Description

一种基于多类型传感器自适应融合方法
技术领域
本发明创造属于自动驾驶技术领域，尤其是涉及一种基于多类型传感器自适应融合的***。
背景技术
自动驾驶车辆在道路行驶时，需要有自己的“眼睛”来感知自车周围环境，这些眼睛就是各种不同类型的传感器，如激光雷达、毫米波雷达、摄像头等。自动驾驶汽车需要经过充分的道路测试才能上路行驶。当自动驾驶车辆行驶在不同的道路环境下，如结构化道路、非结构化道路、山区道路、沙漠道路等类型道路时，使用同样的环境感知模型，往往会占据大量计算资源，或者造成传感器资源过度冗余，此外检测距离短，误检率较高，且容易受光照变化影响大。
发明内容
有鉴于此，本发明创造旨在提出一种不限于环境的基于多类型传感器自适应融合方法，包括。
为达到上述目的，本发明创造的技术方案是这样实现的：
一种基于多类型传感器的自适应融合方法，包括如下步骤：
(1)自车通过已装载的GPS接收机获取初步定位信息；
(2)通过已装载的摄像头采集自车周围图像，并通过图像特征提取算法，祛除环境噪声信息，获取周围环境信息；
(3)通过已装载的惯导设备获取自车的姿态信息；
(4)步骤(1)所述的初步定位信息、步骤(2)所述的周围环境信息及步骤(3)所述的姿态信息通过PF粒子滤波融合算法，获取自车的精确定位信息；
(5)根据步骤(4)所述的精确定位信息，与地图数据库进行特征对比匹配，获取道路信息，根据道路信息及天气状况信息进行分析判断，控制对应传感器的开启；
(6)对应传感器对障碍物进行识别跟踪。
进一步，步骤(1)所述初步定位结果误差不大于10米。
进一步，步骤(2)所述的姿态信息包括自车位置信息、速度信息、加速度信息及角速度信息。
进一步，步骤(5)所述道路信息包括结构化道路和非结构化道路，所述的结构化道路为平整式路面、带有交通指示线，两侧无障碍物的规则道路；
所述的非结构化道路为粗糙式路面，无交通指示线，两侧有障碍物的物规则道路。
进一步，步骤(5)所述的传感器包括激光雷达、毫米波雷达和摄像头。
相对于现有技术，本发明创造所述的一种基于多类型传感器自适应融合方法具有以下优势：
(1)本发明可以根据特定行驶场景，动态优化传感器配置，有效减小了自车计算资源，节约功耗；
(2)本发明根据不同的行驶场景，传感器之间可以相互备份/检验，进行传感器完整性检验和状态检验，切换不同的感知模型，增强***鲁棒性。
附图说明
构成本发明创造的一部分的附图用来提供对本发明创造的进一步理解，本发明创造的示意性实施例及其说明用于解释本发明创造，并不构成对本发明创造的不当限定。在附图中：
图1为本发明创造实施例所述的结构示意图；
图2为本发明创造实施例所述的姿态修正示意图；
图3为本发明创造实施例所述的自动驾驶示意图；
图4为本发明创造实施例所述的自动驾驶运行示意图；
具体实施方式
需要说明的是，在不冲突的情况下，本发明创造中的实施例及实施例中的特征可以相互组合。
在本发明创造的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。
一种基于多类型传感器的自适应融合方法，包括如下步骤：
(1)自车通过已装载的GPS接收机获取初步定位信息；
(2)通过已装载的摄像头采集自车周围图像，并通过图像特征提取算法，祛除环境噪声信息，获取周围环境信息；
(3)通过已装载的惯导设备获取自车的姿态信息；
(4)步骤(1)所述的初步定位信息、步骤(2)所述的周围环境信息及步骤(3)所述的姿态信息通过PF粒子滤波融合算法，获取自车的精确定位信息；
(5)根据步骤(4)所述的精确定位信息，与地图数据库进行特征对比匹配，获取道路信息，根据道路信息及天气状况信息进行分析判断，控制对应传感器的开启；
(6)对应传感器对障碍物进行识别跟踪。
步骤(1)所述初步定位结果误差不大于10米。
步骤(2)所述的姿态信息包括自车位置信息、速度信息、加速度信息及角速度信息。
步骤(5)所述道路信息包括结构化道路和非结构化道路，所述的结构化道路为平整式路面、带有交通指示线，两侧无障碍物的规则道路；
所述的非结构化道路为粗糙式路面，无交通指示线，两侧有障碍物的物规则道路；所述的传感器包括激光雷达、毫米波雷达和摄像头。
本发明所述的自融合方法逻辑过程：
如图1所示，自动驾驶车辆通过已装载传感设备进行自车精确定位：
自动驾驶车辆通过自车已装载的GPS接收机获得自车在全球的初步定位，此定位约为10m级误差。根据已装载的摄像头获取自车周围环境信息，并通过特性提取算法，祛除环境噪声信息，获取自车周围主要信息，所述的惯导设备可以直接获取自车的姿态信息，但由于其存在累计误差，通过粒子滤波融合算法，不断修正惯导提供的姿态信息，从而得到相对准确的自车位置、速度、加速度、角速度等信息，如图3所示。与自车地图数据进行特征对比，从而得到自动驾驶车辆的精确定位，以及自车周围的车道线信息。具体的PF粒子滤波融合计算方法如下
对于任意概率分布p(xk)可采用离散粒子集进行蒙特卡洛近似：
其中，Nk分别表示为k时刻粒子的状态、权重，以及粒子的总个数，δ(·)表示为狄拉克delta函数。
假设有N个全局采样粒子，对于每一个粒子的状态可以表述为：
此处表征粒子的状态集为，自车的位置、速度、加速度、角速度等。
而对应每个粒子的权重为：
其中yk为k时刻的观测值，即为各类型传感器的观测值。
粒子滤波模型的状态转移方程为：
权重归一化处理。
然后，根据特征地图信息和当前状况，自适应融合传感器数据：
所述的道路信息，包括但不限于车道线数量、车道线宽度、虚实线信息、是否有指示牌、停止线、限高/重标志、信号灯、限速标志、当前道路类型信息(包括但不限于结构化道路、非结构化道路、城市道路、山区公路)等。
具体如下包括(1)结构化道路：指路面干净整洁，车道线、停止线清晰，道路两侧整齐规则；(2)非结构化道路：指路面粗糙模糊，车道线、停止线基本辨认不清，道路两侧有临时停靠水果摊等不规则物体。
当前状况信息包括交通繁忙情况、天气信息(如晴雨雪雾)等，具体情况如下表：
根据自车精确定位结果及当前道路状况，将当前自车行驶状态判定为简单、一般、复杂三种情况，根据自车行驶状态和可用的传感器类型，对应开启或关闭各种传感器，包括如下情况：
1)如果在结构化道路，且路况通畅，光线充足，可开启全摄像头感知模式。
2)如果在结构化道路，但道路拥塞，开启摄像头和激光雷达。
3)如果在结构化道路，且路况通畅，但光线变化快(如进出隧道)或光线昏暗，可开启激光雷达、毫米波雷达感知模式。
4)如果在非结构化道路，但道路通畅，在光线充足时，开启摄像头模式，或部分激光雷达。
此后，上述开启的激光雷达通过激光点云聚类，将距离上相近的点聚集在一起，当点云距离符合某种规则高斯分布时，则认为其为跟踪障碍物，摄像头捕捉自车周围数据，经特征提取，获得自车周围障碍物信息。将两种信息按粒子滤波模型进行融合关联，生成动态障碍物跟踪列表，使用扩展卡尔曼滤波模型对障碍物的位置、速度、朝向、角速度等信息进行动态跟踪。
卡尔曼滤波，假设在每个时间的后验概率都是高斯分布(卡尔曼滤波的前提)，现行***的离散模型为：xk＝Fkxk-1+wk-1
zk＝Hkxk+vk
其中，Fk与Hk是已知***矩阵和测量矩阵，wk-1和vk分别为均值为0，方差为Qk-1和Rk并相互独立的过程噪声和测量噪声。卡尔曼滤波是典型的最小方差估计方法。本发明方案中，xk表示为跟踪障碍物的位置、速度、加速度、角速度等信息。zk表示为在k时刻，各类型传感器的测量值。
卡尔曼滤波时间更新方程为：
测量更新方程为：
Pk+1|k+1＝(I-Kk+1Hk+1)Pk+1|k
其中，K为卡尔曼滤波的增益矩阵。
本发明所述的自动驾驶车辆工作工程：
车辆启动后，检测所有设备(包括但不限于传感设备)是否处于正常工作状态，如果均不处于正常状态，即进入重新检测。如果重新检测三次，检测结果均为异常，则将结果报告给用户。如果检测结果为部分可能，则判断是否满足最小感知功能，如果不满足，则将结果报告给用户,用户可进入手动驾驶模式。
如前述状态均为正常，则自动驾驶汽车进入环境感知阶段，并根据特征地图所述信息，和路况信息，自适应配置感知模式。
在车辆行驶过程中，需间隔检测装载传感器工作状态是否正常，是否有磕碰、歪斜甚至损坏。根据传感器最新状态重复前述过程。
以上所述仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明创造的保护范围之内。

Claims (7)

1.一种基于多类型传感器的自适应融合方法，其特征在于：包括如下步骤：
(1)自车通过已装载的GPS接收机获取初步定位信息；
(2)通过已装载的摄像头采集自车周围图像，并通过图像特征提取算法，祛除环境噪声信息，获取周围环境信息；
(3)通过已装载的惯导设备获取自车的姿态信息；
(4)步骤(1)所述的初步定位信息、步骤(2)所述的周围环境信息及步骤(3)所述的姿态信息通过PF粒子滤波融合算法，获取自车的精确定位信息；
(5)根据步骤(4)所述的精确定位信息，与地图数据库进行特征对比匹配，获取道路信息，根据道路信息及天气状况信息进行分析判断，控制对应传感器的开启；
(6)对应传感器对障碍物进行识别跟踪。
2.根据权利要求1所述的一种基于多类型传感器自适应融合方法，其特征在于：步骤(1)所述初步定位结果误差不大于10米。
3.根据权利要求1所述的一种基于多类型传感器自适应融合方法，其特征在于：步骤(2)所述的姿态信息包括自车位置信息、速度信息、加速度信息及角速度信息。
4.根据权利要求1所述的一种基于多类型传感器自适应融合方法，其特征在于：步骤(5)所述道路信息包括结构化道路和非结构化道路，所述的结构化道路为平整式路面、带有交通指示线，两侧无障碍物的规则道路；
所述的非结构化道路为粗糙式路面，无交通指示线，两侧有障碍物的物规则道路。
5.根据权利要求1所述的一种基于多类型传感器自适应融合方法，其特征在于：步骤(5)所述的传感器包括激光雷达、毫米波雷达和摄像头。
6.根据权利要求1所述的一种基于多类型传感器自适应融合方法，其特征在于：所述的激光雷达包括单线激光雷达、多线激光雷达和三维全向激光雷达。
7.根据权利要求1所述的一种基于多类型传感器自适应融合方法，其特征在于：所述的毫米波激光雷达用于监测短距离驾驶盲点。
CN201711411205.9A 2017-12-23 2017-12-23 一种基于多类型传感器自适应融合方法 Pending CN108458746A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711411205.9A CN108458746A (zh) 2017-12-23 2017-12-23 一种基于多类型传感器自适应融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711411205.9A CN108458746A (zh) 2017-12-23 2017-12-23 一种基于多类型传感器自适应融合方法

Publications (1)

Publication Number Publication Date
CN108458746A true CN108458746A (zh) 2018-08-28

Family

ID=63220729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711411205.9A Pending CN108458746A (zh) 2017-12-23 2017-12-23 一种基于多类型传感器自适应融合方法

Country Status (1)

Country Link
CN (1) CN108458746A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN110969059A (zh) * 2018-09-30 2020-04-07 长城汽车股份有限公司 车道线识别方法及***
CN110969178A (zh) * 2018-09-30 2020-04-07 长城汽车股份有限公司 自动驾驶车辆的数据融合***、方法及自动驾驶***
CN111077556A (zh) * 2020-01-02 2020-04-28 东南大学 融合北斗与多传感器的机场行李牵引车定位装置与方法
CN111192295A (zh) * 2020-04-14 2020-05-22 中智行科技有限公司 目标检测与跟踪方法、相关设备和计算机可读存储介质
CN111966108A (zh) * 2020-09-02 2020-11-20 成都信息工程大学 基于导航***的极端天气无人驾驶控制***
CN112650212A (zh) * 2019-10-11 2021-04-13 丰田自动车株式会社 远程自动驾驶车辆及车辆远程指示***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140032167A1 (en) * 2011-04-01 2014-01-30 Physical Sciences, Inc. Multisensor Management and Data Fusion via Parallelized Multivariate Filters
CN104573733A (zh) * 2014-12-26 2015-04-29 上海交通大学 一种基于高清正射影像图的高精细地图生成***及方法
CN105109484A (zh) * 2015-08-21 2015-12-02 奇瑞汽车股份有限公司 目标障碍物体确定方法及装置
CN205940608U (zh) * 2016-04-29 2017-02-08 沈阳承泰科技有限公司 一种多传感器融合的汽车雷达***
CN106441319A (zh) * 2016-09-23 2017-02-22 中国科学院合肥物质科学研究院 一种无人驾驶车辆车道级导航地图的生成***及方法
CN106840242A (zh) * 2017-01-23 2017-06-13 驭势科技（北京）有限公司 一种智能驾驶汽车的传感器自检***及多传感融合***
CN107328410A (zh) * 2017-06-30 2017-11-07 百度在线网络技术（北京）有限公司 用于定位自动驾驶车辆的方法和汽车电脑
CN107422730A (zh) * 2017-06-09 2017-12-01 武汉市众向科技有限公司 基于视觉导引的agv运输***及其驾驶控制方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140032167A1 (en) * 2011-04-01 2014-01-30 Physical Sciences, Inc. Multisensor Management and Data Fusion via Parallelized Multivariate Filters
CN104573733A (zh) * 2014-12-26 2015-04-29 上海交通大学 一种基于高清正射影像图的高精细地图生成***及方法
CN105109484A (zh) * 2015-08-21 2015-12-02 奇瑞汽车股份有限公司 目标障碍物体确定方法及装置
CN205940608U (zh) * 2016-04-29 2017-02-08 沈阳承泰科技有限公司 一种多传感器融合的汽车雷达***
CN106441319A (zh) * 2016-09-23 2017-02-22 中国科学院合肥物质科学研究院 一种无人驾驶车辆车道级导航地图的生成***及方法
CN106840242A (zh) * 2017-01-23 2017-06-13 驭势科技（北京）有限公司 一种智能驾驶汽车的传感器自检***及多传感融合***
CN107422730A (zh) * 2017-06-09 2017-12-01 武汉市众向科技有限公司 基于视觉导引的agv运输***及其驾驶控制方法
CN107328410A (zh) * 2017-06-30 2017-11-07 百度在线网络技术（北京）有限公司 用于定位自动驾驶车辆的方法和汽车电脑

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
安吉尧等: "用于车辆自主导航的多传感器数据融合方法", 《汽车工程》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969059A (zh) * 2018-09-30 2020-04-07 长城汽车股份有限公司 车道线识别方法及***
CN110969178A (zh) * 2018-09-30 2020-04-07 长城汽车股份有限公司 自动驾驶车辆的数据融合***、方法及自动驾驶***
CN110969178B (zh) * 2018-09-30 2023-09-12 毫末智行科技有限公司 自动驾驶车辆的数据融合***、方法及自动驾驶***
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN110532896B (zh) * 2019-08-06 2022-04-08 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN112650212A (zh) * 2019-10-11 2021-04-13 丰田自动车株式会社 远程自动驾驶车辆及车辆远程指示***
CN111077556A (zh) * 2020-01-02 2020-04-28 东南大学 融合北斗与多传感器的机场行李牵引车定位装置与方法
CN111192295A (zh) * 2020-04-14 2020-05-22 中智行科技有限公司 目标检测与跟踪方法、相关设备和计算机可读存储介质
CN111192295B (zh) * 2020-04-14 2020-07-03 中智行科技有限公司 目标检测与跟踪方法、设备和计算机可读存储介质
CN111966108A (zh) * 2020-09-02 2020-11-20 成都信息工程大学 基于导航***的极端天气无人驾驶控制***

Similar Documents

Publication Publication Date Title
CN108458746A (zh) 一种基于多类型传感器自适应融合方法
US11982540B2 (en) Infrastructure mapping and layered output
US11685360B2 (en) Planning for unknown objects by an autonomous vehicle
US11400925B2 (en) Planning for unknown objects by an autonomous vehicle
US11874119B2 (en) Traffic boundary mapping
US10234864B2 (en) Planning for unknown objects by an autonomous vehicle
CN109641589B (zh) 用于自主车辆的路线规划
US9037403B2 (en) Intensity map-based localization with adaptive thresholding
US20150307107A1 (en) Driver performance determination based on geolocation
CN106462727A (zh) 用于车道尽头识别的***和方法
CN105620489A (zh) 驾驶辅助***及车辆实时预警提醒方法
US11734880B2 (en) Sensor calibration with environment map
EP3806062A1 (en) Detection device and detection system
JP2023106536A (ja) 画像分析に基づく車両ナビゲーションのためのシステム
CN108458745A (zh) 一种基于智能检测设备的环境感知方法
CN116783455A (zh) 用于检测打开的门的***和方法
CN110307841A (zh) 一种基于信息量测不完全的车辆运动参数估计方法
CN109241855A (zh) 基于立体视觉的智能车辆可行驶区域探测方法
WO2018165199A1 (en) Planning for unknown objects by an autonomous vehicle
CN114426030A (zh) 一种行人穿行意图估计方法、装置、设备和汽车
CN117198078A (zh) 一种信号灯调控方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180828