CN104290730A - 一种应用于高级紧急制动***的雷达与视频信息融合方法 - Google Patents

一种应用于高级紧急制动***的雷达与视频信息融合方法 Download PDF

Info

Publication number
CN104290730A
CN104290730A CN201410279150.0A CN201410279150A CN104290730A CN 104290730 A CN104290730 A CN 104290730A CN 201410279150 A CN201410279150 A CN 201410279150A CN 104290730 A CN104290730 A CN 104290730A
Authority
CN
China
Prior art keywords
radar
target
confidence level
brake system
video information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410279150.0A
Other languages
English (en)
Other versions
CN104290730B (zh
Inventor
李珺
汤望
李会仙
路晓静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yutong Bus Co Ltd
Original Assignee
Zhengzhou Yutong Bus Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yutong Bus Co Ltd filed Critical Zhengzhou Yutong Bus Co Ltd
Priority to CN201410279150.0A priority Critical patent/CN104290730B/zh
Publication of CN104290730A publication Critical patent/CN104290730A/zh
Application granted granted Critical
Publication of CN104290730B publication Critical patent/CN104290730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T17/00—Component parts, details, or accessories of power brake systems not covered by groups B60T8/00, B60T13/00 or B60T15/00, or presenting other characteristic features
    • B60T17/18—Safety devices; Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种应用于高级紧急制动***的雷达与视频信息融合方法，采用置信度评估与匹配相结合的方式，确定真正的障碍目标，使用置信度评估，使得雷达和视频得到的目标能够得到科学、有效的筛选；加入匹配环节，进一步确认了目标的准确性；对于无法匹配但却在取信值以上的目标，仍然进行预警，保留了这些目标的合理性；有效降低了误报警；较之现有的融合方法，完备、科学、有效地保留了雷达和视频检测到的信号的合理性，并对可信度不同的信号采取了不同的措施，使高级紧急制动***的性能得到重要的改善。本方法对雷达和视频信息的合理性都进行了有效的保留，从而实现了雷达与视频信息的真正互补。

Description

一种应用于高级紧急制动***的雷达与视频信息融合方法
技术领域
本发明涉及一种应用于高级紧急制动***的雷达与视频信息融合方法。
背景技术
当前，在车载高级紧急制动***中，通常单独或合并使用雷达及视频作为主要的探测传感器，帮助***实现后续的报警、制动、乃至于避让等动作。
雷达的检测具有极少漏检，探测目标物体数据准确度高，尤其善于获取目标物体速度信息的优点，但它不能分辨目标物体种类。如果单独使用，因为其不能分辨目标物体的种类，常常造成很多不必要的报警或者制动。
视频的检测能够分辨目标物体，使得***可以根据不同类型的目标采取相应的动作。但是视频检测对天气，光照，距离等条件要求较为严格，在条件不好的情况下，会有漏检出现。如果单独使用，则***的能力会受到很大的限制。
所以，同时使用雷达和视频信息，使其实现有效互补，对于车载高级紧急制动***的性能有重要的改进作用。从而，如何合并使用雷达和视频的信息，也即实现雷达与视频的信息融合就成为一个重要的技术环节。
现有的融合方法主要是使用视频进行二次扫描。即，使用视频对雷达盲区和雷达探测到目标的区域进行扫描，继而根据视频二次扫描的结果进行后续的高级紧急制动***的一系列相关动作。这种方法的弊端在于对视频过于依赖，只能弥补雷达不能分辨障碍物的缺点，不能弥补视频容易漏检的缺点，没有能够实现雷达与视频信息的优势互补。
发明内容
本发明的目的是提供一种应用于高级紧急制动***的雷达与视频信息融合方法，实现雷达与视频信息的真正互补。
为了实现以上目的，本发明所采用的技术方案是：一种应用于高级紧急制动***的雷达与视频信息融合方法，包括如下步骤：
(1)分别由雷达和视频对前方进行检测，获取前方各自对应探测范围内的目标及其相关特征数据；
(2)分别设置针对雷达信号和视频信号的置信度函数，并对各自所探测到的目标进行置信度评估；
(3)根据评估结果对不可信的目标进行过滤：设置取信值，不论雷达或是视频信号，保留置信度估值在取信值之上的目标，否则进行舍弃，不予采纳；
(4)对保留的雷达和视频目标进行匹配；
(5)根据匹配结果，对能够成功匹配的目标，确定其为真实的障碍目标，将该目标及其特征数据按照设定方式进行处理；对不能成功匹配的目标，认为不能确定其为真实障碍，但不能完全排除这种可能性，也按照相对应的设定方式进行处理。
所述步骤(2)中对雷达探测到的目标进行置信度评估的依据包括目标与雷达的相对方位关系，相对速度，相对距离，目标是否静止，以及雷达所接收到的反射波的角度；置信度函数用上述各项为参数，对各雷达目标的置信度进行量化评估，得到其对应的置信度估值。
所述步骤(2)中对视频探测到的目标进行评估的依据包括检测信号的连续性，持续时间；置信度函数用上述各项为参数，对各视频目标的置信度进行量化评估，得到其对应的置信度估值。
对保留的雷达和视频目标进行匹配的过程如下：设定一个关联度评估函数，以每个目标的距离，方位，相对速度三个信息作为参数，计算雷达目标与视频目标两两之间的关联度值，当关联度值大于设定的阈值时，即认为这两个目标是匹配的。
对能够成功匹配的目标，根据其特征数据计算其危险程度，进而进行预警、制动动作。
对不能成功匹配的目标，根据其特征数据计算其危险程度，但只进行预警，不进行制动。
本发明应用于高级紧急制动***的雷达与视频信息融合方法采用置信度评估与匹配相结合的方式，确定真正的障碍目标，较之现有的融合方法，本方法对雷达和视频信息的合理性都进行了有效的保留，从而实现了雷达与视频信息的真正互补，该方法的特点和优势如下：
1)使用置信度评估，使得雷达和视频得到的目标能够得到科学、有效的筛选。
2)加入匹配环节，进一步确认了目标的准确性。为了保证不会进行误制动等有一定危险性的动作，制动操作所依据的目标必须绝对准确，而通过置信度评估和匹配环节的两次过滤，确保了这些目标的准确性，消除了误制动的可能。
3)对于无法匹配但却在取信值以上的目标，仍然进行预警，保留了这些目标的合理性。虽然消除误制动非常重要，但是如果由于严格的过滤而漏掉了某些目标，同样存在危害。为了弥补这种危害，对这些无法匹配的目标仍然进行报警，有效保障了安全。
4)由于已经在置信度评估环节进行了科学筛选，本方法同样有效降低了误报警。降低误报警对于司机的精力集中，车内乘员的乘坐舒适性，以及对于保证真正重要的报警的效果，都有重要意义。
5)通过该方法完备、科学、有效地保留了雷达和视频检测到的信号的合理性，并对可信度不同的信号采取了不同的措施，使高级紧急制动***的性能得到重要的改善。
附图说明
图1为本发明信息融合方法的流程图；
图2为本发明的主程序流程图。
具体实施方式
下面结合附图及具体的实施例对本发明进行进一步介绍。
如图1～图2所示，本发明提供了一种应用于高级紧急制动***的雷达与视频信息融合方法，包括如下步骤：
(1)分别由雷达和视频对前方进行检测，获取前方各自对应探测范围内的目标及其相关特征数据，诸如距离，方位，速度等，每个目标及其特征数据都被传递至下一环节。
(2)分别设置针对雷达信号和视频信号的置信度函数，并对各自所探测到的目标进行置信度评估。
对雷达探测到的目标进行置信度评估的依据包括目标与雷达的相对方位关系，相对速度，相对距离，目标是否静止，以及雷达所接收到的反射波的角度；置信度函数用上述各项为参数，对各雷达目标的置信度进行量化评估，得到其对应的置信度估值；对视频探测到的目标进行评估的依据包括检测信号的连续性，持续时间；置信度函数用上述各项为参数，对各视频目标的置信度进行量化评估，得到其对应的置信度估值。
(3)根据评估结果对不可信的目标进行过滤：设置取信值，不论雷达或是视频信号，只有置信度估值在取信值之上的目标，才予以采纳，否则进行舍弃，不予采纳。保留的所有目标(包括雷达和视频)将与其特征数据一起，被传递至下一环节。
(4)对保留的雷达和和视频目标进行匹配；对保留的雷达和视频目标进行匹配的过程如下：设定一个关联度评估函数，以每个目标的距离，方位，相对速度三个信息作为参数，计算雷达目标与视频目标两两之间的关联度值，当关联度值大于设定的阈值时，即认为这两个目标是匹配的。
(5)根据匹配结果，对能够成功匹配的目标，确定其为真实的障碍目标，将该目标及其特征数据按照设定方式进行处理；对不能成功匹配的目标，认为不能确定其为真实障碍，但不能完全排除这种可能性，也按照相对应的设定方式进行处理。
本实施例对能够成功匹配的目标，根据其特征数据计算其危险程度，进而进行预警、制动动作；对不能成功匹配的目标，根据其特征数据计算其危险程度，但只进行预警，不进行制动。
另外，本发明中对雷达和视频信号的采集、处理采取并行处理的方式，而整个方法的流程则采用串行处理的方式进行。
以上实施例仅用于帮助理解本发明的核心思想，不能以此限制本发明，对于本领域的技术人员，凡是依据本发明的思想，对本发明进行修改或者等同替换，在具体实施方式及应用范围上所做的任何改动，均应包含在本发明的保护范围之内。

Claims (6)

1.一种应用于高级紧急制动***的雷达与视频信息融合方法，其特征在于，包括如下步骤：
(1)分别由雷达和视频对前方进行检测，获取前方各自对应探测范围内的目标及其相关特征数据；
(2)分别设置针对雷达信号和视频信号的置信度函数，并对各自所探测到的目标进行置信度评估；
(3)根据评估结果对不可信的目标进行过滤：设置取信值，不论雷达或是视频信号，保留置信度估值在取信值之上的目标，否则进行舍弃，不予采纳；
(4)对保留的雷达和视频目标进行匹配；
(5)根据匹配结果，对能够成功匹配的目标，确定其为真实的障碍目标，将该目标及其特征数据按照设定方式进行处理；对不能成功匹配的目标，认为不能确定其为真实障碍，但不能完全排除这种可能性，也按照相对应的设定方式进行处理。
2.根据权利要求1所述的应用于高级紧急制动***的雷达与视频信息融合方法，其特征在于：所述步骤(2)中对雷达探测到的目标进行置信度评估的依据包括目标与雷达的相对方位关系，相对速度，相对距离，目标是否静止，以及雷达所接收到的反射波的角度；置信度函数用上述各项为参数，对各雷达目标的置信度进行量化评估，得到其对应的置信度估值。
3.根据权利要求1所述的应用于高级紧急制动***的雷达与视频信息融合方法，其特征在于：所述步骤(2)中对视频探测到的目标进行评估的依据包括检测信号的连续性，持续时间；置信度函数用上述各项为参数，对各视频目标的置信度进行量化评估，得到其对应的置信度估值。
4.根据权利要求1所述的应用于高级紧急制动***的雷达与视频信息融合方法，其特征在于：对保留的雷达和视频目标进行匹配的过程如下：设定一个关联度评估函数，以每个目标的距离，方位，相对速度三个信息作为参数，计算雷达目标与视频目标两两之间的关联度值，当关联度值大于设定的阈值时，即认为这两个目标是匹配的。
5.根据权利要求1所述的应用于高级紧急制动***的雷达与视频信息融合方法，其特征在于：对能够成功匹配的目标，根据其特征数据计算其危险程度，进而进行预警、制动动作。
6.根据权利要求1所述的应用于高级紧急制动***的雷达与视频信息融合方法，其特征在于：对不能成功匹配的目标，根据其特征数据计算其危险程度，但只进行预警，不进行制动。
CN201410279150.0A 2014-06-20 2014-06-20 一种应用于高级紧急制动***的雷达与视频信息融合方法 Active CN104290730B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410279150.0A CN104290730B (zh) 2014-06-20 2014-06-20 一种应用于高级紧急制动***的雷达与视频信息融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410279150.0A CN104290730B (zh) 2014-06-20 2014-06-20 一种应用于高级紧急制动***的雷达与视频信息融合方法

Publications (2)

Publication Number Publication Date
CN104290730A true CN104290730A (zh) 2015-01-21
CN104290730B CN104290730B (zh) 2017-08-04

Family

ID=52310758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410279150.0A Active CN104290730B (zh) 2014-06-20 2014-06-20 一种应用于高级紧急制动***的雷达与视频信息融合方法

Country Status (1)

Country Link
CN (1) CN104290730B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160367168A1 (en) 2015-06-19 2016-12-22 St. Jude Medical, Cardiology Division, Inc. Electromagnetic dynamic registration for device navigation
CN107750148A (zh) * 2015-06-19 2018-03-02 圣犹达医疗用品心脏病学部门有限公司 阻抗位移及漂移检测和校正
CN108027615A (zh) * 2015-09-11 2018-05-11 罗伯特·博世有限公司 用于运行车辆的方法和设备
CN109697426A (zh) * 2018-12-24 2019-04-30 北京天睿空间科技股份有限公司 基于多检测器融合的航班停机泊位检测方法
CN110562221A (zh) * 2019-09-30 2019-12-13 恒大新能源汽车科技(广东)有限公司 一种汽车及其制动控制方法、装置及***
CN110962819A (zh) * 2018-09-28 2020-04-07 广州汽车集团股份有限公司 行车方向安全预警方法及装置、行车控制器
CN111060911A (zh) * 2018-10-16 2020-04-24 天津所托瑞安汽车科技有限公司 一种基于场景分析的车辆防碰撞识别方法
CN112489338A (zh) * 2019-09-11 2021-03-12 杭州海康威视数字技术股份有限公司 一种报警方法、***、装置、设备及存储介质
US11918334B2 (en) 2018-11-07 2024-03-05 St Jude Medical International Holding, Sa.R.L. Impedance transformation model for estimating catheter locations

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6347840B1 (en) * 2001-02-15 2002-02-19 New York Air Brake Corporation ECP commanded emergencies via a conventional EAB brake controller
CN102390370A (zh) * 2011-10-25 2012-03-28 河海大学 一种基于立体视觉的车辆行驶应急处理装置及方法
CN102859568A (zh) * 2010-04-12 2013-01-02 罗伯特·博世有限公司 基于影像的智能机动车控制***
CN103139595A (zh) * 2011-11-30 2013-06-05 通用汽车环球科技运作有限责任公司 基于车辆的成像***的功能诊断和验证
CN103359112A (zh) * 2012-03-29 2013-10-23 富士重工业株式会社 车辆的驾驶辅助装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6347840B1 (en) * 2001-02-15 2002-02-19 New York Air Brake Corporation ECP commanded emergencies via a conventional EAB brake controller
CN102859568A (zh) * 2010-04-12 2013-01-02 罗伯特·博世有限公司 基于影像的智能机动车控制***
CN102390370A (zh) * 2011-10-25 2012-03-28 河海大学 一种基于立体视觉的车辆行驶应急处理装置及方法
CN103139595A (zh) * 2011-11-30 2013-06-05 通用汽车环球科技运作有限责任公司 基于车辆的成像***的功能诊断和验证
CN103359112A (zh) * 2012-03-29 2013-10-23 富士重工业株式会社 车辆的驾驶辅助装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107750148A (zh) * 2015-06-19 2018-03-02 圣犹达医疗用品心脏病学部门有限公司 阻抗位移及漂移检测和校正
US11944389B2 (en) 2015-06-19 2024-04-02 St. Jude Medical, Cardiology Division, Inc. Impedance shift and drift detection and correction
US20160367168A1 (en) 2015-06-19 2016-12-22 St. Jude Medical, Cardiology Division, Inc. Electromagnetic dynamic registration for device navigation
CN107750148B (zh) * 2015-06-19 2021-01-01 圣犹达医疗用品心脏病学部门有限公司 阻抗位移及漂移检测和校正
US11712171B2 (en) 2015-06-19 2023-08-01 St. Jude Medical, Cardiology Division, Inc. Electromagnetic dynamic registration for device navigation
CN108027615B (zh) * 2015-09-11 2021-08-10 罗伯特·博世有限公司 用于运行车辆的方法和设备
CN108027615A (zh) * 2015-09-11 2018-05-11 罗伯特·博世有限公司 用于运行车辆的方法和设备
CN110962819A (zh) * 2018-09-28 2020-04-07 广州汽车集团股份有限公司 行车方向安全预警方法及装置、行车控制器
CN110962819B (zh) * 2018-09-28 2020-12-11 广州汽车集团股份有限公司 行车方向安全预警方法及装置、行车控制器
CN111060911A (zh) * 2018-10-16 2020-04-24 天津所托瑞安汽车科技有限公司 一种基于场景分析的车辆防碰撞识别方法
US11918334B2 (en) 2018-11-07 2024-03-05 St Jude Medical International Holding, Sa.R.L. Impedance transformation model for estimating catheter locations
CN109697426B (zh) * 2018-12-24 2019-10-18 北京天睿空间科技股份有限公司 基于多检测器融合的航班停机泊位检测方法
CN109697426A (zh) * 2018-12-24 2019-04-30 北京天睿空间科技股份有限公司 基于多检测器融合的航班停机泊位检测方法
CN112489338B (zh) * 2019-09-11 2023-03-14 杭州海康威视数字技术股份有限公司 一种报警方法、***、装置、设备及存储介质
CN112489338A (zh) * 2019-09-11 2021-03-12 杭州海康威视数字技术股份有限公司 一种报警方法、***、装置、设备及存储介质
CN110562221A (zh) * 2019-09-30 2019-12-13 恒大新能源汽车科技(广东)有限公司 一种汽车及其制动控制方法、装置及***

Also Published As

Publication number Publication date
CN104290730B (zh) 2017-08-04

Similar Documents

Publication Publication Date Title
CN104290730A (zh) 一种应用于高级紧急制动***的雷达与视频信息融合方法
US10481255B2 (en) Trailer dimension estimation with two dimensional radar and camera
US10054672B2 (en) Apparatus and method for detecting and correcting for blockage of an automotive radar sensor
CN106101590B (zh) 雷达视频复合数据探测与处理***及探测与处理方法
CN105128836B (zh) 自主紧急制动***及其中识别行人的方法
US9429650B2 (en) Fusion of obstacle detection using radar and camera
EP3792660B1 (en) Method, apparatus and system for measuring distance
US20180068566A1 (en) Trailer lane departure warning and sway alert
CN104237881B (zh) Fmcw防碰撞雷达多目标检测与跟踪***及方法
EP3940417A1 (en) Vehicle radar system with trailer detection
US10393862B2 (en) Trailer estimation with elevation enhanced sensing
KR20200067629A (ko) 레이더 데이터를 처리하는 장치 및 방법
US9812008B2 (en) Vehicle detection and tracking based on wheels using radar and vision
CN107272001B (zh) 视线外障碍物检测和定位
CN109597065B (zh) 一种用于穿墙雷达检测的虚警抑制方法、装置
US9261585B2 (en) Radar apparatus using image change detector and method of operating the same
CN109541601A (zh) 基于毫米波的障碍物识别***及其检测方法
JP2003217099A (ja) 車載型周辺監視装置
Bagi et al. Sensing structure for blind spot detection system in vehicles
JP5436652B1 (ja) 車両の周辺監視装置及び車両の周辺監視方法
CN112835029A (zh) 面向无人驾驶的多传感器障碍物探测数据融合方法及***
EP4083911A1 (en) Information processing device, sensing device, moving body, information processing method, and information processing system
CN114332453A (zh) 一种适用于自动紧急制动***的前方车辆检测方法
KR102068287B1 (ko) 브로드밴드 레이더를 이용한 해적선 탐지 시스템 및 그 방법
KR102216134B1 (ko) Cfar 검파방법 및 이를 적용한 레이더 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 450061 Yudao Road, Guancheng District, Zhengzhou City, Henan Province

Patentee after: Yutong Bus Co.,Ltd.

Address before: 450016 Yutong Industrial Zone, eighteen Li River, Henan, Zhengzhou

Patentee before: ZHENGZHOU YUTONG BUS Co.,Ltd.

CP03 Change of name, title or address