CN111695504A - 一种融合型自动驾驶目标检测方法 - Google Patents

一种融合型自动驾驶目标检测方法 Download PDF

Info

Publication number
CN111695504A
CN111695504A CN202010530728.0A CN202010530728A CN111695504A CN 111695504 A CN111695504 A CN 111695504A CN 202010530728 A CN202010530728 A CN 202010530728A CN 111695504 A CN111695504 A CN 111695504A
Authority
CN
China
Prior art keywords
detector
self
automatic driving
learning
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010530728.0A
Other languages
English (en)
Inventor
高锋
王彩梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202010530728.0A priority Critical patent/CN111695504A/zh
Publication of CN111695504A publication Critical patent/CN111695504A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种融合型自动驾驶目标检测方法，属于自动驾驶技术领域。考虑已知特征和自学习特征的特点，建立了基于切换逻辑的融合型自动驾驶目标检测模型；根据所提切换逻辑的特点，将已知特征检测器设计成二分类检测器，通过已知特征检测器筛选数据集，只把被已知检测器判断为正的样本作为训练集训练自学习特征检测器。本发明提出的一种融合型自动驾驶目标检测方法，结合了目标已知特征和自提取特征的优点，能够弥补已知特征检测器和自学习特征检测器的不足，能在不牺牲检测性能的情况下简化自学习特征检测器结构，降低检测器的构建成本，又能提高检测器的扩展能力。

Description

一种融合型自动驾驶目标检测方法
技术领域
本发明属于自动驾驶技术领域，涉及一种融合型自动驾驶目标检测方法。
背景技术
目标检测在人类驾驶和自动驾驶中都起着重要的作用，目标检测***的目的是为驾驶员或自动驾驶***提供及时、准确的环境信息，以减少交通事故的发生，挽救生命。
使用目标的已知特征：颜色、形状、面积和方向梯度等来检测目标具有明确的物理意义，但是在使用某单一特征来检测目标时，其检测结果容易受到其它与目标具有相似特征的目标的干扰。使用多特征结合的结果来检测目标时，其检测性能虽然可以提高，但是特征的选择及其参数值的全面性和正确性受到工程师经验的极大限制。
自学习特征检测器在数据集的基础上可以自动提取更全面的目标的微观特征，并能够有效减小其它相似目标的干扰。但是，由于其不可解释性，使得自学习特征检测器的网络对于用户来说是一个黑匣子，导致它的检测性能在很大程度上取决于学习网络所用的数据集。而且学习到的特征可能是所有正样本共有的特征而不是所要检测的目标特有的特征，这就会导致网络应用于数据集之外的条件时，其检测性能变差。如何直接修改网络参数以适用新的应用条件还不清楚，重新学习一个新的网络又很难满足汽车开发周期的要求。
发明内容
有鉴于此，本发明的目的在于提供一种融合型自动驾驶目标检测方法。该方法充分利用目标已知特征和自学习特征的优点，采用切换逻辑调度两种检测器。基于切换逻辑，完成已知特征检测器和自学习特征检测器的建立。
为达到上述目的，本发明提供如下技术方案：
一种融合型自动驾驶目标检测方法，该方法包括以下步骤：
S1：融合逻辑；
S2：已知特征二分类检测器；
S3：自学习特征检测器。
可选的，在所述S1中，融合逻辑采用切换逻辑来调度已知特征检测器和自学习特征检测器，切换规则为：
若已知特征检测器对某候选区域的检测结果为非目标，则直接判定该区域为非目标，否则，使用自学习特征检测器检测该区域；
若自学习特征检测器判定该区域为目标，则输出该目标的具体类别及其在图像上的坐标，否则，判定该区域为非目标。
可选的，在所述S2和S3中，训练自学习特征检测器所用的数据集要先经过已知特征二分类检测器进行筛选，被已知特征检测器判断为正的样本才作为训练集训练自学习特征检测器。
本发明的有益效果在于：本发明结合已知特征和自学习特征的优势，具有明确物理意义的已知特征能在可解释性和扩展性等方面成为自学习特征的有益补充，自学习特征检测器提取到的更全面的微观特征能够减小其它相似目标的干扰。采用切换逻辑调度已知特征检测器和自学习特征检测器，在模型构建阶段只需把已知特征检测器构建成二分类，且被已知特征检测器判断为正的样本才作为训练集训练自学习特征检测器，既能在不牺牲检测性能的基础上简化模型结构，降低构建成本，又能提高检测器的扩展能力。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为融合型自动驾驶目标检测方法整体框图；
图2为融合型交通信号灯检测流程图；
图3为交通信号灯候选区域图；
图4为提取样本HOG特征时各参数的选择情况。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
图1为融合型自动驾驶目标检测方法整体框图；
将本发明应用于交通信号灯检测，其流程图如图2所示，包括以下步骤：
读入待检测交通场景图：
读入的待检测交通场景图为摄像头采集的图像。
提取交通信号灯候选区域：
对LARA和LISA数据集中交通信号灯HSV颜色空间的各成分进行统计，根据统计结果，确定交通信号灯三种颜色各成分的数值范围为：H:0～150或225～255，S:75～255，V:45～255；将待检测图像的颜色空间由RGB转换到HSV；先利用交通信号灯三种颜色各成分的数值范围提取初步候选区域，然后利用交通信号灯的结构特点扩展候选区域，如图3所示。
已知特征检测器：
已知特征检测器利用交通信号灯的方向梯度直方图(Histograms ofOrientedGradients，HOG)来描述交通信号灯的形状特征。如图4所示为提取样本HOG特征时各参数的选择情况，最终从每个样本会提取到一个864维的HOG特征向量，并利用所提取的HOG特征训练一个二分类的支持向量机(Support Vector Machine，SVM)交通信号灯检测器，该检测器只判断是否为交通信号灯，不判断交通信号灯的具体状态。
自学习特征检测器：
自学习特征检测器采用卷积神经网络交通信号灯检测器。考虑交通信号灯尺寸建立卷积神经网络检测器的网络结构，如表1所示：
表1卷积神经网络检测器的网络结构
Figure BDA0002535110340000031
Figure BDA0002535110340000041
利用HOG+SVM检测器筛选LARA和LISA数据集；将HOG+SVM检测器判断为交通信号灯的样本作为训练集训练得到卷积神经网络交通信号灯检测器。
检测器融合逻辑：
融合逻辑采用切换逻辑来调度HOG+SVM交通信号灯检测器和卷积神经网络交通信号灯检测器，其切换规则如图2虚线框中所示：若HOG+SVM交通信号灯检测器对某候选区域的检测结果为非交通信号灯，则直接判定该区域不是交通信号灯，否则，使用卷积神经网络交通信号灯检测器检测该区域；若卷积神经网络交通信号灯检测器判定该区域为交通信号灯，则输出交通信号灯的颜色状态及其在图像上的坐标，否则，判定该区域不是交通信号灯。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种融合型自动驾驶目标检测方法，其特征在于：该方法包括以下步骤：
S1：融合逻辑；
S2：已知特征二分类检测器；
S3：自学习特征检测器。
2.根据权利要求1所述的一种融合型自动驾驶目标检测方法，其特征在于：在所述S1中，融合逻辑采用切换逻辑来调度已知特征检测器和自学习特征检测器，切换规则为：
若已知特征检测器对某候选区域的检测结果为非目标，则直接判定该区域为非目标，否则，使用自学习特征检测器检测该区域；
若自学习特征检测器判定该区域为目标，则输出该目标的具体类别及其在图像上的坐标，否则，判定该区域为非目标。
3.根据权利要求1所述的一种融合型自动驾驶目标检测方法，其特征在于：在所述S2和S3中，训练自学习特征检测器所用的数据集要先经过已知特征二分类检测器进行筛选，被已知特征检测器判断为正的样本才作为训练集训练自学习特征检测器。
CN202010530728.0A 2020-06-11 2020-06-11 一种融合型自动驾驶目标检测方法 Pending CN111695504A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010530728.0A CN111695504A (zh) 2020-06-11 2020-06-11 一种融合型自动驾驶目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010530728.0A CN111695504A (zh) 2020-06-11 2020-06-11 一种融合型自动驾驶目标检测方法

Publications (1)

Publication Number Publication Date
CN111695504A true CN111695504A (zh) 2020-09-22

Family

ID=72480469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010530728.0A Pending CN111695504A (zh) 2020-06-11 2020-06-11 一种融合型自动驾驶目标检测方法

Country Status (1)

Country Link
CN (1) CN111695504A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863430A (zh) * 2023-07-31 2023-10-10 合肥海普微电子有限公司 一种面向自动驾驶的点云融合方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶***
CN108229561A (zh) * 2018-01-03 2018-06-29 北京先见科技有限公司 一种基于深度学习的颗粒产品缺陷检测方法
CN108549852A (zh) * 2018-03-28 2018-09-18 中山大学 基于深度网络增强的特定场景下行人检测器自动学习方法
CN108875595A (zh) * 2018-05-29 2018-11-23 重庆大学 一种基于深度学习和多层特征融合的驾驶场景目标检测方法
CN109409409A (zh) * 2018-09-21 2019-03-01 长沙理工大学 基于hog+cnn的交通标志的实时检测方法
CN110210362A (zh) * 2019-05-27 2019-09-06 中国科学技术大学 一种基于卷积神经网络的交通标志检测方法
CN110245540A (zh) * 2017-12-12 2019-09-17 嘉兴慧康智能科技有限公司 一种基于卷积神经网络的行人检测算法
CN110321818A (zh) * 2019-06-21 2019-10-11 江西洪都航空工业集团有限责任公司 一种复杂场景中的行人检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶***
CN110245540A (zh) * 2017-12-12 2019-09-17 嘉兴慧康智能科技有限公司 一种基于卷积神经网络的行人检测算法
CN108229561A (zh) * 2018-01-03 2018-06-29 北京先见科技有限公司 一种基于深度学习的颗粒产品缺陷检测方法
CN108549852A (zh) * 2018-03-28 2018-09-18 中山大学 基于深度网络增强的特定场景下行人检测器自动学习方法
CN108875595A (zh) * 2018-05-29 2018-11-23 重庆大学 一种基于深度学习和多层特征融合的驾驶场景目标检测方法
CN109409409A (zh) * 2018-09-21 2019-03-01 长沙理工大学 基于hog+cnn的交通标志的实时检测方法
CN110210362A (zh) * 2019-05-27 2019-09-06 中国科学技术大学 一种基于卷积神经网络的交通标志检测方法
CN110321818A (zh) * 2019-06-21 2019-10-11 江西洪都航空工业集团有限责任公司 一种复杂场景中的行人检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863430A (zh) * 2023-07-31 2023-10-10 合肥海普微电子有限公司 一种面向自动驾驶的点云融合方法
CN116863430B (zh) * 2023-07-31 2023-12-22 合肥海普微电子有限公司 一种面向自动驾驶的点云融合方法

Similar Documents

Publication Publication Date Title
CN104050827B (zh) 一种基于视觉的交通信号灯自动检测识别方法
Ruta et al. Real-time traffic sign recognition from video by class-specific discriminative features
CN101900567B (zh) 基于像素的无纹理畅通路径检测
CN102968646B (zh) 一种基于机器学习的车牌检测方法
CN102176287B (zh) 一种交通信号灯识别***和方法
CN105809121A (zh) 多特征协同的交通标志检测与识别方法
CN105913041A (zh) 一种基于预先标定的信号灯识别方法
CN106203420B (zh) 一种卡口车辆颜色识别方法
CN109460715A (zh) 一种基于机器学习的交通灯自动识别实现方法
CN106529530A (zh) 一种基于单目视觉的前方车辆检测方法
CN109215364B (zh) 交通信号识别方法、***、设备和存储介质
CN107704853A (zh) 一种基于多分类器的交通信号灯的识别方法
CN104050447A (zh) 一种交通信号灯识别方法和装置
CN102542244A (zh) 人脸检测方法与***及计算机程序产品
CN106682597A (zh) 一种交通信号灯识别方法
CN106886757B (zh) 一种基于先验概率图的多类交通灯检测方法及***
CN110175519B (zh) 一种变电站的分合标识仪表识别方法、装置与存储介质
CN103544480A (zh) 车辆颜色识别方法
CN106709412A (zh) 交通标志检测方法和装置
CN111274886A (zh) 一种基于深度学习的行人闯红灯违法行为分析方法及***
CN111881739A (zh) 一种汽车尾灯状态识别方法
Oldenziel et al. Provident detection of vehicles at night
CN110909656B (zh) 一种雷达与摄像机融合的行人检测方法和***
CN111695504A (zh) 一种融合型自动驾驶目标检测方法
Chen et al. Salient object detection: Integrate salient features in the deep learning framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination