CN107972662B - 一种基于深度学习的车辆前向碰撞预警方法 - Google Patents
一种基于深度学习的车辆前向碰撞预警方法 Download PDFInfo
- Publication number
- CN107972662B CN107972662B CN201710975371.5A CN201710975371A CN107972662B CN 107972662 B CN107972662 B CN 107972662B CN 201710975371 A CN201710975371 A CN 201710975371A CN 107972662 B CN107972662 B CN 107972662B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- distance
- camera
- early warning
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 230000008859 change Effects 0.000 claims abstract description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000010923 batch production Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 206010039203 Road traffic accident Diseases 0.000 abstract description 3
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- Transportation (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mechanical Engineering (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的车辆前向碰撞预警方法，包括：通过车载摄像头实时获取车辆前方图像信息，并对图像进行预处理；利用多尺度的深度卷积神经网络提取图像中的车辆特征，实现车辆目标的识别和定位；根据图像中车辆位置，基于几何关系投影与摄像机参数计算出当前车辆与前方车辆的距离；由主车与前车的实时距离的变化计算出相对速度；由两车间的相对速度与距离计算出碰撞距离，并依据计算结果对车辆的危险等级做出判断，进而调动对应的碰撞预警策略。该方法能实时地获取前方车辆信息，并准确估计与前方车辆距离及碰撞时间，做出恰当的预警措施，保证安全驾驶，减少交通事故发生。
Description
技术领域
本发明涉及模式识别技术领域和汽车主动安全技术领域，特别涉及一种基于深度学习的车辆前向碰撞预警方法。
背景技术
随着人们生活水平的逐渐提高，越来越多的人购买汽车作为代步工具，汽车的数量也与日俱增。交通安全成为日益严峻的问题，也越来越为人们重视。交通事故的频繁发生，究其原因，一是驾驶员的疏忽大意，二是汽车安全性能不够。
辅助驾驶***是一种主动安全***，能实时监测道路信息以及驾驶员状态，能判断本车与前方车辆行人的距离，是否有相撞的可能，甚至能在危急时刻，接管车辆驾驶权，主动制动，避免事故的发生。现在，人们需要的是能预防事故发生，而不仅仅是在事故发生后减少伤害的***，汽车前向碰撞预警***有着十分重要的研究意义和发展前景。
目前，主动安全***中，常用的有雷达、激光、超声波等技术，但这些技术所需设备昂贵，不利于在所有车辆上推广使用。驾驶汽车所需的环境信息，80％以上是通过视觉得到的，相对于其他传感器，视觉传感器能更好的模拟驾驶员的行为，具有无可比拟的优势。
现有的基于视觉的的车辆前向预警技术有车牌测距、车底阴影测距等，主要通过人工提取车辆特征，如颜色特征、纹理特征、轮廓特征、几何特征等来识别车辆，进而进行测距。人工提取车辆特征的方法耗时费力，且不能的充分利用车辆信息，在遇到车辆遮挡或天气恶劣致图像模糊时，无法达到较高检测的准确性，鲁棒性较差。
深度学习通过学习一种深层的非线性网络结构，实现复杂函数逼近和输入数据表征，展现出强大的数据集本质特征的学习能力。卷积神经网络，作为一种典型的深度学习方法，是为二维图像处理而特别设计的一个多层感知器。卷积神经网络不需要人为参与特征的选取过程，可以自动地学习大量数据集中的目标特征。其权值共享和局部连接机制使得它具备优于传统技术的优点：对几何变换、形变、光照具有一定程度的不变性，同时具有良好的容错能力、并行处理能力和自学习能力。这些优点使得卷积神经网络在处理环境信息复杂、推理规则不明确情况下的问题时具有较大优势，并能容忍车辆的尺度变化，旋转变形等问题。
R-CNN(Regions with Convolutional Neural Network Features)通过一个感兴趣区域提取的步骤得到不同尺寸的建议区域，然后将这些建议区域缩放到固定尺寸后输入卷积神经网络，不过这种方法计算量大且不能达到实时性要求。Faster-RCNN利用一个感兴趣区域生成网络实现了端到端的检测，然而，这种方法通过一组卷积核在固定的特征图上滑动生成多尺度目标的区域建议，导致了造成了可变目标尺寸和固定特征图感受野尺寸之前的矛盾，不能适应真实环境中目标尺寸的多样性。因此，需要一个适应多尺度目标的卷积神经网络，用于解决车辆前向碰撞预警***中车辆的端到端的自动检测，保证车辆前向碰撞预警***准确地、稳定地获取车辆信息，实现实时准确的碰撞预警。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种基于深度学习的车辆前向碰撞预警方法，该方法提高了车辆检测的准确度，保证了实际距离测量的可靠性，有效实现实时的碰撞预警，减少交通事故的发生。
本发明的目的通过以下的技术方案实现：一种基于深度学习的车辆前向碰撞预警方法，包括以下步骤：
S1、通过车载摄像头实时获取车辆前方图像信息；在图像采集过程中，采用CCD摄像机安装在车辆内部面向前方，以固定频率f采集车辆前方道路图像；
S2、利用一种多尺度深度卷积神经网络提取图像中的车辆特征，实现车辆目标的识别和定位，用矩形框标注前方车辆；
S3、根据图像中车辆位置，基于几何关系投影与摄像机参数计算出当前车辆与前方车辆的距离；
S4、由主车与前车的实时距离的变化计算出相对速度；
S5、由两车间的相对速度与距离计算出碰撞时间，依据计算结果对判断当前车辆状态进行危险等级判定。
优选的，所述步骤S2中，多尺度深度卷积神经网络的总体框架：VGG模型为主线，在其基础上加上多个用于提取感兴趣区域的区域建议子网络和一个用于分类和位置精修的检测子网络组成。
进一步的，所述的VGG模型，包括13个卷积层，3个全连接层，共计16层；所述的区域建议子网络，分别从VGG网络的卷积层4-3，卷积层5-3，卷积层6，最大池化层6延伸分支；每个区域建议子网络同时预测是否是物体和对目标边界进行回归，共输出n个感兴趣的建议框；所述的检测子网络首先将提取到的n个感兴趣建议框利用阈值为0.7的非极大值抑制方法减少冗余，每张图剩下约2k个建议区域；对于每个建议区域经过ROI pooling层下采样至统一尺寸，最后经过全连接层后分别进行softmax分类和位置精修。
优选的，步骤S2中，离线训练过程如下：
1、模型权重由在ImageNet上进行预训练的VGG网络进行初始化；仅训练区域建议子网络，以学习率0.00005迭代10000次，生成模型；
2、生成的模型用于初始化第二阶段，以初始学习率0.00005迭代，每迭代10000次学习率下降10倍，一共迭25000次；
这两个阶段的学习过程实现了稳定的多任务训练；采用多任务损失，其中损失函数为：
式中，i是一个批处理中建议区域的索引，Ncls为分类层的归一化系数，Nreg为回归层的归一化系数，λ为平衡权重，pi为车辆目标的预测概率，为真实标签，即如果候选区域为正如果候选区域为负ti为一个向量，表示预测的包围框的4个参数化坐标，为与正候选区域对应的真实包围框的坐标向量；
Lcls为分类的对数损失：
Lreg为回归对数代价：式中，R为Smooth L1误差，
ti与的计算方式如下：
tx＝(x-xa)/wa,ty＝(y-ya)/ha,tw＝log(w/wa),th＝log(h/ha),
式中，x,y,w,h分别表示包围框中心坐标，宽度和高度， xa,ya,wa,ha分别表示候选区域中心坐标，宽度和高度，x*,y*,w*,h*分别表示预测的包围框中心坐标，宽度和高度。
优选的，所述的步骤S3中，采用基于摄像机固定参数的几何测距方法，具体的步骤包括：
S31：将有效焦距为f的单目摄像头在车辆前方固定，测取其距离地面的高度h；
S32：基于摄像机投影与参数设定的几何测距算法是通过汽车所行驶的路面与车辆本体构成的几何坐标结合CCD摄像机事先设定好的参数来计算车距的；当汽车在水平的路面上行驶时，投影模型为理想几何模型，假设摄影机与地面平行，通过几何关系和比例推导可以得到当前车辆与前方车辆的距离：其中f表示摄像机的有效焦距，h表示摄像机的安装高度，(x0,y0)表示光轴与像平面的交点，(x,y)表示路面上一点p在像平面上的坐标。
优选的，所述的步骤S4中，第i帧的速度用该帧之前1秒的平均速度估计，利用逐差法计算平均速度：其中视频帧率为n，第i帧中检测到的前方车辆与本车的距离为其中▽t为第帧与第i帧之间的时间间隔，显然t＝0.5s；这种方法避免了某一帧的距离测量的误差对TTC的影响，保证TTC的值不会剧烈波动，增加了预警***的准确性。
优选的，所述的步骤S5中，碰撞时间TTC的计算为：其中d代表两车间距离，由步骤S3得出，▽v代表相对速度，由S4步骤得出。
优选的，所述的步骤S6中，根据碰撞时间TTC实现对当前车辆相对行驶状态的判定，并给出相应预警；具体车辆预警方式如下：TTC>3s为安全状态；1.5s<TTC<3s时，发出提示性预警；TTC<1.5s时，发出紧急性预警，同时采用主动制动措施。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明中，只需采用摄像设备(比如摄像头)即可进行车辆防碰撞预警处理，相比雷达、激光、超声波等技术，节省了硬件成本。
2、本发明采用了多尺度的深度卷积神经网络，实现了一个使用多尺度深度卷积神经网络的车辆前向碰撞预警的框架，并适用于车辆目标的尺寸多样性、形态多样性、光照变化多样性、背景多样性等环境下，实时、高精度和鲁棒性的车辆前向碰撞预警，算法稳定性和用户体验较传统方法都得到了提升。
附图说明
图1为实施例基于深度学习的车辆前向碰撞预警方法的流程示意图。
图2为实施例多尺度深度卷积神经网络的总体框架示意图。
图3为实施例多尺度深度卷积神经网络的区域建议子网络示意图。
图4为实施例测距几何模型示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1
如图1所示，为基于深度学习的车辆前向碰撞预警方法的流程示意图。本实施例中，所述基于深度学习的车辆前向碰撞预警方法包括：
S1、通过车载摄像头实时获取车辆前方图像信息；在图像采集过程中，采用CCD摄像机安装在车辆内部面向前方，以固定频率f采集车辆前方道路图像。
S2、利用一种多尺度深度卷积神经网络提取图像中的车辆特征，实现车辆目标的识别和定位，用矩形框标注前方车辆。
S3、根据图像中车辆位置，基于几何关系投影与摄像机参数计算出当前车辆与前方车辆的距离。
S4、由主车与前车的实时距离的变化计算出相对速度。
S5、由两车间的相对速度与距离计算出碰撞时间(TTC)，依据计算结果对判断当前车辆状态进行危险等级判定。
所述步骤S2中，多尺度深度卷积神经网络的总体框架如图2所示：VGG模型为主线，在其基础上加上多个用于提取感兴趣区域的区域建议子网络和一个用于分类和位置精修的检测子网络组成。
所述的VGG模型，包括13个卷积层，3个全连接层，共计16层；
所述的区域建议子网络如图3所示，分别从VGG网络的卷积层4-3，卷积层5-3，卷积层6，最大池化层6延伸分支。每个区域建议子网络同时预测是否是物体和对目标边界进行回归，共输出n个感兴趣的建议框。
所述的检测子网络首先将提取到的n个感兴趣建议框利用阈值为0.7的非极大值抑制方法减少冗余，每张图剩下约2k个建议区域。对于每个建议区域经过ROI pooling层下采样至统一尺寸，最后经过全连接层后分别进行softmax分类和位置精修。
步骤S2中，离线训练过程如下：
1、模型权重由在ImageNet上进行预训练的VGG网络进行初始化。仅训练区域建议子网络，以学习率0.00005迭代10000次，生成模型。
2、生成的模型用于初始化第二阶段，以初始学习率0.00005迭代，每迭代10000次学习率下降10倍，一共迭25000次。
这两个阶段的学习过程实现了稳定的多任务训练。采用多任务损失，其中损失函数为：
式中，i是一个批处理中建议区域的索引，Ncls为分类层的归一化系数，Nreg为回归层的归一化系数，λ为平衡权重，pi为车辆目标的预测概率，为真实标签，即如果候选区域为正如果候选区域为负ti为一个向量，表示预测的包围框的4个参数化坐标，为与正候选区域对应的真实包围框的坐标向量；
Lcls为分类的对数损失：
Lreg为回归对数代价：式中，R为Smooth L1误差，
ti与的计算方式如下：
tx＝(x-xa)/wa,ty＝(y-ya)/ha,tw＝log(w/wa),th＝log(h/ha),
式中，x,y,w,h分别表示包围框中心坐标，宽度和高度， xa,ya,wa,ha分别表示候选区域中心坐标，宽度和高度，x*,y*,w*,h*分别表示预测的包围框中心坐标，宽度和高度。
所述的步骤S3中，采用基于摄像机固定参数的几何测距方法。具体的步骤包括：
S31：将有效焦距为f的单目摄像头在车辆前方固定，测取其距离地面的高度h。
S32：基于摄像机投影与参数设定的几何测距算法是通过汽车所行驶的路面与车辆本体构成的几何坐标结合CCD摄像机事先设定好的参数来计算车距的。当汽车在水平的路面上行驶时，投影模型为理想几何模型，假设摄影机与地面平行，此种条件下的车距估算示意图如图4所示。通过几何关系和比例推导可以得到当前车辆与前方车辆的距离：其中f表示摄像机的有效焦距，h表示摄像机的安装高度，(x0,y0)表示光轴与像平面的交点， (x,y)表示路面上一点p在像平面上的坐标。
所述的步骤S4中，第i帧的速度用该帧之前1秒的平均速度估计，利用逐差法计算平均速度：其中视频帧率为n，第i帧中检测到的前方车辆与本车的距离为其中▽t为第帧与第i帧之间的时间间隔，显然t＝0.5s。这种方法避免了某一帧的距离测量的误差对TTC的影响，保证TTC的值不会剧烈波动，增加了预警***的准确性。
所述的步骤S5中，碰撞时间TTC的计算为：其中d代表两车间距离，由步骤S3得出，▽v代表相对速度，由S4步骤得出。
所述的步骤S6中，根据碰撞时间TTC实现对当前车辆相对行驶状态的判定，并给出相应预警。经相关研究表明，对于前车碰撞，当提前2.5秒给予一个警告的话，考虑人的反应时间和刹车的距离，基本上可以做到车辆刹停，防止事故发生。鉴于此，将报警时间继续放宽，设在3秒。具体车辆预警方式如下：TTC>3s为安全状态；1.5s<TTC<3s时，发出提示性预警；TTC<1.5s时，发出紧急性预警，同时采用主动制动措施。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (6)
1.一种基于深度学习的车辆前向碰撞预警方法，其特征在于，包括以下步骤：
S1、通过车载摄像头实时获取车辆前方图像信息；在图像采集过程中，采用CCD摄像机安装在车辆内部面向前方，以固定频率f采集车辆前方道路图像；
S2、利用一种多尺度深度卷积神经网络提取图像中的车辆特征，实现车辆目标的识别和定位，用矩形框标注前方车辆；
所述多尺度深度卷积神经网络的总体框架：VGG模型为主线，在其基础上加上多个用于提取感兴趣区域的区域建议子网络和一个用于分类和位置精修的检测子网络组成；所述的VGG模型，包括13个卷积层，3个全连接层，共计16层；所述的区域建议子网络，分别从VGG网络的卷积层4-3，卷积层5-3，卷积层6，最大池化层6延伸分支；每个区域建议子网络同时预测是否是物体和对目标边界进行回归，共输出n个感兴趣的建议框；所述的检测子网络首先将提取到的n个感兴趣建议框利用阈值为0.7的非极大值抑制方法减少冗余，每张图剩下约2k个建议区域；对于每个建议区域经过ROI pooling层下采样至统一尺寸，最后经过全连接层后分别进行softmax分类和位置精修；
S3、根据图像中车辆位置，基于几何关系投影与摄像机参数计算出当前车辆与前方车辆的距离；
S4、由主车与前车的实时距离的变化计算出相对速度；
S5、由两车间的相对速度与距离计算出碰撞时间TTC，依据计算结果对判断当前车辆状态进行危险等级判定。
2.根据权利要求1所述的基于深度学习的车辆前向碰撞预警方法，其特征在于，步骤S2中，离线训练过程如下：
(1)、模型权重由在ImageNet上进行预训练的VGG网络进行初始化；仅训练区域建议子网络，以学习率0.00005迭代10000次，生成模型；
(2)、生成的模型用于初始化第二阶段，以初始学习率0.00005迭代，每迭代10000次学习率下降10倍，一共迭25000次；
这两个阶段的学习过程实现了稳定的多任务训练；采用多任务损失，其中损失函数为：
式中，i是一个批处理中建议区域的索引，Ncls为分类层的归一化系数，Nreg为回归层的归一化系数，λ为平衡权重，pi为车辆目标的预测概率，为真实标签，即如果候选区域为正如果候选区域为负ti为一个向量，表示预测的包围框的4个参数化坐标，为与正候选区域对应的真实包围框的坐标向量；
Lcls为分类的对数损失：
Lreg为回归对数代价：式中，R为Smooth L1误差，
ti与的计算方式如下：
tx＝(x-xa)/wa,ty＝(y-ya)/ha,tw＝log(w/wa),th＝log(hha),
式中，x,y,w,h分别表示包围框中心坐标，宽度和高度， xa,ya,wa,ha分别表示候选区域中心坐标，宽度和高度，x*,y*,w*,h*分别表示预测的包围框中心坐标，宽度和高度。
3.根据权利要求1所述的基于深度学习的车辆前向碰撞预警方法，其特征在于，所述的步骤S3中，采用基于摄像机固定参数的几何测距方法，具体的步骤包括：
S31：将有效焦距为f的单目摄像头在车辆前方固定，测取其距离地面的高度h；
S32：基于摄像机投影与参数设定的几何测距算法是通过汽车所行驶的路面与车辆本体构成的几何坐标结合CCD摄像机事先设定好的参数来计算车距的；当汽车在水平的路面上行驶时，投影模型为理想几何模型，假设摄影机与地面平行，通过几何关系和比例推导可以得到当前车辆与前方车辆的距离：其中f表示摄像机的有效焦距，h表示摄像机的安装高度，(x0,y0)表示光轴与像平面的交点，(x,y)表示路面上一点p在像平面上的坐标。
4.根据权利要求1所述的基于深度学***均速度估计，利用逐差法计算平均速度：其中视频帧率为n，第i帧中检测到的前方车辆与本车的距离为其中为第帧与第i帧之间的时间间隔，显然t＝0.5s；这种方法避免了某一帧的距离测量的误差对TTC的影响，保证TTC的值不会剧烈波动，增加了预警***的准确性。
5.根据权利要求3或4所述的基于深度学习的车辆前向碰撞预警方法，其特征在于，所述的步骤S5中，碰撞时间TTC的计算为：其中d代表两车间距离，由步骤S3得出，代表相对速度，由S4步骤得出。
6.根据权利要求1所述的基于深度学习的车辆前向碰撞预警方法，其特征在于，所述的步骤S6中，根据碰撞时间TTC实现对当前车辆相对行驶状态的判定，并给出相应预警；具体车辆预警方式如下：TTC>3s为安全状态；1.5s<TTC<3s时，发出提示性预警；TTC<1.5s时，发出紧急性预警，同时采用主动制动措施。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710975371.5A CN107972662B (zh) | 2017-10-16 | 2017-10-16 | 一种基于深度学习的车辆前向碰撞预警方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710975371.5A CN107972662B (zh) | 2017-10-16 | 2017-10-16 | 一种基于深度学习的车辆前向碰撞预警方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107972662A CN107972662A (zh) | 2018-05-01 |
| CN107972662B true CN107972662B (zh) | 2019-12-10 |
Family
ID=62012502
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710975371.5A Active CN107972662B (zh) | 2017-10-16 | 2017-10-16 | 一种基于深度学习的车辆前向碰撞预警方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107972662B (zh) |
Families Citing this family (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108932471B (zh) * | 2018-05-23 | 2020-06-26 | 浙江科技学院 | 一种车辆检测方法 |
| CN108759667B (zh) * | 2018-05-29 | 2019-11-12 | 福州大学 | 车载摄像头下基于单目视觉与图像分割的前车测距方法 |
| CN108639000A (zh) * | 2018-06-05 | 2018-10-12 | 上海擎感智能科技有限公司 | 车辆、车机设备、车辆事故预警装置和方法 |
| CN108783846A (zh) * | 2018-06-13 | 2018-11-13 | 苏州若依玫信息技术有限公司 | 一种具有安全防护功能的智能背包控制方法 |
| CN108875641B (zh) * | 2018-06-21 | 2021-10-19 | 南京信息工程大学 | 高速公路长期并排行驶识别方法及*** |
| CN108944940B (zh) * | 2018-06-25 | 2020-05-19 | 大连大学 | 基于神经网络的驾驶员行为建模方法 |
| CN109084724A (zh) * | 2018-07-06 | 2018-12-25 | 西安理工大学 | 一种基于双目视觉的深度学习障碍物测距方法 |
| CN109109859A (zh) * | 2018-08-07 | 2019-01-01 | 庄远哲 | 一种电动汽车及其距离监控方法 |
| CN109334563B (zh) * | 2018-08-31 | 2021-06-22 | 江苏大学 | 一种基于道路前方行人和骑行者的防碰撞预警方法 |
| CN109284699A (zh) * | 2018-09-04 | 2019-01-29 | 广东翼卡车联网服务有限公司 | 一种适用车辆碰撞的深度学习方法 |
| CN109190591A (zh) * | 2018-09-20 | 2019-01-11 | 辽宁工业大学 | 一种基于摄像头的前车识别预警装置及识别预警方法 |
| CN109472251B (zh) * | 2018-12-16 | 2022-04-05 | 华为技术有限公司 | 一种物体碰撞预测方法及装置 |
| CN109693672B (zh) * | 2018-12-28 | 2020-11-06 | 百度在线网络技术（北京）有限公司 | 用于控制无人驾驶汽车的方法和装置 |
| CN109787821B (zh) * | 2019-01-04 | 2020-06-19 | 华南理工大学 | 一种大规模移动客户流量消费智能预测方法 |
| CN111508124A (zh) * | 2019-01-11 | 2020-08-07 | 百度在线网络技术（北京）有限公司 | 权限校验方法和装置 |
| CN111507126B (zh) * | 2019-01-30 | 2023-04-25 | 杭州海康威视数字技术股份有限公司 | 一种驾驶辅助***的报警方法、装置及电子设备 |
| CN109910865B (zh) * | 2019-02-26 | 2021-05-28 | 临沂合力电子有限公司 | 一种基于物联网的车辆预警刹车方法 |
| CN109782320A (zh) * | 2019-03-13 | 2019-05-21 | 中国人民解放军海军工程大学 | 运输队列定位方法及*** |
| CN110060298B (zh) * | 2019-03-21 | 2023-06-20 | 径卫视觉科技（上海）有限公司 | 一种基于图像的车辆位置和姿态确定***以及相应的方法 |
| CN109951686A (zh) * | 2019-03-21 | 2019-06-28 | 山推工程机械股份有限公司 | 一种工程机械作业安全监控方法及其监控*** |
| CN110297232A (zh) * | 2019-05-24 | 2019-10-01 | 合刃科技（深圳）有限公司 | 基于计算机视觉的单目测距方法、装置及电子设备 |
| CN110556024B (zh) * | 2019-07-18 | 2021-02-23 | 华瑞新智科技（北京）有限公司 | 一种防碰撞辅助驾驶方法、***及计算机可读存储介质 |
| CN112668361B (zh) * | 2019-10-15 | 2024-06-04 | 北京地平线机器人技术研发有限公司 | 报警准确度确定方法、装置及计算机可读存储介质 |
| CN110796103A (zh) * | 2019-11-01 | 2020-02-14 | 邵阳学院 | 基于Faster-RCNN的目标及其距离检测方法 |
| CN110979318B (zh) * | 2019-11-20 | 2021-06-04 | 苏州智加科技有限公司 | 车道信息获取方法、装置、自动驾驶车辆及存储介质 |
| CN111241948B (zh) * | 2020-01-02 | 2023-10-31 | 武汉船舶通信研究所（中国船舶重工集团公司第七二二研究所） | 全天候识别船舶的方法和*** |
| CN113408320A (zh) * | 2020-03-16 | 2021-09-17 | 上海博泰悦臻网络技术服务有限公司 | 用于车辆避撞的方法、电子设备和计算机存储介质 |
| CN111422190B (zh) * | 2020-04-03 | 2021-08-31 | 北京四维智联科技有限公司 | 一种后装车机的前向碰撞预警方法及*** |
| CN113643355B (zh) * | 2020-04-24 | 2024-03-29 | 广州汽车集团股份有限公司 | 一种目标车辆位置和朝向的检测方法、***及存储介质 |
| CN112242058B (zh) * | 2020-05-29 | 2022-04-26 | 北京国家新能源汽车技术创新中心有限公司 | 基于交通监控视频的目标异常检测方法、装置及存储介质 |
| CN111975769A (zh) * | 2020-07-16 | 2020-11-24 | 华南理工大学 | 基于元学习的移动机器人避障方法 |
| CN111950483A (zh) * | 2020-08-18 | 2020-11-17 | 北京理工大学 | 一种基于视觉的车辆前碰撞预测方法 |
| CN111950488B (zh) * | 2020-08-18 | 2022-07-19 | 山西大学 | 一种改进的Faster-RCNN遥感图像目标检测方法 |
| CN112183370A (zh) * | 2020-09-29 | 2021-01-05 | 爱动超越人工智能科技（北京）有限责任公司 | 一种基于ai视觉的叉车防撞预警***及方法 |
| CN112417953B (zh) * | 2020-10-12 | 2022-07-19 | 腾讯科技（深圳）有限公司 | 道路状况检测和地图数据更新方法、装置、***及设备 |
| CN112265546B (zh) * | 2020-10-26 | 2021-11-02 | 吉林大学 | 基于时空序列信息的网联汽车车速预测方法 |
| CN112550272B (zh) * | 2020-12-14 | 2021-07-30 | 重庆大学 | 基于视觉感知与深度强化学习的智能混合动力汽车分层控制方法 |
| CN112908034A (zh) * | 2021-01-15 | 2021-06-04 | 中山大学南方学院 | 一种智能公交安全驾驶行为辅助督导***及控制方法 |
| CN112896042A (zh) * | 2021-03-02 | 2021-06-04 | 广州通达汽车电气股份有限公司 | 一种车辆驾驶预警方法、装置、设备及存储介质 |
| CN113792598B (zh) * | 2021-08-10 | 2023-04-14 | 西安电子科技大学广州研究院 | 基于车载摄像头的汽车碰撞预测***和方法 |
| CN114228614A (zh) * | 2021-12-29 | 2022-03-25 | 阿波罗智联(北京)科技有限公司 | 一种车辆报警方法、装置、电子设备及存储介质 |
| CN114802225B (zh) * | 2022-03-04 | 2024-01-12 | 湖北国际物流机场有限公司 | 一种飞机引导车控制方法、***及电子设备 |
| CN117734683B (zh) * | 2024-02-19 | 2024-05-24 | 中国科学院自动化研究所 | 一种井下车辆防碰撞安全预警决策方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105740910A (zh) * | 2016-02-02 | 2016-07-06 | 北京格灵深瞳信息技术有限公司 | 一种车辆物件检测方法及装置 |
| CN105844222A (zh) * | 2016-03-18 | 2016-08-10 | 上海欧菲智能车联科技有限公司 | 基于视觉的前方车辆碰撞预警***及方法 |
| CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
| CN106781692A (zh) * | 2016-12-01 | 2017-05-31 | 东软集团股份有限公司 | 车辆碰撞预警的方法、装置及*** |
| CN106904143A (zh) * | 2015-12-23 | 2017-06-30 | 上海汽车集团股份有限公司 | 一种行人和乘客的保护方法、***及控制器 |
| CN107169421A (zh) * | 2017-04-20 | 2017-09-15 | 华南理工大学 | 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法 |
-
2017
- 2017-10-16 CN CN201710975371.5A patent/CN107972662B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106904143A (zh) * | 2015-12-23 | 2017-06-30 | 上海汽车集团股份有限公司 | 一种行人和乘客的保护方法、***及控制器 |
| CN105740910A (zh) * | 2016-02-02 | 2016-07-06 | 北京格灵深瞳信息技术有限公司 | 一种车辆物件检测方法及装置 |
| CN105844222A (zh) * | 2016-03-18 | 2016-08-10 | 上海欧菲智能车联科技有限公司 | 基于视觉的前方车辆碰撞预警***及方法 |
| CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
| CN106781692A (zh) * | 2016-12-01 | 2017-05-31 | 东软集团股份有限公司 | 车辆碰撞预警的方法、装置及*** |
| CN107169421A (zh) * | 2017-04-20 | 2017-09-15 | 华南理工大学 | 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107972662A (zh) | 2018-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107972662B (zh) | 一种基于深度学习的车辆前向碰撞预警方法 | |
| CN107609522B (zh) | 一种基于激光雷达和机器视觉的信息融合车辆检测*** | |
| Kim et al. | Robust lane detection based on convolutional neural network and random sample consensus | |
| JP7140922B2 (ja) | マルチセンサデータ融合方法、及び装置 | |
| RU2767955C1 (ru) | Способы и системы для определения компьютером наличия динамических объектов | |
| CN105892471B (zh) | 汽车自动驾驶方法和装置 | |
| CN110745140B (zh) | 一种基于连续图像约束位姿估计的车辆换道预警方法 | |
| CN109919074B (zh) | 一种基于视觉感知技术的车辆感知方法及装置 | |
| CN108638999B (zh) | 一种基于360度环视输入的防碰撞预警***及方法 | |
| CN113056749A (zh) | 用于自主机器应用的未来对象轨迹预测 | |
| Labayrade et al. | In-vehicle obstacles detection and characterization by stereovision | |
| CN111369541A (zh) | 一种智能汽车恶劣天气条件下车辆检测方法 | |
| CN111292366B (zh) | 一种基于深度学习和边缘计算的视觉行车测距算法 | |
| CN108830131B (zh) | 基于深度学习的交通目标检测与测距方法 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| CN110969064A (zh) | 一种基于单目视觉的图像检测方法、装置及存储设备 | |
| CN111612818A (zh) | 新型双目视觉多目标跟踪方法及*** | |
| EP4148599A1 (en) | Systems and methods for providing and using confidence estimations for semantic labeling | |
| CN116587978A (zh) | 一种基于车载显示屏的碰撞预警方法及*** | |
| Lai et al. | Sensor fusion of camera and MMW radar based on machine learning for vehicles | |
| CN114049542A (zh) | 一种动态场景下基于多传感器的融合定位方法 | |
| CN116635919A (zh) | 物体跟踪装置以及物体跟踪方法 | |
| CN114282776A (zh) | 车路协同评估自动驾驶安全性的方法、装置、设备和介质 | |
| CN113569803A (zh) | 一种基于多尺度卷积的多模态数据融合车道目标检测的方法及*** | |
| US20230194700A1 (en) | Fuzzy Labeling of Low-Level Electromagnetic Sensor Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |