CN112349144A - 一种基于单目视觉的车辆碰撞预警方法及*** - Google Patents

一种基于单目视觉的车辆碰撞预警方法及*** Download PDF

Info

Publication number
CN112349144A
CN112349144A CN202011243170.4A CN202011243170A CN112349144A CN 112349144 A CN112349144 A CN 112349144A CN 202011243170 A CN202011243170 A CN 202011243170A CN 112349144 A CN112349144 A CN 112349144A
Authority
CN
China
Prior art keywords
vehicle
target
collision
pedestrian
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011243170.4A
Other languages
English (en)
Other versions
CN112349144B (zh
Inventor
曹玉社
许亮
李峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongkehai Micro Beijing Technology Co ltd
Original Assignee
Zhongkehai Micro Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongkehai Micro Beijing Technology Co ltd filed Critical Zhongkehai Micro Beijing Technology Co ltd
Priority to CN202011243170.4A priority Critical patent/CN112349144B/zh
Publication of CN112349144A publication Critical patent/CN112349144A/zh
Application granted granted Critical
Publication of CN112349144B publication Critical patent/CN112349144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种基于单目视觉的车辆碰撞预警方法及***，获取前方视野图像数据，对获取的图像数据进行目标检测；设定碰撞风险区域范围；对碰撞风险区域内的目标进行过滤，获得最近目标距离估计，并结合车辆的速度信息和加速度信息，估计车辆碰撞到目标所需时间；综合最近目标距离估计值以及车辆碰撞到目标所需时间估计值，对车辆驾驶过程中可能出现的车辆碰撞情况进行辅助预警。本发明有效减少车辆在行驶过程中的碰撞，车辆追尾等事故，可根据车辆行驶状态以及基于单目视觉检测得到的前方行驶区域内的车辆/行人的最小距离自动给出碰撞预警提示，有效给出司机提醒，减少事故发生概率。

Description

一种基于单目视觉的车辆碰撞预警方法及***
技术领域
本发明涉及图像处理技术领域，具体地，涉及一种基于单目视觉的车辆碰撞预警方法及***。
背景技术
自驾出行已经成为人们日常出行的一种常用交通方式，而驾驶过程中的行车安全，对人们的正常生活具有重要的影响，已经越来越受到人们的重视，基于此，行车辅助***应运而生。
经过检索发现：
申请号为201810686185.4、申请日为2018年6月28日的中国发明专利申请《驾驶辅助方法、驾驶辅助装置及存储介质》，公开了一种驾驶辅助方法、驾驶辅助装置及存储介质，其中，该方法包括：通过双目摄像头采集汽车前方的第一图像，同时通过单目摄像头采集汽车前方的第二图像，并于车载显示屏上输出显示第二图像；提取第一图像的至少一个图像特征信息；判断至少一个图像特征信息中是否存在目标图像特征信息符合预设预警条件；当存在目标图像特征信息符合预设预警条件时，通过车载音箱发出预警提示音，且于车载显示屏上突出显示关联信息。本发明通过分析双目摄像头拍摄的第一图像，并判定汽车当前行驶过程中存在预警信息时，发出提醒信息，以提醒驾驶员及时避让，降低出现安全事故的概率，且用于分析和输出的图像分开拍摄，进一步提高了分析结果的精确性。该技术与本发明所涉及的目标检测方法相比，具有如下问题：
1.该技术同时采用双目摄像头和单目摄像头，硬件成本高，且该技术基于通过双目视差方法进行距离计算。
2.该技术未设定碰撞风险范围，易造成误报警。
综上所述，现有的辅助驾驶技术，不能很好的满足人们在驾驶过程中对车辆驾驶辅助预警的需求，目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。
发明内容
本发明针对现有技术中存在的上述不足，提供了一种基于单目视觉的车辆碰撞预警方法及***。
本发明是通过以下技术方案实现的。
根据本发明的一个方面，提供了一种基于单目视觉的车辆碰撞预警方法，包括：
获取前方视野图像数据，对获取的图像数据进行目标检测；
设定碰撞风险区域范围；
对碰撞风险区域内的目标进行过滤，获得最近目标距离估计，并结合车辆的速度信息和加速度信息，估计车辆碰撞到目标所需时间；
综合最近目标距离估计值和/或车辆碰撞到目标所需时间估计值，对车辆驾驶过程中可能出现的车辆碰撞情况进行辅助预警。
优选地，所述获取前方视野图像数据，对获取的图像数据进行目标检测，包括：
基于单目视觉，实时获取行进方向道路的的图像；
在所获取图像的基础上，结合深度神经网络，建立行人/车辆目标检测模型；
利用建立的行人/车辆目标检测模型对行人和/或车辆进行检测，获得行人和/或车辆目标检测结果。
优选地，所述建立行人/车辆目标检测模型的方法，包括：
对大量实际路况图片中的行人和/或车辆图像进行标定，形成训练数据集；
基于深度神经网络，采用训练数据集对该深度神经网络进行预训练，得到行人/车辆目标检测模型。
优选地，所述行人/车辆目标检测模型，包括：特征提取模块和检测框回归模块；其中：
所述特征提取模块采用残差网络结构，其输入宽*高的尺寸为480*288图像，下采样倍数为32，输出宽*高的尺寸分别为15*9和30*18的特征图；
将特征提取模块输出的特征图作为检测框回归模块的输入，对每一个特征图定义n个anchor box，作为检测框回归模块的基准，输出行人和/或车辆目标检测结果。
优选地，所述获得行人和/或车辆目标检测结果的方法，包括：
设：
每一个bounding box的预测坐标偏移记为tx,ty,tw,th；
特征图中cell偏移图像左上角坐标记为cx,cy；
每一个Anchor box的尺寸记为pw，ph；
预测box的坐标记为bx,by,bw,bh；
真实box的坐标记为gx,gy,gw,gh；
则
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0002769030120000031
Figure BDA0002769030120000032
即得到准确的行人和/或车辆检测结果。
优选地，所述设定碰撞风险区域范围的方法，包括：
根据视角的远近变化特点，预设定四个点，并定义由这四个点所围成的梯形区域为有碰撞风险的区域，记作arearisk，则arearisk为：
(xi，yi)s.t.i∈[1,2,3,4]。
当检测到的目标处于此风险区域内，对该目标进行风险碰撞预测。
优选地，设摄像头分辨率为1920*1080，预设定的用于围成碰撞风险区域范围的四个点的坐标为：
(680，940)，(680，980)，(1080，120)，(1080，1800)。
优选地，所述获得最近目标距离估计和/或估计车辆碰撞到目标所需时间的方法，包括：
-采用相似三角形法则，对获得的位于碰撞风险区域内目标检测结果进行距离估计，包括：
将宽度为W的物体放置于距离摄像头D的位置，如果物体在图像中的像素宽度为P，则计算得到摄像头的焦距F：
F＝(P*D)/W
将物体远离或者靠近摄像头，由于摄像头的焦距F不变，因此只需测得此时物体在图像中的宽度P’，则估算出此时物体到摄像头的距离D’：
D’＝(F*W)/P’
综合常规轿车宽度的平均值作为基准车辆宽度，以170cm作为行人距离估计时的基准度量，即得到行人和/或车辆目标进行距离估计值；
-所述估计车辆碰撞到目标所需时间的方法，包括：
获取车辆的速度信息和加速度信息，分别记为vt和at；
行人和/或车辆目标估计值为obj；
结合当前时刻车速vt和加速度at，通过牛顿运动算法，估计车辆碰撞到目标所需时间t为：
obj.dist＝vt*t+0.5*at 2。
优选地，所述综合最近目标距离估计以及车辆碰撞到目标所需时间估计，对车辆驾驶过程中出现的车辆碰撞进行辅助预警的方法，包括：
设定目标距离最近阈值以及车辆碰撞到目标最短时间阈值，判断得到车辆驾驶过程中可能出现的车辆碰撞情况，并进行辅助预警。
根据本发明的另一个方面，提供了一种基于单目视觉的车辆碰撞预警***，其特征在于，包括：
车外图像获取摄像头，所述车外图像获取摄像头用于实时获取行进方向道路的图像；
目标检测模块，所述目标检测模块根据获取的行进方向道路图像，对图像数据中的行人和/或车辆进行目标检测；
行车状态获取模块，所述行车状态获取模块用于获取车辆的速度信息和加速度信息；
碰撞风险区域范围设定模块，所述碰撞风险区域范围设定模块用于设定碰撞风险区域范围；
风险计算模块，所述风险计算模块对碰撞风险区域内的行人和/或车辆目标进行过滤，获得最近目标距离估计，并结合车辆的速度信息和加速度信息，估计车辆碰撞到目标所需时间；
辅助预警模块，所述辅助预警模块综合行车状态信息、最近目标距离估计以及车辆碰撞到目标所需时间估计，通过设定的阈值，对车辆驾驶过程中可能出现的车辆碰撞情况进行辅助预警。
优选地，所述车外图像获取摄像头设置于车前窗上方正中间位置。
由于采用了上述方案，本发明与现有技术相比，具有如下的有益效果：
本发明提供的基于单目视觉的车辆碰撞预警方法及***，可有效减少车辆在行驶过程中的(车辆/行人)碰撞，车辆追尾等事故，可根据车辆行驶状态以及基于单目视觉检测得到的前方行驶区域内的车辆/行人的最小距离自动给出碰撞预警提示，有效给出司机提醒，减少事故发生概率。
本发明提供的基于单目视觉的车辆碰撞预警方法及***，基于单目视觉，利用相似三角形方法进行距离估计。
本发明提供的基于单目视觉的车辆碰撞预警方法及***，通过设计特定的目标检测神经网络，结合大数据优势，极大的减少误检/漏检情况，且通过预设定碰撞风险范畴，划定保定范围，避免误报警情况。
实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一优选实施例中基于单目视觉的车辆碰撞预警方法工作流程图；
图2为本发明一优选实施例中摄像头可以感知车辆前方行驶区域示意图；
图3为本发明一优选实施例中设定碰撞风险范围的工作示意图；
图4为本发明一优选实施例中行人/车辆目标检测模型结构示意图；
图5为本发明一优选实施例中行人/车辆目标检测模型完成检测行人和车辆工作的示意图；
图6为本发明一优选实施例中行人/车辆距离估计的工作示意图；
图7为本发明一优选实施例中预警决策流程的工作流程图。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
本发明一实施例提供了一种基于单目视觉的车辆碰撞预警方法，该方法实时获取行车状态数据以及前方视野图像数据，通过设定的碰撞风险区域范围，获得最近目标距离估计，进而进行车辆驾驶过程中出现的车辆碰撞进行辅助预警。
本实施例所提供的基于单目视觉的车辆碰撞预警方法，包括如下步骤：
步骤S1，获取前方视野图像数据，对获取的图像数据进行目标检测；
步骤S2，设定碰撞风险区域范围；
步骤S3，对碰撞风险区域内的目标进行过滤，获得最近目标距离估计，并结合车辆的速度信息和加速度信息，估计车辆碰撞到目标所需时间；
步骤S4，综合最近目标距离估计和/或车辆碰撞到目标所需时间估计，对车辆驾驶过程中可能出现的车辆碰撞情况进行辅助预警。
在本实施例中，步骤S1和步骤S2的执行顺序可互换。
作为一优选实施例，步骤S1，包括如下步骤：
步骤S11，基于单目视觉，实时获取行进方向道路的的图像；
步骤S12，在所获取图像的基础上，结合深度神经网络，建立行人/车辆目标检测模型；
步骤S13，利用建立的行人/车辆目标检测模型对行人和/或车辆进行检测，获得行人和/或车辆目标检测结果。
作为一优选实施例，步骤S11中，通过设置于车前窗上方正中间位置的摄像头，实时获取行进方向道路的图像。
作为一优选实施例，步骤S12中，建立行人/车辆目标检测模型的方法，包括：
对大量实际路况图片中的行人和/或车辆图像进行标定，形成训练数据集；
基于深度神经网络，采用训练数据集对该深度神经网络进行预训练，得到行人/车辆目标检测模型。
作为一优选实施例，行人/车辆目标检测模型包括特征提取模块和检测框回归模块；其中：
特征提取模块采用残差网络结构，其输入宽*高的尺寸为480*288的图像，下采样倍数为32，输出宽*高的尺寸分别为15*9和30*18的特征图；
将特征提取模块输出的特征图作为检测框回归模块的输入，对每一个特征图定义n个anchor box，作为检测框回归模块的基准，输出行人和/或车辆目标检测结果。
作为一优选实施例，步骤S13中，获得行人和/或车辆目标检测结果的方法，包括：
设：
每一个bounding box的预测坐标偏移记为tx,ty,tw,th；
特征图中cell偏移图像左上角坐标记为cx,cy；
每一个Anchor box的尺寸记为pw，ph；
预测box的坐标记为bx,by,bw,bh；
真实box的坐标记为gx,gy,gw,gh；
则
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0002769030120000071
Figure BDA0002769030120000072
即得到准确的行人和/或车辆检测结果。
作为一优选实施例，步骤S2中，设定碰撞风险区域范围的方法，包括：
根据视角的远近变化特点，预设定四个点，并定义由这四个点所围成的梯形区域为有碰撞风险的区域，记作arearisk，则arearisk为：
(xi，yi)s.t.i∈[1,2,3,4]；
当检测到的目标处于此风险区域内，对该目标进行风险碰撞预测。
作为一优选实施例，设摄像头分辨率为1920*1080，预设定的用于围成碰撞风险区域范围的四个点的坐标为：
(680，940)，(680，980)，(1080，120)，(1080，1800)。
作为一优选实施例，步骤S3中，根据相似三角形法则，对获得的位于碰撞风险区域内目标检测结果进行距离估计，包括如下步骤：
将宽度为W的物体放置于距离摄像头D的位置，如果物体在图像中的像素宽度为P，则计算得到摄像头的焦距F：
F＝(P*D)/W
将物体远离或者靠近摄像头，由于摄像头的焦距F不变，因此只需测得此时物体在图像中的宽度P’，则估算出此时物体到摄像头的距离D’：
D’＝(F*W)/P’
综合常规轿车宽度的平均值作为基准车辆宽度，以170cm作为行人距离估计时的基准度量，即得到行人和/或车辆目标进行距离估计值。
作为一优选实施例，步骤S3中，估计车辆碰撞到目标所需时间的方法，包括：
获取车辆的速度信息和加速度信息，分别记为vt和at；
行人和/或车辆目标估计值为obj；
结合当前时刻车速vt和加速度at，通过牛顿运动算法，估计车辆碰撞到目标所需时间t为：
obj.dist＝vt*t+0.5*at 2
作为一优选实施例，步骤S4中，设定目标距离最近阈值以及车辆碰撞到目标最短时间阈值，判断车辆驾驶过程中可能出现的车辆碰撞情况，并进行辅助预警。
下面结合附图，对本发明上述实施例所提供的技术方案进一步详细描述如下。
如图1所示，为本发明上述实施例所提供的基于单目视觉的车辆碰撞预警方法工作流程图。
如图2所示，将车载摄像头固定或镶嵌在车窗上部中间位置，使得摄像头可以感知车辆前方行驶区域。
如图3所示，为设定碰撞风险范围的工作示意图。
由于摄像头的固定位置处于车辆的中轴线上且朝向正前方位置，因此在捕获到的图像画面中，车辆自身位置也处于图像的中间位置。车辆在行进过程中，车辆行驶前方为有碰撞风险的区域，通过选取四个点来预设定碰撞风险范围，记作arearisk，在arearisk中：
(xi，yi)s.t.i∈[1,2,3,4]
在该碰撞风险范围的计算中，摄像头分辨率为1920*1080，预设定的碰撞风险范围为由下面四个点围成的梯形：
(680，940)，(680，980)，(1080，120)，(1080，1800)。
只有当车辆或行人处于此风险区域内，才对其进行风险碰撞预测。
如图4，为行人/车辆目标检测模型结构示意图。
通过标定大量数据，结合深度神经网络，建立行人/车辆目标检测模型。
该行人/车辆目标检测网络结构基于yolov3演进得来，网络输入大小为480*288，更好的适应摄像头传感器的分辨率尺寸1920*1080，避免resize过程造成图像畸变。特征提取(backbone)采用残差网络结构。下采样倍数为32。同时，为了应对远处的小目标，采用了多尺度特征对目标位置进行预测。在整个网络结构中，没有池化层和全连接层。因此，对于输入大小为488*288的图像，经过32倍的下采样后，得到15*9的feature map，同时，为了检测小目标而融合多尺度特征，得到另一个30*18的feature map。基于YOLOV3算法，对于每个feature map分别定义3个anchor box，作为回归最终box的基准。
每个bounding box的预测坐标偏移记为tx,ty,tw,th；
Feature map中cell偏移图像左上角坐标记为cx,cy；
Anchor box的尺寸记为pw，ph；
预测box的坐标记为bx,by,bw,bh；
真实box的坐标记为gx,gy,gw,gh；
则：
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0002769030120000091
Figure BDA0002769030120000092
训练好的检测模型可以准确的检测行人和车辆，如图5所示。
如图6所示，为行人/车辆距离估计的工作示意图。
在本发明实施例所提供的***中，需要粗略估计出前方车辆/行人距离当前车辆的距离。根据相似三角形法则计算。假设将宽度为W的物体放置于距离摄像头D的位置，如果物体在图像中的像素宽度为P，则可以计算得到摄像头的焦距F：
F＝(P*D)/W
若将物体远离或者靠近摄像头，由于摄像头的焦距F不变，因此只要测得此时物体在图像中的宽度P’，则可以估算出此时物体到摄像头的距离D’：
D’＝(F*W)/P’
在本发明实施例所提供的***中，综合现阶段市面上常见的轿车宽度的平均值作为基准车辆宽度，以170cm作为行人距离估计时的基准度量。如图6所示，f表示摄像头的焦距，ww表示轿车的平均宽度，wp表示轿车在图像中对应的像素宽度。则由相似三角形的原理可以得到轿车到摄像头的距离：
dist＝(f*ww)/wp
对行人进行距离估计的原理类似。
获得碰撞风险区域内前方车辆和行人的最小距离：
依次判断目标检测得到的所有行人和车辆位置是否位于碰撞风险区域内，并计算得到距离车辆最近的车辆或行人及对应距离估计。算法流程如下：
Figure BDA0002769030120000093
Figure BDA0002769030120000101
结合车辆状态信息进行碰撞预警决策：
在进行碰撞预警决策时，主要结合车辆的速度信息和加速度信息，分别记为vt和at。
记计算得到的距离车辆最近的前方目标(行人/车辆)为obj，那么结合当前时刻车速vt和加速度at，通过牛顿运动公式(下)可估计车辆碰撞到目标所需时间t，如下：
obj.dist＝vt*t+0.5*at 2(牛顿运动公式)
当估算的碰撞时间t＜＝3s时，***给出预警提醒。同时，为避免过度预警，限定当vt＜15时，***不报警。
预警决策流程，如图7所示。
本发明另一实施例提供了一种基于单目视觉的车辆碰撞预警***，包括：
车外图像获取摄像头，用于实时获取行进方向道路的图像；
目标检测模块，根据获取的行进方向道路图像，对图像数据中的行人和/或车辆进行目标检测；
行车状态获取模块，用于获取车辆的速度信息和加速度信息；
碰撞风险区域范围设定模块，用于设定碰撞风险区域范围；
风险计算模块，对碰撞风险区域内的行人和/或车辆目标进行过滤，获得最近目标距离估计，并结合车辆的速度信息和加速度信息，估计车辆碰撞到目标所需时间；
辅助预警模块，综合最近目标距离估计值和/或车辆碰撞到目标所需时间估计值，通过设定的阈值，对车辆驾驶过程中可能出现的车辆碰撞情况进行辅助预警。
作为一优选实施例，车外图像获取摄像头设置于车前窗上方正中间位置。
本发明上述实施例所提供的基于单目视觉的车辆碰撞预警方法及***，可有效减少车辆在行驶过程中的(车辆/行人)碰撞，车辆追尾等事故，可根据车辆行驶状态以及基于单目视觉检测得到的前方行驶区域内的车辆/行人的最小距离自动给出碰撞预警提示，有效给出司机提醒，减少事故发生概率。
需要说明的是，本发明提供的方法中的步骤，可以利用***中对应的模块、装置、单元等予以实现，本领域技术人员可以参照方法的技术方案实现***的组成，即，方法中的实施例可理解为构建***的优选例，在此不予赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的***及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于单目视觉的车辆碰撞预警方法，其特征在于，包括：
获取前方视野图像数据，对获取的图像数据进行目标检测；
设定碰撞风险区域范围；
对碰撞风险区域内的目标进行过滤，获得最近目标距离估计，并结合车辆的速度信息和加速度信息，估计车辆碰撞到目标所需时间；
综合最近目标距离估计值和/或车辆碰撞到目标所需时间估计值，对车辆驾驶过程中可能出现的车辆碰撞情况进行辅助预警。
2.根据权利要求1所述的基于单目视觉的车辆碰撞预警方法，其特征在于，所述获取前方视野图像数据，对获取的图像数据进行目标检测，包括：
基于单目视觉，实时获取行进方向道路的的图像；
在所获取图像的基础上，结合深度神经网络，建立行人/车辆目标检测模型；
利用建立的行人/车辆目标检测模型对行人和/或车辆进行检测，获得行人和/或车辆目标检测结果。
3.根据权利要求2所述的基于单目视觉的车辆碰撞预警方法，其特征在于，所述建立行人/车辆目标检测模型的方法，包括：
对大量实际路况图片中的行人和/或车辆图像进行标定，形成训练数据集；
基于深度神经网络，采用训练数据集对该深度神经网络进行训练，得到行人/车辆目标检测模型。
4.根据权利要求2所述的基于单目视觉的车辆碰撞预警方法，其特征在于，所述行人/车辆目标检测模型，包括：特征提取模块和检测框回归模块；其中：
所述特征提取模块采用残差网络结构，其输入宽*高的尺寸为480*288的图像，下采样倍数为32，输出宽*高的尺寸分别为15*9和30*18的特征图；
将特征提取模块输出的特征图作为检测框回归模块的输入，对每一个特征图定义n个anchor box，作为检测框回归模块的基准，输出行人和/或车辆目标检测结果。
5.根据权利要求2所述的基于单目视觉的车辆碰撞预警方法，其特征在于，所述获得行人和/或车辆目标检测结果的方法，包括：
设：
每一个bounding box的预测坐标偏移记为tx,ty,tw,th；
特征图中cell偏移图像左上角坐标记为cx,cy；
每一个Anchor box的尺寸记为pw，ph；
预测box的坐标记为bx,by,bw,bh；
真实box的坐标记为gx,gy,gw,gh；
则
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure FDA0002769030110000021
Figure FDA0002769030110000022
即得到准确的行人和/或车辆检测结果。
6.根据权利要求1所述的基于单目视觉的车辆碰撞预警方法，其特征在于，所述设定碰撞风险区域范围的方法，包括：
根据视角的远近变化特点，预设定四个点，并定义由这四个点所围成的梯形区域为有碰撞风险的区域，记作arearisk，则arearisk为：
(xi，yi)s.t.i∈[1,2,3,4]；
当检测到的目标处于此风险区域内，对该目标进行风险碰撞预测。
7.根据权利要求5所述的基于单目视觉的车辆碰撞预警方法，其特征在于，设摄像头分辨率为1920*1080，预设定的用于围成碰撞风险区域范围的四个点的坐标为：
(680，940)，(680，980)，(1080，120)，(1080，1800)。
8.根据权利要求1所述的基于单目视觉的车辆碰撞预警方法，其特征在于，所述获得最近目标距离估计和/或估计车辆碰撞到目标所需时间的方法，包括：
-采用相似三角形法则，对获得的位于碰撞风险区域内目标检测结果进行距离估计，包括：
将宽度为W的物体放置于距离摄像头D的位置，如果物体在图像中的像素宽度为P，则计算得到摄像头的焦距F：
F＝(P*D)/W
将物体远离或者靠近摄像头，由于摄像头的焦距F不变，因此只需测得此时物体在图像中的宽度P’，则估算出此时物体到摄像头的距离D’：
D’＝(F*W)/P’
综合常规轿车宽度的平均值作为基准车辆宽度，以170cm作为行人距离估计时的基准高度度量，即得到行人和/或车辆目标的距离估计值；
-所述估计车辆碰撞到目标所需时间的方法，包括：
获取车辆的速度信息和加速度信息，分别记为vt和at；
行人和/或车辆目标估计值为obj；
结合当前时刻车速vt和加速度at，通过牛顿运动算法，估计车辆碰撞到目标所需时间t为：
obj.dist＝vt*t+0.5*at 2。
9.一种基于单目视觉的车辆碰撞预警***，其特征在于，包括：
车外图像获取摄像头，所述车外图像获取摄像头用于实时获取行进方向道路的图像；
目标检测模块，所述目标检测模块根据获取的行进方向道路图像，对图像数据中的行人和/或车辆进行目标检测；
行车状态获取模块，所述行车状态获取模块用于获取车辆的速度信息和加速度信息；
碰撞风险区域范围设定模块，所述碰撞风险区域范围设定模块用于设定碰撞风险区域范围；
风险计算模块，所述风险计算模块对碰撞风险区域内的行人和/或车辆目标进行过滤，获得最近目标距离估计，并结合车辆的速度信息和加速度信息，估计车辆碰撞到目标所需时间；
辅助预警模块，所述辅助预警模块综合行车状态信息、最近目标距离估计以及车辆碰撞到目标所需时间估计，通过设定的阈值，对车辆驾驶过程中出现的车辆碰撞情况进行辅助预警。
10.根据权利要求9所述的基于单目视觉的车辆碰撞预警***，其特征在于，所述车外图像获取摄像头设置于车前窗上方正中间位置。
CN202011243170.4A 2020-11-10 2020-11-10 一种基于单目视觉的车辆碰撞预警方法及*** Active CN112349144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011243170.4A CN112349144B (zh) 2020-11-10 2020-11-10 一种基于单目视觉的车辆碰撞预警方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011243170.4A CN112349144B (zh) 2020-11-10 2020-11-10 一种基于单目视觉的车辆碰撞预警方法及***

Publications (2)

Publication Number Publication Date
CN112349144A true CN112349144A (zh) 2021-02-09
CN112349144B CN112349144B (zh) 2022-04-19

Family

ID=74362331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011243170.4A Active CN112349144B (zh) 2020-11-10 2020-11-10 一种基于单目视觉的车辆碰撞预警方法及***

Country Status (1)

Country Link
CN (1) CN112349144B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507850A (zh) * 2020-12-03 2021-03-16 湖南湘江智能科技创新中心有限公司 一种用于基于计算机视觉的防止车辆碰撞的提醒方法
CN112836663A (zh) * 2021-02-15 2021-05-25 苏州优它科技有限公司 一种轨交车辆视觉激光测距比对检测防撞方法
CN113112866A (zh) * 2021-04-14 2021-07-13 深圳市旗扬特种装备技术工程有限公司 一种智能交通预警方法及智能交通预警***
CN113306566A (zh) * 2021-06-16 2021-08-27 上海大学 一种基于嗅探技术的车辆行人碰撞预警方法及装置
CN113753041A (zh) * 2021-09-29 2021-12-07 合肥工业大学 一种移动摄像测距预警方法及预警装置
CN113792598A (zh) * 2021-08-10 2021-12-14 西安电子科技大学广州研究院 基于车载摄像头的汽车碰撞预测***和方法
CN114228614A (zh) * 2021-12-29 2022-03-25 阿波罗智联(北京)科技有限公司 一种车辆报警方法、装置、电子设备及存储介质
WO2022170633A1 (zh) * 2021-02-15 2022-08-18 苏州优它科技有限公司 一种基于视觉与激光测距的轨交车辆防撞检测方法
CN116953680A (zh) * 2023-09-15 2023-10-27 成都中轨轨道设备有限公司 一种基于图像的目标物实时测距方法及***

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101391589A (zh) * 2008-10-30 2009-03-25 上海大学 车载智能报警方法和装置
US20100201509A1 (en) * 2009-02-03 2010-08-12 Yoshitaka Hara Collision avoidance assisting system for vehicle
US20140176714A1 (en) * 2012-12-26 2014-06-26 Automotive Research & Test Center Collision prevention warning method and device capable of tracking moving object
CN106156725A (zh) * 2016-06-16 2016-11-23 江苏大学 一种基于车辆前方的行人及骑车人的识别预警***的工作方法
CN107862287A (zh) * 2017-11-08 2018-03-30 吉林大学 一种前方小区域物体识别及车辆预警方法
CN108674413A (zh) * 2018-05-18 2018-10-19 广州小鹏汽车科技有限公司 车辆行人碰撞预防方法及***
CN109334563A (zh) * 2018-08-31 2019-02-15 江苏大学 一种基于道路前方行人和骑行者的防碰撞预警方法
CN110264783A (zh) * 2019-06-19 2019-09-20 中设设计集团股份有限公司 基于车路协同的车辆防碰撞预警***及方法
CN110276988A (zh) * 2019-06-26 2019-09-24 重庆邮电大学 一种基于碰撞预警算法的辅助驾驶***
CN111098815A (zh) * 2019-11-11 2020-05-05 武汉市众向科技有限公司 一种基于单目视觉融合毫米波的adas前车碰撞预警方法
CN111292366A (zh) * 2020-02-17 2020-06-16 华侨大学 一种基于深度学习和边缘计算的视觉行车测距算法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101391589A (zh) * 2008-10-30 2009-03-25 上海大学 车载智能报警方法和装置
US20100201509A1 (en) * 2009-02-03 2010-08-12 Yoshitaka Hara Collision avoidance assisting system for vehicle
US20140176714A1 (en) * 2012-12-26 2014-06-26 Automotive Research & Test Center Collision prevention warning method and device capable of tracking moving object
CN106156725A (zh) * 2016-06-16 2016-11-23 江苏大学 一种基于车辆前方的行人及骑车人的识别预警***的工作方法
CN107862287A (zh) * 2017-11-08 2018-03-30 吉林大学 一种前方小区域物体识别及车辆预警方法
CN108674413A (zh) * 2018-05-18 2018-10-19 广州小鹏汽车科技有限公司 车辆行人碰撞预防方法及***
CN109334563A (zh) * 2018-08-31 2019-02-15 江苏大学 一种基于道路前方行人和骑行者的防碰撞预警方法
CN110264783A (zh) * 2019-06-19 2019-09-20 中设设计集团股份有限公司 基于车路协同的车辆防碰撞预警***及方法
CN110276988A (zh) * 2019-06-26 2019-09-24 重庆邮电大学 一种基于碰撞预警算法的辅助驾驶***
CN111098815A (zh) * 2019-11-11 2020-05-05 武汉市众向科技有限公司 一种基于单目视觉融合毫米波的adas前车碰撞预警方法
CN111292366A (zh) * 2020-02-17 2020-06-16 华侨大学 一种基于深度学习和边缘计算的视觉行车测距算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵轩: "基于单目视觉的前向车辆检测、跟踪与测距", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507850A (zh) * 2020-12-03 2021-03-16 湖南湘江智能科技创新中心有限公司 一种用于基于计算机视觉的防止车辆碰撞的提醒方法
CN112836663A (zh) * 2021-02-15 2021-05-25 苏州优它科技有限公司 一种轨交车辆视觉激光测距比对检测防撞方法
WO2022170633A1 (zh) * 2021-02-15 2022-08-18 苏州优它科技有限公司 一种基于视觉与激光测距的轨交车辆防撞检测方法
CN113112866B (zh) * 2021-04-14 2022-06-03 深圳市旗扬特种装备技术工程有限公司 一种智能交通预警方法及智能交通预警***
CN113112866A (zh) * 2021-04-14 2021-07-13 深圳市旗扬特种装备技术工程有限公司 一种智能交通预警方法及智能交通预警***
CN113306566A (zh) * 2021-06-16 2021-08-27 上海大学 一种基于嗅探技术的车辆行人碰撞预警方法及装置
CN113306566B (zh) * 2021-06-16 2023-12-12 上海大学 一种基于嗅探技术的车辆行人碰撞预警方法及装置
CN113792598B (zh) * 2021-08-10 2023-04-14 西安电子科技大学广州研究院 基于车载摄像头的汽车碰撞预测***和方法
CN113792598A (zh) * 2021-08-10 2021-12-14 西安电子科技大学广州研究院 基于车载摄像头的汽车碰撞预测***和方法
CN113753041B (zh) * 2021-09-29 2023-06-23 合肥工业大学 一种移动摄像测距预警方法及预警装置
CN113753041A (zh) * 2021-09-29 2021-12-07 合肥工业大学 一种移动摄像测距预警方法及预警装置
CN114228614A (zh) * 2021-12-29 2022-03-25 阿波罗智联(北京)科技有限公司 一种车辆报警方法、装置、电子设备及存储介质
CN116953680A (zh) * 2023-09-15 2023-10-27 成都中轨轨道设备有限公司 一种基于图像的目标物实时测距方法及***
CN116953680B (zh) * 2023-09-15 2023-11-24 成都中轨轨道设备有限公司 一种基于图像的目标物实时测距方法及***

Also Published As

Publication number Publication date
CN112349144B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN112349144B (zh) 一种基于单目视觉的车辆碰撞预警方法及***
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
CN106611512B (zh) 前车起步的处理方法、装置和***
US6690011B2 (en) Infrared image-processing apparatus
JP4420011B2 (ja) 物体検知装置
EP2928178B1 (en) On-board control device
US8050459B2 (en) System and method for detecting pedestrians
EP2026246A1 (en) Method and apparatus for evaluating an image
JP4692344B2 (ja) 画像認識装置
EP1562147A1 (en) Mobile body surrounding surveillance
JP2008027309A (ja) 衝突判定システム、及び衝突判定方法
JP2010152873A (ja) 接近物体検知システム
Aytekin et al. Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information
JP4528283B2 (ja) 車両周辺監視装置
EP3364336B1 (en) A method and apparatus for estimating a range of a moving object
JP2002314989A (ja) 車両用周辺監視装置
CN106570487A (zh) 物体间的碰撞预测方法和装置
CN111351474A (zh) 车辆移动目标检测方法、装置和***
JPH1062162A (ja) 障害物検出装置
WO2012014972A1 (ja) 車両挙動解析装置及び車両挙動解析プログラム
JP2011103058A (ja) 誤認識防止装置
JP3999088B2 (ja) 障害物検出装置
JP3916930B2 (ja) 進入警報装置
JP4176558B2 (ja) 車両周辺表示装置
TWI621073B (zh) Road lane detection system and method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant