CN107985200A - 一种载重货车右转弯安全预警***及方法 - Google Patents

一种载重货车右转弯安全预警***及方法 Download PDF

Info

Publication number
CN107985200A
CN107985200A CN201711112829.0A CN201711112829A CN107985200A CN 107985200 A CN107985200 A CN 107985200A CN 201711112829 A CN201711112829 A CN 201711112829A CN 107985200 A CN107985200 A CN 107985200A
Authority
CN
China
Prior art keywords
pedestrian
fish
hand bend
load truck
blind area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711112829.0A
Other languages
English (en)
Other versions
CN107985200B (zh
Inventor
张祖涛
朱勉宽
席超星
姚迪
潘宏烨
漆令飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN201711112829.0A priority Critical patent/CN107985200B/zh
Publication of CN107985200A publication Critical patent/CN107985200A/zh
Application granted granted Critical
Publication of CN107985200B publication Critical patent/CN107985200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于鱼眼视觉的载重货车右转弯安全预警***及方法。所述***包括鱼眼摄像头、超声波传感器、信号处理单元、中央控制中心、液晶显示屏、油门控制器。所述方法主要步骤为：当启动右转信号时，启动鱼眼摄像头和超声波传感器进行载重货车右转弯盲区信息采集。通过圆盘标定板进行鱼眼摄像头的标定，校正畸变的图像。通过HOG+SVM算法进行载重货车右转弯盲区行人检测，然后利用基于颜色特征统计和HOG特征表示的相关滤波融合算法进行载重货车右转弯盲区行人实时跟踪。根据超声波传感器测量的人车横向距离，控制载重货车转弯车速，防止驾驶员误操作。

Description

一种载重货车右转弯安全预警***及方法
技术领域
本发明涉及车辆驾驶安全技术领域，尤其涉及载重货车右转弯安全预警***及方法。
背景技术
近年来，由于经济发展和工业运输的需要，我国载重货车的保有量不断增加。载重货车因为其“大、长、高”的特点使其存在许多视觉盲区，相应的导致了车辆事故不断发生。特别是“死亡弯月”事故，即当载重货车右转弯时，因为内轮差和右后视镜盲区的存在，驾驶员不能注意到载重货车右侧车身周围是否存在行人，从而导致事故的发生。
专利公开号CN104401254A的中国专利公开了货车转弯时死亡区域人体感应***，涉及一种红外线感应***。该***包括多个红外线感应器，分布于货车的两侧，分别连接货车的转向、鸣笛和刹车装置。货车转弯时由于内轮差存在大约2米的死亡区域，司机无法通过后视镜观测到，而红外线感应器的感应范围之和覆盖矩形死亡区域，当货车转弯感应***感应到人体时，红外线感应器会向鸣笛和刹车装置发出信号，通过鸣笛和刹车避免事故发生。虽然该专利能有效检测到死亡区域行人，但该***信号采集比较单一，若红外感应器偶然发生故障，***将不能正常工作。
专利公开号CN104477094A的中国专利公开了一种挂车转弯安全预警***，属于交通安全监控领域。该***包括车身，驾驶室，转向灯控制开关，行人移动手机终端，驾驶员移动手机终端，设置在车身两侧的信息采集装置和警示装置，以及设置在驾驶室内的报警装置和中央处理器。该***采用两路获取信号来预警驾驶员和行人，一路信号是：通过信息采集装置采集路况信息并传入中央处理器，经中央处理器进行转换和逻辑运算后，输出控制信号给警示装置和报警装置。另一路信号是：行人移动手机终端和驾驶员移动手机终端将位置信息通信连接至中央处理器，经中央处理器进行运算处理，输出触发驾驶员和处于危险距离的行人的移动手机终端报警信号。同时该***采用毫米波雷达和广角摄像头作为信息采集装置、LED软光带作为警示装置、蜂鸣器作为报警装置。虽然该***克服了信号采集单一的缺点，能保障***的可靠性，但该***设备过多，信号处理实时性较差，且通过手机终端进行报警。若司机与行人没有携带移动终端，报警将会失效。
发明内容
本发明的一个目的是提供一种载重货车右转弯安全预警***。它能有效地解决载重货车右转盲区是否有障碍的视觉的观察问题。
本发明的另一个目的是提供一种载重货车右转弯安全预警方法。它能有效地解决载重货车右转盲区有障碍的预警问题。
本发明的目的是通过以下技术方案来实现的：一种载重货车右转弯安全预警***，包括鱼眼摄像头、超声波传感器、信号处理单元、中央控制中心、液晶显示屏、油门控制器；
驾驶台设有液晶显示屏，货车驾驶室后厢背部设有鱼眼摄像头，货车车厢右侧设有一个以上的超声波传感器，驾驶室内部设有信号处理单元和中央控制中心；鱼眼摄像头的输出端和超声波传感器输出端连接信号处理单元的输入端，信号处理单元的输出端连接中央控制中心的输入端和液晶显示屏的输入端，中央控制中心的输出端连接鱼眼摄像头的输入端、超声波传感器的输入端和油门控制器的输入端。
所述鱼眼摄像头设置于货车驾驶室后厢背部，所述超声波传感器有多个，分别位于货车车厢右侧的位置，所述信号处理单元设置于驾驶室内部，所述中央控制中心设置于驾驶室驾驶台内部，所述液晶显示屏设置于驾驶室驾驶台；
本发明的另一个目的是通过以下技术方案来实现的：一种载重货车右转弯安全预警方法，其包括如下步骤：
步骤一、载重货车右转弯盲区信息采集：
载重货车的中央控制中心检测到右转信号后，启动货车驾驶室后厢背部的鱼眼摄像头，获取实时右转弯盲区视频，同时启动载重货车车厢右侧的超声波传感器，获取距离信息；
步骤二、利用圆盘标定板对鱼眼摄像头进行标定：
因为鱼眼镜头拍摄出来的照片与圆盘近似，采用一种利用圆盘标定板提供精确的点线特征来完成鱼眼摄像头的标定，通过标定获取鱼眼摄像头的内外参数以及畸变系数；
步骤三、鱼眼畸变图像的校正：
利用鱼眼图像函数校正法中的模板法对畸变图像进行校正，并用三次卷积法对校正后的图像进行填充，为右转弯盲区中行人的检测及跟踪做准备工作；
步骤四、载重货车右转弯盲区行人检测及跟踪：
校正畸变图像以后，在信号处理单元内进行行人的检测以及跟踪处理，选取校正后的第一帧图像进行载重货车右转弯盲区行人检测；采用方向梯度直方图HOG的特征表示加上支持向量机SVM的分类器算法进行行人检测；检测到盲区行人后，提取第一帧的跟踪框位置信息，采用基于颜色特征和HOG特征表示的相关滤波融合算法进行盲区行人跟踪；
步骤五、载重货车右转弯车速控制：
载重货车右转弯盲区行人信息实时的显示在液晶显示屏上可以帮助驾驶员了解盲区信息，但为了防止驾驶员误踩油门，采用一种基于人车横向距离的载重货车右转弯车速控制方案，在鱼眼摄像头检测跟踪盲区行人同时，超声波传感器获取行人与货车的横向距离，中央控制中心根据当前货车转弯车速与行人之间的横向距离，主动控制货车油门控制器，防止驾驶员误操作；控制的具体方法是：
在任意横向距离下，油门突然加大时，中央控制中心进行紧急制动；
A、10m<货车到行人的横向距离，中央控制中心控制油门，限制转弯车速30km/h；
B、5m<货车到行人的横向距离<10m，中央控制中心控制油门，限制转弯车速20km/h；
C、3m<货车到行人的横向距离<5m，中央控制中心控制油门，限制转弯车速10km/h；
D、1m<货车到行人的横向距离<3m中央控制中心控制油门，限制转弯车速5km/h；
E、货车到行人的横向距离<1m，中央控制中心控制油门，限制转弯车速0km/h；
重复以上步骤一到步骤五的操作。
本发明目的是通过以下技术方案来实现的：
利用圆盘标定板对鱼眼摄像头进行标定，该步骤具体包括：
B1、利用鱼眼摄像头拍摄多张黑白相间的圆盘标定板图像；
B2、进行二值化，将彩色图转化为灰度图；
B3、输入畸变的圆盘标定图像的数量，即横纵坐标上圆心的个数；
B4、以左下圆盘圆心作为图像坐标原点，提取各个圆盘圆心的位置作为特征点；
B5、做亚像素精确化，保存好这些圆心；
B6、根据相机坐标系与世界坐标系转换原理，计算出外参数中的旋转矩阵以及平移向量，根据相机坐标系与图像物理坐标系转换原理，计算出内参数；
B7、利用相机的非线性模型公式计算出径向畸变系数以及切向畸变系数。
对载重货车右转弯盲区进行行人检测及跟踪，该步骤具体包括：
D1、导入n帧校正后的货车盲区图片，选取第t帧；
D2、提取感兴趣区域RIO，对ROI区域进行PCA降维；
D3、提取测试样本中方向梯度直方图HOG特征，利用训练好后的支持向量机SVM分类器进行盲区行人的识别；
D4、判别是否检测到行人；
D5、如果未识别到行人，选取后一帧图像，进行D2；
D6、如果识别到行人，提取跟踪框(groundtruth)四个边角位置信息；
D7、根据跟踪框(groundtruth)位置信息，进行框内目标的颜色特征训练，统计前景目标和背景区域的颜色概率；
D8、根据跟踪框(groundtruth)位置信息，提取框内检测行人的HOG特征并进行训练，获得相关滤波器模板；
D9、输入下一帧校正后的图像；
D10、利用贝叶斯方法判别图像中每个像素属于前景的概率，然后抑制边缘相似颜色的物体，得到当前帧基于颜色特征的目标跟踪区域；
D11、做余弦窗处理，然后通过快速傅里叶变换与相关滤波器模板相乘，做傅里叶逆变换获取最大响应点图，得到当前帧基于相关滤波获取的目标跟踪区域；
D12、将基于颜色特征统计的目标跟踪区域和相关滤波获取的最大响应点图进行融合，获得当前帧中目标的最终跟踪框(groundtruth)区域，然后转入D7。
本发明的有益效果是：
与现有技术相比，本发明采用鱼眼摄像头来获取更多的货车右转弯盲区图像信息。通过鱼眼镜头的标定以及畸变图像的校正，利用HOG+SVM行人检测算法以及基于颜色和相关滤波的行人跟踪算法能够及时准确地检测跟踪到货车右转视觉盲区中的行人。处理后的图像显示在液晶显示屏上，能够起警示驾驶员的作用。另外，为了防止驾驶员因看到行人在盲区内而误操作，本发明利用超声波传感器获取盲区行人和货车之间的横向距离，根据距离以及驾驶员的操作情况，限制货车转弯时的车速。
总之，本发明可以在载重货车转弯时警示驾驶员，还可以控制转弯车速，防止驾驶员的误操作。***结构简单，可推广性强。
附图说明
图1为本发明的结构示意图；
图2为本发明流程图；
图3为本发明的鱼眼摄像头标定流程图；
图4为本发明的载重货车右转盲区行人检测及跟踪方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
实施列1：
请参考图1所示，图1为本发明实施例1载重货车右转弯安全预警***的结构示意图。本实施例提供了一种载重货车右转弯安全预警***，所述***包括鱼眼摄像头1、超声波传感器2、信号处理单元3、中央控制中心4、液晶显示屏5、油门控制器6；
所述鱼眼摄像头1设置于货车车头后半部，所述超声波传感器2有多个，分别位于货车车厢右侧的位置，所述信号处理单元3设置于驾驶室内部，所述中央控制中心4设置于驾驶室内部，所述液晶显示屏5设置于驾驶室内部；
所述鱼眼摄像头1的输出端、超声波传感器2输出端连接信号处理单元3的输入端，所述信号处理单元3的输出端连接中央控制中心4的输入端和液晶显示屏5的输入端，所述中央控制中心4的输出端连接鱼眼摄像头1的输入端、超声波传感器2的输入端和油门控制器6的输入端。
实施列2：
请参考图2所示，图2为本发明载重货车右转弯安全预警***使用方法流程图。本实施例提供了本发明的使用方法，该方法包括如下步骤：
步骤一、载重货车右转弯盲区信息采集：
载重货车的中央控制中心检测到右转信号后，启动货车驾驶室后厢背部的鱼眼摄像头，获取实时右转弯盲区视频，同时启动载重货车车厢右侧的超声波传感器，获取距离信息；
步骤二、利用圆盘标定板对鱼眼摄像头进行标定：
因为鱼眼镜头拍摄出来的照片与圆盘近似，采用一种利用圆盘标定板提供精确的点线特征来完成鱼眼摄像头的标定，通过标定获取鱼眼摄像头的内外参数以及畸变系数；
步骤三、鱼眼畸变图像的校正：
利用鱼眼图像函数校正法中的模板法对畸变图像进行校正，并用三次卷积法对校正后的图像进行填充，为右转弯盲区中行人的检测及跟踪做准备工作；
步骤四、载重货车右转弯盲区行人检测及跟踪：
校正畸变图像以后，在信号处理单元内进行行人的检测以及跟踪处理，选取校正后的第一帧图像进行载重货车右转弯盲区行人检测；采用方向梯度直方图HOG的特征表示加上支持向量机SVM的分类器算法进行行人检测；检测到盲区行人后，提取第一帧的跟踪框位置信息，采用基于颜色特征和HOG特征表示的相关滤波融合算法进行盲区行人跟踪；
步骤五、载重货车右转弯车速控制：
载重货车右转弯盲区行人信息实时的显示在液晶显示屏上可以帮助驾驶员了解盲区信息，但为了防止驾驶员误踩油门，采用一种基于人车横向距离的载重货车右转弯车速控制方案，在鱼眼摄像头检测跟踪盲区行人同时，超声波传感器获取行人与货车的横向距离，中央控制中心根据当前货车转弯车速与行人之间的横向距离，主动控制货车油门控制器，防止驾驶员误操作；控制的具体方法是：
在任意横向距离下，油门突然加大时，中央控制中心进行紧急制动；
A、10m<货车到行人的横向距离，中央控制中心控制油门，限制转弯车速30km/h；
B、5m<货车到行人的横向距离<10m，中央控制中心控制油门，限制转弯车速20km/h；
C、3m<货车到行人的横向距离<5m，中央控制中心控制油门，限制转弯车速10km/h；
D、1m<货车到行人的横向距离<3m中央控制中心控制油门，限制转弯车速5km/h；
E、货车到行人的横向距离<1m，中央控制中心控制油门，限制转弯车速0km/h；
重复以上步骤一到步骤五的操作。
实施列3：
请参考图3所示，图3为本发明实施例3鱼眼摄像头标定流程图。该方法在实施例2步骤二过程中实现，该方法包括如下步骤：
B1、利用鱼眼摄像头拍摄多张黑白相间的圆盘标定板图像。
B2、进行二值化，将彩色图转化为灰度图。
B3、输入畸变的圆盘标定图像的数量，即横纵坐标上圆心的个数。
B4、以左下圆盘圆心作为图像坐标原点，提取各个圆盘圆心的位置(x0,y0)作为特征点。
B5、做亚像素精确化，保存好这些圆心。
B6、根据相机坐标系中点(Xc，Yc，Zc)与世界坐标系中点(Xw，Yw，Zw)转换原理：
其中0T为0转置矩阵。计算出外参数中的旋转矩阵R以及平移向量t。根据相机坐标系中点(Xc，Yc，Zc)与图像物理坐标系中点(x,y)转换原理：
s为一比例因子。可以计算出相机的内参数fx,fy,cx,cy。
B7、利用相机的非线性模型公式：
式中点(xd,yd)为原始位置，点(xp,yp)为校正后的新位置，r是点距离成像仪的距离。可以计算出径向畸变系数k1,k2,k3,k4以及切向畸变系数p1,p2。
实施列4：
请参考图4所示，图4为本发明实施例4载重货车右转盲区行人检测及跟踪方法流程图。该方法在实施例2步骤四过程中实现，该方法包括如下步骤：
D1、导入n帧校正后的货车盲区图片，选取第t帧；
D2、提取感兴趣区域RIO，对ROI区域进行PCA降维；
D3、提取测试样本中方向梯度直方图HOG特征，利用训练好后的支持向量机SVM分类器进行盲区行人的识别；
D4、判别是否检测到行人；
D5、如果未识别到行人，选取后一帧图像，进行D2；
D6、如果识别到行人，提取跟踪框(groundtruth)四个边角位置信息；
D7、根据跟踪框(groundtruth)位置信息，进行框内目标的颜色特征训练，统计前景目标和背景区域的颜色概率；
D8、根据跟踪框(groundtruth)位置信息，提取框内检测行人的HOG特征并进行训练，获得相关滤波器模板；
D9、输入下一帧校正后的图像；
D10、利用贝叶斯方法判别图像中每个像素属于前景的概率，然后抑制边缘相似颜色的物体，得到当前帧基于颜色特征的目标跟踪区域；
D11、做余弦窗处理，然后通过快速傅里叶变换与相关滤波器模板相乘，做傅里叶逆变换获取最大响应点图，得到当前帧基于相关滤波获取的目标跟踪区域；
D12、将基于颜色特征统计的目标跟踪区域和相关滤波获取的最大响应点图进行融合，获得当前帧中目标的最终跟踪框(groundtruth)区域，然后转入D7。

Claims (4)

1.一种载重货车右转弯安全预警***，包括鱼眼摄像头(1)，驾驶台设有液晶显示屏(5)，其特征在于，货车驾驶室后厢背部设有鱼眼摄像头(1)，货车车厢右侧设有一个以上的超声波传感器(2)，驾驶室内部设有信号处理单元(3)和中央控制中心(4)；鱼眼摄像头(1)的输出端和超声波传感器(2)输出端连接信号处理单元(3)的输入端，信号处理单元(3)的输出端连接中央控制中心(4)的输入端和液晶显示屏(5)的输入端，中央控制中心(4)的输出端连接鱼眼摄像头(1)的输入端、超声波传感器(2)的输入端和油门控制器(6)的输入端。
2.一种载重货车右转弯安全预警方法，其包括如下步骤：
步骤一、载重货车右转弯盲区信息采集：
载重货车的中央控制中心检测到右转信号后，启动货车驾驶室后厢背部的鱼眼摄像头(1)，获取实时右转弯盲区视频，同时启动载重货车车厢右侧的超声波传感器(2)，获取距离信息；
步骤二、利用圆盘标定板对鱼眼摄像头(1)进行标定：
因为鱼眼镜头拍摄出来的照片与圆盘近似，采用一种利用圆盘标定板提供精确的点线特征来完成鱼眼摄像头(1)的标定，通过标定获取鱼眼摄像头(1)的内外参数以及畸变系数；
步骤三、鱼眼畸变图像的校正：
利用鱼眼图像函数校正法中的模板法对畸变图像进行校正，并用三次卷积法对校正后的图像进行填充，为右转弯盲区中行人的检测及跟踪做准备工作；
步骤四、载重货车右转弯盲区行人检测及跟踪：
校正畸变图像以后，在信号处理单元(3)内进行行人的检测以及跟踪处理，选取校正后的第一帧图像进行载重货车右转弯盲区行人检测；采用方向梯度直方图HOG的特征表示加上支持向量机SVM的分类器算法进行行人检测；检测到盲区行人后，提取第一帧的跟踪框位置信息，采用基于颜色特征和HOG特征表示的相关滤波融合算法进行盲区行人跟踪；
步骤五、载重货车右转弯车速控制：
载重货车右转弯盲区行人信息实时的显示在液晶显示屏(5)上可以帮助驾驶员了解盲区信息，但为了防止驾驶员误踩油门，采用一种基于人车横向距离的载重货车右转弯车速控制方案，在鱼眼摄像头(1)检测跟踪盲区行人同时，超声波传感器(2)获取行人与货车的横向距离，中央控制中心(4)根据当前货车转弯车速与行人之间的横向距离，主动控制货车油门控制器(6)，防止驾驶员误操作；控制的具体方法是：
在任意横向距离下，油门突然加大时，中央控制中心进行紧急制动；
A、10m<货车到行人的横向距离，中央控制中心控制油门，限制转弯车速30km/h；
B、5m<货车到行人的横向距离<10m，中央控制中心控制油门，限制转弯车速20km/h；
C、3m<货车到行人的横向距离<5m，中央控制中心控制油门，限制转弯车速10km/h；
D、1m<货车到行人的横向距离<3m中央控制中心控制油门，限制转弯车速5km/h；
E、货车到行人的横向距离<1m，中央控制中心控制油门，限制转弯车速0km/h；
重复以上步骤一到步骤五的操作。
3.根据权利要求2所述一种载重货车右转弯安全预警方法，其特征在于，所述步骤二中的利用圆盘标定板对鱼眼摄像头进行标定，该步骤具体包括：
B1、利用鱼眼摄像头拍摄多张黑白相间的圆盘标定板图像；
B2、进行二值化，将彩色图转化为灰度图；
B3、输入畸变的圆盘标定图像的数量，即横纵坐标上圆心的个数；
B4、以左下圆盘圆心作为图像坐标原点，提取各个圆盘圆心的位置(x0,y0)作为特征点；
B5、做亚像素精确化，保存好这些圆心；
B6、根据相机坐标系与世界坐标系转换原理计算出外参数中的旋转矩阵R以及平移向量t，根据相机坐标系与图像物理坐标系转换原理计算出内参数fx,fy,cx,cy；
B7、利用相机的非线性模型公式计算出径向畸变系数k1,k2,k3,k4以及切向畸变系数p1,p2。
4.根据权利要求2所述的一种载重货车右转弯安全预警方法，其特征在于，对载重货车右转弯盲区进行行人检测及跟踪，该步骤具体包括：
D1、导入n帧校正后的货车盲区图片，选取第t帧；
D2、提取感兴趣区域RIO，对ROI区域进行PCA降维；
D3、提取测试样本中方向梯度直方图HOG特征，利用训练好后的支持向量机SVM分类器进行盲区行人的识别；
D4、判别是否检测到行人；
D5、如果未识别到行人，选取后一帧图像，进行D2；
D6、如果识别到行人，提取跟踪框四个边角位置信息；
D7、根据跟踪框位置信息，进行框内目标的颜色特征训练，统计前景目标和背景区域的颜色概率；
D8、根据跟踪框位置信息，提取框内检测行人的HOG特征并进行训练，获得相关滤波器模板；
D9、输入下一帧校正后的图像；
D10、利用贝叶斯方法判别图像中每个像素属于前景的概率，然后抑制边缘相似颜色的物体，得到当前帧基于颜色特征的目标跟踪区域；
D11、做余弦窗处理，然后通过快速傅里叶变换与相关滤波器模板相乘，做傅里叶逆变换获取最大响应点图，得到当前帧基于相关滤波获取的目标跟踪区域；
D12、将基于颜色特征统计的目标跟踪区域和相关滤波获取的最大响应点图进行融合，获得当前帧中目标的最终跟踪框区域，然后转入D7。
CN201711112829.0A 2017-11-13 2017-11-13 一种载重货车右转弯安全预警方法 Active CN107985200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711112829.0A CN107985200B (zh) 2017-11-13 2017-11-13 一种载重货车右转弯安全预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711112829.0A CN107985200B (zh) 2017-11-13 2017-11-13 一种载重货车右转弯安全预警方法

Publications (2)

Publication Number Publication Date
CN107985200A true CN107985200A (zh) 2018-05-04
CN107985200B CN107985200B (zh) 2020-11-13

Family

ID=62031323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711112829.0A Active CN107985200B (zh) 2017-11-13 2017-11-13 一种载重货车右转弯安全预警方法

Country Status (1)

Country Link
CN (1) CN107985200B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109109748A (zh) * 2018-10-08 2019-01-01 南京云计趟信息技术有限公司 一种用于重型载货汽车右侧盲区的行人识别预警***
CN109345874A (zh) * 2018-12-07 2019-02-15 安徽江淮汽车集团股份有限公司 一种基于v2x的车辆右转预警方法和***
CN110228413A (zh) * 2019-06-10 2019-09-13 吉林大学 大型车辆转弯时避免行人卷入车下的安全预警***
CN110929606A (zh) * 2019-11-11 2020-03-27 浙江鸿泉车联网有限公司 车辆盲区行人监控方法和装置
CN112466159A (zh) * 2020-11-30 2021-03-09 浙江科技学院 一种大型车辆右转弯安全性预警***
TWI763150B (zh) * 2020-11-26 2022-05-01 中華電信股份有限公司 行車安全與事故判斷系統、方法及電腦可讀媒介

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6661449B1 (en) * 1996-06-06 2003-12-09 Fuji Jukogyo Kabushiki Kaisha Object recognizing apparatus for vehicle and the method thereof
CN102923000A (zh) * 2012-11-01 2013-02-13 西南交通大学 一种基于双目视觉目标检测的汽车主动倒车限速控制方法
US20130100287A1 (en) * 2011-10-25 2013-04-25 Altek Autotronics Corp. Blind Spot Detection System and Blind Spot Detection Method Thereof
CN105678787A (zh) * 2016-02-03 2016-06-15 西南交通大学 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法
CN205601701U (zh) * 2016-03-21 2016-09-28 南京信息工程大学 货车弯道行人检测警示***
CN106379317A (zh) * 2016-09-09 2017-02-08 张晶 汽车安全辅助盲区显示***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6661449B1 (en) * 1996-06-06 2003-12-09 Fuji Jukogyo Kabushiki Kaisha Object recognizing apparatus for vehicle and the method thereof
US20130100287A1 (en) * 2011-10-25 2013-04-25 Altek Autotronics Corp. Blind Spot Detection System and Blind Spot Detection Method Thereof
CN102923000A (zh) * 2012-11-01 2013-02-13 西南交通大学 一种基于双目视觉目标检测的汽车主动倒车限速控制方法
CN105678787A (zh) * 2016-02-03 2016-06-15 西南交通大学 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法
CN205601701U (zh) * 2016-03-21 2016-09-28 南京信息工程大学 货车弯道行人检测警示***
CN106379317A (zh) * 2016-09-09 2017-02-08 张晶 汽车安全辅助盲区显示***

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109109748A (zh) * 2018-10-08 2019-01-01 南京云计趟信息技术有限公司 一种用于重型载货汽车右侧盲区的行人识别预警***
CN109345874A (zh) * 2018-12-07 2019-02-15 安徽江淮汽车集团股份有限公司 一种基于v2x的车辆右转预警方法和***
CN110228413A (zh) * 2019-06-10 2019-09-13 吉林大学 大型车辆转弯时避免行人卷入车下的安全预警***
CN110228413B (zh) * 2019-06-10 2020-07-14 吉林大学 大型车辆转弯时避免行人卷入车下的安全预警***
CN110929606A (zh) * 2019-11-11 2020-03-27 浙江鸿泉车联网有限公司 车辆盲区行人监控方法和装置
TWI763150B (zh) * 2020-11-26 2022-05-01 中華電信股份有限公司 行車安全與事故判斷系統、方法及電腦可讀媒介
CN112466159A (zh) * 2020-11-30 2021-03-09 浙江科技学院 一种大型车辆右转弯安全性预警***
CN112466159B (zh) * 2020-11-30 2022-05-06 浙江科技学院 一种大型车辆右转弯安全性预警***

Also Published As

Publication number Publication date
CN107985200B (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN107985200A (zh) 一种载重货车右转弯安全预警***及方法
CN108189838B (zh) 一种融合型自适应巡航弯道控制方法及装置
EP2352136B1 (en) System for monitoring the area around a vehicle
CN107031623A (zh) 一种基于车载盲区相机的道路预警方法
CN109435852A (zh) 一种针对大型卡车的全景式辅助驾驶***及方法
CN109190523B (zh) 一种基于视觉的车辆检测跟踪预警方法
JP5529910B2 (ja) 車両周辺監視装置
CN104751600B (zh) 基于虹膜识别的防疲劳驾驶安全设备及其使用方法
CN107133559B (zh) 基于360度全景的运动物体检测方法
CN106156725A (zh) 一种基于车辆前方的行人及骑车人的识别预警***的工作方法
CN203020198U (zh) 一种叉车倒车防撞辅助装置
CN201240344Y (zh) 嵌入式集成视觉辅助行车安全***
CN107229906A (zh) 一种基于可变部件模型算法的汽车超车预警方法
CN109733283A (zh) 基于ar的被遮挡障碍物识别预警***及识别预警方法
CN108944668A (zh) 一种基于车载360度环视输入的辅助驾驶预警方法
JP2011076214A (ja) 障害物検出装置
CN105059184A (zh) 客运车辆弯道侧翻早期预警与主动防控装置及其判断方法
CN106853794A (zh) 运用结构光感测物体距离的内轮差警示方法及***
CN103699899B (zh) 基于等距曲线模型的车道线检测方法
Chang et al. Design and implementation of an intelligent motorcycle helmet for large vehicle approach intimation
KR20120086577A (ko) 카메라를 이용한 측면차량 검출 장치 및 방법
CN110929606A (zh) 车辆盲区行人监控方法和装置
CN105787456A (zh) 一种夜间远红外图像中的行人检测方法
CN206141431U (zh) 一种基于Kinect的汽车泊车辅助安全***
CN103077393B (zh) 基于dsp的车载实时运动目标检测***及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant