CN106373430A

CN106373430A - 一种基于计算机视觉的交叉路口通行预警方法

Info

Publication number: CN106373430A
Application number: CN201610735587.XA
Authority: CN
Inventors: 杜娟; 徐晟�; 李彤彤; 刘凌菁; 张晓荣; 朱殿臣; 王珺; 邓逸川
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2016-08-26
Filing date: 2016-08-26
Publication date: 2017-02-01
Anticipated expiration: 2036-08-26
Also published as: CN106373430B

Abstract

本发明公开了一种基于计算机视觉的交叉路口通行预警方法，包括，S1实时采集交叉路口的视频图像，并抓拍车辆的特写图像；S2根据视频图像提取运动目标，生成运动目标行进信息及根据特写图像提取出完整的车辆牌照信息；S3对运动目标进行分类，得出分类结果；S4根据分类结果及行进信息，计算车辆的行进速度；S5存储通过交叉路口的车辆信息，根据车辆的行进速度及行进信息，预测所述运动目标下一时刻位置的质心坐标；S6根据行进信息、行进速度及该运动目标下一时刻位置的质心坐标，符合异常条件的情况，生成预警信号并显示预警信息。利用视频图像分析技术对施工路口通行异常情况进行分析并输出预警信号，稳定性强，准确率高。

Description

一种基于计算机视觉的交叉路口通行预警方法

技术领域

本发明涉及一种交通安全预警领域，具体涉及一种基于计算机视觉的交叉路口通行预警方法。

背景技术

在施工地段道路中，尤其是交叉路口，是道路网中最危险的区域，由于施工场地为临时开辟，信号灯和道路指示线稀少，行人不集中，施工车辆大多数为大型车辆，再加上外来车辆的驶入，成为了交通事故的多发点。行人、车辆行经交叉路口时，往往由于施工建筑物导致驾驶员与行人产生视觉盲区，外来车辆行驶至施工特定路段违反施工管理规定，以及车辆速度超过施工路段安全值，这些因素都有可能引发交通事故，在施工路段交通信号灯稀少，道路不规则的情况下，尤其需要注意交通安全隐患的产生。传统的交通预警***并不完全适用于施工现场这样的地理条件，而且预警范围不够广，技术手段单一，为此我们提出一种基于计算机视觉的施工地段交叉路口通行预警***及方法。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种基于计算机视觉的交叉口通行预警方法，具体应用在施工地段交叉路口通行的车辆与行人出现异常情况时进行预警，防止交通事故的发生。

本发明采用如下技术方案：

一种基于计算机视觉的交叉路口通行预警方法，包括如下步骤：

S1实时采集交叉路口的视频图像，并抓拍车辆的特写图像；

S2根据视频图像提取运动目标，生成运动目标行进信息及根据特写图像提取出完整的车辆牌照信息；

S3对运动目标进行分类，得出分类结果；

S4根据分类结果及行进信息，计算车辆的行进速度；

S5存储通过交叉路口的车辆信息，根据车辆的行进速度及行进信息，预测所述运动目标下一时刻位置的质心坐标；

S6根据行进信息、行进速度及该运动目标下一时刻位置的质心坐标，对符合异常条件的情况，生成预警信号并显示预警信息。

所述运动目标包括车辆及行人，所述行进信息包括车辆或行人通过交叉路口的时间段、车辆或行人的质心坐标及行进方向。

所述根据视频图像提取运动目标，具体包括如下步骤：

S2.1对交叉路口场景的视频图像建立混合高斯模型，提取出前景目标，生成二值化的运动目标前景图；

S2.2统计各个运动目标像素点个数和像素点的图像坐标，计算运动目标质心的图像坐标

(\overset{&OverBar;}{x}, \overset{&OverBar;}{y}) = [\frac{Σ_{i = 0}^{M - 1} Σ_{j = 0}^{N - 1} x_{i, j}}{(M - 1) (N - 1)}, \frac{Σ_{i = 0}^{M - 1} Σ_{j = 0}^{N - 1} y_{i, j}}{(M - 1) (N - 1)}];

其中M、N分别表示图像中某个运动目标的最大宽度和高度，i表示图像中像素点的横坐标，j表示图像中像素点的纵坐标，x_ij表示运动目标中像素点的横坐标值，y_ij表示运动目标像素点的纵坐标值；

S2.3根据相邻20帧图像中运动目标的质心的图像坐标计算运动目标的运动矢量，由运动矢量确定运动目标的行进方向，行进方向可依据交叉路口的不同进行统一划分。

S3对运动目标进行分类，得出分类结果，所述分类结果包括工程车、非工程车和行人，具体步骤包括：

S3.1提取运动目标的轮廓，并依据轮廓绘制包围轮廓的外接矩形，根据运动目标外接矩形的宽高比初步区分车辆目标与行人目标；

如果运动目标外接矩形的宽高比小于设定的经验阈值，则认为此时的运动目标为行人；

如果运动目标外接矩形的宽高比大于设定的经验阈值，则认为此时的运动目标为工程车、非工程车或者是多个行人粘连形成的粘连行人目标；

S3.2根据运动目标的方向梯度直方图特征，利用支持向量机的算法建立分类器模型来区分工程车、非工程车与粘连行人目标。

所述S3.2具体为：

S3.2.1收集工程车、非工程车与粘连行人的图像，统一图像的尺寸大小，分别建立样本集，设工程车样本集为集合A、非工程车样本集为集合B、粘连行人样本集为集合C；

S3.2.2将S3.2.1中的集合A与集合B作为正集、集合C作为负集，分别提取正集与负集的方向梯度直方图特征作为支持向量机算法的输入，生成分类器模型一，所述分类器模型一用于对车辆与行人进行二分类；

S3.2.3将S3.2.1中的集合A作为正集、集合B作为负集，分别提取正集与负集的方向梯度直方图特征作为支持向量机算法的输入，生成分类器模型二，所述分类器模型二用于对工程车与非工程车进行二分类；

S3.2.4根据提取的各个运动目标的外接矩形提取各个运动目标的对应原始RGB图像，提取各个运动目标原始RGB图像的方向梯度直方图特征；

S3.2.5提取的各个运动目标原始RGB图像的方向梯度直方图特征依次作为分类器模型一的输入，如果输出结果为正，则认为此时的运动目标为车辆，如果输出结果为负，则认为此时的运动目标为粘连行人；

S3.2.6将S3.2.5中分类结果为车辆的运动目标的方向梯度直方图特征作为分类器模型二的输入，如果输出结果为正，则认为此时的运动目标为工程车，如果输出结果为负，则认为此时的运动目标为非工程车。

所述S4中根据分类结果及行进信息，计算车辆的行进速度，具体为：

S4.1根据分类结果，选取车辆目标作为计算速度的对象，不计算行人的行进速度；

S4.2：在视频图像中，按垂直于车辆目标行进方向设置两条虚拟检测线；再测定两条虚拟检测线对应实际道路上的距离ΔD；计算实时视频图像中车辆先后到达两条虚拟检测线的帧数F；

S4.3：根据视频图像的采样频率f，两条虚拟检测线对应实际道路上的距离ΔD，车辆先后到达两条虚拟检测线的帧数F，计算出车辆的行进速度V：

V = \frac{Δ D}{F / f} .

所述S5具体是采用卡尔曼滤波算法预测运动目标下一时刻位置的质心坐标。

所述异常条件包括如下情况：

车辆行进速度超出施工现场规定的速度值的情况生成预警信号

根据车辆的位置坐标以及所预测的车辆下一时刻位置的质心坐标，判断车辆是否存在位于施工现场的特殊区域或者已经驶入该特殊区域的情况，从而生成预警信号，所述特殊区域是指施工现场管理规定的非工程车车辆禁止驶入的路段；

根据车辆与行人的行进信息，判断车辆与行人、车辆与车辆的通行是否存在构成视觉盲区的情况，从而生成预警信号。

所述预警信息包括显示超速车辆的监控图像并发出预警语音、驶入施工现场特殊区域的非工程车辆的监控图像并发出预警语音及显示车辆与行人、车辆与车辆之间有发生碰撞可能性时的场景图像并发出预警语音并显示提示标语。

全景摄像机采集交叉路口的视频图像，特写摄像机抓拍车辆的特写图像。

本发明的有益效果：

(1)能够有效区分工程车辆与非工程车辆，从而实行自动高效的监管，便于对不同的车辆采取不同的管制措施，为施工现场的安全管理提供便捷；

(2)能够对运动目标下一时刻的位置进行估计，从而对有闯入施工现场禁止区域可能性的车辆发出警报，从而避免危险情况的发生；

(3)能够检测出通行方向构成视觉盲区的车辆与行人，并显示安全提示信息，让驾驶员有充足时间采取减速或停车措施；

(4)对施工现场通行的车辆，不管是施工车辆还是外来车辆，实行信息化管理，建立数据库，存储其通过施工现场的时刻、车辆的种类，牌照等信息。

(5)用于检测施工地段场景的高清摄像机架设在路面的上空，不需要将设备埋入地下，安装和维护费用较低。

附图说明

图1是本发明的结构示意图；

图2是本发明实施例的结构现场安装图；

图3是本发明实施例LED显示屏显示内容示意图；

图4是本发明的工作流程图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图1、图2及图3所示，一种实施本发明的基于计算机视觉的交叉路口通行预警***，包括前端采集模块、视频信息处理模块、网络传输模块、监控模块及预警模块；

所述前端采集模块包括全景摄像机2、特写摄像机1及视频编码设备，所述全景摄像机、特写摄像机分别与视频编码设备连接，在交叉路口特定区域设置虚拟线圈，特写摄像机的视场对准虚拟线圈7，全景摄像机的视场包括交叉路口各个方向视角；

所述视频信息处理模块，具体为工控机3，所述工控机通过网络传输模块分别与监控模块及预警模块连接，所述视频编码设备与工控机连接。

所述监控模块由信息终端显示设备5及数据库服务器6构成；

所述预警模块包括LED显示屏8。

所述工控机的型号为IPC610。

所述LED显示屏的型号为CSD-P6-SMD3535，双备份电源线，分辨率在720P以上。

所述网络传输模块为无线网络传输设备4。

所述全景摄像机与特写摄像机应该架设在十字或丁字路口转角路面上的空中。

本实施例中虚拟线圈为矩形。

本实施例中包括两个特写摄像机及一个全景摄像机，LED有两块显示屏幕，显示信息能够方便各个道路上的车辆与行人观察，如图3所示。

全景摄像机采集交叉路口大范围的场景信息并输出至工控机进行视频图像的处理；在交叉路口处特定区域设置虚拟线圈，特写摄像机的视场对准交叉路口处特定区域设置虚拟线圈，抓拍车辆的高清图像并输出至工控机进行图像处理；工控机上安装的软件利用视频处理和模式识别技术完成车辆、行人的检测、跟踪、分类、位置预判、识别车辆牌照号、存储车辆信息、输出预警信号等；信号的输出端有LED显示屏、数据库服务器、信息终端显示设备。LED显示屏用于显示预警信息，数据库服务器用于存储通过施工地段交叉路口的车辆信息，信息终端显示设备用于实时显示交叉路口的监控画面以及与监控画面同步的实现车辆与行人的检测、跟踪、分类、位置预判、预警等功能的效果图。

如图4所示，一种基于计算机视觉的交叉路口通行预警方法，包括如下步骤：

S1全景摄像机实时采集交叉路口的车辆与行人通行的视频图像，特写摄像机抓拍虚拟线圈内每个车辆的特写图像；

S2根据视频图像提取运动目标，生成运动目标行进信息及根据特写图像提取出完整的车辆牌照信息，所述运动目标包括车辆及行人，所述行进信息包括车辆或行人通过交叉路口的时间段、车辆或行人的质心坐标及行进方向。

所述车辆牌照信息是通过对特写图像进行车牌定位、字符分割、字符识别和颜色识别而得到的。

(\overset{&OverBar;}{x}, \overset{&OverBar;}{y}) = [\frac{Σ_{i = 0}^{M - 1} Σ_{j = 0}^{N - 1} x_{i, j}}{(M - 1) (N - 1)}, \frac{Σ_{i = 0}^{M - 1} Σ_{j = 0}^{N - 1} y_{i, j}}{(M - 1) (N - 1)}];

S3对运动目标进行分类，得出分类结果；

所述分类结果包括工程车、非工程车和行人，具体步骤包括：

S4根据分类结果及行进信息，计算车辆的行进速度；

V = \frac{Δ D}{F / f}

所述S5具体是采用卡尔曼滤波算法预测运动目标下一时刻的位置的质心坐标。卡尔曼滤波是一种递归的估计，分为预测阶段与更新阶段，在预测阶段，卡尔曼滤波算法使用当前时刻状态的估计，做出对下一时刻状态的估计；在更新阶段，卡尔曼滤波算法利用对下一时刻状态的观测值优化在预测阶段获得的预测值，以获得一个更精确的新估计值。

具体为：

S5.1获取视频图像中上一时刻运动目标的质心的图像坐标和质心在图像上的移动速度，建立运动目标位置的预测方程，即：

X(t+1|t)＝AX(t|t)+w(t+1)

式中：X(t+1|t)为利用当前时刻预测出的下一时刻运动目标的状态向量；X(t|t)为当前时刻最优状态估计向量；A为状态传递矩阵；w(t+1)为过程噪声，假定期望为零的白噪声，它的协方差矩阵为Q(t+1)；

所述运动目标质心在图像上的移动速度v具体计算公式如下：

v = \frac{Δ d}{t}

其中t为两个时刻的时间间隔，Δd为t时间运动目标质心移动的距离。

S5.2：更新状态X(t+1|t)的协方差矩阵：

P(t+1|t)＝AP(t|t)A^T+Q(t+1)

其中：P(t+1|t)表示X(t+1|t)对应的协方差，P(t|t)表示X(t|t)对应的协方差，A^T表示A的转置矩阵，

S5.3：根据下一时刻的运动目标状态的测量值，结合预测出的下一时刻运动目标的状态向量，计算下一时刻运动目标状态的最优化估算值X(t+1|t+1)：

X(t+1|t+1)＝X(t+1|t)+Kg(t+1)(Z(t+1)-HX(t+1|t))

其中Z(t+1)为运动目标下一时刻状态的测量值，H为测量矩阵，其中Kg(t+1)为卡尔曼增益：

Kg(t+1)＝P(t+1|t)H^T/(HP(t+1|t)H^T+R(t+1))

其中R(t+1)为测量噪声协方差矩阵，H^T为H的转置矩阵；

S5.4：更新下一时刻运动目标状态X(t+1|t+1)的协方差矩阵P(t+1|t+1)：

P(t+1|t+1)＝(I-Kg(t+1)H)P(t+1|t)

其中I为单位矩阵。

所述异常情况主要包括车辆的速度超出施工现场规定的速度，非工程车驶入施工现场的特殊区域，交叉路口通行的车辆与车辆之间、车辆与行人之间的通行方向构成视觉盲区、车辆与车辆、车辆与行人有发生碰撞的可能性；

所述施工现场的特殊区域是指施工现场管理规定的非工程车辆禁止驶入的路段；

预警模块根据工控机输出的预警信号生成相应的警报信息，包括以下几种情况：(1)在信息终端显示设备上显示超速车辆的监控图像并发出预警语音；(2)在信息终端显示设备上显示驶入施工现场特殊区域的非工程车辆的监控图像并发出预警语音；(3)在信息终端设备上显示车辆与行人、车辆与车辆之间有发生碰撞可能性时的场景图像并发出预警语音并在LED屏幕上显示提示标语。

图2为本发明实施例中预警模块的LED信息屏安装结构示意图，如图1的道路场景示意图所示，车辆与行人的通行方向由于施工路段的建筑区域导致视觉盲区的出现，此时预警模块输出预警信息至LED显示屏，提醒车辆和行人注意安全。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于计算机视觉的交叉路口通行预警方法，其特征在于，包括如下步骤：

S1实时采集交叉路口的视频图像，并抓拍车辆的特写图像；

S3对运动目标进行分类，得出分类结果；

S4根据分类结果及行进信息，计算车辆的行进速度；

2.根据权利要求1所述的交叉路口通行预警方法，其特征在于，所述运动目标包括车辆及行人，所述行进信息包括车辆或行人通过交叉路口的时间段、车辆或行人的质心坐标及行进方向。

3.根据权利要求1所述的交叉路口通行预警方法，其特征在于，所述根据视频图像提取运动目标，具体包括如下步骤：

(\overset{&OverBar;}{x}, \overset{&OverBar;}{y}) = [\frac{Σ_{i = 0}^{M - 1} Σ_{j = 0}^{N - 1} x_{i, j}}{(M - 1) (N - 1)}, \frac{Σ_{i = 0}^{M - 1} Σ_{j = 0}^{N - 1} y_{i, j}}{(M - 1) (N - 1)}];

4.根据权利要求1所述的交叉路口通行预警方法，其特征在于，S3对运动目标进行分类，得出分类结果，所述分类结果包括工程车、非工程车和行人，具体步骤包括：

5.根据权利要求4所述的交叉路口通行预警方法，其特征在于，所述S3.2具体为：

6.根据权利要求1所述的交叉口通行预警方法，其特征在于，所述S4中根据分类结果及行进信息，计算车辆的行进速度，具体为：

S4.2：在视频图像中，按垂直于车辆目标行进方向设置两条虚拟检测线；再测定两条虚拟检测线对应实际道路上的距离△D；计算实时视频图像中车辆先后到达两条虚拟检测线的帧数F；

S4.3：根据视频图像的采样频率f，两条虚拟检测线对应实际道路上的距离△D，车辆先后到达两条虚拟检测线的帧数F，计算出车辆的行进速度V：

V = \frac{Δ D}{F / f} .

7.根据权利要求1所述的交叉路口通行预警方法，其特征在于，所述S5具体是采用卡尔曼滤波算法预测运动目标下一时刻位置的质心坐标。

8.根据权利要求1所述的交叉路口通行预警方法，其特征在于，所述异常条件包括如下情况：

根据车辆的位置坐标以及预测车辆下一时刻位置坐标，判断车辆是否位于施工现场的特殊区域或者已经驶入该特殊区域的情况，从而生成预警信号，所述特殊区域是指施工现场管理规定的非工程车车辆禁止驶入的路段；

根据车辆与行人的行进信息，判断车辆与行人、车辆与车辆的通行是否视觉盲区的情况，从而生成预警信号。

9.根据权利要求1所述的交叉路口通行预警方法，其特征在于，所述预警信息包括显示超速车辆的监控图像并发出预警语音、驶入施工现场特殊区域的非工程车辆的监控图像并发出预警语音及显示车辆与行人、车辆与车辆之间有发生碰撞可能性时的场景图像并发出预警语音并显示提示标语。

10.根据权利要求1所述的交叉路口通行预警方法，其特征在于，全景摄像机采集交叉路口的视频图像，特写摄像机抓拍车辆的特写图像。