CN102765365B - 基于机器视觉的行人检测方法及行人防撞预警*** - Google Patents

Abstract

本发明公开了一种基于机器视觉的行人检测方法及行人防撞预警***，该方法包括采集汽车前方图像、在经过处理的图像中对行人进行预定位、对预定位的行人区域进行判断，准确定位行人区域、测量行人与汽车之间的距离及判断行人是否在危险区域，并对处于碰撞危险区域的行人进行报警。该防撞预警***包括图像获取单元、行人定位单元、行人测距单元及碰撞可能性分析单元，本发明通过采用行人分类器检测道路上的行人，模糊了行人之间的个体特征，减少了个体性差异对检测结果的影响，同时减少了光照对检测结果的影响，提高了行人的检测效率，进而通过防撞预警***判断发生事故的可能性，给驾驶人员发出警示信号，提高了机动车道路行驶的安全性。

Description

基于机器视觉的行人检测方法及行人防撞预警***

技术领域

本发明有关一种行人检测方法及行人防撞预警***，特别是指一种能准确判断行人位置以及发生危险事故可能性的基于机器视觉的行人检测方法及行人防撞预警***。

背景技术

行人检测及警报***是指，通过某种传感器(如雷达和摄像机)的探测功能，获取行驶汽车前方的道路交通信息，包括相对移动和相对静止的行人或物体，然后再通过后台***，对传感器获取的信号进行处理和分析，利用各种物理参数测量和计算机视觉识别等技术，实现行人的检测和跟踪，并且通过计算相对位移和距离，预测车辆和行人相撞的可能性。如果根据当前参数判断出有相撞的可能性，则通过报警***输出报警信号，以提示驾驶员避免发生相撞的危险，达到保护行人安全的目的。

现有的行人检测***一般包括两个模块：感兴趣区分割和目标识别。感兴趣区域分割的目的是从图像中提取可能包含行人的窗口区域作进一步验证，以避免穷尽搜索，提高***的速度。目标识别是行人检测***的核心，它对得到的感兴趣区域进行验证，以判断其中是否包含行人，它的性能决定了整个***可以达到的检测精度和鲁棒性。目前，行人检测技术一般有以下几种方式：一，基于运动的方法；二，基于明确人体模型的方法；三，基于模板匹配的方法；四，基于统计分类的方法。以上几种方法的基本原理和优缺点分析分别如下：

基于运动的方法，其原理是通过分析行人步态的周期性来识别行人，其优点是受颜色、光照的影响较小，鲁棒性好，其缺点是只能识别运动行人，需要多帧，影响实时性；

基于明确人体模型的方法，其原理是构造明确的人体参数模型来表示行人，其优点是具有明确的模型，方便处理姿态和遮挡问题，其缺点是建模和求解比较复杂；

基于模板匹配的方法，其原理是通过模板表示行人，其优点是计算方法简单，***开销小，其缺点是需要很多模板对付姿态问题，匹配比较耗时间；

基于统计分类的方法，其原理是通过分类器对行人进行识别，其优点是不需要人工设置大量参数、鲁棒性好，其缺点是需要大量的训练数据并且训练周期较长。

发明内容

有鉴于此，本发明的主要目的在于提供一种能提高行人检测准确性及准确判断发生危险事故可能性的基于机器视觉的行人检测方法及行人防撞预警***。

为达到上述目的，本发明提供一种基于机器视觉的行人检测方法，其包括有如下步骤：

(a)采集汽车前方图像，通过设置在汽车上的摄像机采集汽车前方实时图像，并将图像传输给图像处理模块对图像进行预处理；

(b)在经过预处理的图像中对行人进行预定位，在图像中预定位行人区域；

(c)对预定位的行人区域进行判断，去除误检区域，准确定位行人区域；

(d)测量行人与汽车之间的距离；

(e)判断行人是否在危险区域，并对处于碰撞危险区域的行人进行报警。

所述步骤(a)中对图像预处理包括根据数据库格式的要求，对图像进行去锯齿化操作和直方图均衡化操作。

在所述步骤(b)中，根据特定场景下行人图像信息，预先训练适合此场景行人识别的HAAR特征分类器文件，在定位行人时根据预先训练的HAAR特征分类器定位行人区域。

在所述步骤(c)中，通过对预定位的行人区域进行HOG特征提取，根据已训练好的HOG特征分类器对提取的HOG特征进行判断，而准确定位行人区域。

在所述步骤(d)中运用摄像机标定原理计算行人与汽车之间的距离。

在所述步骤(e)中，包括汽车直行与汽车处于拐弯两种情况，通过汽车速度与汽车横摆角速度估算汽车行驶路径，并结合行人与汽车之间的距离确定碰撞危险区域。

优选地，在所述步骤(c)与(d)之间还包括有步骤(c1)，对检测的行人进行跟踪，将检测的前一帧图像的行人区域作扩大后作为当前帧图像的行人感兴趣区域，若未检测到行人，则返回所述步骤(a)。

优选地，在所述步骤(d)与步骤(e)之间包括有步骤(d1)，预估行人行走路径，连续采集行人的几帧图像，计算行人的位置数据，采用函数拟合方法预估行人的行走路径，根据汽车行驶路径及行人与汽车之间的距离并结合行人行走路径确定碰撞危险区域。

本发明还提供一种基于机器视觉的行人防撞预警***，其包括有：

图像获取及预处理单元，其用于采集汽车前方的图像并对图像预处理；

与所述图像获取单元连接的行人定位单元，该行人定位单元用于定位图像中行人的位置，所述行人定位单元根据预先训练的行人特征分类器对图像中行人区域进行预定位与准确定位；

与所述行人定位单元连接的行人测距单元，该行人测距单元基于图像中行人位置测量行人与汽车之间的距离，所述行人测距单元根据摄像机标定的方法计算行人位置；

与所述行人测距单元连接的碰撞可能性分析单元，该碰撞可能性分析单元用于判断行人与汽车发生碰撞的可能性，该碰撞可能性分析单元采用区域划分，根据汽车行驶速度以及横摆角参数估算汽车的行驶路径，计算分析行人与汽车碰撞的可能性。

优选地，本发明基于机器视觉的行人防撞预警***还包括有与所述行人定位单元连接的行人行走路径单元，该行人行走路径单元采用动态物体跟踪预测的方法通过函数拟合预测行人行走的路径，根据汽车行驶速度以及横摆角参数估算汽车的行驶路径并结合行人路径计算分析碰撞的可能性。

本发明通过采用行人分类器检测道路上的行人，模糊了行人之间的个体特征，减少了个体性差异对检测结果的影响，同时减少了光照对检测结果的影响，提高了行人的检测效率，进而通过防撞预警***判断发生事故的可能性，给驾驶人员发出警示信号，提高了机动车道路行驶的安全性。

附图说明

图1为本发明基于机器视觉的行人检测方法步骤流程图；

图2为本发明中的HAAR矩阵特征灰度值的计算原理图；

图3为本发明基于机器视觉的行人检测方法的实施例示意图一；

图4为本发明基于机器视觉的行人检测方法的实施例示意图二；

图5为本发明基于机器视觉的行人防撞预警***实施例一的结构原理图；

图6为本发明基于机器视觉的行人防撞预警***实施例二的结构原理图。

具体实施方式

为便于对本发明的方法及***有进一步的了解，现配合附图并举较佳实施例详细说明如下。

本发明通过安装于汽车上方摄像机获取前方实时图像，根据预防行人碰撞要求在图像中提取感兴趣区域，然后对所提取的区域进行一系列的图像处理和运算，实现行人的检测，结合行人碰撞危险区判断是否发出警报。

如图1所示，本发明的实施包括以下步骤：

步骤一，采集汽车前方图像。通过设置在汽车上的摄像机(如红外CCD摄像机或CMOS摄像机)采集汽车前方实时图像，并对图像进行适当处理，例如根据数据格式的需要，将获取的图像转换成单通道灰度图像，以符合数据库格式的要求，对图像进行去锯齿化操作和直方图均衡化操作。

步骤二，在图像中对行人进行预定位。根据特定场景下行人图像信息，预先训练适合此场景行人识别的HAAR特征分类器文件，在定位行人时根据预先训练的HAAR特征分类器定位行人区域。

在步骤二中，其中，针对当前行人检测现状及项目条件，采用HAAR特征的办法，HAAR特征采用积分图来计算。灰度图像I的积分图S定义为：

$S(u,v)={\∫}_{x=0}^u{\∫}_{y=0}^{v}I(x,y)\mathrm{dxdy}$

其中，(u，v)表示积分图坐标，I(x，y)表示原图像(x，y)点灰度值。

HAAR矩形特征灰度值的计算如图2所示，A1点的值表示区域A的灰度总和，简记为A；A2点的值为A+B；A3点的值为A+C；A4点的值为A+B+C+D。于是由A1，A2，A3，A4围成的矩形区域D的灰度总和可以表示为：A1+A4-A2-A3。借助于积分图像，计算矩形模板的灰度特征时同矩形大小无关。

步骤三，对预定位的行人区域进行判断。在步骤二中提取的行人区域有较多的误检，通过对这些区域进行HOG特征提取，根据已训练好的HOG特征分类器对提取的HOG特征进行判断，去除误检区域，从而准确定位行人区域。

步骤四，对检测的行人进行跟踪。在步骤四准确定位出行人区域后，对行人进行跟踪可以大大提升***的实时性，例如将检测的前一帧图像的行人区域作适当扩大后作为该帧图像的行人感兴趣区域。若未检测到行人，则返回步骤一。

步骤五，测量行人与汽车之间的距离。本发明根据行人在图像中的位置，运用摄像机标定原理计算行人与汽车之间的距离。公式为：

$d=\frac{f}{\left|\mathrm{\Δu}\right|}*h$

d是汽车与人的距离，h是摄像机与地面距离，Δu为行人位置与地平面消失点的像素差，f为摄像机像素焦距(即透镜的物理焦距与成像仪每个单位尺寸的乘积)。

其中摄像机标定方法原理，即采用世界坐标投影到图像坐标的方法，设世界中点Q(X，Y，Z)其投影到图像坐标(x，y)，则：

$x=f_x\left(\frac{X}{Z}\right)+c_x$

$y=f_y\left(\frac{Y}{Z}\right)+c_y$

其中(c_x，c_y)为地面消失点；f_x，f_y是像素焦距。

因此，当用标定方法计算出摄像机地面消失点，像素焦距，即可算出投影到图像的世界中某点与摄像机的水平距离。

步骤六，预估行人行走路径。本发明连续采集行人的几帧图像，计算行人的位置数据，采用函数拟合方法预估行人以后的运动方向，即得出行人的行走路径。

步骤七，判断行人是否在危险区域，并对处于碰撞危险区域的行人进行报警。由于人踩刹车有一定反映时间，设这段时间为t1；踩刹车后汽车有一定反应时间才能停下来，设这段时间设为t2，则踩刹车到汽车停下来总时间为t，则：

t＝t1+t2

进入危险区域分两种情况来说明。由步骤五可以得到行人与汽车的距离，设汽车速度为v，引入参数k(0＜k≤1)，参数k是为了留出一点空间以防汽车刹车后还是撞到人。

第一种情况是汽车直行，如图3所示，此时汽车刹车直到速度为零时，走过的位移为l，则：

l＝vt

当l≥kd时，行人位于危险区域，此时汽车报警；当l＜kd时，行人位于安全区域，此时汽车只是显示检测到行人。

第二种情况是汽车处于拐弯，如图4所示，此时汽车走过的轨迹为曲线MN，曲线MN之间的圆心角为Φ，因此汽车位移l，

$l=\frac{2v}{w}\sin \left(\frac{\mathrm{wt}}{2}\right)$

当l≥kd时，行人位于危险区域，此时汽车报警；当l＜kd时，行人位于安全区域，此时汽车只是显示检测到行人。

以上提到的车速v与转弯时摆角速度w，均可由车本身的ECU(ElectronicControl Unit，电子控制单元)及汽车内置摆角传感器实时测量并传送到数据处理端进行融合判断。

如图5所示，本发明的基于机器视觉的行人防撞预警***，其包括：图像获取及预处理单元，其用于采集汽车前方的图像，并对图像进行预处理；与图像获取单元连接的行人定位单元，该行人定位单元用于基于行人特征定位图像中行人的位置，所述行人定位单元根据预先训练的行人特征分类器(如HAAR特征分类器与HOG特征分类器)分别对图像中行人区域进行预定位与准确定位；与行人定位单元连接的行人测距单元，该行人测距单元基于图像中行人位置定位行人相对于汽车的位置，即测量行人与汽车之间的距离，所述行人测距单元根据摄像机标定的方法计算行人位置；与行人测距单元连接的碰撞可能性分析单元，该碰撞可能性分析单元用于判断行人与汽车发生碰撞的可能性，该碰撞可能性分析单元采用区域划分，根据汽车行驶速度以及横摆角等参数估算汽车的行驶路径，计算分析行人与汽车碰撞的可能性。如图6所示，本发明基于机器视觉的行人防撞预警***还可以包括有与行人定位单元连接的行人行走路径单元，该行人行走路径单元采用动态物体跟踪预测的方法通过函数拟合预测行人行走的路径，根据汽车行驶速度以及横摆角等参数估算汽车的行驶路径并结合行人路径计算分析碰撞的可能性。

其中，所述行人定位单元包括：用于行人检测的预先训练的HAAR特征分类器与HOG特征分类器，对图像中行人首次出现的区域进行划分，这样只对该区域进行检测，检测到后运用跟踪算法跟踪目标，减少行人检测时的计算量，提高***的运行速度。

利用行人行走路径单元与碰撞可能性分析单元，根据行人在前几帧图像中的位置估算行人的运动路径，与汽车行进路径进行比较，分析行人与汽车相撞的可能性。

本发明通过采用行人分类器检测道路上的行人，模糊了行人之间的个体特征，减少了个体性差异对检测结果的影响，同时减少了光照对检测结果的影响，提高了行人的检测效率，进而通过防撞预警***判断发生事故的可能性，给驾驶人员发出警示信号，提高了机动车道路行驶的安全性。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种基于机器视觉的行人检测方法，其特征在于，其包括有如下步骤：

（a）采集汽车前方图像，通过设置在汽车上的摄像机采集汽车前方实时图像，并将图像传输给图像处理模块对图像进行预处理；

（b）在经过预处理的图像中对行人进行预定位，在图像中预定位行人区域； 

（c）对预定位的行人区域进行判断，去除误检区域，准确定位行人区域；

（d）测量行人与汽车之间的距离；

（d1）预估行人行走路径，连续采集行人的几帧图像，计算行人的位置数据，采用函数拟合方法预估行人的行走路径；

（e）判断行人是否在危险区域，并对处于碰撞危险区域的行人进行报警，汽车行进方向包括汽车直行与汽车处于拐弯两种情况，通过汽车速度与汽车横摆角速度估算汽车行驶路径，根据汽车行驶路径及行人与汽车之间的距离并结合行人行走路径确定碰撞危险区域。

2.如权利要求1所述的基于机器视觉的行人检测方法，其特征在于，所述步骤（a）中对图像预处理包括根据数据库格式的要求，对图像进行去锯齿化操作和直方图均衡化操作。

3.如权利要求1所述的基于机器视觉的行人检测方法，其特征在于，在所述步骤（b）中，根据特定场景下行人图像信息，预先训练适合此场景行人识别的HAAR特征分类器文件，在定位行人时根据预先训练的HAAR特征分类器定位行人区域。

4.如权利要求3所述的基于机器视觉的行人检测方法，其特征在于，在所述步骤（c）中，通过对预定位的行人区域进行HOG特征提取，根据已训练好的HOG特征分类器对提取的HOG特征进行判断，而准确定位行人区域。

5.如权利要求1所述的基于机器视觉的行人检测方法，其特征在于，在所述步骤（d）中运用摄像机标定原理计算行人与汽车之间的距离。

6.如权利要求1所述的基于机器视觉的行人检测方法，其特征在于，在所述步骤（c）与（d）之间还包括有步骤（c1），对检测的行人进行跟踪，将检测的前一帧图像的行人区域作扩大后作为当前帧图像的行人感兴趣区域，若未检测到行人，则返回所述步骤（a）。

7.一种基于机器视觉的行人防撞预警***，其特征在于，其包括有：

图像获取及预处理单元，其用于采集汽车前方的图像并对图像预处理；

与所述图像获取单元连接的行人定位单元，该行人定位单元用于定位图像中行人的位置，所述行人定位单元根据预先训练的行人特征分类器对图像中行人区域进行预定位与准确定位；

与所述行人定位单元连接的行人测距单元，该行人测距单元基于图像中行人位置测量行人与汽车之间的距离，所述行人测距单元根据摄像机标定的方法计算行人位置；

与所述行人测距单元连接的碰撞可能性分析单元，该碰撞可能性分析单元用于判断行人与汽车发生碰撞的可能性，该碰撞可能性分析单元采用区域划分，根据汽车行驶速度以及横摆角参数估算汽车的行驶路径，计算分析行人与汽车碰撞的可能性；该行人防撞预警***还包括有与所述行人定位单元连接的行人行走路径单元，该行人行走路径单元采用动态物体跟踪预测的方法通过函数拟合预测行人行走的路径，根据汽车行驶速度以及横摆角参数估算汽车的行驶路径并结合行人路径计算分析汽车在直行与拐弯两种情况下的碰撞的可能性。