CN103158620B - 一种车辆行人检测跟踪预警*** - Google Patents

Abstract

本发明公开了一种车辆行人检测跟踪预警***，其包括安装在车辆中的被动式单目红外摄像机、显示器、模数转换模块、电源模块、处理电路。电源模块供电给整个***，处理电路通过模数转换模块获取红外摄像机的视频图像信号并进行数据处理后显示于该显示器。处理电路采用FPGA电路模块和ARM电路模块结合的硬件主体构架，红外摄像机安装在本车辆的头部且隐藏于格栅后并保证镜头视野不被遮挡，同时保持安装的位置在本车辆的中心线位置，红外摄像机的安装高度使得镜头视场能够覆盖本车辆前方区域，以获得视频中的路面铺满一半视场到三分之二视场之间。本发明的优点在于：提高驾驶的安全性，有效避免大部分的交通事故，从而降低生命财产损失。

Description

一种车辆行人检测跟踪预警***

技术领域

本发明涉及一种汽车辅助安全驾驶***，尤其涉及一种基于单目红外视频的车辆行人检测跟踪预警***，可具体应用于车载夜视、交通运输、视频监控和公共安全等领域的目标检测、跟踪和测距。

背景技术

随着汽车市场的快速发展和安防意识的日益强化，人们对汽车安全保障技术的要求越来越高。现有汽车照明***在夜间、雪天或大雾等能见度较低情况下视距不远、效果不佳的弊病成为汽车行驶的安全隐患之一，另外在夜晚行车时，驾驶员通常会被对方车辆的灯光干扰出现盲区，也容易发生车祸。被动式红外夜视***根据不同温度的物体发出的红外光强度不同的原理进行成像，物体的温度越高，呈现出的图像越亮，所以被动式红外夜视***可以在黑暗中帮助驾驶员导航，使驾驶员在有灯光和黑暗两种情况下都能看清驾驶环境，通过被动式红外夜视***看到的车辆行人会比路面和树木更明亮，所以司机能够立即注意到前方的车辆和行人。

另外驾驶员由于疲劳驾驶或者注意力分散等原因也会导致事故频发。研究表明，驾驶员只要在碰撞危险前得到0.5秒预警时间，能避免60％的碰撞事故，若在1.5秒钟前得到预警时间，则可以避免90％以上交通事故。因此，汽车配备一套智能防撞预警***将能够大幅降低道路事故的发生率，可能与前方车辆或者行人发生碰撞时，汽车可以进行声光报警，提示驾驶员危险物的方向以及危险程度，必要时驾驶员可以采取制动措施避免事故的发生，也可以通过汽车CAN总线，预警***控制汽车自动实施制动。

目前，车载红外夜视仪已运用于前装市场的一些高端车型以及少部分的后装市场，车前的红外摄像头将捕获的红外图像直接在液晶显示器上显示。夜间行驶时，车辆驾驶者一边要注视道路情况，还需不断地观看红外图像，从而综合判断是否有危险出现，这种方式增加了驾驶者的负担，很容易造成误判或者漏判，并不能有效地起到辅助驾驶的作用。对于已有的防撞预警***，目前以色列Mobileye公司的基于单目可见光摄像头的产品占据大部分的市场，但其在夜间使用时，由于只能探测可见光，所以观测距离较近，限制了其在夜间的使用。

目前市场上的FPGA芯片作为数据处理芯片具有强大的数字处理能力，FPGA灵活性强，并行处理能力强大，运算性能优异，由于能够进行编程、除错、再编程和重复操作，因此可以方便地进行设计开发和验证，当电路有少量改动时，更能显示出FPGA的优势，满足了红外视频数据量大、处理实时性要求高的需求，实现了数据快速采集与处理。目前市场上的ARM芯片作为控制器，集成了很多功能，具有强大的事务处理能力，借助于简单的***就可以提供多样化的工作，例如显示、运行界面及应用程序等。

在红外成像***集成上，为进一步提高红外成像的实用性与易用性，红外图像处理技术已成为红外成像领域与图像处理领域的研究热点，对应的运行平台也从上位机发展到嵌入式平台，并成为一种趋势。已报道的红外图像处理嵌入式平台结构主要有以下两种：(1)基于ARM硬件架构的红外图像处理装置，图像数据的采集、处理以及界面运行等都在ARM上完成；(2)基于FPGA硬件架构的红外图像处理装置，图像数据的采集、处理以及界面运行等都在FPGA上完成。由于ARM数据处理能力较弱，而视频处理算法包含大量的数据计算，若单独使用ARM芯片来完成视频数据处理，无法保证视频处理的实时性。当视频清晰度较高，数据量较大时，ARM芯片将无法完成数据的处理任务；FPGA芯片可以实现大量数据的高速处理任务，但FPGA开发难度高，算法移植复杂，很难将上位机程序移植到FPGA中实现界面显示等功能。

发明内容

有鉴于此，有必要提供一种高效的嵌入式红外图像处理***，实现目标准确检测、跟踪、距离精确测量和预警提示，提高驾驶的安全性，有效避免大部分的交通事故，从而降低生命财产损失，对本车辆外的其他车辆与行人进行检测并跟踪测距，计算与其他车辆或行人的距离，并发出预警，因而，具有对红外图像进行一定的算法处理，可以检测出危险目标，并及时地发出报警提示的红外智能防撞预警***，则可以大大减轻驾驶者的负担。

本发明是这样实现的，一种车辆行人检测跟踪预警***，其包括安装在车辆中的被动式单目红外摄像机、显示器、模数转换模块、电源模块、以及处理电路，该电源模块供电给整个***，该处理电路通过该模数转换模块获取该红外摄像机的视频图像信号，并进行数据处理后传送至该显示器中进行显示，其中，该处理电路采用FPGA电路模块和ARM电路模块结合的硬件主体构架，该红外摄像机安装在本车辆的头部且隐藏于格栅后并保证该红外摄像机的镜头视野不被遮挡，同时保持安装的位置在本车辆的中心线位置，该红外摄像机的安装高度使得镜头视场能够覆盖本车辆前方区域，以获得视频中的路面铺满一半视场到三分之二视场之间；该FPGA电路模块包含FPGR处理器、红外视频图像信号BNG输入电路、视频解码电路、SRAM及报警电路，该ARM电路模块包含ARM处理器、视频压缩编码电路、SD卡存储电路、调试通讯电路及视频显示交互电路；其中，红外视频图像信号BNG输入电路电性连接于视频解码电路，视频解码电路、SRAM及报警电路均电性连接于FPGR处理器；SD卡存储电路电性连接于视频压缩编码电路，视频压缩编码电路、调试通讯电路及视频显示交互电路均电性连接于ARM处理器；FPGR处理器与ARM处理器使用总线的方式进行数据的交换，整个处理电路由ARM处理器统一协调指挥。

作为上述方案的进一步改进，模数转换模块、电源模块以及处理电路形成的硬件构架安装在本车辆的操纵台下方，通过缆线将该红外摄像机的视频图像信号引入该硬件构架，该电源模块接到本车辆的点烟器上。

优选地，显示器安装在本车辆的驾驶室内，安装在操纵台上方或者悬挂安装在本车辆的前视玻璃上，通过缆线将该硬件构架处理后的红外视频引入该显示器进行显示。

作为上述方案的进一步改进，该处理电路利用该视频图像信号对本车辆前的目标车辆与目标行人进行检测并跟踪测距，计算与目标车辆或目标行人的距离，并发出预警，该距离满足以下公式：

其中，d为本车辆与目标车辆或目标行人的距离；f是该红外摄像机的有效焦距；α是该红外摄像机的俯仰角；h是该红外摄像机的镜头到路面的高度；(x₀，y₀)是该镜头的光轴与像平面的交点，为像平面坐标系的原点；(x，y)为P点在像平面上的投影坐标，该P点取自经跟踪确认的目标车辆或目标行人，作为与本车辆的距离d的参考点，该处理电路判断该距离d是否小于一预定碰撞距离，并在该距离d小于该预定碰撞距离时，启动声音报警，并启动显示报警。

优选地，根据红外视频的特点，即车辆与行人的温度相对较高，该处理电路采用边缘检测及特征识别的办法，检测出目标车辆与目标行人并进行定位。

再优选地，该处理电路采用Kalman滤波法结合Mean Shift法，建立车辆、行人跟踪模型，并在跟踪过程中更新目标模型参数，滤除本车辆在振动过程中带来的影响，并过滤部分虚目标。

优选地，该处理电路根据目标车辆或行人在视频中尺寸比例的变化计算出瞬时碰撞时间，该瞬时碰撞时间满足以下公式：

$T_m=\frac{\mathrm{\Δt}}{S-1}$

其中，T_m为瞬时碰撞时间；Δt为瞬时碰撞时间T_m与当前时间两个时刻之间的间隔；S为两个时刻视频中目标车辆或行人尺寸的比例变化，目标车辆或行人靠近时，S>1；该处理电路判断瞬时碰撞时间T_m是否小于一预警时间，并在瞬时碰撞时间T_m小于该预警时间时，启动声音报警，并启动显示报警。

再优选地，该处理电路对瞬时碰撞时间T_m进行加速度修正，获得满足以下公式的修正碰撞时间：

$T=T_m\frac{1-\sqrt{1-2({\stackrel{\·}{T}}_m+1)}}{{\stackrel{\·}{T}}_m+1}$

其中，T表示瞬时碰撞时间T_m经过加速度修正而获得的修正碰撞时间；表示瞬时碰撞时间T_m对时间求导；该处理电路判断修正碰撞时间T是否小于一碰撞预警时间，并在修正碰撞时间T小于该碰撞预警时间时，启动声音报警，并启动显示报警。

进一步地，该处理电路根据不同的距离d或不同的修正碰撞时间T分区段采用不同的对应声光报警方式，使得报警声音的频率及强弱以及显示报警的图标随着距离d的变化或修正碰撞时间T的变化而分区段变化。

本发明的车辆行人检测跟踪预警***的运作原理，其红外摄像机根据目标反射或辐射的红外线进行成像，输出模拟视频图像信号；处理电路采用FPGA电路模块和ARM电路模块结合的硬件主体架构，接收红外摄像机输出的模拟视频图像信号，经过模数转换模块(如A/D解码芯片)，进行视频图像信号数字化；利用FPGA电路模块完成数据的采集，并在FPGA电路模块中实现图像处理算法，对采集的图像数据进行处理，根据目标物与背景红外热辐射的差异特性，该算法对目标物边缘进行精确检测，绘制出目标物轮廓，对目标物的移动进行实时跟踪显示，并通过算法中的测距功能，对已检测出的目标进行测距，为后续使用提供可靠目标物及距离信息，从而实现对视频信号中目标物的检测、跟踪和测距，处理后的红外视频图像数据，送入ARM电路模块进行显示和压缩存储，实现实时图像显示，同时为相关部门提供溯源参考，因而该处理电路充分发挥了FPGA和ARM的优势。

与普通的基于ARM或DSP或FPGA单一核心硬件的图像处理装置相比，由于本发明综合了FPGA和ARM的优势，算法与应用程序分开运行，处理能力更强，实时性更高，运行的算法不仅具备目标检测功能，还具备目标跟踪、测距以及预警提示功能，使得图像处理性能更出色、更加多样化；相比于可见光，红外视频可以在黑夜及雾天观察到较远距离的车辆及行人，结合车辆及行人的目标检测、跟踪、测距和预警技术，无需驾驶员不断观测显示器中的红外视频从而判断是否有危险情况，而是当有目标的碰撞时间小于设定的时间时(或者目标的距离小于设定的距离时)，***会发出声光报警，并且随车危险的程度，声音的频率及强弱可以随之变化，从而驾驶员可以采取相应的措施避免事故的发生。

附图说明

图1为本发明较佳实施方式提供的车辆行人检测跟踪预警***的模块构成示意图。

图2为图1中车辆行人检测跟踪预警***的处理电路的结构示意图。

图3为应用于图1中车辆行人检测跟踪预警***的车辆行人检测跟踪预警装置的模块构成示意图。

图4为图3中车辆行人检测跟踪预警装置的测距原理示意图。

图5为图1中车辆行人检测跟踪预警***的车载示意图。

图6为图5的俯视图。

图7为图3中车辆行人检测跟踪预警装置的目标检测跟踪测距示意图。

图8为瞬时碰撞时间和加速度修正碰撞时间的对比示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的车辆行人检测跟踪预警***，包括安装在车辆中的被动式单目红外摄像机11、显示器12、模数转换模块13、电源模块14、以及处理电路15，如图1所示。该处理电路15通过该模数转换模块13获取该红外摄像机11的视频图像信号进行数据处理后显示于该显示器12。

在本实施方式中，该处理电路15采用FPGA电路模块16和ARM电路模块17结合的主体硬件构架，接收红外摄像机11输出的模拟视频图像信号，经过模数转换模块13(如A/D解码芯片)，进行视频图像信号数字化；利用FPGA电路模块16完成数据的采集，并在FPGA电路模块16中实现图像处理算法，对采集的图像数据进行处理，根据目标物与背景红外热辐射的差异特性，该算法对目标物边缘进行精确检测，绘制出目标物轮廓，对目标物的移动进行实时跟踪显示，并通过算法中的测距功能，对已检测出的目标进行测距，为后续使用提供可靠目标物及距离信息，从而实现对视频信号中目标物的检测、跟踪和测距，处理后的红外视频图像数据，送入ARM电路模块17进行显示和压缩存储，实现实时图像显示，同时为相关部门提供溯源参考，因而该处理电路充分发挥了FPGA和ARM的优势。

简而言之，红外摄像机11将模拟视频图像信号输入A/D处理模块即模数转换模块13，经过模数转变后，送入FPGA电路模块16完成完成目标物的识别、跟踪、检测测距及报警功能，处理后的红外视频输入送入ARM电路模块17完成视频信号压缩存储及显示。

如图2所示，该FPGA电路模块16包含FPGR处理器、红外视频图像信号BNG输入电路(BNG输入)、视频解码电路(视频解码)、SRAM(SRAM DDR2)、报警电路(声音报警)、I2C等，该ARM电路模块17包含ARM处理器、视频压缩编码电路(视频压缩编码)、SD卡存储电路(SD卡存储)、调试通讯电路及视频显示交互电路；其中，红外视频图像信号BNG输入电路电性连接于视频解码电路，视频解码电路、SRAM及报警电路均电性连接于FPGR处理器；SD卡存储电路电性连接于视频压缩编码电路，视频压缩编码电路、调试通讯电路(RJ45，UART USB，SPI)、视频显示交互电路(显示输出用户交互)均电性连接于ARM处理器；FPGR处理器与ARM处理器使用总线的方式进行数据的交换，整个处理电路由ARM处理器统一协调指挥。该电源模块14供电给整个***进行电源输入，如产生FPGA电路模块16和ARM电路模块17所需要的所有类型的电源。

红外摄像机11根据目标反射或辐射的红外线进行成像，输出模拟视频图像信号。处理电路15的FPGA电路模块16接收红外摄像机11输出的模拟视频信号，经过A/D解码芯片，进行视频图像信号数字化。利用FPGA电路模块16强大的数字处理能力完成数据采集，并在FPGA电路模块16中实现图像处理算法，根据目标物与背景红外热辐射的差异特性，对目标物进行检测、跟踪和测距，同时对检测到的危险目标进行实时报警处理。FPGA电路模块16的FPGA芯片可以实现大量数据的高速处理，可满足***对红外视频图像信号实时处理的硬件要求。经过FPGA电路模块16处理的红外视频数据，以BT656格式送入ARM电路模块17中，进行视频文件的实时显示和压缩存储，为相关部门提供溯源参考。

现今社会的电子***，脱离软件基本无法运行，在上述硬件***(即车辆行人检测跟踪预警***)上，开发了车辆行人检测跟踪预警方法软件，即车辆行人检测跟踪预警装置，车辆行人检测跟踪预警装置应用于上述硬件***中，接下去本发明针对上述硬件***的功能实现部分进行详细介绍。

车辆行人检测跟踪预警装置应用于安装有被动式单目红外摄像机的车辆中，即应用于安装有车辆行人检测跟踪预警***的车辆中，对本车辆外的其他车辆与行人进行检测并跟踪测距，计算与其他车辆或行人的距离，并发出预警。

车辆行人检测跟踪预警装置的***构成如图3所示，该车辆行人检测跟踪预警装置包括图像预处理模块1、检测模块2、跟踪模块3、测距模块4、判断模块5、显示及预警模块6、制动命令形成模块7、测时模块8。

车辆行人检测跟踪预警装置采用图像预处理模块1对从红外摄像机11获取的红外视频图像信号进行预处理，然后经过检测模块2对车辆、行人进行检测，经过跟踪模块3排除本车辆的振动干扰影响，对检测出的目标进行预测跟踪，经过测距模块4，根据世界坐标与图像坐标之间的对应关系，计算各个目标与红外摄像机11之间的距离，之后，通过判断模块5进行判断，最后通过显示及预警模块6将带有目标标识及距离信息的红外视频图像信号在显示器12中显示，并根据用户设定，可以根据安全距离报警或者根据计算得到的碰撞时间进行报警，在紧急情况下，可以通过制动命令形成模块7通过汽车的CAN总线对汽车实施制动，即通过本车辆的CAN总线对汽车实施制动。

接下去对车辆行人检测跟踪预警装置进行详细的展开说明。

首先，图像预处理模块1用于对从该红外摄像机11获取的红外视频图像信号进行预处理：通过滤波方法滤除噪声，再运用自适应直方图均衡化的方法增强图像对比度。为后续检测、跟踪、测距和预警环节奠定基础。

其次，检测模块2用于对该视频图像信号中的其他车辆或行人进行检测与定位，检测出目标车辆或目标行人。检测模2块主要实现对视频图像信号中车辆与行人等目标的检测与定位，根据红外视频的特点，即车辆与行人等目标的温度相对较高，采用边缘检测及特征识别的办法，可以检测出各个目标即目标车辆或目标行人。

之后，跟踪模块3用于对目标车辆或目标行人进行预测跟踪，进一步跟踪确认。跟踪模块3主要对检测出的目标车辆或目标行人等目标进行预测跟踪，进一步对各个目标进行确认。采用Kalman滤波法结合Mean Shift法，建立车辆、行人等目标跟踪模型，并在跟踪过程中更新目标模型参数，滤除本车辆在振动过程中带来的影响，并过滤部分虚目标。

然后，测距模块4用于计算出经跟踪确认的目标车辆或目标行人的距离，如图4所示，该距离满足以下公式：

其中，d为本车辆与目标车辆或目标行人的距离；f是该红外摄像机11的有效焦距；α是该红外摄像机11的俯仰角也即红外摄像机11的的安装角度α；h是该红外摄像机11的镜头到路面的高度；(x₀，y₀)是该镜头的光轴与像平面的交点，为像平面坐标系的原点；(x，y)为P点在像平面上的投影坐标，该P点取自经跟踪确认的目标车辆或目标行人，作为与本车辆的距离d的参考点。

接着，判断模块5用于判断该距离d是否小于一预定碰撞距离。

最后，显示及预警模块6用于在该距离d小于该预定碰撞距离时，启动声音报警，并启动显示报警。该显示及预警模块6还可用于根据不同的距离d分区段采用不同的对应声光报警方式，使得报警声音的频率及强弱以及显示报警的图标随着距离d的变化而分区段变化。

当然，也可以通过计算出碰撞时间来进行显示及预警。测时模块8用于根据目标车辆或行人在视频中尺寸比例的变化计算出瞬时碰撞时间，该瞬时碰撞时间满足以下公式：

$T_m=\frac{\mathrm{\Δt}}{S-1}$

其中，T_m为瞬时碰撞时间；Δt为瞬时碰撞时间T_m与当前时间两个时刻之间的间隔；S为两个时刻视频中目标车辆或行人尺寸的比例变化，目标车辆或行人靠近时，S>1。

实际情况可能包括加速运动或者减速运动，所以为了得到更加准确的碰撞时间，需要对瞬时碰撞时间T_m进行加速度修正，修正模块用于对瞬时碰撞时间T_m进行加速度修正，获得满足以下公式的修正碰撞时间：

$T=T_m\frac{1-\sqrt{1-2({\stackrel{\·}{T}}_m+1)}}{{\stackrel{\·}{T}}_m+1}$

其中，T表示瞬时碰撞时间T_m经过加速度修正而获得的修正碰撞时间；表示瞬时碰撞时间T_m对时间求导；

该判断模块5还用于判断修正碰撞时间T是否小于一碰撞预警时间；

显示及预警模块6还用于在修正碰撞时间T小于该碰撞预警时间时，启动声音报警，并启动显示报警。

判断模块5还用于判断修正碰撞时间T(当没有设计修正这一功能时，采用瞬时碰撞时间T_m)是否小于一预警时间；显示及预警模块6还用于在修正碰撞时间T(或瞬时碰撞时间T_m)小于该预警时间时，启动声音报警，并启动显示报警。该显示及预警模块6还可用于根据不同的修正碰撞时间T(或瞬时碰撞时间T_m)分区段采用不同的对应声光报警方式，使得报警声音的频率及强弱以及显示报警的图标随着修正碰撞时间T(或瞬时碰撞时间T_m)的变化而分区段变化。

综上所述，用户可以设定距离d预警或者修正碰撞时间T(或瞬时碰撞时间T_m)预警。设定距离d预警时，按照设定的预警距离，当有目标的距离d小于预警距离时，则发出声音报警，并且在显示器12显示相应的图标，并且可以设定不同的距离对应不同的声光报警方式，声音的频率及强弱以及显示器显示的图标随着距离d变化；设定修正碰撞时间T(或瞬时碰撞时间T_m)预警时，按照设定的预警时间，当有目标的修正碰撞时间T(或瞬时碰撞时间T_m)小于预警时间时，则发出声音报警，并且在显示器12显示相应的图标，并且可以设定不同的修正碰撞时间T(或瞬时碰撞时间T_m)对应不同的声光报警方式，声音的频率及强弱以及显示器12显示的图标随着修正碰撞时间T(或瞬时碰撞时间T_m)变化。另外，当小于一定的距离d或者修正碰撞时间T(或瞬时碰撞时间T_m)的紧急情况下，制动命令形成模块7可以通过汽车的CAN总线对汽车实施制动。

相比于可见光，红外视频可以在黑夜及雾天观察到较远距离的车辆及行人，结合车辆及行人的目标检测、跟踪、测距和预警技术，无需驾驶员不断观测显示器中的红外视频从而判断是否有危险情况，而是当有目标的修正碰撞时间T小于设定的时间时(或者目标的距离小于设定的距离时)，***会发出声光报警，并且随车危险的程度，声音的频率及强弱可以随之变化，从而驾驶员可以采取相应的措施避免事故的发生。另外，在紧急情况下，当小于一定的距离d或者修正碰撞时间T，驾驶员没有采取措施时，***可以通过汽车的CAN总线对汽车实施制动。

车辆行人检测跟踪预警***在安装时，如图5及图6所示，红外摄像机11安装在本车辆头部，隐藏于格栅后，保证红外摄像机11的镜头视野不被遮挡，同时保持安装位置在本车辆左右中心位置附近；模数转换模块13、电源模块14以及处理电路15形成的硬件构架安装在本车辆的操纵台下方，通过缆线将红外摄像机11的视频图像信号引入该硬件构架，电源模块14接到本车辆的点烟器上，对红外摄像机11、处理电路15及显示器12进行供电。显示器12安装在本车辆驾驶室内合适位置，如安装在操纵台上方，或者悬挂安装在前视玻璃上等位置，过缆线将红外摄像机11的视频图像信号引入该硬件构架，输出到显示器12进行显示；调整红外摄像机11的安装高度h，根据安装高度h、相机参数以及标定位位置，计算出相机安装角度α。该红外摄像机11的安装高度h使得镜头视场能够覆盖本车辆前方区域，以获得视频中的路面铺满一半视场到三分之二视场之间。开机即可进行本车辆前方目标的红外检测、跟踪、测距以及报警提示，处理结果如图7所示。接下去，本发明做更详细的应用示例。

实施例1：单目红外视频的车辆行人检测跟踪预警***应用于卡车

将红外摄像机11安装于卡车的栅格处，测得红外摄像机11离地面的高度h以及俯仰角即安装角度α。红外摄像机11通过BNC接口与包含图像处理功能的嵌入式模块相连接，嵌入式模块实现红外视图像信号的频预处理，对噪声进行滤波并且对图形进行增强，根据行人及车辆的检测特征进行检测，并通过跟踪算法进行进一步的确认得到目标行人及目标车辆，排除虚目标，根据已经测得的红外摄像机11的高度h和俯仰角α，对车辆及行人采用测距算法，得出各个目标的距离，并且根据两帧图像中目标尺寸的变化比例计算各个目标的碰撞时间。通过AV接口将红外视频图像信号输出到液晶显示器，液晶显示器显示的红外视频中的目标采用矩形框标出，并且在矩形框下部标出各个目标的距离，如图7所示，汽车即本车辆所在车道的目标、两侧的车道均用矩形框标出，并且在矩形框下标出各个目标的距离。如果设定安全距离报警，一旦有目标的距离小于安全距离，则嵌入式模块上的蜂鸣器发生报警；如果设定碰撞时间报警，根据设定的具体时间，比如2.5s，一旦有目标的碰撞时间小于2.5s时，则蜂鸣器发生报警。整个***采用汽车的点烟器接口供电。

图8是瞬时碰撞时间T_m和加速度修正碰撞时间T的对比，假设两车之间的距离为30m，两车相对初始速度为10m/s，相对加速度为2m/s²(两车加速靠近)。目标较远时，瞬时碰撞时间T_m明显大于加速度修正碰撞时间T；目标较近时，两种碰撞时间趋向于一致。另外，瞬时碰撞时间T_m随着时间的变化呈现非线性，说明瞬时碰撞时间T_m不能准确地反应真实的碰撞时间，而经过加速度修正的修正碰撞时间T则呈现很好的线性变化的趋势。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种车辆行人检测跟踪预警***，其包括安装在车辆中的被动式单目红外摄像机、显示器、模数转换模块、电源模块、以及处理电路，该电源模块供电给整个***，该处理电路通过该模数转换模块获取该红外摄像机的视频图像信号，并进行数据处理后传送至该显示器中进行显示，其特征在于，该处理电路采用FPGA电路模块和ARM电路模块结合的硬件主体构架，该红外摄像机安装在本车辆的头部且隐藏于格栅后并保证该红外摄像机的镜头视野不被遮挡，同时保持安装的位置在本车辆的中心线位置，该红外摄像机的安装高度使得镜头视场能够覆盖本车辆前方区域，以获得视频中的路面铺满一半视场到三分之二视场之间；该FPGA电路模块包含FPGR处理器、红外视频图像信号BNG输入电路、视频解码电路、SRAM及报警电路，该ARM电路模块包含ARM处理器、视频压缩编码电路、SD卡存储电路、调试通讯电路及视频显示交互电路；其中，红外视频图像信号BNG输入电路电性连接于视频解码电路，视频解码电路、SRAM及报警电路均电性连接于FPGR处理器；SD卡存储电路电性连接于视频压缩编码电路，视频压缩编码电路、调试通讯电路及视频显示交互电路均电性连接于ARM处理器；FPGR处理器与ARM处理器使用总线的方式进行数据的交换，整个处理电路由ARM处理器统一协调指挥。

2.如权利要求1所述的车辆行人检测跟踪预警***，其特征在于，模数转换模块、电源模块以及处理电路形成的硬件构架安装在本车辆的操纵台下方，通过缆线将该红外摄像机的视频图像信号引入该硬件构架，该电源模块接到本车辆的点烟器上。

3.如权利要求2所述的车辆行人检测跟踪预警***，其特征在于，显示器安装在本车辆的驾驶室内，安装在操纵台上方或者悬挂安装在本车辆的前视玻璃上，通过缆线将该硬件构架处理后的红外视频引入该显示器进行显示。

4.如权利要求1所述的车辆行人检测跟踪预警***，其特征在于，该处理电路利用该视频图像信号对本车辆前的目标车辆与目标行人进行检测并跟踪测距，计算与目标车辆或目标行人的距离，并发出预警，该距离满足以下公式： $d=\frac{h}{\tan (\mathrm{\α}+\arctan \left(\frac{(y_0-y)}{f}\right))}$

其中，d为本车辆与目标车辆或目标行人的距离；f是该红外摄像机的有效焦距；α是该红外摄像机的俯仰角；h是该红外摄像机的镜头到路面的高度；(x₀，y₀)是该镜头的光轴与像平面的交点，为像平面坐标系的原点；(x，y)为P点在像平面上的投影坐标，该P点取自经跟踪确认的目标车辆或目标行人，作为与本车辆的距离d的参考点，该处理电路判断该距离d是否小于一预定碰撞距离，并在该距离d小于该预定碰撞距离时，启动声音报警，并启动显示报警。

5.如权利要求4所述的车辆行人检测跟踪预警***，其特征在于，根据红外视频的特点，即车辆与行人的温度相对较高，该处理电路采用边缘检测及特征识别的办法，检测出目标车辆与目标行人并进行定位。

6.如权利要求5所述的车辆行人检测跟踪预警***，其特征在于，该处理电路采用Kalman滤波法结合Mean Shift法，建立车辆、行人跟踪模型，并在跟踪过程中更新目标模型参数，滤除本车辆在振动过程中带来的影响，并过滤部分虚目标。

7.如权利要求4所述的车辆行人检测跟踪预警***，其特征在于，该处理电路根据目标车辆或行人在视频中尺寸比例的变化计算出瞬时碰撞时间，该瞬时碰撞时间满足以下公式：

$T_m=\frac{\mathrm{\Δt}}{S-1}$

其中，T_m为瞬时碰撞时间；Δt为瞬时碰撞时间T_m与当前时间两个时刻之间的间隔；S为两个时刻视频中目标车辆或行人尺寸的比例变化，目标车辆或行人靠近时，S>1；该处理电路判断瞬时碰撞时间T_m是否小于一预警时间，并在瞬时碰撞时间T_m小于该预警时间时，启动声音报警，并启动显示报警。

8.如权利要求7所述的车辆行人检测跟踪预警***，其特征在于，该处理电路对瞬时碰撞时间T_m进行加速度修正，获得满足以下公式的修正碰撞时间：

$T=T_m\frac{1-\sqrt{1-2({\stackrel{\·}{T}}_m+1)}}{{\stackrel{\·}{T}}_m+1}$

其中，T表示瞬时碰撞时间T_m经过加速度修正而获得的修正碰撞时间；表示瞬时碰撞时间T_m对时间求导；该处理电路判断修正碰撞时间T是否小于一碰撞预警时间，并在修正碰撞时间T小于该碰撞预警时间时，启动声音报警，并启动显示报警。

9.如权利要求8所述的车辆行人检测跟踪预警***，其特征在于，该处理电路根据不同的距离d或不同的修正碰撞时间T分区段采用不同的对应声光报警方式，使得报警声音的频率及强弱以及显示报警的图标随着距离d的变化或修正碰撞时间T的变化而分区段变化。