CN102303605A - 基于多传感器信息融合的碰撞及偏离预警装置及预警方法 - Google Patents

Abstract

本发明公开了一种基于多传感器信息融合的前向碰撞及车道偏离预警装置，包括：毫米波雷达、通讯接口模块、摄像机、图像采集模块、显示及报警模块和车载处理单元；所述车载处理单元可实现对来自于所述通讯接口模块和图像采集模块的雷达信号和机器视觉信息进行融合处理；将上述预警装置用于防止车辆前向碰撞及车道偏离的预警，包括：设备驱动；雷达数据及图像数据的接收与处理；信息融合；最后将融合信息进行显示。本发明通过雷达、摄像机发现车辆行驶中潜在的碰撞危险，为驾驶员提供警示信息。本发明预警方法中采用视觉与雷达相结合的方法，从根本上提高了汽车防撞防车道偏离的准确率，经过试验得出：可以提高(5-20)％的准确度。

Description

基于多传感器信息融合的碰撞及偏离预警装置及预警方法

技术领域

本发明涉及一种汽车驾驶员安全辅助***，尤其涉及一种避免前向碰撞及车道偏离的预警***。

背景技术

近年来，随着我国道路车辆数量的迅速增长，道路运输安全形势日益严峻。特大恶***通事故频繁发生，不仅人员伤亡多，经济损失大，而且极易引起复杂的社会问题。据公安部2007年统计，我国道路交通事故致死总人数中，由货运车辆导致的占了29.4％。为此，“国家中长期科学和技术发展规划纲要”(2006-2020年)已将交通运输安全保障技术列为国家重大科技需求，投入大量人力物力开展各分项技术及其***集成的研发工作，以减少重大交通事故的伤亡和经济损失，并加快技术成果转化，从而推动行业进步。

对交通事故的研究表明，驾驶员是影响道路交通安全性的主要因素。根据我国2004年的统计结果，由于驾驶员过失造成的交通事故数和死亡人数分别占到总数的89.8％和87.4％。由于人的反应时间、动作速率以及驾驶经验都有一定的局限性，而且驾驶员不可能在驾驶过程中始终保持最佳状态，所以经常会有由于驾驶员疲劳和疏忽以致不能妥善处理车辆行驶过程而发生的突发事件和紧急情况。因此，只要由人来驾驶车辆，就可能存在事故隐患。驾驶员辅助***是解决这一问题的一项有效技术，它已经得到各汽车厂家和用户的积极关注。

安全辅助驾驶是智能交通***的重要组成部分，其中自动巡航控制***、车辆前向碰撞预警***、前向避撞辅助***等都可以大大减轻驾驶人员的负担，提高交通***的安全性。实时准确地检测汽车前方行驶车辆等障碍物位置、速度信息是汽车防碰撞预警、自适应巡航控制等辅助驾驶***实现的前提。多传感器信息融合是信息技术领域的发展方向。因此构建基于雷达和机器视觉的车辆前方障碍物检测***可以为安全辅助驾驶***的发展提供理论指导和技术支持。

现有技术中，关于汽车防撞防车道偏离控制装置也有研究，公开日为2009年11月25日，公开号为CN 101585361A的中国发明专利申请中公开了一种“汽车防撞防车道偏离控制装置”。包括77GHz毫米波雷达器，CCD视觉机器，雷达信号处理装置，视频处理模块，车载显示器，传感器，控制软件和扬声器；77GHz毫米波雷达器，CCD视觉机器，雷达信号处理装置，视频处理模块，车载显示器，传感器，控制软件和扬声器之间由信号连接。该技术方案的不足之处是：不具备CCD与雷达结合的方法，根本不能提高汽车防撞防车道偏离的准确率。

发明内容

针对上述现有技术，本发明提供一种基于多传感器信息融合的前向碰撞及车道偏离的预警装置及其预警方法。根据车载障碍物检测的需求，确立本发明前向碰撞及车道偏离的预警装置设计的基本思路是：由车载雷达和前方CMOS摄像机获取前方车路信息，传送给车载计算机(即车载处理单元)进行信息融合处理，对车辆前方障碍物进行检测，并判断其危险等级，最后将报警信息以图形界面、震动或者声音提示的方式直观地提供给驾驶员。本发明所具有的主要功能是通过雷达、摄像机等传感器及时发现车辆行驶中潜在的碰撞危险，为驾驶员提供警示信息，及时提醒驾驶员调整车辆行驶状态，避免或减轻碰撞事故。

为了解决上述技术问题，本发明基于多传感器信息融合的前向碰撞及车道偏离的预警装置予以实现的技术方案是，包括毫米波雷达传感器、USB-CAN通讯接口模块、前方CMOS摄像机、图像采集模块、显示器及报警模块；车载处理单元；其中，所述毫米波雷达传感器用于检测其视野范围内的所有障碍物，并测量出每个目标的相对距离、相对速度和方位角度值，所述USB-CAN通讯接口模块将雷达信息传给所述车载处理单元进行处理；所述前方CMOS摄像机用于获取前方障碍物类型、在车道中的位置以及道路标线信息；所述图像采集模块通过同轴电缆接收前方CMOS摄像机拍摄到的电视图像画面，并对所获取的图像进行处理；所述车载处理单元对来自于所述USB-CAN通讯接口模块和图像采集模块的雷达信号和机器视觉信息进行融合处理；所述车载处理单元包含设备驱动模块、雷达数据接收和处理模块、图像数据接收和处理模块、数据融合模块、雷达目标显示模块以及图像显示模块；所述数据融合模块同时具有时间和空间上的信息融合功能，其中：所述时间上的信息融合是采用线程同步方式将雷达数据和摄像机数据实现时间上的同步；所述空间上的信息融合是结合雷达信息和图像信息实现预警信息融合和目标类型判断信息融合；所述显示器及报警装置是人机交互接口，其中，所述显示器用于提供已识别出的车道线和前方障碍物的图像和报警信息；所述报警装置用于发出语音报警信息，提示驾驶员注意保持安全距离。

本发明一种基于多传感器信息融合的前向碰撞及车道偏离的预警方法，是将上述预警装置用于防止车辆前向碰撞及车道偏离的预警，包括以下步骤：

步骤一、设备驱动：

利用设备驱动模块驱动设备，包括打开车载摄像机并驱动毫米波雷达传感器和前方CMOS视觉传感器；

步骤二、雷达数据及图像数据的接收与处理：

车载处理单元中的雷达数据接收和处理模块通过所述的USB-CAN接口模块接收来自于所述毫米波雷达传感器传送的雷达数据，该雷达数据包括在所述毫米波雷达传感器的视野范围内的所有障碍物，并测量出每个目标的相对距离、相对速度和方位角度值；

与此同时，所述的图像采集模块通过同轴电缆接收前方CMOS视觉传感器拍摄到的电视图像画面，所述电视图像画面包括所获取的前方障碍物类型、在车道中的位置以及道路标线信息，所述车载处理单元中的图像数据接收和处理模块获取该电视图像画面后将视频流分解成单帧图像；

步骤三、信息融合：

将上述步骤二中得到的所有障碍物中每个目标的相对距离、相对速度和方位角度值及车道线位置输入数据融合模块进行像素级融合；包括：时间上的信息融合和空间上的信息融合；所述时间上的信息融合是采用线程同步方式将雷达数据和摄像机数据实现时间上的同步；所述空间上的信息融合是结合雷达信息和图像信息实现预警信息融合和目标类型判断信息融合；

步骤四、最后将融合后的信息交由图像显示模块进行显示。

与现有技术相比，本发明的有益效果是：

在驾驶辅助***，如前向碰撞预警和车道偏离报警***的行车环境中，雷达的测量值可能来自于目标车辆，也可能来自于其他干扰物。由于雷达自身工作状态不稳定或目标回波能量分布不均，可能出现虚假目标。同时，由于车辆行驶过程中的随机颠簸和摆动，雷达测量信号还可能出现短暂丢失的情况，从而导致目标物信息出现较大波动。因而，需要先对雷达测量信号进行相关处理，以便准确地选取有效目标。雷达对目标的检测和识别分为三部分：目标初选，目标信息预测以及目标一致性检验。其中，目标初选是遵循一定的规则，从所有雷达检测到的目标中选择一个有效目标。如何定义有效目标与驾驶辅助***的类型有关。比如，对于自适应巡航控制***(ACC)来讲，有效目标是处于本车道中，在本车前方最近的移动车辆；对于前向报警***来说，有效目标则是处于本车道中，在本车前方最近的任何静止或者运动的障碍物。目标信息预测用于预估有效目标未来时刻的运动状态，为目标一致性检验做准备。而目标一致性检验则采用初选目标信息与目标预测值的相似程度进行判定和评价，以实现有效目标的跟踪功能。

人、车、路和环境是组成交通***的基本要素，交通***的运作通过这些基本要素相互作用和变化得以体现。车辆行驶在道路上，其行驶环境信息中最重要部分是车辆前方的信息。车辆前方信息也就是车辆前方道路上交通要素的相关信息。这些信息包括静态信息和动态信息。静态信息主要有：前方道路的线形、设施等信息。动态信息主要有：前车和本车的距离、速度、加速度、方位、在车道中的位置等信息。

本发明中采用雷达来获取前方车辆的距离、速度等信息，采用摄像机来获取前车在车道中的位置以及道路标线等信息，通过一车载处理单元控制毫米波雷达传感器、USB-CAN通讯接口模块、前方CMOS摄像机、图像采集模块、显示器及报警模块；并对接收到的雷达信号和机器视觉信息进行融合处理，最终将融合后的信息交由图像显示模块进行显示，并根据目标的危险等级作出相应的报警提示。本发明通过雷达、摄像机等传感器及时发现车辆行驶中潜在的碰撞危险，为驾驶员提供警示信息，及时提醒驾驶员调整车辆行驶状态，避免或减轻碰撞事故。本发明预警方法中采用视觉机器与雷达相结合的方法，从根本上提高了汽车防撞防车道偏离的准确率，经过试验得出：可以提高(5-20)％的准确度。

附图说明

图1是本发明基于多传感器信息融合的前向碰撞及车道偏离的预警装置的结构框图；

图2是本发明中车载处理单元的结构框图；

图3是本发明中图像采集与处理的主流程图；

图4是本发明中信息融合的主流程图；

图5是本发明中实现信息融合的结构框架图；

图6是本发明中实现信息融合中的车辆行驶坐标系；

图7是本发明中信息融合试验匹配图。

具体实施方式

根据车载障碍物检测的需求，本发明基于多传感器信息融合的前向碰撞及车道偏离的预警装置的基本思路是：由车载雷达(毫米波雷达传感器10)和前方CMOS摄像机30获取前方车路信息，传送给作为车载处理单元的计算机进行信息融合处理，对车辆前方障碍物进行检测，并判断其危险等级，最后将报警信息以图形界面、震动或者声音提示的方式直观地提供给驾驶员。由上述设计思路可以确定本发明预警装置具备信息获取功能、通信功能、信息处理功能和信息输出功能。

下面结合具体实施方式对本发明作进一步详细地描述。

如图1所示，本发明一种基于多传感器信息融合的前向碰撞及车道偏离的预警装置，包括毫米波雷达传感器10、USB-CAN通讯接口模块20、前方CMOS摄像机30、图像采集模块40、显示器60及报警模块70；还包括一车载处理单元50。

其中，所述毫米波雷达传感器10用于检测其视野范围内的所有障碍物，并测量出每个目标的相对距离、相对速度和方位角度值，所述毫米波雷达传感器10的最大探测距离为175m。所述USB-CAN通讯接口模块20将雷达信息传给所述车载处理单元50进行处理；所述前方CMOS摄像机30用于获取前方障碍物类型、在车道中的位置以及道路标线信息；所述图像采集模块40通过同轴电缆接收前方CMOS摄像机30拍摄到的电视图像画面，并对所获取的图像进行处理；所述车载处理单元50(所述车载处理单元50既可以基于车载工控机，也可以基于嵌入式处理器)对来自于所述USB-CAN通讯接口模块20和图像采集模块40的雷达信号和机器视觉信息进行融合处理；如图2所示，本发明中的所述车载处理单元50包含设备驱动模块51、雷达数据接收和处理模块52、图像数据接收和处理模块53、数据融合模块54、雷达目标显示模块55以及图像显示模块56；所述数据融合模块54同时具有时间和空间上的信息融合功能，其中：所述时间上的信息融合是采用线程同步方式将雷达数据和摄像机数据实现时间上的同步；所述空间上的信息融合是结合雷达信息和图像信息实现预警信息融合和目标类型判断信息融合；如图1所示，所述显示器60及报警装置70是人机交互接口，其中，所述显示器用于提供已识别出的车道线和前方障碍物的图像和报警信息；所述报警装置用于发出语音报警信息，提示驾驶员注意保持安全距离。

本发明基于多传感器信息融合的前向碰撞及车道偏离的预警方法，

是利用所述车载处理单元50对来自于所述USB-CAN通讯接口模块20和图像采集模块40的雷达信号和机器视觉信息进行融合处理，如图2所示，从结构上分为雷达数据处理和图像数据处理两部分，其基本原理为：

雷达数据处理——首先，雷达数据接收和处理模块52通过USB-CAN通讯接口模块20接收雷达***(本发明中指毫米波雷达传感器10)传送的数据，并对接收到的雷达数据进行解算，经过滤波将稳定的目标挑选出来，得到一组固定格式的目标数据，再由雷达图形显示模块55将二维目标方位实时显示在显示屏上。

图像数据处理——首先由图像数据接收和处理模块53接收前方CMOS摄像机30采集到的原始图像数据，图像数据接收和处理模块53对采集到的图像进行预处理，然后对车道线和障碍物进行特征提取与匹配。

将本发明的预警装置用于防止车辆前向碰撞及车道偏离的预警，包括以下步骤：

步骤一、设备驱动：

利用设备驱动模块51驱动设备，包括打开车载摄像机并驱动毫米波雷达传感器10和前方CMOS视觉传感器30；

步骤二、雷达数据及图像数据的接收与处理：

车载处理单元50中的雷达数据接收和处理模块52通过所述的USB-CAN接口模块20接收来自于所述毫米波雷达传感器10传送的雷达数据，该雷达数据包括在所述毫米波雷达传感器10的视野范围内的所有障碍物，并测量出每个目标的相对距离、相对速度和方位角度值；

与此同时，所述的图像采集模块40通过同轴电缆接收前方CMOS视觉传感器30拍摄到的电视图像画面，所述电视图像画面包括所获取的前方障碍物类型、在车道中的位置以及道路标线信息，所述车载处理单元50中的图像数据接收和处理模块53获取该电视图像画面后将视频流分解成单帧图像；然后对车道线和障碍物进行特征提取与匹配。

图3示出了本发明中一种图像采集与处理方法的流程。

步骤S10：开始；

步骤S11：设置摄像机参数，如分辨率为640×480；

步骤S12：打开摄像机；

步骤S13：判断是否已经打开摄像机，如果判断结果为否，返回执行步骤S12；

步骤S14：如果判断结果为真，将视频流分解成单帧图像，进行捕捉；

步骤S15：判断是否分解图像成功，捕获到单帧图像，如果判断结果为否，返回执行步骤S14；

步骤S20：如果判断结果为真，开始进行信息融合步骤(见后面的步骤三)；

步骤S30：将信息融合步骤S20的处理结果显示出来，并将叠加的图像层显示在控件上。

步骤三、信息融合：

将上述步骤二中得到的所有障碍物中每个目标的相对距离、相对速度和方位角度值及车道线位置输入数据融合模块54进行像素级融合；包括：时间上的信息融合和空间上的信息融合；

所述时间上的信息融合，是采用线程同步方式创建雷达数据接收线程和摄像机数据接收线程，当每次采集当前帧图像时获取雷达当前时刻的数据，这样就将雷达数据和摄像机数据进行了时间上的同步。

所述空间上的信息融合过程如图4所示，是结合雷达信息和图像信息实现预警信息融合和目标类型判断信息融合；预警信息融合和目标类型判断信息融合这两种融合都结合了雷达信息和图像信息。其中：

(1)预警信息融合——根据雷达10提供的距离和速度信息，判断该目标的危险等级。如果危险等级较低则将其放入观察区，不作处理。如果危险等级较高，则结合图像识别检测到的车道线位置，判断该目标与本车是否处于同一车道，如果不处于则将其也放入观察区，如果处于同一车道，则根据危险等级，采用语音报警的方式提示驾驶员。

(2)目标类型判断信息融合——将雷达坐标系下的目标投影到图像坐标系中，在图像中得到该目标对应的投影点，再以该投影点为中心，根据车距和车辆尾部尺寸的先验知识在图像中选取合适大小的矩形感兴趣区域，这样就将原来的整幅图像多目标分割任务分解成局部单目标分割任务。然后对每个ROI进行基于知识或者模板的识别方法，进而识别出目标的类型。

如图4所示：

步骤S201：根据雷达数据接收和处理模块(52)所获取的雷达数据解算出所识别目标的相对坐标和速度；

步骤S202：将目标的相对坐标进行透视变换；

步骤S203：得到目标在图像上对应的坐标；

步骤S204：利用图像数据接收和处理模块53获取图像数据；

步骤S205：识别车道线；

步骤S206：判断本车是否会存在车道偏离可能，如果判断结果为否，返回步骤S204准备进行下一帧图像数据的处理；

步骤S207：如果判断结果为真，发出车道偏离预警；

步骤S208：结合步骤S203中的目标在图像上的对应坐标和步骤S205的车道位置信息，判断本车与目标是否处于同一车道，如果判断结果为否，返回步骤S208准备进行下一帧图像数据的处理；

步骤S209：如果判断结果为真，在可能的目标在图像上对应的坐标周围建立可变大小的感兴趣区域ROI；

步骤S210：在步骤S209中建立的感兴趣区域ROI内进行目标识别，检验是否在该感兴趣区域ROI内识别出车辆；

步骤S211：判断该目标的危险级别是否高于阈值；如果判断结果为否，返回步骤S204准备进行下一帧图像数据的处理；

步骤S212：如果判断结果为真，发出前向碰撞预警。

以下是对上述步骤S202坐标变换(即完成空间上的数据融合)的进一步描述。

通过求解摄像机外部参数的约束方程后，雷达、摄像机、图像和车体坐标系的相对关系可以完全确定，从而雷达扫描点可以通过摄像机模型投影至图像像素坐标系上。

建立车体坐标系中物点P(x_v，y_v，z_v)与图像像素坐标系中像点p(u，v)之间的转换关系，其像素级数据融合关系式如下：

(u，v，1)^T＝K(R_c(x_v，y_v，z_v)^T+T_c)    (1)

式(1)中，R_c为摄像机外部参数的旋转矩阵，T_c为摄像机外部参数的平移向量，f_x、f_y为x和y方向的等效焦距，u₀，y₀为图像像素中心的坐标；

式(2)中，K为摄像机内部参数矩阵： $K=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]---\left(2\right)$

通过式(1)和式(2)完成空间上的数据融合，其数据融合第一个目的是为了把雷达坐标系、摄像机坐标系、图像像素坐标系和车体坐标***一起来。坐标系的统一和建立有利于环境感知传感器对环境和障碍物具体距离和方位的测量，摄像机外部参数的标定可以实现逆透视投影变换，为车辆视觉导航提供重要参数。另一个目的是为了把雷达扫描点投影到图像上，在图像坐标系上形成动态的感兴趣区域ROI，这样有利于缩小对前方车辆、行人或其他障碍物识别与跟踪的搜索区域，从而减少***计算的时间，提高***实时性。同时结合摄像机与雷达各自的感知特点，可以增强***的鲁棒性，有效提高检测准确率，降低识别的虚警率。

雷达对目标参数的描述采用的是二维的平面坐标系，视景图像中的目标参数则采用三维空间坐标系。摄像机拍摄的目标图像可以根据透视关系简化为目标在显示平面上的投影。车辆目标在三维空间的位移有一些固有的规律，通过对描述车辆移动规律的关键参数进行分析，可以确定目标二维参数在三维视景图像中的投影关系。

实现雷达目标从二维平面坐标到三维视景坐标的转换的过程是：首先，建立一个三维空间坐标系O-xyz件图5，y轴指向为车头方向，O点表示透视投影的焦点；在y轴上的O’点垂直于x轴的平面上建立一个矩形表示显示平面，在z轴Z₁处垂直于z轴的平面上建立一个矩形表示道路平面；在这个简化模型中，用点的坐标描述车辆目标的位置参数，设车辆目标点为三维空间坐标系O-xyz中的点R₁，且该点位于道路平面Z₁上，该点的坐标为R₁(x₁，y₁，z₁)；设目标点R₁在显示平面上的投影点为R₂，因为R₁和R₂之间满足透视投影关系，所以R₂即线段OR₁和显示平面的交点。

如图5所示，假设雷达传感器和摄像机都安装在车辆左右正中的纵剖面上，设雷达目标点在以传感器位置为原点的二维平面坐标系中的坐标为T(x_R，y_R)，雷达目标坐标系原点到焦点O的等效水平距离为d，焦点O相对于道路平面的等效高度为h，显示屏平面到焦点O的等效距离为l，根据其几何关系，可得：

$x_2=\frac{y_2}{y_1}{x}_1---\left(3\right)$

$z_2=\frac{y_2}{y_1}{z}_1---\left(4\right)$

其中：x₁＝x_R，y₁＝y_R+d，y₂＝l，z₁＝-h，代入式(3)和式(4)可得：

$x_2=\frac{l}{y_R+d}{x}_R---\left(5\right)$

$z_2=-\frac{l}{y_R+d}h---\left(6\right)$

式(5)和式(6)中，x_R和y_R为雷达目标的传感器测量值，d和l为常量，其中：d为雷达目标坐标系原点到焦点O的等效水平距离，h为焦点O相对于道路平面的等效高度，l为显示屏平面到焦点O的等效距离；因而，式(5)和式(6)实现雷达目标从二维平面坐标到三维视景坐标的转换。

对预警信息融合的处理过程描述如下：

步骤208判断本车与目标是否处于同一车道。如图6所示，将图像检测到的车道线进行逆透视变换之后得到左、右车道线在车辆行驶坐标系中的横坐标x_l、x_r。根据毫米波雷达传感器10提供的前方目标纵坐标y_o(距离)以及相对速度v_o，判断该目标的危险级别。如果危险级别较高，则比较目标横纵坐标x_o是否满足x_l＜x_o＜x_r，如果满足则说明该目标与本车处于同车道内且危险级别较高，即：如果本车与目标的距离大于安全距离，则继续准备获取下一帧图像信息；如果本车与目标的距离小于安全距离，则结合图像识别检测到的车道线位置，判断该目标与本车是否处于同一车道，如果判断结果为否，则继续准备获取下一帧图像信息，如果判断结果为真，则根据危险等级采用语音报警的方式提示驾驶员。

上述安全距离是根据车体与前方目标物体的距离和相对速度及当前路面摩擦系数设定的。所述当前路面摩擦系数μ根据当前路面湿滑程度分为三个取值范围，理论中的安全距离模型计算公式如下：

$D_S=v_r\×(t_f+t_d)+\frac{{v_r}^2}{2\mathrm{\μg}}---\left(7\right)$

式(7)中：

D_S——安全距离，

v_r——相对速度，

t_f——驾驶员对目标的反应临界时间，其取值为1.3秒；

t_d——制动协调时间，其取值为0.2秒；

μ——路面摩擦系数，其取值范围与路面湿滑程度有关，其中：干路面时，μ取值范围为0.6～1.0；湿路面时，μ取值范围为0.3～0.6；冰雪路面时，μ取值范围为0.05～0.3；

g——重力加速度；

上述式(1)简化后如下：

$D_S=v_r\×1.5+\frac{{v_r}^2}{2\mathrm{\μg}}---\left(8\right)$

例如：前方目标距离小于安全距离，则语音提示“请保持前方车距”。

步骤四、最后将融合后的信息交由图像显示模块56进行显示。

图像显示模块56的输出界面如图7所示，图中右侧为雷达区检测到两个目标，然后把每个目标的横坐标与图像识别之后的车道线位置进行比较，判断这两个目标是否与本车处于同一车道内(步骤S208)，结果发现左车与本车在同一车道。以该目标点为中心画一个矩形作为感兴趣区域(ROI)，矩形的长宽与目标的距离和车尾尺寸的先验知识有关，一般适当地选取大一些(步骤S209)。然后在ROI内进行基于知识或者模板的目标识别，达到识别目标类型的目的(步骤S210)。图7中车体两侧线为识别出的车道线，车体外层矩形框为ROI，内层矩形框为目标识别之后对轮廓逼近的结果。对这两个目标的危险级别进行判断步骤S211，发现左侧目标的危险级别较高，进而执行步骤S212，用语音向驾驶员传达报警信息。

尽管上面结合图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。

Claims (6)

1.一种基于多传感器信息融合的前向碰撞及车道偏离的预警装置，包括：毫米波雷达传感器(10)、USB-CAN通讯接口模块(20)、前方CMOS摄像机(30)、图像采集模块(40)、显示器(60)及报警模块(70)；其特征在于：还包括车载处理单元(50)；

所述毫米波雷达传感器(10)用于检测其视野范围内的所有障碍物，并测量出每个目标的相对距离、相对速度和方位角度值；

所述USB-CAN通讯接口模块(20)将雷达信息传给所述车载处理单元(50)进行处理；

所述前方CMOS摄像机(30)用于获取前方障碍物类型、在车道中的位置以及道路标线信息；

所述图像采集模块(40)通过同轴电缆接收前方CMOS摄像机(30)拍摄到的电视图像画面，并对所获取的图像进行处理；

所述车载处理单元(50)对来自于所述USB-CAN通讯接口模块(20)和图像采集模块(40)的雷达信号和机器视觉信息进行融合处理；所述车载处理单元(50)包含设备驱动模块(51)、雷达数据接收和处理模块(52)、图像数据接收和处理模块(53)、数据融合模块(54)、雷达目标显示模块(55)以及图像显示模块(56)；

所述数据融合模块(54)同时具有时间和空间上的信息融合功能，其中：所述时间上的信息融合是采用线程同步方式将雷达数据和摄像机数据实现时间上的同步；所述空间上的信息融合是结合雷达信息和图像信息实现预警信息融合和目标类型判断信息融合；

所述显示器(60)及报警装置(70)是人机交互接口，其中，所述显示器用于提供已识别出的车道线和前方障碍物的图像和报警信息；所述报警装置用于发出语音报警信息，提示驾驶员注意保持安全距离。

2.根据权利要求1所述的基于多传感器信息融合的前向碰撞及车道偏离的预警装置，其特征在于：所述毫米波雷达传感器(10)的最大探测距离为175m。

3.一种基于多传感器信息融合的前向碰撞及车道偏离的预警方法，其特征在于：将如权利要求1所述的预警装置用于防止车辆前向碰撞及车道偏离的预警包括以下步骤：

步骤一、设备驱动：

利用设备驱动模块(51)驱动设备，包括打开车载摄像机并驱动毫米波雷达传感器(10)和前方CMOS视觉传感器(30)；

步骤二、雷达数据及图像数据的接收与处理：

车载处理单元(50)中的雷达数据接收和处理模块(52)通过所述的USB-CAN接口模块(20)接收来自于所述毫米波雷达传感器(10)传送的雷达数据，该雷达数据包括在所述毫米波雷达传感器(10)的视野范围内的所有障碍物，并测量出每个目标的相对距离、相对速度和方位角度值；

与此同时，所述的图像采集模块(40)通过同轴电缆接收前方CMOS视觉传感器(30)拍摄到的电视图像画面，所述电视图像画面包括所获取的前方障碍物类型、在车道中的位置以及道路标线信息，所述车载处理单元(50)中的图像数据接收和处理模块(53)获取该电视图像画面后将视频流分解成单帧图像；

步骤三、信息融合：

将上述步骤二中得到的所有障碍物中每个目标的相对距离、相对速度和方位角度值及车道线位置输入数据融合模块(54)进行像素级融合；包括：时间上的信息融合和空间上的信息融合；所述时间上的信息融合是采用线程同步方式将雷达数据和摄像机数据实现时间上的同步；所述空间上的信息融合是结合雷达信息和图像信息实现预警信息融合和目标类型判断信息融合；

步骤四、最后将融合后的信息交由图像显示模块(56)进行显示。

4.根据权利要求1所述的基于多传感器信息融合的前向碰撞及车道偏离的预警方法，其中步骤三的信息融合进一步讲，是：

步骤S201：根据雷达数据接收和处理模块(52)所获取的雷达数据解算出所识别目标的相对坐标和速度；

步骤S202：将目标的相对坐标进行透视变换；

步骤S203：得到目标在图像上对应的坐标；

步骤S204：利用图像数据接收和处理模块(53)获取图像数据；

步骤S205：识别车道线；

步骤S206：判断本车是否会存在车道偏离可能，如果判断结果为否，返回步骤S204准备进行下一帧图像数据的处理；

步骤S207：如果判断结果为真，发出车道偏离预警；

步骤S208：结合步骤S203中的目标在图像上的对应坐标和步骤S205的车道位置信息，判断本车与目标是否处于同一车道，如果判断结果为否，返回步骤S208准备进行下一帧图像数据的处理；

步骤S209：如果判断结果为真，在可能的目标在图像上对应的坐标周围建立可变大小的感兴趣区域ROI；

步骤S210：在步骤S209中建立的感兴趣区域ROI内进行目标识别，检验是否在该感兴趣区域ROI内识别出车辆；

步骤S211：判断该目标的危险级别是否高于阈值；如果判断结果为否，返回步骤S204准备进行下一帧图像数据的处理；

步骤S212：如果判断结果为真，发出前向碰撞预警。

5.根据权利要求4所述的基于多传感器信息融合的前向碰撞及车道偏离的预警方法，其中步骤S202的将目标的相对坐标进行透视变换，进一步讲，完成空间上的数据融合，是；

建立车体坐标系中物点P(x_v，y_v，z_v)与图像像素坐标系中像点p(u，v)之间的转换关系，其像素级数据融合关系式如下：

(u，v，1)^T＝K(R_c(x_v，y_v，z_v)^T+T_c)    (1)

式(1)中，R_c为摄像机外部参数的旋转矩阵，T_c为摄像机外部参数的平移向量，f_x、f_y为x和y方向的等效焦距，u₀，v₀为图像像素中心的坐标；

其中，摄像机内部参数矩阵 $K=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]---\left(2\right)$

通过式(1)和式(2)完成空间上的数据融合。

6.根据权利要求4所述的基于多传感器信息融合的前向碰撞及车道偏离的预警方法，其中步骤S202将目标的相对坐标进行透视变换，进一步讲，实现雷达目标从二维平面坐标到三维视景坐标的转换，是：

首先，建立一个三维空间坐标系O-xyz，y轴指向为车头方向，O点表示透视投影的焦点；在y轴上的O’点垂直于x轴的平面上建立一个矩形表示显示平面，在z轴Z₁处垂直于z轴的平面上建立一个矩形表示道路平面；

用点的坐标描述车辆目标的位置参数，设车辆目标点为三维空间坐标系O-xyz中的点R₁，且该点位于道路平面Z₁上，该点的坐标为R₁(x₁，y₁，z₁)；

设目标点R₁在显示平面上的投影点为R₂，因为R₁和R₂之间满足透视投影关系，所以R₂即线段OR₁和显示平面的交点；

假设雷达传感器和摄像机都安装在车辆左右正中的纵剖面上，设雷达目标点在以传感器位置为原点的二维平面坐标系中的坐标为T(x_R，y_R)，雷达目标坐标系原点到焦点O的等效水平距离为d，焦点O相对于道路平面的等效高度为h，显示屏平面到焦点O的等效距离为l，根据其几何关系，可得：

$x_2=\frac{y_2}{y_1}{x}_1---\left(3\right)$

$z_2=\frac{y_2}{y_1}{z}_1---\left(4\right)$

其中：x₁＝x_R，y₁＝y_R+d，y₂＝l，z₁＝-h，代入式(3)和式(4)可得：

$x_2=\frac{l}{y_R+d}{x}_R---\left(5\right)$

$z_2=-\frac{l}{y_R+d}h---\left(6\right)$

式(5)和式(6)中，x_R和y_R为雷达目标的传感器测量值，d和l为常量，其中：d为雷达目标坐标系原点到焦点O的等效水平距离，h为焦点O相对于道路平面的等效高度，l为显示屏平面到焦点O的等效距离；因而，式(5)和式(6)实现雷达目标从二维平面坐标到三维视景坐标的转换。

Images