CN109829386B - 基于多源信息融合的智能车辆可通行区域检测方法 - Google Patents

Abstract

本发明公开了一种基于多源信息融合的智能车辆可通行区域检测方法，该方法包括：S100，采集车载传感器检测到的车辆周围的障碍物目标信息，输出静态障碍物目标库；S200，接收车辆周围的障碍物目标信息，将由车载传感器检测到的障碍物目标信息进行时空同步，再将所有检测到的车辆周围的障碍物信息进行单帧目标融合，利用运动预测和多帧目标关联进行连续帧间的多目标跟踪，输出动态障碍物目标库；S300，接收静态障碍物目标库和S200输出的动态障碍物目标库，并根据静态障碍物目标库的信息更新动态障碍物目标库，形成实时的障碍物目标信息，生成可通行区域。本发明能够在车辆行驶过程中准确获取车辆周围障碍物的位置、尺度、类别和运动信息以及二值化栅格化地图，跟踪多目标的运动轨迹，形成包括二值化栅格化地图和动态障碍物信息实时更新的智能车辆可通行区域。

Description

基于多源信息融合的智能车辆可通行区域检测方法

技术领域

本发明涉及自动驾驶技术领域，特别是涉及一种基于多源信息融合的智能车辆可通行区域检测方法。

背景技术

智能车辆通过环境感知、地图导航、轨迹规划及决策控制等技术手段来实现在各种交通场景下的自动驾驶。智能车辆的推广应用对缓解交通拥堵，提高交通安全，提高燃油消耗率，减少环境污染起着积极的作用。各国政府、相关企业、科研机构和高校单位等都投入大量人力和物力到自动驾驶相关技术的学术理论研究和工程实用研究，希望自动驾驶车辆早日进入人们的日常生活中，并让人们共享自动驾驶技术带来的福祉。智能车辆通过摄像机、毫米波雷达、激光雷达、GPS(全球定位***)和IMU(惯性测量单元)等车载传感器实现车辆周围环境的感知和定位，以及自车的定位和导航信息，继而基于地图信息和障碍物信息进行实时轨迹规划，并将横纵向速度、方向盘转角等决策信息通过CAN总线发布给车辆底层控制单元，实现加减速、制动、转向等具体操作。

智能车辆可通行区域检测包括道路边界检测和障碍物检测，两者都是基于车载传感器进行环境感知和融合之后的结果，是智能车辆进行轨迹规划的基础。智能车辆可通行区域的检测是自动驾驶环境感知技术的重要组成部分，也能为智能车辆进行实时轨迹规划提供依据。智能车辆可通行区域检测的准确程度有助于提高轨迹规划子***的智能化水平，对后续智能车辆的决策控制有重要指导意义，从而提高智能车辆的整体智能化水平，实现各种交通使用者之间的各行其道，保障安全有序的交通环境。因此，智能车辆可通行区域检测方法的研究，可为智能车辆提供实时轨迹规划的信息，让智能车辆安全有序地在可通行区域行驶，预防碰撞事故的发生，保障各种交通参与者的交通安全。

目前，针对智能车辆可通行区域检测方法的研究较多，采用的传感器类型有单目摄像机、双目摄像机和激光雷达，涉及的道路类型有车道清晰或车道线模糊的结构化道路和无车道线的非结构化道路，检测的目标是车道边界或路面和障碍物。在结构化道路上，基于摄像机传感器检测的方法采用传统的非参数学习或机器学习或深度学习的方法，同时进行车道线、行人和车辆等目标的特征提取和分类，获取路面边界和障碍物目标的位置和类别信息，但缺少行人和车辆等目标的动态运动信息；基于激光雷达传感器的方法首先利用车道线反射强度和路面高度信息分割出道路边界，然后通过聚类方法筛选出障碍物，最终进行道路边界和障碍物的融合输出可通行区域，此种方法精度有限且缺少障碍物的类别信息，不利用障碍物目标的轨迹跟踪。在非结构化道路上，特别是缺少车道标记的路面，基于深度学习的路面像素点分割方法更常见，但需要事先对图像进行像素级的标记。

总体来说，现阶段针对智能车辆的可通行区域检测具有以下几个方面的问题：1)不能普遍适用于结构化道路和非结构化道路；2)没有充分考虑不同类别障碍物目标的运动信息特征，以及简单利用线性或非线性模型预测目标运动，不能有效地进行障碍物信息的实时更新；3)缺少多目标方向和轨迹跟踪功能，缺乏对真实道路场景中多目标轨迹的跟踪和管理；4)没有充分利用智能车辆常配的车载传感器，如激光雷达深度图在目标检测中的使用，以及对毫米波雷达返回宽度和速度信息的使用；5)在非结构道路上，基于深度学习的路面像素点分割的方法，需要对图像进行像素级的标记，人工成本高。

因此，希望有一种技术方案来克服或至少减轻现有技术的上述缺陷中的至少一个。

发明内容

本发明的目的在于提供一种基于多源信息融合的智能车辆可通行区域检测方法来克服或至少减轻现有技术的上述缺陷中的至少一个。

为实现上述目标，本发明提供一种基于多源信息融合的智能车辆可通行区域检测方法，所述基于多源信息融合的智能车辆可通行区域检测方法包括：

S100，采集车载传感器检测到的车辆周围的障碍物目标信息，输出静态障碍物目标库；

S200，接收S100采集到的车辆周围的障碍物目标信息，将由所述车载传感器检测到的障碍物目标信息进行时空同步，再将所有检测到的车辆周围的障碍物信息进行单帧目标融合，最后利用运动预测和多帧目标关联进行连续帧间的多目标跟踪，输出动态障碍物目标库；以及

S300，接收S100输出的静态障碍物目标库和S200输出的动态障碍物目标库，并根据静态障碍物目标库的信息更新动态障碍物目标库，形成实时的障碍物目标信息，生成可通行区域。

进一步地，S100具体包括：

采集并解析激光雷达输出的三维点云图像，生成二维俯视点云图；

根据所述二维俯视点云图，获得障碍物目标检测框和包括道路边界点信息的二值化栅格化地图；以及

结合YOLOv3_LiDAR目标检测模型生成的障碍物目标信息，更新所述二值化栅格化地图。

进一步地，所述障碍物目标检测框的获得方法具体包括：

S1141a，根据点云目标框真值数据库DB1，对YOLOv3模型进行参数学习，生成YOLOv3_LiDAR目标检测模型；

S1141b，利用S1141a得到的YOLOv3_LiDAR目标检测模型，在二维俯视点云图上进行障碍物目标检测，并输出障碍物目标信息，该障碍物目标信息包括障碍物目标的位置和大类别。

进一步地，所述二值化栅格化地图的获取方法具体包括：

S1142a，利用欧式点聚类方法，在所述二维俯视点云图中进行二值化障碍物目标检测，输出由障碍目标所在区域组成的初始的二值化的栅格化地图；

S1142b，根据解析得到的所述三维点云扫描点的高度信息和反射强度，找出可能的道路边界点，并采用二次曲线拟合局部道路边界，生成包括道路边界点信息的二值化栅格化地图。

进一步地，S100具体还包括：

S122，利用专用DBC文件对S121接收到的CAN格式的障碍物目标的信息进行解析，获取M个毫米波雷达目标数据；

S123，利用S122输出的M个毫米波雷达目标数据，根据下面的式(1)至式(3)，获取初始化的毫米波雷达目标框，式中，(x_j，y_j)为任一个障碍物目标对应的毫米波雷达目标框的中心点位置，任一个障碍物目标的速度v_j，pi为常数：

x_j＝range_j*sin(angle_rad*pi/180.0) (1)

y_j＝range_j*cos(angle_rad*pi/180.0) (2)

v_j＝range_rate_j (3)

若毫米波雷达没有返回宽度信息width_j，则假设宽度width_j为1米,毫米波雷达目标的长度length_j＝width_j，记l_j＝w_j,完成毫米波雷达目标框的初始化；

S124，采集毫米波雷达坐标系和图像坐标系共有区域的K个点的坐标，获取毫米波雷达-摄像机标定参数；

S125，根据S124获得的获取毫米波雷达-摄像机标定参数，将S122输出的M个毫米波雷达目标数据从毫米波雷达坐标系转换到图像坐标系，形成M个图像目标框。

进一步地，S125具体包括：

S125a，利用式(7)，计算得到图像目标框真值数据库DB2中标记的图像目标框用于学习毫米波雷达坐标系转换到图像坐标系的毫米波雷达目标输出框和图像目标框的位置映射关系{λ_x，λ_y，λ_w，λ_h，b_x，b_y}；

式(7)中，{λ_x，λ_y，λ_w，λ_h，b_x，b_y}为学习参数；毫米波雷达检测到的障碍物目标对应图像中的真实障碍物目标的坐标点表示为(x_gt,y_gt，w_gt,h_gt)，x_gt为毫米波雷达目标框的中心在毫米波雷达坐标系中的横坐标，y_gt为毫米波雷达目标框的中心在毫米波雷达坐标系中的纵坐标，w_gt为毫米波雷达目标框的中心在毫米波雷达坐标系中的宽度，h_gt为毫米波雷达目标框的中心在毫米波雷达坐标系中的高度；毫米波雷达检测到的障碍物目标从毫米波雷达坐标系转换到图像坐标系中的坐标点表示为(x_cam,y_cam，w_cam,h_cam，)，x_cam为图像目标框的中心在图像坐标系中的横坐标，y_cam为图像目标框的中心在图像坐标系中的纵坐标，w_cam为图像目标框在图像坐标系中的宽度，h_cam为图像目标框在图像坐标系中的高度；

S125b，借鉴Faster R-CNN目标检测模型中的RPN网络，利用图像目标框真值数据库DB2中标记的图像目标框的长宽分布规律，采用k均值聚类算法设计适应于图像目标框真值数据库DB2的目标候选框长宽，进行毫米波雷达目标输出框的扩展学习，输出尽可能多且准确的且包括真实障碍物目标的毫米波雷达目标扩展框。

进一步地，S100具体还包括：

S131，采集摄像机返回的图像数据；

S132，解析S131接收的图像数据，获取BGR三通道的PNG图像；

S133，获取激光雷达-摄像机标定参数；

S134，根据S133获得的激光雷达-摄像机标定参数，将包括道路边界点信息的二值化栅格化地图从激光雷达坐标系转换到图像坐标系中的公共区域，生成感兴趣区域；

S135，根据图像目标框真值数据库DB2，对YOLOv3模型进行参数学习，生成针对图像进行多目标检测的YOLOv3_Camera目标检测模型；

S136，利用S135得到的YOLOv3_Camera目标检测模型在S134生成的感兴趣区域示出的图像平面中进行多目标检测，输出图像数据，图像数据中的每一个障碍物目标的信息记为{x，y，w，h，c，o}，(x，y)为图像目标框的左上角在图像坐标系中的坐标点，w为图像目标框的宽，h为图像目标框的高，c为障碍物目标的大类别和小类别，o为障碍物目标的朝向信息。

进一步地，S200中的“将所有检测到的车辆周围的障碍物信息进行单帧目标融合”包括：

获取摄像机-车辆标定参数,将图像坐标系中的目标框转换为车辆坐标系的目标框；

根据毫米波雷达-摄像机标定参数和激光雷达-摄像机标定参数,将同一时间戳下的单帧图像的车载传感器检测到的车辆周围的障碍物目标信息进行空间同步后，依次转换到图像坐标系、车辆坐标系中；以及

以摄像机检测结果为基准，基于全局最邻近算法，匹配对应的毫米波雷达和激光雷达信息，获取同一障碍物目标信息，该信息包括障碍物目标的位置、距离、类别和速度。

进一步地，S200中的“利用运动预测和多帧目标关联进行连续帧间的多目标跟踪”包括：

针对S221中障碍物目标中的Car、Pedestrian、Rider，分别设计三个单独的长短时记忆网络进行运动预测，涉及目标的位置信息(x，y)，尺寸信息(w，h)；

根据类别o∈{Car，Pedestrian，Rider}，利用S222设计的长短时记忆网络进行训练，前N帧为输入数据，第N+1帧为预测/输出数据，形成LSTM运动预测模型；

在确定好的三类障碍物目标中，根据不同的跟踪ID匹配图像目标框真值数据库DB2中同一障碍物目标在连续N+1帧的数据(x，y，w，h)_i-N+1～i+1，(x，y)为预测目标框的位置信息，(w，h)为预测目标框的尺寸信息；

利用训练好的LSTM模型测试连续N帧中同一障碍物目标的运动数据(x，y，w，h)_i-N+1～i，预测下一帧障碍物目标的运动信息(x，y，w，h)_i+1；

将障碍物目标的位置和尺度信息以及融合后的障碍物目标对应的速度、类别、距离、朝向等属性作为关联的属性，利用匈牙利算法对连续帧间的多目标进行关联匹配，赋予同一障碍物目标同一跟踪ID号,输出关联之后的动态障碍物目标库{x，y，w，h，c，id，v，o}；其中，N为LSTM运动预测模型输入的帧数；i为帧号。

进一步地，S300具体包括：

S310，接收多源多目标检测模块2中的激光雷达检测单元21输出的更新后的二值化栅格化地图以及多帧目标关联单元33形成的动态障碍物目标库；

S320，利用更新后的二值化栅格化地图的信息更新动态障碍物目标库；

S330，根据S320更新后的动态障碍物目标库，更新实时障碍物目标位置和运动信息，输出车辆的可通行区域。

本发明能够在车辆行驶过程中准确获取车辆周围障碍物的位置、尺度、类别和运动信息以及二值化栅格化地图，跟踪多目标的运动轨迹，形成包括二值化栅格化地图和动态障碍物信息实时更新的智能车辆可通行区域。

附图说明

图1是本发明实施例提供的基于多源信息融合的智能车辆可通行区域检测方法的原理框图；

图2是图1所示的离线数据库单元中的目标框类别示意图；

图3是图1所示的多目标跟踪模块的原理框图。

具体实施方式

在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。

文中，“前”可以理解为对应指向车头的方向，“后”与“前”相反。“右”可以理解为驾驶员面向前方的右侧方向，“左”与“右”相反。“上”可以理解为对应指向车顶的方向，“下”与“前”相反。

本实施例所提供的基于多源信息融合的智能车辆可通行区域检测方法适用于不同配置的传感器组合，比如本实施例所涉及的车载传感器有摄像机、激光雷达和毫米波雷达。其中，激光雷达可以采用Velodyne VLP-16线激光雷达，激光雷达检测到的障碍物目标信息位于激光雷达坐标系中，其具体包括目标框及其坐标、障碍物目标大类别(如下文提及的Car(车)、Pedstrian(人)、Rider(骑行者)三大目标类别)和障碍物目标的与自车的相对距离。毫米波雷达可以采用Delphi ESR毫米波雷达(返回的雷达目标数M＝64)，毫米波雷达检测到的障碍物目标信息位于毫米波雷达坐标系中，其具体包括目标框及其坐标和自车的速度。摄像机采用IDS UI-5250CP-C-HQ单目相机，摄像机检测到的障碍物目标信息位于图像坐标系中，其具体包括目标框及其坐标、障碍物目标的大类别以及小类别、和障碍物目标的朝向。优选地，如图1所述的整个智能车辆可通行区域检测方法可在机器人开发平台(ROS)中实现，不同的模块由不同的包(package)组成,模块中的多个子功能由对应的节点(node)组成。

如图1所示，本实施例所提供的基于多源信息融合的智能车辆可通行区域检测方法对应的装置包括基础功能模块1、多源多目标检测模块2、多目标跟踪模块3和可通行区域生成模块4。

其中，基础功能模块1用于将多车载传感器(比如上述实施例给出的有摄像机、激光雷达和毫米波雷达等车载传感器)和车辆彼此对应的坐标系之间进行空间同步、将各障碍物目标信息进行时间同步以及生成离线图像数据库。“彼此之间”可以理解为各车载传感器之间以及车载传感器与车辆之间。

多源多目标检测模块2用于采集车载传感器检测到的车辆周围的障碍物目标信息，输出静态障碍物目标库和三种车载传感器输出的障碍物检测信息(如图3中示出的输入方框)。其中，静态障碍物目标库为由激光雷达检测到的包括道路边界信息的二值化栅格化地图。

多目标跟踪模块3用于接收多源多目标检测模块2采集到的障碍物目标信息，并结合基础功能模块1的时空同步功能，将来自不同车载传感器检测到各障碍物目标信息进行单帧目标融合，再利用运动预测和多帧目标关联进行连续帧间的多目标跟踪，输出动态障碍物目标库。其中，动态障碍物目标库包括障碍物目标的位置、尺寸、类别和跟踪ID以及运动速度及其方向。

可通行区域生成模块4用于接收多源多目标检测模块2输出的静态障碍物目标库和多目标跟踪模块3输出的动态障碍物目标库，并根据静态障碍物目标库的信息更新动态障碍物目标库，形成实时的障碍物目标信息，生成可通行区域。

本实施例所提供的基于多源信息融合的智能车辆可通行区域检测方法可以为智能车辆提供实时更新的可通行区域信息，由于也可以输出多车载目标的运动轨迹，故也可用于智能车辆的碰撞预警或主动避撞，为智能车辆的决策提供依据。

下面将对上述实施例中的各个模块进行详细展开说明。

基础功能模块1包括时空同步单元11、传感器驱动单元12和离线数据库单元13。

时空同步单元11用于将多车载传感器和车辆彼此之间的空间标定和数据进行时空同步。也就是说，时空同步单元11具有激光雷达-摄像机标定功能、毫米波雷达-摄像机标定功能、摄像机-车辆标定功能和数据时空同步功能。其中，“多车载传感器和车辆彼此之间的空间标定”是通过不同坐标系彼此对应点之间的旋转和平移映射矩阵关系，对不同坐标系之间进行空间标定。“不同坐标系”包括激光雷达坐标系、毫米波雷达坐标系、图像坐标系和车辆坐标系。通过利用时间戳和帧率，实现各车载传感器采集数据之间的时间同步。

传感器驱动单元12用于车载传感器的驱动解析和数据发布。本实施例中，传感器驱动单元12基于ROS机器人开发平台，建立激光雷达、毫米波雷达和摄像机的驱动解析和数据话题(topic)发布节点(node)，具有激光雷达驱动功能、毫米波雷达驱动功能和摄像机驱动功能。

离线数据库单元13用于生成离线数据库，离线数据库包括点云目标框真值数据库DB1和图像目标框真值数据库DB2。其中：

点云目标框真值数据库DB1用于在由激光雷达数据生成的二维俯视点云图上标记二维目标框。点云目标框真值数据库DB1的获得方式为：利用现有的标记软件，在如下的步骤S113得到的二维俯视点云图中标记Car(车)、Pedstrian(人)、Rider(骑行者)三类点云目标框，形成点云目标框真值数据库DB1。

图像目标框真值数据库DB2用于在图像数据中的图像平面上标记二维目标框。图像目标框真值数据库DB2的获得方式为：在图像数据中的图像平面上标记Car(车)、Pedestrian(人)、Rider(骑行者)三类二维目标框，每一个二维目标框标记有每一个障碍物目标的运动朝向和跟踪ID，形成图像目标框真值数据库DB2。如图2所示，Car＝{car，bus，van，truck，otherCar}，大括号{}中：car指普通的乘用车，bus指公交车和大巴，van指货车和厢式货车,truck指卡车，otherCar为其他类型的机动车。Pedestrian＝{pedestrian，dummy}，大括号{}中：pedestrian指行人，dummy指假人。

Rider＝{cyclist，moped，scooter，tricycle，motorcycle，otherRier}，大括号{}中：cyclit指自行车，moped指有脚蹬的机动脚踏两用电动车，scooter指没有脚踏板的电动车，tricycle指快递三轮车，motorcycle指摩托车，otherRider为其他类型的骑行工具。

由于激光雷达数据生成的二维俯视点云图和摄像机采集的图像均为二维图，因此，可以使用同一套数据库标记工具和标记方法。同时，由于二维俯视点云图和摄像机采集的图像待检测的障碍物目标的类别一致，因此可以采用同样的深度学习目标检测YOLOv3框架预训练目标检测模型，针对不同的数据库(DB1和DB2)，设计不同的目标学习类别(二维俯视点云图只包括三大类，单目图像包括三大类和13小类，如附图2)，学习不同的模型参数,得到针对二维俯视点云图和单目图像的YOLOv3目标检测模型，其中：针对二维俯视点云图的YOLOv3目标检测模型下文均称为YOLOv3_LiDAR目标检测模型，针对单目图像的YOLOv3目标检测模型下文均称为YOLOv3_Camera目标检测模型。

多源多目标检测模块2包括激光雷达检测单元21、毫米波雷达检测单元22和图像检测单元23。

激光雷达检测单元21用于采集激光雷达输出的三维点云图像，并对三维点云图像进行解析处理，生成二维俯视点云图，同时通过预训练目标检测模型进行目标检测，生成带有位置、类别和深度信息的障碍物目标检测框和二值化栅格化地图。

在一个实施例中，激光雷达检测单元21具体工作过程包括下面的步骤S111～S115：

S111，采集激光雷达返回的数据：通过基础功能模块1中的传感器驱动单元22进行激光雷达驱动后，从以太网接口获得激光雷达返回的三维点云图像。

S112，解析S111接收到的三维点云图像，获取三维点云扫描点。其中的“三维点云扫描点”表示为向量L_i＝{X_i，Y_i，Z_i，r_i}，其中：X_i表示第i个扫描点相对于激光雷达坐标系的原点的横向偏移，右侧为正。Y_i表示第i个扫描点相对于激光雷达坐标系的原点的纵向偏移，前侧为正。Z_i表示第i个扫描点相对于激光雷达坐标系的原点的垂向偏移，向上为正。r_i表示第i个扫描点的反射强度，从一定程度上反映了该点激光雷达脉冲回波强度。

S113，将S112解析得到的三维点云扫描点转换成二维俯视点云图：为了保障可通行区域检测的实时性，同时与摄像机获取的图像平面共享YOLOv3目标检测模型，也便于与激光雷达和摄像机进行坐标转换，将S112解析获得的三维点云扫描点(OXYZ三维坐标系)投影到可以展开的OXY二维平面上，实现三维点云扫描点的平面化，生成二维俯视点云图{X_i，Y_i}。

S114，根据S113得到的二维俯视点云图，获得障碍物目标检测框和包括道路边界点信息的二值化栅格化地图。

S115，结合YOLOv3_LiDAR目标检测模型生成的障碍物目标信息，更新S114中的二值化栅格化地图。

在一个实施例中，S114中的障碍物目标检测框的获得方法具体包括S1141a和S1141b：

S1141a，训练并生成YOLOv3_LiDAR目标检测模型：根据点云目标框真值数据库DB1，对YOLOv3模型进行参数学习，生成YOLOv3_LiDAR目标检测模型。

S1141b，检测障碍物目标：利用S1141a得到的YOLOv3_LiDAR目标检测模型，在二维俯视点云图上进行障碍物目标检测，并输出障碍物目标信息，该障碍物目标信息包括障碍物目标的位置和大类别。

在一个实施例中，S114中的二值化栅格化地图的获取方法具体包括S1142a和S1142b：

S1142a，检测障碍物目标：利用欧式点聚类方法，在S113得到的二维俯视点云图中进行0/1二值化障碍物目标检测，输出由障碍目标所在区域组成的初始的二值化的栅格化地图。

S1142b，生成包括道路边界点信息的二值化栅格化地图：根据S112解析得到的三维点云扫描点的高度信息Z_i和反射强度r_i，找出可能的道路边界点，并采用二次曲线拟合局部道路边界，生成包括道路边界点信息的二值化栅格化地图。

毫米波雷达检测单元22用于采集毫米波雷达输出的CAN格式的目标信息，并对目标信息进行目标点解析、目标框初始化、毫米波雷达-摄像机标定、映射参数自学习(DB2)，以获得毫米波雷达探测到的目标框的扩展。

在一个实施例中，毫米波雷达检测单元22具体工作过程包括下面的步骤S121～S126：

S121，采集毫米波雷达返回的数据：通过基础功能模块1中的传感器驱动单元22进行毫米波雷达驱动后，从CAN-以太网接口获得毫米波雷达返回的CAN格式的障碍物目标信息，障碍物目标信息以毫米波雷达目标框进行呈现，毫米波雷达目标框包括目标框的位置和速度。

S122，解析雷达目标：利用专用DBC文件对S121接收到的CAN格式的障碍物目标的信息进行解析，获取M个毫米波雷达目标数据(M＝64)，其中每一个毫米波雷达目标数据表示为向量R_j，R_j＝{range_j，angle_rad_j，range_rate_j，lat_rate_j，id_j，width_j}，其中：range_j表示第j个毫米波雷达目标框的中心与毫米波雷达坐标系原点的相对距离，angle_rad_j表示第j个毫米波雷达目标框的中心与毫米波雷达坐标系原点连线与纵向(毫米波雷达正前向)的相对角度，range-rate_j表示第j个毫米波雷达目标框与毫米波雷达坐标系原点的相对速度,lat_rate_j表示第j个毫米波雷达目标框与毫米波雷达坐标系原点的横向速度，id_j表示第j个毫米波雷达目标框的ID号,width_j表示第j个毫米波雷达目标框的宽度。

S123，初始化毫米波雷达目标框：利用S122输出的M个毫米波雷达目标数据，获取初始化的毫米波雷达目标框。本实施例以第j个毫米波雷达目标框(x_j，y_j，v_j)为例，说明初始化的毫米波雷达目标框的获取方式：

根据下面的式(1)至式(3)，得到毫米波雷达目标相对毫米波雷达坐标系的原点的位置(x_j，y_j)和速度v_j，其中，(x_j，y_j)为毫米波雷达目标框的中心点位置，pi为常数，取值比如可以为3.1415926：

x_j＝range_j*sin(angle_rad*pi/180.0) (1)

y_j＝range_j*cos(angle_rad*pi/180.0) (2)

v_j＝range_rate_j (3)

若毫米波雷达没有返回宽度信息width_j，则假设宽度width_j为1米,毫米波雷达目标的长度length_j＝width_j，记l_j＝w_j,完成毫米波雷达目标框的初始化。

S124，标定毫米波雷达-摄像机：采集毫米波雷达坐标系和图像坐标系共有区域的K个点，对于其中的一个点而言，毫米波雷达返回的坐标点为(x_rad,y_rad)，相机返回的坐标点为(x_cam,y_cam)，获取毫米波雷达-摄像机标定参数(A_rad2cam，L_rad2cam)，A_rad2cam为2*3维的变换矩阵参数-旋转矩阵，L_rad2cam为2*1维的平移矩阵。

例如：利用如下透视变换关系，建立毫米波雷达坐标系的点转换到图像坐标系的方程(如下面式(4)所示)，利用最小二乘法，求解最优参数，即可获得毫米波雷达-摄像机标定参数(A_rad2cam，L_rad2cam)。由于式(5)和(6)共有8个参数，故K取值≥8，实施中取K＝64，结合式(4)至式(6)，可以计算获得A_rad2cam和L_rad2cam：

S125，根据S124获得的获取毫米波雷达-摄像机标定参数，将S122输出的M个毫米波雷达目标数据从毫米波雷达坐标系转换到图像坐标系，形成M个图像目标框。其具体包括下面的S125a和S125b：

S125a，映射参数自学习：图像目标框真值数据库DB2中标记的图像目标框用于学习毫米波雷达坐标系转换到图像坐标系的毫米波雷达目标输出框和图像目标框的位置映射关系{λ_x，λ_y，λ_w，λ_h，b_x，b_y},如式(7)所示，进而更新毫米波雷达目标输出框的信息、修正毫米波雷达坐标系和图像坐标系的转换偏差、毫米波雷达自身检测的位置和宽度信息的误差、以及估计多目标的长度。

式(7)中，{λ_x，λ_y，λ_w，λ_h，b_x，b_y}为学习参数；毫米波雷达检测到的障碍物目标对应图像中的真实障碍物目标的坐标点表示为(x_gt,y_gt，w_gt,h_gt)，x_gt为毫米波雷达目标框的中心在毫米波雷达坐标系中的横坐标，y_gt为毫米波雷达目标框的中心在毫米波雷达坐标系中的纵坐标，w_gt为毫米波雷达目标框的中心在毫米波雷达坐标系中的宽度，h_gt为毫米波雷达目标框的中心在毫米波雷达坐标系中的高度；毫米波雷达检测到的障碍物目标从毫米波雷达坐标系转换到图像坐标系中的坐标点表示为(x_cam,y_cam，w_cam,h_cam，)，x_cam为图像目标框的中心在图像坐标系中的横坐标，y_cam为图像目标框的中心在图像坐标系中的纵坐标，w_cam为图像目标框在图像坐标系中的宽度，h_cam为图像目标框在图像坐标系中的高度。

S125b，目标框扩展：借鉴Faster R-CNN目标检测模型中的RPN网络，利用图像目标框真值数据库DB2中标记的图像目标框的长宽分布规律，采用k均值聚类算法(k-means)设计适应于图像目标框真值数据库DB2的目标候选框长宽(参考Faster R-CNN中的RPN网络三种尺寸和三种长宽比，设置k为9)，进行毫米波雷达目标输出框的扩展学习，输出尽可能多且准确的且包括真实障碍物目标的毫米波雷达目标扩展框。

图像检测单元23用于采集摄像机拍摄到的图像数据，并将图像数据经由对激光雷达检测单元21输出的二值化栅格化地图进行激光雷达-摄像机标定，生成感兴趣区域，借助基础功能模块1中的图像目标框真值数据库DB2训练的YOLOv3模型进行目标检测，输出图像数据中的障碍物目标的信息，该信息包括目标的位置、类型和朝向信息。

在一个实施例中，图像检测单元23具体工作过程包括下面的步骤S131～S135：

S131，采集摄像机返回的数据：通过基础功能模块1中的传感器驱动单元22进行摄像机驱动后，从以太网接口获得摄像机返回的图像数据。

S132，解析S131接收的图像数据，获取BGR三通道的PNG图像。

S133，标定激光雷达-摄像机：采用与上述步骤S123类似的方法，获取激光雷达-摄像机标定参数(A_lid2cam，L_lid2cam)。

S134，生成感兴趣区域：根据S133获得的激光雷达-摄像机标定参数，将S114中激光雷达检测单元21输出的二值化栅格化地图从激光雷达坐标系转换到图像坐标系中的公共区域，生成感兴趣区域。

S135，训练YOLOv3目标检测模型：根据基础功能模块1中的离线数据库单元23的图像目标框真值数据库DB2，对YOLOv3模型进行参数学习，生成针对图像进行多目标检测的YOLOv3_Camera目标检测模型。

S136，检测障碍物目标：利用S135得到的YOLOv3_Camera目标检测模型在S134生成的感兴趣区域示出的图像平面中进行多目标检测，输出图像数据。图像数据中的每一个障碍物目标以图像目标框(目标矩形位置框)的形式呈现，每一个障碍物目标的信息记为{x，y，w，h，c，o}，(x，y)为图像目标框的左上角在图像坐标系中的坐标点，w为图像目标框的宽，h为图像目标框的高，c(category)为障碍物目标的大类别和小类别，o(orientation)为障碍物目标的朝向信息。

多目标跟踪模块3包括单帧目标融合单元31、目标运动预测单元32和多帧目标关联单元33。

单帧目标融合单元31用于将不同车载传感器进行时空同步，对当前帧图像中的障碍物目标信息进行融合(如图3中示出的输入)。

在一个实施例中，单帧目标融合单元31具体工作过程包括下面的步骤S211～S213：

S211，接收多源多目标检测模块2输出的多源信息。

S212，标定摄像机-车辆：采用与上述步骤S123相同的方法，获取摄像机-车辆标定参数(A_cam2veh，L_cam2veh),将图像坐标系中的目标框转换为车辆坐标系的目标框。

S213，坐标系转换：根据S123获得的毫米波雷达-摄像机标定参数(A_rad2cam，L_rad2cam)和S133获得的激光雷达-摄像机标定参数(A_lid2cam，L_lid2cam),将同一时间戳下的单帧图像的车载传感器检测到的车辆周围的障碍物目标信息进行空间同步后，依次转换到图像坐标系、车辆坐标系(ISO标准，纵向为x,横向为y,垂向为z，满足右手法则)中。坐标系转换过程中，以摄像机检测结果为基准，基于全局最邻近(GNN)算法，匹配对应的毫米波雷达和激光雷达信息，获取同一障碍物目标信息，该信息包括障碍物目标的位置、距离、类别和速度。

目标运动预测单元32基于单帧目标融合单元31融合后的障碍物目标的历史N帧图像数据，对障碍物目标进行运动预测。

在一个实施例中，目标运动预测单元32具体工作过程包括下面的步骤S221～S225：

S221，接收单帧目标融合单元31输出的车辆坐标系中的障碍物目标信息。

S222，针对S221中障碍物目标信息中三大分类，即Car(车)、Pedestrian(人)和Rider(骑行者)，分别设计三个单独的长短时记忆网络(LSTM)进行运动预测，包括障碍物目标的位置(x，y)和尺寸(w，h)。

S223，根据类别o∈{Car，Pedestrian，Rider}，即将图像目标框真值数据库DB2中的数据样本分为Car(车)、Pedestrian(人)、Rider(骑行者)三大类别，利用S222设计的长短时记忆网络(LSTM)进行训练，前N帧为输入数据，第N+1帧为预测/输出数据，形成LSTM运动预测模型。

S224，在S223确定的三大类障碍物目标中，根据不同的跟踪ID匹配图像目标框真值数据库DB2中同一障碍物目标在连续N+1帧的数据(x，y，w，h)_i-N+1～i+1。其中：N为LSTM运动预测模型输入的帧数(用包括第i帧的历史的N帧数据来预测下一帧(即i+1帧)的数据)；i为帧号(第i帧图像)取值不小于N的整数(因为小于N时，历史帧数少于N帧)。历史的N帧图像的帧号为：i-N+1,i-N+2,…,i-1,i。例如：i为第12帧，N取10，则可用3,4,5,6,7,8,9,10,11,12连续十帧，预测下一帧，即第i+1＝13帧。(x，y)为预测目标框的位置信息，(w，h)为预测目标框的尺寸信息。当前帧为第i帧，以包括当前帧的前N帧为输入数据，第i+1帧为预测/输出数据，进行LSTM运动预测模型的训练，形成LSTM单步长(只向前预测一帧，因为得处理当前帧i与下一帧i+1的目标关联)的运动预测模型。由于激光雷达、毫米波雷达和摄像机三种车载传感器的最低帧率为10Hz，这里LSTM模型学习历史数据时长为1s，共计10帧，取N＝10。

S225，利用S224训练好的LSTM模型测试连续N帧中同一障碍物目标的运动数据(x，y，w，h)_i-N+1～N，预测下一帧障碍物目标的运动信息(x，y，w，h)_i+1。

多帧目标关联单元33用于关联目标运动预测单元32确定的当前帧的障碍物目标检测信息，并给出关联之后的多障碍物目标信息{x，y，w，h，c，id，v，o}，输出带有连续帧障碍物目标运动信息的动态障碍物目标库。

在一个实施例中，多帧目标关联单元33具体工作过程如下：

接收目标运动预测单元32输出的当前帧的障碍物目标的运动信息(x，y，w，h)，将单帧目标融合单元31输出的融合后的障碍物目标对应的速度、类别、距离、朝向等属性作为关联的属性，利用匈牙利算法(Hungarian)对连续帧间的多目标进行关联匹配，赋予同一障碍物目标同一跟踪ID号,输出关联之后的多目标信息，即动态障碍物目标库{x，y，w，h，c，id，v，o}。

可通行区域生成模块4用于接收多源多目标检测模块2输出的静态目标库或二值化栅格化地图和多目标跟踪模块输出的动态障碍物目标库，并根据静态目标库信息更新动态障碍物目标库，形成实时的障碍物信息，生成车辆可通行区域。

可通行区域生成模块4用于将激光雷达检测单元21输出的二值化栅格化地图作为静态目标库，将多帧目标关联单元33输出的具有实时运动轨迹的目标作为动态障碍物目标库，并根据静态目标库信息更新动态障碍物目标库，生成实时的车辆可通行区域。

在一个实施例中，可通行区域生成模块4具体工作过程包括下面的步骤S310～S330：

S310，接收多源多目标检测模块2中的激光雷达检测单元21输出的更新后的二值化栅格化地图以及多帧目标关联单元33形成的动态障碍物目标库；

S320，利用更新后的二值化栅格化地图的信息更新动态障碍物目标库。

S330，根据S320更新后的动态障碍物目标库，更新实时障碍物目标位置和运动信息，输出车辆的可通行区域，“可通行区域”有障碍物目标的图像区域的像素点标记为1，没有障碍物目标的图像区域的像素点标记为0，形成更新后的二值化栅格化地图。

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于多源信息融合的智能车辆可通行区域检测方法，其特征在于：包括：

S100，采集车载传感器检测到的车辆周围的障碍物目标信息，输出静态障碍物目标库，所述静态障碍物目标库为由激光雷达检测到的包括道路边界信息的二值化栅格化地图；

S200，接收S100采集到的车辆周围的障碍物目标信息，将由所述车载传感器检测到的障碍物目标信息进行时空同步，再将所有检测到的车辆周围的障碍物信息进行单帧目标融合，最后利用运动预测和多帧目标关联进行连续帧间的多目标跟踪，输出动态障碍物目标库，所述动态障碍物目标库包括障碍物目标的位置、尺寸、类别和跟踪ID以及运动速度及其方向，时空同步包括激光雷达-摄像机标定功能、毫米波雷达-摄像机标定功能、摄像机-车辆标定功能和数据时空同步；以及

S300，接收S100输出的静态障碍物目标库和S200输出的动态障碍物目标库，并根据静态障碍物目标库的信息更新动态障碍物目标库，形成实时的障碍物目标信息，生成可通行区域；

S200中的“将所有检测到的车辆周围的障碍物信息进行单帧目标融合”包括：

获取摄像机-车辆标定参数，将图像坐标系中的目标框转换为车辆坐标系的目标框；

根据毫米波雷达-摄像机标定参数和激光雷达-摄像机标定参数，将同一时间戳下的单帧图像的车载传感器检测到的车辆周围的障碍物目标信息进行空间同步后，依次转换到图像坐标系、车辆坐标系中；以及

以摄像机检测结果为基准，基于全局最邻近算法，匹配对应的毫米波雷达和激光雷达信息，获取同一障碍物目标信息，该信息包括障碍物目标的位置、距离、类别和速度；

S200中的“利用运动预测和多帧目标关联进行连续帧间的多目标跟踪”包括：

针对障碍物目标中的Car、Pedestrian、Rider，分别设计三个单独的长短时记忆网络进行运动预测，涉及目标的位置信息，尺寸信息；Car表示车，Pedestrian表示人，Rider表示骑行者，

根据类别c∈{Car，Pedestrian，Rider}，利用长短时记忆网络进行训练，前N帧为输入数据，第N+1帧为预测/输出数据，形成长短时记忆网络运动预测模型；

在确定好的三类障碍物目标中，根据不同的跟踪ID匹配图像目标框真值数据库DB2中同一障碍物目标在连续N+1帧的数据(x，y，w，h)_i-N+1～i+1，(x，y)为预测目标框的位置信息，(w，h)为预测目标框的尺寸信息，(x，y)为目标框的左上角在图像坐标系中的坐标点，w为目标框的宽，h为目标框的高，图像目标框真值数据库DB2用于在图像数据中的图像平面上标记二维目标框；

利用训练好的长短时记忆网络运动预测模型测试连续N帧中同一障碍物目标的运动数据(x，y，w，h)_i-N+1～i，预测下一帧障碍物目标的运动信息(x，y，w，h)_i+1；

将障碍物目标的位置和尺度信息以及融合后的障碍物目标对应的速度、类别、距离、朝向属性作为关联的属性，利用匈牙利算法对连续帧间的多目标进行关联匹配，赋予同一障碍物目标同一跟踪ID号，输出关联之后的动态障碍物目标库{x，y，w，h，c，id，v，o}；

其中，N为长短时记忆网络运动预测模型输入的帧数；i为帧号，id表示毫米波雷达目标框的ID号，v表示毫米波雷达目标相对毫米波雷达坐标系的原点的速度，c为障碍物目标的大类别和小类别，o为障碍物目标的朝向信息。

2.如权利要求1所述的基于多源信息融合的智能车辆可通行区域检测方法，其特征在于，S100具体包括：

采集并解析激光雷达输出的三维点云图像，生成二维俯视点云图；

根据所述二维俯视点云图，获得障碍物目标检测框和包括道路边界点信息的二值化栅格化地图；以及

结合YOLOv3_LiDAR目标检测模型生成的障碍物目标信息，更新所述二值化栅格化地图，所述YOLOv3_LiDAR目标检测模型根据点云目标框真值数据库DB1，对YOLOv3模型进行参数学习生成，点云目标框真值数据库DB1用于在由激光雷达数据生成的二维俯视点云图上标记二维目标框，所述YOLOv3模型通过采用深度学习目标检测YOLOv3框架预训练目标检测模型，针对不同的数据库，设计不同的目标学习类别，学习不同的模型参数，得到针对二维俯视点云图和单目图像的YOLOv3目标检测模型。

3.如权利要求2所述的基于多源信息融合的智能车辆可通行区域检测方法，其特征在于，所述障碍物目标检测框的获得方法具体还包括：

利用YOLOv3_LiDAR目标检测模型，在二维俯视点云图上进行障碍物目标检测，并输出障碍物目标信息，该障碍物目标信息包括障碍物目标的位置和大类别。

4.如权利要求2所述的基于多源信息融合的智能车辆可通行区域检测方法，其特征在于，所述二值化栅格化地图的获取方法具体包括：

S1142a，利用欧式点聚类方法，在所述二维俯视点云图中进行二值化障碍物目标检测，输出由障碍目标所在区域组成的初始的二值化的栅格化地图；

S1142b，根据解析得到的所述三维点云扫描点的高度信息和反射强度，找出可能的道路边界点，并采用二次曲线拟合局部道路边界，生成包括道路边界点信息的二值化栅格化地图。

5.如权利要求2至4中任一项所述的基于多源信息融合的智能车辆可通行区域检测方法，其特征在于，S100具体还包括：

S122，利用专用DBC文件对S121接收到的障碍物目标的信息进行解析，获取M个毫米波雷达目标数据；

S123，利用S122输出的M个毫米波雷达目标数据，根据下面的式(1)至式(3)，获取初始化的毫米波雷达目标框，式中，(x_j，y_j)为任一个障碍物目标对应的毫米波雷达目标框的中心点位置，任一个障碍物目标的速度v_j，pi为常数：

x_j＝range_j*sin(angle_rad*pi/180.0) (1)

y_j＝range_j*cos(angle_rad*pi/180.0) (2)

v_j＝range_rate_j (3)

若毫米波雷达没有返回宽度信息width_j，则假设宽度width_j为1米，毫米波雷达目标的长度length_j＝width_j，完成毫米波雷达目标框的初始化；range_j表示第j个毫米波雷达目标框的中心与毫米波雷达坐标系原点的相对距离，angle_rad表示毫米波雷达目标框的中心与毫米波雷达坐标系原点连线与纵向的相对角度，range_rate_j表示第j个毫米波雷达目标框与毫米波雷达坐标系原点的相对速度；

S124，采集毫米波雷达坐标系和图像坐标系共有区域的K个点的坐标，获取毫米波雷达-摄像机标定参数；

S125，根据S124获得的毫米波雷达-摄像机标定参数，将S122输出的M个毫米波雷达目标数据从毫米波雷达坐标系转换到图像坐标系，形成M个图像目标框。

6.如权利要求5所述的基于多源信息融合的智能车辆可通行区域检测方法，其特征在于，S125具体包括：

S125a，利用式(7)，计算得到图像目标框真值数据库DB2中标记的图像目标框用于学习毫米波雷达坐标系转换到图像坐标系的毫米波雷达目标输出框和图像目标框的位置映射关系{λ_x，λ_y，λ_w，λ_h，b_x，b_y}；

式(7)中，{λ_x，λ_y，λ_w，λ_h，b_x，b_y}为学习参数；毫米波雷达检测到的障碍物目标对应图像中的真实障碍物目标的坐标点表示为(x_gt，y_gt，w_gt，h_gt)，x_gt为毫米波雷达目标框的中心在毫米波雷达坐标系中的横坐标，y_gt为毫米波雷达目标框的中心在毫米波雷达坐标系中的纵坐标，w_gt为毫米波雷达目标框的中心在毫米波雷达坐标系中的宽度，h_gt为毫米波雷达目标框的中心在毫米波雷达坐标系中的高度；毫米波雷达检测到的障碍物目标从毫米波雷达坐标系转换到图像坐标系中的坐标点表示为(x_cam，y_cam，w_cam，h_cam，)，x_cam为图像目标框的中心在图像坐标系中的横坐标，y_carm为图像目标框的中心在图像坐标系中的纵坐标，w_cam为图像目标框在图像坐标系中的宽度，h_cam为图像目标框在图像坐标系中的高度；

S125b，借鉴Faster R-CNN目标检测模型中的RPN网络，利用图像目标框真值数据库DB2中标记的图像目标框的长宽分布规律，采用k均值聚类算法设计适应于图像目标框真值数据库DB2的目标候选框长宽，进行毫米波雷达目标输出框的扩展学习，输出尽可能多且准确的且包括真实障碍物目标的毫米波雷达目标扩展框。

7.如权利要求6所述的基于多源信息融合的智能车辆可通行区域检测方法，其特征在于，S100具体还包括：

S131，采集摄像机返回的图像数据；

S132，解析S131接收的图像数据，获取BGR三通道的PNG图像；

S133，获取激光雷达-摄像机标定参数；

S134，根据S133获得的激光雷达-摄像机标定参数，将包括道路边界点信息的二值化栅格化地图从激光雷达坐标系转换到图像坐标系中的公共区域，生成感兴趣区域；

S135，根据图像目标框真值数据库DB2，对YOLOv3模型进行参数学习，生成针对图像进行多目标检测的YOLOv3_Camera目标检测模型；

S136，利用S135得到的YOLOv3_Camera目标检测模型在S134生成的感兴趣区域示出的图像平面中进行多目标检测，输出图像数据，图像数据中的每一个障碍物目标的信息记为{x，y，w，h，c，o}。

8.如权利要求1所述的基于多源信息融合的智能车辆可通行区域检测方法，其特征在于，S300具体包括：

S310，接收多源多目标检测模块2中的激光雷达检测单元21输出的更新后的二值化栅格化地图以及多帧目标关联单元33形成的动态障碍物目标库；

S320，利用更新后的二值化栅格化地图的信息更新动态障碍物目标库；

S330，根据S320更新后的动态障碍物目标库，更新实时障碍物目标位置和运动信息，输出车辆的可通行区域。

Images