CN115440034B - 一种基于摄像头的车路协同实现方法及实现*** - Google Patents

Abstract

本发明提供一种基于摄像头的车路协同实现方法及实现***，包括设于车辆上的智能网联车载子***和设于路侧的智能网联路侧子***，其中，车载摄像头和路侧摄像头通过GNSS授时进行时间同步，智能网联车载子***和智能网联路侧子***都将像素坐标转换成WGS84坐标，实现车载摄像头和路侧摄像头的空间对齐，智能网联路侧子***将检测结果推送给车辆，自车基于自身RTK位置信息与路侧检测结果进行关联融合，自车周围障碍物将车载摄像头检测结果与路侧检测结果进行融合，本发明保证了车路协同***在信息融合过程中空间上的对齐，不管是自车还是自车周围的障碍物目标都可以通过位置信息与路侧的感知结果进行融合，从而有效实现车路协同感知，推进车路协同落地。

Description

一种基于摄像头的车路协同实现方法及实现***

技术领域

本发明属于智慧交通技术领域，尤其涉及一种基于摄像头的车路协同实现方法及实现***。

背景技术

近年来，信息与通信技术的迅速发展引发了传统汽车行业的深刻变革，促进了智能驾驶汽车的成熟，汽车驾驶正在变得越来越简单智能。然而，传统的自动驾驶和辅助驾驶***通常仅依赖车载传感器来感知和理解周围驾驶环境。一方面，这需要在车辆上部署先进复杂的传感器设备和计算存储设备，极大增加了车辆的制造和维护成本。另一方面，因为车载传感器视角通常比较低，会受到恶劣天气以及复杂驾驶环境诸如隧道出入口和十字路口等的物理限制，大大限制了车辆感知的范围和准确性。2020世界智能网联汽车大会上，中国汽车工程学会理事长、中国工程院院士李骏教授指出了单车智能的5大挑战：1)高度依赖人工智能，导致难以克服“黑盒效应”；2)最终实现需要百亿英里的道路测试，短期内难以实现；3)完全自动驾驶至少需要几百万的极端工况数据训练；4)传感设备过多导致成本过高；5)实际行驶安全难以得到绝对保证。

因此，为了准确有效的感知交通***中目标状态的信息，仅仅通过本车传感器和计算资源是远远不够的，车联网(Internet of Vehicles，IoV)技术与车路协同发展路线由此应运而生。车联网V2X(Vehicle-to-everything)技术是运用先进的移动通信技术将车与其他车辆、车与行人、车与路侧基础设施等一切交通单元连接成网。

对于车路协同的感知***而言，最重要的任务就是利用传感器对道路上的车辆、行人等交通参与者进行识别并持续进行跟踪，得到各个目标精准的轨迹，以支持后续的路径规划和决策。目前，多数方案通过设置摄像头来检测跟踪目标，因为车载摄像头成了标配，路侧摄像头也被广泛的部署，但是如何将车载摄像头和路侧摄像头进行有效融合，实现车路协同感知目前还鲜有研究。目前已有的研究思路是利用多传感器融合来解决这一问题，通过激光雷达——相机的联合标定，可以有效地将像素坐标转换到激光点云坐标，而激光点云坐标通过刚性变换很容易转换到东北天坐标，这是在多传感器融合过程中建立统一坐标系的常用方法。但是，在没有激光雷达的情况下，如何针对车载摄像头和路侧摄像头，构建统一的坐标系，实现基于摄像头的车路协同感知，目前还没有相关研究。

发明内容

针对现有技术中存在的不足之处，本发明的目的是提供一种基于摄像头的车路协同实现方法及实现***，保证了车路协同***在信息融合过程中空间上的对齐，可以为车路协同感知提供统一的参照坐标系，从而提高感知精度。为了实现根据本发明的上述目的和其他优点，提供了一种基于摄像头的车路协同实现***，包括：

设置于车辆上的智能网联车载子***和设置于路侧的智能网联路侧子***，且智能网联车载子***和智能网联路侧子***通过V2X实现车路协同。

优选的，所述智能网联车载子***包括含有RTK、车载摄像头、车载计算设备及V2X设备，上述设备集成在一起。

优选的，智能网联路侧子***包括路侧摄像头、路侧计算设备及V2X设备，上述设备集成在一起。

一种基于摄像头的车路协同实现方法，包括以下步骤：

S1、所述智能网联路侧子***和智能网联车载子***通过GNSS授时实现时间同步；

S2、所述智能网联路侧子***通过从像素坐标到WGS84坐标的转换实现路侧摄像头的空间对齐；

S3、所述智能网联车载子***实现从像素坐标到WGS84坐标的转换；

S4、所述智能网联路侧子***通过V2X将检测结果推送给智能网联车载子***；

S5、所述智能网联车载子***和智能网联路侧子***通过统一的WGS84坐标系实现信息融合；

优选的，所述步骤S2涉及到路侧摄像头，可以在测试车(所述智能网联车载子***中的自车)上安装RTK以获取测试车实时的GPS坐标，同时录制测试车在路侧摄像头视野区域内的行驶视频，并通过目标检测算法实时识别出测试车的位置从而获取测试车的像素点坐标，经过时间同步之后可同时获取更多对应的GPS坐标——像素点坐标对，将获取到的数据进行训练集和测试集的划分，利用决策树回归、随机森林回归算法或神经元网络深度学习算法进行训练，最终获取路侧摄像头像素点坐标到GPS坐标的转换模型。

优选的，所述步骤S3涉及到车载摄像头，其中摄像头不需要通过内参和外参标定，直接通过建立单应性变换矩阵实现从像素坐标到WGS84坐标的转换。该方法包括以下步骤：

S1：在车体固定安装相机，在相机的视野范围内选取合适位置放置若干颜色鲜艳的纸片用做标记；

S2：用手持高精度GPS获取标记纸片的GPS坐标；

S3：获取相机的任意一帧检测画面，获取标记纸片在图片中的像素点坐标；

S4：利用对应的GPS坐标——像素点坐标对，通过最小二乘法求解传感器坐标系和GPS坐标系的单应性变换，将摄像头坐标投影到GPS坐标系。当传感器与GPS同时观测P点，定义P点在像素坐标系Ouv和GPS坐标系OXY下的坐标分别为(u,v)和(X,Y)，则两者的转换关系可表示为：

通过矩阵变换可以将检测目标的摄像头坐标投影到GPS坐标系下，给定N组空间对应集(u,v)和(X_i,Y_i),(i＝1,2,...,n)。根据式(1)可以确定如下方程：

定义：

则变换矩阵N的最小二乘解为：

由此，通过所求解的变换矩阵实现了由摄像头的像素坐标到WGS84坐标系(即GPS坐标)的映射。

优选的，所述步骤S4涉及到V2X通信，智能网联路侧子***可通过PC5空口或者Uu空口用消息集RSM将路侧摄像头感知到的消息发送给智能网联车载子***，消息封装格式可采用JSON、ProtoBuf或者XML。优选的，所述步骤S5涉及智能网联车载子***和智能网联路侧子***之间的信息融合。针对智能网联车载子***，其自车信息可利用车载RTK提供的位置信息，自车周围的障碍物信息可利用车载摄像头提供的感知目标物信息，分别与智能网联路侧子***感知到的信息进行融合。信息融合包括两个步骤，首先是目标匹配，其次是过滤。目标匹配可以采用全局最近邻(GNN)、联合概率数据关联(JPDA)、多假设跟踪(MHT)等方法，过滤算法可采用卡尔曼滤波、扩展卡尔曼滤波、无损卡尔曼滤波以及粒子滤波等方法。

与现有技术相比，本发明的有益效果主要体现在：针对车路协同对时空同步的需要所设计的，不需要依赖于激光雷达进行联合标定，通过建立转换模型可以直接从摄像头的像素坐标映射到WGS84下的GPS坐标，即使针对不同的子***，如智能网联车载子***或智能网联路侧子***，也能够获取到各个目标物在统一坐标系下的状态，进而可以开展基于位置点的信息融合，包括自车的融合和自车周围障碍物的融合，实现了车路协同感知。

附图说明

图1为根据本发明的基于摄像头的车路协同实现方法及实现***的架构图；

图2为根据本发明的基于摄像头的车路协同实现方法及实现***的布点示意图。

具体实施方式

下面将结合示意图对本发明一种基于摄像头的车路协同实现方法及实现***进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果，因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。

参照图1-2，一种基于摄像头的车路协同实现***，包括：设置于车辆上的智能网联车载子***和设置于路侧的智能网联路侧子***，且智能网联车载子***和智能网联路侧子***通过V2X实现车路协同。

智能网联车载子***包含有RTK、车载摄像头、车载计算设备及V2X设备，各设备通过交换机集成在一起。RTK可以是北斗或GPS差分***，车载摄像头包括前视摄像头、后视摄像头和环视摄像头，车载计算设备包括嵌入式控制器与工控机，V2X设备包括5G/4G CPE、V2X OBU，其空间对齐过程为：针对每个摄像头，建立转换模型，实现从像素坐标到WGS84坐标的转换。这里，车载摄像头也可以用其他的车载传感设备来替代，如激光雷达、毫米波雷达。

智能网联路侧子***包含有路侧摄像头、路侧计算设备及V2X设备，各设备通过交换机集成在一起。路侧摄像头包括工业摄像头、网络摄像头，路侧计算设备包括MEC服务器、工控机、电脑，V2X设备包括5G/4G CPE、V2X RSU，其空间对齐过程为：针对每个路侧摄像头，建立转换模型，实现从像素坐标到WGS84坐标的转换。

进一步的，车载摄像头和路侧摄像头都通过NTP时间服务器进行时间同步。针对车载或路侧摄像头，可建立单应性变换矩阵，实现从像素坐标到WGS84坐标的转换，包括以下步骤：

S1、固定安装好摄像头，在摄像头的检测范围内选取若干位置，在这些位置上放置颜色鲜艳的标记纸片以做标记。这些位置相当于对摄像头检测范围的采样，选取的位置应间距合适，尽量覆盖摄像头的检测范围。位置选取的数量越多，则标定精度越高，但工作量会加大；反之，位置选取数量越少，标定精度则会较低。为了求解单应性变换矩阵，至少需要选取9个位置点，布点的位置如图2所示。

S2、采用手持GPS高精度数据采集器对步骤S1中选取的位置测量GPS坐标并记录。应当注意，记录下的GPS坐标与纸片的像素位置应一一对应，以便后续与像素点坐标对应起来；

S3、使用颜色鲜艳的标记纸片标记出各个位置后，需要获取一帧摄像头的检测画面，如图2所示，在该帧画面中能清晰地看到各个标记位置。获取所有标记位置在图片中的像素点坐标，与步骤S2中获取的GPS坐标一一对应；

S4、采用摄像头坐标系和GPS坐标系的单应性变换原理，通过最小二乘法求解传感器坐标系和GPS坐标系的单应性变换，将摄像头坐标投影到WGS84坐标系；

S5、由于摄像头检测画面存在畸变和透视现象，因此使用一个单应性变换在某些位置转换误差较大。因此可以考虑采用分区标定方式。重复步骤S1-S4，获取摄像头检测画面偏下方、偏上方的一系列GPS坐标和像素点坐标，并计算其转换矩阵。如果道路近似与像素坐标系中的y轴方向平行，可以按照y轴方向上像素坐标值对道路进行分区，在不同的区域通过上述标定方法计算出对应的映射变换矩阵；

针对路侧摄像头，通过录制一辆装有RTK的测试车在路侧摄像头视野区域内的行驶视频，同时基于目标检测算法获取对应的GPS坐标——像素点坐标对，再利用决策树回归、随机森林回归算法或神经元网络深度学习进行训练，从而获得像素点坐标到GPS坐标的转换模型。

智能网联路侧子***，首先由路侧MEC对路侧摄像头的视频图像进行处理，如Yolov5、DeepSort提取出有关目标物状态的特征信息，这里的特征信息不仅包括类别，还包括位置信息，然后用JSON封装成RSM消息，由RSU通过PC5空口推送给车载OBU。

智能网联车载子***，首先由车载工控机实施采集RTK数据，并对车载摄像头的视频图像进行特征提取，同样的，目标物状态特征中包含位置信息。同时由车载OBU解析所接收到的RSM消息，然后由车载工控机对自车采集到的信息和从RSU传递过来的信息进行融合处理。这里可以基于马氏距离采用匈牙利匹配对车载信息和路侧信息进行数据关联，并利用卡尔曼滤波对目标进行更新，得到更新的自车状态和周围目标物状态。这里的目标匹配和过滤方法不限于本文所提到的匈牙利匹配和卡尔曼滤波。

上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (9)

1.一种基于摄像头的车路协同实现方法，其特征在于，针对智能网联路侧子***中的多个车载摄像头和智能网联车载子***中的多个路侧摄像头，通过构建统一坐标系，并将所述车载摄像头和所述路侧摄像头进行有效融合，实现基于摄像头的车路感知协同，包括如下步骤：

S1：所述车载摄像头和所述路侧摄像头通过GNSS授时实现时间同步；

S2：所述智能网联路侧子***通过从像素坐标到WGS84坐标的转换实现每个所述路侧摄像头的空间对齐；

S3：所述智能网联车载子***通过从像素坐标到WGS84坐标的转换实现每个所述车载摄像头的空间对齐；

S4：所述智能网联路侧子***通过V2X将检测结果推送至智能网联车载子***；

S5：所述智能网联车载子***和所述智能网联路侧子***通过统一的WGS84坐标系实现信息融合，从而实现基于摄像头的车路感知协同。

2.根据权利要求1所述的基于摄像头的车路协同实现方法，其特征在于，所述S2中，通过建立转换模型实现路侧摄像头像素点坐标到WGS84坐标的转换，所述路侧摄像头像素点坐标到WGS84坐标的转换模型包括如下步骤：

S21：在测试车上安装RTK获取测试车实时的WGS84坐标，同时录制测试车在路侧摄像头视野区域内的行驶视频，并通过目标检测算法实时识别出测试车的位置，从而获取测试车的像素点坐标，且经过时间同步后同时获取更多对应的像素点坐标对；

S22：将获取的数据进行训练集和测试集的划分，利用决策树回归、随机森林回归算法或神经元网络深度学习算法进行训练，最终获得路侧摄像头像素点坐标到WGS84坐标的转换模型。

3.根据权利要求1所述的基于摄像头的车路协同实现方法，其特征在于，所述S3中，所述车载摄像头直接通过建立单应性变换矩阵实现像素坐标到WGS84坐标的转换，具体转换过程包括如下步骤：

S31：在车体上安装相机，在相机的视野范围内放置多个颜色鲜艳的纸片作为标记；

S32：使用高精度GPS手持机获取标记的GPS坐标；

S33：获取相机的任意一帧检测画面，获取标记纸片在图片中的像素点坐标；

S34：利用对应的像素点坐标对，通过最小二乘法求解传感器坐标系和GPS坐标系的单应性变换，将摄像头坐标投影至GPS坐标，当传感器与GPS同时观测P点，定义P点在像素坐标系Our和GPS坐标系OXY下的坐标分别为(u,v)和(x,y)，则Our和OXY之间的转换关系如公式一表示，所述公式一为：

通过矩阵变换将检测目标的摄像头坐标投影到GPS坐标系下，给定N组空间对应集(u,v)和(X_i,Y_i),(i＝1,2,...,n),根据公式一确定公式二至公式五，所述公式二表示为：

所述公示三表示为：

所述公式四表示为：

所述公式五表示为：

定义公式六和公式七，所述公式六表示为：

所述公式七表示为：

变换矩阵N的最小二乘解得到公式八，所述公式八表示为：

通过求解的变换矩阵实现了摄像头的像素坐标到WGS84坐标系的映射。

4.根据权利要求1所述的基于摄像头的车路协同实现方法，其特征在于，所述S4中，所述V2X包括V2XPC5空口和V2XUu空口，所述智能网联路侧子***通过所述V2XPC5空口或所述V2XUu空口将检测结果推送至所述智能网联车载子***。

5.根据权利要求1所述的基于摄像头的车路协同实现方法，其特征在于，所述步骤S5中，将自车信息和自车周围的障碍物信息分别与智能网联路侧子***感知到的信息进行融合，自车信息为车载RTK提供的位置信息，自车周围的障碍物信息为为车载摄像头提供的感知目标物信息。

6.根据权利要求5所述的基于摄像头的车路协同实现方法，其特征在于，依次通过目标匹配和过滤算法进行信息融合，所述目标匹配采用全局最近邻、联合概率数据关联、多假设跟踪方法的其中一种或多种结合；所述过滤算法采用卡尔曼滤波、扩展卡尔曼滤波、无损卡尔曼滤波或粒子滤波算法的其中一种或多种结合。

7.一种基于摄像头的车路协同的实现***，用于实现如权利要求1-6中任意一项所述的基于摄像头的车路协同实现方法，其特征在于，包括设于车辆上的智能网联车载子***和设于路测的智能网联路侧子***，所述智能网联车载子***包括通过交换机一体集成的RTK、车载摄像头、车载计算设备和V2X设备；所述智能网联路侧子***包括通过交换机一体集成的路侧摄像头、路侧计算设备和V2X设备。

8.根据权利要求7所述的基于摄像头的车路协同的实现***，其特征在于，所述RTK为北斗或GPS差分***，所述车载摄像头包括前视摄像头、后视摄像头和环视摄像头，车载计算设备包括嵌入式控制器与工控机，V2X设备包括5G/4GCPE和V2XOBU。

9.根据权利要求7所述的基于摄像头的车路协同的实现***，其特征在于，所述路侧摄像头包括工业摄像头和网络摄像头，所述路侧计算设备包括MEC服务器、工控机和电脑，所述V2X设备包括5G/4GCPE和V2XRSU。