CN112634354B - 基于路侧传感器的网联自动驾驶行车风险评估方法与装置 - Google Patents

基于路侧传感器的网联自动驾驶行车风险评估方法与装置 Download PDF

Info

Publication number
CN112634354B
CN112634354B CN202011518996.7A CN202011518996A CN112634354B CN 112634354 B CN112634354 B CN 112634354B CN 202011518996 A CN202011518996 A CN 202011518996A CN 112634354 B CN112634354 B CN 112634354B
Authority
CN
China
Prior art keywords
coordinate system
target
image
road
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011518996.7A
Other languages
English (en)
Other versions
CN112634354A (zh
Inventor
贾立东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ziqing Zhixing Technology Beijing Co ltd
Original Assignee
Ziqing Zhixing Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ziqing Zhixing Technology Beijing Co ltd filed Critical Ziqing Zhixing Technology Beijing Co ltd
Priority to CN202011518996.7A priority Critical patent/CN112634354B/zh
Publication of CN112634354A publication Critical patent/CN112634354A/zh
Application granted granted Critical
Publication of CN112634354B publication Critical patent/CN112634354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于路侧传感器的网联自动驾驶行车风险评估方法与装置，该方法包括：步骤1，获取图像坐标系与GNSS大地坐标系之间的对应关系；步骤2，通过路侧传感器获取其所能覆盖范围的交通场景中的路侧感知数据，路侧感知数据包括图像坐标系中的目标检测框、目标类型、目标运动朝向和目标速度；步骤3，将步骤2中的目标检测框转换成GNSS大地坐标系中的目标位置；步骤4，根据步骤2获得的所有目标类型，获取每一种目标类型的交通参与者的等效权重参数；步骤5，计算所有目标对该自动驾驶车辆所产生的风险。本发明能够通过路侧传感器信息对道路区域的交通风险分布进行计算，有效进行安全评估。

Description

基于路侧传感器的网联自动驾驶行车风险评估方法与装置
技术领域
本发明涉及自动驾驶技术技术领域，特别是关于一种基于路侧传感器的网联自动驾驶行车风险评估方法与装置。
背景技术
随着自动驾驶技术的飞速发展，为使车辆的感知与决策能力得到提升，构建更加安全、可靠、智能的行车环境，将自动驾驶车辆与智能路侧传感器结合的技术思路成为一种趋势。
现有智能路侧设备主要完成路侧环境感知，或者将路侧感知数据与智能车进行简单的信息融合，例如：通过路侧传感器，对道路的交通参与者状态进行感知，将处理的信息通过网联技术发送给该区域的智能车辆，车辆接收到信息后，仅进行一些简单的判断工作(盲区预警)。同时，路侧传感器感知数据，与自动驾驶车辆的坐标系并不统一，无法有效帮助自动驾驶***进行有效的安全决策，而且实施起来较为困难或是效果达不到预期。
发明内容
本发明的目的在于提供一种基于路侧传感器的网联自动驾驶行车风险评估方法与装置来克服或至少减轻现有技术的上述缺陷中的至少一个。
为实现上述目的，本发明提供一种基于路侧传感器的网联自动驾驶行车风险评估方法，该方法包括：
步骤1，获取图像坐标系与可供自动驾驶车辆使用的GNSS大地坐标系之间的对应关系；
步骤2，通过路侧传感器获取其所能覆盖范围的交通场景中的路侧感知数据，路侧感知数据包括图像坐标系中的目标检测框、目标类型、目标运动朝向和目标速度；
步骤3，根据步骤1获得的图像坐标系与GNSS大地坐标系之间的对应关系，将步骤2中的目标检测框转换成GNSS大地坐标系中的目标位置；
步骤4，根据步骤2获得的所有目标类型，获取每一种目标类型的交通参与者的等效权重参数；
步骤5，计算所有目标对该自动驾驶车辆所产生的风险。
进一步地，步骤1中的“图像坐标系与GNSS大地坐标系之间的对应关系”表示为式(1)：
Figure BDA0002848895900000021
其中，
Figure BDA0002848895900000022
对应为GNSS大地坐标系中的坐标，
Figure BDA0002848895900000023
对应为图像坐标系中的坐标，Mt表示用于将路侧感知数据从路侧视角下的原始图像转换为鸟瞰视角下的目标图像的透视变换矩阵，Mg表示用于将目标图像从图像坐标系转换为GNSS大地坐标系的变换矩阵，Wi表示齐次坐标的中间参数。
进一步地，Mt的获取方法具体包括：
步骤11，在路侧传感器的图像可覆盖区域内的道路真实交通场景中设置四个可连成矩形的点，其在原始图像Is所对应的图像坐标系中的像素坐标点记为第一标记点：Pi s＝{(us1，vs1)，...(us4，vs4)}；
步骤12，在目标图像It所在的图像坐标系中设置四个可连成矩形的第二标记点Pi t＝{(ut1，vt1)，...(ut4，vt4)}，使第二标记点与第一标记点之间的坐标值满足如下式(2)提供的透视变换关系，计算式(3)提供的透视变换矩阵Mt中8个未知参数：
Figure BDA0002848895900000024
其中：
Figure BDA0002848895900000025
Figure BDA0002848895900000026
Figure BDA0002848895900000027
进一步地，Mg的获取方法具体包括：
步骤13，在摄像头图像可覆盖区域内的道路真实交通场景中设置n个第三标记点，其在原始图像Is所对应的图像坐标系中的像素坐标值表示为Pi＝{(u1，v1)，(u2，v2)，...(un，vn)}，在大地坐标系中的坐标值表示为Pt G＝{(xt1 G，yt1 G)，(xt2 G，yt2 G)，...(xtn G，ytn G)}；
步骤14，利用透视变换矩阵Mt和式(6)，得到第三标记点在目标图像It所对应的图像坐标系中的坐标值Pt＝{(ut 1，vt 1)，(ut 2，vt 2)，...(ut n，vt n)}；
Pt＝(1/Wi)(MtPi) (6)
步骤15，根据式(7)提供的Pt与Pt G中对应点满足的变换关系，计算Mg：
Figure BDA0002848895900000031
进一步地，步骤4中所有目标类型的交通参与者的等效权重参数集合N＝{N1，N2，...，Nm}，其中，Ni表示第i种目标类型的交通参与者的等效权重参数，i＝1，...，m；
步骤5具体包括：
第i种类型的静止的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(8)：
Figure BDA0002848895900000032
其中，k1表示根据实际的道路交通场景标定得到的大于0的常数，|rj|为j点与该静止物体之间的距离；
第i种类型的运动的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(9)：
Figure BDA0002848895900000033
其中，k2为根据实际的道路交通场景标定得到的大于0的常数，θ表示运动物体的运动方向相对于自动驾驶车辆的纵向行驶方向的夹角，v表示运动物体的运动速度。
进一步地，Ni的计算公式为式(10)：
Ni＝αMi+βVi (10)
其中，
α+β＝1 (11)
Mi表示第i种类型的交通参与者的质量，Vi表示第i种类型的交通参与者的易受伤程度系数。
本发明还提供一种基于路侧传感器的网联自动驾驶行车风险评估装置，该装置包括：
标定单元，其用于获取图像坐标系与可供自动驾驶车辆使用的GNSS大地坐标系之间的对应关系；
路侧传感器，其用于获取其所能覆盖范围的交通场景中的路侧感知数据，路侧感知数据包括图像坐标系中的目标检测框、目标类型、目标运动朝向和目标速度；
坐标转换单元，其用于根据标定单元获得的图像坐标系与GNSS大地坐标系之间的对应关系，将路侧传感器中的目标检测框转换成GNSS大地坐标系中的目标位置；
第一计算单元，其用于根据路侧传感器获得的所有目标类型，获取每一种目标类型的交通参与者的等效权重参数；
第二计算单元，计算所有目标对该自动驾驶车辆所产生的风险；
其中，“图像坐标系与GNSS大地坐标系之间的对应关系”表示为式(1)：
Figure BDA0002848895900000041
其中，
Figure BDA0002848895900000042
对应为GNSS大地坐标系中的坐标，
Figure BDA0002848895900000043
对应为图像坐标系中的坐标，Mt表示用于将路侧感知数据从路侧视角下的原始图像转换为鸟瞰视角下的目标图像的透视变换矩阵，Mg表示用于将目标图像从图像坐标系转换为GNSS大地坐标系的变换矩阵，Wi表示齐次坐标的中间参数。
进一步地，Mt的获取方法具体包括：
步骤11，在路侧传感器的图像可覆盖区域内的道路真实交通场景中设置四个可连成矩形的点，其在原始图像Is所对应的图像坐标系中的像素坐标点记为第一标记点：Pi s＝{(us1，vs1)，...(us4，vs4)}；
步骤12，在目标图像It所在的图像坐标系中设置四个可连成矩形的第二标记点Pi t＝{(ut1，vt1)，...(ut4，vt4)}，使第二标记点与第一标记点之间的坐标值满足如下式(2)提供的透视变换关系，计算式(3)提供的透视变换矩阵Mt中8个未知参数：
Figure BDA0002848895900000051
其中：
Figure BDA0002848895900000052
Figure BDA0002848895900000053
Figure BDA0002848895900000054
进一步地，Mg的获取方法具体包括：
步骤13，在摄像头图像可覆盖区域内的道路真实交通场景中设置n个第三标记点，其在原始图像Is所对应的图像坐标系中的像素坐标值表示为Pi＝{(u1，v1)，(u2，v2)，...(un，vn)}，在大地坐标系中的坐标值表示为Pt G＝{(xt1 G，yt1 G)，(xt2 G，yt2 G)，，..(xtn G，ytn G)}；
步骤14，利用透视变换矩阵Mt和式(6)，得到第三标记点在目标图像It所对应的图像坐标系中的坐标值Pt＝{(ut 1，vt 1)，(ut 2，vt 2)，...(ut n，vt n)}；
Pt＝(1/Wi)(MtPi) (6)
步骤15，根据式(7)提供的Pt与Pt G中对应点满足的变换关系，计算Mg：
Figure BDA0002848895900000055
进一步地，第一计算单元中所有目标类型的交通参与者的等效权重参数集合N＝{N1，N2，...，Nm}，其中，Ni表示第i种目标类型的交通参与者的等效权重参数，i＝1，...，m；
第二计算单元具体包括：
第i种类型的静止的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(8)：
Figure BDA0002848895900000061
其中，k1表示根据实际的道路交通场景标定得到的大于0的常数，|rj|为j点与该静止物体之间的距离；
第i种类型的运动的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(9)：
Figure BDA0002848895900000062
其中，k2为根据实际的道路交通场景标定得到的大于0的常数，θ表示运动物体的运动方向相对于自动驾驶车辆的纵向行驶方向的夹角，v表示运动物体的运动速度。
本发明将提出一种适用于网联自动驾驶车辆的路侧风险评估的方法与装置，通过路侧传感器信息对道路区域的交通风险分布进行计算，有效进行安全评估，将环境感知上升为风险认知，从而有效提高智能车的安全驾驶能力，更加适用于复杂的交通场景。
附图说明
图1为本发明实施例的基于路侧传感器的网联自动驾驶车辆行车风险评估的原理示意图。
图2为本发明实施例提供的通过设置第一标记点进行透视变换的示意图。
图3为本发明实施例提供的在摄像头图像所覆盖区域设置第三标记点的示意图。
图4为本发明实施例提供的静止物体产生的风险分布示意图。
图5为本发明实施例提供的静止物体产生的风险分布示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
路侧传感器：在本实施例中主要包含路侧摄像头和路侧激光雷达等常见传感器，通常固定在路侧，对特定道路区域进行相应感知。其中：摄像头感知数据主要为图像信息。激光雷达传感数据主要为测距信息，通常以点云表示。路侧感知数据主要包括交通参与者的目标检测框、目标类型、目标运动朝向和目标速度等信息。目标检测框和目标类型主要通过图像检测算法获得，目标类型主要指小型汽车、公交、火车、行人、骑车人、路障等表示其属性的分类。目标运动朝向和目标速度则可以通过激光雷达测得。
网联自动驾驶车辆：主要指通过高精度全局定位***定位，通过定位信息在规划好的行车路径上通过感知、决策与控制实现自动驾驶的网联智能车辆。
图像坐标系：指路侧摄像头所拍摄图像所在的平面坐标系，通常呈现为像素u-v坐标系，(u，v)表示图像上第u行第v列的像素位置。
GNSS大地坐标系：其原始信息为(经度，纬度)，通过大地投影转换后表示为(x，y)。
如图1所示，本发明实施例提供的基于路侧传感器的网联自动驾驶行车风险评估方法包括：
步骤1，获取图像坐标系与可供自动驾驶车辆使用的GNSS大地坐标系之间的对应关系。
步骤1中的“图像坐标系与GNSS大地坐标系之间的对应关系”表示为式(1)：
Figure BDA0002848895900000071
其中，
Figure BDA0002848895900000072
对应为GNSS大地坐标系中的坐标，
Figure BDA0002848895900000073
对应为图像坐标系中的坐标，Mt表示用于将路侧感知数据从路侧视角下的原始图像转换为鸟瞰视角下的目标图像的透视变换矩阵，Mg表示用于将目标图像从图像坐标系转换为GNSS大地坐标系的变换矩阵，Wi表示齐次坐标的中间参数。
对于路侧摄像头捕获的图像hj，运用目标检测算法，可检测到各交通参与者的目标类型以及其图像坐标系下的目标检测框，目标检测框通常用{u，v，w，h}进行表示，其中：(u，v)表示目标检测框在原图中一点(例如：左下点)，(w，h)表示该目标检测框的宽度与高度。可以根据路侧摄像头角度适当取该目标检测框范围内一点，比如目标检测框的几何中心或者检测框下边缘线的中点，作为该交通参与者的质心位置，再利用式(1)，便可以获取该交通参与者的质心在大地坐标系中的坐标值，即目标在GNSS大地坐标系中的位置，进而可以获得该交通参与者与自动驾驶车辆所处相应道路交通场景中的任意一点之间的距离。
通过以上步骤，路侧感知数据由{目标检测框、目标类型、目标运动朝向、目标速度等}转换为了{GNSS大地坐标系中的目标位置、目标类型、目标运动朝向、目标速度等}。此时，当前检测的目标信息与GNSS大地坐标系一致，可直接供自动驾驶车辆使用。
上述实施例中，由于路侧摄像头的成像会存在透视变形(例如：近大远小)，需要将获取的图像进行透视变换。如图2所示，将路侧感知数据从路侧视角下的原始图像转换为鸟瞰视角下的目标图像的透视变换矩阵Mt的获取方法具体包括：
步骤11，在路侧传感器的图像可覆盖区域内的道路真实交通场景中设置四个可连成矩形的点，其分别在路侧摄像头拍摄的原始图像Is上呈现为四个第一标记点A，连接呈非矩形结构。第一标记点A在原始图像Is所对应的图像坐标系中的像素坐标值表示为Pi s＝{(us1，vs1)，...(us4，vs4)}。
步骤12，在目标图像It设置四个可连成矩形的第二标记点B，第二标记点B在图像坐标系中记作为：Pi t＝{(ut1，vt1)，...(ut4，vt4)}。为了将第一标记点A对应的图像上的点变换到第二标记点B的位置，第二标记点B与第一标记点A之间的坐标值需要满足如下式(2)提供的透视变换关系。利用第二标记点B与第一标记点A的坐标值以及式(4)和(5)，通过四组点对展开得八组方程，计算式(3)提供的透视变换矩阵Mt中8个未知参数以及Wi：
Figure BDA0002848895900000081
其中：
Figure BDA0002848895900000082
Figure BDA0002848895900000083
Figure BDA0002848895900000084
此时，如图2所示，可通过透视变换矩阵Mt，可将原图Is变换为一张消除了透视变换的目标图像It，也就是说，经由透视变换矩阵后的图像相应地由路侧视角转为了鸟瞰视角。
上述实施例中，Mg的获取方法具体包括：
步骤13，在摄像头图像可覆盖区域内的道路真实交通场景中设置n个第三标记点C，如图1所示，路侧摄像头图像所覆盖区域为一个十字路口，黑色圆点为实际道路上被设置的第三标记点C。
四个第三标记点C在原始图像Is所对应的图像坐标系中的像素坐标值表示为Pi＝{(u1，v1)，(u2，v2)，...(un，vn)}。
可以利用差分GPS设备，测得各第一标记点在大地坐标系中的坐标值表示为Pt G＝{(xt1 G，yt1 G)，(xt2 G，yt2 G)，...(xtn G，ytn G)}。
步骤14，利用式(3)提供的透视变换矩阵Mt和式(6)，得到第三标记点C在目标图像It所对应的图像坐标系中的坐标值Pt＝(1/Wi)(MtPi)，可以表示为：Pt＝{(ut 1，vt 1)，(ut 2，vt 2)，...(ut n，vt n)}；
Pt＝(1/Wi)(MtPi) (6)
步骤15，根据式(7)提供的Pt与Pt G中对应点满足的变换关系，计算Mg：
Figure BDA0002848895900000091
其中，Mg为3*3矩阵，可通过选取Pt与Pt G中任意三组对应点对，进行计算，为使得误差最小，可遍历对应点选取的排列组合，选择出使得||Pi G-MgPt||误差最小的Mg。
通过步骤1，将路侧感知设备坐标系(例如：图像坐标系)与自动驾驶车辆使用的GNSS大地坐标系标定的方法，进而解决了路侧感知数据不能直接供自动驾驶***使用的问题。
路侧感知设备一般为固定设备，其覆盖检测范围不变。在位姿不变的情况下，本发明的坐标标定方法只需操作一次即可，之后在实际应用中便可以持续使用该标定结果。
步骤2，通过路侧传感器获取自动驾驶车辆所处相应道路交通场景中的路侧感知数据，路侧感知数据包括图像坐标系中的目标检测框、目标类型、目标运动朝向和目标速度。
步骤3，根据步骤1获得的图像坐标系与自动驾驶车辆可使用的GNSS大地坐标系之间的对应关系，将步骤2中的目标检测框转换成GNSS大地坐标系中的目标位置，进而获得该交通参与者与自动驾驶车辆所处相应道路交通场景中的任意一点之间的距离。
步骤4，根据步骤3获得的所有目标类型，获取每一种目标类型的交通参与者的等效权重参数。
步骤4中所有目标类型的交通参与者的等效权重参数集合N＝{N1，N2，...，Nm}，其中，Ni表示第i种目标类型的交通参与者的等效权重参数，i＝1，...，m；
Ni的计算公式为式(10)：
Ni＝αMi+βVi (10)
其中，
α+β＝1 (11)
Mi表示第i种类型的交通参与者的质量，Vi表示第i种类型的交通参与者的易受伤程度系数。
道路交通场景中，每一个交通参与者都会对周围区域产生一定的风险。根据感知数据类型，定义N＝{N1，N2，...，Nm}，代表公交、汽车、卡车、行人、骑车人等m类物体的等效权重参数。等效权重参数的作用由于在同一运动状态下，不同类型的物体产生的风险不一样，其数值大小标定要符合客观规律。例如运动状态一样的情况下，公交车产生的风险将大于普通小汽车产生的风险，因此N1＞N2，依此类推。
等效权重取值方式通常需要基于不同物体的质量Mi和易受伤程度Vi等因素，按照如下方式取值：
Ni＝αMi+βVi
其中，Vi根据是否容易收到伤害进行经验取值，以如下类别来说，{卡车、公交、汽车、骑车人、行人}可依次取Vi＝{100，200，300，400，500}。
因为Mi是质量，差异会很大，卡车可以达到好几吨，骑车人可能100千克左右。仅考虑Mi，会使得小型交通参与者产生的风险被淹没。同时，小型交通参与者(行人、骑车人等)，属于道路易受伤害群体，在衡量风险的时候需要特定考虑。因此，需要将Vi按照一个梯度取值，由于该量级差异达不到Mi的差异级别，因此需要通过调整α、β两个权重来减小由于质量量级造成的差异，满足风险大小符合客观规律。α、β为待定权重，其和等于1。
步骤5，计算所有目标对该自动驾驶车辆所产生的风险。
交通参与者的运动状态，对该自动驾驶车辆所产生的风险的影响较大：
(一)对于静止的交通参与者(例如：固定路障，停止的车辆等)，越接近该物体，受到其风险的影响越大。
第i种类型的静止的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(8)：
Figure BDA0002848895900000111
其中，k1表示根据实际的道路交通场景标定得到的大于0的常数，需要根据实际的交通场景(高速、城市道路等)进行相应的标定，以经验可取范围在(0，2]之间。
|rj|为j点与该静止交通参与者之间的距离，其可以根据步骤3获得的自动驾驶车辆可使用的GNSS大地坐标系下的交通参与者的目标位置确定得到。
t通常取(0，3)之间的常数，表示该风险随距离变化的影响程度。静止物体产生的风险分布将会是一组风险等高线为原型的分布，如图4所示。
(二)对于运动的交通参与者，其风险与其运动状态有关。例如：运动车辆在车头前方产生的风险将大于车尾后方产生的风险。
第i种类型的运动的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(9)：
Figure BDA0002848895900000112
其中，k2为根据实际的道路交通场景标定得到的大于0的常数，需要根据实际的交通场景(高速、城市道路等)进行相应的标定，以经验可取范围在(0，2]之间。
|rj|为j点与该运动交通参与者之间的距离，其可以根据步骤3获得的自动驾驶车辆可使用的GNSS大地坐标系下的交通参与者的目标位置确定得到。
θ表示运动物体的运动方向相对于自动驾驶车辆的纵向行驶方向的夹角，cosθ则使得风险分布趋向与物体的运动方向(实线箭头)符合，如图5所示。
v表示运动物体的运动速度。
t通常可取(0，3)之间的常数，表示该风险随距离变化的影响程度。
(三)对于所有的N个路侧感知数据，通过以上方法，分别计算各个物体在该区域产生的风险分布{R1，......，Rn}，将风险叠加起来，就可以得到整个道路的风险分布：
Figure BDA0002848895900000121
上述实施例将环境路侧感知数据进一步计算为风险认知信息，解决在复杂行车环境下，现有自动驾驶技术难以安全决策的问题。
本发明还提供一种基于路侧传感器的网联自动驾驶行车风险评估装置，该装置包括：标定单元、路侧传感器、坐标转换单元、第一计算单元和第二计算单元。
其中：
标定单元用于获取图像坐标系与GNSS大地坐标系之间的对应关系。
路侧传感器用于获取自动驾驶车辆所处相应道路交通场景中的路侧感知数据，路侧感知数据包括图像坐标系中的目标检测框、目标类型、目标运动朝向和目标速度。
坐标转换单元用于根据标定单元获得的图像坐标系与自动驾驶车辆可使用的GNSS大地坐标系之间的对应关系，将路侧传感器中的目标检测框转换成GNSS大地坐标系中的目标位置。
第一计算单元用于根据路侧传感器获得的所有目标类型，获取每一种目标类型的交通参与者的等效权重参数。
第二计算单元，计算所有目标对该自动驾驶车辆所产生的风险；
其中，“图像坐标系与GNSS大地坐标系之间的对应关系”表示为式(1)：
Figure BDA0002848895900000131
其中，
Figure BDA0002848895900000132
对应为GNSS大地坐标系中的坐标，
Figure BDA0002848895900000133
对应为图像坐标系中的坐标，Mt表示用于将路侧感知数据从路侧视角下的原始图像转换为鸟瞰视角下的目标图像的透视变换矩阵，Mg表示用于将目标图像从图像坐标系转换为GNSS大地坐标系的变换矩阵，Wi表示中间参数。
在一个实施例中，第一计算单元中所有目标类型的交通参与者的等效权重参数集合N＝{N1，N2，...，Nm}，其中，Ni表示第i种目标类型的交通参与者的等效权重参数，i＝1，...，m。
第二计算单元具体包括：
第i种类型的静止的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(8)：
Figure BDA0002848895900000134
其中，k1表示根据实际的道路交通场景标定得到的大于0的常数，需要根据实际的交通场景(高速、城市道路等)进行相应的标定，以经验可取范围在(0，2]之间。
|rj|为j点与该静止交通参与者之间的距离，其可以根据步骤3获得的自动驾驶车辆可使用的GNSS大地坐标系下的交通参与者的目标位置确定得到。
t通常取(0，3)之间的常数，表示该风险随距离变化的影响程度。静止物体产生的风险分布将会是一组风险等高线为原型的分布，如图4所示。
第i种类型的运动的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(9)：
Figure BDA0002848895900000135
其中，k2为根据实际的道路交通场景标定得到的大于0的常数，需要根据实际的交通场景(高速、城市道路等)进行相应的标定，以经验可取范围在(0，2]之间。
|rj|为j点与该运动交通参与者之间的距离，其可以根据步骤3获得的自动驾驶车辆可使用的GNSS大地坐标系下的交通参与者的目标位置确定得到。
θ表示运动物体的运动方向相对于自动驾驶车辆的纵向行驶方向的夹角，cosθ则使得风险分布趋向与物体的运动方向(实线箭头)符合，如图5所示。
v表示运动物体的运动速度。
t通常可取(0，3)之间的常数，表示该风险随距离变化的影响程度。
需要说明的是，交通参与者对自动驾驶车辆产生的风险、以及Mt、Mg和Ni，除了上述实施例之外，还可以采用现有方法中获得，在此不再赘述。
通过本发明提出的方法，在复杂交通场景下，通过路侧传感器感知区域内的所有交通参与者的目标位置，并通过所提出的坐标转换方法得到GNSS大地坐标系下的真实位置，将每一个目标产生的分析依据其属性分开独立考虑，最后通过叠加得到整个道路区域的风险分布情况。该风险分布相比较与传统的根据碰撞时间与空间的方法来说，不但能体现危险程度，还能体现道路区域哪里风险值高，哪里风险值较低。通过设定合理的风险安全阈值，保障自动驾驶汽车当前行驶位置风险值小于等于风险安全阈值，可以有效的实现复杂场景下，自动驾驶车辆风险辨识的准确性，提高决策的可靠性与安全性。
本发明的技术方案，最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于路侧传感器的网联自动驾驶行车风险评估方法，其特征在于，包括：
步骤1，获取图像坐标系与可供自动驾驶车辆使用的GNSS大地坐标系之间的对应关系；
步骤2，通过路侧传感器获取其所能覆盖范围的交通场景中的路侧感知数据，路侧感知数据包括图像坐标系中的目标检测框、目标类型、目标运动朝向和目标速度；
步骤3，根据步骤1获得的图像坐标系与GNSS大地坐标系之间的对应关系，将步骤2中的目标检测框转换成GNSS大地坐标系中的目标位置；
步骤4，根据步骤2获得的所有目标类型，获取每一种目标类型的交通参与者的等效权重参数；
步骤5，计算所有目标对该自动驾驶车辆所产生的风险；
步骤1中的“图像坐标系与GNSS大地坐标系之间的对应关系”表示为式(1)：
Figure FDA0003081161940000011
其中，
Figure FDA0003081161940000012
对应为GNSS大地坐标系中的坐标，
Figure FDA0003081161940000013
对应为图像坐标系中的坐标，Mt表示用于将路侧感知数据从路侧视角下的原始图像转换为鸟瞰视角下的目标图像的透视变换矩阵，Mg表示用于将目标图像从图像坐标系转换为GNSS大地坐标系的变换矩阵，Wi表示齐次坐标的中间参数。
2.如权利要求1所述的基于路侧传感器的网联自动驾驶行车风险评估方法，其特征在于，Mt的获取方法具体包括：
步骤11，在路侧传感器的图像可覆盖区域内的道路真实交通场景中设置四个可连成矩形的点，其在原始图像Is所对应的图像坐标系中的像素坐标点记为第一标记点：Pi s＝{(us1，vs1)，...(us4，vs4)}；
步骤12，在目标图像It所在的图像坐标系中设置四个可连成矩形的第二标记点Pi t＝{(ut1，vt1)，...(ut4，vt4)}，使第二标记点与第一标记点之间的坐标值满足如下式(2)提供的透视变换关系，计算式(3)提供的透视变换矩阵Mt中8个未知参数：
Figure FDA0003081161940000021
其中：
Figure FDA0003081161940000022
Figure FDA0003081161940000023
Figure FDA0003081161940000024
3.如权利要求2所述的基于路侧传感器的网联自动驾驶行车风险评估方法，其特征在于，Mg的获取方法具体包括：
步骤13，在摄像头图像可覆盖区域内的道路真实交通场景中设置n个第三标记点，其在原始图像Is所对应的图像坐标系中的像素坐标值表示为Pi＝{(u1，v1)，(u2，v2)，...(un，vn)}，在大地坐标系中的坐标值表示为
Figure FDA0003081161940000025
Figure FDA0003081161940000026
步骤14，利用透视变换矩阵Mt和式(6)，得到第三标记点在目标图像It所对应的图像坐标系中的坐标值
Figure FDA0003081161940000027
Pt＝(1/Wi)(MtPi) (6)
步骤15，根据式(7)提供的Pt与Pt G中对应点满足的变换关系，计算Mg：
Figure FDA0003081161940000028
4.如权利要求1至3中任一项所述的基于路侧传感器的网联自动驾驶行车风险评估方法，其特征在于，步骤4中所有目标类型的交通参与者的等效权重参数集合N＝{N1，N2，...，Nm}，其中，Ni表示第i种目标类型的交通参与者的等效权重参数，i＝1，...，m；
步骤5具体包括：
第i种类型的静止的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(8)：
Figure FDA0003081161940000031
其中，k1表示根据实际的道路交通场景标定得到的大于0的常数，|rj|为j点与该静止的交通参与者之间的距离；
第i种类型的运动的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(9)：
Figure FDA0003081161940000032
其中，k2为根据实际的道路交通场景标定得到的大于0的常数，θ表示运动物体的运动方向相对于自动驾驶车辆的纵向行驶方向的夹角，v表示运动物体的运动速度。
5.如权利要求4所述的基于路侧传感器的网联自动驾驶行车风险评估方法，其特征在于，Ni的计算公式为式(10)：
Ni＝αMi+βVi (10)
其中，
α+β＝1 (11)
Mi表示第i种类型的交通参与者的质量，Vi表示第i种类型的交通参与者的易受伤程度系数。
6.一种基于路侧传感器的网联自动驾驶行车风险评估装置，其特征在于，包括：
标定单元，其用于获取图像坐标系与可供自动驾驶车辆使用的GNSS大地坐标系之间的对应关系；
路侧传感器，其用于获取其所能覆盖范围的交通场景中的路侧感知数据，路侧感知数据包括图像坐标系中的目标检测框、目标类型、目标运动朝向和目标速度；
坐标转换单元，其用于根据标定单元获得的图像坐标系与GNSS大地坐标系之间的对应关系，将路侧传感器中的目标检测框转换成GNSS大地坐标系中的目标位置；
第一计算单元，其用于根据路侧传感器获得的所有目标类型，获取每一种目标类型的交通参与者的等效权重参数；
第二计算单元，计算所有目标对该自动驾驶车辆所产生的风险；
其中，“图像坐标系与GNSS大地坐标系之间的对应关系”表示为式(1)：
Figure FDA0003081161940000041
其中，
Figure FDA0003081161940000042
对应为GNSS大地坐标系中的坐标，
Figure FDA0003081161940000043
对应为图像坐标系中的坐标，Mt表示用于将路侧感知数据从路侧视角下的原始图像转换为鸟瞰视角下的目标图像的透视变换矩阵，Mg表示用于将目标图像从图像坐标系转换为GNSS大地坐标系的变换矩阵，Wi表示齐次坐标的中间参数。
7.如权利要求6所述的基于路侧传感器的网联自动驾驶行车风险评估装置，其特征在于，Mt的获取方法具体包括：
步骤11，在路侧传感器的图像可覆盖区域内的道路真实交通场景中设置四个可连成矩形的点，其在原始图像Is所对应的图像坐标系中的像素坐标点记为第一标记点：Pi s＝{(us1，vs1)，...(us4，vs4)}；
步骤12，在目标图像It所在的图像坐标系中设置四个可连成矩形的第二标记点Pi t＝{(ut1，vt1)，...(ut4，vt4)}，使第二标记点与第一标记点之间的坐标值满足如下式(2)提供的透视变换关系，计算式(3)提供的透视变换矩阵Mt中8个未知参数：
Figure FDA0003081161940000044
其中：
Figure FDA0003081161940000051
Figure FDA0003081161940000052
Figure FDA0003081161940000053
8.如权利要求7所述的基于路侧传感器的网联自动驾驶行车风险评估装置，其特征在于，Mg的获取方法具体包括：
步骤13，在摄像头图像可覆盖区域内的道路真实交通场景中设置n个第三标记点，其在原始图像Is所对应的图像坐标系中的像素坐标值表示为Pi＝{(u1，v1)，(u2，v2)，...(un，vn)}，在大地坐标系中的坐标值表示为Pt G＝{(xt1 G，yt1 G)，(xt2 G，yt2 G)，...(xtn G，ytn G)}；
步骤14，利用透视变换矩阵Mt和式(6)，得到第三标记点在目标图像It所对应的图像坐标系中的坐标值
Figure FDA0003081161940000054
Figure FDA0003081161940000055
步骤15，根据式(7)提供的Pt与Pt G中对应点满足的变换关系，计算Mg：
Figure FDA0003081161940000056
9.如权利要求6至8中任一项所述的基于路侧传感器的网联自动驾驶行车风险评估装置，其特征在于，第一计算单元中所有目标类型的交通参与者的等效权重参数集合N＝{N1，N2，...，Nm}，其中，Ni表示第i种目标类型的交通参与者的等效权重参数，i＝1，...，m；
第二计算单元具体包括：
第i种类型的静止的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(8)：
Figure FDA0003081161940000061
其中，k1表示根据实际的道路交通场景标定得到的大于0的常数，|rj|为j点与该静止的交通参与者之间的距离；
第i种类型的运动的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(9)：
Figure FDA0003081161940000062
其中，k2为根据实际的道路交通场景标定得到的大于0的常数，θ表示运动物体的运动方向相对于自动驾驶车辆的纵向行驶方向的夹角，v表示运动物体的运动速度。
CN202011518996.7A 2020-12-21 2020-12-21 基于路侧传感器的网联自动驾驶行车风险评估方法与装置 Active CN112634354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011518996.7A CN112634354B (zh) 2020-12-21 2020-12-21 基于路侧传感器的网联自动驾驶行车风险评估方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011518996.7A CN112634354B (zh) 2020-12-21 2020-12-21 基于路侧传感器的网联自动驾驶行车风险评估方法与装置

Publications (2)

Publication Number Publication Date
CN112634354A CN112634354A (zh) 2021-04-09
CN112634354B true CN112634354B (zh) 2021-08-13

Family

ID=75320796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011518996.7A Active CN112634354B (zh) 2020-12-21 2020-12-21 基于路侧传感器的网联自动驾驶行车风险评估方法与装置

Country Status (1)

Country Link
CN (1) CN112634354B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114537385B (zh) * 2022-03-09 2024-05-07 重庆长安汽车股份有限公司 一种基于交通目标感知结果的危险目标筛选方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217615A (zh) * 2014-09-16 2014-12-17 武汉理工大学 一种基于车路协同的行人防碰撞***和方法
CN107590438A (zh) * 2017-08-16 2018-01-16 中国地质大学（武汉） 一种智能辅助驾驶方法及***
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知***
CN108573357A (zh) * 2018-05-08 2018-09-25 清华大学 基于等效力的行车风险实时评估方法及其装置
CN109714421A (zh) * 2018-12-28 2019-05-03 国汽(北京)智能网联汽车研究院有限公司 基于车路协同的智能网联汽车运行***
CN110103952A (zh) * 2019-04-29 2019-08-09 北京百度网讯科技有限公司 辅助车辆驾驶的方法、设备、介质和***
CN111354182A (zh) * 2018-12-20 2020-06-30 阿里巴巴集团控股有限公司 一种辅助驾驶方法和***
CN111489585A (zh) * 2020-03-04 2020-08-04 昆明理工大学 一种基于边缘计算的车辆行人碰撞避免方法
CN111554088A (zh) * 2020-04-13 2020-08-18 重庆邮电大学 一种多功能v2x智能路侧基站***
CN111738071A (zh) * 2020-05-15 2020-10-02 南京航空航天大学 一种基于单目摄像机的运动变化的逆透视变换方法
CN111783502A (zh) * 2019-04-03 2020-10-16 长沙智能驾驶研究院有限公司 基于车路协同的视觉信息融合处理方法、装置及存储介质
CN111824128A (zh) * 2019-03-29 2020-10-27 本田技研工业株式会社 车辆控制***
CN112017251A (zh) * 2020-10-19 2020-12-01 杭州飞步科技有限公司 标定方法、装置、路侧设备和计算机可读存储介质
CN112101209A (zh) * 2020-09-15 2020-12-18 北京百度网讯科技有限公司 用于路侧计算设备的确定世界坐标点云的方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7301514B2 (ja) * 2018-09-21 2023-07-03 日立建機株式会社 座標変換システム及び作業機械
CN109444936A (zh) * 2018-10-18 2019-03-08 南京天辰礼达电子科技有限公司 一种利用gnss和倾角传感器确定斗尖坐标的方法
CN109931926B (zh) * 2019-04-04 2023-04-25 山东智翼航空科技有限公司 一种基于站心坐标系的小型无人机无缝自主式导航方法
CN110009765B (zh) * 2019-04-15 2021-05-07 合肥工业大学 一种自动驾驶车辆场景数据***的场景格式转化方法
CN109974713B (zh) * 2019-04-26 2023-04-28 安阳全丰航空植保科技股份有限公司 一种基于地表特征群的导航方法及***
CN111862197B (zh) * 2019-04-30 2023-09-05 杭州海康威视数字技术股份有限公司 视频监控中的目标跟踪方法、***及球机
CN110414831B (zh) * 2019-07-24 2020-04-03 清华大学 基于驾驶人认知视角的人车路耦合风险评估方法及装置
CN110673182B (zh) * 2019-09-29 2021-07-06 清华大学 一种gnss高精度快速定位方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217615A (zh) * 2014-09-16 2014-12-17 武汉理工大学 一种基于车路协同的行人防碰撞***和方法
CN107590438A (zh) * 2017-08-16 2018-01-16 中国地质大学（武汉） 一种智能辅助驾驶方法及***
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知***
CN108573357A (zh) * 2018-05-08 2018-09-25 清华大学 基于等效力的行车风险实时评估方法及其装置
CN111354182A (zh) * 2018-12-20 2020-06-30 阿里巴巴集团控股有限公司 一种辅助驾驶方法和***
CN109714421A (zh) * 2018-12-28 2019-05-03 国汽(北京)智能网联汽车研究院有限公司 基于车路协同的智能网联汽车运行***
CN111824128A (zh) * 2019-03-29 2020-10-27 本田技研工业株式会社 车辆控制***
CN111783502A (zh) * 2019-04-03 2020-10-16 长沙智能驾驶研究院有限公司 基于车路协同的视觉信息融合处理方法、装置及存储介质
CN110103952A (zh) * 2019-04-29 2019-08-09 北京百度网讯科技有限公司 辅助车辆驾驶的方法、设备、介质和***
CN111489585A (zh) * 2020-03-04 2020-08-04 昆明理工大学 一种基于边缘计算的车辆行人碰撞避免方法
CN111554088A (zh) * 2020-04-13 2020-08-18 重庆邮电大学 一种多功能v2x智能路侧基站***
CN111738071A (zh) * 2020-05-15 2020-10-02 南京航空航天大学 一种基于单目摄像机的运动变化的逆透视变换方法
CN112101209A (zh) * 2020-09-15 2020-12-18 北京百度网讯科技有限公司 用于路侧计算设备的确定世界坐标点云的方法和装置
CN112017251A (zh) * 2020-10-19 2020-12-01 杭州飞步科技有限公司 标定方法、装置、路侧设备和计算机可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Automatic Parking Based on a Bird"s Eye View Vision System;Chunxiang Wang等;《SAGE Journals》;20150215;第1-13页 *
LaneLoc: Lane marking based localization using highly accurate maps;Markus Schreiber等;《2013 IEEE Intelligent Vehicles Symposium (IV)》;20131015;第449-454页 *
基于多传感器的车辆局部交通环境感知;邹博维;《中国优秀硕士学位论文全文数据库·工程科技Ⅱ辑》;20130815(第8期);第C035-88页 *
逆透视矩阵原理以及应用（平视图转鸟瞰图、俯视图）;MENE_痴痴;《CSDN:https://blog.csdn.net/weixin_44409075/article/details/97892652"》;20190731;第1-7页 *

Also Published As

Publication number Publication date
CN112634354A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN109829386B (zh) 基于多源信息融合的智能车辆可通行区域检测方法
CN106240458B (zh) 一种基于车载双目相机的车辆前方碰撞预警方法
CN111448478B (zh) 用于基于障碍物检测校正高清地图的***和方法
CN106919915B (zh) 基于adas***的地图道路标记及道路质量采集装置及方法
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
WO2022206942A1 (zh) 一种基于行车安全风险场的激光雷达点云动态分割及融合方法
EP2372304B1 (en) Vehicle position recognition system
EP2372308B1 (en) Image processing system and vehicle control system
CN102208036B (zh) 车辆位置检测***
CN104011737B (zh) 用于探测雾的方法
CN108596058A (zh) 基于计算机视觉的行车障碍物测距方法
CN111915883A (zh) 一种基于车载摄像的道路交通状况检测方法
CN111272139B (zh) 一种基于单目视觉的车辆长度测量方法
CN114359181B (zh) 一种基于图像和点云的智慧交通目标融合检测方法及***
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN107796373A (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
WO2018149539A1 (en) A method and apparatus for estimating a range of a moving object
Hsu et al. Design and implementation of an intelligent road detection system with multisensor integration
CN112634354B (zh) 基于路侧传感器的网联自动驾驶行车风险评估方法与装置
CN113435224A (zh) 用于获取车辆3d信息的方法和装置
WO2022133986A1 (en) Accuracy estimation method and system
CN114926729A (zh) 一种基于行车视频的高风险路段鉴别***及方法
CN112308786B (zh) 一种基于摄影测量解算车载视频中目标车辆运动的方法
CN111539279A (zh) 道路限高高度检测方法、装置、设备及存储介质
CN117274939B (zh) 安全区域检测方法和安全区域检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant