CN115320584A - 考虑障碍物预警的车辆远程驾驶辅助方法及远程驾驶*** - Google Patents

考虑障碍物预警的车辆远程驾驶辅助方法及远程驾驶*** Download PDF

Info

Publication number
CN115320584A
CN115320584A CN202211253398.0A CN202211253398A CN115320584A CN 115320584 A CN115320584 A CN 115320584A CN 202211253398 A CN202211253398 A CN 202211253398A CN 115320584 A CN115320584 A CN 115320584A
Authority
CN
China
Prior art keywords
vehicle
obstacle
remote driving
early warning
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211253398.0A
Other languages
English (en)
Inventor
华炜
高健健
朱建
明彬彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202211253398.0A priority Critical patent/CN115320584A/zh
Publication of CN115320584A publication Critical patent/CN115320584A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种考虑障碍物预警的车辆远程驾驶辅助方法及远程驾驶***，该方法首先获取固定在车辆上的摄像头拍摄的车辆行驶过程中的实时视频画面，使用障碍物识别算法识别出实时视频画面中的障碍物；获取车辆的实时运动状态，使用车辆运动学模型生成车辆预测轨迹；最后判断识别出来的障碍物与车辆预测轨迹的位置关系，发出安全预警。该方法能帮助远程驾驶安全员准确判断车辆在短时间内的运动轨迹范围，降低远程驾驶的难度，并且能结合障碍物安全预警信息进一步提升安全性。

Description

考虑障碍物预警的车辆远程驾驶辅助方法及远程驾驶***
技术领域
本发明涉及车辆远程驾驶技术领域，尤其涉及一种考虑障碍物预警的车辆远程驾驶辅助方法及远程驾驶***。
背景技术
自动驾驶自从20世纪出现到现如今已有数十年的历史，目前已有接近实用化的趋势。随着计算机软硬件的发展，以及5G网络技术的兴起，自动驾驶技术的发展速度越来越快。但是目前绝大多数自动驾驶技术都处于L3阶段，L4级别的自动驾驶尚且处于试验阶段，L5级别的自动驾驶更是遥遥无期。因此，作为自动驾驶技术的一种补充和辅助，远程驾驶技术应用而生。
远程驾驶***通常包含车辆端和远程驾驶舱端两部分：车辆端搭载摄像头采集车辆周围的环境图像，并将实时的视频画面传输到远程驾驶舱端；接收远程驾驶舱端上传的车辆控制信号，控制车辆的运行；远程驾驶舱端包括一个驾驶舱和若干显示设备，通过网络接收和显示车辆端传输的实时视频画面，发送驾驶控制信号到车辆端对其进行远程操控。传统的远程驾驶技术通常只是实时回传摄像头的视频画面，对远程驾驶安全员对于车辆的周边环境的感知帮助有限，不能很好地建立空间感和驾驶感；并且不能针对车辆行进路线附近的障碍物做出有效的辅助预警提示，减轻安全员的负担。
发明内容
针对现有技术的不足，实现更安全和人性化的车辆远程驾驶辅助，本发明提供一种考虑障碍物预警的车辆远程驾驶辅助方法及远程驾驶***，具体技术方案如下：
一种考虑障碍物预警的车辆远程驾驶辅助方法，包括以下步骤：
S1，获取固定在车辆上的摄像头拍摄的车辆行驶过程中的实时视频画面，使用障碍物识别算法识别出实时视频画面中的障碍物；
S2，获取车辆的实时运动状态，使用车辆运动学模型生成车辆预测轨迹；
S3，判断识别出来的障碍物与车辆预测轨迹的位置关系，发出安全预警；
所述S3具体包括：
S3.1，获取障碍物二维包围盒的顶点，投影到车辆坐标系；
S3.2，根据车辆坐标系下的二维包围盒的顶点与车辆预测轨迹的位置关系，确定障碍物所属的安全预警等级；
S3.3，根据障碍物所属的安全预警等级、障碍物的类别信息以及车辆当前的运动状态触发不同类型的预警机制。
进一步地，所述障碍物识别算法为基于卷积神经网络的道路障碍物识别方法，所述障碍物识别算法首先对输入的摄像头视频画面预处理，生成障碍物候选区域，再将候选区域作为输入传递给全连接的卷积神经网络中，至少得到最终的障碍物的类别信息和障碍物在摄像头图像坐标系下的二维包围盒信息。
进一步地，所述S1中，使用障碍物识别算法识别出图像中的障碍物包括静态障碍物和动态障碍物两类。
进一步地，所述S2中获取的车辆的实时运动状态包括车辆的速度和方向盘转角信息。
进一步地，采用基于自行车模型的车辆运动学模型生成车辆的预测轨迹，所述车辆预测轨迹位于车辆坐标系下，定义未来一段时间内车身两侧在路面的行驶范围；并将车辆的预测轨迹转换到前向摄像头的图像坐标系下，投影并绘制在前向摄像头画面上。
进一步地，所述车辆预测轨迹使用折线段、曲线或者填充面的形式在视频画面中进行可视化显示。
进一步地，所述根据车辆坐标系下的二维包围盒的顶点与车辆预测轨迹的位置关系，确定障碍物所属的安全预警等级，具体为：
将车辆坐标系下二维包围盒的底部中心点投影到临近的车辆预测轨迹线上，得到投影点，计算所述投影点沿着车辆预测轨迹线与车身最前侧的距离d，判断距离d的大小，确定其预警等级为极危、危险、警戒、预防、安全中的任意一种。
进一步地，所述S3.3中的预警机制包括在摄像头画面上显示可视化元素、发出警报声、自动接管和紧急刹车中的任意一种或多种的组合。
一种实现考虑障碍物预警的车辆远程驾驶辅助方法的远程驾驶***，包括车辆端和远程驾驶舱端；
所述车辆端包括远程驾驶车辆、安装在所述远程驾驶车辆上的前置摄像头和若干车辆计算设备；所述前置摄像头采集所述远程驾驶车辆周围的环境实时环境图像；所述车辆计算设备根据内置的障碍物识别算法，识别出障碍物；所述车辆端将所述摄像头的参数、实时环境图像、识别出的障碍物信息、远程驾驶车辆的实时运动状态通过网络传输到所述远程驾驶舱端；所述车辆端还接收所述远程驾驶舱端上传的车辆控制信号，控制远程驾驶车辆的运行；
所述远程驾驶舱端包括驾驶舱、驾驶舱计算设备、显示设备；所述远程驾驶舱端通过网络接收所述车辆端传输的所述摄像头的参数、实时环境图像、识别出的障碍物信息、远程驾驶车辆的实时运动状态，通过内置的障碍物识别算法识别障碍物，使用车辆运动学模型生成车辆预测轨迹，并根据障碍物与车辆预测轨迹的位置关系，发出障碍物预警信息；同时，获取远程驾驶安全员的车辆控制信号，发送到所述车辆端对远程驾驶车辆进行远程操控。
本发明的有益效果如下：
本发明的方法和***通过判断识别出来的障碍物与车辆预测轨迹的位置关系，进行分等级安全预警，能够帮助远程驾驶安全员准确判断车辆在短时间内的运动轨迹范围，降低远程驾驶的难度，并且能结合障碍物安全预警信息进一步提升安全性。
附图说明
图1为一个实施例中一种考虑障碍物预警的车辆远程驾驶的辅助方法的步骤图。
图2为一个实施例中车辆端和远程驾驶舱端的通信示意图。
图3为一个实施例中基于自行车模型的车辆运动学模型示意图；
图4为一个实施例中车辆预测轨迹线和障碍物的位置关系示意图；
图5为一个实施例中考虑障碍物预警的车辆远程驾驶的辅助方法的效果示意图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在一个实施例中，如图1所示，提出了一种考虑障碍物预警的车辆远程驾驶的辅助方法，该方法首先获取摄像头的实时视频画面，并使用障碍物识别算法识别出实时视频画面中的障碍物；然后获取车辆的实时运动状态，使用车辆运动学模型生成车辆预测轨迹；最后判断识别出来的障碍物与车辆预测轨迹的位置关系，发出安全预警。该方法能够提高远程驾驶安全员对车辆周围空间信息的感知能力，准确判断车辆在短时间内的运动轨迹和方向，降低远程驾驶的难度，并且能结合障碍物安全预警信息实现进一步提升安全性。
该方法具体包括以下步骤：
步骤1，获取摄像头的实时视频画面，使用障碍物识别算法识别出实时视频画面中的障碍物；
本实施例中无人车车型为易成S2公共接驳车，上面固定安装了4个工业级车载摄像头，摄像头的视场角为100度，分别覆盖前方、后方、左方、右方四个区域，向下的倾角均为15度。摄像头的安装使用标准的安装支架，尽量保证摄像头在无人车运行过程中不会出现抖动和位置姿态的变化；如果摄像头的位置发生明显变化，摄像头的外参要重新进行标定；通过安装的摄像头获取的实时视频画面为车辆行驶过程中拍摄的实时环境图像。
如图2所示，整个远程驾驶***分为车辆端和远程驾驶舱端，其中车辆端包括一台远程驾驶的车辆、4个摄像头和若干个车辆计算设备，其中计算设备包括一台车规级的工业控制计算机和一台NVIDIA Jetson米文动力嵌入式设备；远程驾驶舱端包括一个驾驶舱、计算设备和一台显示设备，其中驾驶舱为SONY的驾驶模拟器，计算设备为普通台式机，显示设备为普通1080P显示器。车辆端搭载的摄像头采集车辆周围的环境图像，车辆计算设备根据内置的障碍物识别算法，识别出障碍物；车辆端将摄像头的参数、实时环境图像、识别出的障碍物信息、远程驾驶车辆的实时运动状态通过网络传输到远程驾驶舱端；车辆端还接收所述远程驾驶舱端上传的车辆控制信号，控制远程驾驶车辆的运行。远程驾驶舱端通过网络接收车辆端传输的摄像头的参数、实时环境图像、识别出的障碍物信息、远程驾驶车辆的实时运动状态，通过内置的障碍物识别算法识别障碍物，使用车辆运动学模型生成车辆预测轨迹，并根据障碍物与车辆预测轨迹的位置关系，发出障碍物预警信息；同时，获取远程驾驶安全员的车辆控制信号，发送到车辆端对远程驾驶车辆进行远程操控。
本实施例中，障碍物识别算法采用一种基于卷积神经网络（CNN）的道路障碍物识别方法，该方法相对于传统的障碍物检测算法，例如边缘特征识别法、浅层机器学习法、帧间差分法、光流运动识别法等，有者更佳的准确性和稳定性，算法的运行效率也相对较高。该方法首先对输入的摄像头视频画面预处理生成障碍物候选区域，再将候选区域作为输入传递给全连接的卷积神经网络中，得到最终的障碍物包围盒和类型信息。该卷积神经网络的卷积核的大小和个数、池化层的尺寸和深度能够根据实际场景动态调节，进一步提高障碍物识别的召回率。
障碍物识别算法返回一个障碍物列表，每个障碍物包含一个障碍物类别信息和障碍物在摄像头图像坐标系下的二维包围盒信息。其中障碍物类别包括交通参与者、交通设施、交通杂物三大类，交通参与者包括行人（未成年/青年/中年/老年）、车辆（自行车/电瓶车/三轮车/小汽车/客车/卡车/公交车/吊车等），交通设施包括交通锥、石墩、施工牌等，交通杂物包括石块、土堆、纸箱等其他阻碍车辆运行的物体。
障碍物识别算法运行在车辆端，或者运行在远程驾驶舱端都可以。但由于障碍物识别算法要求的算力高、实时性强，且障碍物识别算法本身也属于车辆端感知算法的重要模块，因此障碍物识别算法优选被放在车辆端运行，算法识别的结果通过网络传输到远程驾驶舱端。
，获取车辆的实时运动状态，使用车辆运动学模型生成车辆预测轨迹；
本实施例中，车辆的实时运动状态包括车辆的速度和方向盘转角信息，使用车辆运动学模型生成车辆的预测轨迹，该预测轨迹位于车辆坐标系下，定义了未来一段时间内车身两侧在路面的行驶范围；由于车辆预测轨迹的计算量不大，并且车辆实时运动状态的参数比车辆预测轨迹的参数要小很多，因此车辆端首先将车辆的实时运动状态发送到远程驾驶舱端，在远程驾驶舱端计算车辆的预测轨迹。
本实施例中，采用基于自行车模型的车辆运动学模型生成车辆的预测轨迹。自行车模型是对四轮车辆模型的近似简化，该模型应用十分广泛。由于车辆端规划控制算法是运行在车辆坐标系下的，所以该车辆运动学模型也定义在车辆坐标系下。基于自行车模型的车辆动力学模型的具体计算公式如下：
Figure 742825DEST_PATH_IMAGE001
(1)
Figure 705970DEST_PATH_IMAGE002
(2)
Figure 16866DEST_PATH_IMAGE003
(3)
Figure 84179DEST_PATH_IMAGE004
(4)
Figure 938697DEST_PATH_IMAGE005
(5)
Figure 557897DEST_PATH_IMAGE006
(6)
如图3所示，其中(x, y)为当前车辆后轴中心坐标，Δx和Δy为车辆后轴中心坐标的微分量，(x’, y’)为更新后的车辆后轴中心坐标；θ为车辆在全局坐标系下的朝向，Δθ车辆在全局坐标系下的朝向的微分量，θ′为更新后的车辆在全局坐标系下的朝向；L为车辆轴距，v为当前车辆的线速度，δ为车身坐标系下的前轮转向角；
车辆预测轨迹的具体计算过程中，首先确定需要预测的轨迹长度，并且确定计算的时间步长，然后不断通过上面的六个公式迭代更新x/y/θ这三个变量，更新车辆的预测轨迹，直到预测轨迹的长度大于预设的最大长度停止迭代。每次接受到车辆端发送过来的车辆运行状态（v，δ）都会进行上述预测轨迹计算，迭代过程中默认车辆运行状态（v，δ）保持不变。其中预测轨迹包括车辆左右两侧两条轨迹，定义了未来一段时间内车身两侧在路面的行驶范围，每条轨迹由一组坐标顶点构成，这些坐标顶点都位于车辆坐标系下。
车辆坐标系下的车辆预测轨迹线需要被转换到摄像头的图像坐标系下，才能投影并绘制在摄像头画面上。本实施例中车辆预测轨迹线只会被投影到主摄像头画面中，主摄像头为前向摄像头。前向摄像头的内参、外参，包括相对车辆坐标系的相对位置和姿态、相机参数矩阵、畸变参数通过网络和车辆实时运动状态一起发送到远程驾驶舱端。使用opencv的projectPoints函数将车辆坐标系下的车辆预测轨迹线转换到主摄像头的图像坐标系中。
如图4所示，主摄像头图像坐标系下车辆预测轨迹线，在远程驾驶舱端以折线段的形式在视频画面中进行可视化显示，并且可以根据预设的安全距离等级设置不同的颜色：例如，0米到3米预测轨迹线可以显示为红色，3米到5米预测轨迹线显示为橘红色，5米到8米预测轨迹线显示为黄色，8米到12米预测轨迹线显示为黄绿色，12米到15米预测轨迹线显示绿色。其中红色表示极危区域，橘红色表示危险区域，黄色表示警戒区域，黄绿色表示预防区域，绿色表示安全区域；其中预测轨迹线的距离指的是预测轨迹线上的点沿着轨迹线与车身最前侧的距离。
，判断识别出来的障碍物与车辆预测轨迹的位置关系，发出安全预警；
如图4所示，本实施例根据障碍物的包围盒与车辆预测轨迹的位置关系，预设了5种不同危险程度的安全预警等级：极危、危险、警戒、预防和安全。不同的安全预警等级代表不同的警示含义：
1.极危：障碍物已经非常靠近车辆，需要启动自动避障或紧急制动程序；
2. 危险：障碍物相当靠近车辆，需要提醒安全员尽快进行避障操作；
3. 警戒：障碍物位于车辆的预测轨迹线上，有可能在短期内与车辆进行碰撞，需要提醒安全员及时作出反应；
4. 预防：障碍物位于车辆的预测轨迹线上，但是与车辆距离较远，有较小概率在未来和车辆发生碰撞，需要提示安全员注意；
5. 安全：障碍物距离车辆的预测轨迹线大于安全距离，认为不会影响车辆的行驶，不予预警。
遍历所有障碍物，对于每个障碍物，发出安全预警的具体步骤如下：
1. 获取障碍物二维包围盒的所有顶点，计算包围盒的底部中心点，该底部中心点位于摄像头图像坐标系下；使用opencv的undistort函数计算对应的去畸变后的图像坐标，再根据摄像头的外参矩阵和内参矩阵投影到车辆坐标系中；设车辆坐标系下包围盒的底部中心点为c，c可以近似替代该障碍物在车辆坐标系下的实际三维包围盒靠近车辆一侧的底边中心点，一定程度上能够代表车辆的实际位置；
2. 判断车辆坐标系下的包围盒底部中心点c与两条车辆预测轨迹的关系，如果位于两条车辆预测轨迹的内部，或者与临近的车辆预测轨迹线的距离小于设定的阈值D=0.5m，则说明该障碍物需要被预警，继续执行下面的步骤；否则说明该障碍物不需要被预警，忽略该障碍物；
3. 将底部中心点c投影到临近的车辆预测轨迹线上，得到投影点p，计算投影点p沿着轨迹线与车身最前侧的距离d，判断距离d的大小，确定其预警等级：
（1）如果d <= 3m，设定该障碍物的预警等级为极危；
（2）如果3m < d <= 5m，设定该障碍物的预警等级为危险；
（3）如果5m <d<=8m，设定该障碍物的预警等级为警戒；
（4）如果8m <d <=12m，设定该障碍物的预警等级为预防；
（5）如果d>12m，设定该障碍物的预警等级为安全；
4. 根据障碍物所属的安全预警等级、障碍物的类别信息以及车辆当前的运动状态触发对应的预警机制。预警机制包括在摄像头画面上显示可视化元素、发出警报声、自动接管和紧急刹车等。具体的预警机制对应关系如下：
（1）如果预警等级为极危，在摄像头画面中用闪烁的半透明红色方块叠加在障碍物上；如果车速大于3m/s，启动紧急刹车程序进行紧急制动，避免碰撞；否则根据障碍物类别发出不同的语音提示：“距离OC过近，请注意安全！”其中OC为障碍物类别，例如行人、车辆、交通锥、交通牌等；
（2）如果预警等级为危险，在摄像头画面中用红色方框叠加在障碍物上，并间歇发出滴滴的提示音；
（3）如果预警等级为警戒，在摄像头画面中用透明度为0.6的橙色方框叠加在障碍物上；
（4）如果预警等级为预防，在摄像头画面中用透明度为0.3的黄色方框叠加在障碍物上；
（5）如果预警等级为安全，不进行任何安全预警提示；
本实施例中，语音提示会有超时逻辑，即语音提示之后2s内不再进行重复提示，避免对安全员造成干扰；如果启动紧急刹车程序并完成紧急制动后，安全员需要根据当时的交通状况判断是否要手动解除紧急制动状态。
最终远程驾驶舱端显示的可视化效果如图5所示，中央最大的区域显示了主摄像头视频画面，其上叠加了车辆的预测轨迹线。可以看出，障碍物识别算法成功识别到前方两位行人，并根据前方行人和轨迹线的位置关系，确定了这两位行人位于警戒区域，因此将其设置为警戒预警等级。另外，图中显示了行人的包围框，其中黑色的线框即为行人在图像坐标系下的二维包围框，提醒远程驾驶安全员要注意及时避让，体现了本发明的有益效果。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (9)

1.一种考虑障碍物预警的车辆远程驾驶辅助方法，其特征在于，包括以下步骤：
S1，获取固定在车辆上的摄像头拍摄的车辆行驶过程中的实时视频画面，使用障碍物识别算法识别出实时视频画面中的障碍物；
S2，获取车辆的实时运动状态，使用车辆运动学模型生成车辆预测轨迹；
S3，判断识别出来的障碍物与车辆预测轨迹的位置关系，发出安全预警；
所述S3具体包括：
S3.1，获取障碍物二维包围盒的顶点，投影到车辆坐标系；
S3.2，根据车辆坐标系下的二维包围盒的顶点与车辆预测轨迹的位置关系，确定障碍物所属的安全预警等级；
S3.3，根据障碍物所属的安全预警等级、障碍物的类别信息以及车辆当前的运动状态触发不同类型的预警机制。
2.根据权利要求1所述的考虑障碍物预警的车辆远程驾驶辅助方法，其特征在于，所述障碍物识别算法为基于卷积神经网络的道路障碍物识别方法，所述障碍物识别算法首先对输入的摄像头视频画面预处理，生成障碍物候选区域，再将候选区域作为输入传递给全连接的卷积神经网络中，至少得到最终的障碍物的类别信息和障碍物在摄像头图像坐标系下的二维包围盒信息。
3.根据权利要求1所述的考虑障碍物预警的车辆远程驾驶辅助方法，其特征在于，所述S1中，使用障碍物识别算法识别出图像中的障碍物包括静态障碍物和动态障碍物两类。
4.根据权利要求1所述的考虑障碍物预警的车辆远程驾驶辅助方法，其特征在于，所述S2中获取的车辆的实时运动状态包括车辆的速度和方向盘转角信息。
5.根据权利要求4所述的考虑障碍物预警的车辆远程驾驶辅助方法，其特征在于，采用基于自行车模型的车辆运动学模型生成车辆的预测轨迹，所述车辆预测轨迹位于车辆坐标系下，定义未来一段时间内车身两侧在路面的行驶范围；并将车辆的预测轨迹转换到前向摄像头的图像坐标系下，投影并绘制在前向摄像头画面上。
6.根据权利要求1所述的考虑障碍物预警的车辆远程驾驶辅助方法，其特征在于，所述车辆预测轨迹使用折线段、曲线或者填充面的形式在视频画面中进行可视化显示。
7.根据权利要求1所述的考虑障碍物预警的车辆远程驾驶辅助方法，其特征在于，所述根据车辆坐标系下的二维包围盒的顶点与车辆预测轨迹的位置关系，确定障碍物所属的安全预警等级，具体为：
将车辆坐标系下二维包围盒的底部中心点投影到临近的车辆预测轨迹线上，得到投影点，计算所述投影点沿着车辆预测轨迹线与车身最前侧的距离d，判断距离d的大小，确定其预警等级为极危、危险、警戒、预防、安全中的任意一种。
8.根据权利要求1所述的考虑障碍物预警的车辆远程驾驶辅助方法，其特征在于，所述S3.3中的预警机制包括在摄像头画面上显示可视化元素、发出警报声、自动接管和紧急刹车中的任意一种或多种的组合。
9.一种实现权利要求1~8中任意一项的考虑障碍物预警的车辆远程驾驶辅助方法的远程驾驶***，其特征在于，包括车辆端和远程驾驶舱端；
所述车辆端包括远程驾驶车辆、安装在所述远程驾驶车辆上的前置摄像头和若干车辆计算设备；所述前置摄像头采集所述远程驾驶车辆周围的环境实时环境图像；所述车辆计算设备根据内置的障碍物识别算法，识别出障碍物；所述车辆端将所述摄像头的参数、实时环境图像、识别出的障碍物信息、远程驾驶车辆的实时运动状态通过网络传输到所述远程驾驶舱端；所述车辆端还接收所述远程驾驶舱端上传的车辆控制信号，控制远程驾驶车辆的运行；
所述远程驾驶舱端包括驾驶舱、驾驶舱计算设备、显示设备；所述远程驾驶舱端通过网络接收所述车辆端传输的所述摄像头的参数、实时环境图像、识别出的障碍物信息、远程驾驶车辆的实时运动状态，通过内置的障碍物识别算法识别障碍物，使用车辆运动学模型生成车辆预测轨迹，并根据障碍物与车辆预测轨迹的位置关系，发出障碍物预警信息；同时，获取远程驾驶安全员的车辆控制信号，发送到所述车辆端对远程驾驶车辆进行远程操控。
CN202211253398.0A 2022-10-13 2022-10-13 考虑障碍物预警的车辆远程驾驶辅助方法及远程驾驶*** Pending CN115320584A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211253398.0A CN115320584A (zh) 2022-10-13 2022-10-13 考虑障碍物预警的车辆远程驾驶辅助方法及远程驾驶***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211253398.0A CN115320584A (zh) 2022-10-13 2022-10-13 考虑障碍物预警的车辆远程驾驶辅助方法及远程驾驶***

Publications (1)

Publication Number Publication Date
CN115320584A true CN115320584A (zh) 2022-11-11

Family

ID=83914607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211253398.0A Pending CN115320584A (zh) 2022-10-13 2022-10-13 考虑障碍物预警的车辆远程驾驶辅助方法及远程驾驶***

Country Status (1)

Country Link
CN (1) CN115320584A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115489522A (zh) * 2022-11-18 2022-12-20 东风悦享科技有限公司 一种应用于平行辅助驾驶***的避障目标识别方法及***
CN116022174A (zh) * 2023-03-29 2023-04-28 北京易控智驾科技有限公司 远程驾驶信息显示方法、装置、电子设备及存储介质
CN116795085A (zh) * 2023-08-28 2023-09-22 北京易控智驾科技有限公司 无人车的遥控驾驶方法、装置、存储介质及车辆
CN116968638A (zh) * 2023-07-31 2023-10-31 广州博太电子有限公司 一种车辆行驶预警方法、***、介质及计算机
CN117261929A (zh) * 2023-11-13 2023-12-22 北京斯年智驾科技有限公司 远程驾驶辅助方法、***、装置和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1102226A2 (en) * 1999-10-27 2001-05-23 Fujitsu Ten Limited Vehicle driving support system, and steering angle detection device
FR2979299A1 (fr) * 2011-08-31 2013-03-01 Peugeot Citroen Automobiles Sa Dispositif de traitement pour estimer une trajectoire future d'un vehicule, associee a une couleur fonction d'un niveau de risque de collision estime, pour un systeme d'aide a la conduite
CN104955714A (zh) * 2013-01-28 2015-09-30 捷豹路虎有限公司 机动车辆***和方法
CN109624851A (zh) * 2018-11-23 2019-04-16 深圳市航盛电子股份有限公司 基于增强现实的辅助驾驶方法、***及可读存储介质
CN109795484A (zh) * 2018-12-24 2019-05-24 百度在线网络技术（北京）有限公司 车辆控制方法和设备
CN112319366A (zh) * 2020-10-26 2021-02-05 惠州市德赛西威汽车电子股份有限公司 一种驻车监控预警方法及***
CN112519797A (zh) * 2020-12-10 2021-03-19 广州小鹏自动驾驶科技有限公司 一种车辆安全距离预警方法、预警***、汽车及存储介质
CN113589820A (zh) * 2021-08-12 2021-11-02 广州小鹏自动驾驶科技有限公司 远程驾驶的辅助处理方法、装置及***
CN113805509A (zh) * 2021-09-09 2021-12-17 东风悦享科技有限公司 一种基于v2x的远程驾驶***及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1102226A2 (en) * 1999-10-27 2001-05-23 Fujitsu Ten Limited Vehicle driving support system, and steering angle detection device
FR2979299A1 (fr) * 2011-08-31 2013-03-01 Peugeot Citroen Automobiles Sa Dispositif de traitement pour estimer une trajectoire future d'un vehicule, associee a une couleur fonction d'un niveau de risque de collision estime, pour un systeme d'aide a la conduite
CN104955714A (zh) * 2013-01-28 2015-09-30 捷豹路虎有限公司 机动车辆***和方法
CN109624851A (zh) * 2018-11-23 2019-04-16 深圳市航盛电子股份有限公司 基于增强现实的辅助驾驶方法、***及可读存储介质
CN109795484A (zh) * 2018-12-24 2019-05-24 百度在线网络技术（北京）有限公司 车辆控制方法和设备
CN112319366A (zh) * 2020-10-26 2021-02-05 惠州市德赛西威汽车电子股份有限公司 一种驻车监控预警方法及***
CN112519797A (zh) * 2020-12-10 2021-03-19 广州小鹏自动驾驶科技有限公司 一种车辆安全距离预警方法、预警***、汽车及存储介质
CN113589820A (zh) * 2021-08-12 2021-11-02 广州小鹏自动驾驶科技有限公司 远程驾驶的辅助处理方法、装置及***
CN113805509A (zh) * 2021-09-09 2021-12-17 东风悦享科技有限公司 一种基于v2x的远程驾驶***及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115489522A (zh) * 2022-11-18 2022-12-20 东风悦享科技有限公司 一种应用于平行辅助驾驶***的避障目标识别方法及***
CN116022174A (zh) * 2023-03-29 2023-04-28 北京易控智驾科技有限公司 远程驾驶信息显示方法、装置、电子设备及存储介质
CN116968638A (zh) * 2023-07-31 2023-10-31 广州博太电子有限公司 一种车辆行驶预警方法、***、介质及计算机
CN116968638B (zh) * 2023-07-31 2024-04-09 广州博太电子有限公司 一种车辆行驶预警方法、***、介质及计算机
CN116795085A (zh) * 2023-08-28 2023-09-22 北京易控智驾科技有限公司 无人车的遥控驾驶方法、装置、存储介质及车辆
CN116795085B (zh) * 2023-08-28 2023-12-22 北京易控智驾科技有限公司 无人车的遥控驾驶方法、装置、存储介质及车辆
CN117261929A (zh) * 2023-11-13 2023-12-22 北京斯年智驾科技有限公司 远程驾驶辅助方法、***、装置和存储介质
CN117261929B (zh) * 2023-11-13 2024-02-13 北京斯年智驾科技有限公司 远程驾驶辅助方法、***、装置和存储介质

Similar Documents

Publication Publication Date Title
CN115320584A (zh) 考虑障碍物预警的车辆远程驾驶辅助方法及远程驾驶***
CN112965504B (zh) 基于自动驾驶的远程确认方法、装置、设备及存储介质
US9855894B1 (en) Apparatus, system and methods for providing real-time sensor feedback and graphically translating sensor confidence data
CN105009175B (zh) 基于传感器盲点和局限性来修改自主车辆的行为
CN109636924B (zh) 基于现实路况信息三维建模的车载多模式增强现实***
CN102556071B (zh) 全挡风玻璃平视显示器上的车辆威胁识别
CN112180605B (zh) 一种基于增强现实的辅助驾驶***
US20200234191A1 (en) Travel model generation system, vehicle in travel model generation system, and processing method
CN109733283B (zh) 基于ar的被遮挡障碍物识别预警***及识别预警方法
CN107544518A (zh) 基于拟人驾驶的acc/aeb***及车辆
CN102685516A (zh) 立体视觉主动安全辅助驾驶方法
WO2019114030A1 (zh) 一种融合导航与智能视觉的驾驶辅助***及方法
CN109421741A (zh) 用于监测车辆的方法和设备
CN110816527A (zh) 一种车载夜视安全方法和***
DE112017008079T5 (de) Anzeigesystem, anzeigeverfahren und programm
US20230260266A1 (en) Camera-radar data fusion for efficient object detection
US12017587B2 (en) Vehicle driving and monitoring system, vehicle including the vehicle driving and monitoring system, method for maintaining a situational awareness at a sufficient level, and computer readable medium for implementing the method
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN114783170A (zh) 一种智能无人驾驶车辆编队***
CN115503747A (zh) 一种基于智能汽车线控转向***的路况识别与提醒***
CN111445725A (zh) 用于会车场景的盲区智能警示装置及算法
CN113126294B (zh) 一种多层次成像***
CN110271417A (zh) 基于adas和ar技术的全液晶仪表***
CN115659701B (zh) 车路协同v2x应用场景的验证方法、设备和存储介质
CN217801729U (zh) 一种室外机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20221111

WD01 Invention patent application deemed withdrawn after publication