CN116583891A - 用于车辆核查和验证的危急场景识别 - Google Patents
用于车辆核查和验证的危急场景识别 Download PDFInfo
- Publication number
- CN116583891A CN116583891A CN202080106799.6A CN202080106799A CN116583891A CN 116583891 A CN116583891 A CN 116583891A CN 202080106799 A CN202080106799 A CN 202080106799A CN 116583891 A CN116583891 A CN 116583891A
- Authority
- CN
- China
- Prior art keywords
- data
- vehicle
- imu
- computer
- driving parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012795 verification Methods 0.000 title description 8
- 238000010200 validation analysis Methods 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000005259 measurement Methods 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 24
- 230000001133 acceleration Effects 0.000 claims description 16
- 238000007405 data analysis Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 13
- 238000007726 management method Methods 0.000 description 29
- 238000004891 communication Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000013499 data model Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000010998 test method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013618 particulate matter Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0808—Diagnosing performance data
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0133—Traffic data processing for classifying traffic situation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
提供了用于从与一个或多个车辆(101)相关联的车辆数据识别一个或多个危急场景的场景识别***(100)和计算机实现的方法(300)。场景识别***(100)从车辆数据至少获得惯性测量单元(IMU)数据,从IMU数据导出一个或多个基于IMU的驾驶参数,并基于一个或多个预定义阈值分析基于IMU的驾驶参数,用于识别(一个或多个)危急场景。
Description
技术领域
本公开的各种实施例涉及提供一种用于增强自主和半自主车辆的安全性的***和计算机实现的方法,并且特别涉及与其相关联的危急场景的识别。
背景技术
在自主车辆(AV)的安全性评估中采用的常规工业方法包括:英里驾驶仿真方法,其中仿真器仿真虚拟世界,AV通过该虚拟世界被驾驶大英里数以开发足够的统计数据;脱离方法,其中由于AV将要做出的可能已经导致事故的不安全决策而考虑AV操作中的人类干预;以及基于场景的测试和专有方法。对于基于场景的核查,仿真各种可能的驾驶场景,并且AV暴露于这些场景以评估与AV做出的驾驶决策相关联的置信水平。基于场景的方法的挑战是包括实时车辆数据以及仿真车辆数据的数据的量,所述数据必须进行修剪,以便构建将具有重要性的场景。
从巨大量的实时和仿真车辆数据识别危急场景(诸如极端情况或边缘情况)是一个繁琐的过程。数据可能由原始输入以及来自多个传感器的处理数据组成,所述传感器诸如相机、LIDAR、RADAR、IMU、GPS传感器等。此外,数据的范围可能从几个小时到几天。因此,要处理的数据量是巨大的。从巨大量的车辆数据识别危急场景的过程传统上通过搜索通过整个数据集并找出其中违反安全性度量的场景来解决。存在定义这样的违反的各种危急性测试方法,例如,由荷兰B.V.公司开发的责任敏感安全性(RSS)、由特拉华州的英伟达公司开发的Nvidia Safety Force/>(SFF)、和/或涉及回路中尖端模型或回路测试中软件的典型大规模场景测试,所有这些都提供了用于识别危急场景的安全性度量。然而,上述测试方法需要使用暴力或线性搜索算法来修剪通过巨大量的车辆数据以识别违规,从而致使它们成为不切实和/或不可行的选项。
发明内容
因此,本公开的目的是提供一种***和计算机实现的方法,其以高效和有效的方式识别危急场景,以确保自主和/或半自主车辆导航的安全性和可靠性。
本文中公开了一种场景识别***,用于从与(一个或多个)车辆相关联的车辆数据识别(一个或多个)危急场景。如本文中所使用的,“危急场景”指代与(一个或多个)车辆相关联的可能潜在地导致事故或对(一个或多个)车辆的物理损坏的不合期望的事件。危急场景包括例如车辆之间的碰撞、针对对象的碰撞、与车辆和/或对象的潜在碰撞、意外的车辆故障等。
(一个或多个)车辆指代至少一个自主车辆,所述自主车辆是其上安装有多个传感器的自我车辆。传感器包括例如高精度相机、激光雷达(LiDAR和LADAR)、毫米波雷达、定位传感器、照明传感器、全球定位***(GPS)传感器、惯性测量单元(IMU)传感器、环境条件监视传感器等。因此,这些传感器可以捕获以物理值的数据,诸如电压、电流、位置坐标、颗粒物浓度、风速、压力、湿度等和/或以媒体的形式,诸如由相机捕获的图像和/或视频。(一个或多个)车辆也指代在自我车辆附近的一个或多个目标车辆,并且能够在一点或另一点处影响自我车辆的驾驶。(一个或多个)目标车辆可以也可以不在其上安装有上述传感器。
根据本公开的一个方面,该场景识别***可部署在云计算环境中。如本文中所使用的,“云计算环境”指代包括可配置的计算物理和逻辑资源(例如网络、服务器、存储、应用、服务等)以及通过通信网络(例如互联网)分发的数据的处理环境。云计算环境提供对可配置的计算物理和逻辑资源的共享池的按需网络访问。
根据本公开的另一方面,该场景识别***可部署为安装在自我车辆上的边缘设备。根据本公开的又另一方面,该场景识别***可部署为基于云的***和边缘设备的组合,其中该场景识别***的一些模块可部署在自我车辆上,并且剩余模块可部署在云计算环境中。
该场景识别***包括存储由该场景识别***的模块定义的计算机程序指令的非暂时性计算机可读存储介质。如本文中所使用的,“非暂时性计算机可读存储介质”指代除了暂时性传播信号外的所有计算机可读介质,例如,诸如光盘或磁盘之类的非易失性介质,诸如寄存器存储器、处理器高速缓存等之类的易失性介质,以及诸如构成耦合到处理器的***总线的导线之类的传输介质。
该场景识别***包括至少一个处理器,其通信地耦合到非暂时性计算机可读存储介质。处理器执行计算机程序指令。如本文中所使用的,术语“处理器”指代能够执行计算机程序或一系列命令、指令或状态转变的任何一个或多个微处理器、微控制器、中央处理单元(CPU)设备、有限状态机、计算机、微控制器、数字信号处理器、逻辑、逻辑设备、电子电路、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、芯片等、或其任何组合。
该场景识别***包括数据接收模块、数据处理模块、数据分析模块、场景管理模块、图形用户接口(GUI)和/或场景管理数据库。
数据接收模块接收与(一个或多个)车辆相关联的车辆数据。数据接收模块可操作地与(一个或多个)车辆和一个或多个交通建模设备通信,用于接收车辆数据。如本文中所使用的,“车辆数据”包括由安装在包括自我车辆和目标车辆的(一个或多个)车辆上的传感器记录的数据,以及由一个或多个其他道路用户和/或对象(诸如自我车辆附近的行人)记录的数据。车辆数据包括可能影响自我车辆驾驶的数据。有利的是,车辆数据可以跨越若干个小时(例如,日复一日的基础),或者可以对应于进行的每次行程。根据一个方面,数据接收模块从本地存储装置接收车辆数据,所述本地存储装置诸如是连同(一个或多个)车辆上的传感器一起设置的数据库或存储器模块。此外,本文中使用的“交通建模设备”指代交通仿真器引擎,例如,PreScan,它是由比利时的西门子工业软件N.V.公司开发的用于汽车工业的仿真平台。
数据处理模块从车辆数据获得预定义类型的数据。预定义类型的数据至少包括惯性测量单元(IMU)数据。自我车辆的IMU数据通常从安装在自我车辆上的IMU传感器直接记录。有利的是,IMU数据是以结构化格式可用的纯文本数据,包括例如记录数据的时间实例的时间戳、该时间实例的角速度和该时间实例的线性加速度。有利的是,IMU数据还可以包括与(一个或多个)车辆相关联的角速率、比力和磁场。除了IMU数据之外,预定义类型的数据还可以包括全球定位***(GPS)数据。例如,GPS数据将是需要的、尤其是当存在对导出自我车辆的线速度的需求时。
根据本公开的一个方面,当存在安装在目标车辆上的传感器(例如IMU传感器和/或GPS传感器)时,数据处理模块以上述方式获得目标车辆的预定义类型的数据。
根据本公开的另一个方面,当不存在安装在目标车辆上的传感器并且因此没有记录IMU数据和/或GPS数据时,数据处理模块通过采用一种或多种多对象跟踪算法来获得目标车辆的预定义类型的数据。有利的是,多对象跟踪算法使用从自我车辆接收的车辆数据并执行传感器融合来计算每个目标车辆的准确位置。这些位置(也称为状态)然后使用自我车辆在该对应时间实例的GPS数据转换到全球坐标系。根据目标车辆在一段时间内的位置,导出目标车辆的线速度和加速度信息,并用对应的时间戳映射,从而创建目标车辆的IMU数据。
数据处理模块从预定义类型的数据导出一个或多个基于IMU的驾驶参数。基于IMU的驾驶参数可以是用户定义的。基于IMU的驾驶参数包括例如车辆的加速度、车辆的速度和车辆的轨迹。该车辆是自我车辆和/或目标车辆。根据本公开的一个方面,数据处理模块使用加速度、速度和/或轨迹值导出辅助参数。例如,自我车辆与一个或多个目标车辆碰撞的时间是从自我车辆和目标车辆之间的相对速度导出的辅助参数。有利的是,数据处理模块在导出这些基于IMU的驾驶参数和相关联的辅助参数(如果有的话)时,以带有时间戳的方式将它们存储到场景管理数据库中。该数据可以在将来被场景识别***用于学习和性能增强的目的。
数据分析模块基于一个或多个预定义的阈值来分析(一个或多个)基于IMU的驾驶参数,以用于识别(一个或多个)危急场景。对应于每个基于IMU的驾驶参数来定义阈值。阈值可以是用户定义的,或者由数据分析模块基于存储在场景管理数据库中的历史数据来定义。
根据一个示例,当自我车辆的横向加速度大于2.5米/秒2并且自我车辆的横向减速度大于2.9米/秒2,则条件被称为危急。这里针对横向加速度和横向减速度定义的阈值表示自我车辆速度的突然改变。然而,本领域技术人员可以领会的是,这样的阈值可以基于自我车辆的类型、型号、条件而大幅变化。类似地,可以针对加速度定义阈值,该阈值是一段时间内从速度改变导出的值。
根据另一个示例,考虑在高速公路上以80公里/小时的恒定速度移动的自我车辆(诸如中型汽车),并且速度在仅仅10秒的持续时间内突然下降到30公里/小时。然后,自我车辆的线性减速度变为大约5米/秒2,这远远高于阈值2.9米/秒2。这实质上意味着汽车已经应用了突然制动,并且因此,该场景可能是潜在的危急场景。
根据又另一个示例,可以从一段时间内的GPS数据获得自我车辆轨迹的突然改变。如果需要,还可以使用由其他传感器(诸如(一个或多个)相机和(一个或多个)LiDAR)记录的车辆数据来获得车道改变信息。这样的场景通常将是切入或切出,涉及自我车辆和(一个或多个)目标车辆之间横向距离的突然变化。当横向距离小于0.5m时,该场景可以被称为潜在危急场景。
根据又另一个示例,可以针对从基于IMU的驾驶参数导出的辅助参数定义阈值。当自我车辆和(一个或多个)目标车辆之间的碰撞时间小于或等于1.5秒时,该场景可以被称为潜在危急场景。
场景管理模块使用对应于超过预定义阈值的基于IMU的驾驶参数和/或辅助参数的车辆数据生成(一个或多个)交通场景。场景管理模块使用诸如(一个或多个)相机、(一个或多个)LiDAR等之类的传感器的对应时间实例数据,生成被数据分析模块称为潜在危急的交通场景。场景管理模块针对危急性验证(一个或多个)交通场景。有利的是,为了交通场景的生成和验证,可以使用交通建模设备,例如PreScan。验证可以基于包括但不限于责任敏感安全性(RSS)、Nvidia Safety Force/>(SFF)和/或典型的大规模场景测试的一个或多个危急性测试标准来执行。
有利的是,场景管理数据库使得能够存储车辆数据、IMU数据、GPS数据、基于IMU的驾驶参数、从其导出的辅助参数、对应于每个基于IMU的驾驶参数和/或辅助参数的预定义阈值、和/或生成和验证的(一个或多个)交通场景。有利的是,交通场景连同与其相关联的危急性指数一起被存储。例如,当考虑与危急性相关联的安全性参数时,潜在碰撞与撞到路缘相比可能具有更高的危急性指数。在另一个示例中,当用于行人或对象的增强检测的软件/固件更新正被针对自我车辆核查和验证时,行人碰撞与车辆故障相比具有更高的危急性指数。因此,基于其中要在自我车辆上进行核查和验证的上下文,危急性指数
此外,本文中公开了一种用于从与一个或多个车辆相关联的车辆数据识别一个或多个危急场景的计算机实现的方法。有利的是,计算机实现的方法采用上述场景识别***,该***包括至少一个处理器,所述处理器被配置为执行用于执行该方法的计算机程序指令。该计算机实现的方法包括由数据接收模块接收与一个或多个车辆相关联的车辆数据,由数据处理模块从车辆数据获得预定义类型的数据,其中预定义类型的数据至少包括惯性测量单元(IMU)数据,由数据处理模块从预定义类型的数据导出一个或多个基于IMU的驾驶参数,至少包括车辆的加速度、速度和轨迹,以及由数据分析模块基于用于识别(一个或多个)危急场景的一个或多个预定义阈值来分析(一个或多个)基于IMU的驾驶参数。该计算机实现的方法进一步包括由场景管理模块使用对应于超过预定义阈值的基于IMU的驾驶参数的车辆数据生成一个或多个交通场景,以及由场景管理模块针对危急性验证(一个或多个)交通场景。
此外,本文中公开了一种计算机程序产品,其包括存储计算机程序代码的非暂时性计算机可读存储介质,所述计算机程序代码包括可由至少一个处理器执行的指令,并且包括用于从车辆数据获得预定义类型的数据的第一计算机程序代码,其中预定义类型的数据至少包括惯性测量单元(IMU)数据、用于从预定义类型的数据导出一个或多个基于IMU的驾驶参数的第二计算机程序代码、以及用于基于用于识别一个或多个危急场景的一个或多个预定义阈值来分析一个或多个基于IMU的驾驶参数的第三计算机程序代码。该计算机程序进一步包括第四计算机程序代码和第五计算机程序代码,第四计算机程序代码用于使用对应于超过预定义阈值的基于IMU的驾驶参数的车辆数据生成一个或多个交通场景,第五计算机程序代码用于针对危急性验证一个或多个交通场景。根据本公开的一个方面,包括计算机可执行指令的单片计算机程序代码执行本文中公开的用于识别危急场景的计算机实现的方法的一个或多个步骤。
此外,本文中公开了一种交通建模设备,包括具有仿真软件的计算机,该仿真软件应用计算机实现的方法,用于至少基于与一个或多个车辆相关联的IMU数据来识别危急场景。
上面公开的场景识别***、计算机实现的方法、计算机程序产品和交通建模设备使得能够通过从其中导出至少关于用于识别和验证危急场景的IMU数据的数据子集来优化车辆数据的处理,从而节省处理基础设施、带宽、时间和成本,而不损害危急场景识别的准确性。
上面的发明内容仅意图给出一些实施例和实现的一些特征的简要概览,而不应被解释为限制。其他实施例可以包括除上面解释的特征之外的其他特征。
附图说明
从参考以下各图对实施例的以下详细描述中,本公开的上述和其他元素、特征、步骤和特性将变得更加显而易见。
图1A-1B图示了根据本公开实施例的用于(一个或多个)车辆的场景识别***的示意性表示。
图2是根据本公开实施例的其中部署了图1A-1B中所示的场景识别***的云计算环境的组件的示意性表示。
图3是表示根据本公开实施例的用于识别(一个或多个)车辆的危急场景的计算机实现的方法的过程流程图。
具体实施方式
在下文中,将参考附图详细描述本公开的实施例。要理解,以下对实施例的描述不应以限制性意义理解。
附图应被认为是附图中图示的示意性的表示和元件,其不一定按比例示出。而是,各种元件被表示为使得它们的功能和一般目的对于本领域技术人员来说变得显而易见。在附图中示出或本文中描述的功能块、设备、组件或其他物理或功能单元之间的任何连接或耦合也可以通过间接连接或耦合来实现。组件之间的耦合也可以通过无线连接来建立。功能块可以以硬件、固件、软件或其组合来实现。
图1A-1B图示了根据本公开实施例的用于(一个或多个)车辆的场景识别***100的示意性表示。图1A描绘了能够与一个或多个车辆101通信并驻留在云102中的场景识别***100。云102描绘了云计算环境,其指代包括可配置的计算物理和逻辑资源(例如网络、服务器、存储、应用、服务等)以及通过网络(例如互联网)分发的数据的处理环境。云计算环境提供对可配置的计算物理和逻辑资源的共享池的按需网络访问。例如,使用谷歌公司的谷歌应用引擎云基础设施、亚马逊技术公司的Amazon Web亚马逊技术公司的Amazon elastic compute cloud/>web服务、谷歌公司的/>Cloud平台、微软公司的/>Cloud平台等来开发场景识别***100。场景识别***100也可以被配置为基于云计算的平台,该平台被实现为用于识别与(一个或多个)车辆101相关联的危急场景的服务。(一个或多个)车辆101包括被监视、管理和/或控制的(一个或多个)自主和/或半自主车辆——本文中也称为自我车辆101。(一个或多个)车辆101还包括本文中称为目标车辆101的一个或多个车辆,其在自我车辆附近,并且可以是也可以不是自主的。
图1B描绘了与(一个或多个)车辆101通信的场景识别***100的不同模块100A-100F。自我车辆101通常具有安装在其上的各种传感器101A-101N。传感器101A-101N包括无线电检测和测距(RADAR)传感器、激光检测和测距(LADAR)传感器、光检测和测距(LiDAR)传感器、(一个或多个)相机、惯性测量单元(IMU)传感器和/或全球定位***(GPS)传感器。目标车辆101可以具有上面列出的传感器101A-101N中的一些,诸如GPS传感器。
场景识别***100包括数据接收模块100A、数据处理模块100B、数据分析模块100C、场景管理模块100D、图形用户接口(GUI)100E和/或场景管理数据库100F。场景管理数据库100F也可以驻留在场景识别***100的外部,在图1A中所示的云102的内部或外部。场景识别***100能够与一个或多个交通建模设备103通信,所述交通建模设备103例如交通仿真器引擎,诸如PreScan——由比利时的西门子工业软件N.V.公司开发的用于汽车工业的仿真平台。
场景识别***100包括非暂时性计算机可读存储介质(例如场景管理数据库100F)以及通信地耦合到非暂时性计算机可读存储介质的至少一个处理器(未示出),其指代除了暂时性传播信号外的各种计算机可读介质,例如,诸如光盘或磁盘之类的非易失性介质,诸如寄存器存储器、处理器高速缓存等之类的易失性介质,以及诸如构成耦合到处理器的***总线的导线之类的传输介质。非暂时性计算机可读存储介质被配置为存储由场景识别***100的模块100A-100E定义的计算机程序指令。处理器被配置为执行所定义的计算机程序指令。
图2是根据本公开实施例的云计算环境102的组件的示意性表示,云计算环境102中部署了图1A-1B中所示的场景识别***100。驻留在云102中的场景识别***100采用应用编程接口(API)201。API 201采用功能201A-201N,每个功能使得场景识别***100能够传输和/或接收存储在场景管理数据库100F、一个或多个交通建模设备103和车辆101(图1A和图1B中所示)中的数据。场景管理数据库100F包括数据模型202A-202N,其存储从车辆101、场景识别***100和/或(一个或多个)交通建模设备103接收的数据。可以注意到,数据模型202A-202N中的每一个可以以划分的方式存储关于特定车辆101、车辆101可能面临或可能已经面临的特定场景等的数据。此外,功能201A-201N中的每一个被配置为访问场景管理数据库100F中的一个或多个数据模型202A-202N。场景识别***100自主工作。然而,可能存在使得场景识别***100的用户能够经由场景识别***100的交互式图形用户接口(GUI)100E安全访问以配置和操作场景识别***100的规定。场景识别***100的图1B中所示的数据接收模块100A从(一个或多个)车辆101接收车辆数据,并将输入变换成API调用。场景识别***100的数据处理模块100B将该API调用转发给API 201,API 201继而调动一个或多个适当的API功能201A-201N,其负责将车辆数据检索/存储到场景管理数据库100F中。然后,API201确定场景管理数据库100内的一个或多个数据模型202A-202N,用于执行车辆数据的所述检索/存储操作。API 201经由GUI 100E返回检索到的数据或者存储到场景管理数据库100F中的数据的确认,它们继而可以被转发给用户。用户可能想要检索的数据可以包括例如所识别的场景的报告、对车辆数据的分析等。
可以领会,发生在场景识别***100的模块100A-100F、(一个或多个)车辆101和(一个或多个)交通建模设备103之间的前述通信交换涉及允许它们之间快速而安全的通信的手段。这样的手段可以包括:V2X通信支持的协议的使用,包括但不限于传输控制协议(TCP)、互联网协议(IP)、用户数据报协议(UDP)、OPC统一架构(OPC-UA)协议等;以及涉及诸如4G、LTE或5G之类的无线网络的网络的使用,这些无线网络满足期望的要求并且符合为业务管理制定的标准,诸如IEEE 802.11。
图3是表示根据本公开实施例的用于识别(一个或多个)车辆101的危急场景的计算机实现的方法300的过程流程图。本文中公开的方法300采用场景识别***100,该***包括至少一个处理器,该处理器被配置为执行用于识别(一个或多个)车辆101(图1A-1B中所示)的危急场景的计算机程序指令。
在步骤301处,场景识别***100的数据接收模块100A从安装在自我车辆101和/或目标车辆101上的多个传感器101A-101N接收车辆数据。数据接收模块100A与每个车辆101建立安全连接,以接收车辆数据。数据接收模块100A还在接收车辆数据之前验证每个车辆101。数据接收模块100A接收由传感器101A-101N在若干个小时(例如一天)内记录的车辆数据。
在步骤302处,场景识别***100的数据处理模块100B从车辆数据获得预定义类型的数据,其中预定义类型的数据是惯性测量单元(IMU)数据。IMU数据包括关于车辆101的力、角度测量和磁场。在步骤302A处,数据处理模块100B检查IMU数据是否存在于为自我车辆101以及(一个或多个)目标车辆101接收的车辆数据中。当IMU传感器安装在(一个或多个)车辆101上时,这是可能的。如果不是,则在步骤302B处,数据处理模块100B基于由安装在目标车辆101上的传感器101A-101N记录的车辆数据来计算IMU数据。数据处理模块100B对可用于(一个或多个)目标车辆(即,不具有容易可用的IMU数据的(一个或多个)车辆)的数据采用一种或多种多对象跟踪算法来计算IMU数据。多对象跟踪的第一阶段是检测传感器数据,即车辆数据。在检测时,原始测量被转化成有意义的特征,即通过检测和分割来定位对象。在这之后,定位的对象被馈送到一个或多个过滤器。使用随机变量概念来表示周围环境中每个对象的状态,该随机变量概念具有分配给每个变量的概率。根据该概率,导出***的状态,该状态然后用于导出与车辆101的力、角度测量和磁场相关的信息。如果在步骤302A处,数据处理模块100B发现IMU数据存在于车辆数据中,则方法300前进到步骤303。
在步骤303处,数据处理模块100B从预定义类型的数据提取一个或多个基于IMU的驾驶参数。基于IMU的驾驶参数是自我车辆101和(一个或多个)目标车辆101的加速度、速度和轨迹。这些基于IMU的驾驶参数是从IMU数据导出的。可能存在从加速度、速度和/或轨迹导出的辅助参数,例如碰撞时间,其是两个或更多个车辆101之间的相对速度。
在步骤304处,场景识别***100的数据分析模块100C基于对应于(一个或多个)参数的(一个或多个)预定义阈值来分析(一个或多个)参数中的每一个。在步骤304A处,数据分析模块100C检查自我车辆101的加速度、速度和/或轨迹是否在相应的预定义阈值内。这些阈值是基于诸如制动、取向等之类的突然改变(例如,快速减速或取向突然改变)而定义的。当行人或另一车辆出现在移动的自我车辆101的前方而没有足够的之前信息,并且自我车辆101必须施加制动或进行突然转弯以避免事故时,可能发生突然减速或轨迹改变。当自我车辆101的加速度将响应于施加制动而具有突然下降以避免由于另一车辆在没有足够的之前信息的情况下切入和切出所致的事故时,这也可能发生在驾驶期间的切入和切出操纵的情况下。发现IMU数据在加速度、速度和/或轨迹方面存在这种突然改变的时间实例是危急实例,并且可以通过IMU文本数据以时间有效的方式进行搜索。
在步骤304B处,数据分析模块100C在场景管理数据库100F中存储自我车辆101的加速度、速度和/或轨迹数据示出突然改变并因此超过(一个或多个)对应阈值的这样的时间实例作为危急条件。如果在步骤304A处发现没有超过任何一个阈值,则数据分析模块100C等待数据接收模块100A对另一车辆数据集合的接收。
在步骤305处,场景识别***100的场景管理模块100D处理要被数据分析模块100C标记为危急的条件。在步骤305A处,场景管理模块100D基于由数据分析模块100C存储在场景管理数据库100F中的危急条件以及由诸如相机、LiDAR等之类的各种传感器101A-101N记录的对应时间实例数据来生成危急场景。在步骤305B处,场景管理模块100D通过使用一种或多种定义标准交通违规的测试方法,例如责任敏感安全性(RSS)、Nvidia Safety Force(SFF)和/或典型的大规模场景测试,将如此构造的危急场景馈送到交通仿真器引擎中进行核查和验证,从而验证它们。
在描述诸如场景管理数据库100F之类的数据库的情况下,本领域普通技术人员将理解,(i)可以容易地采用对那些描述的数据库结构的替代数据库结构,以及(ii)可以容易地采用除了数据库之外的其他存储器结构。本文中公开的任何样本数据库的任何图示或描述都是用于信息的存储表示的说明性布置。除了附图或其他地方所图示的表格所建议的那些布置之外,可以采用任何数量的其他布置。类似地,数据库的任何图示条目仅表示示例性信息;本领域普通技术人员将理解,条目的数量和内容可以与本文中公开的那些不同。另外,尽管有数据库作为表格的任何描绘,但是包括关系数据库、基于对象的模型和/或分布式数据库的其他格式也可以用于存储和操纵本文中公开的数据类型。同样,数据库的对象方法或行为可以用于实现各种过程,诸如本文中公开的那些。此外,数据库可以以已知的方式存储在本地或远离访问这样的数据库中的数据的设备存储。在***中存在多个数据库的实施例中,数据库可以被集成以彼此通信,用于当存在对数据库之一中的数据的任何更新时,使能实现跨数据库链接的数据的同时更新。
本公开可以被配置为在包括经由网络与一个或多个设备通信的一个或多个计算机的网络环境中工作。计算机可以经由有线介质或无线介质(诸如因特网、局域网(LAN)、广域网(WAN)或以太网、令牌环)或者经由任何适当的通信介质或通信介质的组合,直接或间接地与设备通信。每个设备包括适于与计算机通信的处理器,上面公开了处理器的一些示例。在一实施例中,每个计算机配备有网络通信设备,例如网络接口卡、调制解调器或适用于连接到网络的其他网络连接设备。计算机和设备中的每一个执行操作***,上面公开了操作***的一些示例。虽然操作***可能取决于计算机类型而不同,但是操作***将继续提供适当的通信协议来建立与网络的通信链接。任何数量和类型的机器都可以与计算机通信。
本公开不限于特定的计算机***平台、处理器、操作***或网络。本公开的一个或多个方面可以分布在一个或多个计算机***当中、例如被配置为向一个或多个客户端计算机提供一个或多个服务或者在分布式***中执行完整任务的服务器当中。例如,根据各种实施例,本公开的一个或多个方面可以在包括分布在执行多种功能的一个或多个服务器***当中的组件的客户端-服务器***上执行。这些组件包括例如可执行代码、中间代码或解释代码,它们使用通信协议通过网络进行通信。本公开不限于在任何特定***或***组上可执行,并且不限于任何特定的分布式架构、网络或通信协议。
前述示例仅仅是出于解释的目的而提供的,并且决不能被解释为对本文中公开的本公开的限制。虽然已经参考各种实施例描述了本公开,但是应理解,本文中已经使用的词语是描述性和说明性的词语,而不是限制性的词语。另外,尽管本文中已经参考特定的手段、材料和实施例描述了本公开,但是本公开不意图限于本文中公开的细节;而是,本公开扩展到诸如在所附权利要求的范围内的所有功能上等同的结构、方法和用途。受益于本说明书的教导的本领域技术人员可以对其进行多种修改,并且可以在不脱离本公开的范围的情况下在其各方面进行改变。
附图标记列表
100场景识别***
100A数据接收模块
100B数据处理模块
100C数据分析模块
100D场景管理模块
100E图形用户接口(GUI)
100F场景管理数据库
101车辆/自我车辆/目标车辆
101A-101N传感器
102云/云服务器
103交通建模设备/交通仿真器引擎
201应用编程接口(API)
201A-201N API采用的功能
202A-202N数据模型
Claims (13)
1.一种用于从与一个或多个车辆(101)相关联的车辆数据识别一个或多个危急场景的场景识别***(100),包括:
-非暂时性计算机可读存储介质,被配置为存储由场景识别***(100)的模块(100A-100E)定义的计算机程序指令;
-至少一个处理器,通信地耦合到所述非暂时性计算机可读存储介质,所述至少一个处理器被配置为执行所述定义的计算机程序指令;
其特征在于:
-数据处理模块(100B),被配置为:
○从车辆数据获得预定义类型的数据,其中所述预定义类型的数据至少包括惯性测量单元(IMU)数据;和
○从预定义类型的数据导出一个或多个基于IMU的驾驶参数;以及
-数据分析模块(l00C),被配置为基于用于识别一个或多个危急场景的一个或多个预定义阈值来分析所述一个或多个基于IMU的驾驶参数。
2.根据权利要求1所述的场景识别***(100),包括数据接收模块(100A),其被配置为可操作地与车辆(101)和一个或多个交通建模设备(103)通信,用于接收车辆数据。
3.根据权利要求1所述的场景识别***(100),其中基于IMU的驾驶参数包括车辆(101)的加速度、车辆(101)的速度和车辆(101)的轨迹中的一个或多个。
4.根据权利要求1所述的场景识别***(100),包括场景管理模块(100D),其被配置为:
-使用对应于超过预定义阈值的基于IMU的驾驶参数的车辆数据生成一个或多个交通场景;和
-针对危急性验证所述一个或多个交通场景。
5.根据前述权利要求中任一项所述的场景识别***(100),包括场景管理数据库(100F),其存储车辆数据、IMU数据、基于IMU的驾驶参数、对应于每个基于IMU的驾驶参数的预定义阈值以及交通场景中的一个或多个。
6.一种用于从与一个或多个车辆(101)相关联的车辆数据识别一个或多个危急场景的计算机实现的方法(300),所述计算机实现的方法,所述方法的特征在于:
-从车辆数据获得(302)预定义类型的数据,其中所述预定义类型的数据至少包括惯性测量单元(IMU)数据;
-从预定义类型的数据导出(303)一个或多个基于IMU的驾驶参数;以及
-基于用于识别所述一个或多个危急场景的一个或多个预定义阈值来分析(304)所述一个或多个基于IMU的驾驶参数。
7.根据权利要求6所述的计算机实现的方法(300),其中所述车辆数据包括由安装在所述一个或多个车辆(101)上的一个或多个传感器(101A-101N)记录的数据。
8.根据权利要求6所述的计算机实现的方法(300),其中基于IMU的驾驶参数包括车辆(101)的加速度、车辆(101)的速度和车辆(101)的轨迹中的一个或多个。
9.根据权利要求6所述的计算机实现的方法(300),其中从车辆数据获得预定义类型的数据包括执行以下各项之一:
-从车辆数据选择IMU数据;和
-基于车辆数据计算IMU数据。
10.根据权利要求6所述的计算机实现的方法(300),进一步包括:
-由场景识别***(100)的场景管理模块(100D)使用对应于超过预定义阈值的基于IMU的驾驶参数的车辆数据来生成(305A)一个或多个交通场景;和
-由场景管理模块(100D)针对危急性验证(305B)所述一个或多个交通场景。
11.一种包括非暂时性计算机可读存储介质的计算机程序产品,所述非暂时性计算机可读存储介质存储包括可由至少一个处理器执行的指令的计算机程序代码,所述计算机程序代码包括:
-第一计算机程序代码,用于从车辆数据获得预定义类型的数据,其中所述预定义类型的数据至少包括惯性测量单元(IMU)数据;
-第二计算机程序代码,用于从预定义类型的数据导出一个或多个基于IMU的驾驶参数;以及
-第三计算机程序代码,用于基于用于识别所述一个或多个危急场景的一个或多个预定义阈值来分析所述一个或多个基于IMU的驾驶参数。
12.根据权利要求10所述的计算机程序产品,进一步包括:
-第四计算机程序代码,用于使用对应于超过预定义阈值的基于IMU的驾驶参数的车辆数据来生成一个或多个交通场景;和
-第五计算机程序代码,用于针对危急性验证所述一个或多个交通场景。
13.一种交通建模设备(103),包括具有仿真软件的计算机,所述仿真软件应用根据权利要求6-10中任一项所述的计算机实现的方法(300),用于至少基于与一个或多个车辆(101)相关联的IMU数据来识别危急场景。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2020/074101 WO2022042853A1 (en) | 2020-08-28 | 2020-08-28 | Critical scenario identification for verification and validation of vehicles |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116583891A true CN116583891A (zh) | 2023-08-11 |
Family
ID=72355954
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080106799.6A Pending CN116583891A (zh) | 2020-08-28 | 2020-08-28 | 用于车辆核查和验证的危急场景识别 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240013592A1 (zh) |
EP (1) | EP4186050A1 (zh) |
JP (1) | JP2023539643A (zh) |
CN (1) | CN116583891A (zh) |
WO (1) | WO2022042853A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115148028B (zh) * | 2022-06-30 | 2023-12-15 | 北京小马智行科技有限公司 | 依据历史数据构建车辆路测场景的方法、装置及一种车辆 |
CN115909752B (zh) * | 2022-11-01 | 2023-12-15 | 东南大学 | 一种基于车辆用户历史数据的急转弯识别及统计方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2560096A (en) * | 2017-01-13 | 2018-08-29 | Ford Global Tech Llc | Collision mitigation and avoidance |
US11487988B2 (en) * | 2017-08-31 | 2022-11-01 | Ford Global Technologies, Llc | Augmenting real sensor recordings with simulated sensor data |
US20190271614A1 (en) * | 2018-03-01 | 2019-09-05 | RightHook, Inc. | High-Value Test Generation For Autonomous Vehicles |
-
2020
- 2020-08-28 EP EP20767490.4A patent/EP4186050A1/en active Pending
- 2020-08-28 CN CN202080106799.6A patent/CN116583891A/zh active Pending
- 2020-08-28 JP JP2023513761A patent/JP2023539643A/ja active Pending
- 2020-08-28 WO PCT/EP2020/074101 patent/WO2022042853A1/en active Application Filing
- 2020-08-28 US US18/023,413 patent/US20240013592A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4186050A1 (en) | 2023-05-31 |
WO2022042853A1 (en) | 2022-03-03 |
US20240013592A1 (en) | 2024-01-11 |
JP2023539643A (ja) | 2023-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11060882B2 (en) | Travel data collection and publication | |
US10755007B2 (en) | Mixed reality simulation system for testing vehicle control system designs | |
CN108921200B (zh) | 用于对驾驶场景数据进行分类的方法、装置、设备和介质 | |
JP7059362B2 (ja) | 地図データ構築方法、車両端末、およびサーバ | |
CN113240909B (zh) | 车辆监测方法、设备、云控平台和车路协同*** | |
CN113223317B (zh) | 一种更新地图的方法、装置和设备 | |
EP3137355A1 (fr) | Dispositif de signalisation d'objets a un module de navigation de vehicule equipe de ce dispositif | |
EP3895950B1 (en) | Methods and systems for automated driving system monitoring and management | |
CN112579464A (zh) | 自动驾驶算法的校验方法、装置、设备以及存储介质 | |
CN111291697A (zh) | 用于识别障碍物的方法和装置 | |
CN112861833B (zh) | 车辆车道级定位方法、装置、电子设备和计算机可读介质 | |
CN116583891A (zh) | 用于车辆核查和验证的危急场景识别 | |
CN113602283A (zh) | 用于管理车辆的自动驾驶***的方法和*** | |
CN114999166B (zh) | 车辆识别方法、装置、电子设备及计算机可读存储介质 | |
Ravishankaran | Impact on how AI in automobile industry has affected the type approval process at RDW | |
IL292806A (en) | Method, device and computer program for operating a sensor system for detecting objects in the environment of a vehicle | |
CN112906519A (zh) | 一种车辆类型识别方法及装置 | |
US20240184691A1 (en) | Testing software changes and determining a repeatability of software tests | |
US20220317301A1 (en) | Modeling foliage in a synthetic environment | |
US20220318450A1 (en) | Lidar Atmospheric Effects in Simulation | |
CN116168366B (zh) | 点云数据生成方法、模型训练方法、目标检测方法和装置 | |
CN117593892B (zh) | 真值数据的获取方法和装置、存储介质及电子设备 | |
US20240061420A1 (en) | Contract testing for autonomous vehicles | |
US20240221215A1 (en) | High-precision vehicle positioning | |
CN116229418A (zh) | 信息融合方法、装置、设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |