CN110579216A - 测试场景库构建方法、装置、电子设备和介质 - Google Patents

测试场景库构建方法、装置、电子设备和介质 Download PDF

Info

Publication number
CN110579216A
CN110579216A CN201910867092.6A CN201910867092A CN110579216A CN 110579216 A CN110579216 A CN 110579216A CN 201910867092 A CN201910867092 A CN 201910867092A CN 110579216 A CN110579216 A CN 110579216A
Authority
CN
China
Prior art keywords
scene
test
elements
library
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910867092.6A
Other languages
English (en)
Other versions
CN110579216B (zh
Inventor
蔡嘉坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910867092.6A priority Critical patent/CN110579216B/zh
Publication of CN110579216A publication Critical patent/CN110579216A/zh
Priority to EP20165538.8A priority patent/EP3792768A1/en
Priority to US17/009,465 priority patent/US20210078590A1/en
Application granted granted Critical
Publication of CN110579216B publication Critical patent/CN110579216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3685—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities the POI's being parking facilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3664—Environments for testing or debugging software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3676—Test management for coverage analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例公开了一种测试场景库构建方法、装置、电子设备和介质，涉及自动驾驶技术领域，可用于自主泊车领域。具体实现方案为：确定场景要素的场景类别；其中，所述场景类别为感知类或策略类；从场景类别确定的场景要素中，选择策略类要素；根据所述策略类要素构建测试场景库；对所述测试场景库进行验证，并根据验证结果更新所述测试场景库。通过预先将场景要素划分为感知类和策略类，仅筛选对自动驾驶有实质影响的策略类要素来构建测试场景库，解除了感知类要素与策略类要素之间的耦合性，从而将测试场景库关注于真正需要测试的场景，大幅度减少测试场景数量，避免了无效场景和重复场景的构建，提高测试场景的有效性及其后续测试的准确性。

Description

测试场景库构建方法、装置、电子设备和介质
技术领域
本申请实施例涉及人工智能技术领域，尤其涉及自动驾驶技术领域，可用于自主泊车领域，具体涉及一种测试场景库构建方法、装置、电子设备和介质。
背景技术
自动驾驶车辆的测试必须基于一定的测试场景进行。目前场景要素的分类维度仅根据人为客观世界的理解，粗暴列出例如环境、地面特征、立体特征等维度的场景要素，各维度要素交叉组合后得到的测试场景数量激增，且很多测试场景是实际不存在的无效场景，或者是实质重复的场景。进而目前测试场景库的搭建无法关注到真正需要测试的场景，降低测试场景的有效性及其后续测试的准确性。
发明内容
本申请实施例提供了一种测试场景库构建方法、装置、电子设备和介质，能够构建实质上有效的测试场景库，大幅度减少测试场景数量，提高测试场景的有效性及其后续测试的准确性。
第一方面，本申请实施例提供了一种测试场景库构建方法，包括：
确定场景要素的场景类别；其中，所述场景类别为感知类或策略类；
从场景类别确定的场景要素中，选择策略类要素；
根据所述策略类要素构建测试场景库；
对所述测试场景库进行验证，并根据验证结果更新所述测试场景库。
上述申请中的一个实施例具有如下优点或有益效果：通过预先将场景要素划分为感知类和策略类，去除了场景要素中对自动驾驶无实质影响的感知类要素，仅筛选对自动驾驶有实质影响的策略类要素来构建测试场景库，解除了感知类要素与策略类要素之间的耦合性，从而将测试场景库关注于真正需要测试的场景，大幅度减少测试场景数量，避免了无效场景和重复场景的构建，提高测试场景的有效性及其后续测试的准确性。
可选的，所述确定场景要素的场景类别，包括：
对采集到的场景要素进行语义理解；
根据所述场景要素的语义理解进行分类，确定所述场景要素的场景类别。
可选的，所述策略类要素是用于描述场景且与自动驾驶车辆驾驶决策相关的要素，感知类要素是用于描述场景且与自动驾驶车辆驾驶决策无关的要素。
上述申请中的一个实施例具有如下优点或有益效果：通过以对自动驾驶车辆是否具有实质影响的角度触发，对场景要素进行分类，便于明确对自动驾驶车辆有无实质影响的场景要素。
可选的，所述根据所述策略类要素构建测试场景库，包括：
对所述策略类要素进行分层；其中，所述策略类要素的分层包括结构层、障碍物层和本车行为层；
对至少一个分层下的策略类要素进行任意组合，构建测试场景；
根据所述测试场景，构建测试场景库。
上述申请中的一个实施例具有如下优点或有益效果：通过筛选出策略类要素，仅采用策略类要素来构建测试场景库，基于各分层之间要素的任意组合，将测试场景库关注于真正需要测试的场景，大幅度减少测试场景数量，避免了无效场景和重复场景的构建，提高测试场景的有效性。
可选的，所述对所述测试场景库进行验证，更新所述测试场景库，包括：
对所述测试场景库中的目标测试场景进行场景仿真，验证所述目标测试场景的有效性；
基于验证有效的目标测试场景对自动驾驶车辆进行实车测试，并根据测试结果更新所述测试场景库。
上述申请中的一个实施例具有如下优点或有益效果：通过对测试场景库中的目标测试场景进行仿真测试和实车测试，将理论测试与实际测试相结合，能够提高场景测试的准确性以及完善测试场景库。
可选的，所述基于验证生效的目标测试场景对自动驾驶车辆进行实车测试，并根据测试结果更新所述测试场景库，包括：
基于所述目标测试场景对所述自动驾驶车辆进行实车封闭测试，根据实车封闭测试结果对所述测试场景库中的场景要素进行修正；
根据道路实际场景对所述自动驾驶车辆进行实车开放测试，依据实车开放测试结果对所述测试场景库中的场景要素进行更新。
可选的，所述基于所述目标测试场景对自动驾驶车辆进行实车封闭测试，根据实车封闭测试结果对所述测试场景库中的场景要素进行修正，包括：
根据所述目标测试场景对所述自动驾驶车辆进行实车封闭测试，采集所述目标测试场景下场景要素的实车驾驶参数；
将所述场景要素的所述实车驾驶参数与标准驾驶参数进行比对，确定所述实车驾驶参数与所述标准驾驶参数之间的误差；
根据所述实车驾驶参数与所述标准驾驶参数之间的误差，对所述场景要素的标准驾驶参数进行修正。
可选的，所述根据道路实际场景对所述自动驾驶车辆进行实车开放测试，依据实车开放测试结果对所述测试场景库中的场景要素进行更新，包括：
根据道路实际场景对所述自动驾驶车辆进行实车开放测试，确定实车测试结果；
若根据所述实车测试结果确定该道路实际场景下测试失败，则将该道路实际场景下的场景要素与所述测试场景库中的场景要素进行比对，确定所述测试场景库中不存在的候选场景要素；
将所述候选场景要素添加到所述测试场景库中。
上述申请中的一个实施例具有如下优点或有益效果：通过实车封闭测试，对测试场景库中的场景进行验证和修正，通过实车开放测试，对测试场景库进行场景要素和场景的完善。
第二方面，本申请实施例提供了一种测试场景库构建装置，包括：
要素分类模块，用于确定场景要素的场景类别；其中，所述场景类别为感知类或策略类；
要素筛选模块，用于从场景类别确定的场景要素中，选择策略类要素；
场景库构建模块，用于根据所述策略类要素构建测试场景库；
场景库更新模块，用于对所述测试场景库进行验证，并根据验证结果更新所述测试场景库。
第三方面，本申请实施例提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任意实施例所述的测试场景库构建方法。
第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请任意实施例所述的测试场景库构建方法。
上述申请中的一个实施例具有如下优点或有益效果：通过预先将场景要素划分为感知类和策略类，基于场景要素的分类结果，选择策略类要素来构建测试场景库，并基于对测试场景库的验证来更新测试场景库。因为采用了场景要素基于感知类和策略类分类的技术手段，克服了场景要素中对自动驾驶无实质影响的感知类要素激增测试场景数量的技术问题，仅筛选对自动驾驶有实质影响的策略类要素来构建测试场景库，解除了感知类要素与策略类要素之间的耦合性，从而将测试场景库关注于真正需要测试的场景，大幅度减少测试场景数量，避免了无效场景和重复场景的构建，提高测试场景的有效性及其后续测试的准确性。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的一种测试场景库构建方法的流程图；
图2是根据本申请第二实施例的一种测试场景库构建方法的流程图；
图3是根据本申请第二实施例的应用场景下策略类要素分层的示例图；
图4是根据本申请第三实施例的一种测试场景库构建方法的流程图；
图5是根据本申请第四实施例的测试场景库构建装置的结构示意图；
图6是用来实现本申请实施例的测试场景库构建方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
第一实施例
图1是根据本申请第一实施例的一种测试场景库构建方法的流程图，本实施例可适用于构建用于测试自动驾驶车辆的测试场景库的情况，该方法可由一种测试场景库构建装置来执行，该装置采用软件和/或硬件的方式实现，优选是配置于电子设备中。如图1所示，该方法具体包括如下：
S110、确定场景要素的场景类别；其中，场景类别为感知类或策略类。
在本申请具体实施例中，场景要素是指构建场景的最小单位，用于描述场景中某一方面的具体内容，例如天气为晴天、障碍物为成人、安全距离为20cm、车道为直行或驾驶行为为左转等。
本实施例中，针对目前对于场景要素的分类，仅仅是基于人为主观理解将场景要素划分为对象、路况、环境和行为的分类方式进行改进，对场景要素从根本上进行重新划分。由于本实施例中的测试场景用于对自动驾驶车辆进行测试使用，因此，本实施例将场景要素的场景类别重新划分为感知类和策略类。其中，策略类要素是用于描述场景且与自动驾驶车辆驾驶决策相关的要素，即是对自动驾驶车辆的驾驶策略具有决定性作用的必要要素，缺少策略类要素的判断将影响自动驾驶车辆的安全驾驶。例如障碍物的位置和运动状态等。感知类要素是用于描述场景且与自动驾驶车辆驾驶决策无关的要素，即是对自动驾驶车辆的驾驶策略没有决定性作用的非必要要素。例如障碍物的颜色等。
示例性的，基于自动驾驶车辆的结构，自动驾驶车辆通常具有决策控制模块，用于根据场景要素信息做出驾驶控制指令。相应的，策略类要素是决策控制模块的必要输入信息，感知类要素是决策控制模块的非必要输入信息。策略类要素可以包括道路结构、车道类型、障碍物位置、障碍物类型即人或车等、障碍物运动状态、本车位置、本车驾驶行为、本车驾驶参数等信息。感知类要素可以包括幼儿、少儿、青年、中年或老年等各年龄段的行人，黑色、红色、白色等行人着装颜色和车辆颜色，站立、坐、蹲、趴、躺等行人姿态，树荫、建筑物投影等阴影。由此可知，针对于行人这一类障碍物，自动驾驶车辆做出驾驶控制指令时，只需获知行人这一场景要素即可，而对于行人的穿着颜色和姿态并不影响自动驾驶车辆的驾驶行为。
具体的，本实施例可以通过车辆、图像、视觉、网络等手段，尽可能地大量采集场景要素，并将各类场景要素转换为文本信息。从而识别场景要素的语义，基于语义理解对场景要素进行分类。例如，假设某一场景要素为着装红色，则可以基于预先规定的类别分类规则，依据穿着颜色与限定对象即行人之间的关联关系，将该场景要素的场景类别确定为感知类。
S120、从场景类别确定的场景要素中，选择策略类要素。
在本申请具体实施例中，通过对场景要素的分类，得到感知类要素和策略类要素。在此仅选择策略类要素进行测试场景库的构建，而剔除感知类要素。
S130、根据策略类要素构建测试场景库。
在本申请具体实施例中，测试场景库是指用于对自动驾驶车辆进行测试的材料库，测试场景库中包括基于场景要素构建的一个个测试场景。通常将至少一个维度的场景要素进行任意组合，以完成一个个测试场景的构建。本实施例中由于将感知类要素剔除，所以在基于策略类要素构建测试场景的过程中，解除了感知类要素与策略类要素之间的耦合关系，大幅度地减少了感知类要素这一对自动驾驶无实质影响的要素对于场景搭建的无效重复组合。
示例性的，假设策略类要素包括直行道和行人，感知类要素包括着装红色和着装黑色。则在保留感知类要素的情况下，会得到场景1为直行道的行人，场景2为直行道上着装红色的行人，以及场景3为直行道上着装黑色的行人。其中可以看出，自动驾驶在行驶的过程中只需识别场景1即可，而场景2和场景3在实质上与场景1完全相同，并不会影响自动驾驶车辆驾驶指令的下发。可以理解的是，现实场景中感知类要素数量庞大，不仅局限于上述示例中，因此基于所有要素构建的场景数量必然成指数倍激增，降低了场景的有效性。而在剔除感知类要素的情况下，仅会得到场景1为直行道的行人这一场景，将场景要素及其所构建的场景均完全关注于仅对自动驾驶有实质影响的要素上，大幅度减少场景数量，提高场景的有效性。
具体的，在基于策略类要素构建测试场景库的过程中，还可以对策略类要素进行进一步分层处理，例如结构层、障碍物层和本车行为层，便于采用至少一个分层下的策略类要素进行任意组合，构建各种测试场景，搭建测试场景库。
S140、对测试场景库进行验证，并根据验证结果更新测试场景库。
在本申请具体实施例中，可以基于计算机对测试场景库中的测试场景进行仿真，以验证测试场景的有效性。例如基于各要素构建的测试场景是否合理，是否符合真实场景。对于仿真验证有效的测试场景，还可以进一步基于自动驾驶车辆进行实车测试，以验证车辆是否具备测试场景所关联的自动驾驶功能，验证测试场景下的参数是否正确，以及验证测试场景库中的测试场景是否齐全。其中，对于验证自动驾驶车辆具有的自动驾驶功能，可以进一步添加到整车测试中；对于验证测试场景下参数有误差的，可以进一步进行场景要素修正；对于测试场景库中不具备的测试场景，可以将相应的场景要素及其构建的测试场景添加到测试场景库中。从而基于测试场景库的验证，来逐步完善测试场景库。
本实施例的技术方案，通过预先将场景要素划分为感知类和策略类，基于场景要素的分类结果，选择策略类要素来构建测试场景库，并基于对测试场景库的验证来更新测试场景库。因为采用了场景要素基于感知类和策略类分类的技术手段，克服了场景要素中对自动驾驶无实质影响的感知类要素激增测试场景数量的技术问题，仅筛选对自动驾驶有实质影响的策略类要素来构建测试场景库，从而将测试场景库关注于真正需要测试的场景，大幅度减少测试场景数量，避免了无效场景和重复场景的构建，提高测试场景的有效性及其后续测试的准确性。
第二实施例
图2是根据本申请第二实施例的一种测试场景库构建方法的流程图，本实施例在上述第一实施例的基础上，进一步对测试场景库的构建进行解释说明，能够通过对策略类要素进行分层，基于各分层之间要素的任意组合构建测试场景。如图2所示，该方法具体包括如下：
S210、对采集到的场景要素进行语义理解；根据场景要素的语义理解进行分类，确定场景要素的场景类别。
在本申请具体实施例中，可以通过车辆、图像、视觉、网络等手段，尽可能地大量采集场景要素，并将各类场景要素转换为文本信息。例如，基于私家车或出租车等驾驶行为正常的车辆，主动将车内采集到的车辆及环境信息进行上传，采集车辆传输的场景信息；或者基于行车记录仪、鹰眼或监控等采集车辆行驶图像，基于视觉采集车辆、道路或环境等场景信息。
本实施例中，可以预先规定基于语义理解的类别分类规则，例如预先建立场景要素与限定对象之间的关联关系。从而识别场景要素的语义，基于语义理解以及预先建立的类别分类规则，对场景要素进行分类。例如，假设某一场景要素为着装红色，则可以基于预先规定的类别分类规则，依据穿着颜色与限定对象即行人之间的关联关系，将该场景要素的场景类别确定为感知类。
S220、从场景类别确定的场景要素中，选择策略类要素。
S230、对策略类要素进行分层；其中，策略类要素的分层包括结构层、障碍物层和本车行为层。
在本申请具体实施例中，可以从道路结构、障碍物和本车行为等维度对策略类要素进行分层处理，从而得到结构层、障碍物层和本车行为层。其中，结构层用于描述道路结构，可以包括直道、直钝角弯、路口、斜车位、线车位等场景要素；障碍物层用于描述道路上影响车辆驾驶的障碍物，可以包括行人、非机动车、机动车、位置、运动状态等场景要素；本车行为层用于描述本车车辆的自动驾驶行为，可以包括直行、左转或右转等行为要素，也可以包括车道左侧、车道右侧或车道中央等本车位置要素，还可以包括车速等本车驾驶参数要素。其中，道路可以为室外的道路，也可以为室内的道路，例如底下停车场、隧道等。
示例性的，在测试场景库的构建过程中，为了提高测试场景库的测试效率，还可以进一步针对自动驾驶的各种应用场景进行策略类要素的划分，以便在各自应用场景下使用对应的测试场景库进行测试，避免无关场景的无效测试。从而在各应用场景下进行策略类要素的分层和场景的构建。图3为应用场景下策略类要素分层的示例图。如图3所示，以AVP(Auto Valet Parking，自动代客泊车)应用场景下的巡航应用场景和泊车应用场景为例，巡航可以是指自动驾驶车辆在用户的指示下，从驶出停车区域寻找用户的过程；泊车可以是指自动驾驶车辆在用户的指示下前往停车区域停车的过程。将应用场景下的感知类要素确定为环境层，将策略类要素分层为结构层、障碍物层和本车行为层。根据图3可知，基于巡航应用场景和泊车应用场景的不同，结构层中的场景要素也存在不同，相应的本车行为层中的场景要素也存在不同。
S240、对至少一个分层下的策略类要素进行任意组合，构建测试场景；根据测试场景，构建测试场景库。
在本申请具体实施例中，从至少一个分层中，一共选择至少两个策略类要素进行任意组合，构建一个个测试场景，至少一个测试场景共同构成测试场景库。具体的，可以对同一分层下场景要素进行组合，也可以对不同分层下的场景要素进行交叉组合。相应的，组合的场景要素越多，则组合构建的测试场景越复杂。其中，场景要素的组合方式可以是纵向的叠加，也可以是横向拼接。本实施例不对场景要素的组合方式进行限定，任何能够将场景要素组合为合理的测试场景的组合方式都可以应用于本实施例中。例如图3中，结构层中的直道与障碍物层中的行人，构成场景为直道的行人；再例如，结构层中的直道与障碍物层中静止的行人，构成场景为直道中静止的行人；结构层中的直道与U型弯，构成场景为由直道驶入U型弯；结构层中的直钝角弯与本车行为层中的右转，构成场景为直钝角弯处右转。
S250、对测试场景库中的目标测试场景进行场景仿真，验证目标测试场景的有效性。
在本申请具体实施例中，目标测试场景是指测试场景库中当前正在验证的测试场景。可以基于计算机对目标测试场景进行仿真，以验证目标测试场景的有效性。其中，可以验证基于各要素构建的目标测试场景是否合理，验证目标测试场景是否符合真实场景，例如某一障碍物不可能出现在目标测试场景中；还可以验证目标测试场景中各处理节点的算法逻辑是否生效，例如对于安全距离要素的具体数值，当仿真车辆的安全距离大于该数值时的本车行为是否生效，小于该数值时的本车行为是否生效等。
S260、基于验证有效的目标测试场景对自动驾驶车辆进行实车测试，并根据测试结果更新测试场景库。
在本申请具体实施例中，实车测试是指采用真实的自动驾驶车辆进行实体测试。对于仿真验证有效的测试场景，还可以进一步基于自动驾驶车辆进行实车测试，以验证车辆是否具备测试场景所关联的自动驾驶功能，验证测试场景下的参数是否正确，以及验证测试场景库中的测试场景是否齐全。其中，对于验证自动驾驶车辆具有的自动驾驶功能，可以进一步添加到整车测试中。采用测试场景库中存在的测试场景进行实车封闭测试，对于验证测试场景下参数有误差的，可以进一步进行场景要素修正。采用道路实际场景进行实车开放测试，对于测试场景库中不具备的测试场景，可以将相应的场景要素及其构建的测试场景添加到测试场景库中。从而基于测试场景库的验证，来逐步完善测试场景库。
本实施例的技术方案，通过预先将场景要素划分为感知类和策略类，基于采集到的场景要素的语义理解进行分类，选择策略类要素进行分层和任意组合，构建测试场景和测试场景库，并基于对测试场景库的仿真和实车测试的测试结果来更新测试场景库。通过预先将场景要素划分为感知类和策略类，去除了场景要素中对自动驾驶无实质影响的感知类要素，仅筛选对自动驾驶有实质影响的策略类要素来构建测试场景库，解除了感知类要素和策略类要素支间的耦合性，从而将测试场景库关注于真正需要测试的场景，大幅度减少测试场景数量，避免了无效场景和重复场景的构建，提高测试场景的有效性及其后续测试的准确性。通过测试场景库的仿真、验证和测试，对测试场景库进行场景要素和场景实现不断完善。
第三实施例
图4是根据本申请第三实施例的一种测试场景库构建方法的流程图，本实施例在上述第一实施例的基础上，进一步对测试场景库的验证进行解释说明，能够基于测试场景库的验证结构更新测试场景库。如图4所示，该方法具体包括如下：
S410、确定场景要素的场景类别；其中，场景类别为感知类或策略类。
S420、从场景类别确定的场景要素中，选择策略类要素。
S430、根据策略类要素构建测试场景库。
S440、对测试场景库中的目标测试场景进行场景仿真，验证目标测试场景的有效性。
S450、基于目标测试场景对自动驾驶车辆进行实车封闭测试，根据实车封闭测试结果对测试场景库中的场景要素进行修正。
在本申请具体实施例中，实车封闭测试是指基于测试场景库中已有的测试场景，采用真实的自动驾驶车辆进行实体测试，即实车封闭测试实现对测试场景库内的测试场景进行的实车测试，以便对测试场景库中构成测试场景的场景要素进行修正。
可选的，根据目标测试场景对自动驾驶车辆进行实车封闭测试，采集目标测试场景下场景要素的实车驾驶参数；将场景要素的实车驾驶参数与标准驾驶参数进行比对，确定实车驾驶参数与标准驾驶参数之间的误差；根据实车驾驶参数与标准驾驶参数之间的误差，对场景要素的标准驾驶参数进行修正。
本实施例中，基于场景要素的不同，场景要素可能包含具体的参数值等指标，例如跟车距离关联有具体的距离数值。本实施例中将测试场景库中构建测试场景的场景要素关联的理论参数值等指标，确定为标准驾驶参数。将实车测试时，根据自动驾驶车辆的感知得到场景要素下的实际车辆参数，确定为实车驾驶参数。从而通过在目标测试场景下的实车封闭测试，将同一场景要素下，测试得到的实车驾驶参数和标准驾驶参数进行比较，基于预设的误差范围，若两者之间的误差超过误差范围，则依据实际误差值对场景要素的标注驾驶参数进行修正。
示例性的，假设测试场景库中构成测试场景的测试要素之一为跟车距离，跟车距离要素关联的标准驾驶参数为10m，跟车距离误差范围为10±1m。若通过实车封闭测试得到实际的跟车距离为12m，则确定实车驾驶参数与标准驾驶参数之间的误差为2m，超过预设的误差范围，进而依据误差对标准驾驶参数进行修正，例如适当增加标准跟车距离的数值。
S460、根据道路实际场景对自动驾驶车辆进行实车开放测试，依据实车开放测试结果对测试场景库中的场景要素进行更新。
在本申请具体实施例中，实车开放测试是指基于道路实际场景，采用真实的自动驾驶车辆进行实体测试。由于道路实际场景中的场景要素错综复杂，基于道路实际场景下的实车测试结果，可以验证测试场景库中构建测试场景的场景要素是否齐全，以便对测试场景库中构成测试场景的场景要素进行更新。
可选的，根据道路实际场景对自动驾驶车辆进行实车开放测试，确定实车测试结果；若根据实车测试结果确定该道路实际场景下测试失败，则将该道路实际场景下的场景要素与测试场景库中的场景要素进行比对，确定测试场景库中不存在的候选场景要素；将候选场景要素添加到测试场景库中。
本实施例中，可以理解的是，自动驾驶车辆具备测试场景库中各测试场景对应的自动驾驶功能，基于测试场景库进行的实车测试，自动假设车辆能够实现成功的测试，只是存在数值差异而已。而基于道路实际场景，若测试结果失败，则说明测试场景库中缺乏对此类场景要素的采集和场景的构建，且该要素为策略类要素，进而导致自动驾驶车辆不具备场景相关的功能。因此若根据实车测试结果确定该道路实际场景下测试失败，则将该道路实际场景下的场景要素与测试场景库中的场景要素进行比对，确定测试场景库中不存在的候选场景要素；将候选场景要素添加到测试场景库中，以逐渐补全测试场景库中的场景要素以及基于场景要素构建的测试场景。
本实施例的技术方案，通过实车封闭测试，对测试场景库中构建测试场景的场景要素进行验证和修正；通过实车开放测试，对测试场景库中构建测试场景的场景要素进行完善。基于验证的技术手段，进一步提高了测试场景库的有效性及其后续测试的准确性。
第四实施例
图5是根据本申请第四实施例的测试场景库构建装置的结构示意图，本实施例可适用于构建用于测试自动驾驶车辆的测试场景库的情况，该装置可实现本申请任意实施例所述的测试场景库构建方法。该装置500具体包括如下：
要素分类模块510，用于确定场景要素的场景类别；其中，所述场景类别为感知类或策略类；
要素筛选模块520，用于从场景类别确定的场景要素中，选择策略类要素；
场景库构建模块530，用于根据所述策略类要素构建测试场景库；
场景库更新模块540，用于对所述测试场景库进行验证，并根据验证结果更新所述测试场景库。
可选的，所述要素分类模块510具体用于：
对采集到的场景要素进行语义理解；
根据所述场景要素的语义理解进行分类，确定所述场景要素的场景类别。
可选的，所述策略类要素是用于描述场景且与自动驾驶车辆驾驶决策相关的要素，感知类要素是用于描述场景且与自动驾驶车辆驾驶决策无关的要素。
可选的，所述场景库构建模块530具体用于：
对所述策略类要素进行分层；其中，所述策略类要素的分层包括结构层、障碍物层和本车行为层；
对至少一个分层下的策略类要素进行任意组合，构建测试场景；
根据所述测试场景，构建测试场景库。
可选的，所述场景库更新模块540具体用于：
对所述测试场景库中的目标测试场景进行场景仿真，验证所述目标测试场景的有效性；
基于验证有效的目标测试场景对自动驾驶车辆进行实车测试，并根据测试结果更新所述测试场景库。
可选的，所述场景库更新模块540具体用于：
基于所述目标测试场景对所述自动驾驶车辆进行实车封闭测试，根据实车封闭测试结果对所述测试场景库中的场景要素进行修正；
根据道路实际场景对所述自动驾驶车辆进行实车开放测试，依据实车开放测试结果对所述测试场景库中的场景要素进行更新。
可选的，所述场景库更新模块540具体用于：
根据所述目标测试场景对所述自动驾驶车辆进行实车封闭测试，采集所述目标测试场景下场景要素的实车驾驶参数；
将所述场景要素的所述实车驾驶参数与标准驾驶参数进行比对，确定所述实车驾驶参数与所述标准驾驶参数之间的误差；
根据所述实车驾驶参数与所述标准驾驶参数之间的误差，对所述场景要素的标准驾驶参数进行修正。
可选的，所述场景库更新模块540具体用于：
根据道路实际场景对所述自动驾驶车辆进行实车开放测试，确定实车测试结果；
若根据所述实车测试结果确定该道路实际场景下测试失败，则将该道路实际场景下的场景要素与所述测试场景库中的场景要素进行比对，确定所述测试场景库中不存在的候选场景要素；
将所述候选场景要素添加到所述测试场景库中。
本实施例的技术方案，通过各个功能模块之间的相互配合，实现了场景要素的采集、场景要素的分类、策略类要素的选取、测试场景的构建、测试场景库的构建、测试场景库的测试以及更新等功能。通过预先将场景要素划分为感知类和策略类，去除了场景要素中对自动驾驶无实质影响的感知类要素，仅筛选对自动驾驶有实质影响的策略类要素来构建测试场景库，解除了感知类要素与策略类要素之间的耦合性，从而将测试场景库关注于真正需要测试的场景，大幅度减少测试场景数量，避免了无效场景和重复场景的构建，提高测试场景的有效性及其后续测试的准确性。
第五实施例
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图6所示，是根据本申请实施例的测试场景库构建方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置，诸如，耦合至接口的显示设备，其上显示图形用户界面(Graphical User Interface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作，例如，作为服务器阵列、一组刀片式服务器、或者多处理器***。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的测试场景库构建方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的测试场景库构建方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的测试场景库构建方法对应的程序指令/模块，例如，附图5所示的要素分类模块510、要素筛选模块520、场景库构建模块530和场景库更新模块540。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的测试场景库构建方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据测试场景库构建方法的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至测试场景库构建方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
测试场景库构建方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与测试场景库构建方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置和触觉反馈装置等，其中，辅助照明装置例如发光二极管(LightEmitting Diode，LED)；触觉反馈装置例如，振动电机等。该显示设备可以包括但不限于，液晶显示器(Liquid Crystal Display，LCD)、LED显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用集成电路(Application Specific Integrated Circuit，ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序，也称作程序、软件、软件应用、或者代码，包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置，例如，磁盘、光盘、存储器、可编程逻辑装置(Programmable Logic Device，PLD)，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置，例如，阴极射线管(Cathode Ray Tube，CRT)或者LCD监视器；以及键盘和指向装置，例如，鼠标或者轨迹球，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈，例如，视觉反馈、听觉反馈、或者触觉反馈；并且可以用任何形式，包括声输入、语音输入或者、触觉输入，来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***，例如，数据服务器，或者实施在包括中间件部件的计算***，例如，应用服务器、或者实施在包括前端部件的计算***，例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互，或者实施在包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信，例如，通信网络，来将***的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过预先将场景要素划分为感知类和策略类，基于场景要素的分类结果，选择策略类要素来构建测试场景库，并基于对测试场景库的验证来更新测试场景库。因为采用了场景要素基于感知类和策略类分类的技术手段，克服了场景要素中对自动驾驶无实质影响的感知类要素激增测试场景数量的技术问题，仅筛选对自动驾驶有实质影响的策略类要素来构建测试场景库，解除了感知类要素与策略类要素之间的耦合性，从而将测试场景库关注于真正需要测试的场景，大幅度减少测试场景数量，避免了无效场景和重复场景的构建，提高测试场景的有效性及其后续测试的准确性。
另外，上述申请中的一个实施例具有如下优点或有益效果：通过以对自动驾驶车辆是否具有实质影响的角度触发，对场景要素进行分类，便于明确对自动驾驶车辆有无实质影响的场景要素。
另外，上述申请中的一个实施例具有如下优点或有益效果：通过筛选出策略类要素，仅采用策略类要素来构建测试场景库，基于各分层之间要素的任意组合，将测试场景库关注于真正需要测试的场景，大幅度减少测试场景数量，避免了无效场景和重复场景的构建，提高测试场景的有效性。
另外，上述申请中的一个实施例具有如下优点或有益效果：通过对测试场景库中的目标测试场景进行仿真测试和实车测试，将理论测试与实际测试相结合，能够提高场景测试的准确性以及完善测试场景库。
另外，上述申请中的一个实施例具有如下优点或有益效果：通过实车封闭测试，对测试场景库中的场景进行验证和修正，通过实车开放测试，对测试场景库进行场景要素和场景的完善。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (11)

1.一种测试场景库构建方法，其特征在于，包括：
确定场景要素的场景类别；其中，所述场景类别为感知类或策略类；
从场景类别确定的场景要素中，选择策略类要素；
根据所述策略类要素构建测试场景库；
对所述测试场景库进行验证，并根据验证结果更新所述测试场景库。
2.根据权利要求1所述的方法，其特征在于，所述确定场景要素的场景类别，包括：
对采集到的场景要素进行语义理解；
根据所述场景要素的语义理解进行分类，确定所述场景要素的场景类别。
3.根据权利要求1所述的方法，其特征在于，所述策略类要素是用于描述场景且与自动驾驶车辆驾驶决策相关的要素，感知类要素是用于描述场景且与自动驾驶车辆驾驶决策无关的要素。
4.根据权利要求1所述的方法，其特征在于，所述根据所述策略类要素构建测试场景库，包括：
对所述策略类要素进行分层；其中，所述策略类要素的分层包括结构层、障碍物层和本车行为层；
对至少一个分层下的策略类要素进行任意组合，构建测试场景；
根据所述测试场景，构建测试场景库。
5.根据权利要求1所述的方法，其特征在于，所述对所述测试场景库进行验证，更新所述测试场景库，包括：
对所述测试场景库中的目标测试场景进行场景仿真，验证所述目标测试场景的有效性；
基于验证有效的目标测试场景对自动驾驶车辆进行实车测试，并根据测试结果更新所述测试场景库。
6.根据权利要求5所述的方法，其特征在于，所述基于验证生效的目标测试场景对自动驾驶车辆进行实车测试，并根据测试结果更新所述测试场景库，包括：
基于所述目标测试场景对所述自动驾驶车辆进行实车封闭测试，根据实车封闭测试结果对所述测试场景库中的场景要素进行修正；
根据道路实际场景对所述自动驾驶车辆进行实车开放测试，依据实车开放测试结果对所述测试场景库中的场景要素进行更新。
7.根据权利要求6所述的方法，其特征在于，所述基于所述目标测试场景对自动驾驶车辆进行实车封闭测试，根据实车封闭测试结果对所述测试场景库中的场景要素进行修正，包括：
根据所述目标测试场景对所述自动驾驶车辆进行实车封闭测试，采集所述目标测试场景下场景要素的实车驾驶参数；
将所述场景要素的所述实车驾驶参数与标准驾驶参数进行比对，确定所述实车驾驶参数与所述标准驾驶参数之间的误差；
根据所述实车驾驶参数与所述标准驾驶参数之间的误差，对所述场景要素的标准驾驶参数进行修正。
8.根据权利要求6所述的方法，其特征在于，所述根据道路实际场景对所述自动驾驶车辆进行实车开放测试，依据实车开放测试结果对所述测试场景库中的场景要素进行更新，包括：
根据道路实际场景对所述自动驾驶车辆进行实车开放测试，确定实车测试结果；
若根据所述实车测试结果确定该道路实际场景下测试失败，则将该道路实际场景下的场景要素与所述测试场景库中的场景要素进行比对，确定所述测试场景库中不存在的候选场景要素；
将所述候选场景要素添加到所述测试场景库中。
9.一种测试场景库构建装置，其特征在于，包括：
要素分类模块，用于确定场景要素的场景类别；其中，所述场景类别为感知类或策略类；
要素筛选模块，用于从场景类别确定的场景要素中，选择策略类要素；
场景库构建模块，用于根据所述策略类要素构建测试场景库；
场景库更新模块，用于对所述测试场景库进行验证，并根据验证结果更新所述测试场景库。
10.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的测试场景库构建方法。
11.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的测试场景库构建方法。
CN201910867092.6A 2019-09-12 2019-09-12 测试场景库构建方法、装置、电子设备和介质 Active CN110579216B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910867092.6A CN110579216B (zh) 2019-09-12 2019-09-12 测试场景库构建方法、装置、电子设备和介质
EP20165538.8A EP3792768A1 (en) 2019-09-12 2020-03-25 Method for constructing test scenario library, electronic device and medium
US17/009,465 US20210078590A1 (en) 2019-09-12 2020-09-01 Method for constructing test scenario library, electronic device and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910867092.6A CN110579216B (zh) 2019-09-12 2019-09-12 测试场景库构建方法、装置、电子设备和介质

Publications (2)

Publication Number Publication Date
CN110579216A true CN110579216A (zh) 2019-12-17
CN110579216B CN110579216B (zh) 2022-02-18

Family

ID=68813000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910867092.6A Active CN110579216B (zh) 2019-09-12 2019-09-12 测试场景库构建方法、装置、电子设备和介质

Country Status (3)

Country Link
US (1) US20210078590A1 (zh)
EP (1) EP3792768A1 (zh)
CN (1) CN110579216B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178454A (zh) * 2020-01-03 2020-05-19 北京汽车集团有限公司 自动驾驶数据的标注方法、云端控制平台及存储介质
CN111258882A (zh) * 2020-01-03 2020-06-09 恩亿科(北京)数据科技有限公司 一种基于数字媒体***的测试数据获取方法及装置
CN111459816A (zh) * 2020-03-31 2020-07-28 北京百度网讯科技有限公司 故障注入测试方法、装置、***及存储介质
CN111505965A (zh) * 2020-06-17 2020-08-07 深圳裹动智驾科技有限公司 自动驾驶车辆仿真测试的方法、装置、计算机设备及存储介质
CN111652153A (zh) * 2020-06-04 2020-09-11 北京百度网讯科技有限公司 场景自动识别方法、装置、无人车及存储介质
CN111680362A (zh) * 2020-05-29 2020-09-18 北京百度网讯科技有限公司 一种自动驾驶仿真场景获取方法、装置、设备及存储介质
CN111967124A (zh) * 2020-06-30 2020-11-20 中汽数据有限公司 一种用于智能汽车重组场景通用扩增的生成方法
CN112130893A (zh) * 2020-09-28 2020-12-25 北京百度网讯科技有限公司 场景配置库的生成方法、安全检测方法和装置
CN112396093A (zh) * 2020-10-29 2021-02-23 中国汽车技术研究中心有限公司 驾驶场景分类方法、装置、设备及可读存储介质
CN112466123A (zh) * 2021-02-02 2021-03-09 四川紫荆花开智能网联汽车科技有限公司 智能网联汽车测试场景在封闭测试场的布置方法
CN112668194A (zh) * 2020-12-31 2021-04-16 禾多科技（北京）有限公司 基于页面的自动驾驶场景库信息展示方法、装置和设备
KR20210087889A (ko) * 2020-01-02 2021-07-13 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 자율주행시스템 테스트 방법, 장치 및 기록 매체
CN113139269A (zh) * 2020-01-20 2021-07-20 斑马智行网络(香港)有限公司 车机仿真测试方法、装置、设备和介质
CN113326639A (zh) * 2021-08-03 2021-08-31 北京赛目科技有限公司 一种自动驾驶测试场景的确定方法、装置及电子设备
CN113326210A (zh) * 2021-08-03 2021-08-31 北京赛目科技有限公司 一种自动驾驶测试场景的确定方法及装置
KR20210117125A (ko) * 2020-03-18 2021-09-28 바이두 유에스에이 엘엘씨 시나리오 기반의 자율 주행 차량 제어
CN113589798A (zh) * 2021-08-12 2021-11-02 上海裹动科技有限公司 自动测试行为的生成方法及服务器
CN113640014A (zh) * 2021-08-13 2021-11-12 北京赛目科技有限公司 自动驾驶车辆测试场景的构建方法、装置及可读存储介质
CN113867367A (zh) * 2021-11-30 2021-12-31 腾讯科技（深圳）有限公司 测试场景的处理方法、装置及计算机程序产品
CN114089773A (zh) * 2022-01-11 2022-02-25 深圳佑驾创新科技有限公司 自动驾驶车辆的测试方法、装置、设备及存储介质
CN115114778A (zh) * 2022-06-24 2022-09-27 合众新能源汽车有限公司 生成仿真测试场景的方法及装置
CN115114729A (zh) * 2022-06-21 2022-09-27 重庆长安汽车股份有限公司 一种驾驶辅助***用户案例的设计方法及存储介质
CN115524996A (zh) * 2022-09-13 2022-12-27 工业和信息化部装备工业发展中心 模拟仿真场景库的边缘场景补充方法及装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032261B (zh) * 2021-03-23 2022-09-30 北京三快在线科技有限公司 一种仿真测试的方法及装置
CN113408141B (zh) * 2021-07-02 2024-04-26 阿波罗智联(北京)科技有限公司 一种自动驾驶测试方法、装置及电子设备
CN113602285B (zh) * 2021-08-05 2022-08-26 北京赛目科技有限公司 一种车辆自动驾驶的控制方法、装置、设备及介质
CN113806862B (zh) * 2021-09-07 2022-08-30 北京三快在线科技有限公司 无人车仿真方法、装置、存储介质及电子设备
CN113886958A (zh) * 2021-09-30 2022-01-04 重庆长安汽车股份有限公司 一种驾驶***仿真测试场景生成方法、***及计算机可读存储介质
CN113918475B (zh) * 2021-12-15 2022-04-08 腾讯科技（深圳）有限公司 测试处理方法、装置、计算机设备及存储介质
CN114459503A (zh) * 2021-12-28 2022-05-10 武汉中海庭数据技术有限公司 一种用于智能驾驶的定位***有效性实车评估方法及***
CN114415628A (zh) * 2021-12-28 2022-04-29 阿波罗智联(北京)科技有限公司 自动驾驶测试方法及装置、电子设备和存储介质
CN114494439B (zh) * 2022-01-25 2023-08-15 襄阳达安汽车检测中心有限公司 Hil仿真测试中摄像头位姿校准方法、装置、设备及介质
EP4300316A1 (de) * 2022-07-01 2024-01-03 dSPACE GmbH Computerimplementiertes verfahren und system zum erstellen einer szenarien-bibliothek
CN115830255B (zh) * 2022-11-28 2023-11-21 北京百度网讯科技有限公司 一种仿真场景生成方法、装置、电子设备和存储介质
CN116401111B (zh) * 2023-05-26 2023-09-05 中国第一汽车股份有限公司 脑机接口的功能检测方法、装置、电子设备及存储介质
CN116358902B (zh) * 2023-06-02 2023-08-22 中国第一汽车股份有限公司 一种车辆功能的测试方法、装置、电子设备及存储介质
CN117669364A (zh) * 2023-11-22 2024-03-08 中汽研汽车检验中心(广州)有限公司 车道保持辅助***测试场景的提取方法、服务器及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105954040A (zh) * 2016-04-22 2016-09-21 百度在线网络技术（北京）有限公司 应用于无人驾驶汽车的测试方法和装置
CN106096192A (zh) * 2016-06-27 2016-11-09 百度在线网络技术（北京）有限公司 一种无人驾驶车辆的测试场景的构建方法和装置
CN107609502A (zh) * 2017-09-05 2018-01-19 百度在线网络技术（北京）有限公司 用于控制无人驾驶车辆的方法和装置
CN108137015A (zh) * 2016-09-28 2018-06-08 百度（美国）有限责任公司 用于自动驾驶车辆的侧滑补偿控制方法
CN109032103A (zh) * 2017-06-09 2018-12-18 百度在线网络技术（北京）有限公司 无人驾驶车辆的测试方法、装置、设备及存储介质
CN109085764A (zh) * 2018-07-24 2018-12-25 百度在线网络技术（北京）有限公司 无人驾驶仿真场景的创建方法及装置
CN109189781A (zh) * 2018-07-31 2019-01-11 华为技术有限公司 一种车联网知识库表示方法，装置及***
US20190034730A1 (en) * 2016-03-15 2019-01-31 Solfice Research, Inc. Systems and methods for providing vehicle cognition
CN109446371A (zh) * 2018-11-09 2019-03-08 苏州清研精准汽车科技有限公司 一种智能汽车仿真测试场景库生成方法及测试***和方法
CN109703552A (zh) * 2018-12-28 2019-05-03 百度在线网络技术（北京）有限公司 自主泊车的方法、装置和设备、计算机可读存储介质
US20190220014A1 (en) * 2018-01-12 2019-07-18 Uber Technologies, Inc. Systems and Methods for Streaming Processing for Autonomous Vehicles

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11275673B1 (en) * 2019-06-24 2022-03-15 Zoox, Inc. Simulated LiDAR data

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190034730A1 (en) * 2016-03-15 2019-01-31 Solfice Research, Inc. Systems and methods for providing vehicle cognition
CN105954040A (zh) * 2016-04-22 2016-09-21 百度在线网络技术（北京）有限公司 应用于无人驾驶汽车的测试方法和装置
CN106096192A (zh) * 2016-06-27 2016-11-09 百度在线网络技术（北京）有限公司 一种无人驾驶车辆的测试场景的构建方法和装置
CN108137015A (zh) * 2016-09-28 2018-06-08 百度（美国）有限责任公司 用于自动驾驶车辆的侧滑补偿控制方法
CN109032103A (zh) * 2017-06-09 2018-12-18 百度在线网络技术（北京）有限公司 无人驾驶车辆的测试方法、装置、设备及存储介质
CN107609502A (zh) * 2017-09-05 2018-01-19 百度在线网络技术（北京）有限公司 用于控制无人驾驶车辆的方法和装置
US20190220014A1 (en) * 2018-01-12 2019-07-18 Uber Technologies, Inc. Systems and Methods for Streaming Processing for Autonomous Vehicles
CN109085764A (zh) * 2018-07-24 2018-12-25 百度在线网络技术（北京）有限公司 无人驾驶仿真场景的创建方法及装置
CN109189781A (zh) * 2018-07-31 2019-01-11 华为技术有限公司 一种车联网知识库表示方法，装置及***
CN109446371A (zh) * 2018-11-09 2019-03-08 苏州清研精准汽车科技有限公司 一种智能汽车仿真测试场景库生成方法及测试***和方法
CN109703552A (zh) * 2018-12-28 2019-05-03 百度在线网络技术（北京）有限公司 自主泊车的方法、装置和设备、计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HALA ELROFAI 等: "SCENARIO-BASED SAFETY VALIDATION OF CONNECTED AND AUTOMATED DRIVING", 《TNO REPORTS》 *
JOEL PEREIRA 等: "Test and Evaluation of Connected and Autonomous Vehicles in Real-world Scenarios", 《2019 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV)》 *
陈文华: "全自动无人驾驶模式下***功能与场景分析", 《通讯世界》 *

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210087889A (ko) * 2020-01-02 2021-07-13 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 자율주행시스템 테스트 방법, 장치 및 기록 매체
US11556128B2 (en) 2020-01-02 2023-01-17 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Method, electronic device and storage medium for testing autonomous driving system
KR102487336B1 (ko) * 2020-01-02 2023-01-10 아폴로 인텔리전트 드라이빙 테크놀로지(베이징) 컴퍼니 리미티드 자율주행시스템 테스트 방법, 장치 및 기록 매체
CN111258882B (zh) * 2020-01-03 2023-08-25 恩亿科(北京)数据科技有限公司 一种基于数字媒体***的测试数据获取方法及装置
CN111178454A (zh) * 2020-01-03 2020-05-19 北京汽车集团有限公司 自动驾驶数据的标注方法、云端控制平台及存储介质
CN111258882A (zh) * 2020-01-03 2020-06-09 恩亿科(北京)数据科技有限公司 一种基于数字媒体***的测试数据获取方法及装置
CN113139269A (zh) * 2020-01-20 2021-07-20 斑马智行网络(香港)有限公司 车机仿真测试方法、装置、设备和介质
KR20210117125A (ko) * 2020-03-18 2021-09-28 바이두 유에스에이 엘엘씨 시나리오 기반의 자율 주행 차량 제어
US11740628B2 (en) 2020-03-18 2023-08-29 Baidu Usa Llc Scenario based control of autonomous driving vehicle
KR102488526B1 (ko) 2020-03-18 2023-01-12 바이두 유에스에이 엘엘씨 시나리오 기반의 자율 주행 차량 제어
CN111459816A (zh) * 2020-03-31 2020-07-28 北京百度网讯科技有限公司 故障注入测试方法、装置、***及存储介质
CN111459816B (zh) * 2020-03-31 2023-11-14 北京百度网讯科技有限公司 故障注入测试方法、装置、***及存储介质
CN111680362A (zh) * 2020-05-29 2020-09-18 北京百度网讯科技有限公司 一种自动驾驶仿真场景获取方法、装置、设备及存储介质
CN111680362B (zh) * 2020-05-29 2023-08-11 北京百度网讯科技有限公司 一种自动驾驶仿真场景获取方法、装置、设备及存储介质
CN111652153B (zh) * 2020-06-04 2023-12-22 北京百度网讯科技有限公司 场景自动识别方法、装置、无人车及存储介质
CN111652153A (zh) * 2020-06-04 2020-09-11 北京百度网讯科技有限公司 场景自动识别方法、装置、无人车及存储介质
CN111505965A (zh) * 2020-06-17 2020-08-07 深圳裹动智驾科技有限公司 自动驾驶车辆仿真测试的方法、装置、计算机设备及存储介质
CN111967124A (zh) * 2020-06-30 2020-11-20 中汽数据有限公司 一种用于智能汽车重组场景通用扩增的生成方法
CN112130893B (zh) * 2020-09-28 2023-06-20 阿波罗智联(北京)科技有限公司 场景配置库的生成方法、安全检测方法和装置
CN112130893A (zh) * 2020-09-28 2020-12-25 北京百度网讯科技有限公司 场景配置库的生成方法、安全检测方法和装置
CN112396093A (zh) * 2020-10-29 2021-02-23 中国汽车技术研究中心有限公司 驾驶场景分类方法、装置、设备及可读存储介质
CN112396093B (zh) * 2020-10-29 2022-10-14 中国汽车技术研究中心有限公司 驾驶场景分类方法、装置、设备及可读存储介质
CN112668194B (zh) * 2020-12-31 2021-10-22 禾多科技（北京）有限公司 基于页面的自动驾驶场景库信息展示方法、装置和设备
CN112668194A (zh) * 2020-12-31 2021-04-16 禾多科技（北京）有限公司 基于页面的自动驾驶场景库信息展示方法、装置和设备
CN112466123A (zh) * 2021-02-02 2021-03-09 四川紫荆花开智能网联汽车科技有限公司 智能网联汽车测试场景在封闭测试场的布置方法
CN112466123B (zh) * 2021-02-02 2021-04-23 四川紫荆花开智能网联汽车科技有限公司 智能网联汽车测试场景在封闭测试场的布置方法
CN113326639A (zh) * 2021-08-03 2021-08-31 北京赛目科技有限公司 一种自动驾驶测试场景的确定方法、装置及电子设备
CN113326210A (zh) * 2021-08-03 2021-08-31 北京赛目科技有限公司 一种自动驾驶测试场景的确定方法及装置
CN113326210B (zh) * 2021-08-03 2021-10-12 北京赛目科技有限公司 一种自动驾驶测试场景的确定方法及装置
CN113589798A (zh) * 2021-08-12 2021-11-02 上海裹动科技有限公司 自动测试行为的生成方法及服务器
CN113640014A (zh) * 2021-08-13 2021-11-12 北京赛目科技有限公司 自动驾驶车辆测试场景的构建方法、装置及可读存储介质
CN113867367A (zh) * 2021-11-30 2021-12-31 腾讯科技（深圳）有限公司 测试场景的处理方法、装置及计算机程序产品
CN113867367B (zh) * 2021-11-30 2022-02-22 腾讯科技（深圳）有限公司 测试场景的处理方法、装置及计算机程序产品
CN114089773A (zh) * 2022-01-11 2022-02-25 深圳佑驾创新科技有限公司 自动驾驶车辆的测试方法、装置、设备及存储介质
CN115114729A (zh) * 2022-06-21 2022-09-27 重庆长安汽车股份有限公司 一种驾驶辅助***用户案例的设计方法及存储介质
CN115114729B (zh) * 2022-06-21 2024-06-04 重庆长安汽车股份有限公司 一种驾驶辅助***用户案例的设计方法及存储介质
CN115114778A (zh) * 2022-06-24 2022-09-27 合众新能源汽车有限公司 生成仿真测试场景的方法及装置
CN115524996A (zh) * 2022-09-13 2022-12-27 工业和信息化部装备工业发展中心 模拟仿真场景库的边缘场景补充方法及装置

Also Published As

Publication number Publication date
US20210078590A1 (en) 2021-03-18
EP3792768A1 (en) 2021-03-17
CN110579216B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN110579216B (zh) 测试场景库构建方法、装置、电子设备和介质
Mallozzi et al. Autonomous vehicles: state of the art, future trends, and challenges
EP3855351A1 (en) Locating element detection method, apparatus, device and medium
Ishihara et al. Multi-task learning with attention for end-to-end autonomous driving
US11132211B1 (en) Neural finite state machines
US20210306437A1 (en) Transmitting remotely valued data in an autonomous vehicle
CN111680362B (zh) 一种自动驾驶仿真场景获取方法、装置、设备及存储介质
US11741690B2 (en) Method for generating parking model, electronic device, and storage medium
CN111694287A (zh) 无人驾驶仿真场景中的障碍物模拟方法和装置
CN110781949B (zh) 基于异步式串行多传感器的航迹数据融合方法及存储介质
CN111291650A (zh) 自动泊车辅助的方法及装置
Xu et al. Safebench: A benchmarking platform for safety evaluation of autonomous vehicles
CN112581533B (zh) 定位方法、装置、电子设备及存储介质
CN111666714B (zh) 自动驾驶仿真场景识别的方法及装置
CN111627241A (zh) 用于生成车辆排队信息的方法和装置
Zhao et al. Cadre: A cascade deep reinforcement learning framework for vision-based autonomous urban driving
CN113569378A (zh) 仿真场景的生成方法、装置、电子设备以及存储介质
JP2024508255A (ja) 軌道プランナのパフォーマンス・テスト
CN111652153A (zh) 场景自动识别方法、装置、无人车及存储介质
CN113129596A (zh) 行驶数据处理方法、装置、设备、存储介质及程序产品
CN112859829B (zh) 一种车辆控制方法、装置、电子设备和介质
Borg et al. Ergo, SMIRK is safe: a safety case for a machine learning component in a pedestrian automatic emergency brake system
CN111540010A (zh) 一种道路监测的方法、装置、电子设备及存储介质
Erz et al. Towards an ontology that reconciles the operational design domain, scenario-based testing, and automated vehicle architectures
CN111597707A (zh) 仿真场景的处理方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211021

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Applicant after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Applicant before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant