CN111841012A - 一种自动驾驶模拟仿真***及其测试资源库建设方法 - Google Patents

一种自动驾驶模拟仿真***及其测试资源库建设方法 Download PDF

Info

Publication number
CN111841012A
CN111841012A CN202010581488.7A CN202010581488A CN111841012A CN 111841012 A CN111841012 A CN 111841012A CN 202010581488 A CN202010581488 A CN 202010581488A CN 111841012 A CN111841012 A CN 111841012A
Authority
CN
China
Prior art keywords
index
test
scene
traffic
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010581488.7A
Other languages
English (en)
Other versions
CN111841012B (zh
Inventor
段续庭
郑坤贤
田大新
周建山
林椿眄
王奇
姜航
赵文笙
郝威
龙科军
刘赫
拱印生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010581488.7A priority Critical patent/CN111841012B/zh
Publication of CN111841012A publication Critical patent/CN111841012A/zh
Application granted granted Critical
Publication of CN111841012B publication Critical patent/CN111841012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/803Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种自动驾驶模拟仿真***及其测试资源库建设方法。本发明所涉及的自动驾驶模拟仿真***基于游戏引擎如虚幻4引擎构建测试环境,并创新性提出动静态结合的模拟仿真测试资源库建设方法,实现高度真实动态场景仿真,最后结合国内外的自动驾驶评价的经验和L1~L3级自动驾驶测试特点构建自动驾驶***性能综合评价体系。本发明提出的动静态结合的模拟仿真测试资源库建设方法。

Description

一种自动驾驶模拟仿真***及其测试资源库建设方法
技术领域
本发明涉及交通领域,特别涉及一种自动驾驶车辆的模拟仿真***。
背景技术
自动驾驶技术作为一项***性工程,涉及的模块繁多、业务逻辑复杂,为保证整体安全性需要经常实车上路测试。然而这也正是目前自动驾驶***研发所面临的一大挑战——实车路测“道阻且长”。按照《中国自动驾驶仿真技术研究报告(2019)》中的数据:配置有一支1000辆自动驾驶测试车的车队需要花费大约50年的时间才能完成足够的里程测试。企业难以持续投入巨大资源以支持广泛实车路测,而且实际上广泛的道路测试仍难以覆盖复杂多样的交通场景,同时频繁实车路测为交通安全带来巨大潜在安全风险。比如2016年,Uber无人车就曾撞死一位突然出现在路中央的行人。因此,自动驾驶虚拟仿真***开始被各家研究机构所重视,用于前期验证算法,在实车路测前解决可能存在的技术问题,加速自动驾驶***的研发。
自动驾驶仿真测试,是指通过计算机仿真技术,建立现实静态与动态交通场景的数学模型,让自动驾驶汽车与算法在虚拟交通场景中进行驾驶测试。仿真测试相对于实车道路测试更加容易,其能够有效的降低试验成本,缩短算法开发迭代周期;同时通过仿真软件可构建定制化针对性强的交通测试场景,实现算法特异性升级迭代与加强;同时对于某些复现代价高的场景如雨雪天气下的高速公路等不需要搭建实物测试场景或者专门等待测试时机如雨雪天气,模拟仿真极大降低了测试场景的实现难度、扩大了测试的广度。目前,无人驾驶高效的测试流程是,先在计算机软件上通过仿真测试技术来升级算法,确保它在虚拟环境中可以运行成功,再进行封闭场地测试,最后再进行开放道路测试。
目前自动驾驶仿真模拟技术正在被越来越多的无人车研发企业和科研机构引入开发流程,如Waymo无人车开展公共道路测试前将仿真测试作为必做项目;百度将其仿真平台列为Apollo主要变现途径,通过给Apollo合作伙伴提供仿真云服务来创收;Roadstar.ai、Pony.ai等诸多自动驾驶初创公司都在自主研发模拟器。《中国自动驾驶仿真技术研究报告(2019)》指出未来5年仿真软件与测试的国际市场总规模约在百亿美元左右,并且满足自动驾驶算法开发与整车***集成的商业化仿真软件必将成为研发链条上的底层基础工具之一。我国也将发展自动驾驶模拟仿真技术摆到了战略高度。在2020年初,工业和信息化部等11部委联合盖章发布的《智能汽车创新发展战略》明确要求重点研发虚拟仿真、软硬件结合仿真、实车道路测试等技术和验证工具,以及多层级测试评价***。
高可信自动驾驶模拟仿真测试的前提是合理且多样化的测试场景,届时仿真测试才能充分挖掘自动驾驶***的性能潜力并暴露算法漏洞。现有国内外模拟仿真测试场景设计基本集中于复现重要自然驾驶场景,这种方法虽然可以在一定程度上测试自动驾驶***的安全性,但是却忽略了其他危险边界情形。更重要的是,目前测试场景的设计并不能完善解决场景中的动态元素仿真,如机动车仿真、行人与非机动车仿真这些涉及到其他交通参与者的仿真。目前已有的动态仿真场景模拟***诸如Waymo的仿真世界Carcraft、开源仿真测试环境CARLA等都存在仿真测试中模拟交通参与者缺乏与被试车互动、对真实场景的泛化方法缺乏深入研究等问题。在仿真测试过程中,仿真环境中的车辆按实测或者模拟轨迹行驶,缺乏与被试车的互动或者产生的互动是不合理“不真实”的。而模拟动态场景对真实场景的泛化存在真实性损失的问题,例如,对密集交通流案例进行泛化,更改一条车辆轨迹后,实际会对周边多条轨迹产生影响并扩散开来,单车的行驶扰动有时会造成整个交通流的失稳,而简单的泛化扩样方法可能难以重现这类现象。
因此本发明创新性提出动静态结合的模拟仿真测试资源库建设方法,实现高度真实动态场景仿真,首先以被试车与周围所有干扰车辆的相对位置与运动关系的排列组合所形成的复杂场景群为基础,利用组合推理方法和场景筛选规则,构建具有测试价值的各个层级及功能的典型静态测试场景库。在典型静态测试场景库的基础上,研发基于网页、安卓等多平台的线上引流***,通过线上游戏玩家的介入,接管被试车周围干扰车辆的驾驶权,通过真人用户的参与实现真实的动态场景模拟。更进一步提取针对性测试场景下的真人驾驶数据,基于深度学***台可以记录下被试车从起点出发之后所有的细微表现,并从车辆智能性、驾驶安全性、驾驶舒适性和交通协调性这四方面对算法的性能做出评价。本发明很好地解决了现在动态场景模拟过程中交通参与者行为失真的问题,将极大提高仿真***的测试可信度,助力我国自动驾驶技术发展。
发明内容
本发明所要解决的技术问题是提供一种自动驾驶模拟仿真***,以解决现有模拟仿真***动态场景模拟过程中交通参与者行为失真的问题,提高仿真***的测试可信度。
本发明解决其技术问题所采用的技术方案是:设计一种自动驾驶模拟仿真***,基于游戏引擎如虚幻4引擎构建测试环境,并提出动静态结合的模拟仿真测试资源库建设方法,实现高度真实动态场景仿真,最后结合国内外的自动驾驶评价的经验和L1~L3级自动驾驶测试特点构建自动驾驶***性能综合评价体系。本发明提出的动静态结合的模拟仿真测试资源库建设方法,首先以被试车与周围所有干扰车辆的相对位置与运动关系的排列组合所形成的复杂场景群为基础,基于组合推理方法和场景筛选规则,构建具有测试价值的各个层级及功能的典型静态测试场景库。在典型静态测试场景库的基础上,研发基于网页、安卓等多平台的线上引流***,通过线上游戏玩家的介入,接管被试车周围干扰车辆的驾驶权,通过真人用户的参与实现真实的动态场景模拟。更进一步提取针对性测试场景下的真人驾驶数据,基于深度学***台并开始测试后,平台可以记录下被试车从起点出发之后所有的细微表现,并从车辆智能性、驾驶安全性、驾驶舒适性和交通协调性这四方面对算法的性能做出评价。本发明以动静态结合的模拟仿真测试资源库建设方法为核心***地设计了一种高度真实的自动驾驶模拟仿真***,很好地解决了现在动态场景模拟过程中交通参与者行为失真的问题,将极大提高仿真***的测试可信度。
仿真技术的基本原理是在虚拟场景内模拟生成真实物理世界中的障碍物、行人、车辆、天气等,并将其作为传感器感知对象以测试感知算法,模拟车辆行人等交通参与者的移动轨迹及相关场景布置以测试决策规划算法,模拟车辆动力学特性以测试控制算法。自动驾驶仿真模拟技术应包括构建测试环境、构建测试场景库、动态场景仿真和建立自动驾驶***评价体系。
构建的测试环境通常应包括道路(车道线与路面材质等)、交通元素(交通灯与交通标志牌)、交通参与者(机动车、非机动车与行人)、道路周边元素(包括路灯与建筑物)等。本发明基于游戏引擎构建测试环境,可以极高的精度模拟道路交通场景及虚拟城市场景,并借助游戏引擎还原出折射、反射等光照条件,以及风、霜、雨、雪等天气条件的变化,使得场景和传感器仿真的测试条件接近真实,进而保证感知算法测试效果的真实性。另外还可直接使用游戏引擎内置的物理引擎,模拟车辆打滑、碰撞等效果,为控制算法的测试提供支持。
测试场景是一定时间和空间范围内环境与驾驶行为的综合反映,描述了道路、交通设施、气象条件、交通参与者等外部状态以及被试车驾驶任务和状态等信息。多个场景的有机集合,就是“场景库”。自动驾驶测试场景库即由满足某种测试需求的一系列自动驾驶测试场景构成的数据库。本发明以被试车与周围所有干扰车辆的相对位置与运动关系的排列组合所形成的复杂场景群为基础,基于组合推理方法和场景筛选规则,构建具有测试价值的各个层级及功能的典型静态测试场景库。组合推理方法的具体步骤如下:
确定复杂场景群:针对指定的道路交通环境,分析被试车和周围N个交通参与者可能的相对位置和运动方向的组合,以涵盖驾驶任务最复杂的组合或者可能引起交通事故的组合为前提条件,确定被试车和N个交通参与者的相对位置范围;
筛选测试场景:设计场景筛选规则,从复杂场景群中筛选出有测试价值的场景组成正常行驶工况和预碰撞工况等场景群;
确定参数:在筛选后的测试场景群中添加必要的约束条件,并覆盖全部的组合场景群。
鉴于贪婪组合得到的复杂场景群里的测试场景并非都是有效的,其中不可实现或者效用重复的场景会徒增测试的成本,因此本发明还需遵循如下的场景筛选规则剔除复杂场景群中的无用场景:
脱离实际的场景,删除;
相似场景中对被试车运动影响较小的场景,删除;
对被试车运动影响相同的场景,只保留1个场景。
动态场景主要指仿真中具备动态特性的管控、车流等部分,是仿真测试场景的关键构件,主要包括:交通管理控制仿真,机动车/非机动车/行人运动规划与反馈仿真等。目前已有的动态仿真场景模拟***大多存在仿真测试过程中模拟交通参与者缺乏与被试车互动、对真实场景的泛化方法缺乏深入研究等问题。本发明设计线上引流***,研发基于网页、安卓等多平台的在线游戏客户端,面向社会、科研院所、政府部门有偿开展测试,通过真人用户的参与实现真实交通互动。更进一步通过后台采集真人驾驶数据,基于深度神经网络等人工智能算法提取泛化行为模型组成动态交通模型库,测试期间模型库调用对应场景下的智能交通体模型接管对应干扰车和行人,通过与真实交通参与者的互动特异性修正各自行为模式以实现高度拟人。动态交通模型库与静态测试场景库共同构成本发明的核心,即动静态结合的模拟仿真测试资源库,为典型测试场景下的高真实度仿真模拟提供支持。
测试期间自动驾驶模拟仿真平台可以记录下被试车从起点出发之后所有的细微表现,并据此对其算法性能做出评价。本发明所构建的自动驾驶***性能综合评价体系包含车辆智能性、驾驶安全性、驾驶舒适性和交通协调性这四方面,并基于多层次模糊综合评价方法得到综合性能评价值。本发明基于经验法所构建的性能指标体系如下:
车辆智能性:从感知、路径规划、控制等方面对所测自动驾驶算法进行评价,其中感知方面包括对信号灯相位、行人等对象的识别要求;路径规划方面包括对轨迹平稳,障碍规避等方面要求;控制方面是对规划结果执行的要求,如最大偏差、振荡次数及振荡周期等;
驾驶安全性:被试车在道路上行驶时对其他交通参与者是否会造成危险,类似是否在红灯时在停止线内停车,是否冲撞行人,是否发生交通事故等;
驾驶舒适性:被试车在道路上行驶期间驾驶员的驾乘体验和交互体验。测试期间,驾乘体验依据行驶过程中平台记录下的油门、刹车、转向状态,评估车辆驾乘是否平稳,转弯是否平顺;交互体验通过驾驶员在环,采用问卷的形式确定被试自动驾驶***的操作品质等交互体验;
交通协调性:被试车在道路上行驶时相对其他交通参与者的交通移动表现。测试期间,通过行驶时间、交通流量、道路资源有效利用率等指标对交通协调性进行评价。
构建性能指标体系后,本发明基于多层次模糊综合评价方法确定自动驾驶算法的总体性能:
(1)指标类型一致化处理
定性指标量化表示为极大值型指标;
定量指标(极大值型、极小值型、居中型及区间型)转换为极大值型指标;
(2)指标无量纲化处理
指标进行无量纲化处理后才能进行加权综合,采用归一化处理法:
Figure BDA0002552472850000061
xij代表第j个指标在第i次测试时的被测值。
(3)指标权重的确定
采用基于“功能驱动”原理的序关系分析法来确定各指标的权值:
在指标集{x1,x2,...,xj,...,xm}中根据自定义评价准则依次选出最重要的指标;
按表1确定评价指标xj-1与xj之间的重要程度之比rj(wj-1/wj);
计算排序好的各指标对应的权重系数wj
Figure BDA0002552472850000062
wj-1=rjwj,j=m,m-1,...,3,2 (3)
表1 rj赋值表
Figure BDA0002552472850000063
Figure BDA0002552472850000071
(4)多层次模糊综合评价
在指标体系确定的基础上,针对单因素(某一层f评价指标)xj(j=1,2,...,m,m为指标个数)进行单因素评判,得到与评价等级yk(k=1,2,...,h,h为等级个数)间的隶属度ljk,继而构成评价矩阵L:
Figure BDA0002552472850000072
基于序关系法确定权重集W=(w1,w2,...,wj,...,wm),与评价矩阵L合成得到模糊综合评价模型C:
Figure BDA0002552472850000073
由最下层开始计算,得到的结果组成上一级评价指标的评价矩阵,迭代得到总评价模型Ct
确定评价等级对应的分数集μ=(μ1,μ2,…,μh)T后计算综合得分G:
G=100Ctμ=(c1,c2,...,ch)·(μ1,μ2,...,μh)T×100 (6)
由于采用了上述的技术方案,本发明与现有技术相比,具有以下优点和积极效果:游戏引擎的支持使得模拟仿真测试环境更加逼真,车辆动力学仿真更加简便。构建动静态结合的模拟仿真测试资源库,基于组合推理方法和场景筛选规则构建具有测试价值的各个层级及功能的静态测试场景库,同时通过真人玩家的参与实现真实交通互动。更进一步通过后台采集真人驾驶数据,驱动智能交通体模型训练,构建动态交通模型库,为AI玩家驾驶行为提供支持。最后结合国内外的自动驾驶评价的经验和L1~L3级自动驾驶测试特点构建自动驾驶***性能综合评价体系,为算法测试提供全面且合理的评价。所以综合而言,本方法对于提高车辆自动驾驶模拟仿真的总体性能具有极大的意义。
附图说明
图1是动静态结合的自动驾驶模拟仿真***架构图;
图2是动静态结合的测试资源库构建示意图;
图3是自动驾驶***性能指标体系图;
图4是自动驾驶***性能指标体系图。
具体实施方式
下面结合具体实施例,进一步阐述本发明。
应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明做各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
在本发明一种动静态结合的自动驾驶模拟仿真***及其测试资源库建设方法实施例中,本发明所提动静态结合的自动驾驶模拟仿真***的框架及其测试资源库的构建分别如图1和图2所示。图1中***框架分为底层支撑、核心模块、仿真平台及评价体系共四层。底层支撑中游戏引擎如虚幻4引擎用于构建模拟仿真测试环境,TensorFlow和Torch7等机器学***台研发线上引流***。基于底层支撑,构建本发明所提出的核心模块——动静态结合的模拟仿真资源库,资源库包括静态测试场景库和动态交通模型库。在核心模块之上,开发模拟仿真服务端和基于安卓、网页等平台的多平台用户端。最后针对自动驾驶平台所记录的被试车各种测试数据,建立一套评价体系。
本实施例中对于本发明所提动静态结合的模拟仿真资源库,其构建方案具体如图2所示。首先以被试车与周围所有干扰车辆的相对位置与运动关系的排列组合所形成的复杂场景群为基础,基于组合推理方法和场景筛选规则,构建具有测试价值的各个层级及功能的典型静态测试场景库。如图3所示,本实施例以双车道直行段场景下被试车辆直行为例说明基于组合推理方法和场景筛选规则的静态测试场景库构建方法。如图3所示场景下,干扰车V1~V3的存在对于被试车T的行驶影响不大,无需考虑。因此只需要考虑干扰车V4和V5的三种运动方向(直行,左转,刹车),同时还有V4或V5不存在的情形,与被试车直行组合而成的12种测试场景,如下表所示。
表2双车道直行段场景下被试车辆直行测试场景
Figure BDA0002552472850000091
排列组合的时候就已经将无影响干扰车排除,因此考虑场景筛选规则中的第二条和第三条,发现表2中的12种测试场景都不符合筛选规则,因此全部保留。接着参考L1级自动驾驶已有测试法规如EURO-NCAP确定测试场景参数,并利用游戏引擎实现对应的测试场景,存入静态测试场景库。
接着开放基于安卓、网页等平台的多平台用户端给社会、科研院所、政府部门有偿开展测试,通过真人用户的参与实现真实交通互动。更进一步通过后台采集真人驾驶数据,基于深度神经网络等人工智能算法提取泛化行为模型组成对应场景下智能交通模型库,测试期间模型库调用对应场景下的智能交通体模型接管对应干扰车和行人,通过与真实交通参与者的互动特异性修正各自行为模式以实现高度拟人。
测试期间自动驾驶模拟仿真平台可以记录下被试车从起点出发之后所有的细微表现,并据此对其算法性能从车辆智能性、驾驶安全性、驾驶舒适性和交通协调性这四方面做出评价。本实施例建立如图4所示的自动驾驶性能评价指标体系。接着基于多层次模糊综合评价方法确定自动驾驶算法的总体性能,详细步骤如下:
(1)指标类型一致化处理
定性指标量化表示为极大值型指标;
定量指标(极大值型、极小值型、居中型及区间型)转换为极大值型指标;
(2)指标无量纲化处理
采用归一化处理法对指标进行无量纲化处理;
(3)指标权重的确定
采用基于“功能驱动”原理的序关系分析法来确定各指标的权值:
在指标集{x1,x2,...,xj,...,xm}中根据自定义评价准则依次选出最重要的指标;
按表1确定评价指标xj-1与xj之间的重要程度之比rj(wj-1/wj);
计算排序好的各指标对应的权重系数wj
(4)多层次模糊综合评价
在指标体系确定的基础上,针对单因素(某一层f评价指标)xj(j=1,2,…,m,m为指标个数)进行单因素评判,得到与评价等级yk(k=1,2,…,h,h为等级个数)间的隶属度ljk,继而构成评价矩阵L;
基于序关系法确定权重集W=(w1,w2,…,wj,…,wm),与评价矩阵L合成得到模糊综合评价模型C。由最下层开始计算,得到的结果组成上一级评价指标的评价矩阵,迭代得到总评价模型Ct
确定评价等级对应的分数集μ=(μ1,μ2,...,μh)T后计算综合得分G。
需要说明的是,本发明还可有其他多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种自动驾驶模拟仿真***及其测试资源库建设方法,其特征在于,首先基于组合推理构建静态测试场景库,接着通过线上引流***引入真人玩家进入测试***并接管被试车辆周围干扰车、行人交通参与对象实现真实的动态场景模拟,同时提取针对性测试场景下的真人驾驶数据,基于深度学习人工智能算法训练智能交通模型构建动态交通模型库,补充/替代线上引流***中的真人玩家,最后结合国内外的自动驾驶评价的经验和L1~L3级自动驾驶测试特点构建自动驾驶***性能综合评价体系,所述的模拟仿真测试资源库包括“静态测试场景库”和“动态交通模型库”,所述的自动驾驶***性能综合评价体系包含车辆智能性、驾驶安全性、驾驶舒适性和交通协调性这四方面,并基于多层次模糊综合评价方法得到综合性能评价值。
2.根据权利要求1所述的方法,其特征在于:所述的基于组合推理构建静态测试场景库的具体过程为以被试车与周围所有干扰车辆的相对位置与运动关系的排列组合所形成的复杂场景群为基础,利用组合推理方法和场景筛选规则,构建具有测试价值的各个层级及功能的典型静态测试场景库。
3.根据权利要求2所述的方法,其特征在于:所述组合推理方法具体步骤如下:
(1)确定复杂场景群:针对指定的道路交通环境,分析被试车和周围N个交通参与者可能的相对位置和运动方向的组合,以涵盖驾驶任务最复杂的组合或者可能引起交通事故的组合为前提条件,确定被试车和N个交通参与者的相对位置范围;
(2)筛选测试场景:设计场景筛选规则,从复杂场景群中筛选出有测试价值的场景组成正常行驶工况和预碰撞工况等场景群;
(3)确定参数:在筛选后的测试场景群中添加必要的约束条件,并覆盖全部的组合场景群。
4.根据权利要求2所述的方法,其特征在于:所述场景筛选规则具体为:
(1)脱离实际的场景,删除;
(2)相似场景中对被试车运动影响较小的场景,删除;
(3)对被试车运动影响相同的场景,只保留1个场景。
5.根据权利要求1所述的方法,其特征在于:所述的线上引流***为基于智能手机、网页和驾驶模拟器等平台研发的多平台客户端,玩家通过网络登录自动驾驶仿真平台服务端,接管被试车辆周围干扰车、行人在内的交通参与对象,所述的动态交通模型库本质上是对应于静态测试场景库内所有测试场景的交通体模型集合“场景-智能体模型库”,集合内的元素为对应场景下的基于学习算法驱动的交通参与者模型。
6.根据权利要求5所述的方法,其特征在于:所述的车辆智能性从感知、路径规划、控制方面对所测自动驾驶算法进行评价,其中感知方面包括对信号灯相位、行人在内的对象的识别要求;路径规划方面包括对轨迹平稳,障碍规避在内的方面要求;控制方面是对规划结果执行的要求,如最大偏差、振荡次数及振荡周期。
7.根据权利要求5所述的方法,其特征在于:所述的驾驶安全性指被试车在道路上行驶时对其他交通参与者是否会造成危险,类似是否在红灯时在停止线内停车,是否冲撞行人,是否发生交通事故,所述的驾驶舒适性指被试车在道路上行驶期间驾驶员的驾乘体验和交互体验,测试期间,驾乘体验依据行驶过程中平台记录下的油门、刹车、转向状态,评估车辆驾乘是否平稳,转弯是否平顺;交互体验通过驾驶员在环,采用问卷的形式确定被试自动驾驶***的操作品质在内的交互体验。
8.根据权利要求5所述的方法,其特征在于:所述的交通协调性指被试车在道路上行驶时相对其他交通参与者的交通移动表现,测试期间,通过行驶时间、交通流量、道路资源有效利用率在内的指标对交通协调性进行评价。
9.根据权利要求5所述的方法,其特征在于:所述的多层次模糊综合评价方法在确定自动驾驶***性能综合评价体系后的具体步骤如下:
(1)指标类型一致化处理
定性指标量化表示为极大值型指标;
定量指标如极大值型、极小值型、居中型及区间型,转换为极大值型指标;
(2)指标无量纲化处理
指标进行无量纲化处理后才能进行加权综合,采用归一化处理法:
Figure FDA0002552472840000031
xij代表第j个指标在第i次测试时的被测值;
(3)指标权重的确定
采用基于“功能驱动”原理的序关系分析法来确定各指标的权值:
在指标集{x1,x2,...,xj,...,xm}中根据自定义评价准则依次选出最重要的指标;
按表1确定评价指标xj-1与xj之间的重要程度之比rj(wj-1/wj);
计算排序好的各指标对应的权重系数wj
Figure FDA0002552472840000032
wj-1=rjwj,j=m,m-1,...,3,2 (3)
表1 rj赋值表
r<sub>j</sub> 说明 1.0 指标x<sub>j-1</sub>与指标x<sub>j</sub>同样重要 1.2 指标x<sub>j-1</sub>比指标x<sub>j</sub>稍微重要 1.4 指标x<sub>j-1</sub>比指标x<sub>j</sub>明显重要 1.6 指标x<sub>j-1</sub>比指标x<sub>j</sub>强烈重要 1.8 指标x<sub>j-1</sub>比指标x<sub>j</sub>极端重要
(4)多层次模糊综合评价
在指标体系确定的基础上,针对单因素(某一层f评价指标)xj(j=1,2,...,m,m为指标个数)进行单因素评判,得到与评价等级yk(k=1,2,...,h,h为等级个数)间的隶属度ljk,继而构成评价矩阵L
Figure FDA0002552472840000041
基于序关系法确定权重集W=(w1,w2,...,wj,...,wm),与评价矩阵L合成得到模糊综合评价模型C
Figure FDA0002552472840000042
由最下层开始计算,得到的结果组成上一级评价指标的评价矩阵,迭代得到总评价模型Ct
确定评价等级对应的分数集μ=(μ1,μ2,...,μh)T后计算综合得分G
G=100Ctμ=(c1,c2,...,ch)·(μ1,μ2,...,μh)T×100 (6)。
CN202010581488.7A 2020-06-23 2020-06-23 一种自动驾驶模拟仿真***及其测试资源库建设方法 Active CN111841012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010581488.7A CN111841012B (zh) 2020-06-23 2020-06-23 一种自动驾驶模拟仿真***及其测试资源库建设方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010581488.7A CN111841012B (zh) 2020-06-23 2020-06-23 一种自动驾驶模拟仿真***及其测试资源库建设方法

Publications (2)

Publication Number Publication Date
CN111841012A true CN111841012A (zh) 2020-10-30
CN111841012B CN111841012B (zh) 2024-05-17

Family

ID=72988411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010581488.7A Active CN111841012B (zh) 2020-06-23 2020-06-23 一种自动驾驶模拟仿真***及其测试资源库建设方法

Country Status (1)

Country Link
CN (1) CN111841012B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286206A (zh) * 2020-11-17 2021-01-29 苏州智加科技有限公司 自动驾驶的模拟方法、***、设备、可读存储介质及平台
CN112464461A (zh) * 2020-11-20 2021-03-09 北京赛目科技有限公司 一种自动驾驶测试场景的构建方法及装置
CN112541258A (zh) * 2020-12-08 2021-03-23 特路(北京)科技有限公司 一种自动驾驶汽车试验场测试场景库
CN112686979A (zh) * 2021-03-22 2021-04-20 中智行科技有限公司 仿真行人动画生成方法、装置和电子设备
CN112732671A (zh) * 2020-12-31 2021-04-30 华东师范大学 一种时空轨迹数据驱动的自动驾驶安全场景元建模方法
CN112859810A (zh) * 2021-01-13 2021-05-28 自行科技(武汉)有限公司 一种基于Carla平台的ADAS算法验证方法及装置
CN113032261A (zh) * 2021-03-23 2021-06-25 北京三快在线科技有限公司 一种仿真测试的方法及装置
CN113052118A (zh) * 2021-04-07 2021-06-29 上海浩方信息技术有限公司 基于高速快球摄像机实现场景变换视频分析检测的方法、***、装置、处理器及存储介质
CN113064839A (zh) * 2021-06-03 2021-07-02 中智行科技有限公司 一种***评测方法及装置
CN113377663A (zh) * 2021-06-24 2021-09-10 吉林大学 一种基于去场景要素特征的自动驾驶仿真测试方法
CN113536548A (zh) * 2021-06-29 2021-10-22 的卢技术有限公司 一种基于carla的预制轨迹仿真场景的搭建方法
CN113610166A (zh) * 2021-08-10 2021-11-05 吉林大学 一种用于建立针对智能车辆的测试场景库的方法
CN113609016A (zh) * 2021-08-05 2021-11-05 北京赛目科技有限公司 车辆自动驾驶测试场景的构建方法、装置、设备及介质
CN113867315A (zh) * 2021-09-24 2021-12-31 同济大学 一种虚实结合的高保真交通流智能车测试平台及测试方法
CN114065549A (zh) * 2021-11-30 2022-02-18 广州文远知行科技有限公司 自动驾驶水平评估方法、装置、设备及存储介质
CN114355864A (zh) * 2021-12-28 2022-04-15 重庆长安汽车股份有限公司 用于智能驾驶模型开发的模型在环测试方法、***及计算机可读存储介质
WO2022160900A1 (zh) * 2021-01-29 2022-08-04 华为技术有限公司 一种测试场景构建方法及装置
CN115080388A (zh) * 2022-06-08 2022-09-20 中国科学院软件研究所 一种面向自动驾驶***的仿真测试场景生成方法
CN115688484A (zh) * 2022-11-30 2023-02-03 西部科学城智能网联汽车创新中心(重庆)有限公司 一种基于WebGL的V2X仿真方法、***
CN116302364A (zh) * 2023-05-17 2023-06-23 清华大学 自动驾驶可靠性测试方法、装置、设备、介质和程序产品
CN116680932A (zh) * 2023-07-27 2023-09-01 西安深信科创信息技术有限公司 一种自动驾驶仿真测试场景的评估方法及装置
CN116842698A (zh) * 2023-05-31 2023-10-03 华能伊敏煤电有限责任公司 一种无人运输仿真测试方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140144921A (ko) * 2013-06-12 2014-12-22 국민대학교산학협력단 가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템
GB201709348D0 (en) * 2017-06-13 2017-07-26 Kompetenzzentrum-Das Virtuelle Fahrzeug Method and process for co-simulation with virtual testing of real environments with pedestrian interaction
CN107727411A (zh) * 2017-10-30 2018-02-23 青岛慧拓智能机器有限公司 一种自动驾驶车辆测评场景生成***及方法
CN108595901A (zh) * 2018-07-09 2018-09-28 黄梓钥 一种自动驾驶汽车标准化安全仿真验证模型数据库***
CN109657355A (zh) * 2018-12-20 2019-04-19 安徽江淮汽车集团股份有限公司 一种车辆道路虚拟场景的仿真方法及***
CN109765060A (zh) * 2018-12-29 2019-05-17 同济大学 一种自动驾驶车辆交通协调性虚拟测试***及方法
CN109902430A (zh) * 2019-03-13 2019-06-18 上海车右智能科技有限公司 交通场景生成方法、装置、***、计算机设备和存储介质
CN110007675A (zh) * 2019-04-12 2019-07-12 北京航空航天大学 一种基于行车态势图的车辆自动驾驶决策***及基于无人机的训练集制备方法
CN110243610A (zh) * 2019-05-13 2019-09-17 北京航空航天大学 一种移动和固定组合的多维干扰自动驾驶测试***及方法
CN110263381A (zh) * 2019-05-27 2019-09-20 南京航空航天大学 一种自动驾驶车辆测试仿真场景生成方法
CN110275859A (zh) * 2018-03-15 2019-09-24 明日娱乐欧洲公司 游戏引擎以及芯片上的人工智能引擎
CN110647053A (zh) * 2019-09-19 2020-01-03 北京智行者科技有限公司 一种自动驾驶仿真方法及***
CN110779730A (zh) * 2019-08-29 2020-02-11 浙江零跑科技有限公司 基于虚拟驾驶场景车辆在环的l3级自动驾驶***测试方法
WO2020079066A1 (en) * 2018-10-16 2020-04-23 Five AI Limited Autonomous vehicle planning and prediction
CN111123920A (zh) * 2019-12-10 2020-05-08 武汉光庭信息技术股份有限公司 一种自动驾驶仿真测试场景生成方法和装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140144921A (ko) * 2013-06-12 2014-12-22 국민대학교산학협력단 가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템
GB201709348D0 (en) * 2017-06-13 2017-07-26 Kompetenzzentrum-Das Virtuelle Fahrzeug Method and process for co-simulation with virtual testing of real environments with pedestrian interaction
CN107727411A (zh) * 2017-10-30 2018-02-23 青岛慧拓智能机器有限公司 一种自动驾驶车辆测评场景生成***及方法
CN110275859A (zh) * 2018-03-15 2019-09-24 明日娱乐欧洲公司 游戏引擎以及芯片上的人工智能引擎
CN108595901A (zh) * 2018-07-09 2018-09-28 黄梓钥 一种自动驾驶汽车标准化安全仿真验证模型数据库***
WO2020079066A1 (en) * 2018-10-16 2020-04-23 Five AI Limited Autonomous vehicle planning and prediction
CN109657355A (zh) * 2018-12-20 2019-04-19 安徽江淮汽车集团股份有限公司 一种车辆道路虚拟场景的仿真方法及***
CN109765060A (zh) * 2018-12-29 2019-05-17 同济大学 一种自动驾驶车辆交通协调性虚拟测试***及方法
CN109902430A (zh) * 2019-03-13 2019-06-18 上海车右智能科技有限公司 交通场景生成方法、装置、***、计算机设备和存储介质
CN110007675A (zh) * 2019-04-12 2019-07-12 北京航空航天大学 一种基于行车态势图的车辆自动驾驶决策***及基于无人机的训练集制备方法
CN110243610A (zh) * 2019-05-13 2019-09-17 北京航空航天大学 一种移动和固定组合的多维干扰自动驾驶测试***及方法
CN110263381A (zh) * 2019-05-27 2019-09-20 南京航空航天大学 一种自动驾驶车辆测试仿真场景生成方法
CN110779730A (zh) * 2019-08-29 2020-02-11 浙江零跑科技有限公司 基于虚拟驾驶场景车辆在环的l3级自动驾驶***测试方法
CN110647053A (zh) * 2019-09-19 2020-01-03 北京智行者科技有限公司 一种自动驾驶仿真方法及***
CN111123920A (zh) * 2019-12-10 2020-05-08 武汉光庭信息技术股份有限公司 一种自动驾驶仿真测试场景生成方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KYOUNGWOOK MIN.ET AL: "SAE Level 3 Autonomous Driving Technology of the ETRI", 2019 INTERNATIONAL CONFERENCE ON INFORMATION AND COMMUNICATION TECHNOLOGY CONVERGENCE (ICTC), pages 464 - 466 *
吴琼: "构建基于真实场景下自动驾驶车辆模拟仿真测试", 智能网联汽车, pages 70 - 71 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286206B (zh) * 2020-11-17 2024-01-23 苏州智加科技有限公司 自动驾驶的模拟方法、***、设备、可读存储介质及平台
CN112286206A (zh) * 2020-11-17 2021-01-29 苏州智加科技有限公司 自动驾驶的模拟方法、***、设备、可读存储介质及平台
CN112464461B (zh) * 2020-11-20 2021-09-28 北京赛目科技有限公司 一种自动驾驶测试场景的构建方法及装置
CN112464461A (zh) * 2020-11-20 2021-03-09 北京赛目科技有限公司 一种自动驾驶测试场景的构建方法及装置
CN112541258A (zh) * 2020-12-08 2021-03-23 特路(北京)科技有限公司 一种自动驾驶汽车试验场测试场景库
CN112732671A (zh) * 2020-12-31 2021-04-30 华东师范大学 一种时空轨迹数据驱动的自动驾驶安全场景元建模方法
CN112859810A (zh) * 2021-01-13 2021-05-28 自行科技(武汉)有限公司 一种基于Carla平台的ADAS算法验证方法及装置
WO2022160900A1 (zh) * 2021-01-29 2022-08-04 华为技术有限公司 一种测试场景构建方法及装置
CN112686979A (zh) * 2021-03-22 2021-04-20 中智行科技有限公司 仿真行人动画生成方法、装置和电子设备
CN113032261A (zh) * 2021-03-23 2021-06-25 北京三快在线科技有限公司 一种仿真测试的方法及装置
CN113052118A (zh) * 2021-04-07 2021-06-29 上海浩方信息技术有限公司 基于高速快球摄像机实现场景变换视频分析检测的方法、***、装置、处理器及存储介质
CN113064839A (zh) * 2021-06-03 2021-07-02 中智行科技有限公司 一种***评测方法及装置
CN113377663A (zh) * 2021-06-24 2021-09-10 吉林大学 一种基于去场景要素特征的自动驾驶仿真测试方法
CN113377663B (zh) * 2021-06-24 2021-12-10 吉林大学 一种基于去场景要素特征的自动驾驶仿真测试方法
CN113536548B (zh) * 2021-06-29 2024-06-18 的卢技术有限公司 一种基于carla的预制轨迹仿真场景的搭建方法
CN113536548A (zh) * 2021-06-29 2021-10-22 的卢技术有限公司 一种基于carla的预制轨迹仿真场景的搭建方法
CN113609016A (zh) * 2021-08-05 2021-11-05 北京赛目科技有限公司 车辆自动驾驶测试场景的构建方法、装置、设备及介质
CN113609016B (zh) * 2021-08-05 2024-03-15 北京赛目科技股份有限公司 车辆自动驾驶测试场景的构建方法、装置、设备及介质
CN113610166B (zh) * 2021-08-10 2023-12-26 吉林大学 一种用于建立针对智能车辆的测试场景库的方法
CN113610166A (zh) * 2021-08-10 2021-11-05 吉林大学 一种用于建立针对智能车辆的测试场景库的方法
CN113867315A (zh) * 2021-09-24 2021-12-31 同济大学 一种虚实结合的高保真交通流智能车测试平台及测试方法
CN114065549A (zh) * 2021-11-30 2022-02-18 广州文远知行科技有限公司 自动驾驶水平评估方法、装置、设备及存储介质
CN114065549B (zh) * 2021-11-30 2023-04-07 广州文远知行科技有限公司 自动驾驶水平评估方法、装置、设备及存储介质
CN114355864B (zh) * 2021-12-28 2024-05-03 重庆长安汽车股份有限公司 用于智能驾驶模型开发的模型在环测试方法、***及计算机可读存储介质
CN114355864A (zh) * 2021-12-28 2022-04-15 重庆长安汽车股份有限公司 用于智能驾驶模型开发的模型在环测试方法、***及计算机可读存储介质
CN115080388A (zh) * 2022-06-08 2022-09-20 中国科学院软件研究所 一种面向自动驾驶***的仿真测试场景生成方法
CN115688484B (zh) * 2022-11-30 2023-07-25 西部科学城智能网联汽车创新中心(重庆)有限公司 一种基于WebGL的V2X仿真方法、***
CN115688484A (zh) * 2022-11-30 2023-02-03 西部科学城智能网联汽车创新中心(重庆)有限公司 一种基于WebGL的V2X仿真方法、***
CN116302364A (zh) * 2023-05-17 2023-06-23 清华大学 自动驾驶可靠性测试方法、装置、设备、介质和程序产品
CN116302364B (zh) * 2023-05-17 2023-08-15 清华大学 自动驾驶可靠性测试方法、装置、设备、介质和程序产品
CN116842698A (zh) * 2023-05-31 2023-10-03 华能伊敏煤电有限责任公司 一种无人运输仿真测试方法
CN116680932A (zh) * 2023-07-27 2023-09-01 西安深信科创信息技术有限公司 一种自动驾驶仿真测试场景的评估方法及装置
CN116680932B (zh) * 2023-07-27 2023-11-21 安徽深信科创信息技术有限公司 一种自动驾驶仿真测试场景的评估方法及装置

Also Published As

Publication number Publication date
CN111841012B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
CN111841012B (zh) 一种自动驾驶模拟仿真***及其测试资源库建设方法
Qadri et al. State-of-art review of traffic signal control methods: challenges and opportunities
Li et al. Survey on artificial intelligence for vehicles
Li et al. Humanlike driving: Empirical decision-making system for autonomous vehicles
Chen et al. Learning deep representation from big and heterogeneous data for traffic accident inference
Algers et al. Review of micro-simulation models
Zheng et al. Car-following behavior with instantaneous driver–vehicle reaction delay: A neural-network-based methodology
CN112465395A (zh) 一种面向自动驾驶汽车的多维度综合评价方法及装置
Luo et al. Guided game-based learning using fuzzy cognitive maps
CN117313931B (zh) 一种基于火灾场景下地铁站台乘客疏散时间的预测方法
Xu et al. Spatial ensemble prediction of hourly PM2. 5 concentrations around Beijing railway station in China
Meftah et al. A virtual simulation environment using deep learning for autonomous vehicles obstacle avoidance
CN116946183A (zh) 一种考虑驾驶能力的商用车驾驶行为预测方法及车用设备
Wang et al. A method to automatic measuring riding comfort of autonomous vehicles: Based on passenger subjective rating and vehicle parameters
Elhenawy et al. Modeling the perception reaction time and deceleration level for different surface conditions using machine learning techniques
Fouladinejad et al. Development of a surrogate-based vehicle dynamic model to reduce computational delays in a driving simulator
Castro et al. State of the art on artificial intelligence in land use simulation
Raju et al. Data‐Driven Approach for Modeling the Nonlane‐Based Mixed Traffic Conditions
Chu et al. Three-dimensional simulation for training autonomous vehicles in smart city environments
Shi et al. Serious Games for Transportation Research: An Overview
Mussone et al. A Methodology for Modelling Driver Behaviour in Signalized Urban Intersections Using Artificial Neural Networks
Wu et al. An ecolevel estimation method of individual driver performance based on driving simulator experiment
Ni et al. A Method for Evaluating the Complexity of Autonomous Driving Road Scenes
Ferrarotti et al. Quantitative and Qualitative Evaluation of Reinforcement Learning Policies for Autonomous Vehicles
Edara et al. MIMIC—Multidisciplinary Initiative on Methods to Integrate and Create Realistic Artificial Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant