CN110888416B - 视觉adas-ecu硬件在环仿真测试*** - Google Patents

视觉adas-ecu硬件在环仿真测试*** Download PDF

Info

Publication number
CN110888416B
CN110888416B CN201911217795.0A CN201911217795A CN110888416B CN 110888416 B CN110888416 B CN 110888416B CN 201911217795 A CN201911217795 A CN 201911217795A CN 110888416 B CN110888416 B CN 110888416B
Authority
CN
China
Prior art keywords
module
adas
camera
simulation
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911217795.0A
Other languages
English (en)
Other versions
CN110888416A (zh
Inventor
裴凌
朱一帆
邹丹平
夏宋鹏程
郁文贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201911217795.0A priority Critical patent/CN110888416B/zh
Publication of CN110888416A publication Critical patent/CN110888416A/zh
Application granted granted Critical
Publication of CN110888416B publication Critical patent/CN110888416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/24—Pc safety
    • G05B2219/24065—Real time diagnostics

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种基于高逼真游戏引擎的视觉ADAS‑ECU硬件在环仿真测试***，包括：ADAS相机成像模拟模块、ADAS电脑控制模块、中央控制模块、用以提供仿真的物理场景的基于高逼真游戏引擎的物理场景模块以及分别与之相连的车辆动力学仿真模块、几何一致视频流生成模块、设置与评估模块。

Description

视觉ADAS-ECU硬件在环仿真测试***
技术领域
本发明涉及的是一种导航领域的技术，具体是一种基于高逼真游戏引擎的视觉ADAS(高级驾驶辅助***，Advanced Driving Assistant System)-ECU(电子控制单元，Electronic Control Unit)硬件在环仿真测试***。
背景技术
随着无人驾驶***与车辆智能化等相关行业的兴起，对于车辆智能***的测试成为了当今的热点问题。在车辆智能化领域，基于视觉的ADAS-ECU传感器已涵盖目标识别、交通标识识别、夜视、车道偏离、盲点监测，全景泊车等众多使用场景。出于对传感器安全性、鲁棒性、智能型的需求，对于ADAS控制器硬件在环仿真测试有着广泛的需求。
对于车载传感器，其功能的稳定性与鲁棒性至关重要，在产业界对于车载传感器会进行各种环境状态下的硬件在环测试在保证传感器均工作稳定后方可进行车辆在环测试。然而对于基于视觉的ADAS传感器的硬件在环测试难以在真实环境中模拟出大量测试工况，同时某些测试工况的数据采集测试具有一定的危险性，因此使用仿真***进行硬件在环测试是未来发展的趋势，是测试环节中重要的一环。
现有为ADAS控制器硬件在环仿真技术的缺陷包括：
1)传统的渲染引擎图像渲染能力较差，且材质库过于简单，模型库不够丰富。产生的视频流纹理、色彩与真实度不足，难以满足当前基于视觉的ADAS传感器算法测试对于图像纹理的要求(比如交通标识识别、夜视等测试项目)。
2)现有的基于视觉的ADAS控制器硬件在环仿真***中，对于相机几何模型建模不足。产生的视频流在几何上难以和真实的ADAS摄像头保持一致性，这会使ADAS传感器在仿真环境中工作不正常(比如前车距离估计等测试项目)。
3)现有的基于视觉的ADAS控制器硬件在环仿真***对车辆动力学模型建模简单，这会使在某些涉及车辆动力学的ADAS传感器算法测试项目结果不可信(比如紧急刹车、全景泊车等测试项目)。
4)现有的基于视觉的ADAS控制器硬件在环仿真***多采用显示器场景再现方式，该方式受制于显示输出的缺陷，无法实现较为复杂的天气、路面等高保真图像源，且标定受限于光学器件机械调整，操作与实施均较为繁琐。
发明内容
本发明针对现有基于视觉的ADAS硬件在环仿真器存在的图像数据不真实、相机几何模型缺失、车辆动力学模型简单以及部署困难等问题，提出一种基于高逼真游戏引擎的视觉ADAS-ECU硬件在环仿真测试***。
本发明是通过以下技术方案实现的：
本发明涉及一种基于高逼真游戏引擎的视觉ADAS-ECU硬件在环仿真测试***，包括：ADAS相机成像模拟模块、ADAS电脑控制模块、中央控制模块、用以提供仿真的物理场景的基于高逼真游戏引擎的物理场景模块以及分别与之相连的车辆动力学仿真模块、几何一致视频流生成模块、设置与评估模块，其中：用以仿真车辆的动力学模型，返回车辆在场景中的速度与位置的车辆动力学仿真模块分别与基于高逼真游戏引擎的物理场景模块、中央控制模块、设置与评估模块相连接并传输车辆在仿真期间包括速度、位移等动力学信息；用以生成指定相机几何模型的高逼真视频流的几何一致视频流生成模块分别与基于高逼真游戏引擎的物理场景模块、ADAS相机成像模拟模块、设置与评估模块相连接并传输指定相机几何参数的视频流信息；用以仿真真实ADAS相机传感器包括噪声在内的各种特性的ADAS相机成像模拟模块分别与几何一致视频流生成模块、ADAS电脑控制模块、设置与评估模块相连接并传输ADAS相机传感器的高逼真视频流信息；内置ADAS算法并生成车道保持与距离报警信息的ADAS电脑控制模块分别与ADAS相机成像模拟模块、中央控制模块、设置与评估模块相连接并传输ADAS算法的包括预警、控制在内的处理结果信息；用以决策当前车辆应该进行的控制指令的中央控制模块分别与ADAS电脑控制模块、车辆动力学仿真模块、设置与评估模块相连接并传输车辆控制信息；设置与评估模块设置模块参数并分析生成数据用以评估***中ADAS传感器各项性能。
技术效果
与现有技术相比，本发明整体解决实际测试成本高、部署难，与现存仿真测试方法逼真度不够的问题。
附图说明
图1为本发明***示意图；
图2为基于高逼真游戏引擎的物理场景模块示意图；
图3为几何一致视频流生成模块示意图；
图4为ADAS相机成像模拟模块示意图。
具体实施方式
如图1所示，为本实施例涉及一种基于高逼真游戏引擎的视觉ADAS-ECU硬件在环仿真测试***，针对车辆视觉ADAS传感器硬件在环仿真需求设计，采用高逼真仿真视频数据流注入方案，测试结果具有说服力和可信度、测试工况几乎全覆盖。本***包括：基于高逼真游戏引擎的物理场景模块100、车辆动力学仿真模块200、几何一致视频流生成模块300、ADAS相机成像模拟模块400、ADAS电脑控制模块500、中央控制模块600和设置与评估模块700，其中：基于高逼真游戏引擎的物理场景模块100分别与车辆动力学仿真模块200、几何一致视频流生成模块300、设置与评估模块700相连接，用以提供仿真的物理场景；车辆动力学仿真模块200分别与基于高逼真游戏引擎的物理场景模块100、中央控制模块600、设置与评估模块700相连接，用以仿真车辆的动力学模型，返回车辆在场景中的速度与位置；几何一致视频流生成模块300分别与基于高逼真游戏引擎的物理场景模块100、ADAS相机成像模拟模块400、设置与评估模块700相连接，用以生成指定相机几何模型的高逼真视频流；ADAS相机成像模拟模块400分别与几何一致视频流生成模块300、ADAS电脑控制模块500、设置与评估模块700相连接，用以仿真真实ADAS相机传感器包括噪声在内的各种特性；ADAS电脑控制模块500分别与ADAS相机成像模拟模块400、中央控制模块600、设置与评估模块700相连接，运行ADAS算法将车道保持与距离报警等信息传递至中央控制模块；中央控制模块600分别与ADAS电脑控制模块500、车辆动力学仿真模块200、设置与评估模块700相连接，用以决策当前车辆应该进行的控制指令；设置与评估模块700对各个模块参数进行设置，并分析各模块数据用以评估***中ADAS传感器各项性能。
所述的基于高逼真游戏引擎的物理场景模块100包括：环境模型模块110、物理引擎单元120和渲染引擎单元130，其中：经由设置与评估模块700设置的参数被设置到环境模型模块110中，在模块包括仿真场景的高逼真模型以及各种环境参数如(光源种类与强度、重力加速度数值、地面摩擦系数等)；环境模型模块110指导物理引擎模块120以生成用户指定的物理仿真场景；渲染器模块120访问物理引擎模块120输出的位姿数据，得到指定位置的高逼真渲染图像。
所述的车辆动力学仿真模块200根据复杂的车辆动力学模型，可以支持车辆对控制指令、路面、空气动力学输入的响应，在计算机能够实时仿真整车操作稳定性、制动性、平顺性、动力性，能够与物理引擎模块120和中央控制模块600实时交互，完成车辆的速度与位置更新。
所述的几何一致视频流生成模块300包括：相机投影模型模块310和镜头畸变模块320，其中：从设置与评估模块700输出的相机几何模型参数(相机内参与畸变参数)被送入相机投影模型模块310和镜头畸变模型320以保证仿真器输出视频流与真实ADAS相机在几何投影性质上的一致性，这对ADAS***硬件在环测试非常重要。
所述的ADAS相机成像模拟模块400包括：时间同步模块410和多通道相机模拟模块420，其中：由几何一致视频流生成模块300产生的视频流数据被送入多通道相机模拟模块420以产生多路视频信号，同时多通道相机模拟模块420会将输入视频流引入FPGA芯片以仿真经过ADAS传感器摄像头的图像处理器处理之后的视频流。经过处理之后的视频流，在图像纹理、色域、噪声特性方面均与视觉ADAS摄像头保持一致。同时，时间同步模块410能够保证输出的多路视频流信号在时间上的一致性。
所述的ADAS电脑控制模块500使用真实的ADAS电脑控制模块，同时本模块也是可替换的待测模块。
所述的中央控制模块600接收来自ADAS电脑控制模块500上报的各种车辆状态信息，综合给出控制指令(转向、制动等)。针对不同形式的测试需求，该模块可调整为手动控制或程序控制。
所述的设置与评估模块700能够在仿真方案开始时时设置不同模块参数以覆盖绝大多数测试工况。同时，该模块能够访问各模块数据，针对ADAS传感器在各项驾驶应用提出不同的指标以科学地评估ADAS传感器在各项驾驶应用(交通标识识别、夜视、车道偏离、盲点监测，全景泊车)中的表现。
本***通过基于高逼真游戏引擎的物理场景模块与车辆动力学仿真模块共同构成了虚拟仿真环境，能够在***中实现复杂的场景仿真做到了车辆典型测试场景和工况的全覆盖，提高了视觉ADAS-ECU仿真测试结果的便捷性与可信度，几何一直视频流生成模块与ADAS相机成像模拟模块用于产生在色彩、纹理、几何性质上与真实ADAS相机相同的视频流，能够模拟任意给定的ADAS相机传感器产生的视频流，实现了被测传感器类别的全覆盖，提高了视觉ADAS-ECU仿真测试结果的真实性。
经过具体实际实验，使用基于高逼真游戏引擎的视觉ADAS-ECU硬件在环仿真测试方法，能够对于视觉ADAS-ECU测试功能和测试工况全覆盖，同时得到的测试结果与基于实测数据的结果一致性达到90％。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (1)

1.一种基于高逼真游戏引擎的视觉ADAS-ECU硬件在环仿真测试***，其特征在于，包括：ADAS相机成像模拟模块、ADAS电脑控制模块、中央控制模块、用以提供仿真的物理场景的基于高逼真游戏引擎的物理场景模块以及分别与之相连的车辆动力学仿真模块、几何一致视频流生成模块、设置与评估模块，其中：用以仿真车辆的动力学模型，返回车辆在场景中的速度与位置的车辆动力学仿真模块分别与基于高逼真游戏引擎的物理场景模块、中央控制模块、设置与评估模块相连接并传输车辆在仿真期间包括速度、位移信息；用以生成指定相机几何模型的高逼真视频流的几何一致视频流生成模块分别与基于高逼真游戏引擎的物理场景模块、ADAS相机成像模拟模块、设置与评估模块相连接并传输指定相机几何参数的视频流信息；用以仿真真实ADAS相机传感器包括噪声在内的各种特性的ADAS相机成像模拟模块分别与几何一致视频流生成模块、ADAS电脑控制模块、设置与评估模块相连接并传输ADAS相机传感器的高逼真视频流信息；内置ADAS算法并生成车道保持与距离报警信息的ADAS电脑控制模块分别与ADAS相机成像模拟模块、中央控制模块、设置与评估模块相连接并传输ADAS算法的包括预警、控制在内的处理结果信息；用以决策当前车辆应该进行的控制指令的中央控制模块分别与ADAS电脑控制模块、车辆动力学仿真模块、设置与评估模块相连接并传输车辆控制信息；设置与评估模块设置模块参数并分析生成数据用以评估***中ADAS传感器各项性能；
所述的基于高逼真游戏引擎的物理场景模块包括：环境模型模块、物理引擎单元和渲染引擎单元，其中：经由设置与评估模块设置的参数被设置到环境模型模块中，在模块包括仿真场景的高逼真模型以及环境参数；环境模型模块指导物理引擎模块以生成用户指定的物理仿真场景；渲染器模块访问物理引擎模块输出的位姿数据，得到指定位置的高逼真渲染图像；
所述的车辆动力学仿真模块根据复杂的车辆动力学模型，能够支持车辆对控制指令、路面、空气动力学输入的响应，在计算机能够实时仿真整车操作稳定性、制动性、平顺性、动力性，能够与物理引擎模块和中央控制模块实时交互，完成车辆的速度与位置更新；
所述的几何一致视频流生成模块包括：相机投影模型模块和镜头畸变模块，其中：来自设置与评估模块的包括相机内参与畸变参数的相机几何模型参数输出至相机投影模型模块和镜头畸变模型以保证仿真器输出视频流与真实ADAS相机在几何投影性质，用于生成ADAS镜头几何模型并保证仿真器输出视频流与真实ADAS相机在几何上的一致性，这对ADAS***硬件在环测试非常重要；
所述的ADAS相机成像模拟模块包括：时间同步模块和多通道相机模拟模块，其中：由几何一致视频流生成模块产生的视频流数据被送入多通道相机模拟模块以产生多路视频信号，同时多通道相机模拟模块会将输入视频流引入FPGA芯片以仿真经过ADAS传感器摄像头的图像处理器处理之后的视频流；
所述的ADAS电脑控制模块使用真实的ADAS电脑控制模块；
所述的中央控制模块接收来自ADAS电脑控制模块上报的各种车辆状态信息，综合给出控制指令；
所述的设置与评估模块能够在仿真方案开始时时设置不同模块参数以覆盖绝大多数测试工况，同时，该模块能够访问各模块数据，针对ADAS传感器在各项驾驶应用提出不同的指标以科学地评估ADAS传感器在各项驾驶应用中的表现。
CN201911217795.0A 2019-12-03 2019-12-03 视觉adas-ecu硬件在环仿真测试*** Active CN110888416B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911217795.0A CN110888416B (zh) 2019-12-03 2019-12-03 视觉adas-ecu硬件在环仿真测试***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911217795.0A CN110888416B (zh) 2019-12-03 2019-12-03 视觉adas-ecu硬件在环仿真测试***

Publications (2)

Publication Number Publication Date
CN110888416A CN110888416A (zh) 2020-03-17
CN110888416B true CN110888416B (zh) 2023-02-10

Family

ID=69750050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911217795.0A Active CN110888416B (zh) 2019-12-03 2019-12-03 视觉adas-ecu硬件在环仿真测试***

Country Status (1)

Country Link
CN (1) CN110888416B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723488A (zh) * 2020-06-22 2020-09-29 浙江吉利新能源商用车集团有限公司 一种关于adas测试的评估方法及***
CN111832118B (zh) * 2020-06-22 2023-11-21 北京汽车股份有限公司 驾驶辅助功能的仿真测试***及方法
CN112698582A (zh) * 2020-12-28 2021-04-23 联创汽车电子有限公司 Adas ecu仿真测试方法和测试***
CN113009900A (zh) * 2021-02-06 2021-06-22 武汉光庭信息技术股份有限公司 一种adas控制器硬件在环仿真***
CN112987593B (zh) * 2021-02-19 2022-10-28 中国第一汽车股份有限公司 一种视觉定位硬件在环仿真平台及仿真方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105388021A (zh) * 2015-10-21 2016-03-09 重庆交通大学 Adas虚拟开发与测试***
CN205847406U (zh) * 2016-07-27 2016-12-28 长沙麦斯森信息科技有限公司 一种基于前视摄像头的adas算法测试装置
CN207924502U (zh) * 2018-03-23 2018-09-28 南京越博动力***股份有限公司 一种采用摄像头的adas驾驶辅助功能测试***
CN109901546A (zh) * 2017-12-11 2019-06-18 郑州宇通客车股份有限公司 辅助驾驶车辆硬件在环仿真测试方法和***
CN110412374A (zh) * 2019-07-24 2019-11-05 苏州凌创瑞地测控技术有限公司 一种基于多传感器的adas hil测试***
CN209674003U (zh) * 2018-12-03 2019-11-22 广州凌飞电子科技有限公司 一种三维高清实景导航***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10055651B2 (en) * 2016-03-08 2018-08-21 Magna Electronics Inc. Vehicle vision system with enhanced lane tracking

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105388021A (zh) * 2015-10-21 2016-03-09 重庆交通大学 Adas虚拟开发与测试***
CN205847406U (zh) * 2016-07-27 2016-12-28 长沙麦斯森信息科技有限公司 一种基于前视摄像头的adas算法测试装置
CN109901546A (zh) * 2017-12-11 2019-06-18 郑州宇通客车股份有限公司 辅助驾驶车辆硬件在环仿真测试方法和***
CN207924502U (zh) * 2018-03-23 2018-09-28 南京越博动力***股份有限公司 一种采用摄像头的adas驾驶辅助功能测试***
CN209674003U (zh) * 2018-12-03 2019-11-22 广州凌飞电子科技有限公司 一种三维高清实景导航***
CN110412374A (zh) * 2019-07-24 2019-11-05 苏州凌创瑞地测控技术有限公司 一种基于多传感器的adas hil测试***

Also Published As

Publication number Publication date
CN110888416A (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
CN110888416B (zh) 视觉adas-ecu硬件在环仿真测试***
CN108319259B (zh) 一种测试***及测试方法
CN112526893B (zh) 一种智能汽车的测试***
US20230004801A1 (en) Training, testing, and verifying autonomous machines using simulated environments
CN110456757B (zh) 一种无人驾驶车辆的整车测试方法及***
WO2023207016A1 (zh) 一种基于数字孪生云控平台的自动驾驶测试***和方法
CN107221222B (zh) 一种面向工效评定的多模式驾驶模拟***及其评定方法
CN108345290B (zh) 测试至少一个控制装置的至少一个控制装置功能的方法
WO2020079698A1 (en) Adas systems functionality testing
CN107229329B (zh) 用于具有深度地面实况注释的虚拟传感器数据生成的方法和***
CN109461342B (zh) 一种用于无人驾驶机动车的教学***及其教学方法
CN109163889A (zh) 一种前视摄像头adas算法的测试装置及方法
CN111816020A (zh) 将合成激光雷达数据迁移至真实域用于自动驾驶汽车训练
CN115016323A (zh) 自动驾驶的仿真测试***及方法
US11636684B2 (en) Behavior model of an environment sensor
CN112326258B (zh) 自动驾驶状态的检测方法、装置、***以及电子设备
CN112698582A (zh) Adas ecu仿真测试方法和测试***
CN116107288A (zh) 智能驾驶仿真测试***及其方法
Hong et al. System configuration of Human-in-the-loop Simulation for Level 3 Autonomous Vehicle using IPG CarMaker
Feld et al. Dfki cabin simulator: A test platform for visual in-cabin monitoring functions
Schwab et al. Consistent test method for assistance systems
EP3618013A1 (en) System for generating vehicle sensor data
CN111273633A (zh) 测量、模拟、标记和评估车辆的部件和***的设备和方法
Kassem et al. Driver-in-the-Loop for computer-vision based ADAS testing
Rossi et al. Vehicle hardware-in-the-loop system for ADAS virtual testing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant