KR20230159308A - 첨단 운전자 보조 시스템(adas) 및/또는 자동화된 운전 시스템(ads)을 교정하고 검증하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품 - Google Patents
첨단 운전자 보조 시스템(adas) 및/또는 자동화된 운전 시스템(ads)을 교정하고 검증하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품 Download PDFInfo
- Publication number
- KR20230159308A KR20230159308A KR1020230061444A KR20230061444A KR20230159308A KR 20230159308 A KR20230159308 A KR 20230159308A KR 1020230061444 A KR1020230061444 A KR 1020230061444A KR 20230061444 A KR20230061444 A KR 20230061444A KR 20230159308 A KR20230159308 A KR 20230159308A
- Authority
- KR
- South Korea
- Prior art keywords
- simulation
- module
- test
- scenario
- evaluation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000004590 computer program Methods 0.000 title claims description 8
- 238000012360 testing method Methods 0.000 claims abstract description 183
- 238000004088 simulation Methods 0.000 claims abstract description 156
- 238000011156 evaluation Methods 0.000 claims abstract description 107
- 238000012795 verification Methods 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims description 47
- 208000018910 keratinopathic ichthyosis Diseases 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000013473 artificial intelligence Methods 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000000205 computational method Methods 0.000 claims description 5
- 230000001939 inductive effect Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000000342 Monte Carlo simulation Methods 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 238000001556 precipitation Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims 1
- 210000002569 neuron Anatomy 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000002872 Statistical quality control Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000004205 output neuron Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/26—Functional testing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/04—Monitoring the functioning of the control system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
- G01M17/007—Wheeled or endless-tracked vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3447—Performance evaluation by modeling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3457—Performance evaluation by simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3696—Methods or tools to render software testable
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0018—Method for the design of a control system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0026—Lookup tables or parameter maps
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/0052—Filtering, filters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
- B60W2050/0083—Setting, resetting, calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/06—Direction of travel
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
- B60W2520/105—Longitudinal acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/20—Static objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/406—Traffic density
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/20—Ambient conditions, e.g. wind or rain
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/60—Traffic rules, e.g. speed limits or right of way
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Automation & Control Theory (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Aviation & Aerospace Engineering (AREA)
- Pure & Applied Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
본 발명은, 적어도 하나의 시나리오에서 지정된 운전 작업을 위한 첨단 운전자 보조 시스템(ADAS) 및/또는 자동화된 운전 시스템(ADS)을 교정하고 검증하기 위한 방법에 관한 것으로, 시나리오는 교통 이벤트를 시간 순서로 나타내고 파라미터 및 연관된 파라미터 값의 선택에 의해 정의되며, 상기 방법은:
- 운전 작업을 위한 테스트 전략을 사용하여 시나리오 및 시나리오 파라미터뿐만 아니라 교정 파라미터를 선택함으로써 테스트 에이전트에 의해 제1 테스트 케이스를 생성하는 단계;
- 시뮬레이션 결과를 결정하기 위해 시뮬레이션을 수행하는 단계;
- 평가 결과를 결정하기 위해 시뮬레이션 결과의 평가를 수행하는 단계;
- 시뮬레이션 결과 및 평가 결과에 맞게 테스트 전략을 조정하는 단계;
- 조정된 테스트 전략을 사용하여 제2 테스트 케이스를 생성하는 단계;
- 새로운 시뮬레이션 사이클을 시작하는 단계;
- 특정 평가 기준이 충족되지 않는 경우, 테스트 전략의 조정을 반복하는 단계; 또는
- 마지막 시뮬레이션 사이클의 테스트 케이스를 출력 모듈에 전달하는 단계;
- 교정 및 검증 목적으로 출력 모듈에 의해 테스트 케이스의 출력 결과를 생성하고 출력하는 단계를 포함한다.
- 운전 작업을 위한 테스트 전략을 사용하여 시나리오 및 시나리오 파라미터뿐만 아니라 교정 파라미터를 선택함으로써 테스트 에이전트에 의해 제1 테스트 케이스를 생성하는 단계;
- 시뮬레이션 결과를 결정하기 위해 시뮬레이션을 수행하는 단계;
- 평가 결과를 결정하기 위해 시뮬레이션 결과의 평가를 수행하는 단계;
- 시뮬레이션 결과 및 평가 결과에 맞게 테스트 전략을 조정하는 단계;
- 조정된 테스트 전략을 사용하여 제2 테스트 케이스를 생성하는 단계;
- 새로운 시뮬레이션 사이클을 시작하는 단계;
- 특정 평가 기준이 충족되지 않는 경우, 테스트 전략의 조정을 반복하는 단계; 또는
- 마지막 시뮬레이션 사이클의 테스트 케이스를 출력 모듈에 전달하는 단계;
- 교정 및 검증 목적으로 출력 모듈에 의해 테스트 케이스의 출력 결과를 생성하고 출력하는 단계를 포함한다.
Description
본 발명은 첨단 운전자 보조 시스템(ADAS) 및/또는 자동화된 운전 시스템(ADS) 및/또는 운전 기능을 교정하고 검증하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품에 관한 것이다.
현대 차량에는 운전 중인 운전자를 돕고 그의 안전을 증진시키기 위한 다양한 운전 보조 시스템 또는 자동화된 운전 보조 기능이 탑재되어 있다. 예를 들어, 운전 보조 시스템은 속도 및 거리 제어뿐 아니라, 차선 유지 및 차선 변경 기능도 지원한다. 이 경우, 속도 제한 기능이 활성화되는 한, 초과되지 않는 특정 최대 속도를 설정할 수 있다. 특히, 전방 차량으로부터 특정 거리가 조정되는 거리 제어를 위해, 레이더 센서뿐만 아니라 카메라 시스템도 사용된다. 이를 통해 전방 주행 차량으로부터 거리뿐만 아니라, 측면 영역의 차량까지의 거리도 모니터링할 수 있다. 이는, 특히 고속도로에서의 주행 시 그리고 추월 조작 시 운전의 편의성과 안전성을 향상시킨다.
그러나 자동차뿐만 아니라 항공기나 선박에서도 첨단 운전자 보조 시스템(Advanced Driver Assistance System, ADAS), 자동화된 운전 시스템(Automated Driving SystemS, ADS)을 향한 이러한 추세는, 차량 관리에 대한 책임이 더 이상 전적으로 운전자에게 있는 것이 아니라, 오히려 차량 내 컴퓨터 유닛이 능동 기능을 담당하기 때문에, 광범위한 보안 전략을 필요로 한다. 따라서, 자율적으로 움직이는 물체가 주행 거동에서 매우 낮은 오류율을 갖는 점이 보장되어야 한다. 차량 주변에서의 물체의 감지 및 분류와 교통 시나리오 해석은 ADAS/ADS의 안전한 기능을 위한 중요한 전제 조건이다. 이를 위해, 극단적이고 예외적인 상황(corner case) 및 일상적인 상황 모두에서 운전자 보조 시스템 및 자동화된 운전 시스템의 표적 테스트 및 훈련이 요구된다. 그러한 극단적인 상황은 상이한 요인들의 특정 조합에 기인한다. 이에 대한 예로는, 예를 들어 도로 유형, 도로변 구조물 및 표지 품질과 같은 인프라 특이성뿐만 아니라 기상 조건, 하루 중 시간대 및 계절과 같은 환경 조건도 있다. 또한, 다른 도로 사용자의 거동, 지리적 지형 및 기상 조건이 중요한 역할을 한다.
ADAS/ADS 성능이 증대됨에 따라, 시스템이 도로 교통에서 해결해야 하는 운전 시나리오의 수도 증가한다. 따라서, ADAS/ADS의 안전하고 편리하며 효율적인 거동을 보장하기 위해, 개별 기능 및 전체 시스템은 차량 개발 중에 교정 및 검증 프로세스를 거친다.
그러나 이러한 교정 및 검증은, 운전 보조 시스템의 기능적 규격 결함으로 인해 최신 ADAS/ADS를 차량에 통합할 때 큰 과제이기도 하다. 자동차 산업에서 종래의 시스템에 대해 테스트 케이스를 테스트 규격에 기초하여 구현하는 요구 사항 기반 테스트 프로세스가 확립되었지만, 이는 현재, 종래의 시스템과는 대조적으로 특히 센서에 의해 검출되는 운전 환경과 같이 훨씬 더 많은 수의 영향 변수가 고려되어야 하는 ADAS/ADS를 위해서는 부족하다. 차량의 운전 환경에서 발생할 수 있고 ADAS/ADS가 정확하게 검출하여 처리해야 하는 시나리오의 양은 운행 설계 영역(Operational Design Domain, ODD)으로 표현된다. 여기에는 일상적인 운전 시나리오와 드물게 발생하는 코너 케이스가 모두 포함된다. 종래의 방법을 사용하여 ADAS/ADS를 테스트, 교정 및 검증하려면, ADAS/ADS에 대한 전체 ODD를 검출하여 요구 사항 카탈로그에 문서화해야 한다. 이는 운전 환경의 복잡도 및 그로 인한 수많은 운전 시나리오로 인해 불가능하다. 이러한 문제를 기능적 규격 결손이라고 한다. 이는 ADAS/ADS의 교정 및 검증 프로세스 모두를 어렵게 하며 기존 방법에 대한 대안적 접근법을 필요로 한다.
따라서, ADAS/ADS의 교정 및 검증의 어려움으로 인해, 합리적인 노력 및 비용으로 차량 개발 프로세스를 수행하기 위해서는 알려진 방법 외에 새로운 접근법이 필요하다. 따라서, ADAS/ADS의 교정 및 검증을 시뮬레이션하기 위해 가상 방법을 점점 더 많이 사용하고, 이러한 가상 시뮬레이션 방법을 성능 및 안전성 측면에서 상이한 기능을 갖는 다양한 ADAS/ADS 시스템과 객관적으로 비교할 수 있는 방식으로 구성하는 것이 바람직하다. 상기 문제는 특히 많은 시나리오, 사용된 시뮬레이션 방법 및 시뮬레이션 결과를 평가하기 위한 적합한 메트릭(metric)의 선택으로 인해 발생한다.
WO 2021/245200 A1호는 ADAS/ADS의 시나리오 기반 시뮬레이션을 개시하며, 여기서는 시뮬레이션이 부분적으로 모듈식인 서브시스템을 갖는 분리 가능한 검출-, 예측-, 계획- 및 제어 시스템을 포함하는 모듈식 아키텍처에 기초한다.
US 2019/235521 A1호는 개발 또는 검증의 목적으로 자율 주행 차량의 제어 특성을 평가하기 위한 방법을 개시하며, 여기서 시스템은 각각 데이터베이스에 액세스하는 계획 및 행동 모듈 뿐만 아니라 검출 및 인식 모듈을 포함한다.
WO 2021/245201 A1호는 ADAS/ADS의 시나리오 기반 시뮬레이션의 성능을 평가하기 위한 방법을 개시하며, 여기서 시뮬레이션은 획득-, 투영-, 계획- 및 제어 시스템을 갖는 아키텍처에 기초한다.
US 2007/236502 A1호는 시뮬레이션의 실시간 시각화를 위한 시스템을 개시하며, 여기서 시스템은 모듈식 프레임워크를 갖는 실시간 시각화 소프트웨어를 포함한다.
본 발명의 과제는 이제 첨단 운전자 보조 시스템(ADAS) 및/또는 자동화된 운전 시스템(ADS)의 가상의 교정 및 검증 가능성을 제공하여, ADAS/ADS의 안전성을 향상시키고 자원 및 비용을 절약하기 위해 교정 및 검증 프로세스가 더 적은 시간을 필요로 하고 개선된 효율로 수행될 수 있도록 하는 것이다.
상기 과제는, 방법 측면에서 청구항 제1항의 특징에 의해, 시스템 측면에서 제10항의 특징에 의해, 그리고 컴퓨터 프로그램 제품 측면에서 제15항의 특징에 의에 해결된다. 그 외 청구항들은 본 발명의 바람직한 구성에 관한 것이다.
본 발명은, 특정 운전 작업을 위한 교정 및 검증 목적에 적합하고 운전 보조 시스템 및/또는 자동화 운전 시스템의 안전성과 기능성을 추정하기 위한 높은 수준의 관련성을 제공하는 특정 교통 시나리오의 선택을 허용한다.
제1 양태에 따르면, 본 발명은 적어도 하나의 시나리오에서 지정된 운전 작업을 위한 첨단 운전자 보조 시스템(ADAS) 및/또는 자동화된 운전 시스템(ADS) 및/또는 운전 기능을 교정하고 검증하기 위한 방법을 제공한다. 시나리오는 교통 이벤트를 시간 순서로 나타내고, 파라미터 및 연관된 파라미터 값의 선택에 의해 정의되며, 파라미터화된 시나리오에서는 파라미터 및 연관된 파라미터 값이 자유롭게 선택될 수 있고, 구체적 시나리오(concrete scenario)에서는 시나리오 파라미터 및 연관된 시나리오 파라미터 값이 설정된다. 상기 방법은 이하의 방법 단계를 포함한다:
- 테스트 에이전트에 의해 운전 작업을 위한 테스트 전략을 사용하여 파라미터화된 시나리오 및 시나리오 파라미터뿐만 아니라 교정 파라미터를 선택함으로써 제1 테스트 케이스를 생성하는 단계;
- 선택된 제1 테스트 케이스를 시뮬레이션 모듈에 전달하는 단계;
- 시뮬레이션 결과를 결정하기 위해 시뮬레이션 모듈에 의해 시뮬레이션을 수행하는 단계;
- 시뮬레이션 결과를 평가 모듈에 전달하는 단계;
- 평가 결과를 결정하기 위해 평가 모듈에 의해 시뮬레이션 결과의 평가를 수행하는 단계;
- 시뮬레이션 결과 및 평가 결과에 맞게 테스트 전략을 조정하는 단계;
- 상기 조정된 테스트 전략을 사용하여 테스트 에이전트에 의해 제2 테스트 케이스를 생성하는 단계;
- 제2 테스트 케이스에 대한 새로운 시뮬레이션 사이클을 시작하는 단계;
- 특정 평가 기준이 충족되지 않는 경우, 추가 시뮬레이션 사이클의 수행을 위한 테스트 전략의 조정을 반복하는 단계; 또는
- 특정 평가 기준이 충족되는 경우, 마지막 시뮬레이션 사이클의 테스트 케이스를 출력 모듈에 전달하는 단계;
- 출력 모듈에 의해 교정 및 검증을 목적으로 테스트 케이스를 토대로, 특히 지정된 운전 작업을 수행하기 위한 첨단 운전자 보조 시스템(ADAS) 및/또는 자동화된 운전 시스템(ADS) 및/또는 운전 기능에 대한 교정 파라미터의 형태로 출력 결과를 생성하고 출력하는 단계.
또 다른 개선예에서, 시뮬레이션 모듈은 교체 가능한 하위 모듈을 포함하는 구성이 제공되며, 여기서 제1 하위 모듈은 환경 모델 모듈로서, 제2 하위 모듈은 운전자 모델 모듈로서, 그리고 제3 하위 모듈은 차량 모델 모듈로서 구성된다.
한 바람직한 실시예에서, 시뮬레이션 모듈 및/또는 하위 모듈은 시뮬레이션 모델의 생성을 위한 추가 정보를 얻기 위해 센서 및/또는 데이터베이스에 연결되는 구성이 제공되며, 상기 시뮬레이션 모델은 ADAS/ADS의 운전 보조 기능의 시뮬레이션의 수행을 위해 운전 기능 모듈에 전달된다.
또 다른 한 실시예에서, 평가 모듈은 성능 지표(KPI)를 사용하여 운전 기능의 성능 및 안전성을 결정하기 위한 운전 기능 평가 모듈 및 시뮬레이션 품질 기준(SQC)을 사용하여 시뮬레이션의 품질을 결정하기 위한 시뮬레이션 평가 모듈을 포함하는 구성이 제공되며, 상기 평가 결과는 성능 지표(KPI) 및 시뮬레이션 품질 기준(SQC)을 포함한다.
특히, 테스트 케이스는 테스트 데이터베이스에, 교정 파라미터는 교정 파라미터 데이터베이스에, 파라미터화된 시나리오 및 시나리오 파라미터는 시나리오 데이터베이스에, 그리고 평가 결과는 평가 데이터베이스에 저장되는 구성이 제공된다.
바람직하게, 테스트 전략 및/또는 테스트 에이전트는 인공 지능의 계산 방법 및/또는 알고리즘을 갖는 적어도 하나의 소프트웨어 애플리케이션을 사용한다.
특히, 알고리즘 및 계산 방법은 평균값, 최소값 및 최대값, 룩업 테이블, 기대값 모델, 선형 회귀 방법, 가우시안 프로세스, 고속 푸리에 변환, 적분 및 미분 계산, 마르코프 방법, 몬테 카를로 방법과 같은 확률 방법, 시간차 학습, 확장 칼만 필터, 방사형 기저 함수, 데이터 필드, 수렴 신경망, 심층 신경망, 및/또는 피드백 신경망으로 구성된다.
바람직하게, 파라미터는 물리적 변수, 화학적 변수, 토크, 회전 속도, 전압, 전류 세기, 가속도, 속도, 제동 값, 방향, 각도, 반경, 위치, 숫자, 움직이는 물체(예컨대 자동차, 사람 또는 자전거 운행자), 정지된 물체(예컨대 건물 또는 나무), 도로 구성요소(예컨대 고속도로, 도로 표지판, 신호등, 터널, 회전 교차로, 분기 차로), 교통량, 지형 구조(예컨대 경사로), 시간, 온도, 강수량, 날씨 및/또는 계절을 나타낸다.
또 다른 실시예에서, 센서는 레이더 시스템; LIDAR 광학 거리 및 속도 측정 시스템; 가시광선, IR 및/또는 UV 영역의 이미지 기록 2D/3D 카메라; GPS 시스템; 가속도계; 속도 센서; 용량성 센서; 유도 센서; 전압 센서; 토크 센서; 강우량 센서; 및/또는 온도 센서로서 구성된다.
제2 양태에 따르면, 본 발명은 적어도 하나의 시나리오에서 지정된 운전 작업을 위한 첨단 운전자 보조 시스템(ADAS) 및/또는 자동화된 운전 시스템(ADS) 및/또는 운전 기능을 교정하고 검증하기 위한 시스템을 제공한다. 시나리오는 교통 이벤트를 시간 순서로 나타내고, 파라미터 및 연관된 파라미터 값의 선택에 의해 정의되며, 파라미터화된 시나리오에서는 파라미터 및 연관된 파라미터 값이 자유롭게 선택될 수 있고, 구체적 시나리오에서는 시나리오 파라미터 및 연관된 시나리오 파라미터 값이 설정된다. 시스템은 테스트 에이전트 및 테스트 전략을 갖는 테스트 모듈, 시뮬레이션 모듈, 평가 모듈, 및 출력 모듈을 포함한다. 테스트 에이전트는, 운전 작업에 대한 테스트 전략을 사용하여 파라미터화된 시나리오 및 시나리오 파라미터뿐만 아니라 교정 파라미터를 선택함으로써 제1 테스트 케이스를 생성하고, 선택된 제1 테스트 케이스를 시뮬레이션 모듈에 전달하도록 구성된다. 시뮬레이션 모듈은 시뮬레이션 결과를 결정하기 위해 시뮬레이션을 수행하고 상기 시뮬레이션 결과를 평가 모듈에 전달하도록 구성된다. 평가 모듈은 평가 결과를 결정하기 위해 시뮬레이션 결과의 평가를 수행하도록 구성된다. 테스트 모듈은, 시뮬레이션 결과 및 평가 결과에 맞게 테스트 전략을 조정하고, 상기 조정된 테스트 전략을 사용하여 테스트 에이전트에 의해 제2 테스트 케이스를 생성하여 제2 테스트 케이스에 대한 새로운 시뮬레이션 사이클을 시작하며, 특정 평가 기준이 충족되지 않는 경우 추가 시뮬레이션 사이클을 수행하기 위한 테스트 전략의 조정을 반복하거나, 특정 평가 기준이 충족될 경우 적어도 마지막 시뮬레이션 사이클의 테스트 케이스를 출력 모듈로 전달하도록 구성된다. 출력 모듈은, 적어도 상기 마지막 시뮬레이션 사이클의 테스트 케이스를 토대로 교정 및 검증 목적으로, 특히 지정된 운전 작업을 수행하기 위해, 첨단 운전자 보조 시스템(ADAS) 및/또는 자동화된 운전 시스템(ADS) 및/또는 운전 기능에 대한 교정 파라미터의 형태로, 출력 결과를 생성하고 출력하도록 구성된다.
한 개선예에서, 시뮬레이션 모듈은 교체 가능한 하위 모듈을 포함하며, 제1 하위 모듈은 환경 모델 모듈로서, 제2 하위 모듈은 운전자 모델 모듈로서, 그리고 제3 하위 모듈은 차량 모델 모듈로서 구성된다.
한 바람직한 실시예에서, 시뮬레이션 모듈 및/또는 하위 모듈은 시뮬레이션 모델을 생성하기 위한 추가 정보를 획득하기 위해 센서 및/또는 데이터베이스에 연결되는 구성이 제공되며, 상기 시뮬레이션 모델은 운전 보조 기능의 시뮬레이션을 수행하기 위해 운전 기능 모듈에 전달된다.
또 다른 한 실시예에서, 평가 모듈은 성능 지표(KPI)를 사용하여 운전 기능의 성능 및 안전성을 결정하기 위한 운전 기능 평가 모듈 및 시뮬레이션 품질 기준(SQC)을 사용하여 시뮬레이션의 품질을 결정하기 위한 시뮬레이션 평가 모듈을 포함하는 구성이 제공되며, 평가 결과는 성능 지표(KPI) 및 시뮬레이션 품질 기준(SQC)을 포함한다.
바람직하게, 테스트 케이스는 테스트 데이터베이스에 저장되고, 교정 파라미터는 교정 파라미터 데이터베이스에 저장되고, 파라미터화된 시나리오 및 시나리오 파라미터는 시나리오 데이터베이스에 저장되고, 평가 결과는 평가 데이터베이스에 저장되는 구성이 제공된다.
특히, 테스트 전략 및/또는 테스트 에이전트는 인공 지능의 계산 방법 및/또는 알고리즘을 갖는 적어도 하나의 소프트웨어 애플리케이션을 사용한다.
제3 양태에 따르면, 본 발명은 실행 시 제1 양태에 따른 방법을 수행하도록 구성된 실행 프로그램 코드를 포함하는 컴퓨터 프로그램 제품을 제공한다.
본 발명은 도면에 도시된 실시예를 기반으로 하기에서 더욱 상세히 설명된다.
도 1은 본 발명에 따른 시스템의 실시예를 설명하기 위한 블록선도이다.
도 2는 그래픽의 개략도이다.
도 3은 본 발명에 따른 방법의 개별 방법 단계를 설명하기 위한 흐름도이다.
도 4는 본 발명의 제3 양태의 실시예에 따른 컴퓨터 프로그램 제품의 블록선도이다.
도 2는 그래픽의 개략도이다.
도 3은 본 발명에 따른 방법의 개별 방법 단계를 설명하기 위한 흐름도이다.
도 4는 본 발명의 제3 양태의 실시예에 따른 컴퓨터 프로그램 제품의 블록선도이다.
본 발명 또는 이의 실시예의 추가적인 특징, 양태 및 이점은 청구범위와 관련하여 하기의 설명부에서 설명된다.
첨단 운전자 보조 시스템(ADAS) 및 자동화된 운전 시스템(ADS)의 테스트, 훈련 및 보안을 위해, 프로그래밍에 의해 생성되는 시뮬레이션된 교통 시나리오가 점점 더 많이 사용되고 있다. 본 발명의 범주에서는 시간 순서에 따른 교통 이벤트를 시나리오라고 지칭한다. 시나리오의 일례는 고속도로 교량에서의 운행, 분기 차로에서의 분기, 터널 통과, 회전 교차로 진입, 또는 횡단보도 앞에서의 정차이다. 또한, 예를 들어, 해질녘 또는 강한 태양광으로 인한 특정 가시성 조건뿐만 아니라, 날씨 및 계절과 같은 환경 조건, 교통량, 및 특정 지리적 지형 조건이 시나리오에 영향을 미칠 수 있다. 예를 들어, 추월 과정은, 제1 차량이 처음에 다른 차량 뒤에 있다가, 그 다음에 다른 도로로 차선을 변경하고 상기 다른 차량을 추월하기 위해 속도를 증가시키는 시나리오로 설명될 수 있다. 이러한 시나리오를 컷인(Cut-In) 시나리오라고도 한다. 또한, 계절과 기상 조건도 중요한 역할을 하는데, 폭우 및 결빙 시에는 도로 상태가 화창한 여름날과는 다르게 보이기 때문이다.
첨단 운전자 보조 시스템(ADAS) 및 자동화된 운전 시스템(ADS)을 자동차에서 사용할 수 있으려면, 신뢰할 수 있는 사용을 위해 이들을 교정하고 검증해야 한다. 교정은 소프트웨어 코드를 변경하지 않고 각각의 차량 유형 및 운전 기능의 원하는 거동에 맞게 기능을 조정하는 역할을 한다. 이를 위해, 교정 파라미터가 수정되고 데이터세트에서 ADAS/ADS에 제공된다. 가능한 한 많은 운행 설계 영역(Operational Design Domain, ODD) 시나리오에서 최적의 거동을 위한 교정 파라미터의 적합한 데이터세트를 찾을 필요가 있다.
검증의 목표는, 교정 시 얻은 데이터세트를 종합적으로 테스트하여 ODD 전반에 걸쳐 첨단 운전자 보조 시스템(ADAS) 또는 자동화된 운전 시스템(ADS)의 신뢰성과 강건성을 입증한 다음 이를 출시하는 것이다.
본 발명에 따르면, ADAS/ADS의 가상 교정 및 검증을 위해 모듈형 시뮬레이션 접근법이 사용되며, 이는 ADAS/ADS의 다양한 구성에 맞게 조정될 수 있다.
도 1은 첨단 운전자 보조 시스템(ADAS) 및/또는 자동화된 운전 시스템(ADS)의 시뮬레이션 교정 및 검증을 위한 본 발명에 따른 시스템(100)을 보여준다. 본 발명에 따른 시스템(100)은 테스트 에이전트(220) 및 테스트 전략(230)을 갖는 테스트 에이전트 모듈(200), 교정 파라미터 데이터베이스(320), 시나리오 데이터베이스(330), 평가 데이터베이스(340), 테스트 데이터베이스(300), 시뮬레이션 모듈(400), 평가 모듈(500), 및 출력 모듈(700)을 포함하며, 이들 각각은 프로세서 및/또는 메모리 유닛을 구비할 수 있다.
"모듈"은 본 발명과 관련하여 예를 들어 프로세서 및/또는 프로세서 유닛 및/또는 프로그램 명령을 저장하기 위한 메모리 유닛을 의미하는 것으로 이해될 수 있다. 프로세서는 특히, 본 발명에 따른 방법 또는 본 발명에 따른 방법의 단계를 구현하거나 실현하기 위해 프로그램 명령을 실행하도록 구성된다. 특히, 모듈은 클라우드 컴퓨팅 인프라에 통합될 수 있다.
"프로세서"는 본 발명과 관련하여 예를 들어 기계 또는 전자 회로를 의미하는 것으로 이해될 수 있다. 프로세서는 특히 메인 프로세서(Central Processing Unit, CPU), 마이크로프로세서 또는 마이크로컨트롤러, 예를 들어, 프로그램 명령을 저장하기 위한 메모리 유닛과 조합될 수 있는, 애플리케이션 특정 집적 회로 또는 디지털 신호 프로세서 등일 수 있다. 프로세서는 또한 가상화된 프로세서, 가상 머신, 또는 소프트 CPU를 의미하는 것으로 이해될 수 있다. 이는 예를 들어 전술한 본 발명에 따른 방법을 수행하기 위한 구성 단계들이 구비되거나, 프로그래밍 가능 프로세서가 방법, 시스템, 모듈, 또는 본 발명의 다른 양태 및/또는 부분 양태의 본 발명에 따른 특징을 구현하도록 구성된 구성 단계들이 구비된 프로그래밍 가능 프로세서일 수도 있다. 특히, 프로세서는 고도 병렬화 컴퓨팅 유닛 및 고성능 그래픽 모듈을 포함할 수 있다.
"메모리 유닛" 또는 "메모리 모듈"은 본 발명과 관련하여 예를 들어, 랜덤 액세스 메모리(Random-Access Memory, RAM) 형태의 휘발성 메모리, 또는 하드 드라이브 또는 데이터 캐리어와 같은 영구 메모리, 또는 예를 들어 교체 가능한 메모리 모듈을 의미할 수 있다. 또는 메모리 모듈이 클라우드 기반 메모리 솔루션일 수도 있다.
테스트 에이전트 모듈(200)의 테스트 에이전트(220)는 소프트웨어 애플리케이션을 사용하여 하나 이상의 운전 작업에 대한 복수의 테스트 케이스(Ti)를 생성한다. 개별 운전 작업은 시뮬레이션을 시작하기 전에 예를 들어 엔지니어와 같은 전문가에 의해 작성된다. 또는 소프트웨어 애플리케이션에 의해 운전 작업의 목록이 생성될 수도 있다. 그런 다음 이 목록은 본 발명에 따른 시스템(100)에 의해 연속적으로 처리될 수 있다. 대표적인 운전 작업은 고속도로에서의 차선 변경이다.
테스트 케이스(Ti)의 선택 및 설계를 위해, 테스트 에이전트(220)가 테스트 케이스(Ti)를 생성하는 방법을 지정하는 테스트 전략(230)이 제공된다. 테스트 전략(230)을 확립하기 위해 다양한 연산 방법 및 알고리즘, 특히 인공 지능의 알고리즘이 제공될 수 있다. 따라서, 알고리즘 및 계산 방법, 예컨대 평균값, 최소값 및 최대값, 룩업 테이블, 기대값 모델, 선형 회귀 방법, 가우시안 프로세스, 고속 푸리에 변환, 적분 및 미분 계산, 마르코프 방법, 몬테 카를로 방법과 같은 확률 방법, 시간차 학습, 확장 칼만 필터, 방사형 기저 함수, 데이터 필드, 수렴 신경망, 심층 신경망, 및/또는 피드백 신경망이 사용될 수 있고, 이들을 이용하여 반복 절차를 통한 전략 조정이 가능하다.
테스트 에이전트(220)가 교정 파라미터 데이터베이스(320), 시나리오 데이터베이스(330) 및 평가 데이터베이스(340)로부터 테스트 케이스(Ti)의 생성을 위한 필수 정보를 취한다. 또한, 본 발명의 범주에서 추가 데이터베이스가 사용될 수 있다. 생성된 테스트 케이스(Ti)는 테스트 데이터베이스(300)에 저장된다.
"데이터베이스"는 메모리 알고리즘과 메모리 유닛 형태의 하드웨어를 모두 의미한다. 특히, 데이터베이스(300, 320, 330, 340)는 클라우드 컴퓨팅 인프라의 일부로서 구성될 수 있다.
"데이터"는 본 발명과 관련하여 원시 데이터뿐만 아니라 센서 및 다른 데이터 소스로부터의 측정 결과로부터 이미 처리된 데이터로서도 이해되어야 한다.
테스트 케이스(Ti)의 생성은 논리적 시나리오라고도 하는 파라미터화된 시나리오를 기반으로 수행된다. 본 발명의 범주에서 특히 기계 판독 가능 코드로 작성된 시나리오를 파라미터화된 시나리오라고 한다. 파라미터화된 시나리오(SZpi)는 다수의 가능한 파라미터(Pi)로부터의 다양한 파라미터(P1,P2,…,Pn) 및 다수의 가능한 파라미터 값(PVi)으로부터의 연관된 파라미터 값(PV1,PV2,…,PVn)에 의해 정의되며, 여기서 파라미터 값(PVi)은 파라미터(Pi)의 값 범위를 결정한다. 예를 들어, 파라미터(Pi)는 물리적 변수, 화학적 변수, 토크, 회전 속도, 전압, 전류 세기, 가속도, 속도, 제동 값, 방향, 각도, 반경, 위치, 숫자, 움직이는 물체(예컨대 자동차, 사람 또는 자전거 운행자), 정지된 물체(예컨대 건물 또는 나무), 도로 구성요소(예컨대 고속도로, 도로 표지판, 신호등, 터널, 회전 교차로, 분기 차로), 교통량, 지형 구조(예컨대 경사로), 시간, 온도, 강수량, 날씨 및/또는 계절을 나타낸다. 따라서, 파라미터(Pi)는 본 발명의 범주에서 시나리오의 특성 및 특징을 나타낸다. 파라미터(Pi)의 일례는 자차(ego vehicle)의 속도이고, 연관된 파라미터 값(PVi)의 값 범위는 시나리오(SZpi)에 대해 100km/h 내지 180km/h의 범위를 포함할 수 있다. 또 다른 시나리오(SZpk)의 경우, 파라미터 값(PVi)의 값 범위는 40km/h 내지 70km/h일 수 있다.
파라미터화된 시나리오(SZp)는, 각각 상이한 장면과 이벤트가 발생하는 시간 간격(Δt1,Δt2,…,Δtn)의 시간 시퀀스를 포함한다. 파라미터화된 시나리오(SZp)는 시작 장면으로 시작한 다음, 발생하는 이벤트를 통해 전개되며 시간이 지남에 따라 새로운 후속 장면을 만들어 낸다. 따라서, 시작 장면은 하나 이상의 이벤트에 의해 변경된다. 이벤트는 가속도와 같은 도로 사용자에 의해 능동적으로 트리거되는 응답일 뿐만 아니라, 예를 들어 신호등의 스위칭 과정과 같이 주기적으로 반복되는 이벤트일 수도 있다. 따라서, 시작 장면 및 개별 후속 장면은 각각 짧은 시간 간격(Δt) 또는 스냅샷만을 포함하는 반면, 파라미터화된 시나리오(SZp)는 더 긴 기간을 포함한다. 도 2에 도시된 바와 같이 시나리오(SZp)의 그래프 표현에서 이벤트는 에지로 표현될 수 있고, 개별 장면은 그래프의 노드로서 표현될 수 있다.
본 발명의 범주에서, 파라미터화된 시나리오(SZp)와 구체적 시나리오(SZc)가 구별된다. 본 발명의 범주에서, 파라미터(Pi)와 연관된 파라미터 값(PVi)이 모두 지정되지 않은 시나리오(SZp)가 파라미터화된 시나리오(SZp)로서 정의된다. 시나리오 파라미터(Pci) 및 연관된 시나리오 파라미터 값(PVci) 또는 시나리오 파라미터 값(PVci)의 값 범위가 지정된 시나리오(SZ)가 구체적 시나리오(SZc)로서 정의된다. 상기 두 시나리오, 즉, 파라미터화된 시나리오(SZp)와 구체적 시나리오(SZc)는 모두 각각 특히 기계 판독 가능 코드로 작성된 시나리오이다.
파라미터화된 시나리오(SZpi)의 생성을 위해, 예컨대 요구 사항 사양, 전문 지식, 및/또는 공공 도로교통에서의 또는 시험장에서 센서를 사용한 측정과 같은 다양한 소스가 사용될 수 있다. 사용되는 센서는 특히 레이더 시스템; 광학 거리 및 속도 측정을 위한 LIDAR 시스템; 가시광선, IR 및/또는 UV 영역에서의 2D/3D 이미지 기록 카메라, 및/또는 GPS 시스템으로서 구성될 수 있다. 또한, 가속도계, 속도 센서, 용량성 센서, 유도 센서, 전압 센서, 토크 센서, 강우량 센서, 및/또는 온도 센서 등이 사용될 수 있다. 따라서, 소프트웨어 애플리케이션에 의해 특정 지리적 위치에서 기록된 데이터로부터 각각 적합한 파라미터화 시나리오(SZpi)가 유도될 수 있다. 소프트웨어 애플리케이션은 파라미터화된 시나리오(SZpi)의 식별을 위해 특히 인공 지능 알고리즘을 사용한다. 인공 지능 알고리즘은 특히 신경망을 가진 인코더 및 디코더일 수 있다.
신경망은, 복수의 층으로 배열되어 서로 상이하게 연결된 뉴런으로 구성된다. 뉴런은 자신의 입력부에서 외부로부터 또는 다른 뉴런으로부터 정보를 수신하고, 이 정보를 특정 방식으로 평가하며, 뉴런 출력 시 변경된 형태로 이를 다른 뉴런에 전달하거나 최종 결과로서 출력할 수 있다. 은닉 뉴런은 입력 뉴런과 출력 뉴런 사이에 위치한다. 네트워크 유형에 따라 복수의 은닉 뉴런 층이 존재할 수 있다. 이들은 정보의 전달 및 처리를 제공한다. 출력 뉴런은 마지막으로 결과를 전달하고 이를 외부 세계로 출력한다. 신경망은 비지도 학습(unsupervised learning) 또는 지도 학습(supervised learning)을 통해 훈련될 수 있다.
뉴런의 상이한 배열 및 연결에 의해 상이한 유형의 신경망, 특히 순방향 신경망(Feedforward Neural Network, FNN), 순환 신경망(Recurrent Neural Network, RNN) 또는 합성곱 신경망(Convolutional Neural Network, CNN)이 생성된다. 합성곱 신경망은 복수의 합성곱 층(convolution layer)을 가지며, 패턴 인식 및 이미지 인식 분야에서의 기계 학습 및 용례에 매우 적합하다. 센서에 의해 캡쳐된 데이터의 많은 부분이 이미지로 존재하기 때문에, 특히 합성곱 신경망(CNN)이 사용된다.
본 발명의 범주에서, 테스트 에이전트(220)는 가능한 파라미터화된 시나리오 세트(SZpi)로부터, ADAS/ADS의 교정 및 검증에 관심이 있는 테스트 케이스(Ti)를 생성한다. 이를 위해, 테스트 에이전트(220)는 시나리오 데이터베이스(330)로부터 적합한 파라미터화된 시나리오(SZpi) 및 시나리오 파라미터(Pci)를 선택하고, 교정 파라미터 데이터베이스(320)로부터의 교정 파라미터(Pcali)를 선택한다. 테스트 에이전트(220)에 의해 생성된 이러한 관련 테스트 케이스(Ti)는 운전 보조 시스템 및 자동화된 운전 기능에 의해 관리되어야 하는 운행 설계 영역(Operational Design Domain, ODD)에 지정된 관련 교통 상황을 커버한다. 따라서, 테스트 케이스(Ti)는 시나리오 파라미터(Pci) 및 추가 교정 파라미터(Pcali)의 지정에 의한 관련된 구체적 시나리오(SZc)이다.
따라서, 테스트 에이전트(220)의 테스트 전략(230)은 적합한 파라미터화된 시나리오(SZpi) 및 시나리오 파라미터(Pci)뿐만 아니라 추가 교정 파라미터(Pcali)를 선택함으로써 테스트 케이스(Ti)의 구성을 결정한다. 사용된 테스트 전략(230)은 시뮬레이션의 목적에 의해, 즉, 지정된 운전 작업을 수행할 때 시뮬레이션에 의해 ADAS/ADS의 거동 또는 특정 운전 기능에 대해 어떤 지식이 획득되어야 하는지 설정된다. 예를 들어, 교정 파라미터(Pcali)의 일정한 데이터세트를 갖는 ADAS/ADS의 가상 검증을 위해, 조합 방법을 사용하여 상이한 파라미터화된 시나리오(SZpi) 및 시나리오 파라미터 조합이 생성될 수 있다. 또한, 상이한 파라미터화된 시나리오(SZpi)의 더 작은 세트에 대해 교정 파라미터(Pcali)를 조정하기 위해 수학적 최적화기에 기초한 반복 전략이 구현될 수 있다.
테스트 에이전트(220)는 이러한 방식으로 결정된 테스트 케이스(Ti)를 테스트 데이터베이스(300)에 저장한다. 테스트 케이스(Ti)에 대한 데이터는 테스트 식별 번호(테스트 ID), 사용자 이름, 생성 시간, 및 선택된 파라미터화된 시나리오(SZpi)에 대한 명칭을 포함할 수 있다. 또한, 파라미터화된 시나리오(SZpi)를 구체적 시나리오(SZci)로 변환하는 시나리오 파라미터(Pci)가 저장된다. 또한, 교정 파라미터(Pcali) 및 기타 데이터(예컨대 성과 지표(KPI))는, 시뮬레이션 시 각각의 운전 보조 기능의 성능의 평가뿐만 아니라 수행된 시뮬레이션의 평가를 위한 평가 지표와 관련하여 저장될 수 있다. 또한, "수행 또는 미수행"과 같은 시뮬레이션의 상태에 관한 정보가 테스트 케이스(Ti)에 할당될 수 있다. 또한, 추가 정보를 갖는 추가 문자 메시지, 비디오 시퀀스 및/또는 오디오 시퀀스 등이 저장될 수 있다. 따라서, 전체적으로 테스트 케이스(Ti)에 관한 모든 관련 정보가 테스트 데이터베이스(300)에 저장될 수 있다.
생성된 테스트 케이스(Ti)의 시뮬레이션을 수행하기 위해, 테스트 에이전트(220)는 테스트 케이스(Ti) 또는 복수의 테스트 케이스(Ti)를 시뮬레이션 모듈(400)에 전달한다. 또한, 시뮬레이션 모듈(400)은 시뮬레이션을 수행할 수 있기 위해, 교정 파라미터 데이터베이스(320)로부터의 교정 파라미터(Pcali)에 관한 정보 및 시나리오 데이터베이스(330)로부터의 기계 판독 가능 스크립트와 같은, 파라미터화된 시나리오(SZpi) 및 시나리오 파라미터(Pci)에 대한 정보를 검색할 수 있다. 시뮬레이션 모듈(400)은, 테스트할 운전 작업을 위한 테스트 케이스(Ti)의 특정 특성을 시뮬레이션하도록 구성되고 서로 상호작용할 수 있는 다양한 하위 모듈(410, 420, 430)을 포함한다. 이들은 교체 가능한 하위 모듈로서 구성되고, 각각의 테스트 케이스(Ti) 또는 복수의 테스트 케이스(Ti)의 개별 양태를 시뮬레이션하는 작업을 갖는다. 제1 하위 모듈(410)은, 환경에 관련되고 자동차(10)의 다양한 환경을 매핑하는 환경 모델 모듈로 구성될 수 있다. 제2 하위 모듈(420)은, 다이내믹형(dynamic) 또는 방어형(defensive)과 같은 운전자의 운전 모드 및/또는 운전 스타일과 관련된 운전자 모델 모듈로 구성될 수 있다. 제3 하위 모듈(430)은, 예를 들어 파워트레인, 주행 동역학 및 여타의 하위 기능의 상이한 구성과 관련하여, 자동차의 다양한 모델을 포함하는 차량 모델 모듈로서 구성될 수 있다. 하위 모듈(410, 420, 430)은 특정 상황 또는 구성에 대한 각각의 테스트 케이스(Ti)의 설명을 구현하고, 운전 기능 모듈(440)에서 운전 보조 기능을 시뮬레이션하기 위해 필요한 입력 데이터를 제공한다.
시뮬레이션 모듈(400) 또는 다양한 하위 모듈(410, 420, 430)은 센서(470)로부터의 센서 신호 및 다른 데이터가 저장된 하나 이상의 데이터베이스(480)에 연결된다. 센서 신호는 특히, 주행 경로를 따라 운전할 때 각각 정의된 시간 윈도우(Δti) 및/또는 정의된 주행 경로 섹션(Δxi) 동안 기록된, 자동차(10)의 특성 및 특징의 측정 데이터와 자동차(10) 주변의 객체 및 이벤트의 측정 데이터이다. 자동차(10)의 교통 환경 내 객체는 특히 자동차, 보행자, 자전거 운행자와 같은 다른 도로 사용자이며, 이벤트는 예를 들어 가속 과정, 차선 변경, 또는 신호등의 전환 등이다. 센서(470)는 특히 레이더 시스템, 광학 거리 및 속도 측정을 위한 LIDAR 시스템, 가시광선, IR 및/또는 UV 영역의 2D/3D 이미지 기록 카메라, 및/또는 GPS 시스템으로서 구성될 수 있다. 또한, 가속도계, 속도 센서, 용량성 센서, 유도 센서, 전압 센서, 토크 센서, 강우량 센서, 및/또는 온도 센서 등이 형성될 수 있다.
데이터베이스(480)에는 또한 추가 이력 데이터가 이미지, 그래픽, 시계열, 특성값 등의 형태로 저장될 수 있다. 즉, 예를 들어 시뮬레이션을 위한 안전 표준을 정의하는 목표 변수 및 목표 값이 데이터베이스(480)에 저장될 수 있다. 데이터베이스(480)도 마찬가지로 클라우드 컴퓨팅 인프라에 통합될 수 있다.
또한, 추가 데이터 소스 또는 데이터베이스가 사용될 수 있다. 여기에는 특히, 차선 및 교량과 같은 도로 사양을 갖는 도로망; 노면, 도로변 구조물, 도로 안내 등과 같은 도로 기반시설;에 관한 데이터를 포함하고 당국에 의해 제공되는 데이터베이스가 속한다.
또한, 특정 교통 위치에서의 실제 시간당 교통량과 같은 교통 관련 수치에 대한 데이터는 예컨대 교통 체증과 같은 특정 시나리오 유형에서 중요하다. 또 다른 데이터 소스는 예를 들어 구글 맵의 항공 사진이다. 도로 이미지용으로 맵필러리(Mapillary)도 사용될 수 있다. 맵필러리는 차량용 블랙박스와 스마트폰으로 촬영된 지리적 태그를 갖는 사용자 생성 도로 이미지를 수집한다. 이러한 이미지는 오픈 소스 라이선스하에 제공된다.
날씨 조건이 시나리오 유형을 정의할 수도 있기 때문에, 날씨 데이터는 또 다른 데이터 소스이다. 날씨 데이터는 과거 기상 측정치와 미래 기상 예보를 포함한다.
검출된 객체의 지리적 좌표의 계산 및 저장은 바람직하게 EPSG 25832-좌표계(Universal Transverse Mercator(UTM) Zone 32N)에서 수행된다. 이 시스템은 독일 당국에서도 사용된다. 측방향 및 종방향 위치는 미터 단위로 표시된다. 또한, GPS 수신기(Global Positioning System)에서도 사용되는 "World Geodetic System 1984(WGS 84)"와 같은 글로벌 기준 시스템이 사용될 수 있다. 따라서 예를 들어 독일의 전체 맵 콘텐츠를 가져올 수 있다.
테스트 에이전트에 의해 선택된 테스트 케이스(Ti)는 다양한 하위 모듈(410, 420, 430)에 통합되며, 이 경우, 선택된 테스트 케이스(Ti)의 시뮬레이션을 수행하기 위해 센서 데이터, 차량 상태 정보, 및 운전자 입력과 같은 입력 신호가 하위 모듈(410, 420, 430)로부터 제공된다. 이를 위해, 하위 모듈(410, 420, 430)은 XiL(X-in-the-loop)와 같은 시뮬레이션 알고리즘을 사용한다. 특히, 센서(470)의 모델링이 매우 중요한데, 이는 사용된 센서(470)로부터의 센서 신호의 부정확성 및 측정 오류가 가상 교정 및 검증에서 고려되어야 하기 때문이다. 선택된 테스트 케이스(Ti) 또는 복수의 테스트 케이스(Ti)가 지정된 운전 작업을 커버할 수 없는 경우, 전체적인 운전 상황을 매핑하고 이에 따라 시뮬레이션할 수 있도록 하위 모듈(410, 420, 430)에 의해 추가 데이터가 제공된다.
따라서, 시뮬레이션 모듈(400)은 지정된 운전 작업에 대한 테스트 케이스(Ti)의 시뮬레이션을 수행하고 시뮬레이션 결과(450)를 평가 모듈(500)에 전달한다.
평가 모듈(500)은 하나 이상의 기능의 성능 및 기능 또는 첨단 운전자 보조 시스템(ADAS) 또는 자동화된 운전 시스템(ADS)의 전체 성능과 관련하여 시뮬레이션 결과(450)를 특히 성능 지표(KPI)의 형태로 평가한다. 또한, 수행된 시뮬레이션 절차의 품질을 특히 시뮬레이션 품질 기준(SQC)의 형태로 평가한다. 이들 평가를 토대로 평가 모듈(500)은 평가 결과(550)를 생성한다.
KPI는 테스트할 ADAS/ADS의 성능을 설명하는 데 사용되며, 여기서 주행의 안락감, 안전성, 자연스러움 및 효율과 같은 상이한 평가 카테고리에 대해 상이한 KPI가 확립된다. 또한, 테스트할 ADAS/ADS의 정확한 기능을 검증하기 위해 추가 KPI가 구현될 수 있다. KPI의 일례로 다른 차량까지의 최소 거리 또는 감속 시나리오에서의 평균 가속도의 평가를 들 수 있다.
시뮬레이션의 품질을 평가하기 위해 KPI에 추가로 SQC가 사용된다. 예를 들어, 다른 도로 사용자는 테스트할 ADAS/ADS의 반응에 따라 상이한 결정을 내리는 모델링된 시뮬레이션 에이전트로 매핑될 수 있다. 이러한 이유로, 평가 시 시뮬레이션 시나리오가 테스트 케이스(Ti)의 시나리오 설명과 일치하는지의 여부가 검사되어야 한다. 이러한 목적으로 SQC에 대해, 시나리오 시뮬레이션의 올바른 실행에 대한 피드백을 제공하는 메트릭이 정의된다. 이로써, 추월 조작을 수행하는 방식이, 예를 들어 충돌을 피할 수 있었는지의 여부에 관해, SQC에 의해 평가될 수 있다. KPI 및 SQC는 수치 값뿐만 아니라 부울 값(Boolean value)으로도 나타낼 수 있다.
이 경우, KPI와 SQC 모두에 대해 직접 및 간접 평가 메트릭을 사용할 수 있다. 직접 평가 메트릭은 시뮬레이션된 측정 데이터로부터 직접 가져온 데이터를 포함한다. 간접 평가 메트릭은 특히 시나리오 파라미터를 데이터 소스로 사용한다. 간접 평가 메트릭의 적용의 예로는, ADAS/ADS의 운전 보조 기능의 수행 시 운전자의 주관적 인식을 정량화하고 평가하는 시뮬레이션 모델의 구현을 들 수 있다. 따라서, KPI 및 SQC에 기초하여, 시뮬레이션된 테스트 케이스(Ti)의 결과는 수치 값 또는 부울 값으로 표현될 수 있다.
성능 지표(KPI) 및 시뮬레이션 품질 기준(SQC) 형태의 평가 결과(550)는 테스트 에이전트 모듈(200)에 전달된다. 지정된 운전 작업을 위한 새로운 테스트 케이스(Tk)를 생성하기 위해, 테스트 에이전트(220)는, 교정 파라미터 데이터베이스(320)의 교정 파라미터(Pcali), 시나리오 데이터베이스(330)의 파라미터화된 시나리오(SZpi) 및 시나리오 파라미터(Pci), 그리고 평가 데이터베이스(340)의 평가 결과(550)에 가중치와 같은 또는 특정 속성의 식별을 위한 레이블(label)을 부여한다. 특히, 테스트 전략(230)은 교정 파라미터 데이터베이스(320), 시나리오 데이터베이스(330) 및 평가 데이터베이스(340)에서 평가 결과(550)에 의해 라벨링된 데이터를 사용하여 조정될 수 있다. 테스트 케이스(Tk)는 다시 테스트 데이터베이스(300)에 저장되고, 시뮬레이션 모듈(400)에서의 새로운 시뮬레이션 사이클을 위해 그리고 평가 모듈(500)에서의 후속 평가에 사용될 수 있다.
새로운 시뮬레이션 실행에 대한 테스트 케이스(Tk)를 조정하기 위해, 특히 교정 파라미터(Pcali)는 변경되는 반면 시나리오 파라미터(Pci)는 동일하게 유지된다. 교정 파라미터(Pcali)는 특히 기능 평가 모듈(510)에 의해 생성되는 성능 지표(KPI)에 기초하여 변경된다. 새로운 테스트 케이스(Tk)에 대한 교정 파라미터(Pcali)를 반복함으로써, 교정 파라미터(Pcali)의 최적의 세트가 결정될 수 있다.
또한, 교정 파라미터(Pcali)가 일정하면 테스트 에이전트(220)는 중요한 구체적 시나리오(SZci)를 반복적으로 결정하기 위해 시나리오 파라미터(Pci)를 변경할 수 있다.
따라서, 시뮬레이션 모듈(400)과 평가 모듈(500)의 조합은 가상 교정 및 검증의 범주에서 테스트 케이스(Ti)를 처리하기 위한 기초를 형성한다. 테스트 에이전트(220)에 의해 생성된 테스트 케이스(Ti)는 시뮬레이션 모듈(400)에서 시뮬레이션되며, 상기 시뮬레이션 모듈은 필요한 정보를 얻기 위해 교정 파라미터 데이터베이스(320) 및 시나리오 데이터베이스(330)에 액세스할 수 있다. 성공적인 시뮬레이션 후, 시뮬레이션 결과(450)는 평가 모듈(500)로 전달된다. 평가 모듈(500)은 시뮬레이션 결과(450)의 평가 결과(550)를 평가 데이터베이스(340) 및 시나리오 데이터베이스(330)에 저장하기 위해 그곳에 액세스할 수 있다. 시뮬레이션 모듈(400)과 평가 모듈(500)은 모두 교체 가능한 하위 모듈을 포함하므로, 상이한 기능 및 용례에 대한 조정뿐만 아니라 하위 모듈의 별도 개발도 가능하다.
제1 테스트 케이스(Ti)로 제1 시뮬레이션 사이클의 실행 후, 제1 시뮬레이션 실행의 시뮬레이션 결과(450) 및 계산 결과에 맞게 조정된 테스트 전략(230)을 사용하여 테스트 에이전트(220)에 의해 제2 테스트 케이스(Tk)가 생성된다. 이러한 제2 테스트 케이스(Tk)로 새로운 시뮬레이션 실행이 시작된다. 평가 결과(550)에 따라, 제2 테스트 케이스(Tk)가 특정 평가 기준을 충족하는지 여부 또는 추가 시뮬레이션 사이클을 수행하는 데 테스트 전략(230)의 추가 조정이 필요한지 여부가 결정된다. 평가 결과(550)에서 시뮬레이션 결과(450)가 수렴하는 것으로 나타나면, 마지막 시뮬레이션 사이클의 테스트 케이스(Tk)가 출력 모듈(700)에 전달된다.
그런 다음, 평가 모듈(500)에 의해 KPI 및 SQC의 형태로 생성된 평가 결과(550)에 기초하여, 마지막 시뮬레이션 사이클의 테스트 케이스(Tk)에 대해, 지정된 운전 작업을 수행하기 위한 첨단 운전자 보조 시스템(ADAS) 및/또는 자동화된 운전 시스템(ADS) 및/또는 운전 기능에 대한 교정 파라미터(Pcali)의 최적의 데이터세트가 결정될 수 있다. 이러한 교정 파라미터(Pcali)의 데이터세트는, 지정된 운전 작업을 위한 첨단 운전자 보조 시스템(ADAS) 및/또는 자동화된 운전 시스템(ADS) 및/또는 운전 기능의 거동을 정의하고, 그런 다음 출력 결과(750)로서 출력 모듈(700)에 의해 출력될 수 있다. 또한, 출력 결과(750)는 수행된 시뮬레이션에 관한 정보를 포함한다. 따라서, 출력 결과(750)의 품질은 시나리오 설명의 품질 및 시뮬레이션의 유형뿐만 아니라 평가 메트릭의 정의에 따라서도 좌우된다.
시뮬레이션 모듈(400)은 상이한 하위 모듈(410, 420, 430)을 포함하기 때문에, 하위 모듈의 교체를 통해 상이한 ADAS 및 ADS에 대한 간단한 적응이 수행될 수 있다. 또한, 하위 모듈(410, 420, 430)은 서로 독립적으로 개발되고 검증될 수 있어서, 전체 공정의 품질을 더 높일 수 있다. 따라서, 시뮬레이션 모듈(400)은 교체 가능한 하위 모듈(410, 420, 430)에 의해 상이한 용례에 맞게 조정될 수 있다. 상이한 운전 작업은 테스트 에이전트(220)의 테스트 전략(230)의 변경을 통해 간단하게 구현될 수 있다.
도 3에는, 지정된 운전 작업을 위한 첨단 운전자 보조 시스템(ADAS) 및/또는 자동화된 운전 시스템(ADS)을 교정하고 검증하기 위한 방법 단계가 적어도 하나의 시나리오(SZi)에 도시되어 있다.
S10 단계에서, 제1 테스트 케이스(Ti)는 테스트 에이전트(220)에 의해, 운전 작업을 위한 테스트 전략(230)을 사용하여 파라미터화된 시나리오(SZpi) 및 시나리오 파라미터(Pci) 뿐만 아니라 교정 파라미터(Pcali)를 선택함으로써 생성된다.
S20 단계에서, 선택된 제1 테스트 케이스(Ti)가 시뮬레이션 모듈(400)로 전달된다.
S30 단계에서, 시뮬레이션 결과(450)를 결정하기 위해 시뮬레이션 모듈(400)에 의해 시뮬레이션이 수행된다.
S40 단계에서, 시뮬레이션 결과(450)가 평가 모듈(500)로 전달된다.
S50 단계에서, 평가 결과(550)를 결정하기 위해 평가 모듈(500)에 의해 시뮬레이션 결과(450)의 평가가 수행된다.
S60 단계에서, 시뮬레이션 결과(450) 및 평가 결과(550)에 맞게 테스트 전략(230)이 조정된다.
S70 단계에서, 테스트 에이전트(220)에 의해 상기 조정된 테스트 전략(230)을 사용하여 제2 테스트 케이스(Tk)가 생성된다.
S80 단계에서, 제2 테스트 케이스(Tk)에 대한 새로운 시뮬레이션 사이클이 시작된다.
S90 단계에서, 특정 평가 기준이 충족되지 않는 경우, 추가 시뮬레이션 사이클을 수행하기 위한 테스트 전략(230)의 조정이 반복된다.
S100 단계에서, 특정 평가 기준이 충족되는 경우, 마지막 시뮬레이션 사이클의 테스트 케이스(Tk)가 출력 모듈(700)로 전달된다.
S110 단계에서, 테스트 케이스(Tk)로부터의 출력 결과(750)는 교정 및 검증 목적으로, 특히 지정된 운전 작업을 수행하기 위한 첨단 운전자 보조 시스템(ADAS) 및/또는 자동화된 운전 시스템(ADS) 및/또는 운전 기능에 대한 교정 파라미터(Pcali)의 형태로, 출력 모듈(200)에 의해 생성되고 출력된다.
도 4는 본 발명의 제1 양태에 따른 방법을 수행하도록 구성된 실행 프로그램 코드(950)를 포함하는 컴퓨터 프로그램 제품(900)을 개략적으로 나타낸다.
본 발명에 의해, ADAS/ADS의 가상 교정 및 검증을 위한 교정 파라미터의 최적의 세트가 모듈식 구조의 모듈을 사용하여 생성될 수 있다. 이들 모듈이 서로 독립적으로 개발되고 테스트될 수 있어서, 전체 프로세스의 품질이 증대될 수 있다. 필요한 모듈을 통합하고 연결함으로써, 본 발명에 따른 시스템(100)은 ADAS/ADS의 가상 교정 및 검증을 목표한 대로 효율적으로 수행할 수 있다. 이를 통해, 표준 교통 상황뿐만 아니라 특정 코너 케이스도 포함하는 테스트 경로의 실제 주행을 줄일 수 있기 때문에, 리소스가 절약될 수 있다.
10
자동차
100 시스템
200 테스트 에이전트 모듈
220 테스트 에이전트
230 테스트 전략
300 테스트 데이터베이스
320 교정 파라미터 데이터베이스
330 시나리오 데이터베이스
340 평가 데이터베이스
400 시뮬레이션 모듈
410 환경 모델 모듈
420 운전자 모델 모듈
430 차량 모델 모듈
440 운전 기능 모듈
450 시뮬레이션 결과
470 센서
480 데이터베이스
500 평가 모듈
510 기능 평가 모듈
520 시뮬레이션 평가 모듈
550 평가 결과
700 출력 모듈
750 출력 데이터
900 컴퓨터 프로그램 제품
950 프로그램 코드
100 시스템
200 테스트 에이전트 모듈
220 테스트 에이전트
230 테스트 전략
300 테스트 데이터베이스
320 교정 파라미터 데이터베이스
330 시나리오 데이터베이스
340 평가 데이터베이스
400 시뮬레이션 모듈
410 환경 모델 모듈
420 운전자 모델 모듈
430 차량 모델 모듈
440 운전 기능 모듈
450 시뮬레이션 결과
470 센서
480 데이터베이스
500 평가 모듈
510 기능 평가 모듈
520 시뮬레이션 평가 모듈
550 평가 결과
700 출력 모듈
750 출력 데이터
900 컴퓨터 프로그램 제품
950 프로그램 코드
Claims (15)
- 적어도 하나의 시나리오(SZi)에서 지정된 운전 작업을 위한 첨단 운전자 보조 시스템(ADAS) 및/또는 자동화된 운전 시스템(ADS) 및/또는 운전 기능을 교정하고 검증하기 위한 방법이며,
시나리오(SZi)는 교통 이벤트를 시간 순서로 나타내고 파라미터(P1,P2,…,Pn) 및 연관된 파라미터 값(PV1,PV2,…,PVn)의 선택에 의해 정의되며, 파라미터화된 시나리오(SZpi)에서 상기 파라미터(P1,P2,…,Pn) 및 연관된 파라미터 값(PV1,PV2,…,PVn)이 자유롭게 선택될 수 있고, 구체적 시나리오(SZci)에서 시나리오 파라미터(Pc1,Pc2,…,Pcn) 및 연관된 시나리오 파라미터 값(PVc1,PVc2,…,PVcn)이 설정되며, 상기 방법은:
- 운전 작업을 위한 테스트 전략(230)을 사용하여 파라미터화된 시나리오(SZpi) 및 시나리오 파라미터(Pci)뿐만 아니라 교정 파라미터(Pcali)를 선택함으로써 테스트 에이전트(220)에 의해 제1 테스트 케이스(Ti)를 생성하는 단계(S10);
- 선택된 제1 테스트 케이스(Ti)를 시뮬레이션 모듈(400)에 전달하는 단계(S20);
- 시뮬레이션 결과(450)를 결정하기 위해 시뮬레이션 모듈(400)에 의해 시뮬레이션을 수행하는 단계(S30);
- 시뮬레이션 결과(450)를 평가 모듈(500)에 전달하는 단계(S40);
- 평가 결과(550)를 결정하기 위해 평가 모듈(500)에 의해 시뮬레이션 결과(450)의 평가를 수행하는 단계(S50);
- 시뮬레이션 결과(450) 및 평가 결과(550)에 맞게 상기 테스트 전략(230)을 조정하는 단계(S60);
- 조정된 테스트 전략(230)을 사용하여 테스트 에이전트(220)에 의해 제2 테스트 케이스(Tk)를 생성하는 단계(S70);
- 제2 테스트 케이스(Tk)에 대한 새로운 시뮬레이션 사이클을 시작하는 단계(S80);
- 특정 평가 기준이 충족되지 않는 경우, 추가 시뮬레이션 사이클의 수행을 위한 테스트 전략(230)의 조정을 반복하는 단계(S90); 또는
- 특정 평가 기준이 충족되는 경우, 상기 마지막 시뮬레이션 사이클의 테스트 케이스(Tk)를 출력 모듈(700)에 전달하는 단계(S100);
- 상기 출력 모듈(200)로부터 교정 및 검증을 목적으로 상기 테스트 케이스(Tk)를 토대로, 특히 지정된 운전 작업을 수행하기 위한 첨단 운전자 보조 시스템(ADAS) 및/또는 자동화된 운전 시스템(ADS) 및/또는 운전 기능에 대한 교정 파라미터(Pcali)의 형태로 출력 결과(750)를 생성하고 출력하는 단계(S110)를 포함하는, 방법. - 제1항에 있어서, 시뮬레이션 모듈(400)은 교체 가능한 하위 모듈(410, 420, 430)을 포함하고, 제1 하위 모듈(410)은 환경 모델 모듈로서, 제2 하위 모듈(420)은 운전자 모델 모듈로서, 그리고 제3 하위 모듈(430)은 차량 모델 모듈로서 구성되는, 방법.
- 제1항 또는 제2항에 있어서, 시뮬레이션 모듈(400) 및/또는 하위 모듈(410, 420, 430)은 시뮬레이션 모델을 생성하기 위한 추가 정보를 얻기 위해 센서(470) 및/또는 데이터베이스(450)에 연결되며, 상기 시뮬레이션 모델은 운전 보조 기능의 시뮬레이션의 수행을 위해 운전 기능 모듈(440)에 전달되는, 방법.
- 제1항 내지 제3항 중 어느 한 항에 있어서, 평가 모듈(500)은 성능 지표(KPI)를 사용하여 운전 기능의 성능과 안전성을 결정하기 위한 운전 기능 평가 모듈(520) 및 시뮬레이션 품질 기준(SQC)을 사용하여 시뮬레이션의 품질을 결정하기 위한 시뮬레이션 평가 모듈(520)을 포함하고, 상기 평가 결과(550)가 성능 지표(KPI) 및 시뮬레이션 품질 기준(SC)을 포함하는, 방법.
- 제1항 내지 제4항 중 어느 한 항에 있어서, 테스트 케이스(Ti)는 테스트 데이터베이스(300)에 저장되고, 교정 파라미터(Pcali)는 교정 파라미터 데이터베이스(320)에 저장되고, 파라미터화된 시나리오(SZpi) 및 시나리오 파라미터(Pci)는 시나리오 데이터베이스(330)에 저장되고, 평가 결과(550)는 평가 데이터베이스(340)에 저장되는, 방법.
- 제1항 내지 제5항 중 어느 한 항에 있어서, 테스트 전략(230) 및/또는 테스트 에이전트(220)는 인공 지능의 계산 방법 및/또는 알고리즘을 갖는 적어도 하나의 소프트웨어 애플리케이션을 사용하는, 방법.
- 제6항에 있어서, 상기 알고리즘 및 계산 방법은 평균값, 최소값 및 최대값, 룩업 테이블, 기대값 모델, 선형 회귀 방법, 가우시안 프로세스, 고속 푸리에 변환, 적분 및 미분 계산, 마르코프 방법, 몬테 카를로 방법과 같은 확률 방법, 시간차 학습, 확장 칼만 필터, 방사형 기저 함수, 데이터 필드, 수렴 신경망, 심층 신경망, 및/또는 피드백 신경망으로 구성되는, 방법.
- 제1항 내지 제7항 중 어느 한 항에 있어서, 파라미터(Pi)는 물리적 변수, 화학적 변수, 토크, 회전 속도, 전압, 전류 세기, 가속도, 속도, 제동 값, 방향, 각도, 반경, 위치, 숫자, 움직이는 물체(예컨대 자동차, 사람 또는 자전거 운행자), 정지된 물체(예컨대 건물 또는 나무), 도로 구성요소(예컨대 고속도로, 도로 표지판, 신호등, 터널, 회전 교차로, 분기 차로), 교통량, 지형 구조(예컨대 경사로), 시간, 온도, 강수량, 날씨 및/또는 계절을 나타내는, 방법.
- 제1항 내지 제8항 중 어느 한 항에 있어서, 센서(470)는 레이더 시스템; LIDAR 광학 거리 및 속도 측정 시스템; 가시광선, IR 및/또는 UV 영역의 이미지 기록 2D/3D 카메라; GPS 시스템; 가속도계; 속도 센서; 용량성 센서; 유도 센서; 전압 센서; 토크 센서; 강우량 센서; 및/또는 온도 센서로서 구성되는, 방법.
- 적어도 하나의 시나리오(SZi)에서 지정된 운전 작업을 위한 첨단 운전자 보조 시스템(ADAS) 및/또는 자동화된 운전 시스템(ADS) 및/또는 운전 기능을 교정하고 검증하기 위한 시스템(100)이며,
시나리오(SZi)는 교통 이벤트를 시간 순서로 나타내고 파라미터(P1,P2,…,Pn) 및 연관된 파라미터 값(PV1,PV2,…,PVn)의 선택에 의해 정의되며, 파라미터화된 시나리오(SZpi)에서 파라미터(P1,P2,…,Pn) 및 연관된 파라미터 값(PV1,PV2,…,PVn)이 자유롭게 선택될 수 있고, 구체적 시나리오(SZci)에서 파라미터(Pc1,Pc2,…,Pcn) 및 연관된 파라미터 값(PVc1,PVc2,…,PVcn)이 정의되며, 상기 시스템은 테스트 에이전트(220) 및 테스트 전략(230)을 갖는 테스트 모듈(200), 시뮬레이션 모듈(400), 평가 모듈(500) 및 출력 모듈(700)을 포함하며, 상기 테스트 에이전트(220)는, 운전 작업에 대한 테스트 전략(230)을 사용하여 파라미터화된 시나리오(SZpi) 및 시나리오 파라미터(Pci)뿐만 아니라 교정 파라미터(Pcali)를 선택함으로써 제1 테스트 케이스(Ti)를 생성하고 상기 선택된 제1 테스트 케이스(Ti)를 상기 시뮬레이션 모듈(400)에 전달하도록 구성되며; 상기 시뮬레이션 모듈(400)은, 시뮬레이션 결과(450)를 결정하기 위해 시뮬레이션을 수행하고 상기 시뮬레이션 결과(450)를 상기 평가 모듈(500)에 전달하도록 구성되며; 상기 평가 모듈(50)은 평가 결과(550)를 결정하기 위해 상기 시뮬레이션 결과(450)의 평가를 수행하도록 구성되며; 상기 테스트 모듈(200)은, 상기 시뮬레이션 결과(450) 및 상기 평가 결과(550)에 맞게 테스트 전략(230)을 조정하고, 상기 조정된 테스트 전략(230)을 사용하여 테스트 에이전트(220)에 의해 제2 테스트 케이스(Tk)를 생성하여 제2 테스트 케이스(Tk)에 대한 새로운 시뮬레이션 사이클을 시작하며, 특정 평가 기준이 충족되지 않는 경우, 추가 시뮬레이션 사이클을 수행하기 위한 테스트 전략(230)의 조정을 반복하거나, 특정 평가 기준이 충족되는 경우, 상기 적어도 마지막 시뮬레이션 사이클의 테스트 케이스(Tk)를 출력 모듈(700)에 전달하도록 구성되며; 상기 출력 모듈(700)은, 적어도 마지막 시뮬레이션 사이클의 테스트 케이스(Tk)를 토대로 교정 및 검증을 목적으로, 상기 지정된 운전 작업을 수행하기 위한 첨단 운전자 보조 시스템(ADAS) 및/또는 자동화된 운전 시스템(ADS) 및/또는 운전 기능에 대한 교정 파라미터(Pcali)의 형태로 출력 결과(750)를 생성하고 출력하도록 구성되는, 시스템(100). - 제10항에 있어서, 시뮬레이션 모듈(400)은 교체 가능한 하위 모듈(410, 420, 430)을 포함하고, 제1 하위 모듈(410)은 환경 모델 모듈로서, 제2 하위 모듈(420)은 운전자 모델 모듈로서, 그리고 제3 하위 모듈(430)은 차량 모델 모듈로서 구성되는, 시스템(100).
- 제10항 또는 제11항에 있어서, 시뮬레이션 모듈(400) 및/또는 하위 모듈(410, 420, 430)은 시뮬레이션 모델을 생성하기 위한 추가 정보를 획득하기 위해 센서(470) 및/또는 데이터베이스(450)에 연결되고, 상기 시뮬레이션 모델은 상기 운전 보조 기능의 시뮬레이션을 수행하기 위해 운전 기능 모듈(440)에 전달되는, 시스템(100).
- 제10항 내지 제12항 중 어느 한 항에 있어서, 평가 모듈(500)은 성능 지표(KPI)를 사용하여 운전 기능의 성능과 안전성을 결정하기 위한 운전 기능 평가 모듈(520) 및 시뮬레이션 품질 기준(SQC)을 사용하여 시뮬레이션의 품질을 결정하기 위한 시뮬레이션 평가 모듈(520)을 포함하고, 평가 결과(550)는 성능 지표(KPI) 및 시뮬레이션 품질 기준(SQC)을 포함하는, 시스템(100).
- 제10항 내지 제13항 중 어느 한 항에 있어서, 테스트 케이스(Ti)는 테스트 데이터베이스(300)에 저장되고, 교정 파라미터(Pcali)는 교정 파라미터 데이터베이스(320)에 저장되고, 파라미터화된 시나리오(SZpi) 및 시나리오 파라미터(Pci)는 시나리오 데이터베이스(330)에 저장되고, 평가 결과(550)는 평가 데이터베이스(340)에 저장되며; 테스트 전략(230) 및/또는 테스트 에이전트(220)는 인공 지능의 계산 방법 및/또는 알고리즘을 갖는 적어도 하나의 소프트웨어 애플리케이션을 사용하는, 시스템(100).
- 제1항 내지 제9항 중 어느 한 항에 따른 방법을 실행하도록 구성된 실행 가능한 프로그램 코드(950)를 포함하는 컴퓨터 프로그램 제품(900).
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102022112059.7 | 2022-05-13 | ||
| DE102022112059.7A DE102022112059B3 (de) | 2022-05-13 | 2022-05-13 | Verfahren, System und Computerprogrammprodukt zur Kalibrierung und Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230159308A true KR20230159308A (ko) | 2023-11-21 |
Family
ID=85773338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230061444A KR20230159308A (ko) | 2022-05-13 | 2023-05-12 | 첨단 운전자 보조 시스템(adas) 및/또는 자동화된 운전 시스템(ads)을 교정하고 검증하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230365145A1 (ko) |
| JP (1) | JP2023168244A (ko) |
| KR (1) | KR20230159308A (ko) |
| CN (1) | CN117056153A (ko) |
| DE (1) | DE102022112059B3 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116187101B (zh) * | 2023-04-26 | 2023-07-04 | 深圳佑驾创新科技有限公司 | 一种基于Prescan构建EHP的验证方法 |
| CN116502142B (zh) * | 2023-07-03 | 2023-08-25 | 北京航空航天大学 | 一种基于输入特征参数选择的驾驶风格识别方法 |
| CN117975736B (zh) * | 2024-03-29 | 2024-06-07 | 北京市计量检测科学研究院 | 一种无人驾驶车辆车路协同应用场景测试方法及*** |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070236502A1 (en) | 2006-04-07 | 2007-10-11 | Huang Paul C | Generic visualization system |
| US20190235521A1 (en) | 2018-02-01 | 2019-08-01 | GM Global Technology Operations LLC | System and method for end-to-end autonomous vehicle validation |
| DE102019211009B4 (de) | 2019-07-25 | 2022-08-25 | Zf Friedrichshafen Ag | Verfahren und Computerprogramm zum Simulieren eines autonomen Fahrzeugs in einer Mehrzahl von Testfällen |
| GB202008353D0 (en) | 2020-06-03 | 2020-07-15 | Five Ai Ltd | Simulation in autonomous driving |
| US20230234613A1 (en) | 2020-06-03 | 2023-07-27 | Five AI Limited | Testing and simulation in autonomous driving |
-
2022
- 2022-05-13 DE DE102022112059.7A patent/DE102022112059B3/de active Active
-
2023
- 2023-04-07 CN CN202310366494.4A patent/CN117056153A/zh active Pending
- 2023-04-10 US US18/132,476 patent/US20230365145A1/en active Pending
- 2023-04-18 JP JP2023067735A patent/JP2023168244A/ja active Pending
- 2023-05-12 KR KR1020230061444A patent/KR20230159308A/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| CN117056153A (zh) | 2023-11-14 |
| DE102022112059B3 (de) | 2023-04-20 |
| JP2023168244A (ja) | 2023-11-24 |
| US20230365145A1 (en) | 2023-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ma et al. | Artificial intelligence applications in the development of autonomous vehicles: A survey | |
| JP7075366B2 (ja) | 運転場面データを分類するための方法、装置、機器及び媒体 | |
| Van Brummelen et al. | Autonomous vehicle perception: The technology of today and tomorrow | |
| Chen et al. | A novel integrated simulation and testing platform for self-driving cars with hardware in the loop | |
| KR20230159308A (ko) | 첨단 운전자 보조 시스템(adas) 및/또는 자동화된 운전 시스템(ads)을 교정하고 검증하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품 | |
| CN110796007B (zh) | 场景识别的方法与计算设备 | |
| CN112703459A (zh) | 对抗场景的迭代生成 | |
| Belbachir et al. | Simulation-driven validation of advanced driving-assistance systems | |
| US20230150529A1 (en) | Dynamic sensor data augmentation via deep learning loop | |
| WO2020079698A1 (en) | Adas systems functionality testing | |
| Niranjan et al. | Deep learning based object detection model for autonomous driving research using carla simulator | |
| US12024207B2 (en) | Vehicle autonomous mode operating parameters | |
| KR20220054743A (ko) | 서브시스템 성능 평가를 위한 메트릭 역전파 | |
| EP3722907B1 (en) | Learning a scenario-based distribution of human driving behavior for realistic simulation model and deriving an error model of stationary and mobile sensors | |
| KR20220054534A (ko) | 거동 규칙 검사를 사용한 차량 작동 | |
| KR20220136006A (ko) | 자율 주행 차량의 성능을 평가하기 위한 테스트 시나리오의 선택 | |
| Bruggner et al. | Model in the loop testing and validation of embedded autonomous driving algorithms | |
| Song et al. | Identifying critical test scenarios for lane keeping assistance system using analytic hierarchy process and hierarchical clustering | |
| Swief et al. | A survey of automotive driving assistance systems technologies | |
| Abraham et al. | Recent trends in autonomous vehicle validation ensuring road safety with emphasis on learning algorithms | |
| CN116466697A (zh) | 用于运载工具的方法、***以及存储介质 | |
| Cao et al. | End-to-end adaptive cruise control based on timing network | |
| WO2023039193A1 (en) | Search algorithms and safety verification for compliant domain volumes | |
| US20220261519A1 (en) | Rare event simulation in autonomous vehicle motion planning | |
| US20240043022A1 (en) | Method, system, and computer program product for objective assessment of the performance of an adas/ads system |