KR20200101441A - 환경 센서의 행동 모델 - Google Patents

환경 센서의 행동 모델 Download PDF

Info

Publication number
KR20200101441A
KR20200101441A KR1020207021403A KR20207021403A KR20200101441A KR 20200101441 A KR20200101441 A KR 20200101441A KR 1020207021403 A KR1020207021403 A KR 1020207021403A KR 20207021403 A KR20207021403 A KR 20207021403A KR 20200101441 A KR20200101441 A KR 20200101441A
Authority
KR
South Korea
Prior art keywords
data
sensor
test
environmental sensor
stream
Prior art date
Application number
KR1020207021403A
Other languages
English (en)
Inventor
크마이드 사드
마이클 폴웨버
Original Assignee
아베엘 리스트 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아베엘 리스트 게엠베하 filed Critical 아베엘 리스트 게엠베하
Publication of KR20200101441A publication Critical patent/KR20200101441A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423—Input/output
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06K9/00791—
    • G06K9/6262—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/23—Pc programming
    • G05B2219/23446—HIL hardware in the loop, simulates equipment to which a control module is fixed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

본 발명은 운전자 보조 시스템의 환경 센서를 시뮬레이션하기 위해 인공 신경망을 학습시키기 위한 컴퓨터-지원 방법에 관한 것으로, 상기 방법은 바람직하게는 하기 단계들을 포함한다: 시험 주행의 교통 시나리오를 판독하는 단계; 시험 주행 데이터와 상기 교통 시나리오로부터 환경 센서에 의해 출력될 센서 데이터를 도출하는 단계; 상기 환경 센서를 중심으로 교통 시나리오를 나타내는 데이터 스트림, 특히 이미지 스트림을 생성하는 단계; 상기 환경 센서가 데이터 스트림을 기반으로 센서 데이터를 생성할 수 있고 이를 시험 주행 데이터와 출력할 센서 데이터가 또한 제공되는 데이터 인터페이스에 제공할 수 있도록 데이터 스트림을 출력하는 단계; 및 상기 제공된 데이터를 인공 신경망에서 판독하는 단계.

Description

환경 센서의 행동 모델
본 발명은 운전자 보조 시스템의 환경 센서를 시뮬레이션하기 위해 인공 신경망을 학습시키기 위한 방법에 관한 것이다. 본 발명은 또한 이러한 환경 센서를 분석하기 위한 방법 및 이러한 환경 센서를 시뮬레이션하기 위한 방법에 관한 것이다.
최근 자동차의 복잡성으로 인해 가급적 개발 초기 단계에서 구성요소들을 공동으로 테스트할 수 있어야 한다. 다양한 구성요소들의 상호작용에 대한 이러한 테스트는 시제품을 사용하기 전에 테스트 스탠드에서 구성요소를 시뮬레이션하여 작동시키거나 적어도 일부 모델 기반 시뮬레이션 또는 완전한 모델 기반 시뮬레이션을 통해 수행할 수 있다. 이러한 모델 기반 시뮬레이션에서 적어도 하나의 구성요소의 작동은 모델을 사용하여 시뮬레이션된다.
모델을 기반으로 시뮬레이션된 구성요소는 일반적으로 물리적 모델을 사용하여 모델링된다. 이를 위해 특히 구성요소가 모델 내 가상 센서로서 표시되는 센서인 경우에 상당히 높은 수준의 추상적 개념(abstraction)이 필요하다.
게다가 일부 구성요소의 경우에는 정확한 사양을 얻는 것이 어렵다. 특히 센서의 경우에, 구체적으로 운전자 보조 시스템에 포함되거나 통합되어 있는 센서의 경우에 공급자는 종종 파라미터화 또는 물리적 모델의 형성에 필요한 데이터를 제공하지 않고 있다. 이러한 센서, 특히 환경 센서는 바람직하게는 센서 하드웨어와 바람직하게는 운전자 보조 시스템에 대한 추가 처리를 위해 측정 신호를 데이터 처리 알고리즘에 의해 처리하는 데이터 처리부를 포함한다.
문헌 US 2009/0112334 A1은 기계의 제어 시스템을 위한 방법에 관한 것이다. 상기 방법은 센서에 의해 감지된 적어도 하나의 파라미터와 기계에 대해 측정된 다수의 파라미터 사이의 상호관계를 특징짓는 가상의 센서 모델을 제공하는 단계를 포함할 수 있다.
본 발명의 과제는 운전자 보조 시스템의 환경 센서의 시뮬레이션을 개선할 수 있는 방법을 제공하는 것이다. 특히 본 발명의 과제는 시뮬레이션 모델로부터 출력된 데이터가 가상 또는 실제 운전자 보조 시스템을 시험 검증하기 위한 가상의 시험 주행에 적합하도록 센서의 작동을 정확하게 시뮬레이션하는 것이다.
상기 과제는 청구범위 제1항에 따른 인공 신경망을 학습시키기 위한 방법, 제2항에 따른 환경 센서를 분석하기 위한 방법, 제4항에 따른 환경 센서를 시뮬레이션하기 위한 방법, 제10항에 따른 인공 신경망을 학습시키기 위한 장치, 제11항에 따른 운전자 보조 시스템의 환경 센서를 분석하기 위한 장치 및 제12항에 따른 운전자 보조 시스템의 환경 센서를 시뮬레이션하기 위한 장치에 의해 해결된다. 종속항에는 유리한 실시예들이 청구되어 있다. 청구범위의 교시 내용은 상세한 설명의 일부를 구성한다는 점을 명확히 한다.
본 발명의 제1 측면은 운전자 보조 시스템의 환경 센서를 시뮬레이션하기 위해 인공 신경망을 학습시키기 위한 방법에 관한 것으로서, 상기 방법은 바람직하게는 하기 단계들을 포함한다:
시험 주행의 교통 시나리오를 판독하는 단계;
시험 주행 데이터와 상기 교통 시나리오로부터 환경 센서에 의해 출력될 센서 데이터를 도출하는 단계;
상기 환경 센서를 중심으로 교통 시나리오를 나타내는 데이터 스트림, 특히 이미지 스트림을 생성하는 단계;
상기 환경 센서가 데이터 스트림을 기반으로 센서 데이터를 생성할 수 있고 이를 시험 주행 데이터와 출력할 센서 데이터가 또한 제공되는 데이터 인터페이스에 제공할 수 있도록 데이터 스트림을 출력하는 단계; 및
상기 제공된 데이터를 인공 신경망에서 판독하는 단계.
본 발명의 제2 측면은 운전자 보조 시스템의 환경 센서를 시뮬레이션하기 위해 인공 신경망을 학습시키기 위한 관련 시스템에 관한 것으로, 상기 시스템은 바람직하게는:
시험 주행의 교통 시나리오를 판독하기 위한 인터페이스;
시험 주행 데이터와 상기 교통 시나리오로부터 환경 센서에 의해 출력될 센서 데이터를 도출하기 위한 수단;
상기 환경 센서를 중심으로 교통 시나리오를 나타내는 데이터 스트림, 특히 이미지 스트림을 생성하기 위한 수단, 특히 그래픽 카드;
상기 환경 센서가 데이터 스트림을 기반으로 센서 데이터를 생성할 수 있는 방식으로 데이터 스트림을 출력하기 위한 인터페이스, 특히 디스플레이; 및
상기 생성된 센서 데이터, 시험 주행 데이터 및 출력될 센서 데이터가 인공 신경망에 제공될 수 있는 데이터 인터페이스를 포함한다.
본 발명의 제3 측면은 운전자 보조 시스템의 환경 센서를 분석하기 위한 방법에 관한 것으로서, 상기 방법은 바람직하게는 하기 단계들을 포함한다:
다수의 시험 주행의 교통 시나리오를 판독하는 단계;
시험 주행 데이터와 상기 교통 시나리오로부터 환경 센서에 의해 출력될 센서 데이터를 도출하는 단계;
상기 환경 센서를 중심으로 교통 시나리오를 나타내는 데이터 스트림, 특히 이미지 스트림을 생성하는 단계;
상기 데이터 스트림을 환경 센서로 출력하여 상기 데이터 스트림을 기반으로 센서 데이터를 생성하는 단계;
상기 시험 주행 데이터, 출력될 센서 데이터와 환경 센서에 의해 생성된 센서 데이터를 기초로 인공 신경망을 사용하여 보상 계산을 수행하는 단계; 및
상기 보상 계산을 기반으로 하되 시험 주행의 데이터 스트림을 기반으로 센서 데이터를 시뮬레이션하고 출력하도록 구성된 시뮬레이션 모델을 사용하는 단계.
본 발명의 제4 측면은 운전자 보조 시스템의 환경 센서를 분석하기 위한 관련 시스템에 관한 것으로, 상기 시스템은 바람직하게는:
다수의 시험 주행의 교통 시나리오를 판독하기 위한 인터페이스;
시험 주행 데이터와 상기 교통 시나리오로부터 환경 센서에 의해 출력될 센서 데이터를 도출하기 위한 수단;
상기 환경 센서를 중심으로 교통 시나리오를 나타내는 데이터 스트림, 특히 이미지 스트림을 생성하기 위한 수단, 특히 그래픽 카드;
상기 환경 센서에 데이터 스트림을 출력하여 데이터 스트림을 기반으로 센서 데이터를 생성하기 위한 인터페이스, 특히 디스플레이;
시험 주행 시뮬레이션 데이터, 생성될 센서 데이터와 환경 센서에 의해 생성된 센서 데이터를 기초로 인공 신경망을 사용하여 보상 계산을 수행하기 위한 수단;
상기 보상 계산을 기반으로 하되 소정의 시험 주행의 데이터 스트림, 특히 이미지 스트림을 기반으로 센서 데이터를 시뮬레이션하도록 구성된 시뮬레이션 모델에 의해 센서 데이터를 결정하기 위한 수단; 및
상기 시뮬레이션 모델에 의해 결정된 센서 데이터를 출력하기 위한 데이터 인터페이스를 포함한다.
본 발명의 제5 측면은 운전자 보조 시스템의 환경 센서를 시뮬레이션하기 위한 방법에 관한 것으로서, 바람직하게는 하기 단계를 포함한다:
환경 센서를 중심으로 시험 주행을 나타내는 데이터 스트림을 감지하는 단계;
상기 시험 주행의 데이터 스트림을 기반으로 센서 데이터를 시뮬레이션하도록 구성되고 다수의 다양한 시험 주행의 시험 주행 데이터와 데이터 스트림 및 상기 시험 주행시 환경 센서에 의해 생성된 센서 데이터를 기초로 인공 신경망에 의한 보상 계산을 기반으로 하는 시뮬레이션 모델을 사용하여 센서 데이터를 결정하는 단계; 및
상기 시뮬레이션 모델을 사용하여 결정된 센서 데이터를 출력하는 단계.
본 발명의 제6 측면은 운전자 보조 시스템의 환경 센서를 시뮬레이션하기 위한 관련 시스템에 관한 것으로서, 바람직하게는:
환경 센서를 중심으로 시험 주행을 나타내는 데이터 스트림을 감지하기 위한 인터페이스, 특히 카메라;
소정의 시험 주행의 데이터 스트림을 기반으로 센서 데이터를 시뮬레이션하도록 구성되고 다수의 다양한 시험 주행의 시험 주행 데이터와 데이터 스트림 및 상기 시험 주행(R)시 환경 센서에 의해 생성된 센서 데이터를 기초로 인공 신경망에 의한 보상 계산을 기반으로 하는 시뮬레이션 모델을 사용하여 센서 데이터를 결정하기 위한 수단; 및
상기 시뮬레이션 모델을 사용하여 결정된 센서 데이터를 출력하기 위한 데이터 인터페이스를 포함한다.
본 발명에서 환경 센서는 바람직하게는 운전자 보조 시스템을 포함하는 차량의 환경에 관한 정보를 감지하도록 구성된다. 상기 정보는 바람직하게 온도, 이미지, 특히 광학, 적외선 또는 레이더 이미지, 거리, 습도, 기압, 동압(dynamic pressure), 전자기 방사선, 방사성 방사선, 명도, 가시성으로 이루어진 군으로부터 선택된 적어도 하나의 특성에 관한 것이다.
여기서 상기 환경 센서는 바람직하게는 하드웨어 및/또는 소프트웨어로 구성된다. 상기 환경 센서는 바람직하게는 데이터 처리 알고리즘을 포함한다. 선택적으로 또는 추가로, 상기 환경 센서는 정보를 감지하기 위한 장치를 포함한다.
본 발명에서 시험 주행 데이터의 의미는 바람직하게는 운전자 보조 시스템을 운반하는 차량에 관한 환경 데이터이다. 이때 상기 환경 데이터는 바람직하게는 시뮬레이션될 환경 센서에 의해 감지되지 않는 주변 특성이다. 선택적으로 또는 추가로, 상기 시험 주행 데이터는 차량의 치수와 특성, 특히 도로의 치수를 포함하는 정적 데이터를 포함한다. 추가로 또는 선택적으로, 상기 시험 주행 데이터는 소위 자체 데이터를 포함하며, 여기에는 깜박이 신호, 속도, 가속 및/또는 경사, 흔들림 또는 롤링 이동과 같은 운전자 보조 시스템을 운반하는 차량의 동적 특성이 포함된다.
본 발명의 의미에서 데이터 스트림은 바람직하게는 정보를 포함한다. 보다 바람직하게는, 데이터 스트림은 광학 신호, 전자기 신호, 습도값, 기압값, 동압값, 방사선값, 온도값 또는 명도값이다. 상기 데이터 스트림은 바람직하게는 시간 및/또는 이동 거리에 따른 일련의 정보 수치와 관련이 있다.
본 발명에서 데이터 인터페이스의 의미는 바람직하게는 본 발명에 따른 방법을 각각 수행하는 인공 신경망 또는 장치 및/또는 컴퓨터 프로그램의 일부로 이해된다. 여기서 상기 데이터 인터페이스는 바람직하게는 다수의 서브 인터페이스로 구성될 수 있으며, 상기 서브 인터페이스 각각은 하드웨어 및/또는 소프트웨어에 의해 구성된다.
본 발명에서 수단은 바람직하게는 하드웨어 및/또는 소프트웨어 기술로 구성되며, 특히 바람직하게는 메모리- 및/또는 버스 시스템과 데이터- 또는 신호 결합된, 특히 디지털 처리, 특히 마이크로프로세서 유닛(CPU) 및/또는 하나 이상의 프로그램 또는 프로그램 모듈을 포함한다. 상기 CPU는 메모리 시스템에 저장된 프로그램으로서 구현되는 명령을 처리하고, 데이터 버스로부터의 입력 신호를 감지하고/또는 출력 신호를 데이터 버스로 출력하도록 구성될 수 있다. 메모리 시스템은 하나 이상의, 특히 다양한 메모리 매체, 특히 광학, 자기, 고체 및/또는 그 외 다른 비휘발성 매체를 포함할 수 있다. 상기 프로그램은 본 발명에 기재된 방법들을 구현하거나 실행할 수 있도록 제공될 수 있으며, 상기 CPU는 이러한 방법들의 단계들을 실행할 수 있고 이에 따라 특히 차량 카테고리 내 적어도 하나의 차량의 구조 안정성에 대한 종속 변수를 결정할 수 있다.
본 발명의 의미에서 교통 시나리오는 바람직하게는 도로, 특히 거리 영역과 그 주변에 있는 일군의 도로 이용자들과 물체들이다. 교통 시나리오는 바람직하게는 시간에 따라 잇달아 일어나는 하나 이상의 교통 상황으로 구성된다.
본 발명은 특히 소위 행동 모델을 사용하여 운전자 보조 시스템의 센서를 에뮬레이션하는 방식을 토대로 한다. 이러한 행동 모델은 일반적으로 딥 러닝(deep learning) 방법을 토대로 한다.
행동 모델을 기반으로 하는 시뮬레이션 모델을 사용하면 특히 센서를 정확한 사양을 알지 못해도 모델링할 수 있다. 이는 센서의 소정의 하드웨어 구성요소에 관한 사양과 존재할 수 있는 데이터 처리 알고리즘, 바람직하게는 환경 센서의 일부, 특히 환경 센서의 데이터 처리부 모두에 적용된다. 상기 센서에 대한 시뮬레이션의 특히 정확한 결과를 얻기 위해서 상기 시뮬레이션 모델은 데이터 스트림에 의해 학습되고, 상기 스트림은 각각의 환경 센서의 시각 또는 관점으로부터 각각의 시험 주행을 나타낸다. 또한 상기 모델에는 테스트 데이터 및 센서가 실제로 출력할 센서 데이터가 제공된다.
상기 시뮬레이션될 환경 센서에 의해 출력될 센서 데이터는 경우에 따라서 각각의 시험 주행의 교통 시나리오로부터 얻어진다. 시뮬레이션되거나 또는 가상의 시험 주행인 경우에 상기 데이터는 시뮬레이션 환경으로부터 미리 제공될 수 있고, 실제 시험 주행을 기반으로 하는 교통 시나리오에서는 평가 알고리즘 또는 사람에 의한 수동 평가를 사용할 수 있다.
상기 인공 신경망은 입력 변수(시험 주행 데이터, 출력된 센서 데이터) 및 출력될 출력 변수(출력될 센서 데이터)를 판독함으로써 조금씩 구축될 수 있다.
본 발명에 따른 해결방안은 특히 센서 모델이 환경 센서 각각의 설치 위치와 관련하여 현실적 데이터에 의해 학습될 수 있다는 것을 특징으로 한다.
상기 인공 신경망을 기반으로 한 시뮬레이션 모델은 실제 센서의 실제 작동을 실시간으로 에뮬레이션할 수 있다는 장점도 있다. 따라서 시뮬레이션된 환경 센서의 데이터를 기초로 운전자 보조 시스템에 대한 시험 주행을 실시간으로 수행할 수 있다.
또한 상기 인공 신경망을 기반으로 한 시뮬레이션 모델은 동일한 교통 시나리오에서 시뮬레이션할 환경 센서의 출력의 억제 또는 변경은 서로 다른 환경 조건, 특히 기상 조건 및/또는 환경 센서(US)의 하드웨어의 결함과 같은 장애, 예를 들어 광학계의 오차 또는 습기에 의한 광학계의 김서림 또는 광학계의 오염을 현실적으로 시뮬레이션할 수 있다는 장점을 갖는다. 예를 들어 센서가 물체 리스트(object list)를 생성하는 경우에 이러한 결함 발생시 물체 리스트는 이러한 결함들이 발생하지 않고 생성된 물체 리스트와 실질적으로 상이할 수 있다. 시뮬레이션될 환경 센서에 의한 교통 시나리오의 인식과 관련이 있는 파라미터의 변화와 상황은 다르지만, 시뮬레이션될 환경 센서 자체에 의해 감지되지는 않는다.
이는 본 발명에 따라 상기 시뮬레이션 모델이 소정의 시점에서 출력될 센서 데이터에 의해, 즉 환경 센서에 의한 주행 시나리오의 이상적인 인식, 상기 시점에 출력된 센서 데이터, 즉 환경 센서에 의한 주행 시나리오의 실제 인식, 및 시험 주행 데이터에 의해 학습됨으로써 달성된다.
본 발명의 제7 측면은 운전자 보조 시스템을 분석하기 위한 방법에 관한 것으로서, 바람직하게는 실제 또는 시뮬레이션된 시험 주행 중 운전자 보조 시스템에는 본 발명의 제1, 제3 또는 제5 측면에 따른 방법에 의해 출력된 센서 데이터 및 바람직하게는 차량의 데이터 네트워크, 특히 인식 네트워크 내에서 이용 가능한 다른 가상 또는 실제 센서의 데이터가 공급된다. 이 방법에 의하면, 운전자 보조 시스템 및 시뮬레이션된 환경 센서 및 경우에 따라서 추가 센서로 이루어진 전체 시스템의 성능을 테스트할 수 있다. 상기 시뮬레이션된 센서 및 추가 시뮬레이션된 또는 실제 센서의 데이터는 특히 센서 융합(sensor fusion)에 의해 연결될 수 있다.
본 발명의 제1 및 제3 측면에 따른 방법의 유리한 실시예에 있어서, 상기 인공 신경망이 보상 계산시 고려되지 않은 시험 주행과 관련하여 센서의 기능을 가능한 정확하게 나타내는, 특히 출력될 데이터가 출력된 데이터와 95%, 바람직하게는 98% 일치할 때까지 다양한 시험 주행에 의해 상기 단계들을 반복한다.
본 발명의 제5 측면에 따른 방법의 유리한 실시예에 있어서, 상기 방법은 하기 단계를 더 포함한다:
환경 센서를 중심으로, 특히 교통 시나리오를 토대로 시험 주행을 나타내는 데이터 스트림, 특히 이미지 스트림을 생성하는 단계.
따라서 유리한 실시예에 있어서, 본 발명의 제6 측면에 따른 환경 센서를 시뮬레이션하기 위한 장치는 환경 센서를 중심으로, 특히 시험 주행의 교통 시나리오를 토대로 시험 주행을 나타내는 데이터 스트림, 특히 이미지 스트림을 생성하기 위한 수단을 갖는다.
유리한 실시예에 있어서, 본 발명의 측면들 중 하나에 따른 방법은 하기 단계를 더 포함한다:
환경 센서의 하드웨어에서 데이터 스트림, 특히 이미지 스트림의 손상, 특히 왜곡, 바람직하게는 기상 조건 및/또는 결함을 고려하는 단계. 상기 유리한 실시예에 따르면, 상기 센서 또는 운전자 보조 시스템 자체의 데이터 처리 알고리즘의 성능을 검사하여 결함이 있는 센서 데이터를 무시하거나 작동시 이를 보상할 수 있다.
본 발명의 측면들 중 하나에 따른 방법의 또 다른 유리한 실시예에 있어서, 시험 주행(들)은 바람직하게는 상술한 가능성을 조합하여 테스트 스탠드에서 또는 모델 기반 방식으로 시뮬레이션하거나 또는 실제로 수행된다. 이러한 방식으로 환경 센서 또는 운전자 보조 시스템을 진행 사이클의 모든 단계에서 테스트할 수 있다.
추가 장점 및 특징들은 도면을 참조하여 후술하는 바람직한 실시예로부터 알 수 있다.
도면은 적어도 부분적으로 개략적으로 도시하고 있는 것으로:
도 1은 본 발명의 제2 측면에 따른 장치의 일 실시예를 도시하고 있고;
도 2는 본 발명의 제1 측면에 따른 방법의 일 실시예를 도시하고 있고;
도 3은 본 발명의 제3 측면에 따른 장치의 일 실시예를 도시하고 있고;
도 4는 본 발명의 제3 측면에 따른 방법의 일 실시예 및 본 발명의 제5 측면에 따른 방법의 일 실시예를 도시하고 있고;
도 5는 본 발명의 제6 측면에 따른 장치의 일 실시예를 도시하고 있다.
도 1은 운전자 보조 시스템의 환경 센서(US)를 시뮬레이션하기 위해 인공 신경망(KNN)를 학습시키기 위한 본 발명에 따른 장치의 제1 실시예를 도시하고 있다.
환경 센서(US)로서 광학 카메라를 사용하는 모든 실시예들에 대해 본 발명을 후술하기로 한다. 기본적으로 다른 구성요소들, 특히 다른 (환경) 센서들은 기재된 방법과 시스템을 사용하여 시뮬레이션 및 분석될 수 있다. 이와 관련하여, 레이더 센서, 광선 레이더 센서, 초음파 센서, 온도 센서, 습도 센서, 방사선 센서 등이 예로서 언급될 수 있지만, 이에 한정되는 것은 아니다.
도 2에는 시스템(10)에 의해 수행될 수 있는 해당 방법(100)이 도시되어 있다.
시험 주행(R)의 데이터 또는 시험 주행(R)에서 발생한 교통 시나리오가 시스템(10)에 제공되거나 시스템(10)에 의해 판독된다(101).
상기 시험 주행은 시뮬레이션 시험 주행(R) 또는 시뮬레이션된 교통 시나리오일 수 있으며, 예를 들어 IPG Automotive®의 소프트웨어 CarMaker®에 의해 제공된다. 이와 달리, 차량의 실제 작동 중에 시험 주행(R) 또는 그의 교통 시나리오가 기록될 수 있다.
시험 주행(R)의 교통 시나리오로부터 환경 센서(US)에 의해 인식되고 출력될 "실제" 센서 데이터가 수단(11)에 의해 추출 또는 도출된다(102). 상기 교통 시나리오가 CarMaker®와 같은 시뮬레이션 소프트웨어에 의해 제공되는 경우에, 상기 추출은 실질적으로 시스템(10) 또는 방법(100)에 필요한 시험 주행 데이터 및 시뮬레이션될 환경 센서와 관련된 데이터의 확인으로 구성된다.
광학 카메라와 관련해서는 제공될 물체 리스트일 수 있다. "실제" 물체 리스트는 CarMaker®와 같은 시뮬레이션 소프트웨어로부터 직접 도출될 수 있다(102). 실제 시험 주행을 기록한 교통 시나리오의 경우에는 일반적으로 소위 라벨링(labeling) 기구를 사용하여 물체의 수를 결정해야 한다. 이 작업은 자동으로 수행될 수 있지만, 일반적으로 사람이 데이터가 올바른지 검사해야 한다.
교통 시나리오로부터 도출된(102) 시험 주행 데이터는 예를 들어 환경 데이터, 즉 검사할 환경 센서(US)의 데이터와 같은 다른 센서의 데이터, 정적 데이터, 특히 차량과 도로의 치수 및 자체 데이터, 특히 차량의 동적 데이터와 차량의 다른 상태 데이터, 예를 들어 깜박이등 또는 점등이다. 이때 상기 도출은 수단(12)에 의해 수행될 수 있다.
또한 시험 주행(R)의 교통 시나리오를 토대로 수단(13)에 의해 환경 센서(US)를 중심으로 교통 센서를 나타내는 데이터 스트림, 특히 이미지 스트림이 생성된다(103).
이때 상기 이미지 스트림의 경우에 바람직하게는 시판 중인 그래픽 카드(13) 또는 이러한 그래픽 카드를 위한 특정 그래픽 소프트웨어가 수단(13)으로서 사용될 수 있다.
이러한 방식으로 생성된 이미지 스트림은 카메라(US)에 대한 인터페이스로서 디스플레이(14) 상에 출력된다(105).
경우에 따라서 출력 전에 상기 이미지 스트림이 손상, 특히 기상 조건이 바뀔 가능성이 있다(104-1). 이러한 방식으로 환경 센서(US)의 반응 또는 이러한 환경에서 환경 센서(US)에 의해 결정된 센서 데이터의 품질을 달성하거나 검사할 수 있다.
이와 다른 실시예에 있어서, 상기 환경 센서(US)를 중심으로 교통 시나리오를 나타내는 데이터 스트림은 센서의 물리적 부품의 모델, 즉 센서 하드웨어의 모델에 직접 출력된다. 광학 카메라의 경우에 센서 하드웨어의 모델, 즉 카메라 하드웨어는 실질적으로 광학계와 이미지 센서를 나타낸다.
선택적으로 또는 추가로, 환경 센서(US)의 데이터 처리 알고리즘, 본 실시예에서는 카메라의 물체 인식 알고리즘에 의해 처리하기 전에 카메라 하드웨어 또는 카메라 하드웨어의 모델로부터 데이터 스트림이 손상되고(104-2, 204-2) 이후에 물체 인식 알고리즘에 출력될 수도 있다(105', 205'). 카메라 하드웨어 또는 카메라 하드웨어 모델에 의해 야기되거나 시뮬레이션될 수 있는 이미지 스트림 또는 데이터 스트림의 일어날 수 있는 손상은 예를 들어 광학 시스템의 이미징 결함 또는 이미지 센서의 결함 또는 오염이다.
센서 하드웨어로부터 또는 센서 하드웨어의 모델로부터의 출력된 이미지 스트림 또는 손상된 이미지 스트림 또는 데이터 스트림을 기반으로 물체 인식 알고리즘은 추가 인터페이스(14')를 통해 시스템(10)에서 다시 판독되고 추가 데이터 인터페이스(15)를 통해 도출된 시험 주행 데이터와 출력될 실제 센서 데이터와 함께 제공되는 센서 데이터를 생성한다.
다음, 상기 데이터, 즉 센서 데이터, 도출된 시험 주행 데이터 및 출력될 실제 센서 데이터는 동일한 학습을 위해 인공 신경망(KNN)에서 판독될 수 있다(106).
이들 단계는 바람직하게는 인공 신경망(KNN)이 환경 센서(US)의 기능을 가급적 정확하게 나타낼 때까지 다양한 시험 주행 및 이에 따라 인공 신경망(KNN)을 학습시키기 위한 다른 교통 시나리오에 의해 반복된다.
예를 들어, 학습된 인공 신경망(KNN)을 학습을 위해 사용하지 않은 미지의 시험 주행(R')의 데이터와 대치시키고, 이 데이터에 기초하여 인공 신경망(KNN)에 의해 생성된 센서 데이터와 실제 출력될 센서 데이터를 비교함으로써 정확도를 결정할 수 있다. 상기 출력될 센서 데이터 및 인공 신경망(KNN)에 의해 생성된 센서 데이터는 바람직하게는 방법(100) 종료 전에 적어도 95%, 바람직하게는 98%가 넘는 정확도로 일치한다.
인공 신경망(KNN)에 의해 보상 계산이 수행되고, 그 결과는 환경 센서(US)의 시뮬레이션 모델이다. 본 실시예에서는 센서 하드웨어가 인공 신경망(KNN)을 학습시키기 위해 사용되었는지 또는 센서 하드웨어의 모델에 의해 시뮬레이션되었는지 여부에 따라 인공 신경망(KNN)은 전체 환경 센서(US)를 나타내거나 단순히 센서 하드웨어가 없는 환경 센서(US)의 데이터 처리 알고리즘, 특히 카메라의 물체 인식 알고리즘만을 나타낸다.
도 3 및 4를 참조하여 본 발명에 따른 운전자 보조 시스템의 환경 센서(US)를 분석하기 위해 사용되는 시스템(20) 및 시스템(20)에 의해 실행될 수 있는 방법(200)을 설명하기로 한다.
도 3 및 4는 특히 본 발명의 제3 측면의 방법 및 본 발명의 제4 측면에 따른 해당 시스템에 관한 것이다.
도 1 및 2와 관련한 해결방안은 실질적으로 본 발명의 제1 및 제2 측면에 해당한다.
다수의 시험 주행의 교통 시나리오는 운전자 보조 시스템의 환경 센서(US)를 분석하기 위한 시스템에서 인터페이스(21)를 통해 판독된다(201). 시험 주행 데이터 및 환경 센서(US)에 의해 출력될 센서 데이터는 수단(22)을 사용하여 교통 시나리오로부터 도출된다(202).
그래픽 카드(23)는 교통 시나리오를 토대로 환경 센서(US)를 중심으로 시험 주행을 나타내는 이미지 스트림을 생성한다. 상기 이미지 스트림은 데이터 스트림을 기반으로 센서 데이터를 생성하는 인터페이스(24, 24'), 특히 디스플레이를 통해 환경 센서(US)에 출력된다(205, 205').
방법(200)의 대안적인 실시예에서도 환경 센서(US)를 중심으로 교통 시나리오를 나타내는 데이터 스트림을 센서의 물리적 부분의 모델, 즉 센서 하드웨어의 모델에 직접 출력될 수 있다. 광학 카메라(US)의 경우에 센서 하드웨어의 모델, 즉 카메라 하드웨어는 실질적으로 광학계와 이미지 센서를 나타낸다.
방법(200)에서도 이미지 스트림 또는 데이터 스트림이 카메라 하드웨어 또는 카메라 하드웨어의 모델에 의해 감지되기 전에 시뮬레이션된 환경 조건을 통해(204-1) 또는 이미지 또는 데이터 스트림이 물체 인식 알고리즘에 공급되기 전에 카메라 하드웨어 또는 카메라 하드웨어 자체의 모델의 시뮬레이션된 결함에 의해(204-2) 이미지 스트림 또는 데이터 스트림을 손상시킬 수 있다.
최종적으로 모든 데이터, 즉 센서 데이터, 도출된 시험 주행 데이터 및 출력될 실제 센서 데이터는 특히 인공 신경망(KNN)을 기반으로 보상 계산을 수행하되, 상기 보상 계산은 바람직하게는 데이터 처리(206)를 위한 해당 수단에 의해 수행된다(206). 이러한 방식으로 인공 신경망(KNN)이 학습되는 것이 바람직할 수 있다.
시스템(10)과 대조적으로, 시스템(20)은 또한 시뮬레이션 모델에 의해 센서 데이터를 결정하기 위한 수단(26)을 포함한다. 학습된 인공 신경망(KNN)을 포함하는 시뮬레이션 모델이 사용된다면(207), 환경 센서의 센서 데이터는 소정의 시험 주행(R')에 의해 데이터 스트림을 기반으로 시뮬레이션될 수 있다. 상기 시뮬레이션된 센서 데이터는 데이터 인터페이스(27)를 통해 최종적으로 출력될 수 있다. 본 실시예에서도, 상기 시뮬레이션 모델은 센서 하드웨어가 본 실시예에서는 카메라 하드웨어가 센서 데이터를 생성하는데 사용되었는지 또는 센서 하드웨어 모델에 의해 시뮬레이션되었는지 여부에 따라 전체 센서를 나타내거나 단순히 센서 하드웨어가 없는 데이터 처리 알고리즘, 특히 물체 인식 알고리즘만을 나타낸다.
마지막으로, 도 4 및 도 5를 참조하여 본 발명의 제5 측면에 따른 운전자 보조 시스템의 환경 센서를 시뮬레이션하기 위한 방법 및 본 발명의 제6 측면에 따른 해당 시스템(30)을 설명하기로 한다.
도 5에 도시된 바와 같이, 시스템(30)은 환경 센서(US)를 중심으로 시험 주행을 나타내는 이미지 스트림 또는 데이터 스트림을 생성하기 위한 수단(31)을 포함하고 있다(301).
상기 이미지 스트림 또는 데이터 스트림은 바람직하게는 카메라 또는 데이터 인터페이스(32)에 의해 감지된다(302). 상기 감지된 이미지 스트림 또는 데이터 스트림의 정보는 시뮬레이션 모델에 공급된다.
상기 감지된 이미지 스트림 또는 데이터 스트림을 기반으로 데이터 처리를 위한 수단(33)을 사용하여 센서 데이터를 시뮬레이션 모델에 의해 시뮬레이션하되, 상기 시뮬레이션 모델은 바람직하게는 다수의 다양한 시험 주행의 시험 주행 데이터와 데이터 스트림 및 상기 시험 주행시 환경 센서(US) 또는 환경 센서(US)의 데이터 처리 알고리즘에 의해 생성된 센서 데이터를 기초로 인공 신경망(KNN)에 의한 보상 계산을 기반으로 한다(303).
상기 시뮬레이션 모델은 바람직하게는 본 발명의 제1 및 제3 측면의 방법을 사용하여 생성될 수 있는 다양한 시뮬레이션 모델 중 하나에 해당한다.
마지막으로, 상기 시뮬레이션 모델에 의해 결정된 센서 데이터는 데이터 인터페이스(34)를 통해 출력된다(304).
본 발명에 따른 시뮬레이션 모델에 의해 시뮬레이션된 센서 데이터는 특히 운전자 보조 시스템 또는 차량을 테스트하기 위한 소위 센서 융합에 적합하다.
여기서, 환경 센서(US)의 시뮬레이션된 센서 데이터는 가능한 한 실제 조건 하에서 다양한 개발 단계에서 운전자 보조 시스템 또는 차량을 테스트할 수 있도록 추가 시뮬레이션된 환경 센서의 추가 센서 데이터 또는 실제 센서의 실제 출력과 연결된다.
상술한 실시예들은 보호범위, 용도 및 구성을 어떤 식으로든 한정하려는 의도가 아닌 단지 일례일 뿐임을 명심해야 한다. 오히려, 당업자라면 상술한 설명을 통해 적어도 하나의 실시예를 구현하기 위한 가이드라인을 제공받으며, 특히 청구범위와 이와 동등한 기능 조합으로부터 알 수 있는 바와 같이 보호범위를 벗어나지 않는 한 설명된 구성요소의 기능 및 배치와 관련하여 다양한 변경이 가능하다.

Claims (12)

  1. 교통 시나리오에서 운전자 보조 시스템의 환경 센서(US)의 행동을 시뮬레이션하기 위해 인공 신경망(KNN)을 학습시키기 위한 컴퓨터-지원 방법(100)으로서,
    시험 주행(R)의 교통 시나리오를 판독하는 단계(101);
    시험 주행 데이터 및 상기 교통 시나리오로부터 환경 센서(US), 특히 카메라에 의해 출력될 센서 데이터, 특히 물체 리스트를 도출하는 단계(102);
    상기 환경 센서를 중심으로 교통 시나리오를 나타내는 데이터 스트림, 특히 이미지 스트림을 생성하는 단계(103);
    상기 환경 센서(US)가 데이터 스트림을 기반으로 센서 데이터를 생성할 수 있고 이를 시험 주행 데이터와 출력할 센서 데이터가 또한 제공되는 데이터 인터페이스(15)에 제공할 수 있도록 데이터 스트림을 출력하는 단계(105; 105'); 및
    상기 제공된 데이터를 인공 신경망(KNN)에서 판독하는 단계(106)를 포함하는 방법(100).
  2. 운전자 보조 시스템의 환경 센서(US)를 분석하기 위한 컴퓨터-지원 방법(200)으로서,
    다수의 시험 주행(R)의 교통 시나리오를 판독하는 단계(201);
    시험 주행 데이터 및 상기 교통 시나리오로부터 환경 센서(US)에 의해 출력될 센서 데이터를 도출하는 단계(202);
    상기 환경 센서를 중심으로 교통 시나리오를 나타내는 데이터 스트림, 특히 이미지 스트림을 생성하는 단계(203);
    상기 데이터 스트림을 환경 센서(US)로 출력하여 상기 데이터 스트림을 기반으로 센서 데이터를 생성하는 단계(205; 205');
    상기 시험 주행 데이터, 출력될 센서 데이터 및 환경 센서(US)에 의해 생성된 센서 데이터를 기초로 인공 신경망(KNN)을 사용하여 보상 계산을 수행하는 단계(206); 및
    상기 보상 계산를 기반으로 하되 소정의 시험 주행(R')의 데이터 스트림을 기반으로 센서 데이터를 시뮬레이션하고 출력하도록 구성된 시뮬레이션 모델을 사용하는 단계(207)를 포함하는 방법(200):.
  3. 제1항 또는 제2항에 있어서,
    상기 인공 신경망(KNN)이 보상 계산시 고려되지 않은 시험 주행(R')과 관련하여 환경 센서(US)의 기능을 가능한 정확하게 나타내는, 특히 출력될 센서 데이터가 출력된 데이터와 95%, 바람직하게는 98% 일치할 때까지 다양한 시험 주행에 의해 상기 단계들을 반복하는 방법(100, 200).
  4. 운전자 보조 시스템의 환경 센서(US), 특히 카메라의 행동을 시뮬레이션하기 위한 컴퓨터-지원 방법(300)으로서,
    환경 센서(US)를 중심으로 시험 주행(R')을 나타내는 데이터 스트림, 특히 이미지 스트림을 감지하는 단계(302);
    소정의 시험 주행(R')의 데이터 스트림을 기반으로 센서 데이터, 특히 물체 리스트를 시뮬레이션하도록 구성되고 다수의 서로 다른 시험 주행(R)의 시험 주행 데이터와 데이터 스트림 및 상기 시험 주행(R)시 환경 센서(US)에 의해 생성된 센서 데이터를 기초로 인공 신경망(KNN)에 의한 보상 계산을 기반으로 하는 시뮬레이션 모델을 사용하여 센서 데이터를 결정하는 단계(303); 및
    상기 시뮬레이션 모델을 사용하여 결정된 센서 데이터를 출력하는 단계(304)를 포함하는 방법(300).
  5. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 센서 데이터가 시뮬레이션을 위해 사용된 시험 주행(R')의 시험 주행 데이터를 기초로 더 시뮬레이션되는 방법.
  6. 제4항 또는 제5항에 있어서,
    환경 센서(US)를 중심으로, 특히 교통 시나리오를 토대로 시험 주행(R')을 나타내는 데이터 스트림, 특히 이미지 스트림을 생성하는 단계(301)를 더 포함하는 방법(300).
  7. 운전자 보조 시스템 분석을 위한 컴퓨터-지원 방법으로서,
    실제 또는 시뮬레이션된 시험 주행 중 상기 운전자 보조 시스템에 제2항 내지 제6항 중 어느 한 항에 따른 방법(200, 300)에 의해 출력된 센서 데이터 및 바람직하게는 차량의 데이터 네트워크, 특히 인식 네트워크 내에서 이용 가능한 다른 가상 또는 실제 센서의 데이터가 공급되는 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 환경 센서(US)의 하드웨어에서 데이터 스트림, 특히 이미지 스트림의 손상, 특히 왜곡, 바람직하게는 기상 조건 및/또는 결함을 고려하는 단계(104-1, 104-2; 204-1, 204-2)를 더 포함하는 방법(100, 200, 300).
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 시험 주행 또는 시험 주행들이 바람직하게는 상술한 선택을 조합하여 테스트 스탠드 또는 모델 기반 방식으로 시뮬레이션하거나 또는 실제로 수행되는 방법(100, 200, 300).
  10. 운전자 보조 시스템의 환경 센서(US)를 시뮬레이션하기 위해 인공 신경망(KNN)를 학습시키기 위한 시스템(10)으로서,
    시험 주행(R)의 교통 시나리오를 판독하기 위한 인터페이스(11);
    시험 주행 데이터와 상기 교통 시나리오로부터 환경 센서(US)에 의해 출력될 센서 데이터를 도출하기 위한 수단(12);
    상기 환경 센서(US)를 중심으로 교통 시나리오를 나타내는 데이터 스트림, 특히 이미지 스트림을 생성하기 위한 수단(13), 특히 그래픽 카드;
    상기 환경 센서(US)가 데이터 스트림을 기반으로 센서 데이터를 생성할 수 있는 방식으로 데이터 스트림을 출력하기 위한 인터페이스(14), 특히 디스플레이; 및
    상기 생성된 센서 데이터, 시험 주행 데이터 및 출력될 센서 데이터가 인공 신경망(KNN)에 제공될 수 있는 데이터 인터페이스(15)를 포함하는 시스템(10).
  11. 운전자 보조 시스템의 환경 센서(US)를 분석하기 위한 시스템(20)으로서,
    다수의 시험 주행(R)의 교통 시나리오를 판독하기 위한 인터페이스(21);
    시험 주행 데이터와 상기 교통 시나리오로부터 환경 센서(US)에 의해 출력될 센서 데이터를 도출하기 위한 수단(22);
    상기 환경 센서(US)를 중심으로 교통 시나리오를 나타내는 데이터 스트림, 특히 이미지 스트림을 생성하기 위한 수단(23), 특히 그래픽 카드;
    상기 환경 센서(US)에 데이터 스트림을 출력하여 데이터 스트림을 기반으로 센서 데이터를 생성하기 위한 인터페이스(24, 24'), 특히 디스플레이;
    시험 주행 시뮬레이션 데이터, 생성될 센서 데이터와 환경 센서(US)에 의해 생성된 센서 데이터를 기초로 인공 신경망(KNN)을 사용하여 보상 계산을 수행하기 위한 수단(25);
    상기 보상 계산을 기반으로 하되 소정의 시험 주행(R')의 데이터 스트림, 특히 이미지 스트림을 기반으로 센서 데이터를 시뮬레이션하도록 구성된 시뮬레이션 모델에 의해 센서 데이터를 결정하기 위한 수단(26); 및
    상기 시뮬레이션 모델에 의해 결정된 센서 데이터를 출력하기 위한 데이터 인터페이스(27)를 포함하는 시스템(20).
  12. 운전자 보조 시스템의 환경 센서(US)를 시뮬레이션하기 위한 시스템(30)으로서,
    환경 센서(US)를 중심으로 시험 주행(R')을 나타내는 데이터 스트림을 감지하기 위한 인터페이스(32), 특히 카메라(US) 또는 데이터 인터페이스;
    소정의 시험 주행(R')의 데이터 스트림을 기반으로 센서 데이터를 시뮬레이션하도록 구성되고 다수의 서로 다른 시험 주행(R)의 시험 주행 데이터와 데이터 스트림 및 상기 시험 주행(R)시 환경 센서(US)에 의해 생성된 센서 데이터를 기초로 인공 신경망(KNN)에 의한 보상 계산을 기반으로 하는 시뮬레이션 모델을 사용하여 센서 데이터를 결정하기 위한 수단(33); 및
    상기 시뮬레이션 모델을 사용하여 결정된 센서 데이터를 출력하기 위한 데이터 인터페이스(34)를 포함하는 시스템(30).
KR1020207021403A 2017-12-22 2018-12-20 환경 센서의 행동 모델 KR20200101441A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ATA51070/2017 2017-12-22
ATA51070/2017A AT520781A2 (de) 2017-12-22 2017-12-22 Verhaltensmodell eines Umgebungssensors
PCT/AT2018/060311 WO2019119011A1 (de) 2017-12-22 2018-12-20 Verhaltensmodell eines umgebungssensors

Publications (1)

Publication Number Publication Date
KR20200101441A true KR20200101441A (ko) 2020-08-27

Family

ID=65019218

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207021403A KR20200101441A (ko) 2017-12-22 2018-12-20 환경 센서의 행동 모델

Country Status (7)

Country Link
US (1) US11636684B2 (ko)
EP (1) EP3729213B1 (ko)
JP (1) JP2021508634A (ko)
KR (1) KR20200101441A (ko)
CN (1) CN111492320B (ko)
AT (1) AT520781A2 (ko)
WO (1) WO2019119011A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230028084A (ko) * 2021-08-20 2023-02-28 모셔널 에이디 엘엘씨 센서 공격 시뮬레이션 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112572458B (zh) * 2020-12-21 2022-06-10 东软睿驰汽车技术（沈阳）有限公司 一种车辆速度控制器的性能估计方法和装置
CN113256976B (zh) * 2021-05-12 2022-08-05 中移智行网络科技有限公司 一种车路协同***、模拟仿真方法、车载设备和路侧设备
DE102022110843A1 (de) * 2022-05-03 2023-11-09 Dspace Gmbh Verfahren und Vorrichtung zum Konfigurieren eines Moduls zur Simulation zumindest eines Sensors

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7593804B2 (en) 2007-10-31 2009-09-22 Caterpillar Inc. Fixed-point virtual sensor control system and method
JP2010026845A (ja) * 2008-07-22 2010-02-04 Yokogawa Electric Corp 車載カメラ用電子ユニットの評価システム
US8606724B2 (en) * 2008-11-06 2013-12-10 International Business Machines Corporation Policy evolution with machine learning
CN103824452B (zh) * 2013-11-22 2016-06-22 银江股份有限公司 一种轻量级的基于全景视觉的违章停车检测装置
EP2950175B1 (de) * 2014-05-27 2021-03-31 dSPACE digital signal processing and control engineering GmbH Verfahren und Vorrichtung zum Testen eines Steuergerätes
DE102014012285A1 (de) * 2014-08-22 2016-02-25 Jenoptik Robot Gmbh Verfahren und Achsenzähl-Vorrichtung zur berührungslosen Achsenzählung eines Fahrzeugs sowie Achsenzählsystem für den Straßenverkehr
US10229363B2 (en) 2015-10-19 2019-03-12 Ford Global Technologies, Llc Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking
US10496766B2 (en) 2015-11-05 2019-12-03 Zoox, Inc. Simulation system and methods for autonomous vehicles
CN105975915B (zh) * 2016-04-28 2019-05-21 大连理工大学 一种基于多任务卷积神经网络的前方车辆参数识别方法
US10055675B2 (en) * 2016-06-15 2018-08-21 Ford Global Technologies, Llc Training algorithm for collision avoidance using auditory data
CN109643125B (zh) * 2016-06-28 2022-11-15 柯尼亚塔有限公司 用于训练自动驾驶***的逼真的3d虚拟世界创造与模拟
US20180025640A1 (en) * 2016-07-19 2018-01-25 Ford Global Technologies, Llc Using Virtual Data To Test And Train Parking Space Detection Systems
US10592805B2 (en) * 2016-08-26 2020-03-17 Ford Global Technologies, Llc Physics modeling for radar and ultrasonic sensors
DE102016218277B4 (de) * 2016-09-22 2021-08-12 Benjamin May Verfahren zur Funktionsprüfung eines Fahrassistenzsystems sowie Kontrolleinheit und Referenzeinrichtung für ein Fahrassistenzsystem
US11042155B2 (en) * 2017-06-06 2021-06-22 Plusai Limited Method and system for closed loop perception in autonomous driving vehicles
CN107492069B (zh) * 2017-07-01 2021-01-26 国网浙江省电力公司宁波供电公司 基于多镜头传感器的图像融合方法
US10861189B2 (en) * 2017-12-21 2020-12-08 Magna Electronics Inc. Vehicle camera model for simulation using deep neural networks

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230028084A (ko) * 2021-08-20 2023-02-28 모셔널 에이디 엘엘씨 센서 공격 시뮬레이션 시스템

Also Published As

Publication number Publication date
EP3729213B1 (de) 2022-02-09
US11636684B2 (en) 2023-04-25
EP3729213A1 (de) 2020-10-28
US20210056318A1 (en) 2021-02-25
CN111492320B (zh) 2024-05-24
WO2019119011A1 (de) 2019-06-27
CN111492320A (zh) 2020-08-04
JP2021508634A (ja) 2021-03-11
AT520781A2 (de) 2019-07-15

Similar Documents

Publication Publication Date Title
KR20200101441A (ko) 환경 센서의 행동 모델
JP2022511333A (ja) 自律自動車の制御ユニットを修正するための方法およびシステム
Reway et al. Test method for measuring the simulation-to-reality gap of camera-based object detection algorithms for autonomous driving
US20200384989A1 (en) Method for the improved detection of objects by a driver assistance system
Roth et al. Analysis and validation of perception sensor models in an integrated vehicle and environment simulation
CN116034345A (zh) 用于测试驾驶员辅助***的方法和***
CN107783529B (zh) 用于验证执行器控制数据的方法
CN114008683A (zh) 用于运行车辆的驾驶员辅助***的方法和车辆的驾驶员辅助***
US11327878B2 (en) Method for rating a software component of an SiL environment
CN112097784A (zh) 一种地图传感器地图匹配结果的验证方法及装置
US20220405536A1 (en) Method and device for generating combined scenarios
Wagener et al. Automated scenario generation for testing advanced driver assistance systems based on post-processed reference laser scanner data
Philipp et al. Functional decomposition of automated driving systems for the classification and evaluation of perceptual threats
US11262738B2 (en) Device and method for measuring, simulating, labeling and evaluating components and systems of vehicles
US20230273047A1 (en) Method and Apparatus for Providing a High-Resolution Digital Map
CN115270902A (zh) 用于测试产品的方法
JP7365633B2 (ja) 車両シミュレーションシステム、車両シミュレーション方法およびコンピュータプログラム
da Silva Lopes et al. Automated tests for automotive instrument panel cluster based on machine vision
CN113704085A (zh) 用于检查技术***的方法和设备
Huang et al. Model-based testing of a vehicle instrument cluster for design validation using machine vision
JP7320755B2 (ja) 車両シミュレーションシステム、車両シミュレーション方法およびコンピュータプログラム
US20230177234A1 (en) Method and system for quantifying vehicle requirement
Katz et al. Automated Transfer of Real-world Scenarios into the Virtual World
CN116244932B (zh) 对车辆进行安全仿真的方法、电子设备及存储介质
EP3757904A1 (en) Device and method for training a neural network

Legal Events

Date Code Title Description
E902 Notification of reason for refusal