KR20210063409A - 센서 데이터 스트림을 분석하기 위한 방법과 장치 및 차량을 안내하기 위한 방법 - Google Patents

센서 데이터 스트림을 분석하기 위한 방법과 장치 및 차량을 안내하기 위한 방법 Download PDF

Info

Publication number
KR20210063409A
KR20210063409A KR1020217012316A KR20217012316A KR20210063409A KR 20210063409 A KR20210063409 A KR 20210063409A KR 1020217012316 A KR1020217012316 A KR 1020217012316A KR 20217012316 A KR20217012316 A KR 20217012316A KR 20210063409 A KR20210063409 A KR 20210063409A
Authority
KR
South Korea
Prior art keywords
sensor data
data stream
section
similarity
template
Prior art date
Application number
KR1020217012316A
Other languages
English (en)
Inventor
파블로 트카첸코
진웨이 저우
레 루이지 델
Original Assignee
아베엘 리스트 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아베엘 리스트 게엠베하 filed Critical 아베엘 리스트 게엠베하
Publication of KR20210063409A publication Critical patent/KR20210063409A/ko

Links

Images

Classifications

    • G06K9/00624—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

본 발명은 교통 시나리오의 존재와 관련하여 차량 주변을 특징화하는 센서 데이터 스트림을 분석하기 위한 방법 및 장치에 관한 것이다. 본 발명은 또한 차량을 안내하기 위한 방법에 관한 것이다. 상기 센서 데이터 스트림의 섹션 및 데이터베이스에 저장된 적어도 하나의 템플릿 간 일치 정도를 나타내는 유사도를 바람직하게는 동적 시간 정규화에 의해 상기 센서 데이터 스트림의 섹션을 적어도 하나의 템플릿에 매핑함으로써 결정한다. 이에 의해 상기 템플릿은 알려진 교통 시나리오를 특징화한다. 상기 유사도가 미리정의된 유사성 기준을 충족하면 알려진 교통 시나리오를 센서 데이터 스트림의 섹션에 할당한다.

Description

센서 데이터 스트림을 분석하기 위한 방법과 장치 및 차량을 안내하기 위한 방법
본 발명은 교통 시나리오의 존재와 관련하여 차량 주변을 특징화하는 센서 데이터 스트림을 분석하기 위한 방법과 장치 및 차량을 안내하기 위한 방법에 관한 것이다.
최근의 차량에는 특정 주행 상황에서 운전자를 지원하는 첨단 운전자 보조 시스템(Advanced Driver Assistance System, ADAS)이 점차 더 많이 장착되고 있다. 지원 범위는 발생할 수 있는 관련 정보의 단순한 표시(예. 차선 변경 보조장치에 의한 경고 알림)로부터 일부 자율적인 개입(예. 잠김 방지 브레이크 시스템에 의해 휠 축에 가해지는 토크 조절)을 거쳐 차량 제어시 완전 또는 적어도 일부 자율적인 개입(예. 적응형 크루즈 컨트롤(Adaptive Cruise Control, ACC)에 의한 적응형 속도 조절)에 이르기까지 다양하다.
이러한 운전자 보조 시스템의 기초가 되는 것은 일반적으로 센서 데이터, 예를 들어 현재 주행 상황을 파악할 수 있는 초음파 센서, 레이더 센서 또는 카메라로부터 제공되는 신호로서 이에 대한 반응으로 운전자 보조 시스템의 기능을 수행할 수 있다. 특히 차량 제어에 (자율적으로) 개입하는 운전자 보조 시스템은 센서 데이터를 토대로 현재의 주행 상황을 가장 확실하게 확인할 수 있어야 한다.
일반적으로 주행 상황에 대응하는 소정의 규칙 또는 기준은 정해져 있고 이를 충족하면 알려진(known) 주행 상황에 있는 것으로 판단할 수 있다. 이때 규칙 또는 기준이 충족하게 되면 예를 들어 운전자 보조 시스템의 작동이 유도된다. 예를 들어 자기(ego) 차량의 전방에 있고 운전자 보조 시스템을 장착한 인접 차량이 동일 차선으로 끼어드는 교통 시나리오를 통해서 인접 차량까지 주행 방향에 대해 수직으로 센서가 감지하는 횡방향 거리가 줄어들고 최종적으로 인접한 차량이 자기 차량 바로 앞에 있으면 그 값은 적어도 실질적으로 0임을 알 수 있다.
이러한 운전자 보조 시스템, 특히 알려진 교통 시나리오에서 그의 반응을 테스트하기 위해서, 테스트할 운전자 보조 시스템에 알려진 교통 시나리오를 특징화하는 센서 데이터를 제공할 수 있다. 운전자 보조 시스템을 신뢰성 있게 테스트하기 위해서는 일반적으로 경우에 따라 교통 시나리오의 약간의 변화라도 특징화하는 많은 센서 데이터를 필요로 한다.
이를 위해 WO 2017/210222 A1에는 운전자 보조 시스템을 검증하기 위한 시뮬레이션 시나리오를 자동으로 생성하는 것이 공지되어 있다. 이러한 시뮬레이션 시나리오의 다수는 특히 기록된 시나리오의 변화를 통해 생성될 수 있는데, 이러한 변화는 비슷하게 기록된 시나리오 간 차이를 분리하여 생성된 데이터 스트림을 토대로 한다.
본 발명의 과제는 교통 시나리오의 존재와 관련하여 센서 데이터 스트림의 분석을 더욱 개선하는 것으로, 특히 센서 데이터 스트림을 분석함으로써 기존의 교통 시나리오를 보다 신뢰성 있고/또는 단순한 방식으로 파악하는 것이다.
상기 과제는 독립항에 따른 교통 시나리오의 존재와 관련하여 차량 주변을 특징화하는 센서 데이터 스트림을 분석하기 위한 방법과 장치 및 운전자 보조 시스템을 작동시키기 위한 방법에 의해 해결된다.
본 발명의 제1 측면은 교통 시나리오의 존재와 관련하여 차량 주변을 특징화하는 센서 데이터 스트림을 분석하기 위한 방법으로서: (i) 센서 데이터 스트림의 섹션(section) 및 데이터베이스에 저장되고 알려진 교통 시나리오를 특징화하는 적어도 하나의 템플릿 간 일치 정도를 나타내는 유사도를 바람직하게는 동적 시간 정규화(dynamic time normalization)에 의해 상기 센서 데이터 스트림의 섹션을 적어도 하나의 템플릿에 매핑(mapping)함으로써 결정하는 단계; 및 (ii) 상기 유사도가 미리정의된 유사성 기준을 충족할 때 알려진 교통 시나리오를 센서 데이터 스트림의 섹션에 할당하는 단계를 포함하는 방법에 관한 것이다.
특히 상기 방법은 컴퓨터 지원으로 수행된다.
본 발명에서 "센서 데이터 스트림"은 특히 소정 시점에서 차량 주변을 특징화하는 센서 데이터, 특히 시간적 순서에 따른 관련 신호를 의미한다. 다시 말해, 센서 데이터 스트림은 특히 차량 주변과 관련한 정보를 지속적으로 제공할 수 있다. 예를 들어 센서 데이터 스트림은 바람직하게는 차량 주변을 감지하기 위한 하나 이상, 경우에 따라서는 다양한 센서를 포함하는 센서부에 의해 제공 또는 생성될 수 있다. 이와 달리, 센서 데이터 스트림은 예를 들어 시뮬레이션을 통해 인위적으로 생성될 수도 있다. 센서 데이터 스트림은 바람직하게는 미리 처리된, 특히 준비된, 예를 들어 통합된 센서 데이터로 구성되고 예를 들어 특히 도로의 굴곡을 고려하여 도로 사용자들 또는 다른 객체들 사이의 상대적 거리에 관한 정보를 포함한다.
본 발명에서 "센서 데이터 스트림의 섹션"은 특히 센서 데이터 스트림의 시간에 따른 섹션을 의미한다. 센서 데이터 스트림의 섹션은 예를 들어 센서 데이터 스트림의 일부일 수 있다. 다시 말해, 센서 데이터 스트림의 섹션은 경우에 따라서 소정의 시간대(time window)에서 사용하였거나 사용할 센서 데이터를 포함할 수 있다. 섹션은 특히 일련의 값, 특히 시간적 순서에 따른 값을 포함할 수 있다.
본 발명에서 "템플릿"은 특히 일련의 값을 의미하는 것으로, 특히 시간적 순서에 따른 값들을 포함할 수 있다. 특히 템플릿은 적어도 하나의 차량의 운전 기동을 나타낼 수 있다. 템플릿은 특히 바람직하게는 특정, 특히 알려진 교통 시나리오가 특징인 센서 데이터 스트림의 일반적인 섹션이다.
본 발명에서 알려진 교통 시나리오에 센서 데이터 스트림의 섹션을 할당하는 것은 특히 센서 데이터 스트림을 분류(label), 특히 구획화하는 것을 의미한다. 센서 데이터 스트림의 섹션은 바람직하게는 할당시 알려진 교통 시나리오가 특징인 예를 들어 마커(marker) 또는 값을 설정함으로써 적절히 구별된다.
본 발명에서 템플릿에 센서 데이터 스트림의 섹션을 매핑하는 것은 특히 섹션, 특히 상기 섹션의 시간 곡선(time curve)이 템플릿, 특히 템플릿의 시간 곡선과 적어도 실질적으로, 특히 최대한 일치되도록 섹션 및/또는 템플릿의 변환시 조정하는 것을 의미한다. 예를 들어 상기 섹션 및/또는 템플릿은 예를 들어 섹션에 포함된 값의 시간적 순서에 따른 형태가 템플릿에 포함된 시간적 순서에 따른 형태와 적어도 실질적으로 일치되도록 매핑시 압축 및/또는 확장될 수 있다.
본 발명에서 동적 시간 정규화(영어로 "dynamic time warping (DTW)")는 특히 경우에 따라 서로 다른 길이를 가진 일련의 값, 예를 들어 센서 데이터 스트림의 섹션과 같은 시간적 순서에 따른 값을 서로 매핑하기 위한 방법, 특히 알고리즘을 의미한다. 이와 관련하여, 행렬 요소로서 일련의 값의 개별 요소 간 거리, 예를 들어 유클리드 거리(Euclidean distance), 맨해튼 거리(Manhattan distance) 또는 마할라노비스 거리(Mahalanobis distance)를 포함하는 행렬을 생성하는 것이 바람직하다. 이들 거리가 포함된 비용 함수(cost function)를 기반으로, 상기 일련의 값의 가장 정확한 매핑을 찾기 위해 일련의 값의 개별 요소의 거리에 의해 매핑된 다양한 할당에 대한 최소 비용을 결정할 수 있다.
본 발명에서 유사도는 특히 2개의 일련의 값, 예를 들어 센서 데이터 스트림의 섹션과 같은 시간적 순서에 따른 일련의 값 사이의 유사성을 특징화하는 값을 의미한다. 유사도는 바람직하게는 거리, 예를 들어 유클리드 거리, 맨해튼 거리 또는 마할라노비스 거리를 기반으로 한다. 이때 유사도는 특히 거리에 비례, 특히 일정하게 비례할 수 있다. 이와 달리, 유사도는 거리에 반비례할 수도 있다. 유사도는 바람직하게는 최적화 함수에 의해 결정되는 거리에 따른다. 다시 말해, 유사도는 센서 데이터 스트림 섹션과 템플릿 간 추상적 차이를 특징화할 수 있다.
본 발명에서 교통 시나리오는 바람직하게는 시작 장면에 의해 시작하는 일련의 장면 내에서 장면 요소들의 시간 전개를 의미한다. 장면과 달리, 시나리오는 소정의 기간을 포함하는 것이다.
장면은 바람직하게는 특히 모든 공간 정적 요소와 동적 요소를 포함한 주변의 순간적인 사진을 나타낸다.
본 발명은 특히 예를 들어 차량 주변을 감지하는 센서부 또는 시뮬레이터에 의해 제공되는 센서 데이터 스트림으로부터 추출된 섹션을 알려진 교통 시나리오, 예를 들어 도로 사용자의 공간적 상황 및/또는 이들의 동적 전개, 특히 적어도 하나의 운전 기동을 특징화하는 템플릿과 비교하는 방법을 기반으로 한다. 이때, 상기 비교 결과에 따라 센서 데이터 스트림의 섹션을 분류할 수 있다. 예를 들어, 상기 섹션은 템플릿이 특징화하는 알려진 교통 시나리오에 포함되는 것으로서 분류될 수 있다.
이렇게 수행된 분류를 기반으로, 알려진 교통 시나리오에 관한 정보가 출력 또는 제공되는데, 예를 들어 인터페이스를 통해 운전자 보조 시스템으로 전송될 수 있다.
이때 상기 센서 데이터 스트림의 섹션과 템플릿의 비교는 바람직하게는 섹션과 템플릿의 동적 시간 정규화, 즉 섹션을 템플릿에 매핑함으로써 수행된다. 이렇게 결정된 유사도, 특히 상기 섹션과 템플릿 간 차이는 섹션과 템플릿이 얼마나 잘 조화를 이루는지, 예를 들어 센서 데이터 스트림의 섹션이 특징화하는 차량 주변이 알려진 교통 시나리오와 얼마나 다른지 기준을 제시할 수 있다. 상기 유사도가 유사성 기준을 충족하면, 즉 상기 섹션과 템플릿 간의 차이가 너무 크지 않으며, 템플릿이 특징화하는 알려진 교통 시나리오가 센서 데이터 스트림의 섹션에 할당된다. 다시 말해, 이 경우에는 상기 센서 데이터 스트림의 섹션이 특징화하는 미지의(unknown) 교통 시나리오가 알려진 교통 시나리오에 의해 확인된다.
동적 시간 최소화를 이용하여 상기 센서 데이터 스트림, 특히 섹션이 특징화하는 미지의 교통 시나리오를 특히 신속하고 확실하게 확인할 수 있다. 특히 상기 센서 데이터 스트림으로부터 경우에 따라 복잡한 방식으로 다수의 파라미터를 도출하고 이들이 다양한 기준을 충족하는지 여부를 테스트할 필요가 없다. 그 대신에 본 발명은 동적 시간 정규화를 기반으로 바람직하게는 특히 계산 시간이 절감되는 알고리즘, 예를 들어 Rakthan-manon 등의 "Searching and mining trillions of time series subsequences under dynamic time warping", Proceedings of the 18th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD 12, 262-270 (2018)에 명시된 알고리즘에 의해 하나의 파라미터, 특히 유사도를 측정할 수 있게 하고 교통 시나리오를 신뢰성 있게 확인하기 위해 사용할 수 있게 한다.
동적 시간 정규화를 이용함으로써 특히 알려진 교통 시나리오를 특히 알려진 교통 시나리오에 대해 일반적인 템플릿에 대한 매핑을 통해 교통 시나리오의 변화를 특징화하는 센서 데이터 스트림의 섹션에 신뢰성 있게 할당할 수 있다. 그 결과, 이 경우 상기 센서 데이터 스트림의 섹션이 서로 다르게 분류되는 것을 방지할 수 있다. 이는 상기 센서 데이터 스트림의 효율적 처리를 가능하게 한다.
전반적으로 본 발명은 교통 시나리오의 존재와 관련하여 센서 데이터 스트림의 분석을 더욱 개선하며, 특히 센서 데이터 스트림을 분석함으로써 기존의 교통 시나리오를 더욱 신뢰성 있고/또는 단순한 방식으로 파악할 수 있다.
이하, 각각 명시적으로 배제되지 않는 한 임의로 서로 조합할 수 있고 아래에서 설명되는 본 발명의 측면들과도 조합할 수 있는 본 발명의 바람직한 실시형태 및 추가 실시형태를 설명하기로 한다.
바람직한 일 실시형태에서, 상기 센서 데이터 스트림의 섹션은 알려진 교통 시나리오에 할당시 데이터베이스에 저장된다. 이때 상기 섹션은 적절히 분류되는바, 즉 알려진 교통 시나리오에 포함되는 것으로서 구별되는 것이 바람직하다. 특히 상기 섹션은 알려진 교통 시나리오에 할당되어 데이터베이스에 이미 저장된 섹션의 클러스터에 할당되거나 이러한 클러스터의 일부를 구성할 수 있다. 그 결과, 이렇게 저장된 센서 데이터 스트림의 섹션은 데이터베이스에 저장된 데이터의 향후 (추가) 처리, 예를 들어 적어도 하나의 템플릿의 향후 조정시 고려될 수 있다.
또 다른 바람직한 실시형태에서, 상기 방법은 유사도가 미리정의된 유사성 기준을 충족하지 않으면 센서 데이터 스트림의 섹션을 데이터베이스에 추가 템플릿으로서 저장하는 단계를 더 포함한다. 이후, 상기 추가 템플릿을 추가 템플릿이 특징화하는, 특히 아직 미지인 교통 시나리오에 센서 데이터 스트림의 추가 섹션, 특히 향후 섹션을 할당할 수 있도록 사용하는 것이 바람직하다. 이러한 방식으로 데이터베이스를 확장시킬 수 있다. 특히 새로운 교통 시나리오(예. 새로운 운전 기동)를 데이터베이스에 추가할 수 있다. 다시 말해, 이러한 방식으로 새로운 교통 시나리오의 학습 및 관련 데이터베이스의 동적 확장을 구현할 수 있다.
이 경우는 예를 들어 흔치 않은 교통 시나리오가 발생할 때, 예를 들어 차량이 데이터베이스 내 템플릿에 의해 아직 기록되어 있지 않거나 기록되지 않은 비정상적인 기동을 수행할 때 일어난다. 이 경우, 상기 센서 데이터 스트림 및 흔치 않으면서 적어도 유사성 기준에 의해 명시된 범위에서 데이터베이스에 저장된 여러 템플릿 중 어느 것과도 일치하지 않는, 특히 충분히 정확하지 않은 아직 미지인 교통 시나리오의 섹션을 특징화할 수 있고, 특히 동적 시간 정규화에 의해 상기 템플릿 중 하나에 매핑할 수 있으며, 데이터베이스에 새로운 템플릿으로서 저장하여 예를 들어 새로운 교통 시나리오 분류를 구성할 수 있다.
또 다른 바람직한 실시형태에서, 상기 방법은 (i) 적어도 하나의 템플릿이 데이터베이스에 저장되어 있는지 테스트하는 단계; 및 (ii) 상기 테스트 결과에 따라 데이터베이스에 템플릿으로서 센서 데이터 스트림의 섹션을 추가하는 단계를 더 포함한다. 특히 상기 데이터베이스 내 템플릿이 아직 저장되어 있지 않거나 저장되지 않은 경우에 센서 데이터 스트림의 섹션이 데이터베이스에 저장된다. 이러한 방식으로 데이터베이스를 초기화하거나 구성할 수 있다. 특히 경우에 따라서 시간이 많이 소요될 수 있는 데이터베이스의 준비 또는 모집단화(population)를 생략할 수 있다. 또 다른 바람직한 실시형태에서, 상기 방법은 상기 유사도가 미리정의된 유사성 기준 및 미리정의된 조정 기준을 동시에 충족할 때 템플릿을 조정하는 단계를 포함한다. 예를 들어 상기 템플릿이 특징화하는 알려진 교통 시나리오에 섹션과 템플릿 간에 일정한 차이에도 불구하고 센서 데이터 스트림의 섹션이 할당될 때 템플릿을 적절히 조정할 수 있다. 그 결과, 추가, 특히 향후 센서 데이터 스트림의 섹션이 특히 신뢰할 수 있는 방식으로 정확한 교통 시나리오에 할당될 수 있다.
예를 들어 상기 센서 데이터 스트림의 섹션 및 템플릿 간 결정된 차이를 기반으로 섹션이 알려진 교통 시나리오와 대응하는 섹션의 클러스터에 할당될 수 있지만 상기 클러스터의 중심 가까이에 있지 않을 때, 상기 템플릿은 특히 재계산에 의해 조정될 수 있다.
또 다른 바람직한 실시형태에서, 상기 템플릿 조정시 특히 이전에 저장된 데이터베이스의 알려진 교통 시나리오에 할당된 센서 데이터 스트림의 모든 섹션들은 동적 시간 정규화에 의해 평균화된다. 상기 평균화는 바람직하게는 예를 들어 Petitjean 등의 "A global averaging method for dynamic time warping, with applications to clustering", Pattern regocnition, 44(3), 678-693 (2011)에 공지된 동적 정규화 시간에 따른 중심 평균화(영어로 "dynamic time warping barycenter averaging")에 의해 수행된다. 그 결과, 반복적인 쌍별 평균화(pairwise averaging)를 피함으로써 계산 비용을 줄일 수 있기 때문에 유리하다. 또한 상기 센서 데이터 스트림의 저장된 섹션에 포함된 센서 데이터의 적절한 순서를 평균화에 사용할 수 있으며, 특히 이러한 방식으로 조정된 템플릿의 시간 길이는 증가하지 않아 유리하다.
따라서 상기 방법은 바람직하게는 소위 k-평균 알고리즘(k-means clustering)의 실시간 버전을 구성하는데, 상기 데이터베이스에 저장된 템플릿은 각각 알려진 교통 시나리오와 대응하는 다양한 클러스터의 중심을 구성한다. 이때 유사성 기준이 충족되면 새로운 구성요소, 즉 센서 데이터 스트림의 추가 섹션이 클러스터에 추가될 수 있다. 조정 기준까지 동시에 충족되면, 예를 들어 템플릿에 센서 데이터 스트림의 섹션을 매핑하여 소정의 특성이 달성되지 않으면, 해당 클러스터의 중심, 즉 템플릿이 조정, 특히 클러스터의 모든 구성요소의 평균화에 의해 새롭게 계산된다. 유사성 기준이 충족되지 않은 경우, 즉 센서 데이터 스트림의 섹션을 특히 동적 시간 정규화에 의해 템플릿 중 하나에 의미 있게 매핑할 수 없는 경우에, 상기 섹션은 새로운 클러스터를 구성한다. 상기 방법을 k-평균 알고리즘으로서 구현함으로써 센서 데이터 스트림의 섹션을 특히 신뢰성 있게, 특히 높은 확률로 정확한 교통 시나리오에 할당하거나 데이터베이스를 동적으로 조정 또는 확장할 수 있다.
또 다른 바람직한 실시형태에서, 상기 유사도가 미리정의된 유사성 임계값 미만이면 소정의 유사성 기준이 충족되거나 충족될 것이다. 이때 바람직하게는 동적 시간 정규화에 의해 결정된 센서 데이터 스트림의 섹션 및 템플릿 간 차이가 소정의 유사성 임계값 미만인지 테스트한다. 그 결과, 특히 컴퓨팅 전력 절감과 함께 센서 데이터 스트림의 섹션이 템플릿이 특징화하는 알려진 교통 시나리오에 할당되어야 하는지 여부를 확실하고 분명하게 결정할 수 있다.
또 다른 바람직한 실시형태에서, 상기 유사도가 유사성 기준, 특히 유사성 임계값에 의존하는 조정 임계값을 초과하면 소정의 조정 기준이 충족되거나 충족될 것이다. 그 결과, 특히 계산 전력 절감과 함께 템플릿이 특징화하는 알려진 교통 시나리오를 조정, 예를 들어 새로 계산해야 하는지 여부를 확실하고 분명하게 결정할 수 있다.
이때 동적 시간 정규화에 의해 상기 센서 데이터 스트림의 섹션과 템플릿 간 결정된 차이가 소정의 조정 임계값보다 큰지 여부를 테스트하는 것이 바람직하다. 그 결과, 상기 템플릿은 특히 센서 데이터 스트림의 섹션과 템플릿 간 일치 정도가 너무 높지 않으면 조정될 수 있다. 다시 말해, 상기 템플릿은 템플릿에 매핑된 센서 데이터 스트림의 현재의 섹션이 템플릿과 적어도 어느 정도 달라 템플릿의 조정이 필요할 때에 비로소 조정되는 것이 바람직하다. 특히, 이러한 방식으로 템플릿의 불필요한 조정을 피할 수 있다.
조정 기준, 특히 조정 임계값의 의존성은 바람직하게는 특히 수학 함수인 것을 특징으로 한다. 예를 들어 상기 함수의 값은 적어도 유사성 기준, 특히 유사성 임계값이 함수의 입력 변수로서 선택될 때, 조정 기준, 특히 조정 임계값을 나타낼 수 있다. 이때 상기 함수는 유사성 기준, 특히 유사성 임계값에 예를 들어 1 미만의 계수를 곱함으로써 가중치를 부여하도록 설정할 수 있다. 다시 말해, 상기 조정 기준은 유사성 기준의 가중치에 해당할 수 있다.
또 다른 바람직한 실시형태에서, 상기 방법은 매핑시 특히 동적 시간 정규화에 의해 적어도 알려진 시나리오에 할당된, 특히 데이터베이스에 저장된 센서 데이터 스트림의 섹션으로부터 결정되는 다수 개의, 특히 모든 유사도 값을 서로 비교하여 유사성 기준, 특히 유사성 임계값을 특정하는 단계를 더 포함한다. 비교시 바람직하게는 센서 데이터 스트림의 섹션 및 템플릿 간 가장 낮은 일치 정도, 예를 들어 동적 시간 정규화에 의해 결정된 센서 데이터 스트림의 섹션 및 템플릿 사이의 최대 차이를 특징화하는 유사도를 결정하고 이로부터 유사성 기준, 특히 유사성 임계값을 구성한다. 그 결과, 유사성 기준, 특히 유사성 임계값을 예를 들어 센서 데이터 스트림에 포함된 센서 데이터의 특성에 맞춰 동적으로 조정할 수 있다.
예를 들어 알려진 교통 시나리오와 대응되고 해당 템플릿에 의해 중심이 구성되는 클러스터의 모든 구성요소들을 동적 시간 정규화에 의해 템플릿에 매핑할 수 있다. 이때 상기 구성요소들, 즉 센서 데이터 스트림의 섹션과 템플릿 간에 결정된 차이들로부터 예를 들어 필터링에 의해 최대 차이를 선택하고, 유사성 기준, 특히 유사성 임계값으로서 사용한다.
또 다른 바람직한 실시형태에서, 상기 센서 데이터 스트림의 섹션을 데이터베이스에 저장하고 각각 다른 알려진 교통 시나리오를 특징화하는 다수 개의 템플릿 중 하나에 각각 매핑함으로써 다수의 유사도를 결정하고, 상기 다수 개의 결정된 유사도 값을 서로 비교함으로써 센서 데이터 스트림의 섹션을 알려진 교통 시나리오에 할당한다. 다시 말해, 상기 센서 데이터 스트림의 섹션이 특징화하는 미지의 교통 시나리오를 알려진 여러 교통 시나리오와 비교하고 이 비교를 기반으로 확인하는 것이 바람직하다.
비교시 상기 센서 데이터 스트림의 섹션과 템플릿 간 가장 높은 일치 정도, 예를 들어 센서 데이터 스트림의 섹션의 동적 시간 정규화시 결정된 센서 데이터 스트림의 섹션 및 템플릿 간 최소 차이를 특징화하는 유사도를 결정하고, 해당 템블릿이 특징화하는 섹션을 알려진 교통 시나리오에 할당한다. 그 결과, 상기 센서 데이터 스트림의 섹션이 현재 특징화하고, 특히 매핑되는 교통 시나리오를 신뢰성 있고 신속하게 확인할 수 있다.
또 다른 바람직한 실시형태에서, 상기 센서 데이터 스트림은 적어도 하나, 특히 교통 시나리오에서 2개의 도로 사용자 간 횡방향, 즉 주행 방향에 수직인 거리를 특징화한다. 예를 들어 2대의 차량이 인접한 2개의 차선에서 나란히 주행하는 경우에 차량 간 거리는 변하지 않는다. 예를 들어 차량 중 하나가 가속 또는 추월 또는 다른 차선으로 방향 전환하는 등의 운전 기동을 수행하면 차량 간 거리는 변하게 된다. 이러한 변화는 운전 기동 또는 교통 시나리오의 특징일 수 있다. 따라서 특히 운전 기동 중에 거리의 시간 곡선은 교통 시나리오에 대해 데이터베이스에 저장된 템플릿을 구성할 수 있다. 그 결과, 상기 센서 데이터 스트림의 섹션을 높은 확률로 정확한 교통 시나리오에 할당할 수 있다.
또 다른 바람직한 실시형태에서, 상기 센서 데이터 스트림은 차량 작동 중에 차량의 센서부에 의해 제공된다.
상기 센서부는 바람직하게는 해당 센서 데이터를 적어도 실질적으로 연속해서 생성하는 다수 개의 센서, 예를 들어 적어도 하나의 카메라, 적어도 하나의 레이더 센서, 적어도 하나의 라이다(lidar) 센서, 적어도 하나의 초음파 센서 등을 포함하되, 상기 센서 데이터 스트림은 바람직하게는 센서 데이터의 융합에 의해 구성된다. 이렇게 확인된 교통 시나리오에 관한 정보는 상기 알려진 교통 시나리오에 센서 데이터 스트림 섹션을 할당함으로써 현장에서, 즉 실질적으로 실시간 출력할 수 있으며 예를 들면 운전자 보조 시스템에 제공할 수 있다. 또한 예를 들면 시험 주행 중 데이터베이스를 템플릿으로 채울 수도 있으므로, 데이터베이스 또는 데이터베이스에 포함된 데이터를 추후 시점에 교통 시나리오를 확인하는데 사용할 수 있다. 차량 작동 중에 센서 데이터 스트림을 제공함으로써 데이터베이스를 현장에서, 즉 실시간으로 확장할 수도 있다.
또 다른 바람직한 실시형태에서, 상기 방법은 상기 센서 데이터 스트림으로부터 섹션을 선택하되, 센서 데이터 스트림의 섹션의 시작 및 센서 데이터 스트림의 섹션의 종료를 소정의 기간만큼 차이를 두게 하는 방식으로 센서 데이터 스트림의 섹션의 시작 및/또는 센서 데이터 스트림의 섹션의 종료를 선택하는 단계를 더 포함한다. 이러한 방식으로 선택된 센서 데이터 스트림의 섹션은 예를 들어 현재의 교통 시나리오를 확인시 센서 데이터 스트림 내 포함된, 예를 들어 차량의 센서부 또는 시뮬레이션에 의해 제공되는 센서 데이터를 고려하는 시간대를 형성하는 것이 바람직하다. 상기 기간을 특정함으로써, 즉 시간대의 길이를 선택함으로써, 알려진 교통 시나리오에 센서 데이터 스트림 섹션을 특히 신뢰성 있게 할당할 수 있다.
상기 섹션의 종료는 바람직하게는 센서부 또는 시뮬레이션에 의해 생성된 현재의 센서 데이터에 의해 형성된다. 그 결과, 예를 들어 실제 교통 현황을 신뢰성 있게 확인할 수 있다.
또 다른 바람직한 실시형태에서, 상기 센서 데이터 스트림 섹션의 선택, 유사도의 결정 및 센서 데이터 스트림 섹션의 할당을 적어도 반복적으로 수행한다. 상기 센서 데이터 스트림의 섹션을 반복적으로 선택할 때, 센서 데이터 스트림의 섹션의 시작 및/또는 종료를 센서 데이터 스트림의 섹션이 이전에 선택된 센서 데이터 스트림의 섹션 중 하나와 최대 절반까지 겹치도록 선택한다. 다시 말해, 상기 센서 데이터 스트림의 추가 섹션을 소정 기간의 절반이 경과한 때 적어도 하나의 템플릿만에만 매핑한다. 그 결과, 복수 개의 템플릿에 순차적으로 매핑된 센서 데이터 스트림의 2개의 섹션이 서로 충분히 달라 서로 다른 알려진 교통 시나리오에 할당될 수 있다.
본 발명의 제2 측면은 교통 시나리오의 존재와 관련하여 차량 주변을 특징화하는 센서 데이터 스트림을 분석하기 위한 장치에 관한 것이다. 상기 장치는 센서 데이터 스트림의 섹션을 바람직하게는 동적 시간 정규화에 의해 적어도 하나의 템플릿에 매핑함으로써 센서 데이터 스트림의 섹션 및 데이터베이스에 저장되고 알려진 교통 상황을 특징화하는 적어도 하나의 템플릿 간 일치 정도를 나타내는 유사도를 결정하도록 구성된 처리 모듈을 포함하는 것이 바람직하다. 상기 장치는 또한 유사도가 소정의 유사성 기준을 충족할 때 알려진 교통 시나리오가 센서 데이터 스트림의 섹션에 할당되도록 구성된 할당 모듈을 포함하는 것이 바람직하다.
상기 장치는 또한 차량의 주변을 감지하고 센서 데이터 스트림을 제공하도록 구성된 센서부를 포함하는 것이 바람직하다. 상기 센서부는 도로 사용자 간 거리와 같은 현재의 교통 시나리오의 특징화 관련 변수를 확실하게, 바람직하게는 중복적으로 감지할 수 있도록 하나 이상의 센서, 예를 들어 카메라, 초음파 센서, 레이더 센서, 라이더 센서 등을 포함할 수 있다.
상기 장치는 또한 알려진 교통 시나리오를 특징화하는 적어도 하나의 템플릿, 바람직하게는 복수 개의 템플릿을 저장하도록 구성된 데이터베이스를 포함하는 것이 바람직하다.
본 발명의 제3 측면은 운전자 보조 시스템에 의해 센서 데이터 스트림을 토대로 차량을 안내하기 위한 방법으로서, 상기 센서 데이터 스트림을 본 발명의 제1 측면에 따른 방법에 의해 분석하는 방법에 관한 것이다. 이때 바람직하게는 현재의 교통 시나리오를 바람직한 방식으로 특징화하는 센서 데이터 스트림의 섹션을 데이터베이스에 저장된 템플릿이 특징화하는 알려진 교통 시나리오에 할당하는 것을 기반으로 알려진 교통 시나리오 또는 센서 데이터 스트림의 섹션에 의해 확인된 교통 시나리오, 특히 알려진 기동을 특징화하는 출력 신호를 생성하여 운전자 보조 시스템에 제공한다. 따라서 상기 운전자 보조 시스템은 현재의 교통 시나리오에 확실하게 반응할 수 있다.
본 발명의 제1 측면 및 이의 유리한 실시예와 관련하여 설명한 특징 및 장점들이 적어도 기술적으로 의미가 있는 경우에 본 발명의 제2 측면 및 이의 유리한 실시예에 적용되며 그 반대 또한 마찬가지이다.
본 발명의 추가 특징, 장점 및 이용 가능성은 도면을 참조하여 후술하는 설명으로부터 명백해지며, 도면 전체에서 동일한 참조 부호는 본 발명의 동일하거나 서로 대응되는 요소에 대해 사용된다. 도면은 적어도 부분적으로 개략적인 것으로:
도 1은 본 발명에 따른 장치의 바람직한 실시형태를 도시하고 있고;
도 2는 본 발명에 따른 방법의 바람직한 실시형태를 도시하고 있고.
도 3은 템플릿이 특징화하는 알려진 교통 시나리오를 센서 데이터 스트림의 섹션에 할당하는 것을 설명하기 위한 도면이고;
도 4는 템플릿의 조정을 설명하기 위한 도면이다.
도 1은 처리 모듈(2), 할당 모듈(3) 및 데이터베이스(4)를 이용하여 차량 주변을 특징화하는 센서 데이터 스트림(D)을 분석하기 위한 본 발명에 따른 장치(1)의 바람직한 실시형태를 도시하고 있는 것으로서, 장치(1)는 바람직하게는 차량 주변을 감지하고 관련 센서 데이터 스트림(D)을 제공하도록 구성된 센서부(5) 및 차량 보조 시스템(6)과 연결되어 있다. 운전자 보조 시스템(6)은 예를 들어 센서 데이터 스트림(D)의 분석을 기반으로 장치(1)에 의해 생성되는 출력 신호(A)를 기반으로 제어될 수 있다.
이와 달리, 센서부(5) 및/또는 운전자 보조 시스템(6)은 장치(1)의 일부인 것도 생각할 수 있다.
처리 모듈(2) 및/또는 할당 모듈(3)은 바람직하게는 소프트웨어, 예를 들어 프로그램 코드로서 구현되고, 데이터 처리부(7)에 의해 구현될 수 있다.
처리 모듈(2)은 바람직하게는 센서 데이터 스트림(D)의 섹션 및 데이터베이스(4)에 저장된 적어도 하나의 템플릿(S) 간 일치 정도를 특징화하는 유사도를 결정하도록 구성되어 있다. 이와 관련하여 처리 모듈(2)은 예를 들어 소정의 시간대 동안 센서 데이터 스트림(D)에 포함된 센서 데이터를 추출하고, 센서 데이터 스트림(D)의 섹션을 제공하고, 예를 들어 동적 시간 정규화(영어로 "dynamic time warping (DTW)")를 위한 방법을 이용하여 적어도 하나의 템플릿(S)에 매핑한다. 바람직하게는 이러한 매핑의 결과로서 유사도가 얻어진다.
처리 모듈(2)은 특히 동적으로, 즉 특히 비선형적으로 센서 데이터 스트림(S)으로부터 추출된 섹션을 왜곡(warp)하도록, 예를 들어 적어도 섹션별로 압축 및/또는 확장하도록 구성될 수 있다. 그 결과, 상기 섹션에 포함된 센서 데이터는 예를 들어 템플릿과 대응되는 템플릿 데이터에 적절하게 할당될 수 있다. 처리 모듈(2)은 바람직하게는 최적화 함수를 기반으로 특히 센서 데이터 스트림(D)의 섹션이 특히 정확하게, 즉 최소 오차로 템플릿(S)에 매핑되는 방식으로 할당을 결정한다. 나머지 차이, 특히 센서 데이터 스트림(D)의 섹션과 템플릿(S) 간 차이의 형태는 유사도인 것이 바람직하다.
이때 특히 상기 차이는 상기 섹션에 포함된 센서 데이터 및 상기 센서 데이터에 할당된 템플릿 데이터 간의 차이를 특징화할 수 있다. 특히 상기 차이는 예를 들어 센서 데이터와 템플릿 데이터로 이루어진 쌍의 각각에 대해 센서 데이터와 템플릿 데이터 간 차이를 결정하여 합산하여 구할 수 있다.
데이터베이스(4)에 저장된 템플릿(S)은 각각 알려진 교통 시나리오를 특징화하는 것이 바람직하다. 예를 들어 상기 템플릿과 대응되는 템플릿 데이터는 교통 시나리오를 적어도 부분적으로 설명하는 파라미터의 값, 특히 시간 곡선에 해당할 수 있다. 이러한 파라미터는 예를 들면 2개의 도로 사용자 간 거리일 수 있다.
할당 모듈(3)은 데이터베이스(4)에 저장된 템플릿(S) 및 처리 모듈(2)에 의해 결정된 유사도를 기반으로 특히 유사도가 미리정의된 유사성 기준을 충족할 때, 예를 들어 미리정의된 유사성 임계값보다 작을 때, 센서 데이터 스트림(D)의 섹션에 알려진 교통 시나리오를 할당하도록 적절히 구성될 수 있다.
다시 말해, 할당 모듈(3)은 상기 결정된 유사도가 미리정의된 유사성 기준을 충족하는지 여부를 테스트하도록 구성되는 것이 바람직하다. 예를 들어 처리 모듈(2)은 센서 데이터 스트림(D)의 섹션의 동적 시간 정규화시 얻은 센서 데이터 스트림(D)의 섹션 및 템플릿(S) 간 차이가 미리정의된 유사성 임계값 미만으로 떨어지는지 여부, 즉 상기 섹션 및 템플릿(S)이 서로 너무 유사하여 이들 사이의 결정된 차이가 유사성 임계값보다 작은지 여부를 결정할 수 있다.
테스트 결과에 따라, 특히 상기 유사도가 미리정의된 유사성 기준을 충족하거나 상기 차이가 미리정의된 유사성 임계값 미만으로 떨어지면 할당 모듈(3)은 템플릿(S)이 특징화하는 알려진 교통 시나리오에 센서 데이터 스트림(D)의 섹션을 할당할 수 있다. 출력 신호(A)는 바람직하게는 할당 모듈(3)에 의해, 바람직하게는 테스트 결과에 따라 생성되고, 알려진 교통 시나리오를 특징화한다. 출력 신호(A)는 예를 들어 알려진 교통 시나리오와 관련된 정보를 포함할 수 있다.
센서 데이터 스트림(D)의 섹션이 템플릿(S)에 의미 있게 매핑될 수 없을 때, 즉 유사도가 미리정의된 유사성 기준을 충족하지 않을 때, 데이터베이스(4)는 현재 해당되는 센서 데이터 스트림(D)의 섹션이 특징화하는, 특히 형성하는 추가 템플릿(S)에 의해 확장될 수 있다.
도 2는 교통 시나리오의 존재와 관련하여 차량 주변을 특징화하는 센서 데이터 스트림을 분석하기 위한 본 발명에 따른 방법(100)의 바람직한 실시예를 도시하고 있다.
단계(S1)에서, 예를 들어 차량의 센서부로 차량 주변을 촬영하거나 시뮬레이션에 의해 센서 데이터 스트림을 제공한다. 상기 센서 데이터 스트림은 바람직하게는 시간 순서에 따른 센서 데이터 구성되, 상기 센서 데이터는 교통 시나리오를 설명하는 파라미터의 값을 포함할 수 있다. 예를 들어 상기 센서 데이터 스트림은 도로 사용자 간 거리의 시간 곡선을 매핑할 수 있다.
다음 단계(S2)에서, 예를 들어 미리정의된 시간대 내에서 상기 센서 데이터 스트림으로부터 센서 데이터를 추출함으로써 센서 데이터 스트림으로부터 섹션을 선택한다. 특히 상기 섹션의 시작 및/또는 섹션의 종료를 선택할 수 있으며, 이때 섹션의 시작 및 종료는 바람직하게는 미리정의된 기간만큼 서로 차이가 있다. 이 경우, 상기 섹션의 종료는 바람직하게는 센서 데이터 스트림으로부터 마지막으로 제공된 센서 데이터에 의해 구성된다.
다음 단계(S3)에서, 알려진 교통 시나리오를 특징화하는 적어도 하나의 템플릿이 데이터베이스에 저장되어 있는지 여부를 테스트한다. 상기 데이터베이스에 템플릿이 없으면, 다음 단계(S4)에서 센서 데이터 스트림의 섹션을 데이터베이스의 템플릿으로서 저장할 수 있다. 그렇지 않으면, 다음 단계(S5)에서 상기 센서 데이터 스트림의 섹션을 데이터베이스에 저장된 적어도 하나의 템플릿에 매핑할 수 있으며, 이때 유사도를 결정하는 것이 바람직하다. 상기 유사도는 바람직하게는 센서 데이터 스트림의 섹션과 템플릿 간 일치 정도를 특징화한다.
이때 상기 섹션은 동적 시간 정규화를 기반으로 템플릿에 매핑할 수 있으며, 이때 유사도는 바람직하게는 동적 시간 정규화에 의해 얻어진 템플릿과 섹션 간 차이에 의해 구성된다. 상기 차이는 템플릿에 매핑된 섹션 및 템플릿 간 차이, 특히 섹션에 포함된 센서 데이터 및 템플릿에 포함된 템플릿 데이터 간 차이에 대한 척도일 수 있다. 따라서 상기 차이 또는 유사도는 바람직하게는 섹션과 템플릿이 서로 매우 유사하면 작고 섹션과 템플릿이 서로 유사하지 않으면 크다.
다수의 템플릿이 이미 데이터베이스에 저장되어 있는 경우에는 각각의 섹션을 템플릿에 매핑하는 것이 바람직하며 이러한 방식으로 유사도를 결정한다.
다음 단계(S6)에서는 단계(S5)에서 결정한 유사도가 미리정의된 유사성 기준을 충족하는지 여부, 예를 들어 동적 시간 정규화에 의해 얻은 차이가 미리정의된 유사성 임계값보다 작은지 여부를 테스트한다.
이 경우에 상기 템플릿 중 어느 것도 해당되지 않을 때에는 단계(S4)에서 센서 데이터 스트림의 섹션을 특히 이미 데이터베이스에 저장된 템플릿에 추가 템플릿으로서 데이터베이스에 추가로 저장할 수 있다. 따라서 상기 데이터베이스에서는 아직 미지인 추가 교통 시나리오를 센서 데이터 스트림의 섹션에 매핑한다.
다른 한편으로, 적어도 하나의 유사도가 유사성 기준을 충족하는 경우, 예를 들어 동적 시간 정규화에 의해 얻은 차이가 미리정의된 유사성 임계값보다 작은 경우, 다음 단계(S7)에서는 바람직하게 센서 데이터 스트림의 섹션에 알려진 교통 시나리오를 할당 할 수 있다.
단계(S5)에서 결정된 유사도가 다수 개인 경우, 이들을 바람직하게는 서로 비교하고, 그 비교 결과를 기반으로 알려진 교통 시나리오를 섹션에 할당한다. 예를 들어 비교시 상기 섹션 및 유사도와 대응되는 템플릿 간 매우 높은 일치 정도를 특징화하는 유사도를 결정할 수 있다. 특히 동적 시간 정규화시 얻은 가장 작은 차이를 선택하고 이와 대응되는 템플릿을 특징화하는 교통 시나리오를 통해 섹션에 할당할 수 있다.
또한 다음 단계(S8)에서는 상술한 바와 같이 경우에 따라 단계(S5)에서 결정된 여러 유사도로부터 선택된 유사도가 어떻게 미리정의된 유사성 기준을 충족하는지, 예를 들어 동적 시간 정규화시 얻은 차이가 조정 임계값보다 큰지 여부를 테스트할 수 있다.
이 경우, 상기 유사도와 대응되는 템플릿은 센서 데이터 스트림의 섹션을 고려하여 다음 단계(S9)에서 조정될 수 있다. 예를 들어 상기 템플릿은 단계(S7)에서 해당하는 알려진 교통 시나리오가 할당된 센서 데이터 스트림의 여러 섹션을 평균화하여 보정할 수 있다.
도 3은 템플릿(S)이 특징화하는 알려진 교통 시나리오를 센서 데이터 스트림의 섹션(B)에 할당하는 것을 설명하기 위한 도면이다. 상기 교통 시나리오는 예를 들어 끼어들기 기동, 이탈 기동, 1개의 차선에서 후방 운행 또는 2개의 차선 사이를 운행하는 것이다. 이때 다양한 섹션(B)은 예를 들어 서로 다른 운전 기동과 대응되고, 또한 이들 운전 기동 내에서 각각의 운전 기동의 다양한 실시 또는 변형과도 대응된다.
도 3에 도시된 센서 데이터 스트림의 섹션(B)의 위치는 횡방향 시작 거리(dXstart), 즉 운전 기동의 시작시 주행 방향에 수직인 2개의 차량 간 거리의 성분 및 횡방향 종료 거리(dXend), 즉 운전 기동의 종료시 주행 방향에 수직인 2개의 차량 간 거리의 성분의 섹션 각각에 따라 달라진다. 더 나은 이해를 위해, 도 4에는 2대의 차량이 처음에는 2개의 인접 차선에서 주행하고 차량 중 1대가 다른 차량의 전방으로 끼어드는 기동에 대응되는 섹션(B)이 도시되어 있다. 이와 관련하여, 도 4에는 차량이 인접 차선에서 주행하는 운전 기동을 시작할 때 횡방향 시작 거리(dXstart)는 본질적으로 4 m 범위에 있고 차량이 같은 차선에서 주행하는 운전 기동을 종료할 때 횡방향 종료 거리(dXend)는 실질적으로 0 m 범위에 있는 섹션(B)이 도시되어 있다.
그 결과, 일어날 수 있는 각각의 기동 및 일어날 수 있는 각각의 기동 실행, 즉 각각의 섹션(B)에 대해 서로 다른 시작 거리(dXstart) 및 종료 거리(dXend)가 약간 달라지도록 도 3의 디스플레이에서 섹션(B)의 위치를 기준으로 다양한 운전 기동 또는 일어날 수 있는 기동 실행은 서로 약간 다를 수 있다.
도 3에 도시되어 있는 바와 같이, 선택된 디스플레이의 섹션(B)은 클러스터(C)를 구성하고, 도시된 예에서 템플릿(S)은 각각 센서 데이터 스트림의 여러 섹션(B)으로 이루어진 클러스터(C)의 중심을 구성한다. 이 경우, 바람직하게는 시간 곡선(예를 들어 도 4에 도시됨)이 서로 어느 정도 유사성을 갖는 센서 데이터 스트림의 모든 섹션(B)이 클러스터(C)에 할당된다. 도 3에 도시되어 있는 디스플레이에서 상기 유사성은 공간 위치, 즉 섹션(B)의 유사한 시작(dXstart) 및 종료 거리(dXend)에 의해 설명되며, 센서 데이터 스트림의 서로 유사한 섹션(B) 각각은 소정 범위 내에 함께 있다. 예를 들어, 끼어들기 기동의 다양한 실행과 대응되는 모든 섹션(B)은 dXstart가 약 4이고 dXend가 약 0인 범위에 있고, 1대의 차량이 동일 차선에서 다른 차량을 따라가는 후속 기동의 다양한 실행과 대응되는 모든 섹션(B)은 dXstart가 약 0이고 dXend가 약 0인 범위에 있다.
이때, 바람직하게는 섹션(B) 및 클러스터(C)의 템플릿(S) 간 일치 정도를 특징화하는 결정된 유사도에 대해 센서 데이터 스트림의 모든 섹션(B)을 클러스터(C)에 할당할 때 유사성 기준이 충족된다. 이 경우, 상기 유사도는 동적 시간 정규화에 의해 섹션(B) 각각을 각각의 템플릿(S)에 매핑함으로써 결정하는 것이 바람직하다.
각각의 템플릿(S)에 매핑시, 섹션(B)은 바람직하게는 적어도 실질적으로 템플릿(S)에 대응되거나 그 과정에 따르도록 동적 시간 정규화에 의해 동적으로, 즉 적어도 섹션별로 압축 및/또는 확장된다. 예를 들어 확인할 아직 미지인 교통 시나리오를 적어도 부분적으로 특징화하고 센서 데이터 스트림의 섹션(B)에 의해 매핑되는 2개의 차량 간 횡방향 거리와 같은 파라미터의 시간 곡선이 템플릿(S)에 의해 매핑된 시간 곡선에 대한 동적 시간 정규화에 의해 알려진 교통 시나리오를 특징화하는 이들 파라미터의 곡선에 대해 조정된다. 이때 유사도는 바람직하게는 섹션(B)에 의해 매핑된 시간 곡선과 템플릿(S)에 의해 매핑된 시간 곡선 사이의 편차를 나타낸다(섹션(B)의 시간 곡선에 대한 예에 대해 도 4를 참조할 것).
이러한 방식으로 결정된 유사도가 미리정의된 유사성 기준을 충족하면 템플릿(S) 중 하나 또는 클러스터(C) 중 하나 및 이에 따라 알려진 교통 시나리오 중 하나가 추가 섹션(B)에 할당될 수 있다. 이 경우, 알려진 교통 시나리오는 바람직하게는 추가 섹션(B)에 할당되고, 그의 템플릿(S)에 대해 섹션(B)과의 가장 높은 일치 정도가 결정된다.
이때, 일치 정도를 나타내는 유사도는 예를 들어 동적 시간 정규화 중에 결정된 센서 데이터 스트림의 섹션(B) 및 각각의 템플릿(S) 간 차이에 해당할 수 있다.
유사성 기준 충족은 예를 들어 상기 차이가 유사성 임계값 아래로 떨어지는 것을 포함한다. 선택적으로 또는 추가로, 유사성 기준 충족은 결정된 차이가 다른 템플릿(S)에 대해 결정된 다른 모든 차이보다 작은 것을 포함할 수 있다. 다시 말해, 섹션(B) 및 클러스터(C)와 대응되는 템플릿(S) 간 차이가 충분히 작고 특히 섹션(B) 및 모든 다른 템플릿(S) 간 차이보다 작을 때 섹션(B)을 클러스터(C) 또는 이와 대응되는 운전 기동 또는 교통 시나리오에 할당하는 것이 바람직하다.
유사도가 미리정의된 조정 기준을 충족하는지 여부 또한 확인할 수 있다. 이 경우, 섹션(B)에 할당된 알려진 교통 시나리오를 특징화하는 해당 템플릿(S)을 조정하는 것이 바람직하다. 이는 또한 도 4와 함께 아래에서 설명하기로 한다.
상기 조정 기준은 동적 시간 정규화에 의해 결정된 섹션(B)과 템플릿(S) 간 차이가 미리정의된 조정 임계값보다 클 때 충족되는 것이 바람직하다. 다시 말해, 섹션(B)이 클러스터(C)에 할당되지만 클러스터(C)의 중심, 즉 템플릿(S) 가까이에 있지 않을 때 조정 기준이 충족된다. 이 경우, 섹션(B)과 템플릿(S) 간 차이는 템플릿(S)의 조정, 즉 클러스터(C)의 중심의 새로운 계산을 특히 센서 데이터 스트림의 다른 섹션(B)와의 향후 비교에 영향을 미칠 수 있는 고려해야 할 변화로 이어질 만큼 충분히 고려할 수 있다.
미리정의된 유사성 기준이 결정된 유사도 중 어느 것에 의해서도 충족되지 않는 경우에, 단일 구성요소로서 추가 섹션(B)을 사용하여 새로운 클러스터(C)를 생성할 수 있으며, 이때 해당 템플릿(S)은 추가 섹션(B)에 의해 구성된다.
도 4는 템플릿(S)의 조정을 설명하기 위한 도면이다. 2대의 차량 사이의 횡방향 거리(dX)의 시간 곡선, 즉 이들의 주행 방향에 수직인 차량 간 거리가 도시되어 있다.
횡방향 거리(dX)는 교통 시나리오, 특히 끼어드는 기동을 적어도 부분적으로 설명하는 파라미터로 사용될 수 있다. 예를 들어 끼어드는 기동을 시작할 때 인접한 차선에 2대의 차량이 있으므로 그 사이의 횡방향 거리는 약 4 m이다. 기동이 끝날 무렵에 2대의 차량은 동일한 차선에 있으므로 2대의 차량 사이의 횡방향 거리는 실질적으로 0 m이 된다.
도 4에서, 각각의 동일한 교통 시나리오, 이 경우 끼어들기 기동에서 횡방향 거리(dX)를 특징화하는 시간 순서에 따른 센서 데이터를 포함하는 센서 데이터 스트림의 섹션(B)이 다수 도시되어 있다. 주행 기동이 얼마나 공격적으로 실행되는지에 따라 섹션(B)은 더 짧거나 길어진다. 그럼에도 불구하고 적어도 시간 곡선 형태는 비슷하다.
상기 유사성은 센서 데이터 스트림의 섹션(B)에 알려진 교통 시나리오(예. 끼어드는 기동)를 할당하는데 사용할 수 있는데, 이때 섹션(B) 및 알려진 교통 시나리오를 특징화하는 템플릿(S) 사이의 유사도를 결정하기 위해 동적 시간 정규화에 의해 섹션(B)을 템플릿(S)에 매핑한다. 이는 도 2 및 3과 관련하여 상세히 설명되어 있다.
이때 템플릿(S)은 바람직하게는 예를 들어 데이터베이스에 미리 저장된 센서 데이터 스트림의 복수 개의 섹션(B)를 기반으로 결정된다. 알려진 교통 시나리오, 여기서는 끼어드는 기동과 대응되는 데이터베이스에 미리 저장된 섹션(B)은 예를 들어 차량을 이용한 시험 주행시 기록될 수 있고 이에 따라 센서 데이터 스트림으로부터 수동으로 선택될 수 있다. 이와 달리 섹션(B)은 센서 데이터 스트림으로부터 현장에서 추출되어 데이터베이스에 저장되는 섹션일 수도 있다.
섹션(B)으로부터 템플릿(S)을 결정하기 위해서, 특히 센서 데이터 스트림의 복수 개의 섹션(B)을 평균화할 수 있다. 섹션(B)의 서로 다른 시간 길이를 고려하기 위해서 상기 평균화를 동적 시간 정규화를 기반으로 수행하는 것이 바람직하다. 특히 동적 정규화 시간에 따른 중심 평균화(영어로 "dynamic time warping barycenter averaging")이 바람직하게 사용되며, 이는 Petitjean 등의 "A global averaging method for dynamic time warping, with applications to clustering", Pattern regocnition, 44(3), 678-693 (2011)에 기재되어 있다.
도 4에 도시되어 있는 센서 데이터 스트림의 섹션(B)의 평균화의 결과, 도 4에 도시되어 있는 템플릿(S)으로서 교통 시나리오, 이 경우 끼어들기 기동을 특징화하는 일반적인 템플릿(S)이 얻어진다.
1 센서 데이터 스트림을 분석하기 위한 장치
2 처리 모듈
3 할당 모듈
4 데이터베이스
5 센서부
6 운전자 보조 시스템
7 데이터 처리부
100 센서 데이터 스트림을 분석하기 위한 방법
S1-S9 단계
A 출력 신호
B 센서 데이터 스트림의 섹션
C 클러스터
D 센서 데이터 스트림
S 템플릿
dX 횡방향 거리
dXstart 횡방향 시작 거리
dXend 횡방향 종료 거리

Claims (16)

  1. 교통 시나리오의 존재와 관련하여 차량 주변을 특징화하는 센서 데이터 스트림(D)을 분석하기 위한 방법(100)으로서:
    - 센서 데이터 스트림(D)의 섹션(B) 및 데이터베이스(4)에 저장되고 알려진 교통 시나리오를 특징화하는 적어도 하나의 템플릿(S) 간 일치 정도를 나타내는 유사도를 바람직하게는 동적 시간 정규화에 의해 상기 센서 데이터 스트림(D)의 섹션(B)을 적어도 하나의 템플릿에 매핑함으로써 결정하는 단계(S5); 및
    - 상기 유사도가 미리정의된 유사성 기준을 충족할 때 알려진 교통 시나리오를 센서 데이터 스트림(D)의 섹션(B)에 할당하는 단계(S7)를 포함하는 방법(100).
  2. 제1항에 있어서,
    센서 데이터 스트림(D)의 섹션(B)이 알려진 교통 시나리오에 할당될 때 데이터베이스(4)에 저장되는 방법(100).
  3. 제2항에 있어서,
    - 상기 유사도가 특정된 유사성 기준을 충족하지 않으면 센서 데이터 스트림(D)의 섹션(B)을 데이터베이스(4)에 추가 템플릿으로서 저장하는 단계(S4)를 더 포함하는 방법(100).
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    - 적어도 하나의 템플릿(S)이 데이터베이스(4)에 저장되어 있는지 테스트하는 단계(S3); 및
    - 상기 테스트 결과에 따라 데이터베이스(4)에 템플릿(S)으로서 센서 데이터 스트림(D)의 섹션(B)을 추가하는 단계(S4)를 더 포함하는 방법(100).
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    - 상기 유사도가 미리정의된 유사성 기준 및 미리정의된 조정 기준을 동시에 충족할 때 템플릿(S)을 조정하는 단계(S9)를 더 포함하는 방법(100).
  6. 제5항에 있어서,
    템플릿(S)을 조정시 특히 데이터베이스(4)에 미리 저장된 알려진 교통 시나리오에 할당된 센서 데이터 스트림(D)의 모든 섹션들(B)을 동적 시간 정규화에 의해 평균화하는 방법(100).
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 유사도가 미리정의된 유사성 임계값 미만이면 미리정의된 유사성 기준이 충족되는 방법(100).
  8. 제5항에 있어서,
    상기 유사도가 유사성 기준, 특히 유사성 임계값에 의존하는 조정 임계값을 초과하면 상기 미리정의된 조정 기준이 충족되는 방법(100).
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    - 매핑시 특히 동적 시간 정규화에 의해 적어도 알려진 시나리오에 할당된, 특히 데이터베이스(4)에 저장된 센서 데이터 스트림(D)의 섹션(B)으로부터 결정되는 다수 개의, 특히 모든 유사도 값을 서로 비교하여 유사성 기준, 특히 유사성 임계값을 특정하는 단계를 더 포함하는 방법(100).
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    센서 데이터 스트림(D)의 섹션(B)을 데이터베이스(4)에 저장하고 각각 다른 알려진 교통 시나리오를 특징화하는 다수 개의 템플릿(S) 중 하나에 각각 매핑함으로써 다수의 유사도를 결정하고, 상기 다수 개의 결정된 유사도 값을 서로 비교함으로써 센서 데이터 스트림(D)의 섹션(B)을 알려진 교통 시나리오에 할당하는 방법(100).
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    센서 데이터 스트림(D)이 교통 시나리오에서 2개의 도로 사용자의 적어도 하나의 거리를 특징화하는 방법(100).
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    센서 데이터 스트림(D)이 차량의 작동 중에 차량의 센서부(5)에 의해 제공되는 방법(100).
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    - 센서 데이터 스트림(D)으로부터 섹션(B)을 선택하되, 센서 데이터 스트림(D)의 섹션의 시작(B)과 센서 데이터 스트림(D)의 섹션(B)의 종료를 미리정의된 기간만큼 차이를 두게 하는 방식으로 센서 데이터 스트림(D)의 섹션(B)의 시작 및/또는 센서 데이터 스트림(D)의 섹션(B)의 종료를 선택하는 단계(S2)를 더 포함하는 방법(100).
  14. 제12항에 있어서,
    적어도 상기 센서 데이터 스트림(D)의 섹션(B)의 선택, 유사도의 결정 및 섹션(B)의 할당을 적어도 반복적으로 수행하고 센서 데이터 스트림(D)의 섹션(B)을 반복적으로 선택할 때 센서 데이터 스트림(D)의 섹션(B)의 시작 및/또는 종료를 센서 데이터 스트림(D)의 섹션(B)이 이전에 선택된 센서 데이터 스트림(D)의 섹션(B) 중 하나와 최대 절반까지 겹치도록 선택하는 방법(100).
  15. 교통 시나리오의 존재와 관련하여 차량 주변을 특징화하는 센서 데이터 스트림(D)을 분석하기 위한 장치(1)로서,
    - 센서 데이터 스트림(D)의 섹션(B)을 바람직하게는 동적 시간 정규화에 의해 적어도 하나의 템플릿(S)에 매핑함으로써 센서 데이터 스트림(D)의 섹션(B) 및 데이터베이스(4)에 저장되고 알려진 교통 상황을 특징화하는 적어도 하나의 템플릿(S) 간 일치 정도를 나타내는 유사도를 결정하도록 구성된 처리 모듈(2);
    - 유사도가 미리정의된 유사성 기준을 충족할 때 알려진 교통 시나리오가 센서 데이터 스트림(D)의 섹션(B)에 할당되도록 구성된 할당 모듈(3)을 포함하는 장치(1).
  16. 운전자 보조 시스템(6)에 의해 센서 데이터 스트림(D)을 기초로 차량을 안내하기 위한 방법으로서,
    센서 데이터 스트림(D)을 제1항 내지 제14항 중 어느 한 항에 따른 방법에 의해 분석하는 방법.
KR1020217012316A 2018-09-24 2019-09-24 센서 데이터 스트림을 분석하기 위한 방법과 장치 및 차량을 안내하기 위한 방법 KR20210063409A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ATA50818/2018A AT521724A1 (de) 2018-09-24 2018-09-24 Verfahren und Vorrichtung zur Analyse eines Sensordatenstroms sowie Verfahren zum Führen eines Fahrzeugs
ATA50818/2018 2018-09-24
PCT/AT2019/060315 WO2020061603A1 (de) 2018-09-24 2019-09-24 Verfahren und vorrichtung zur analyse eines sensordatenstroms sowie verfahren zum führen eines fahrzeugs

Publications (1)

Publication Number Publication Date
KR20210063409A true KR20210063409A (ko) 2021-06-01

Family

ID=68109071

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217012316A KR20210063409A (ko) 2018-09-24 2019-09-24 센서 데이터 스트림을 분석하기 위한 방법과 장치 및 차량을 안내하기 위한 방법

Country Status (7)

Country Link
US (1) US20220230536A1 (ko)
EP (1) EP3857437A1 (ko)
JP (1) JP2022502750A (ko)
KR (1) KR20210063409A (ko)
CN (1) CN112771535A (ko)
AT (1) AT521724A1 (ko)
WO (1) WO2020061603A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11886195B2 (en) * 2020-11-30 2024-01-30 Woven By Toyota, U.S., Inc. Active learning and validation system for vehicles
WO2022147785A1 (zh) * 2021-01-08 2022-07-14 华为技术有限公司 车辆驾驶场景识别方法及装置
GB2618341A (en) * 2022-05-03 2023-11-08 Oxa Autonomy Ltd Controlling an autonomous vehicle
EP4300316A1 (de) * 2022-07-01 2024-01-03 dSPACE GmbH Computerimplementiertes verfahren und system zum erstellen einer szenarien-bibliothek

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160362118A1 (en) * 2011-08-31 2016-12-15 Pulsar Informatics, Inc. Driver performance metric
MX2015000832A (es) * 2012-07-17 2015-04-08 Nissan Motor Sistema de asistencia a la conduccion y metodo de asistencia a la conduccion.
KR101473957B1 (ko) * 2013-01-28 2014-12-18 군산대학교산학협력단 운전 패턴 인식에 기반하여 보험료를 결정하는 장치 및 방법
CN105389984A (zh) * 2015-11-16 2016-03-09 北京智视信息科技有限公司 一种基于移动终端传感信息融合的驾驶行为识别方法
DE102016205152A1 (de) * 2016-03-29 2017-10-05 Avl List Gmbh Fahrerassistenzsystem zum Unterstützen eines Fahrers beim Führen eines Fahrzeugs
WO2017210222A1 (en) 2016-05-30 2017-12-07 Faraday&Future Inc. Generating and fusing traffic scenarios for automated driving systems
CN111373415A (zh) * 2017-05-05 2020-07-03 阿里莫有限责任公司 使用神经网络分析序列数据
CN107358678B (zh) * 2017-06-07 2020-11-27 北京航空航天大学 一种驾驶事件检测和识别方法
US10401862B2 (en) * 2017-10-31 2019-09-03 Waymo Llc Semantic object clustering for autonomous vehicle decision making
JP2019095878A (ja) * 2017-11-20 2019-06-20 株式会社デンソー 車両用検索装置
ES2736901A1 (es) * 2018-06-29 2020-01-08 Geotab Inc Caracterización de una colisión de vehículo

Also Published As

Publication number Publication date
US20220230536A1 (en) 2022-07-21
WO2020061603A1 (de) 2020-04-02
CN112771535A (zh) 2021-05-07
JP2022502750A (ja) 2022-01-11
EP3857437A1 (de) 2021-08-04
AT521724A1 (de) 2020-04-15

Similar Documents

Publication Publication Date Title
KR20210063409A (ko) 센서 데이터 스트림을 분석하기 위한 방법과 장치 및 차량을 안내하기 위한 방법
US11073399B2 (en) Method for estimating position of ego vehicle for autonomous driving and autonomous driving apparatus
KR20180068511A (ko) 영상에 포함된 도로와 관련된 정보를 결정하는 뉴럴 네트워크를 학습시키는 학습 데이터를 생성하는 장치 및 방법
EP3667638A1 (en) Traffic lane information management method, running control method, and traffic lane information management device
CN109033966B (zh) 绕路检测模型训练方法和装置，以及绕路检测方法和装置
JP2020516880A (ja) ポリゴンにおける中間点を低減する方法および装置
US11493624B2 (en) Method and system for mapping and locating a vehicle based on radar measurements
US10997437B2 (en) Apparatus for managing driving pattern based on object recognition, vehicle driving controlling apparatus using the same and method thereof
JP6418574B2 (ja) 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
JP2020042783A (ja) 無人運転車に基づく障害物分類方法、装置、機器及び記憶媒体
US10913455B2 (en) Method for the improved detection of objects by a driver assistance system
KR20170085752A (ko) 자율 주행 차량의 차선 인지 방법 및 장치
US11403494B2 (en) Obstacle recognition assistance device, obstacle recognition assistance method, and storage medium
KR102498435B1 (ko) 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법
CN113178074A (zh) 应用于车辆的交通流机器学习建模***及其方法
US20230018996A1 (en) Method, device, and computer program for providing driving guide by using vehicle position information and signal light information
CN113212442A (zh) 一种轨迹感知车辆驾驶分析方法及***
CN110745145B (zh) 用于adas的多传感器管理***
US20200298840A1 (en) Vehicle information processing apparatus and vehicle information processing method
KR101808413B1 (ko) 도로의 특성 정보를 이용한 도로 유형 정보 제공 시스템 및 방법
KR20150124889A (ko) 다중 차로 검출 및 차로 변경 감지 기반의 차로 인식 방법 및 시스템
CN115140029A (zh) 一种自动驾驶汽车的安全能力检测方法和装置
KR20220072730A (ko) 도로 상의 물체와 관련된 위험도를 평가하는 차량용 시스템 및 그 방법
KR101937218B1 (ko) 운전자 수용성 평가 장치 및 방법
CN111414804A (zh) 识别框确定方法、装置、计算机设备、车辆和存储介质