KR102176483B1 - 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치 - Google Patents

차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치 Download PDF

Info

Publication number
KR102176483B1
KR102176483B1 KR1020200038113A KR20200038113A KR102176483B1 KR 102176483 B1 KR102176483 B1 KR 102176483B1 KR 1020200038113 A KR1020200038113 A KR 1020200038113A KR 20200038113 A KR20200038113 A KR 20200038113A KR 102176483 B1 KR102176483 B1 KR 102176483B1
Authority
KR
South Korea
Prior art keywords
information
vehicle
lane
deep learning
path
Prior art date
Application number
KR1020200038113A
Other languages
English (en)
Inventor
최준원
이석환
김병도
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020200038113A priority Critical patent/KR102176483B1/ko
Application granted granted Critical
Publication of KR102176483B1 publication Critical patent/KR102176483B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치가 제시된다. 본 발명에서 제안하는 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법은 경로를 예측하기 위한 차량을 기준으로 하는 차선의 중심선 정보를 고정밀 지도(High Definition Map; HD Map)로부터 가져오는 단계, 차선의 중심선 정보를 래스터화 하여 래스터화된 이미지를 획득하는 단계 및 획득된 이미지와 차량의 과거 경로 정보를 딥러닝 모델의 입력으로 이용하여 차량 경로를 예측하는 단계를 포함한다.

Description

차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치{Deep Learning-based Vehicle Trajectory Prediction Method and Apparatus using Rasterized Lane Information}
본 발명은 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치에 관한 것이다.
자율주행 자동차는 운전자 또는 승객의 조작 없이 차량의 각종 센서로 부터 얻은 정보를 바탕으로 스스로 운행이 가능한 자동차를 말한다. 운전자가 차량을 조작하지 않아도 스스로 주행하는 자동차는 차세대 자동차 산업으로 주목받고 있는 기술이다. 자율주행을 위해서는 주행상황 정보를 종합 판단하여 처리하는 주행상황 인지 및 대응 기술이 필수적이다. 이러한 인지 및 대응 기술을 구현하기 위해서는 주변 차량들의 이동 경로를 예측할 필요가 있다. 따라서 주변 차량 경로 예측 기술은 자율주행 자동차에서 필수적으로 사용되는 기술이다. 자동차의 카메라, 라이더 등의 센서를 통해 주변 차량을 검출하고, 검출된 정보와 고정밀 지도의 환경 정보를 통해 주변 차량들의 미래 경로를 예측한다. 이러한 예측을 통해 앞으로의 경로에서의 충돌 위험성을 판단하고, 충돌 가능성이 적은 경로로의 계획을 돕는다. 다양한 환경에서의 주변 차량의 경로 예측은 수많은 변수로 인해 이를 예측하기 위해서는 딥러닝 기술을 필요로 한다. 이를 통해 얻어지는 예측 결과의 정확도는 자율주행 자동차의 안전성과 밀접한 관련이 있으므로 매우 중요한 지표가 된다.
제안하는 기술과 관련도가 높은 종래 기술은 과거 경로와 주변 이미지를 기반으로 미래 경로를 예측하는 딥러닝 기술이 있다. 딥러닝 분야에서 미래 경로 예측 기술은 활발히 연구 되고 있으며 과거의 경로만을 통해 예측하거나 경로뿐만 아니라 주변 환경 정보까지 활용하여 예측하는 기술 등 다양한 미래 경로 예측 딥러닝 기술이 있다. 과거 경로만을 통해 예측하는 기술로는 주변 물체들 간의 상호 위치 정보를 통해 LSTM(Long Short-Term Memory) 구조를 사용하여 예측하는 소셜(Social) LSTM이 있으며, 과거 경로와 이미지 정보를 사용하는 예측 기술 중 대표적인 기술로는 MATF(Multi-Agent Tensor Fusion) 등이 있다. MATF는 특정 대상을 기준으로 반경을 정하고 반경안에 예측하려하는 대상의 과거 경로를 각각 LSTM 인코더를 통과시키고 해당 반경의 주변 환경 이미지를 합성곱 신경망(Convolutional Neural Network; CNN)을 통과시킨 후 이 경로 정보와 환경 이미지 정보를 융합하여 처리한다. 이를 통해 딥러닝 모델이 환경 정보와 경로를 융합하여 주변 환경과 물체들 간의 상호관계를 배울 수 있도록 하여 예측 정확도를 높이는 기법이다. 이전의 기술은 과거 경로만을 사용하였지만 MATF에서는 과거 경로뿐만이 아니라 주변 환경 정보까지 같이 사용하여 이전의 딥러닝 기법들에 비해 더 다양한 정보를 사용하여 더 좋은 결과를 내었다.
이러한 종래의 미래 경로 예측 딥러닝 기술은 환경 정보를 이미지화 하여 과거 경로 정보와 융합시킴으로서 다양한 정보를 통해 더 나은 결과를 보일 수 있었다. 하지만 종래 기술의 일부 결과에서는 지도 정보와 경로 정보간의 관계에 대하여 충분히 학습하지 못하여 효율적으로 활용하지 못하는 것으로 나타났다. 이는 환경 정보를 단순히 조감도(Bird’s-eye view) 형태로 사용하거나 필요한 정보를 선별적으로 다루지 못했기 때문이다. 이러한 예측 기술은 지도 정보를 보다 선별적으로 처리하여 정보의 밀도를 높이고, 이렇게 처리된 정보를 통해 딥러닝 모델을 학습시켜 모델이 정보를 효율적으로 활용하도록 해야 한다. 경로 예측 오차를 줄이는 것이 매우 중요하다. 또한 모델이 구조적으로 필요에 비해 거대한 점과 정보의 융합과정에서 비효율적인 점으로 인해 동작시간이 지나치게 길기 때문에 구조적인 개선 또한 필요하다.
본 발명이 이루고자 하는 기술적 과제는 자율주행 시 주행 경로 계획을 위한 시스템에서 차량의 센서를 통해 얻은 주변 차량의 경로 정보와 고정밀 지도(HD map)에서의 차선 정보를 이용해 대상 차량의 미래 경로를 예측하는 딥러닝 방법 및 장치를 제안하고자 한다.
일 측면에 있어서, 본 발명에서 제안하는 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법은 경로를 예측하기 위한 차량을 기준으로 하는 차선의 중심선 정보를 고정밀 지도(High Definition Map; HD Map)로부터 가져오는 단계, 차선의 중심선 정보를 래스터화 하여 래스터화된 이미지를 획득하는 단계 및 획득된 이미지와 차량의 과거 경로 정보를 딥러닝 모델의 입력으로 이용하여 차량 경로를 예측하는 단계를 포함한다.
경로를 예측하기 위한 차량을 기준으로 하는 차선의 중심선 정보를 고정밀 지도(High Definition Map; HD Map)로부터 가져오는 단계는 경로를 예측하기 위한 차량을 중심으로 미리 정해진 범위 내의 차선의 중심선 정보를 고정밀 지도로부터 가져온다.
차선의 중심선 정보를 래스터화 하여 래스터화된 이미지를 획득하는 단계는 이미지에서의 차선의 중심선을 동일한 색상값을 가지도록 래스터화한다.
획득된 이미지와 차량의 과거 경로 정보를 딥러닝 모델의 입력으로 이용하여 차량 경로를 예측하는 단계는 래스터화된 차선의 중심선에 대한 이미지에서 합성곱 신경망(Convolutional Neural Network; CNN)을 통해 특징값을 추출한다.
획득된 이미지와 차량의 과거 경로 정보를 딥러닝 모델의 입력으로 이용하여 차량 경로를 예측하는 단계는 차량의 과거 경로 정보로부터 각 좌표값에 대한 임베딩 벡터를 추출한다.
획득된 이미지와 차량의 과거 경로 정보를 딥러닝 모델의 입력으로 이용하여 차량 경로를 예측하는 단계는 래스터화된 차선의 중심선에 대한 이미지는 합성곱 신경망을 통과한 후, 전연결 신경망(Fully Connected Nework)을 통해 임베딩된 차량의 과거 경로 정보와 함께 인코더로 입력된다.
획득된 이미지와 차량의 과거 경로 정보를 딥러닝 모델의 입력으로 이용하여 차량 경로를 예측하는 단계는 래스터화된 차선의 중심선에 대한 이미지에서 합성곱 신경망을 통해 추출된 특징값과 차량의 과거 경로 정보로부터 추출된 각 좌표값에 대한 임베딩 벡터를 결합하고, 추출된 특징값과 임베딩 벡터가 결합된 특징값을 인코더로 입력하여 결합된 특징값을 해석하고 디코더를 통해 미래 예측 경로를 출력한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 장치는 경로를 예측하기 위한 차량을 기준으로 하는 차선의 중심선 정보를 고정밀 지도(High Definition Map; HD Map)로부터 가져오고, 차선의 중심선 정보를 래스터화 하여 래스터화된 이미지를 획득하는 이미지 처리부 및 획득된 이미지와 차량의 과거 경로 정보를 딥러닝 모델의 입력으로 이용하여 차량 경로를 예측하는 차량 경로 예측부를 포함한다.
본 발명의 실시예들에 따르면 고정밀 지도를 사용하는 주변 차량의 미래 경로 예측을 위한 딥러닝 기법을 통해 자율주행 시 주변 환경에 따른 미래 상황 예측을 통해 시스템의 인지 및 대응 성능을 향상 시킬 수 있다. 또한, 주변 차량 경로 예측을 위한 딥러닝 모델을 제작할 때 고정밀 지도에서의 정확한 환경 정보를 사용할 수 있다. 이는 자율주행 자동차의 구현을 위해 제작된 고정밀 지도를 딥러닝 모델 학습에 사용하는 방법을 제시한 것으로 차량 경로 예측 기술에 새로운 길을 제시하였다. 최근 자율주행에서는 도로 주행 시 상황의 인지 및 대응을 위해 주변 차량의 미래 경로를 예측하는 딥러닝 기법을 필수적으로 필요로 하므로 본 발명은 자율주행의 인지 및 대응 성능을 발전시킬 수 있다. 또한, 자율주행 자동차뿐만 아니라 이동 가능한 인공지능 탑재 로봇이나 자율주행을 목표로 하는 여러 운송수단에도 적용이 가능하다.
도 1은 본 발명의 일 실시예에 따른 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 LSTM(Long Short-Term Memory) 인코더-디코더 예측 네트워크를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 기준 차선의 중심선과 차량 좌표간의 상대거리를 계산하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 장치의 구성을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 입력 경로와 기준 차선을 통해 미래 경로를 예측한 예시를 나타내는 도면이다.
본 발명에서는 자율주행 시 주행 경로 계획을 위한 시스템에서 차량의 센서를 통해 얻은 주변 차량의 경로 정보와 고정밀 지도(HD map)에서의 차선 정보를 이용해 대상 차량의 미래 경로를 예측하는 딥러닝 기법에 대해 제안하고자 한다. 기존의 딥러닝 기반의 주변 차량 경로 예측 기술은 정확한 도로의 환경 정보가 담긴 고정밀 지도를 이용하지 못하였기 때문에 주변 환경 정보를 정밀하게 이용하지 못하였다. 본 발명에서는 차량의 경로 정보와 고정밀 지도의 래스터화한 차선 정보를 딥러닝 신경망에 제공함으로써, 주행 차선 정보를 기반으로 차량 경로의 변화를 신경망이 보다 정확히 예측 할 수 있게 학습하도록 한다. 이때 사용되는 딥러닝 신경망은 인코더-디코더(Encoder-Decoder) 구조로, 인코더에서 다양한 입력 정보들을 융합하여 처리하며 디코더에서 융합된 특징값을 해석해 예측값을 도출한다. 이러한 발명은 딥러닝 모델이 주변 차량들의 경로를 예측하는데 고정밀 지도를 더욱 효과적으로 사용하게 하여 주변 환경에 따라 정확한 예측을 할 수 있게 한다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법을 설명하기 위한 흐름도이다.
제안하는 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법은 경로를 예측하기 위한 차량을 기준으로 하는 차선의 중심선 정보를 고정밀 지도(High Definition Map; HD Map)로부터 가져오는 단계(110), 차선의 중심선 정보를 래스터화 하여 래스터화된 이미지를 획득하는 단계(120) 및 획득된 이미지와 차량의 과거 경로 정보를 딥러닝 모델의 입력으로 이용하여 차량 경로를 예측하는 단계(130)를 포함한다.
단계(110)에서, 경로를 예측하기 위한 차량을 기준으로 하는 차선의 중심선 정보를 고정밀 지도(High Definition Map; HD Map)로부터 가져온다. 경로를 예측하기 위한 차량을 중심으로 미리 정해진 범위 내의 차선의 중심선 정보를 고정밀 지도로부터 가져온다.
단계(120)에서, 차선의 중심선 정보를 래스터화 하여 래스터화된 이미지를 획득한다. 이미지에서의 차선의 중심선을 동일한 색상값을 가지도록 래스터화한다.
단계(130)에서, 획득된 이미지와 차량의 과거 경로 정보를 딥러닝 모델의 입력으로 이용하여 차량 경로를 예측한다. 래스터화된 차선의 중심선에 대한 이미지에서 합성곱 신경망(Convolutional Neural Network; CNN)을 통해 특징값을 추출하고, 차량의 과거 경로 정보로부터 각 좌표값에 대한 임베딩 벡터를 추출한다.
래스터화된 차선의 중심선에 대한 이미지는 합성곱 신경망을 통과한 후, 전연결 신경망(Fully Connected Nework)을 통해 임베딩된 차량의 과거 경로 정보와 함께 인코더로 입력된다. 래스터화된 차선의 중심선에 대한 이미지에서 합성곱 신경망을 통해 추출된 특징값과 차량의 과거 경로 정보로부터 추출된 각 좌표값에 대한 임베딩 벡터를 결합한다. 추출된 특징값과 임베딩 벡터가 결합된 특징값을 인코더로 입력하여 결합된 특징값을 해석하고 디코더를 통해 미래 예측 경로를 출력한다.
도 2는 본 발명의 일 실시예에 따른 LSTM(Long Short-Term Memory) 인코더-디코더 예측 네트워크를 설명하기 위한 도면이다.
래스터화된 차선의 중심선에 대한 이미지(210)에서 합성곱 신경망(Convolutional Neural Network; CNN)(220)을 통해 특징값을 추출한다.
그리고, 본 발명의 일 실시예에 따른 n번째(nth) 차량에 대한 측정값(231), 다시말해 차량의 과거 경로 정보로부터 임베딩(230)을 통해 각 좌표값에 대한 임베딩 벡터를 추출한다.
래스터화된 차선의 중심선에 대한 이미지(210)는 합성곱 신경망(220)을 통과한 후, 전연결 신경망(Fully Connected Nework)을 통해 임베딩된 차량의 과거 경로 정보(231)와 함께 인코더(240)로 입력된다. 인코더(240)는 래스터화된 차선의 중심선에 대한 이미지에서 합성곱 신경망을 통해 추출된 특징값과 차량의 과거 경로 정보로부터 추출된 각 좌표값에 대한 임베딩 벡터를 결합한다. 추출된 특징값과 임베딩 벡터가 결합된 특징값을 인코더(240)로 입력하여 결합된 특징값을 해석하고 디코더(250)를 통해 본 발명의 일 실시예에 따른 n번째(nth) 차량에 대한 미래 예측 경로(260)를 출력한다.
도 3은 본 발명의 일 실시예에 따른 기준 차선의 중심선과 차량 좌표간의 상대거리를 계산하는 과정을 설명하기 위한 도면이다.
제안하는 기술은 고정밀 지도를 사용하여 도로 위의 차선 정보를 얻고 차선의 중심선을 래스터화한 이미지를 예측에 사용한다. 경로를 예측하려하는 차량을 중심으로 일정 범위의 차선의 중심선 정보를 고정밀 지도로부터 가져오고 이를 래스터화 하여 이미지를 얻는다. 얻어진 이미지와 차량의 과거 경로 정보를 딥러닝 모델의 입력으로 사용하며, 입력으로 사용되는 이미지에서의 차선의 중심선은 동일한 색상값을 가지도록 래스터화 한다. 이렇게 만들어진 이미지는 합성곱 신경망을 통과하여 임베딩된 후 전연결 신경망(Fully Connected Nework)을 통해 임베딩된 과거 경로 정보와 함께 인코더의 입력으로 제공된다.
더욱 상세하게는, 획득된 이미지와 차량의 과거 경로 정보를 딥러닝 모델의 입력으로 이용하여 차량 경로를 예측한다. 래스터화된 차선의 중심선(310)에 대한 이미지에서 합성곱 신경망(Convolutional Neural Network; CNN)을 통해 특징값을 추출하고, 차량의 과거 경로 정보(321, 322)로부터 각 좌표값에 대한 임베딩 벡터를 추출한다. 도 3에서, d nd 는 일반 거리(Normal distanve)이고, d td 는 탄젠트 거리(tangent distance)이다.
래스터화된 차선의 중심선에 대한 이미지는 합성곱 신경망을 통과한 후, 전연결 신경망(Fully Connected Nework)을 통해 임베딩된 차량의 과거 경로 정보와 함께 인코더로 입력된다. 래스터화된 차선의 중심선에 대한 이미지에서 합성곱 신경망을 통해 추출된 특징값과 차량의 과거 경로 정보로부터 추출된 각 좌표값에 대한 임베딩 벡터를 결합한다. 추출된 특징값과 임베딩 벡터가 결합된 특징값을 인코더로 입력하여 결합된 특징값을 해석하고 디코더를 통해 미래 예측 경로를 출력한다.
본 발명의 일 실시예에 따르면, 입력으로 서로 다른 정보를 동시에 다루고 있으므로 다양한 종류의 입력 정보를 융합하여 처리하는데 적합한 인코더-디코더 구조를 사용한다. 이렇게 입력된 정보는 인코더를 통해 해석되어 디코더로 전달된다. 디코더에서는 인코더로부터 온 정보를 해석하여 미래 경로의 예측값을 출력한다. 인코더-디코더 구조에서 정보의 처리를 위해 합성곱 신경망과 LSTM 등의 다양한 딥러닝 구조를 사용한다. 위의 과정은 고정밀 지도에서 차선을 정보를 바탕으로 대상 차량과 차선 간의 연관성을 학습하는 것으로 딥러닝 모델은 차선 정보를 고려하여 미래 경로를 예측하도록 학습된다.
상술한 인코더-디코더 구조의 딥러닝 모델을 통해 도로 환경에서 차량의 주행이라는 특수성을 이용하여 경로 예측의 정확도를 높였다. 지도 이미지를 있는 그래도 사용하여 복잡한 환경 정보를 딥러닝 모델에 학습 시키는 종래의 기술에 비해 보다 간단하고 효율적으로 환경 정보를 모델 학습에 적용시킬 수 있도록 하였다. 고정밀 지도에서 필요한 정보만을 이미지화 하여 딥러닝 학습에 사용하는 기술은 종래의 기술이 가지던 성능적인 부족함을 개선하였으며 더 정확하면서 빠른 효율적인 미래 경로 예측을 가능하도록 한다.
도 4는 본 발명의 일 실시예에 따른 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 장치의 구성을 나타내는 도면이다.
제안하는 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 장치는 이미지 처리부(410) 및 차량 경로 예측부(420)를 포함한다.
이미지 처리부(410)는 경로를 예측하기 위한 차량을 기준으로 하는 차선의 중심선 정보를 고정밀 지도(High Definition Map; HD Map)로부터 가져오고, 차선의 중심선 정보를 래스터화 하여 래스터화된 이미지를 획득한다.
이미지 처리부(410)는 경로를 예측하기 위한 차량을 중심으로 미리 정해진 범위 내의 차선의 중심선 정보를 고정밀 지도로부터 가져온다. 그리고, 이미지에서의 차선의 중심선을 동일한 색상값을 가지도록 래스터화한다.
차량 경로 예측부(420)는 획득된 이미지와 차량의 과거 경로 정보를 딥러닝 모델의 입력으로 이용하여 차량 경로를 예측한다.
차량 경로 예측부(420)는 래스터화된 차선의 중심선에 대한 이미지에서 합성곱 신경망(Convolutional Neural Network; CNN)을 통해 특징값을 추출하고, 차량의 과거 경로 정보로부터 각 좌표값에 대한 임베딩 벡터를 추출한다.
래스터화된 차선의 중심선에 대한 이미지는 합성곱 신경망을 통과한 후, 전연결 신경망(Fully Connected Nework)을 통해 임베딩된 차량의 과거 경로 정보와 함께 인코더로 입력된다. 래스터화된 차선의 중심선에 대한 이미지에서 합성곱 신경망을 통해 추출된 특징값과 차량의 과거 경로 정보로부터 추출된 각 좌표값에 대한 임베딩 벡터를 결합한다. 추출된 특징값과 임베딩 벡터가 결합된 특징값을 인코더로 입력하여 결합된 특징값을 해석하고 디코더를 통해 미래 예측 경로를 출력한다.
도 5는 본 발명의 일 실시예에 따른 입력 경로와 기준 차선을 통해 미래 경로를 예측한 예시를 나타내는 도면이다.
도 5를 참조하면, 고정밀 지도를 사용하여 도로 위의 차선 정보를 얻고 차선의 중심선을 래스터화한 이미지를 예측에 사용한다. 기준 차선으로 사용하기 위해, 경로를 예측하려하는 차량을 중심으로 일정 범위의 차선의 중심선 정보를 고정밀 지도로부터 가져오고 이를 래스터화 하여 이미지를 얻는다. 얻어진 이미지와 차량의 과거 경로 정보를 딥러닝 모델의 입력으로 사용하며, 입력으로 사용되는 이미지에서의 차선의 중심선은 동일한 색상값을 가지도록 래스터화 한다. 이렇게 만들어진 이미지는 합성곱 신경망을 통과하여 임베딩된 후 전연결 신경망(Fully Connected Nework)을 통해 임베딩된 과거 경로 정보와 함께 인코더의 입력으로 제공된다. 이와 같이 입력된 입력 경로와 기준 차선을 이용하여, 래스터화된 차선의 중심선에 대한 이미지에서 합성곱 신경망을 통해 추출된 특징값과 차량의 과거 경로 정보로부터 추출된 각 좌표값에 대한 임베딩 벡터를 결합한다. 추출된 특징값과 임베딩 벡터가 결합된 특징값을 인코더로 입력하여 결합된 특징값을 해석하고 디코더를 통해 미래 예측 경로를 출력한다. 도 5(a) 내지 도 5(f)에 목표 경로와 예측 경로를 나타내었다.
본 발명의 실시예에 따른 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치는 자율주행 자동차에서 주행상황 정보를 종합 판단하여 처리하는 주행상황 인지 및 대응 시스템에 적용이 가능하다. 자율주행 자동차가 스스로 운행하기 위해서는 앞으로의 주행에서의 충돌 위험성을 알아야 한다. 충돌의 위험을 피하기 위해서는 주변 물체들의 미래 움직임을 예측해야 할 필요가 있기 때문에 인지 및 대응 시스템에 예측 기술이 적용된다. 도로위에서는 특히 주변 차량들의 움직임을 예측하는 것이 가장 중요하며 따라서 주변 차량의 미래 경로를 예측 할 필요가 있고 다양한 환경에서의 예측값을 얻기 위해 딥러닝 기술이 적용가능하다.
이 기술을 적용하기 위해서는 카메라, 라이더 센서를 통해 주변 정보를 실시간으로 취득하고 이를 그래픽 처리 장치(Graphics Processing Unit; GPU) 등을 장착한 임베디드 시스템에서 물체 인식 알고리즘을 통해 주변 차량을 검출한다. 그리고 글로벌 포지셔닝 시스템(Global Positioning System; GPS)을 통해 얻은 자율주행 차량의 위치 정보, 검출된 주변 차량의 위치 정보, 도로의 환경 정보를 담은 고정밀 지도를 임베디드 시스템에 제공하고 시스템에서 주변 차량 예측 기술을 수행하여 주변 차량의 미래 경로를 예측하는 방법이 있다. 이를 위해서는 다양한 도로 환경에서의 주행 데이터들을 확보하고 충분히 많은 양의 데이터로 딥러닝 모델을 학습 시켜야 한다. 모델의 학습된 가중치(weight)와 편향(bias)값을 저장하고 이를 임베디드 시스템에 적용하여 센서와 알고리즘으로부터 들어오는 정보를 취합하여 예측 결과를 얻도록 한다.
본 발명의 실시예에 따른 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법은 차량의 경로와 래스터화한 고정밀 지도에서의 차선 정보를 사용하여 기존의 예측 모델보다 주변 환경에 대한 정보를 직접적으로 사용하였고 이를 통해 예측 정확도를 높여 자율주행 시의 안전성을 높이일 수 있다.
차량 경로 예측 기술은 현재 자율주행 자동차에 사용되고 있으며 카메라나 라이더 등의 센서와 글로벌 포지셔닝 시스템을 통해 얻은 정보를 입력으로 받아 대상의 미래 경로를 예측하는 기술이다. 이 기술은 향후에는 사람이 판단 할 수 없는 복잡한 상황에서의 물체간의 관계를 파악, 환경에 대한 이해를 바탕으로 물체의 이동 경로를 예측할 것으로 예상되며, 이를 통해 물체와의 충돌을 방지하며 안전한 방향으로의 제어에 사용 될 것이다. 자율적으로 움직이는 모든 인공지능 로봇에 사용 될 수 있으며 드론이나 소형 비행기 같은 비행체부터 대형 선박과 같은 해양 운송수단까지 인공지능을 가진 로봇과 미래에 인공지능이 탑재될 가능성이 있는 운송수단에 향후 적용이 예상된다. 이와 같이 경로 예측 기술은 미래 자율 행동을 하는 인공지능에 필수적인 기술로 대표적인 인공지능 기술 중의 하나라고 할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 경로를 예측하기 위한 차량을 기준으로 하는 차선의 중심선 정보를 고정밀 지도(High Definition Map; HD Map)로부터 가져오는 단계;
    차선의 중심선 정보를 래스터화 하여 래스터화된 이미지를 획득하는 단계; 및
    획득된 이미지와 차량의 과거 경로 정보를 딥러닝 모델의 입력으로 이용하여 차량 경로를 예측하는 단계
    를 포함하는 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법.
  2. 제1항에 있어서,
    경로를 예측하기 위한 차량을 기준으로 하는 차선의 중심선 정보를 고정밀 지도(High Definition Map; HD Map)로부터 가져오는 단계는,
    경로를 예측하기 위한 차량을 중심으로 미리 정해진 범위 내의 차선의 중심선 정보를 고정밀 지도로부터 가져오는
    차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법.
  3. 제1항에 있어서,
    차선의 중심선 정보를 래스터화 하여 래스터화된 이미지를 획득하는 단계는,
    이미지에서의 차선의 중심선을 동일한 색상값을 가지도록 래스터화하는
    차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법.
  4. 제1항에 있어서,
    획득된 이미지와 차량의 과거 경로 정보를 딥러닝 모델의 입력으로 이용하여 차량 경로를 예측하는 단계는,
    래스터화된 차선의 중심선에 대한 이미지에서 합성곱 신경망(Convolutional Neural Network; CNN)을 통해 특징값을 추출하는
    차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법.
  5. 제1항에 있어서,
    획득된 이미지와 차량의 과거 경로 정보를 딥러닝 모델의 입력으로 이용하여 차량 경로를 예측하는 단계는,
    차량의 과거 경로 정보로부터 각 좌표값에 대한 임베딩 벡터를 추출하는
    차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법.
  6. 제1항에 있어서,
    획득된 이미지와 차량의 과거 경로 정보를 딥러닝 모델의 입력으로 이용하여 차량 경로를 예측하는 단계는,
    래스터화된 차선의 중심선에 대한 이미지는 합성곱 신경망을 통과한 후, 전연결 신경망(Fully Connected Nework)을 통해 임베딩된 차량의 과거 경로 정보와 함께 인코더로 입력되는
    차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법.
  7. 제1항에 있어서,
    획득된 이미지와 차량의 과거 경로 정보를 딥러닝 모델의 입력으로 이용하여 차량 경로를 예측하는 단계는,
    래스터화된 차선의 중심선에 대한 이미지에서 합성곱 신경망을 통해 추출된 특징값과 차량의 과거 경로 정보로부터 추출된 각 좌표값에 대한 임베딩 벡터를 결합하는
    차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법.
  8. 제7항에 있어서,
    추출된 특징값과 임베딩 벡터가 결합된 특징값을 인코더로 입력하여 결합된 특징값을 해석하고 디코더를 통해 미래 예측 경로를 출력하는
    차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법.
  9. 경로를 예측하기 위한 차량을 기준으로 하는 차선의 중심선 정보를 고정밀 지도(High Definition Map; HD Map)로부터 가져오고, 차선의 중심선 정보를 래스터화 하여 래스터화된 이미지를 획득하는 이미지 처리부; 및
    획득된 이미지와 차량의 과거 경로 정보를 딥러닝 모델의 입력으로 이용하여 차량 경로를 예측하는 차량 경로 예측부
    를 포함하는 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 장치.
  10. 제9항에 있어서,
    이미지 처리부는,
    경로를 예측하기 위한 차량을 중심으로 미리 정해진 범위 내의 차선의 중심선 정보를 고정밀 지도로부터 가져오는
    차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 장치.
  11. 제9항에 있어서,
    이미지 처리부는,
    차선의 중심선 정보를 래스터화 하여 래스터화된 이미지를 획득하기 위해 이미지에서의 차선의 중심선을 동일한 색상값을 가지도록 래스터화하는
    차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 장치.
  12. 제9항에 있어서,
    차량 경로 예측부는,
    래스터화된 차선의 중심선에 대한 이미지에서 합성곱 신경망(Convolutional Neural Network; CNN)을 통해 특징값을 추출하는
    차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 장치.
  13. 제9항에 있어서,
    차량 경로 예측부는,
    차량의 과거 경로 정보로부터 각 좌표값에 대한 임베딩 벡터를 추출하는
    차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 장치.
  14. 제9항에 있어서,
    차량 경로 예측부는,
    래스터화된 차선의 중심선에 대한 이미지는 합성곱 신경망을 통과한 후, 전연결 신경망(Fully Connected Nework)을 통해 임베딩된 차량의 과거 경로 정보와 함께 인코더로 입력되는
    차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 장치.
  15. 제9항에 있어서,
    차량 경로 예측부는,
    래스터화된 차선의 중심선에 대한 이미지에서 합성곱 신경망을 통해 추출된 특징값과 차량의 과거 경로 정보로부터 추출된 각 좌표값에 대한 임베딩 벡터를 결합하고, 결합된 특징값을 인코더로 입력하여 결합된 특징값을 해석하고 디코더를 통해 미래 예측 경로를 출력하는
    차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 장치.
KR1020200038113A 2020-03-30 2020-03-30 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치 KR102176483B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200038113A KR102176483B1 (ko) 2020-03-30 2020-03-30 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200038113A KR102176483B1 (ko) 2020-03-30 2020-03-30 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102176483B1 true KR102176483B1 (ko) 2020-11-09

Family

ID=73429339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200038113A KR102176483B1 (ko) 2020-03-30 2020-03-30 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102176483B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113687651A (zh) * 2021-07-06 2021-11-23 清华大学 一种按需派送车辆的路径规划方法及装置
KR102388806B1 (ko) * 2021-04-30 2022-05-02 (주)에이아이매틱스 주행 상황 판단 시스템
KR20230010569A (ko) 2021-07-12 2023-01-19 국민대학교산학협력단 딥러닝 기반 차량 경로 예측 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101951595B1 (ko) * 2018-05-18 2019-02-22 한양대학교 산학협력단 모듈형 순환 신경망 구조 기반 차량 경로 예측 시스템 및 방법
JP2019510285A (ja) * 2016-01-08 2019-04-11 ウェイモ エルエルシー 自律車両のためのフォールバック軌道システム
JP2019090627A (ja) * 2017-11-10 2019-06-13 本田技研工業株式会社 表示システム、表示方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019510285A (ja) * 2016-01-08 2019-04-11 ウェイモ エルエルシー 自律車両のためのフォールバック軌道システム
JP2019090627A (ja) * 2017-11-10 2019-06-13 本田技研工業株式会社 表示システム、表示方法、およびプログラム
KR101951595B1 (ko) * 2018-05-18 2019-02-22 한양대학교 산학협력단 모듈형 순환 신경망 구조 기반 차량 경로 예측 시스템 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102388806B1 (ko) * 2021-04-30 2022-05-02 (주)에이아이매틱스 주행 상황 판단 시스템
CN113687651A (zh) * 2021-07-06 2021-11-23 清华大学 一种按需派送车辆的路径规划方法及装置
CN113687651B (zh) * 2021-07-06 2023-10-03 清华大学 一种按需派送车辆的路径规划方法及装置
KR20230010569A (ko) 2021-07-12 2023-01-19 국민대학교산학협력단 딥러닝 기반 차량 경로 예측 장치 및 방법

Similar Documents

Publication Publication Date Title
KR102133342B1 (ko) 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
US11308391B2 (en) Offline combination of convolutional/deconvolutional and batch-norm layers of convolutional neural network models for autonomous driving vehicles
US20210009121A1 (en) Systems, devices, and methods for predictive risk-aware driving
JP7239703B2 (ja) 領域外コンテキストを用いたオブジェクト分類
KR102176483B1 (ko) 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
WO2021222375A1 (en) Constraining vehicle operation based on uncertainty in perception and/or prediction
CN115551758A (zh) 非结构化车辆路径规划器
US11279349B2 (en) Safety module, automated driving system, and methods thereof
JP2023515494A (ja) 組み合わされたトラック信頼度及び分類モデル
CN114072841A (zh) 根据图像使深度精准化
US11511770B2 (en) System and method for neural network-based autonomous driving
CN115485177A (zh) 雷达跟踪的对象速度和/或偏航
US11851054B2 (en) Active prediction based on object trajectories
JP2023505426A (ja) センサデータアラインメントの補正及び環境マッピング関連アプリケーション
WO2022232708A1 (en) Velocity regression safety system
CN116547495A (zh) 协作车辆路径生成
Koutras et al. Autonomous and cooperative design of the monitor positions for a team of uavs to maximize the quantity and quality of detected objects
US11592810B2 (en) Systems and methods for injecting faults into an autonomy system
US20230174103A1 (en) Method and system for feasibility-based operation of an autonomous agent
JP2022035033A (ja) 情報処理システム、情報処理方法、プログラムおよび車両制御システム
Jahoda et al. Autonomous car chasing
CN115731531A (zh) 对象轨迹预测
US20240212360A1 (en) Generating object data using a diffusion model
US20240149895A1 (en) Map Based Annotation for Autonomous Movement Models Training
US20240211731A1 (en) Generating object representations using a variable autoencoder

Legal Events

Date Code Title Description
GRNT Written decision to grant