KR102305673B1 - 카메라와 v2v를 이용한 주변차량 차선변경 의도 및 경로 예측 방법 - Google Patents

카메라와 v2v를 이용한 주변차량 차선변경 의도 및 경로 예측 방법 Download PDF

Info

Publication number
KR102305673B1
KR102305673B1 KR1020200056431A KR20200056431A KR102305673B1 KR 102305673 B1 KR102305673 B1 KR 102305673B1 KR 1020200056431 A KR1020200056431 A KR 1020200056431A KR 20200056431 A KR20200056431 A KR 20200056431A KR 102305673 B1 KR102305673 B1 KR 102305673B1
Authority
KR
South Korea
Prior art keywords
surrounding vehicle
vehicle
bounding box
surrounding
lane change
Prior art date
Application number
KR1020200056431A
Other languages
English (en)
Inventor
이상선
최동호
임장혁
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020200056431A priority Critical patent/KR102305673B1/ko
Application granted granted Critical
Publication of KR102305673B1 publication Critical patent/KR102305673B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4045—Intention, e.g. lane change or imminent movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

일 실시예에 따른 차량에서 주변차량의 차선변경 의도 및 경로를 예측하기 위한 주변차량 차선변경 의도 및 경로 예측 시스템은, V2V 통신을 통해 주변차량의 동적 정보를 획득하는 통신부; 카메라 센서를 이용하여 인식된 주변차량에 대한 바운딩 박스 좌표 정보를 산출하는 센서부; 및 상기 획득된 주변차량의 동적 정보 및 상기 산출된 바운딩 박스 좌표 정보를 기계학습 기반의 학습 모델의 특징값으로 이용하여 주변차량의 차선변경 의도 및 경로를 예측하는 예측부를 포함할 수 있다.

Description

카메라와 V2V를 이용한 주변차량 차선변경 의도 및 경로 예측 방법{METHOD FOR PREDICTING LANE CHAGE INTENTION AND ROUTE OF SURROUNDING VEHICLES USING CAMERA AND V2V}
아래의 설명은 차량의 차선변경 의도 및 경로를 예측하는 방법 및 시스템에 관한 것이다.
주변차량의 차선변경 의도 및 경로 예측 알고리즘은 운전자의 성별, 성격, 습관과 같은 개별 성향에 따라 운전 패턴이 다르기 때문에 기계학습 중 지도학습 알고리즘을 이용한다.
기존 방법은, 지도학습 알고리즘에 사용될 '특징값'으로 도 1과 같은 주변차량과 차선과의 거리를 이용하거나 도 2와 같이 자차와 주변차량과의 상대거리, 상대속도, 상대방위각을 이용해 차선변경 여부 및 경로를 예측한다.
하지만 이러한 방법은 차선이 지워진 경우나 날씨 및 주행환경(눈/비/야간)으로 인해 차선이 명확하게 인지가 안 될 경우, 주변차량과 차선 간 거리를 이용한 차선변경 의도 및 경로 예측 알고리즘은 정확도가 떨어진다는 문제점이 존재한다.
또한, 자차와 주변차량 간 상대거리, 상대속도, 상대방위각 등과 같은 정보를 얻기 위해서는 자차에 장착된 환경인식센서를 이용해야 하지만 도로 내 차량이 많거나 구조물이 많은 경우는 개별 차량마다 많은 컴퓨팅 프로세스를 요구하고 주변 주행환경에 영향을 많이 받는다는 단점이 있다.
카메라 센서와 V2X 통신을 통해 획득된 주변 차량의 바운딩 박스(bounding box) 정보와 상대 위치 정보를 이용하여 기계학습 기반의 주행 의도 및 경로를 예측하는 방법 및 시스템을 제공할 수 있다.
카메라 센서로부터 획득된 객체 바운딩 박스 좌표를 기계학습 기반 예측 알고리즘에 특징값으로 이용함으로써 주변차량의 차선 변경 의도 및 경로를 예측하는 방법 및 시스템을 제공할 수 있다.
차량에서 주변차량의 차선변경 의도 및 경로를 예측하기 위한 주변차량 차선변경 의도 및 경로 예측 시스템은, V2V 통신을 통해 주변차량의 동적 정보를 획득하는 통신부; 카메라 센서를 이용하여 인식된 주변차량에 대한 바운딩 박스 정보를 산출하는 센서부; 및 상기 획득된 주변차량의 동적 정보 및 상기 산출된 바운딩 박스 정보를 기계학습 기반의 학습 모델의 특징값으로 이용하여 주변차량의 차선변경 의도 및 경로를 예측하는 예측부를 포함할 수 있다.
상기 예측부는, 상기 획득된 주변차량의 동적 정보 및 상기 산출된 바운딩 박스 정보를 훈련 데이터의 특징값으로 사용하여 상기 학습 모델을 학습시키고, 상기 학습된 학습 모델에 주변차량 차선변경 의도 및 경로를 예측하고자 하는 주변차량의 동적 정보 및 바운딩 박스 좌표 정보를 입력함에 따라 주변차량 차선변경 의도 또는 주변차량의 경로 예측을 포함하는 학습 결과를 출력하는 것을 포함하고, 상기 학습 모델은, SVM(Support Vector Machine), RF(Random Forest)를 포함하는 지도학습 알고리즘을 이용하여 주변차량의 차선 변경 의도를 예측하고, RNN (Recurrent Neural Networks), LSTM (Long Short-Term Memory)을 포함하는 시계열 데이터 예측 알고리즘을 이용하여 주변차량의 경로를 예측할 수 있다.
상기 예측부는, 주변차량의 차선이 변경됨에 따라 이동되는 바운딩 박스의 움직임 정보 추이의 특성을 이용하여 바운딩 박스의 좌표 정보를 상기 학습 모델의 특징값으로 사용하고, 주변차량과의 상대거리에 따라 변화하는 바운딩 박스의 크기 정보의 특성을 이용하여 바운딩 박스의 좌표 정보를 상기 학습 모델의 특징값으로 사용할 수 있다.
상기 센서부는, 상기 카메라 센서를 이용하여 전방 화면을 왼쪽 하단(left bottom)을 (0,0), 오른쪽 상단(right top)을 (1,1)로 정의하고, 객체 인식 알고리즘을 통해 도로 내 주변차량을 인지하고, 상기 인지된 주변차량의 바운딩 박스 좌표 정보를 산출할 수 있다.
상기 통신부는, 상기 V2V 통신을 통해 주변차량의 위도(Latitude), 경도(Longitude), 헤딩(Heading), 요 레이트(Yaw rate) 값을 포함하는 주변차량의 동적 정보를 획득할 수 있다.
상기 예측부는, SVM(Support Vector Machine), RF(Random Forest)를 포함하는 지도학습 알고리즘을 이용하여 주변차량의 차선 변경 의도를 예측하고, RNN (Recurrent Neural Networks), LSTM (Long Short-Term Memory)을 포함하는 시계열 데이터 예측 알고리즘을 이용하여 주변차량의 경로를 예측할 수 있다.
카메라 센서로부터 획득된 객체 바운딩 박스 좌표 정보를 이용함으로써 차선이 불명확한 도로환경과 곡선도로에서 예측 정확도를 향상시킬 수 있다.
또한, 카메라 센서를 통해 획득된 바운딩 박스를 이용함으로써 주변차량의 위치 변화를 좌표값 변화를 통해 차선 변경 의도 및 경로를 예측하기 때문에 주변 환경에 영향을 받지 않는다.
또한, V2V 통신과 카레라 센서 융합을 통한 주변차량과의 상대 거리 및 주변차량에 대한 바운딩 박스를 이용함으로써 주변차량의 차선 변경 의도 및 경로를 예측을 위한 연산량을 감소시킬 수 있다.
도 1 및 도 2는 주변차량의 차선변경 여부 및 경로를 예측하는 것을 설명하기 위한 예이다.
도 3은 일 실시예에 따른 차선변경 의도 및 경로 예측 시스템의 프로세서가 포함할 수 있는 구성을 설명하기 위한 블록도이다.
도 4는 일 실시예에 따른 차선변경 의도 및 경로 예측 시스템에서 수행되는 카메라와 V2V를 이용한 주변차량의 차선변경 의도 및 경로를 예측하는 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 차선변경 의도 및 경로 예측 시스템에서 객체 바운딩 박스를 설명하기 위한 예이다.
도 6은 일 실시예에 따른 차선변경 의도 및 경로 예측 시스템에서 카메라 센서 좌표계를 설명하기 위한 예이다.
도 7은 일 실시예에 따른 차선변경 의도 및 경로 예측 시스템에서 주변차량의 차선변경 의도를 예측하는 것을 설명하기 위한 예이다.
도 8은 일 실시예에 따른 차선변경 의도 및 경로 예측 시스템에서 주변차량의 경로를 예측하는 것을 설명하기 위한 예이다.
도 9는 일 실시예에 따른 차선변경 의도 및 경로 예측 시스템에서 차선변경 예측을 위한 학습 데이터를 설명하기 위한 도면이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 3은 일 실시예에 따른 차선변경 의도 및 경로 예측 시스템의 프로세서가 포함할 수 있는 구성을 설명하기 위한 블록도이다.
차선변경 의도 및 경로 예측 시스템(이하, 시스템으로 기재하기로 함.)(300)은 주변차량의 차선변경 의도 및 경로를 예측하기 위한 것으로, 통신부(310), 센서부(320) 및 예측부(330)를 포함할 수 있다.
통신부(310)는 V2V 통신을 통해 주변차량의 동적 정보를 획득할 수 있다. 통신부(310)는 V2V 통신을 통해 주변차량의 위도(Latitude), 경도(Longitude), 헤딩(Heading), 요 레이트(Yaw rate) 값을 포함하는 주변차량의 동적 정보를 획득할 수 있다.
센서부(320)는 카메라 센서를 이용하여 인식된 주변차량에 대한 바운딩 박스 정보를 산출할 수 있다. 센서부(320)는 카메라 센서를 이용하여 전방 화면을 왼쪽 하단(left bottom)을 (0,0), 오른쪽 상단(right top)을 (1,1)로 정의하고, 객체 인식 알고리즘을 통해 도로 내 주변차량을 인지하고, 인지된 주변차량의 바운딩 박스 좌표 정보를 산출할 수 있다.
예측부(330)는 획득된 주변차량의 동적 정보 및 산출된 바운딩 박스 정보를 기계학습 기반의 학습 모델의 특징값으로 이용하여 주변차량의 차선변경 의도 및 경로를 예측할 수 있다. 예측부(330)는 획득된 주변차량의 동적 정보 및 산출된 바운딩 박스 정보를 훈련 데이터의 특징값으로 사용하여 학습 모델을 학습시키고, 학습된 학습 모델에 주변차량 차선변경 의도 및 경로를 예측하고자 하는 주변차량의 동적 정보 및 바운딩 박스 좌표 정보를 입력함에 따라 주변차량 차선변경 의도 또는 주변차량의 경로 예측을 포함하는 학습 결과를 출력하는 것을 포함할 수 있다. 이때, 학습 모델은, SVM(Support Vector Machine), RF(Random Forest)를 포함하는 지도학습 알고리즘을 이용하여 주변차량의 차선 변경 의도를 예측하고, RNN (Recurrent Neural Networks), LSTM (Long Short-Term Memory)을 포함하는 시계열 데이터 예측 알고리즘을 이용하여 주변차량의 경로를 예측할 수 있다. 예측부(330)는 주변차량의 차선이 변경됨에 따라 이동되는 바운딩 박스의 움직임 정보 추이의 특성을 이용하여 바운딩 박스의 좌표 정보를 학습 모델의 특징값으로 사용하고, 주변차량과의 상대거리에 따라 변화하는 바운딩 박스의 크기 정보의 특성을 이용하여 바운딩 박스의 좌표 정보를 학습 모델의 특징값으로 사용할 수 있다.
도 4는 일 실시예에 따른 차선변경 의도 및 경로 예측 시스템에서 수행되는 카메라와 V2V를 이용한 주변차량의 차선변경 의도 및 경로를 예측하는 방법을 설명하기 위한 흐름도이다.
시스템은 차량에서 주변 차량과 관련된 적어도 하나 이상의 주변차량 정보를 획득할 수 있다. 시스템은 획득된 적어도 하나 이상의 주변 차량정보를 차선변경 의도 및 경로 예측을 위하여 구성된 학습 모델에 입력하여 학습시킬 수 있다. 시스템은 학습의 결과로서 주변차량의 주행의도 및 경로를 예측할 수 있다.
예를 들면, 차량에 차량 및 주변차량과 관련된 센서 정보 및 동적 정보가 획득될 수 있다. 실시예에서는, 차량 간 V2V통신이 가능하고, 카메라 센서를 통해 차량을 기준으로 주변차량이 인식될 수 있다. 예를 들면, 차량을 기준으로 기 설정된 범위(예를 들면, 360도 범위)에 존재하는 주변차량이 인식될 수 있다. 이때, 카메라 센서는 단일 카메라 센서와 스테레오 카메라 센서로 두 가지 타입이 존재한다. 단일 카메라를 통하여 평면상의 2차원적인 객체가 인지될 수 있고, 스테레오 카메라를 통하여 두 개의 렌즈간의 시각차를 이용하여 3차원적인 객체가 인지될 수 있다. 일례로, 카메라 센서는 차량 내에서 전면 유리 아래의 차량 내부에 장착될 수 있고, 룸미러의 인근에 장착될 수 있다. 카메라 센서를 통해 차량 전방의 시야가 촬영될 수 있고, 전방 시야 내에 존재하는 객체(예를 들면, 차량)가 인식될 수 있다. 이때, 차량의 외부 환경에 대비하여, 카메라 센서는 전면 유리의 바깥에서 구동되는 와이퍼에 의해 클리닝되는 영역에 대응하여 차량 내부에 장착될 수 있다. 이외에도, 카메라 센서가 장착되는 위치는 한정되지 아니한다. 또한, 카메라 센서는 차량의 전방, 측방, 후방을 촬영하기 위하여 적어도 하나 이상의 카메라 센서가 사용될 수 있고, 서로 다른 위치에 설치될 수도 있다.
구체적으로, 시스템은 V2V 통신을 통하여 주변차량의 동적 정보를 획득할 수 있고(410), 카메라 센서를 이용하여 인식된 주변차량에 대한 바운딩 박스 좌표 정보를 산출할 수 있다(411). 이때, 카메라 센서를 이용하여 주변차량이 인식될 수 있고, 인식된 주변차량을 포함하는 바운딩 박스 좌표 정보가 산출될 수 있다. 단계 410과 411은 동시 또는 시간차를 두고 수행될 수 있다. V2V를 이용한 차량 간 통신 정보는 표 1과 같이, SAE J2735 표준에 정의 된 BSM Set을 따르고 있다. 실시예에서는 BSM part 1 중 위도(Latitude), 경도(Longitude), 헤딩(Heading), 요 레이트(Yaw rate) 값을 훈련데이터 특징값으로 사용할 수 있다. 예를 들면, 위도 값 및 경도 값을 통하여 경로를 예측할 수 있고, 헤딩 값 및 요 레이트 값을 통하여 차선변경 의도가 예측될 수 있다. V2V/V2X 통신을 이용한 차량안전 서비스 상용화를 위하여 통신으로 송수신되는 데이터의 표준화가 요구됨에 따라 미국 SAE가 데이터의 구조에 대하여 J2735 문서를 통하여 표준화가 추진된 바 있다. 이에, 차량의 전폭은 CAN 데이터로써 SAE J2735 표준에 정의된 BSM 메시지에 포함되어 송수신될 수 있다. 실시예에서는 송수신되는 데이터의 구조는 BSM 포맷으로 설계될 수 있다.
표 1: SAE J2735 표준에 정의 된 BSM Set의 세부 내용
Figure 112020047754980-pat00001
도 5 를 참고하면, 객체 바운딩 박스를 설명하기 위한 예이다. 도 5(a)는 카메라 좌표계 및 바운딩 박스(510)를 나타낸 예이고, 도 5(b)는 차선 변경한 주변차량의 바운딩 박스를 나타낸 예이다. 이와 같이, 주변차량의 바운딩 박스의 좌표 정보가 주변차량의 위치에 따라 다른 것을 확인할 수 있다.
시스템은 카메라 센서를 이용하여 전방 화면을 왼쪽 하단(left bottom)를 (0,0)으로, 오른쪽 상단(right top)을 (1,1)로 정의하고, 객체 인식 알고리즘을 통해 주변차량의 바운딩 박스 좌표 정보를 기계학습 기반의 차선변경 의도 및 경로 예측 알고리즘의 특징값으로 이용할 수 있다. 주변차량과 차선과의 거리가 아닌 카메라 센서를 통해서 획득되는 바운딩 박스를 이용한다면, 날씨나 도로환경에 영향을 받지 않고 주변차량의 위치 변화를 좌표값의 변화를 통해 식별할 수 있게 된다.
일 실시예에 따른 시스템은 레이다, 레이다, 라이다와 같은 환경 인식센서를 통해 주변차량과의 상대거리, 상대속도, 상대방위각을 계산하는 것이 아닌, V2V를 이용해 상대거리, 상대속도, 헤딩 값을 이용하기 때문에 다양한 날씨 및 주행환경에 강인하고, Non-Line-of-sight에 위치하는 주변차량 정보까지 획득할 수 있다는 기술적 효과가 도출될 수 있다. 또한, 레이다, 라이다와 같은 환경 인식센서를 통해 주변차량과의 상대거리, 상대속도, 상대방위각을 계산하기 위해서는 데이터 관계분석(Data Association)과 객체 추적(Object Tracking)과 같은 복잡한 연산 과정이 필요하지만, 실시예에 따른 V2V 통신을 이용해 주변차량들을 인지한다면 계산량을 줄일 수 있다는 장점을 지닌다.
도 6을 참고하면, 카메라 센서 좌표계를 설명하기 위한 예이다. 도 6(a)는 기존 카메라의 센서 좌표계, 도 6(b)는 정규화된 카메라 센서 좌표계를 나타낸 것이다. 각 조제사별 카메라 센서는 프레임 별로 좌표계가 다르게 설정되어 있을 수 있다. 시스템은 카메라 센서 좌표계에 대하여 정규화 작업을 진행할 수 있다. 예를 들면, 각 제조사별 카메라 센서에 따라 카메라를 이용하여 동일한 위치를 촬영하였을지라도 좌표계가 다르게 표시될 수 있다. 이에, 시스템은 각 제조사별 카메라 센서 좌표계를 (0, 0), (0, 1), (1, 0), (1, 1)로 정규화시킬 수 있다.
시스템은 카메라 센서를 이용하여 촬영된 전방 화면을 객체 인식 알고리즘을 통해 도로 내 주변차량(예를 들면, 전방 차량)을 인지할 수 있다. 전방화면을 왼쪽-아래(Left-Bottom)를 (0,0)으로, 오른쪽-위(Right-Top)를 (1,1)으로 정의될 수 있다. 시스템은 인지된 도로 내 전방 차량의 바운딩 박스 좌표 정보를 산출할 수 있다. 이때, 바운딩 박스 좌표 정보는 인식된 차량의 크기를 포함하는 박스 형태의 2차원 또는 3차원의 좌표 정보로 구성될 수 있으며, 적어도 하나 이상의 주변차량이 인식될 경우, 복수 개의 바운딩 박스 좌표가 생성될 수도 있다. 예를 들면, 시스템은 전방 차량을 인지하기 위하여 객체 인식 알고리즘으로 Google Tensorflow Object Detection API, YOLO 등을 적용할 수 있다.
도 7을 참고하면, 주변차량의 차선변경 의도를 예측하는 것을 설명하기 위한 예이다. 도 7(a)는 직진 중인 주변차량, 도 7(b)는 차선변경 중인 주변차량을 나타낸 예이다. 시스템은 주변차량에 대한 바운딩 박스 좌표 정보를 차선변경 의도 및 경로 예측을 위하여 구성된 학습 모델의 특징값으로 이용할 수 있다. 시스템은 바운딩 박스를 통한 주변차량의 움직임(방향) 정보 추이를 통하여 차선변경 의도를 예측할 수 있다.
시스템은 주변차량이 직진 주행일 경우, 바운딩 박스가 카메라 좌표계 내에서 기 설정된 기준(예를 들면, 중앙)으로 특정 방향에 치우쳐 있는 경우, 주변차량이 인접 차선(예를 들면, 주변차량의 차선을 기준으로 왼쪽 차선 또는 오른쪽 차선)에 존재하는 것으로 판단할 수 있다. 시스템은 인접 차선에 존재하는 주변차량이 차선을 변경하려고 할 때, 특정 방향에 치우쳐있는 바운딩 박스가 가운데로 이동되는 것을 확인할 수 있다.
도 7(a)을 참고하면, 주변차량이 직진 주행일 경우, 바운딩 박스가 카메라 좌표계 내에서 기 설정된 기준(예를 들면, 중앙, 중심점 등)으로 왼쪽에 치우쳐 있고, 도 7(b)을 참고하면, 주변차량이 차선을 변경하는 경우, 기 설정된 기준으로 특정 방향에 치우쳐있는 바운딩 박스가 카메라 좌표계 내에서 가운데로 이동하려는 모습을 보이는 것을 확인할 수 있다.
이와 같이, 시스템은 바운딩 박스가 움직이는 움직임(방향) 정보를 차선변경 의도 및 경로 예측을 위하여 구성된 학습 모델의 특징값으로 이용하여 학습시킬 수 있다. 다시 말해서, 시스템은 바운딩 박스의 좌표 정보를 특징값으로 이용하여 학습 모델에 입력할 수 있다. 이때, 바운딩 박스의 좌표 정보는, 왼쪽 상단(left bottom), 왼쪽 하단(left top), 오른쪽 상단(right top), 오른쪽 하단(right bottom)을 포함할 수 있다.
도 8을 참고하면, 주변차량의 경로를 예측하는 것을 설명하기 위한 예이다. 주변차량의 바운딩 박스의 크기 정보가 차량과 주변차량간의 상대거리에 따라 다를 수 있다. 도 8(a)은 상대거리가 먼 주변차량을 나타낸 것이고, 도 8(b)는 상대거리가 가까운 주변차량을 나타낸 것이다. 다시 말해서, 상대거리가 먼 주변차량의 바운딩 박스가 상대거리가 가까운 주변차량의 바운딩 박스에 비해 작은 것을 확인할 수 있다.
시스템은 차량(자차)과 주변차량의 상대거리가 멀어질수록 바운딩 박스가 작아지고, 차량과 주변차량의 상대거리가 가까워질수록 커지는 특성을 이용하여 바운딩 박스의 좌표 정보를 주변차량 경로 예측을 위한 특징값으로 사용할 수 있다.
이와 같이, 시스템은 바운딩 박스의 크기 정보(810, 820)를 차선변경 의도 및 경로 예측을 위하여 구성된 학습 모델의 특징값으로 이용하여 학습시킬 수 있다. 다시 말해서, 시스템은 바운딩 박스의 좌표 정보를 특징값으로 이용하여 학습 모델에 입력할 수 있다. 이때, 바운딩 박스의 좌표 정보는, 왼쪽 상단(left bottom), 왼쪽 하단(left top), 오른쪽 상단(right top), 오른쪽 하단(right bottom)을 포함할 수 있다.
도 9를 참고하면, 차선변경 예측을 위한 학습 데이터를 설명하기 위한 도면이다. 시스템은 획득된 주변차량의 동적 정보와 산출된 주변차량의 바운딩 박스 좌표 정보를 이용하여 차선변경 의도 및 경로 예측 알고리즘을 통해 주변차량의 차선변경 의도 및 경로를 예측할 수 있다(420). 기계학습 알고리즘 중, 지도학습을 위해서는 도 9와 같이, 학습 데이터가 특징값(Features)과 정답값(Label)으로 구성되어 있어야 한다. 정답값에 따라 특징값이 가지는 특성이 명확해야 예측 정확도가 높다.
시스템은 SVM(Support Vector Machine), RF(Random Forest)를 포함하는 지도학습 알고리즘을 이용하여 주변차량의 차선 변경 의도를 예측하고, RNN (Recurrent Neural Networks), LSTM (Long Short-Term Memory)을 포함하는 시계열 데이터 예측 알고리즘을 이용하여 주변차량의 경로를 예측할 수 있다. 예를 들면, SVM(서포트 벡터 머신)은 선형, 비선형, 회귀, 분류 등에 사용되는 머신러닝 기법이다. 기본적으로는 분류해야 할 2개의 집단에서 각각의 데이터 간의 거리를 측정하여 2개의 데이터 사이의 중심을 구하고, 그 중심 값에서 최적의 초평면을 구함으로써 2개의 집단을 나누는 방법을 학습하는 방법을 의미한다. RF(랜덤 포레스트)는 다양한 머신러닝 기계학습 기법들 중에 하나이다. 관측된 여러 개의 연속 변수 벡터들을 알맞게 학습하고, 과도한 학습을 방지하여 최적의 모델을 생성해주는 머신러닝 방법이다. 랜덤 포레스트는 데이터를 수집하여 각 특성들을 운전자의 주행의도를 결정하는 노드로 설정한다. 노드들은 의사결정 트리(Decision Tree)를 결정하게 된다. 랜덤 포레스트는 의사결정 트리를 배깅과정을 통해 나온 결과값의 비율을 보고 하나의 결과값을 결정하게 되는 머신러닝 방법이다.
일례로, 시스템은 획득된 주변차량의 동적 정보 및 산출된 바운딩 박스 좌표 정보를 훈련 데이터의 특징값으로 사용하여 학습 모델을 학습시키고, 학습된 학습 모델에 주변차량 차선변경 의도 및 경로를 예측하고자 하는 주변차량의 동적 정보 및 바운딩 박스 좌표 정보를 입력함에 따라 주변차량 차선변경 의도 또는 주변차량의 경로 예측을 포함하는 학습 결과를 출력할 수 있다. 예를 들면, 시스템은 기 설정된 시간 이후(예를 들면, 향후 3초)에 주변차량의 차선이 변경될 것인지 여부가 예측될 수 있고, 차량간(자차와 주변차량간) 거리 정보를 예측할 수 있다. 시스템은 기 설정된 시간 이후에 주변차량이 차량이 존재하는 차선에 끼어들 것인지 여부와 차량과의 거리가 얼마나 떨어져 있는지를 예측할 수 잇다.
일 실시예에 따른 시스템은 카메라 센서로부터 획득된 주변차량의 바운딩 박스 좌표 정보를 기계학습 기반의 예측 알고리즘에 특징값으로 이용함으로써 차선이 불명확한 도로환경과 곡선도로에서도 주변차량의 차선변경 의도 및 경로를 정확하게 예측할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (5)

  1. 차량에서 주변차량의 차선변경 의도 및 경로를 예측하기 위한 주변차량 차선변경 의도 및 경로 예측 시스템에 있어서,
    V2V 통신을 통해 주변차량의 동적 정보를 획득하는 통신부;
    카메라 센서를 이용하여 인식된 주변차량에 대한 바운딩 박스 정보를 산출하는 센서부; 및
    상기 획득된 주변차량의 동적 정보 및 상기 산출된 바운딩 박스 정보를 기계학습 기반의 학습 모델의 특징값으로 이용하여 주변차량의 차선변경 의도 및 경로를 예측하는 예측부
    를 포함하고,
    상기 센서부는,
    상기 카메라 센서를 이용하여 촬영된 화면에 대하여 객체 인식 알고리즘을 통해 도로 내 주변차량을 인지하고, 상기 인지된 주변차량의 바운딩 박스 좌표 정보를 산출하는 것을 포함하고,
    상기 예측부는,
    주변차량의 차선이 변경됨에 따라 이동되는 바운딩 박스의 움직임 정보 추이의 특성을 이용하여 바운딩 박스의 좌표 정보를 상기 학습 모델의 특징값으로 사용하고, 주변차량과의 상대거리에 따라 변화하는 바운딩 박스의 크기 정보의 특성을 이용하여 바운딩 박스의 좌표 정보를 상기 학습 모델의 특징값으로 사용하는
    주변차량 차선변경 의도 및 경로 예측 시스템.
  2. 제1항에 있어서,
    상기 예측부는,
    상기 획득된 주변차량의 동적 정보 및 상기 산출된 바운딩 박스 정보를 훈련 데이터의 특징값으로 사용하여 상기 학습 모델을 학습시키고, 상기 학습된 학습 모델에 주변차량 차선변경 의도 및 경로를 예측하고자 하는 주변차량의 동적 정보 및 바운딩 박스 좌표 정보를 입력함에 따라 주변차량 차선변경 의도 또는 주변차량의 경로 예측을 포함하는 학습 결과를 출력하는 것을 포함하고,
    상기 학습 모델은, SVM(Support Vector Machine), RF(Random Forest)를 포함하는 지도학습 알고리즘을 이용하여 주변차량의 차선 변경 의도를 예측하고, RNN (Recurrent Neural Networks), LSTM (Long Short-Term Memory)을 포함하는 시계열 데이터 예측 알고리즘을 이용하여 주변차량의 경로를 예측하는
    것을 특징으로 하는 주변차량 차선변경 의도 및 경로 예측 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 센서부는,
    상기 카메라 센서를 이용하여 전방 화면을 왼쪽 하단(left bottom)을 (0,0), 오른쪽 상단(right top)을 (1,1)로 정의하는
    것을 특징으로 하는 주변차량 차선변경 의도 및 경로 예측 시스템.
  5. 제1항에 있어서,
    상기 통신부는,
    상기 V2V 통신을 통해 주변차량의 위도(Latitude), 경도(Longitude), 헤딩(Heading), 요 레이트(Yaw rate) 값을 포함하는 주변차량의 동적 정보를 획득하는
    것을 특징으로 하는 주변차량 차선변경 의도 및 경로 예측 시스템.
KR1020200056431A 2020-05-12 2020-05-12 카메라와 v2v를 이용한 주변차량 차선변경 의도 및 경로 예측 방법 KR102305673B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200056431A KR102305673B1 (ko) 2020-05-12 2020-05-12 카메라와 v2v를 이용한 주변차량 차선변경 의도 및 경로 예측 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200056431A KR102305673B1 (ko) 2020-05-12 2020-05-12 카메라와 v2v를 이용한 주변차량 차선변경 의도 및 경로 예측 방법

Publications (1)

Publication Number Publication Date
KR102305673B1 true KR102305673B1 (ko) 2021-09-28

Family

ID=77923022

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200056431A KR102305673B1 (ko) 2020-05-12 2020-05-12 카메라와 v2v를 이용한 주변차량 차선변경 의도 및 경로 예측 방법

Country Status (1)

Country Link
KR (1) KR102305673B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115320631A (zh) * 2022-07-05 2022-11-11 西安航空学院 一种智能驾驶汽车相邻车道前车驾驶意图辨识方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110073917A (ko) * 2009-12-24 2011-06-30 중앙대학교 산학협력단 Ｇｐｕ를 이용한 온라인 전기 자동차용 전방 장애물 검출 장치 및 방법
KR101618501B1 (ko) * 2015-02-04 2016-05-09 한국기술교육대학교 산학협력단 자차량의 에고 모션 추정방법
JP2017091502A (ja) * 2015-11-11 2017-05-25 株式会社デンソー 運転支援装置
JP2017117367A (ja) * 2015-12-25 2017-06-29 トヨタ自動車株式会社 運転支援装置
KR20190080885A (ko) * 2016-10-31 2019-07-08 모빌아이 비젼 테크놀로지스 엘티디. 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법
KR20190104474A (ko) * 2019-08-20 2019-09-10 엘지전자 주식회사 차량 주행 제어 장치 및 방법
KR20200029049A (ko) * 2018-04-18 2020-03-17 모빌아이 비젼 테크놀로지스 엘티디. 카메라를 이용한 차량 환경 모델링

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110073917A (ko) * 2009-12-24 2011-06-30 중앙대학교 산학협력단 Ｇｐｕ를 이용한 온라인 전기 자동차용 전방 장애물 검출 장치 및 방법
KR101618501B1 (ko) * 2015-02-04 2016-05-09 한국기술교육대학교 산학협력단 자차량의 에고 모션 추정방법
JP2017091502A (ja) * 2015-11-11 2017-05-25 株式会社デンソー 運転支援装置
JP2017117367A (ja) * 2015-12-25 2017-06-29 トヨタ自動車株式会社 運転支援装置
KR20190080885A (ko) * 2016-10-31 2019-07-08 모빌아이 비젼 테크놀로지스 엘티디. 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법
KR20200029049A (ko) * 2018-04-18 2020-03-17 모빌아이 비젼 테크놀로지스 엘티디. 카메라를 이용한 차량 환경 모델링
KR20190104474A (ko) * 2019-08-20 2019-09-10 엘지전자 주식회사 차량 주행 제어 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115320631A (zh) * 2022-07-05 2022-11-11 西安航空学院 一种智能驾驶汽车相邻车道前车驾驶意图辨识方法
CN115320631B (zh) * 2022-07-05 2024-04-09 西安航空学院 一种智能驾驶汽车相邻车道前车驾驶意图辨识方法

Similar Documents

Publication Publication Date Title
Nidamanuri et al. A progressive review: Emerging technologies for ADAS driven solutions
CN113128326B (zh) 具有语义地图和lstm的车辆轨迹预测模型
US11945434B2 (en) Delay decision making for autonomous driving vehicles in response to obstacles based on confidence level and distance
US10031526B1 (en) Vision-based driving scenario generator for autonomous driving simulation
CN106952471B (zh) 交叉路口处驾驶员意图的预测
CN113228040B (zh) 多级对象行进方向估计的***和方法
US20190188498A1 (en) Image Processing Method For Recognizing Ground Marking And System For Detecting Ground Marking
US10272778B2 (en) Method and system for determining unit gain of speed control for autonomous driving vehicles
US11055540B2 (en) Method for determining anchor boxes for training neural network object detection models for autonomous driving
CN110576847A (zh) 基于焦点的对传感器数据的标记
US10860868B2 (en) Lane post-processing in an autonomous driving vehicle
CN110654381B (zh) 用于控制车辆的方法和装置
US11485360B2 (en) Dynamic speed limit adjustment system based on perception results
US11481913B2 (en) LiDAR point selection using image segmentation
JP2020046706A (ja) 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム
US11860634B2 (en) Lane-attention: predicting vehicles' moving trajectories by learning their attention over lanes
CN109421730B (zh) 使用相机的交叉车流检测
US11030774B2 (en) Vehicle object tracking
US20170263129A1 (en) Object detecting device, object detecting method, and computer program product
US20210112094A1 (en) Methods to detect spoofing attacks on automated driving systems
US20200207340A1 (en) Collision prediction device, collision prediction method, and program
US11702044B2 (en) Vehicle sensor cleaning and cooling
WO2020164090A1 (en) Trajectory prediction for driving strategy
EP4145398A1 (en) Systems and methods for vehicle camera obstruction detection
KR102305673B1 (ko) 카메라와 v2v를 이용한 주변차량 차선변경 의도 및 경로 예측 방법

Legal Events

Date Code Title Description
GRNT Written decision to grant