KR20230082777A - 주행 시나리오 추천 방법 및 장치 - Google Patents

주행 시나리오 추천 방법 및 장치 Download PDF

Info

Publication number
KR20230082777A
KR20230082777A KR1020210170561A KR20210170561A KR20230082777A KR 20230082777 A KR20230082777 A KR 20230082777A KR 1020210170561 A KR1020210170561 A KR 1020210170561A KR 20210170561 A KR20210170561 A KR 20210170561A KR 20230082777 A KR20230082777 A KR 20230082777A
Authority
KR
South Korea
Prior art keywords
driving
scenario
section
statistics
vehicle
Prior art date
Application number
KR1020210170561A
Other languages
English (en)
Inventor
박종빈
김경원
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020210170561A priority Critical patent/KR20230082777A/ko
Priority to PCT/KR2022/016468 priority patent/WO2023101221A1/ko
Publication of KR20230082777A publication Critical patent/KR20230082777A/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0011Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0022Gains, weighting coefficients or weighting functions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052Filtering, filters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20Ambient conditions, e.g. wind or rain
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 주행 시나리오 추천 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 방법은 차량의 주행 시나리오를 추천하기 위해 전자 장치에서 수행되는 방법으로서, 촬영의 위치 정보가 포함된 주행 영상으로부터 위치에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계를 분석하는 분석 단계; 시나리오 설정이 필요한 대상 도로에 대해, 시나리오 구간과 시나리오 구간 별로 적용되는 주행 시나리오를 각각 상기 주행 통계를 기반으로 추천하는 제1 추천 단계; 및 상기 추천된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하는 제2 추천 단계;를 포함한다.

Description

주행 시나리오 추천 방법 및 장치{METHOD AND APPARATUS FOR RECOMMENDING DRIVING SCENARIO}
본 발명은 주행 시나리오 추천 방법 및 장치에 관한 것으로서, 더욱 상세하게는 주행 영상을 기반으로 주행 중 발생한 사건을 누적하여 분석하며, 분석된 정보를 기반으로 대상 도로에 대한 적절한 주행 시나리오를 추천하는 방법 및 장치에 관한 것이다.
사람이 운전하는 차량의 개발 또는 사람의 제어를 최소화하는 자율주행차량의 개발을 위해, 다양한 기능평가, 성능평가, 안전성 평가 등이 필요하다. 종래에는 이런 평가를 위해 차량의 주행에 대한 전체 시나리오를 미리 마련하고, 마련된 시나리오에 따라 각종 시험을 수행했다. 일례로 “끼어들기”, “차선감소”, “전방사고 차량 발견”, “도로 병합”, “보행자 등장” 등과 같은 부분적인 사건 시나리오를 조합하여 통합 시나리오를 만들고, 이를 실제 도로 환경이나 컴퓨터 시뮬레이터에 적용하여, 기존 차량 또는 개발 중인 차량이 적절히 반응하고 문제점은 없는지를 시험하고 평가했다.
이런 시나리오를 만들기 위해, 종래에는 “위에서 아래로의 접근법”이 적용되었다. 즉, 시나리오를 만드는 주체가 시험하려는 도로 구간에 대해서 임의의 발생 가능한 사건을 선택하고, 주행 차량수, 도로 혼잡도 등의 매개변수를 정하여 통합 시나리오를 구성한 후 시뮬레이션을 수행하는 것이 통상적이었다.
즉, 종래에 주행 시나리오를 만들기 위한 과정을 요약하면 다음과 같다.
(1) 시나리오를 만드는 주체는 시험이 필요한 임의의 도로 구간을 부분 시나리오를 적용할 부분 도로 구간으로 나눈다.
(2) 부분 도로 구간별로 적정한 사건 상황을 조합하는 시나리오를 구성한다.
(3) 부분 시나리오별로 주행 차량수나 도로 혼잡도 등의 매개변수를 정한다.
(4) 최종 시뮬레이션이나 실제 도로 시험을 수행하는 단계에서는 구간별로 설정된 시나리오와 매개변수를 사용하여 컴퓨터 기반 시뮬레이션이나 실제 도로에서의 주행 시험을 실시한다.
이런 종래 방식의 경우, 다양한 가능성을 시험해 볼 수 있다는 측면에서 시험의 자유도(degree of freedom)가 높다. 하지만, 종래 방식을 적용할 경우, 너무 많은 경우의 수를 생성함에 따라 이를 시험하는데 많은 시간과 자원이 소요될 뿐 아니라, 현실과 동떨어진 시험 시나리오와 매개변수를 적용할 수 있는 문제점이 발생한다. 일례로, 특정 도로 위치에서는 거의 발생하지 않는 시나리오가 생성되어 시험에 적용될 수 있고, 과다한 주행 차량수를 설정하는 등의 문제가 발생할 수 있다. 물론, 극히 희소하고 예외적으로 발생하는 사건이 포함된 시나리오도 의미가 있을 수 있지만, 해당 시나리오가 얼마나 빈번하게 발생하는지를 알고 구성하게 되면 시행착오도 줄일 수 있고 현실 상황과 부합하는 시나리오 구성이 가능하다.
또한, 도로에서 발생하는 통계정보를 취득함에 있어서, 종래에는 특정 사고의 발생 후에 취득할 수 있는 정보에 대한 수집 및 관리에 집중했다. 즉, 주행 중에 “끼어들기 발생 빈도”, “급정거 상황의 빈도”, “추월 빈도” 등과 같이, 실제 사고가 발생하지 않았더라도 특정 도로 구간에서 정체를 유발하거나 잠재적인 사고를 일으킬 수 있는 주행 사건에 대한 정보를 수집 관리하는 기술이 전무한 실정이다.
즉, 주행 시나리오의 생성과 관련하여, 종래 기술의 주된 문제점 또는 한계를 요약하면 다음과 같다.
(1) 주어진 도로 환경에서 주행 시나리오를 적용할 세부 구간을 결정하기 위한 객관적인 방법이 필요하다. 가령, 일상적인 주행상황에서 발생하는 잠재적인 사고 위협요인, 도로 정체 유발요인을 분석하기 위한 주행 사건(event)에 대한 통계가 필요하다.
(2) 주어진 도로 환경에서 어떤 시나리오를 적용할지에 관한 객관적 방안이 필요하다.
(3) 실제 도로 상황과 관련되는 시나리오의 설계가 필요하다.
(4) 실제 도로 상황과 관련되는 시나리오에 대한 매개변수 설정이 필요하다.
다만, 상술한 내용은 단순히 본 발명에 대한 배경 정보를 제공할 뿐 기 공개된 기술에 해당하는 것은 아니다.
KR 10-2021-0117125 A
상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 차량에 기 탑재된 블랙박스와 같은 영상 정보 수집 기기를 통해 획득된 주행 영상을 기반으로 주행 중 발생한 사건을 누적하여 분석하며, 분석된 정보를 기반으로 대상 도로에 대한 적절한 주행 시나리오를 추천하는 방법 및 장치를 제공하는데 그 목적이 있다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 방법은 차량의 주행 시나리오를 추천하기 위해 전자 장치에서 수행되는 방법으로서, 촬영의 위치 정보가 포함된 주행 영상으로부터 위치에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계를 분석하는 분석 단계; 시나리오 설정이 필요한 대상 도로에 대해, 시나리오 구간과 시나리오 구간 별로 적용되는 주행 시나리오를 각각 상기 주행 통계를 기반으로 추천하는 제1 추천 단계; 및 상기 추천된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하는 제2 추천 단계;를 포함한다.
상기 분석 단계는, 상기 주행 영상에서 객체를 검출하는 단계; 상기 검출된 객체 별로 이동 궤적을 추출하는 단계; 및 추출된 이동 궤적을 객체 별로 필터링 및 보정하여, 상기 주행 영상에 포함된 위치에 따라 상기 필터링 및 보정이 반영된 상기 주행 통계를 분석하는 단계;를 포함할 수 있다.
상기 분석 단계는 상기 주행 영상에서 비식별화 영역에 대해 비식별화 처리가 선택적으로 수행되며, 상기 비식별화 처리가 수행되는 경우에 상기 비식별화 처리된 수행된 주행 영상으로부터 상기 주행 통계가 분석될 수 있다.
상기 비식별화 영역은 차량의 번호판 영역, 보행자의 얼굴 영역 또는 거리의 간판 영역을 포함할 수 있다.
상기 이동 궤적을 추출하는 단계는 주행 영상 내의 객체 중에 움직임이 가능한 객체에 대해서만 이동 궤적을 추출할 수 있다.
상기 이동 궤적은 상기 주행 영상의 촬영 차량을 기준으로 하는 상기 움직임이 가능한 객체의 상대적인 이동 궤적일 수 있다.
상기 움직임이 가능한 객체는 차량, 보행자, 자전거, 오토바이 또는 전동 킥보드를 포함할 수 있다.
상기 이동 궤적을 추출하는 단계는 상기 주행 영상의 촬영 차량이 제1 문턱 값 이상으로 차선을 이탈하거나 가속 또는 감속하는 경우에 해당 구간에 대해 이동 궤적의 분석을 정지할 수 있다.
상기 이동 궤적을 추출하는 단계는 상기 주행 영상의 촬영 차량이 상기 제1 문턱 값보다 큰 제2 문턱 값 이상으로 차선을 이탈하거나 가속 또는 감속하는 경우에 해당 구간에 대해 이동 궤적의 분석을 수행할 수 있다.
상기 분석하여 저장하는 단계는 상기 주행 통계에 포함된 주행 사건을 상기 촬영 차량에 의해 발생된 사건으로 저장할 수 있다.
상기 주행 통계는 기상 상태 또는 노면 상태 또는 돌발 등장 객체의 항목을 포함할 수 있다.
상기 제1 추천 단계는, 상기 대상 도로의 위치를 파악하는 단계; 상기 주행 통계 중 상기 파악된 상기 대상 도로의 위치에 대응하는 위치 영역 내에서 주행 사건 종류 별 발생 분포를 다수의 위치에 따라 계산하는 단계; 상기 계산된 발생 분포 간의 경계를 찾는 단계; 상기 찾아진 경계에 따라 상기 시나리오 구간을 나누고, 나눠진 시나리오 구간 별로 해당 구간에 포함된 주행 사건 종류 별 발생 분포를 이용하여 주행 시나리오를 추천하는 단계;를 포함할 수 있다.
상기 경계를 찾는 단계는 가장 높은 발생 분포를 가지는 주행 사건 종류들을 이용하여 상기 경계를 찾을 수 있다.
상기 계산하는 단계는 위치 영역 내에서 상기 주행 사건들을 정규화(normalize)하여 상기 주행 사건 종류 별 발생 분포에 대한 확률분포함수(probability density function)를 생성하며, 상기 찾는 단계는 상기 생성된 확률분포함수를 이용하여 상기 경계를 찾을 수 있다.
상기 찾는 단계는 상기 주행 사건 종류에 따라 가중치가 적용된 상기 발생 분포를 이용하여 상기 경계를 찾을 수 있다.
상기 제2 추천 단계는, 상기 시나리오 구간 별로 해당 구간에서의 평균 객체 수를 파악하는 단계; 및 상기 파악된 객체 수를 포함하는 매개변수를 해당 구간의 주행 시나리오에 대한 매개변수로 추천하는 단계;를 포함할 수 있다.
본 발명의 다른 일 실시예에 따른 방법은 차량의 주행 시나리오를 추천하기 위해 제1 및 제2 전자 장치에서 수행되는 방법으로서, 상기 제1 전자 장치에서, 촬영의 위치 정보가 포함된 주행 영상으로부터 위치에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계를 분석하는 분석 단계; 상기 주행 통계가 상기 제1 전자 장치에서 상기 제2 전자 장치로 전달되는 단계; 상기 제2 전자 장치에서, 시나리오 설정이 필요한 대상 도로에 대해, 시나리오 구간과 시나리오 구간 별로 적용되는 주행 시나리오를 각각 상기 주행 통계를 기반으로 추천하는 제1 추천 단계; 및 상기 제2 전자 장치에서, 상기 추천된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하는 제2 추천 단계;를 포함한다.
본 발명의 일 실시예 또는 다른 일 실시예에 따른 방법은, 상기 제1 및 제2 추천 단계의 사이에, 상기 추천된 시나리오 구간 및 주행 시나리오에 대한 사용자의 선택 또는 수정이 입력되는 단계를 더 포함하며, 상기 제2 추천하는 단계는 상기 입력된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천할 수 있다.
본 발명의 일 실시예 또는 다른 일 실시예에 따른 방법은, 상기 제2 추천하는 단계 이후에, 상기 추천된 매개변수에 대한 사용자의 선택 또는 수정이 입력되는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 장치는 차량의 주행 시나리오를 추천하는 장치로서, 촬영의 위치 정보가 포함된 주행 영상을 저장한 메모리; 및 상기 주행 영상을 이용하여 제어를 수행하는 제어부;를 포함한다.
상기 제어부는, 상기 주행 영상으로부터 위치에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계를 분석하도록 제어하고, 시나리오 설정이 필요한 대상 도로에 대해, 시나리오 구간과 시나리오 구간 별로 적용되는 주행 시나리오를 각각 상기 주행 통계를 기반으로 추천하도록 제어하며, 상기 추천된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하도록 제어할 수 있다.
본 발명의 다른 일 실시예에 따른 장치는 차량의 주행 시나리오를 추천하는 장치로서, 촬영의 위치 정보가 포함된 주행 영상으로부터 위치에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계를 수신하는 통신부; 및 수신된 상기 주행 통계를 이용하여, 시나리오 설정이 필요한 대상 도로에 대해 주행 시나리오 및 매개변수를 추천하도록 제어하는 제어부;를 포함한다.
상기 제어부는, 상기 대상 도로에 대해, 시나리오 구간과 시나리오 구간 별로 적용되는 주행 시나리오를 각각 상기 주행 통계를 기반으로 추천하도록 제어하며, 상기 추천된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하도록 제어할 수 있다.
본 발명의 일 실시예 또는 다른 일 실시예에 따른 장치는, 상기 추천된 시나리오 구간 및 주행 시나리오에 대한 사용자의 선택 또는 수정이 입력되는 입력부를 더 포함할 수 있다.
상기 제어부는 상기 입력된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하도록 제어할 수 있다.
상기와 같이 구성되는 본 발명은 주행 영상을 기반으로 주행 중 발생한 사건을 누적하여 분석하며, 분석된 정보를 기반으로 대상 도로에 대한 적절한 주행 시나리오를 추천할 수 있는 이점이 있다.
즉, 본 발명은 컴퓨터를 이용한 주행 시뮬레이션이나 실제 도로 주행 환경에서의 차량 시험 환경에서 적절한 주행 시나리오를 도출하는데 도움을 줄 수 있다.
또한, 본 발명은 영상 정보나 각종 센서 정보를 활용한 자율주행차량의 개발 및 주행 테스트에 활용이 가능한 이점이 있다.
또한, 본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하면서, 종래 기술과는 다음과 같은 차이점을 갖는다.
(1) 주어진 도로 환경 및 위치에 대한 일상적인 주행상황에서 발생하는 잠재적인 사고 위협요인, 도로 정체 유발요인을 분석하기 위한 주행 사건(event)에 대한 통계를 제공할 수 있다.
(2) 주어진 도로 환경에 적합한 시나리오 설정을 위한 경계 구간들을 추천할 수 있으며, 실제 주행 도로 상황과 연관된 시나리오 설계를 위해 위치와 시간대 별로 적정한 시나리오를 추천할 수 있다.
(3) 실제 주행 도로 상황과 연관된 시나리오 매개변수를 도로 위치와 시간대에 따라 추천할 수 있다.
특히, 본 발명은 종래 기술에 비해 실제 활용 측면에서 다음과 같은 이점을 가진다.
(1) 데이터 확보를 위한 하드웨어 비용이 절감될 수 있다.
즉, 본 발명에 의하면 시나리오 추천 및 주행자원 확보를 위해 라이다(LIDAR)나 레이더(LADAR)와 같은 값비싼 추가 하드웨어 장비를 차량에 탑재하지 않아도 된다. 대신, 본 발명은 많은 자동차가 이미 탑재하고 있는 차량 블랙박스와 같은 차량 영상수집장치에서 취득된 영상 데이터를 활용할 수 있다.
(2) 관련 데이터 확보가 용이하다.
즉, 본 발명은 종래에 보급된 영상수집장치를 그대로 사용할 수 있어서 데이터 확보가 상대적으로 용이하다. 또한, 본 발명은 영상수집장치가 차량 내에 특별한 위치에 설치될 것을 요구하지 않는다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 주행 시나리오 추천 장치(100)의 블록 구성도를 나타낸다.
도 2는 본 발명과 관련하여 시나리오 설정이 필요한 도로 구간(대상 도로)에서의 주행 시나리오(driving scenario)를 설정하는 일 예를 나타낸다.
도 3 및 도 4는 주행 영상을 통해 추정 가능한 주행 사건의 다양한 예를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 주행 시나리오 추천 장치(100)에서 제어부(150)의 블록 구성도를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 추천 방법의 순서도를 나타낸다.
도 7은 S110에 대한 보다 상세한 순서도를 나타낸다.
도 8은 주행 영상에서 객체 검출 및 이동 궤적 추출의 일 예를 나타낸다.
도 9는 주행 통계를 표로 나타낸 일 예이다.
도 10은 도 9의 주행 사건을 추출하는데 사용한 기초 정보를 표로 나타낸 일 예이다.
도 11은 S120 및 S130에 대한 보다 상세한 순서도를 나타낸다.
도 12는 주행 사건 종류 별 발생 분포 사이의 경계부를 설정하는 다양한 예를 나타낸다.
도 13는 대상 도로에 대한 일 예이다.
도 14는 도 13에 대해 본 발명의 제1 및 제2 추천 기능이 수행된 결과에 대한 일 예이다.
본 발명의 상기 목적과 수단 및 그에 따른 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 경우에 따라 복수형도 포함한다. 본 명세서에서, "포함하다", “구비하다”, “마련하다” 또는 “가지다” 등의 용어는 언급된 구성요소 외의 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
본 명세서에서, “또는”, “적어도 하나” 등의 용어는 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “또는 B”“및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.
본 명세서에서, “예를 들어” 등에 따르는 설명은 인용된 특성, 변수, 또는 값과 같이 제시한 정보들이 정확하게 일치하지 않을 수 있고, 허용 오차, 측정 오차, 측정 정확도의 한계와 통상적으로 알려진 기타 요인을 비롯한 변형과 같은 효과로 본 발명의 다양한 실시 예에 따른 발명의 실시 형태를 한정하지 않아야 할 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어’ 있다거나 '접속되어' 있다고 기재된 경우, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성 요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소의 '상에' 있다거나 '접하여' 있다고 기재된 경우, 다른 구성요소에 상에 직접 맞닿아 있거나 또는 연결되어 있을 수 있지만, 중간에 또 다른 구성요소가 존재할 수 있다고 이해되어야 할 것이다. 반면, 어떤 구성요소가 다른 구성요소의 '바로 위에' 있다거나 '직접 접하여' 있다고 기재된 경우에는, 중간에 또 다른 구성요소가 존재하지 않은 것으로 이해될 수 있다. 구성요소 간의 관계를 설명하는 다른 표현들, 예를 들면, '~사이에'와 '직접 ~사이에' 등도 마찬가지로 해석될 수 있다.
본 명세서에서, '제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 해당 구성요소는 위 용어에 의해 한정되어서는 안 된다. 또한, 위 용어는 각 구성요소의 순서를 한정하기 위한 것으로 해석되어서는 안되며, 하나의 구성요소와 다른 구성요소를 구별하는 목적으로 사용될 수 있다. 예를 들어, '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 주행 시나리오 추천 장치(100)의 블록 구성도를 나타낸다.
본 발명의 일 실시예에 따른 주행 시나리오 추천 장치(100)는 주행 영상을 기반으로 주행 시나리오 및 매개변수를 추천하는 장치로서, 컴퓨팅(computing)이 가능한 전자 장치 또는 컴퓨팅 네트워크일 수 있다.
예를 들어, 전자 장치는 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 태블릿 PC(tablet personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), PDA(personal digital assistant), 스마트폰(smartphone), 스마트패드(smartpad) 또는 휴대폰(mobile phone) 등과 같은 범용 컴퓨팅 장치이거나, 전용의 임베디드 시스템 등일 수 있으나, 이에 한정되는 것은 아니다.
이때, 주행 영상은 차량의 주행 중에 해당 차량에 설치된 블랙박스 등의 영상수집장치에서 촬영된 영상으로서, 주행 중인 차량의 위치 정보 및 시간 정보를 함께 포함하는 영상 정보인 것이 바람직할 수 있다. 이는 추후에 주행 영상을 이용하여 주행 통계의 분석, 주행 시나리오 추천 및 매개변수 추천 시에 위치 정보가 함께 이용될 수 있기 때문이다. 즉, 본 발명이 제공하는 기능을 최대로 활용하려면 주행 영상에는 위치 정보가 함께 포함되어 있는 것이 바람직하다. 최근의 차량 내 영상수집장치는 GPS(Global Positioning System) 수신기와 같은 위치정보 취득 장치와 연계하여 관련 정보를 취득하는 것이 매우 용이하고 보편화된 실정이다. 물론, 주행 영상은 하나의 차량에서 촬영되거나 다수의 차량에서 촬영될 수 있다.
도 2는 본 발명과 관련하여 시나리오 설정이 필요한 도로 구간(대상 도로)에서의 주행 시나리오(driving scenario)를 설정하는 일 예를 나타낸다. 또한, 도 3 및 도 4는 주행 영상을 통해 추정 가능한 주행 사건의 다양한 예를 나타낸다.
도 2는 직선과 곡선 구간이 결합된 전체 대상 도로(도로 구간)에 대해서 주행 시나리오를 구성하는 것을 보여준다. 이때, 전체 주행 구간을 A, B, C 및 D라는 4개의 부분 구간으로 나눈다고 가정하면, A, B, C 및 D에 대해서 각각의 부분 주행 시나리오(partial driving scenario)를 적용할 수 있다. 물론, 도 2의 도로 모양은 하나의 예시에 불과하며, 대상 도로는 도 2 외의 다양한 도로 형상을 가질 수 있다. 즉, 대상 도로는 부분 구간의 개수가 다양할 수 있으며, 부분 구간 별로 시나리오 적용 상황이 달라질 수 있다.
여기서, 주행 시나리오는 주행 중에 발생할 수 있는 가능한 주행 사건(event)의 집합으로 정의할 수 있다. 일례로, “끼어들기”, “보행자 횡단”, “차선폭 감소” 등과 같은 개별적인 사건이 모여 주행 시나리오를 구성할 수 있다. 또한, 주행 시나리오들이 모여서 통합 주행 시나리오를 구성하는 것도 가능하다. 이러한 주행 시나리오는 ASAM(Association for Standardization of Automation and Measuring Systems)과 같은 기구에서 제정한 관련 표준을 준용하여 설정하는 것이 바람직할 수 있다.
일례로, A구간에서는 “차선 직선구간에서 1차선 차량이 2차선으로 끼어들기”, B구간은 “차선 곡선구간에서 2차선 주행 차량이 1차선으로 차선변경”, C구간에서는 “전방에 무단횡단 보행자 등장”, D구간에서는 “차선 고속도로에서 90km/h 직선구간 주행시 전방에 정차 중인 사고 차량이 나타남”과 같은 부분 주행 시나리오를 적용할 수 있다.
본 발명에서의 주행 시나리오는 추상화와 구체화의 정도에 따라서 계층적으로 제공할 수 있다. 일례로, 최상위 수준에서는 “교통 정체 상황”이라고 기술하고, 그 다음 수준에서는 “출근길 폭우로 인한 교통 정체 상황”, 그 다음 수준에서는 “출근길 폭우로 인해 대중교통 이용자 감소 및 자가용 이용 증가로 인한 교통 정체 상황”, 그 다음 수준에서는 “출근길 폭우로 인해 대중교통 이용자 감소 및 자가용 이용 증가로 인한 고속도로 진입을 위한 병목구간에서의 끼어들기 차량의 급증으로 인한 교통 정체 상황”과 같은 식으로 추상화된 시나리오가 구체적인 시나리오로 확장될 수 있다. 이후, 본 명세서에서는 시나리오에 대한 실시예를 “교통 정체 상황”과 같이 추상적으로 표현한다. 다만, 이는 표현의 간결함을 고려한 것으로서, 이에 한정되는 것은 아니며, 다양한 레벨(level) 혹은 계층에 따라 구체적인 시나리오 제공이 가능하다.
한편, 주행 시나리오는 실제 도로에서 발생할 수 있는 주행 사건(event)들의 집합인 매우 넓은 개념이므로, 본 발명에서는 임의의 내 차량(Ego vehicle) 관점에서 수집할 수 있는 주행 사건(event)의 집합으로 한정한다. 이때, “Ego vehicle”은 영상수집장치가 설치되어 주행 영상을 촬영하는 차량을 지칭한다.
즉, 본 발명에서는 전지적 관찰자 시점에서 도로 네트워크의 구조, 신호등의 위치, 횡단보도의 위치를 알고 있다고 가정하는 종래의 방식과는 다르게 오로지 Ego vehicle를 통해서 수집할 수 있는 영상 정보만을 이용하여 추정 가능한 주행 사건만을 고려대상으로 한다. 이런 제약에도 불구하고 본 발명에 의하면 각각의 주행 사건들에 대해서 주행 사건이 발생한 위치와 시간 정보를 동시에 기록하는 방식을 취하므로, 나중에 위치 별 교통사고 발생 통계나 정밀지도와 같은 정보와 연결하여 활용 범위를 넓힐 수 있음은 물론이다.
도 3 및 도 4는 앞서 설명한 임의의 Ego vehicle 관점에서 수집할 수 있는 주행 사건(event)들의 몇 가지 예시를 보여준다. 즉, 차량에 탑승한 운전자나 차량에 장착된 카메라 관점에서는, “정차”, “전방 사고차량 등장”, “갓길 정차 및 사고차량 등장”, “역주행”, “차량 끼어들기”, “차선감소와 끼어들기”, “곡선구간 끼어들기”, “보행자 횡단”, “자전거 횡단”, “모터사이클 끼어들기”, “여러 보행자 횡단”, “도로병합 구간에서 끼어들기”, “도로분리 구간에서 나가기”, “추월”, “중앙선 침범 후 추월” 등과 같은 주행 사건들을 취득할 수 있다.
본 발명에서는 특정한 위치와 시간 구간에 대해서 어떤 주행 사건이 자주 발생하고 차량이나 보행자와 같은 객체의 분포가 위치나 시간에 따라서 어떤 통계적 특징을 갖는지를 지속적이고 점진적으로 알아낼 수 있으며, 이를 요청된 위치와 시간에 대해서 처리하여 제공할 수 있는 특징을 갖는다. 이를 위해, 위치와 시간 정보가 포함된 주행 영상 정보를 입력 받아 이용한다. 물론, 이러한 주행 영상 정보는 다양한 차량으로부터 수집될 수 있다.
한편, 추천 장치(100)는 크게 3가지 기능을 제공할 수 있으며, 이러한 3가지 기능은 서로 독립적이거나 종속적으로 제공될 수 있다.
먼저, 추천 장치(100)는 촬영의 위치 및 시간 정보가 포함된 주행 영상으로부터 위치 및 시간에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계를 분석하는 분석 기능을 제공할 수 있다. 물론, 이러한 분석 기능은 추천 장치(100) 외의 별도의 전자 장치(이하, “분석 장치”라 지칭함)에서 제공할 수도 있으며, 이 경우에 해당 분석 장치에서 분석된 주행 통계가 추천 장치(100)로 전달될 수 있다. 가령, 분석 장치에서 분석된 주행 통계는 별도의 데이터베이스 시스템에 저장되고, 추천 장치(100)가 해당 데이터베이스 시스템에 접속하여 해당 주행 통계를 전달받을 수 있다. 또는, 분석 장치가 분석된 주행 통계를 저장하고, 분석 장치와 추천 장치(100) 간에 통신을 통해 해당 주행 통계가 추천 장치(100)로 전달될 수 있다. 다만, 이러한 분석 기능의 상세한 설명에 대해서는 본 발명의 추천 방법에서 후술하도록 한다.
다음으로, 추천 장치(100)는 시나리오 설정이 필요한 대상 도로에 대해, 시나리오 구간과 시나리오 구간 별로 적용되는 주행 시나리오를 각각 주행 통계를 기반으로 추천하는 기능(이하, “제1 추천 기능”이라 지칭함)을 제공할 수 있다. 다만, 이러한 제1 추천 기능의 상세한 설명에 대해서는 본 발명의 추천 방법에서 후술하도록 한다.
다음으로, 추천 장치(100)는 추천된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하는 기능(이하, “제2 추천 기능”이라 지칭함)을 제공할 수 있다. 다만, 이러한 제2 추천 기능의 상세한 설명에 대해서는 본 발명의 추천 방법에서 후술하도록 한다.
가령, 추천 장치(100)는 주행 영상을 촬영한 영상수집장치가 설치된 차량이나 다른 차량에 설치된 엔드 디바이스(end-device)로 동작할 수 있으며, 그 외에 차량에 설치되지 않고 분석 기능, 제1 추천 기능 또는 제2 추천 기능을 제공하는 시스템으로 구현되어 해당 분석 또는 추천에 따른 결과를 차량의 단말 등에 전송하는 서버(sever)로 동작할 수도 있다.
구체적으로, 추천 장치(100)는, 도 1에 도시된 바와 같이, 입력부(110), 통신부(120), 디스플레이(130), 메모리(140) 및 제어부(150)를 포함할 수 있다. 물론, 추천 장치(100)는 주행 영상을 촬영하는 영상수집장치를 포함할 수도 있다.
입력부(110)는 다양한 사용자의 입력에 대응하여, 입력데이터를 발생시키며, 다양한 입력수단을 포함할 수 있다. 예를 들어, 입력부(110)는 키보드(key board), 키패드(key pad), 돔 스위치(dome switch), 터치 패널(touch panel), 터치 키(touch key), 터치 패드(touch pad), 마우스(mouse), 메뉴 버튼(menu button) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
통신부(120)는 다른 장치와의 통신을 수행하는 구성이다. 예를 들어, 통신부(120)는 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), 블루투스, BLE(Bluetooth low energy), NFC(near field communication), 와이파이(WiFi) 통신 등의 무선 통신을 수행하거나, 케이블 통신 등의 유선 통신을 수행할 수 있으나, 이에 한정되는 것은 아니다. 가령, 통신부(120)는 주행 영상 또는 주행 통계 등을 타 장치로부터 수신할 수 있으며, 분석 결과 또는 추천 결과 등을 타 장치로 송신할 수 있다.
디스플레이(130)는 다양한 영상 데이터를 화면으로 표시하는 구성이다. 가령, 디스플레이(130)는 비발광형 패널이나 발광형 패널로 구성될 수 있다. 예를 들어, 디스플레이(130)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 가령, 디스플레이(130)는 주행 영상, 주행 통계, 분석 결과 또는 추천 결과 등을 화면에 표시할 수 있다. 또한, 디스플레이(130)는 입력부(110)와 결합되어 터치 스크린(touch screen) 등으로 구현될 수 있다.
메모리(140)는 추천 장치(100)의 동작에 필요한 각종 정보를 저장한다. 가령, 저장 정보로는 주행 영상, 주행 통계, 분석 결과, 추천 결과, 또는 후술할 추천 방법에 관련된 프로그램 정보 등이 포함될 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 메모리(140)는 그 유형에 따라 하드디스크 타입(hard disk type), 마그네틱 매체 타입(Magnetic media type), CD-ROM(compact disc read only memory), 광기록 매체 타입(Optical Media type), 자기-광 매체 타입(Magneto-optical media type), 멀티미디어 카드 마이크로 타입(Multimedia card micro type), 플래시 저장부 타입(flash memory type), 롬 타입(read only memory type), 또는 램 타입(random access memory type) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 메모리(140)는 그 용도/위치에 따라 캐시(cache), 버퍼, 주기억장치, 또는 보조기억장치이거나 별도로 마련된 저장 시스템일 수 있으나, 이에 한정되는 것은 아니다.
제어부(150)는 추천 장치(100)의 다양한 제어 동작을 수행할 수 있다. 즉, 제어부(150)는 후술할 추천 방법의 수행을 제어할 수 있으며, 추천 장치(100)의 나머지 구성, 즉 입력부(110), 통신부(120), 디스플레이(130), 메모리(140) 등의 동작을 제어할 수 있다. 예를 들어, 제어부(150)는 하드웨어인 프로세서(processor) 또는 해당 프로세서에서 수행되는 소프트웨어인 프로세스(process) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
도 5는 본 발명의 일 실시예에 따른 주행 시나리오 추천 장치(100)에서 제어부(150)의 블록 구성도를 나타낸다.
제어부(150)는 본 발명의 일 실시예에 따른 추천 방법의 수행을 제어하며, 도 5에 도시된 바와 같이, 영상처리부(151) 및 시나리오 처리부(152)를 포함할 수 있다. 예를 들어, 영상처리부(151) 및 시나리오 처리부(152)는 제어부(150)의 하드웨어 구성이거나, 제어부(150)에서 수행되는 소프트웨어인 프로세스일 수 있으나, 이에 한정되는 것은 아니다.
이하, 본 발명에 따른 추천 방법에 대해 보다 상세하게 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 추천 방법의 순서도를 나타내며, 도 7은 S110에 대한 보다 상세한 순서도를 나타낸다.
본 발명에 따른 추천 방법은 제어부(150)의 제어에 따라 수행될 수 있으며, 분석 기능, 제1 추천 기능 및 제2 추천 기능을 선택적으로 수행하는 방법이다. 즉, 본 발명의 일 실시예에 따른 추천 방법은, 도 6에 도시된 바와 같이, S110 내지 S130을 포함할 수 있다.
S110은 제어부(150)의 영상처리부(151)의 제어 따라 분석 기능을 제공하는 단계이다. 즉, 영상처리부(151)는 영상수집장치에서 촬영된 위치 정보가 포함된 주행 영상으로부터 위치 및 시간에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계의 분석을 제어할 수 있다. 이러한 S110은, 도 4에 도시된 바와 같이, S111 내지 S116을 포함할 수 있다.
S111에서, 영상수집장치에서 촬영된 주행 영상이 영상처리부(151)로 입력(전달)된다. 이때, 주행 영상에는 촬영된 위치 정보가 함께 포함되어 있는 것이 바람직하다.
S112에서, 영상처리부(151)는 입력된 주행 영상에 대해 비식별화 처리를 선택적으로 수행한다. 이때, 비식별화 처리는 주행 영상의 특정 영역이 비식별화(즉, 개인정보와 관련된 정보를 제거)되도록 하는 영상 처리이며, 이러한 특정 영역을 비식별화 영역이라 지칭한다.
이때, 비식별화 영역은 차량의 번호판 영역, 보행자의 얼굴 영역 또는 거리의 간판 영역 등을 포함할 수 있다. 즉, 영상처리부(151)는 주행 영상 내에서 차량의 번호판 영역을 검출하여 비식별화 처리를 하거나, 주행 영상 내에서 보행자의 얼굴 영역을 검출하여 비식별화 처리를 하거나, 거리의 간판 영역을 검출하여 비식별화 처리를 할 수 있다. 예를 들어, 비식별화 처리는 비식별화 영역에 대해, 모자이크 처리, 블러링(bluring) 처리, 단색 처리 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
다만, S112는 선택적으로 수행될 수 있다. 즉, 본 발명은 S112에 따른 비식별화 처리가 수행되지 않더라도 개인정보를 저장하거나 출력하지 않는다. 그럼에도 불구하고, 데이터의 2차 가공 측면에서의 개인정보 처리와 관련된 이슈를 원천적으로 배제하기 위해, S112가 포함될 수 있다.
S113에서, 영상처리부(151)는 입력된 주행 영상에서 객체를 검출하고 인식한다. 이는 입력된 주행 영상에 도로 차선, 자동차, 보행자, 자전거, 신호등과 같이 주행 중 나타날 수 있는 각종 객체의 존재 여부 및 그 위치를 검출하는 과정이다. 이런 검출을 위해서, 종래의 다양한 객체 검출의 영상처리 기법이 사용될 수 있다.
예를 들어, 차선 검출을 위해, 주행 영상에서 직선이나 곡선 성분을 추출하는 허프 변환(Hough transform)과 같은 영상처리 방법이 사용될 수 있다. 또한, 차량, 보행자, 자전거, 오토바이 또는 전동 킥보드 등과 같은 움직임이 가능한 객체의 검출을 위해, 욜로(Yolo)와 같은 인공 신경망 기반의 객체 검출 기법이 사용될 수 있다. 다만, 본 발명에서는 상술한 차선 검출 방법이나 객체 검출 기법으로 제한되지 않고, 다양한 객체 검출 기법이 사용될 수 있다.
도 8은 주행 영상에서 객체 검출 및 이동 궤적 추출의 일 예를 나타낸다. 다만, 도 8에서, 주행 영상을 촬영하는 주체인 Ego Vehicle는 일반적으로 주행 영상에 나타나지 않지만, 개념의 이해를 위해 점선 테두리의 차량으로 표시했다. 반면, 도 8에서, 큰 사각형 내의 도로와 차량 모습은 취득된 주행 영상을 나타낸다.
S114에서, 영상처리부(151)는 검출된 객체 별로 이동 궤적(moving trajectory)을 추출한다. 이때, 이동 궤적은 Ego vehicle을 기준으로 하는 객체의 상대적인 이동 궤적, 즉 Ego vehicle 관점에서 바라본 객체의 상대적인 이동 궤적을 의미한다.
가령, 도 8을 참조하면, 검은색으로 칠해진 “차량 F”만 제외하고 “Vehicle”을 포함한 나머지 모든 차량이 “0”라는 속도로 주행하고 있다. 이에 따라, “Ego Vehicle”과 같은 속도로 이동 중인 “차량 A”“차량 B”“차량 C”“차량 D” 및 “차량 E”의 상대속도는 0이다. 즉, “Vehicle”이 촬영한 주행 영상을 재생하면 상대 속도가 0인 차량들은 영상에서 위치 이동이 발생하지 않지만 “끼어들기”를 하려는 검은색 “차량 F”의 경우에는 임의의 이동 궤적이 발생한다. 물론 “차량 A”“차량 B”“차량 C”“차량 D” 및 “차량 E”의 “Vehicle”에 대한 상대속도는 통상적으로 0이 아니지만, 문턱 값(threshold value) 이상으로 이동하는 차량을 선택하는 식으로 이동 궤적이 특별한 차량 객체를 찾아낼 수 있다. 차선정보, 차량의 위치, 이동 궤적을 종합하면 도 8에 나타낸 “끼어들기” 또는 “추월” 등과 같은 주행 사건을 추정할 수 있다.
한편, S114에서는 여러 가지 예외적인 상황이 발생할 수 있는데, 일례로 통상적으로 지표면에 고정된 “신호등”과 같은 객체가 Ego Vehicle의 이동으로 인해 취득된 주행 영상에서는 상대적으로 빠르게 이동하는 것으로 나타날 수 있는 것이다. 이런 예외 상황을 제거하기 위해, S114에에서는 차량, 보행자, 자전거, 오토바이 또는 전동 킥보드 등과 같이 통상적으로 움직임이 가능하고 주행 시나리오 분석에서 중요한 객체들에 대해서만 선택적으로 이동 궤적을 추적(추출)할 수도 있다.
S115에서, 영상처리부(151)는 추출된 이동 궤적(moving trajectory)에서 시나리오 분석에 용이하도록 객체 별로 이동 궤적을 필터링하고 보정하는 작업을 수행한다. 일례로, 도로가 아닌 영역(즉, 하늘이나 주변부 등)에서 검출된 객체의 이동 궤적은 제거하는 것이 바람직하다. 또한, 도 8에서, Ego vehicle 자신이 가속 혹은 감속, 차선 변경과 같은 변화를 일으킬 수 있는데, 이 경우에 Ego vehicle 이외의 모든 차량에서 이동 궤적의 변화가 전역적으로 발생할 수 있다. 이런 경우를 보정하여 객체 별 이동 궤적을 선별하는 것이 “객체 이동 궤적 보정”의 목적이다. 이런 상황에 대응하는 보정을 위해서는 다음과 같은 2가지 방법이 선택적으로 사용될 수 있다.
(1) Ego vehicle이 소정의 제1 문턱 값(threshold value) 이상으로 차선을 이탈하거나 가속 및 감속한다면, 영상처리부(151)는 해당 구간에서는 객체 추출이나 이동 궤적 정보 분석을 멈춘다. 이는 연산처리 비용을 줄이고 Ego vehicle 이외의 효과만을 분석에 사용하기 위함이다. 물론, 차선 이탈에 적용되는 제1 문턱 값과, 가속 및 감속에 적용되는 제1 문턱 값은 다른 수치의 값일 수도 있다.
이때, Ego vehicle의 차선 이탈 검출은 주행 영상 정보를 이용하여 검출 가능하며, Ego vehicle의 가속 및 감속 정보는 영상수집장치에 연계된 GPS 정보, 가속도 센서 정보 또는 자이로 센서 정보 등을 활용하여 파악할 수 있다. 만약, 이러한 비영상정보(non-image information)를 이용하지 못한다면, 취득된 주행 영상 정보를 이용하여 상대적인 가속 및 감속을 추정할 수도 있다.
일례로, 도로 바닥과 같이 차량의 이동에 비례하여 일관성 있게 변화하는 객체를 참조 지점으로 정한다면, 해당 영역의 움직임 벡터(motion vector)를 시간에 따라 지속적으로 계산함으로써, Ego vehicle의 가속 및 감속을 계산할 수 있다.
(2) Ego vehicle이 제2 문턱 값(제1 문턱 값보다 큼) 이상으로 차선을 이탈하거나 가속 및 감속한다면, Ego vehicle에 의해 발생된 주행 사건으로 기록한다. 일례로, 주행 영상 분석을 통해 Ego vehicle이 “총 3차선 도로의 2차선에서 3차선으로 차선변경”과 같은 사건을 일으켰다면, 이를 기록하는 방식이다. 물론, 차선 이탈에 적용되는 제2 문턱 값과, 가속 및 감속에 적용되는 제2 문턱 값은 다른 수치의 값일 수도 있다.
도 9는 주행 통계를 표로 나타낸 일 예이며, 도 10은 도 9의 주행 사건을 추출하는데 사용한 기초 정보를 표로 나타낸 일 예이다.
S116에서, 영상처리부(151)는 위치 및 시간에 따라 주행 통계를 분석하여 추출한다. 이때, 주행 통계는 본 발명에 입력으로 제공된 주행 영상에 포함된 위치와 시간에 맞춰 해당 시간대에서 검출된 객체의 수, 객체의 이동 궤적, 및 분석된 주행 사건을 포함하는 정보이다. 예컨대, 도 8에 따라 추출된 주행 통계는, “차선 도로”과 “총 6대의 차량”에 대한 객체 수와, 이들 객체에 대한 이동 궤적과, “끼어들기” 또는 “추월”로 분석된 주행 사건을 포함할 수 있다. 이와 같이 추출된 주행 통계는, 도 9 및 도 10에 도시된 바와 같이, 메모리(140)에 저장되어 관리될 수 있으며, 별도의 데이터베이스(database)나 파일시스템을 통해 지속적으로 저장하고 관리될 수 있다.
또한, 이러한 주행 통계의 주행 사건을 추출하는데 사용한 기초 정보도, 도 10에 도시된 바와 같이, 저장 관리될 수 있다. 이와 같이 저장 관리된 정보는 디스플레이(130)를 통해 출력되거나, 통신부(120)를 통해 타 장치로 전송될 수 있다.
다만, 도 9에서, <차량 수>, <보행자 수>와 같은 객체의 개수만을 표시했으나, 본 발명이 이에 한정되는 것은 아니다. 즉, 비나 눈이 오는 것과 같은 기상 상태, 도로의 파손 영역이나 빙판 영역과 같은 노면 상태, 자갈 등의 돌발적인 객체의 등장과 같이, 주행 영상을 통해 분석할 수 있는 정보가 주행 통계에 추가적으로 포함되어 저장 관리될 수 있음은 물론이다.
한편, S110은 다른 전자 장치의 제어부의 제어에 따라 수행될 수 있으며, 그 분석 결과인 주행 통계에 대한 정보가 통신부(120)를 통해 추적 장치(100)로 전송될 수도 있다.
도 11은 S120 및 S130에 대한 보다 상세한 순서도를 나타낸다.
다음으로, S120은 제어부(150)의 시나리오 처리부(152)의 제어 따라 제1 추천 기능을 제공하는 단계로서, 도 11에 도시된 바와 같이, S121 내지 S125를 포함할 수 있다. 또한, S130은 제어부(150)의 시나리오 처리부(152)의 제어 따라 제2 추천 기능을 제공하는 단계로서, 도 11에 도시된 바와 같이, S120은 S121 내지 S125를 포함할 수 있으며, S130은 S131 내지 S134를 포함할 수 있다.
S121에서, 시나리오 처리부(152)는 시나리오 설정이 필요한 대상 도로에 대한 정보를 사용자로부터 입력 받는다. 이에 따라, 시나리오 처리부(152)는 대상 도로의 위치를 파악할 수 있다. 물론, 대상 도로에 대한 정보는 도로의 네트워크, 위치를 포함하도록 널리 사용되는 종래의 도로 정보 표시 포맷을 준용하여 사용되는 것이 바람직하다. 가령, 대상 도로에 대한 정보는 해당 대상 도로의 식별자 정보, 위치 정보 등을 포함할 수 있다.
S122에서, 시나리오 처리부(152)는 S110을 통해 확보된 위치와 시간 별 주행 통계 정보를 기반으로, 대상 도로의 전체 구간을 분분 구간(즉, 시나리오 구간)을 나누고 시나리오 구간 별로 적용되는 주행 시나리오를 추천한다.
S122에서 사용되는 구체적인 방법은 다음과 같다.
(1) 먼저, 시나리오 처리부(152)는 기 저장 관리되는 주행 통계에서 대상 도로의 위치 정보에 대응하는 위치 영역을 파악한다. 가령, 대상 도로의 위치 정보를 포함하는 질의어(query)를 이용하여 해당 위치 영역을 파악할 수 있다. 물론, 경우에 따라, 대상 도로의 위치 정보 외에 시나리오 적용을 위한 시간 정보를 함께 이용하여 검색할 수도 있다.
(2) 시나리오 처리부(152)는 주행 통계 중 파악된 대상 도로의 위치에 대응하는 위치 영역 내에서 주행 사건 종류 별 발생 분포를 다수의 위치에 따라 계산한다. 즉, 주행 통계 중에서 대상 도로의 위치 영역에 포함되는 주행 사건들의 발생 분포(또는 빈도)를 위치에 따라 계산한다.
(3) 시나리오 처리부(152)는 계산된 주행 사건 종류 별의 발생 분포를 이용하여 발생 분포 간의 경계를 찾는다. 가령, 시나리오 처리부(152)는 높은 빈도를 보이는 주행 사건을 우선하여 추천하기 하도록 주행 사건 종류 별 발생 분포 사이의 경계부를 찾을 수 있다. 이러한 경계부를 찾는 방법은 다양할 수 있으나 본 발명에서는 아래와 같은 3가지 방식 중의 한 가지를 응용에 맞게 선택적으로 사용할 수 있다.
도 12는 주행 사건 종류 별 발생 분포 사이의 경계부를 설정하는 다양한 예를 나타낸다.
(3-1) 시나리오 처리부(152)는 대상 도로에 대해 계산된 주행 사건 종류 별의 발생 분포를 계산하고, 분포와 분포 사이의 경계부를 시나리오를 적용할 구간으로 결정한다. 도 12는 이에 대한 예시에 해당하며, 주어진 대상 도로에 대해 4개의 주행 사건의 발생 분포가 계산된 것으로 가정한다.
도 12(a)에서, “사건 1”의 경우, 대상 도로의 초반부에서 가장 높은 발생 분포를 보이고, “사건 2”는 대상 도로의 초반과 중반부 사이에서 가장 높은 발생 분포를 보인다. 이러한 발생 분포 정보를 이용하면, 주어진 대상 도로의 각각의 위치에서 가장 높은 발생 분포를 보이는 사건을 그룹화하여 추출하는 것이 가능하다.
도 12(a)에서는 주행 구간 (P1, P2) 사이에는 “사건1”이, 주행구간 (P2, P3) 사이에는 “사건2”가, 주행구간 (P3, P4) 사이에는 “사건3”이, 주행구간 (P4, P5) 사이에는 “사건4”이 각각 가장 높은 발생 분포를 보이고 있다. 따라서, 시나리오 처리부(152)는 발생 분포 사이의 경계부를 {P1, P2, P3, P4, P5}와 같이 결정하고, 이들 사이를 각각 시나리오 구간으로 설정할 수 있으며, 이때 주행 통계에서 각 시나리오 구간에서 가장 발생 빈도(확률)이 높은 주행 사건에 관련된 시나리오를 해당 시나리오 구간에 대한 주행 시나리오로 결정할 수 있다.
(3-2) 상술한 (3-1)과 유사하지만, 시나리오 처리부(152)는 주행 사건 종류 별 발생 분포를 대상 도로에 대해서 정규화(normalize)하여, 주행 사건 종류 별 발생 분포에 대한 확률분포함수(probability density function)로 만든 다음, 해당 확률분포함수에서 주행 사건 분포 사이의 경계부를 찾는다. 이는 도 12(b)에서 나타내고 있다. 이런 경우, {P1, P2, P3, P4, P5}의 주행 위치 정보는 도 12(a) 경우의 위치 정보와 다른 값을 가질 수 있다. 이에 따라, 시나리오 처리부(152)는 도 12(a) 경우와 다른 {P1, P2, P3, P4, P5}를 발생 분포 사이의 경계부로 결정하고, 이를 시나리오 구간으로 설정할 수 있으며, 이때 주행 통계에서 각 시나리오 구간에서 가장 발생 빈도(확률)이 높은 주행 사건에 관련된 시나리오를 해당 시나리오 구간에 대한 주행 시나리오로 결정할 수 있다.
(3-3) 상술한 (3-1)과 유사하지만, 시나리오 처리부(152)는 대상 도로에 대한 주행 사건 종류 별 발생 분포를 주행 사건 별로 가중치를 다르게 하여 발생 분포를 변형한 후 사건 분포 사이의 경계부를 찾는다. 이는 도 12(c)에서 나타내고 있다. 이런 경우, {P1, P2, P3, P4, P5}의 주행 위치 정보는 마찬가지로 도 12(a) 경우의 위치 정보와 다른 값을 가질 수 있다. 이에 따라, 시나리오 처리부(152)는 도 12(a) 경우와 다른 {P1, P2, P3, P4, P5}를 발생 분포 사이의 경계부로 결정하고, 이를 시나리오 구간으로 설정할 수 있으며, 이때 주행 통계에서 각 시나리오 구간에서 가장 발생 빈도(확률)이 높은 주행 사건에 관련된 시나리오를 해당 시나리오 구간에 대한 주행 시나리오로 결정할 수 있다.
이러한 (3-3)의 방식을 사용할 때의 장점은 S110에 따라 수집된 주행 통계 정보 이외에 외부의 정보나 사용자가 생각하는 가중치를 적용할 수 있다는 것이다. 일례로, “사건 1”과 “사건 4”가 잠재적인 위험성이 더 크거나, 향후 더 많은 발생이 예상된다면 이런 주행 사건에 가중치를 더 크게 주어 그와 관련된 주행 시나리오를 추천받을 수 있게 유도할 수 있다.
이러한 가중치 부여 기능의 경우, 사건의 긴급성(Urgency), 사건의 위험성(Criticality), 사건의 시간 적절성(Time budget), 사건에 대한 운전자의 정신적 부담(Mental workload), 사건에 대한 운전자의 신체적 부담(Physical workload) 등과 같은 지표를 반영할 수도 있으므로, 매우 의미 있는 기능이라 할 수 있다.
(3-4) 상술한 (3-1) 내지 (3-3)의 경우에서는 발생 분포를 보고 가장 높은 확률의 값을 해당 시나리오 구간에 대한 주행 시나리오로 결정하는 방식이다. 하지만, 발생 빈도가 낮더라도 의미 있는 주행 사건이 있을 수 있다. 따라서, 본 방식은 더 낮은 빈도의 발생 분포를 갖는 주행 사건들에 대해서도 요청 시 관련 정보를 제공받을 수 있게 하는 방식이다. 가령, 도 12(a)의 (P1, P2) 사이의 시나리오 구간에는 “사건1”가 가장 높은 발생 분포를 가지며 “사건2” 그 다음 높은 발생 분포를 가진다. 이 경우, (P1, P2) 사이의 시나리오 구간에 대해, “사건1” 외에 “사건2”에 대한 주행 통계 정보도 제공할 수 있다.
이후, 사용자는 추천된 부분을 그대로 사용하거나 수정하여 사용할 수 있다. 즉, S123에서, 추천된 시나리오 구간 별 주행 시나리오에 대한 선택 여부가 입력부(110)를 통해 입력된다. 해당 추천이 선택되는 경우, 추천된 시나리오 구간 별 주행 시나리오가 그대로 주행 시나리오로 결정된다(S125). 반면, 해당 추천이 선택되지 않는 경우, S124에서, 추천된 시나리오 구간 및 주행 시나리오에 대한 수정 정보가 입력부(110)를 통해 입력된다. 이 경우, 사용자에 의해 수정된 시나리오 구간 별 주행 시나리오가 주행 시나리오로 결정된다(S125).
S131에서, 시나리오 처리부(152)는 시나리오 구간 별 주행 시나리오가 결정되었으므로, 결정된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 주행 통계를 기반으로 추천한다. 일례로, 시나리오 구간 별로 차선 수, 주행 차량 수, 보행자 수 와 같은 구체적인 수치를 추천할 수 있다.
S131에서 사용되는 구체적인 방법은 다음과 같다.
(1) 먼저, S125에 따라 시나리오 구간 및 추천 시나리오가 결정되면, 시나리오 처리부(152)는 해당 시나리오 구간에 대해서 위치 정보를 질의어(query)로 하여 주행 통계의 도 9와 같은 기 저장된 정보로부터 객체들을 검색한다.
(2) 이후, 시나리오 처리부(152)는 시나리오 구간 별로 해당 구간에서의 평균 객체 수를 파악한다. 즉, 시나리오 구간 별로 객체의 발생 분포(또는 빈도)를 계산할 수 있다.
(3) 시나리오 처리부(152)는 파악된 객체 수를 포함하는 매개변수를 추천한다. 즉, 대상 도로의 시나리오 구간 별 객체 발생 분포에 따라 추천 시나리오에 맞는 매개변수를 추천할 수 있다.
일례로, 도 12(a)에서 (P1, P2) 사이의 시나리오 구간에는 “사건1”에 관련된 주행 시나리오가 추천될 수 있으므로, 해당 시나리오 구간에 대한 객체 수(가령, “차량 수”, “보행자 수” 등)을 위치 별로 검색을 통해 얻을 수 있다. 이를 해당 시나리오 구간 또는 대상 도로에 대해 평균을 취하면 평균 객체 수(가령, “평균 차량 수”, “평균 보행자 수” 등)를 포함하는 매개변수를 해당 시나리오 구간에 대한 매개변수로 제공할 수 있다.
이후, 사용자는 추천된 매개변수를 그대로 사용하거나 수정하여 사용할 수 있다. 즉, S132에서, 추천된 시나리오 구간 별 매개변수에 대한 선택 여부가 입력부(110)를 통해 입력된다. 해당 추천이 선택되는 경우, 추천된 시나리오 구간 별 매개변수가 그대로 매개변수로 결정된다(S134). 반면, 해당 추천이 선택되지 않는 경우, S133에서, 추천된 시나리오 구간 별 매개변수에 대한 수정 정보가 입력부(110)를 통해 입력된다. 이 경우, 사용자에 의해 수정된 시나리오 구간 별 매개변수가 매개변수로 결정된다(S134).
이러한 본 발명에 의한 추천 방법을 사용하면 컴퓨터 상의 가상 시뮬레이터나, 실제 자동차를 주행하고 시험할 수 있는 테스트베드 환경에서 시나리오 구성 시에 큰 도움을 받을 수 있다.
도 13는 대상 도로에 대한 일 예이며, 도 14는 도 13에 대해 본 발명의 제1 및 제2 추천 기능이 수행된 결과에 대한 일 예이다.
가령, 시나리오를 구성하려는 주체가 도 13과 같은 대상 도로에 대한 정보를 이 제공했다고 가정하자. 이 경우, 대상 도로에 대한 네트워크나 위치 정보만 제공된 상태이고, 어떤 주행 시나리오를 적용해야 할지는 모르는 상태이다. 특히, 어떤 시나리오 매개변수를 설정해야 할지에 관한 객관적 정보도 없다고 가정하자.
이때, “주행 시나리오”란 도로에서 발생할 수 있는 “차량 끼어들기”, “추월”, “보행자 등장” 등과 같은 각종 주행 사건(event)들의 조합이 될 수 있다고 앞서 정의했다. 또한, “매개변수”란 “차량 끼어들기” 등과 같은 주행 사건이 포함된 시나리오를 설정함에 있어서, “주변의 차량이 얼마나 많았는지”, “주변에 보행자는 있었는지”, “교통량이 많은 출퇴근 시간대인지”, “눈이 내리고 있는지”와 같은 세부적인 설정과 관련된 수치를 의미한다.
본 발명에 의하면, 주행 시나리오 추천이 필요한 대상 도로와 관련된 위치에 대한 주행 영상을 사전에 분석해 두었다가 이용하거나, 해당하는 주행 영상이 없는 경우에는 직접 해당 주행 구간에 대해서 블랙박스와 같은 영상수집장치를 이용하여 촬영된 주행 영상을 이용할 수 있다. 이 경우, 같은 경로를 반복적으로 주행하여 데이터를 충분히 확보하는 것이 바람직하다. 본 발명은 수집된 위치 정보가 포함된 주행 영상 정보를 분석하여, 도로에 등장한 객체, 객체의 이동 궤적, 및 주행 중 발생한 주행 사건을 각각 추정하여 주행 통계로 저장 관리한다.
결과적으로, 본 발명은 대상 도로에 맞는 시나리오 구간 별 주행 시나리오와 시나리오 매개변수를 추천한다. 도 14는 이와 같이 추천된 정보에 대한 예로써, 먼저 시나리오 구간을 결정하는 위치정보 {P1, P2, P3, P4, P5}를 제공한다. 또한. 각각의 시나리오 구간에서 적정한 주행 사건을 추천한다. 주행 구간 A의 경우, (P1, P2)로 구간이 정해지고, 1순위로는 “끼어들기”, 2순위로는 “추월”이 추천되었고, 시나리오 매개변수로는 “평균 차량수”, “평균 보행자수”가 제공되었다. 이와 같은 추천 정보를 기초로 컴퓨터 시뮬레이션을 환경을 구성하거나, 실제 주행 시험을 진행할 수 있다.
상술한 바와 같이 구성되는 본 발명은 주행 영상을 기반으로 주행 중 발생한 사건을 누적하여 분석하며, 분석된 정보를 기반으로 대상 도로에 대한 적절한 주행 시나리오를 추천할 수 있는 이점이 있다. 즉, 본 발명은 컴퓨터를 이용한 주행 시뮬레이션이나 실제 도로 주행 환경에서의 차량 시험 환경에서 적절한 주행 시나리오를 도출하는데 도움을 줄 수 있다.
또한, 본 발명은 영상 정보나 각종 센서 정보를 활용한 자율주행차량의 개발 및 주행 테스트에 활용이 가능한 이점이 있다.
특히, 본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하면서, 종래 기술과는 다음과 같은 차이점을 갖는다.
(1) 분석 기능을 기반으로, 주어진 도로 환경 및 위치에 대한 일상적인 주행상황에서 발생하는 잠재적인 사고 위협요인, 도로 정체 유발요인을 분석하기 위한 주행 사건(event)에 대한 통계를 제공할 수 있다.
(2) 제1 추천 기능을 기반으로, 주어진 도로 환경에 적합한 시나리오 설정을 위한 경계 구간들을 추천할 수 있으며, 실제 주행 도로 상황과 연관된 시나리오 설계를 위해 위치와 시간대 별로 적정한 시나리오를 추천할 수 있다.
(3) 제2 추천 기능을 기반으로, 실제 주행 도로 상황과 연관된 시나리오 매개변수를 도로 위치와 시간대에 따라 추천할 수 있다.
특히, 본 발명은 종래 기술에 비해 실제 활용 측면에서 다음과 같은 이점을 가진다.
(1) 데이터 확보를 위한 하드웨어 비용이 절감될 수 있다.
즉, 본 발명에 의하면 시나리오 추천 및 주행 자원 확보를 위해 라이다(LIDAR)나 레이더(LADAR)와 같은 값비싼 추가 하드웨어 장비를 차량에 탑재하지 않아도 된다. 대신, 본 발명은 많은 자동차가 이미 탑재하고 있는 차량 블랙박스와 같은 차량 영상수집장치에서 취득된 영상 데이터를 활용할 수 있다.
(2) 관련 데이터 확보가 용이하다.
즉, 본 발명은 종래에 보급된 영상수집장치를 그대로 사용할 수 있어서 데이터 확보가 상대적으로 용이하다. 또한, 본 발명은 영상수집장치가 차량 내에 특별한 위치에 설치될 것을 요구하지 않는다.
일례로, 종래의 3차원 정밀지도 수집장치의 경우, 특수 제작된 영상수집장치를 소수의 전용 수집 차량에 탑재하여 이를 획득하였기 때문에 데이터 수집 비용과 데이터 확보를 위한 진입장벽이 존재했다. 반면, 본 발명을 사용하면 누구나 일반적인 차량에서 주행 영상을 촬영할 수 있다. 따라서, 직접 촬영 혹은 영상을 구매하는 방식으로 주행 영상정보를 취득하고, 이를 통해 주행 시나리오와 매개변수를 추천할 수 있다.
참고로, 차량 블랙박스를 통한 영상 품질만 가지고도 본 발명에서의 주행 시나리오 분석에 큰 무리가 없는 이유로는, 본 발명에서 요구하는 시나리오 분석을 위해서는 차량 위치나 속도와 관련하여 정확하고 정밀한 값을 필요로 하지 않기 때문이다. 대신 차량과 차량 상호 간 상대적인 움직임이나 갑작스러운 변화와 같은 상황이 중요하게 쓰인다. 일례로, “앞차 또는 뒤차와의 거리가 상대적으로 어떻게 변화하는지”, “주행 중에 차량이 끼어드는지”, “차선의 개수”, “날씨 상태”, “차량이 얼마나 밀집되어 있는지”와 같은 정보를 주로 사용하게 된다.
본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술되는 청구범위 및 이 청구범위와 균등한 것들에 의해 정해져야 한다.
100: 추천 장치 110: 입력부
120: 통신부 130: 디스플레이
140: 메모리 150: 제어부
151: 영상 처리부 152: 시나리오 처리부

Claims (21)

  1. 차량의 주행 시나리오를 추천하기 위해 전자 장치에서 수행되는 방법으로서,
    촬영의 위치 정보가 포함된 주행 영상으로부터 위치에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계를 분석하는 분석 단계;
    시나리오 설정이 필요한 대상 도로에 대해, 시나리오 구간과 시나리오 구간 별로 적용되는 주행 시나리오를 각각 상기 주행 통계를 기반으로 추천하는 제1 추천 단계; 및
    상기 추천된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하는 제2 추천 단계;
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 분석 단계는,
    상기 주행 영상에서 객체를 검출하는 단계;
    상기 검출된 객체 별로 이동 궤적을 추출하는 단계; 및
    추출된 이동 궤적을 객체 별로 필터링 및 보정하여, 상기 주행 영상에 포함된 위치에 따라 상기 필터링 및 보정이 반영된 상기 주행 통계를 분석하는 단계;
    를 포함하는 방법.
  3. 제2항에 있어서,
    상기 분석 단계는 상기 주행 영상에서 비식별화 영역에 대해 비식별화 처리가 선택적으로 수행되며, 상기 비식별화 처리가 수행되는 경우에 상기 비식별화 처리된 수행된 주행 영상으로부터 상기 주행 통계가 분석되는 방법.
  4. 제3항에 있어서,
    상기 비식별화 영역은 차량의 번호판 영역, 보행자의 얼굴 영역 또는 거리의 간판 영역을 포함하는 방법.
  5. 제2항에 있어서,
    상기 이동 궤적을 추출하는 단계는 주행 영상 내의 객체 중에 움직임이 가능한 객체에 대해서만 이동 궤적을 추출하는 방법.
  6. 제5항에 있어서,
    상기 이동 궤적은 상기 주행 영상의 촬영 차량을 기준으로 하는 상기 움직임이 가능한 객체의 상대적인 이동 궤적인 방법.
  7. 제5항에 있어서,
    상기 움직임이 가능한 객체는 차량, 보행자, 자전거, 오토바이 또는 전동 킥보드를 포함하는 방법.
  8. 제2항에 있어서,
    상기 이동 궤적을 추출하는 단계는 상기 주행 영상의 촬영 차량이 제1 문턱 값 이상으로 차선을 이탈하거나 가속 또는 감속하는 경우에 해당 구간에 대해 이동 궤적의 분석을 정지하는 방법.
  9. 제8항에 있어서,
    상기 이동 궤적을 추출하는 단계는 상기 주행 영상의 촬영 차량이 상기 제1 문턱 값보다 큰 제2 문턱 값 이상으로 차선을 이탈하거나 가속 또는 감속하는 경우에 해당 구간에 대해 이동 궤적의 분석을 수행하며,
    상기 분석하여 저장하는 단계는 상기 주행 통계에 포함된 주행 사건을 상기 촬영 차량에 의해 발생된 사건으로 저장하는 방법.
  10. 제1항에 있어서,
    상기 주행 통계는 기상 상태 또는 노면 상태 또는 돌발 등장 객체의 항목을 포함하는 방법.
  11. 제1항에 있어서,
    상기 제1 추천 단계는,
    상기 대상 도로의 위치를 파악하는 단계;
    상기 주행 통계 중 상기 파악된 상기 대상 도로의 위치에 대응하는 위치 영역 내에서 주행 사건 종류 별 발생 분포를 다수의 위치에 따라 계산하는 단계;
    상기 계산된 발생 분포 간의 경계를 찾는 단계; 및
    상기 찾아진 경계에 따라 상기 시나리오 구간을 나누고, 나눠진 시나리오 구간 별로 해당 구간에 포함된 주행 사건 종류 별 발생 분포를 이용하여 주행 시나리오를 추천하는 단계;
    를 포함하는 방법.
  12. 제11항에 있어서,
    상기 경계를 찾는 단계는 가장 높은 발생 분포를 가지는 주행 사건 종류들을 이용하여 상기 경계를 찾는 방법.
  13. 제11항에 있어서,
    상기 계산하는 단계는 위치 영역 내에서 상기 주행 사건들을 정규화(normalize)하여 상기 주행 사건 종류 별 발생 분포에 대한 확률분포함수(probability density function)를 생성하며,
    상기 찾는 단계는 상기 생성된 확률분포함수를 이용하여 상기 경계를 찾는 방법.
  14. 제11항에 있어서,
    상기 찾는 단계는 상기 주행 사건 종류에 따라 가중치가 적용된 상기 발생 분포를 이용하여 상기 경계를 찾는 방법.
  15. 제1항에 있어서,
    상기 제2 추천 단계는,
    상기 시나리오 구간 별로 해당 구간에서의 평균 객체 수를 파악하는 단계; 및
    상기 파악된 객체 수를 포함하는 매개변수를 해당 구간의 주행 시나리오에 대한 매개변수로 추천하는 단계;
    를 포함하는 방법.
  16. 차량의 주행 시나리오를 추천하기 위해 제1 및 제2 전자 장치에서 수행되는 방법으로서,
    상기 제1 전자 장치에서, 촬영의 위치 정보가 포함된 주행 영상으로부터 위치에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계를 분석하는 분석 단계;
    상기 주행 통계가 상기 제1 전자 장치에서 상기 제2 전자 장치로 전달되는 단계;
    상기 제2 전자 장치에서, 시나리오 설정이 필요한 대상 도로에 대해, 시나리오 구간과 시나리오 구간 별로 적용되는 주행 시나리오를 각각 상기 주행 통계를 기반으로 추천하는 제1 추천 단계; 및
    상기 제2 전자 장치에서, 상기 추천된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하는 제2 추천 단계;
    를 포함하는 방법.
  17. 제1항 또는 제16항에 있어서,
    상기 제1 및 제2 추천 단계의 사이에, 상기 추천된 시나리오 구간 및 주행 시나리오에 대한 사용자의 선택 또는 수정이 입력되는 단계를 더 포함하며,
    상기 제2 추천하는 단계는 상기 입력된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하는 방법.
  18. 제1항 또는 제16항에 있어서,
    상기 제2 추천하는 단계 이후에, 상기 추천된 매개변수에 대한 사용자의 선택 또는 수정이 입력되는 단계를 더 포함하는 방법.
  19. 차량의 주행 시나리오를 추천하는 장치로서,
    촬영의 위치 정보가 포함된 주행 영상을 저장한 메모리; 및
    상기 주행 영상을 이용하여 제어를 수행하는 제어부;를 포함하며,
    상기 제어부는,
    상기 주행 영상으로부터 위치에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계를 분석하도록 제어하고,
    시나리오 설정이 필요한 대상 도로에 대해, 시나리오 구간과 시나리오 구간 별로 적용되는 주행 시나리오를 각각 상기 주행 통계를 기반으로 추천하도록 제어하며,
    상기 추천된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하도록 제어하는 장치.
  20. 차량의 주행 시나리오를 추천하는 장치로서,
    촬영의 위치 정보가 포함된 주행 영상으로부터 위치에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계를 수신하는 통신부; 및
    수신된 상기 주행 통계를 이용하여, 시나리오 설정이 필요한 대상 도로에 대해 주행 시나리오 및 매개변수를 추천하도록 제어하는 제어부;를 포함하며,
    상기 제어부는,
    상기 대상 도로에 대해, 시나리오 구간과 시나리오 구간 별로 적용되는 주행 시나리오를 각각 상기 주행 통계를 기반으로 추천하도록 제어하며,
    상기 추천된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하도록 제어하는 장치.
  21. 제19항또는 제20항에 있어서,
    상기 추천된 시나리오 구간 및 주행 시나리오에 대한 사용자의 선택 또는 수정이 입력되는 입력부를 더 포함하며,
    상기 제어부는 상기 입력된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하도록 제어하는 장치.
KR1020210170561A 2021-12-02 2021-12-02 주행 시나리오 추천 방법 및 장치 KR20230082777A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210170561A KR20230082777A (ko) 2021-12-02 2021-12-02 주행 시나리오 추천 방법 및 장치
PCT/KR2022/016468 WO2023101221A1 (ko) 2021-12-02 2022-10-26 주행 시나리오 추천 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210170561A KR20230082777A (ko) 2021-12-02 2021-12-02 주행 시나리오 추천 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20230082777A true KR20230082777A (ko) 2023-06-09

Family

ID=86612642

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210170561A KR20230082777A (ko) 2021-12-02 2021-12-02 주행 시나리오 추천 방법 및 장치

Country Status (2)

Country Link
KR (1) KR20230082777A (ko)
WO (1) WO2023101221A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210117125A (ko) 2020-03-18 2021-09-28 바이두 유에스에이 엘엘씨 시나리오 기반의 자율 주행 차량 제어

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6558282B2 (ja) * 2016-03-09 2019-08-14 トヨタ自動車株式会社 自動運転システム
US10780897B2 (en) * 2019-01-31 2020-09-22 StradVision, Inc. Method and device for signaling present driving intention of autonomous vehicle to humans by using various V2X-enabled application
KR20210088914A (ko) * 2020-01-07 2021-07-15 엘지전자 주식회사 공간 맵 정보 생성 방법 및 생성된 공간을 이동하는 이동로봇
JP7388971B2 (ja) * 2020-04-06 2023-11-29 トヨタ自動車株式会社 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210117125A (ko) 2020-03-18 2021-09-28 바이두 유에스에이 엘엘씨 시나리오 기반의 자율 주행 차량 제어

Also Published As

Publication number Publication date
WO2023101221A1 (ko) 2023-06-08

Similar Documents

Publication Publication Date Title
US20230282103A1 (en) Monitoring and reporting traffic information
US10599929B2 (en) Event monitoring with object detection systems
US8712104B2 (en) Traffic signal mapping and detection
CN109637137B (zh) 基于车路协同的交通管理***
CN105761500B (zh) 交通事故处理方法及交通事故处理装置
KR102652023B1 (ko) 실시간 교통 정보 제공 방법 및 장치
US11195410B2 (en) System and method for generating a traffic heat map
EP3671547B1 (en) Automatic 3d positioning of road signs detected in 2d images
JP2016048550A (ja) ドライバの注意評価に基づく空間情報の提示
JP2019536184A (ja) 交通標識情報を用いた道路検出
US11568750B2 (en) Method and apparatus for estimating false positive reports of detectable road events
CN104875740B (zh) 用于管理跟随空间的方法、主车辆以及跟随空间管理单元
CN114341962A (zh) 危险车辆显示***、危险车辆显示装置、危险车辆显示程序以及计算机可读取的记录介质以及进行了记录的设备
CN110765224A (zh) 电子地图的处理方法、车辆视觉重定位的方法和车载设备
US20230140079A1 (en) Method and Systems for Detection Accuracy Ranking and Vehicle Instructions
CN114771576A (zh) 行为数据处理方法、自动驾驶车辆的控制方法及自动驾驶车辆
JP2014137682A (ja) 移動体端末の位置情報を用いた交通情報提供システム
KR20230082777A (ko) 주행 시나리오 추천 방법 및 장치
Arvind et al. Vision based speed breaker detection for autonomous vehicle
US20220351553A1 (en) Indexing sensor data about the physical world
KR20210029323A (ko) 정밀 지도를 이용한 센서 퓨전의 인지 성능 향상을 위한 장치 및 방법
CN112885087A (zh) 确定路况信息的方法、装置、设备和介质和程序产品
CN106781470B (zh) 城市道路的运行速度的处理方法及装置
KR102608126B1 (ko) 자율주행 차량의 센서 및 v2i 통신을 이용한 신호위반 객체 단속 장치 및 방법
CN116958915B (zh) 目标检测方法、装置、电子设备及存储介质