KR20200142716A - 주행 정보 제공 방법, 차량맵 제공 서버 및 방법 - Google Patents

주행 정보 제공 방법, 차량맵 제공 서버 및 방법 Download PDF

Info

Publication number
KR20200142716A
KR20200142716A KR1020190069873A KR20190069873A KR20200142716A KR 20200142716 A KR20200142716 A KR 20200142716A KR 1020190069873 A KR1020190069873 A KR 1020190069873A KR 20190069873 A KR20190069873 A KR 20190069873A KR 20200142716 A KR20200142716 A KR 20200142716A
Authority
KR
South Korea
Prior art keywords
vehicle
driving information
vehicles
surrounding
map
Prior art date
Application number
KR1020190069873A
Other languages
English (en)
Inventor
이성수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020190069873A priority Critical patent/KR20200142716A/ko
Priority to PCT/KR2020/002426 priority patent/WO2020171605A1/ko
Priority to CN202080015561.2A priority patent/CN113454692B9/zh
Publication of KR20200142716A publication Critical patent/KR20200142716A/ko
Priority to US17/394,819 priority patent/US20210364321A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Atmospheric Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 일 실시예에 따른 차량맵 제공 서버는, 복수의 차량 각각으로부터, 상기 차량에 대해 획득된 주행 정보 및 상기 차량의 주변 차량에 대해 산출된 주행 정보를 수신하는 통신부와, 상기 복수의 차량 및 상기 복수의 차량의 주변 차량에 대해 수신된 주행 정보를 차량 별로 취합해서 차량맵을 생성하는 차량맵 생성부와, 상기 생성된 차량맵으로부터, 상기 복수의 차량 각각에게 송신될 차량맵이 해당 차량의 경로 상에 있는 주변 차량에 대한 주행 정보를 포함하도록 추출하는 차량맵 추출부를 포함하며, 상기 차량맵 생성부는, 상기 복수의 차량 각각에서 촬영된 영상 내 상기 주변 차량에 대한 특징점 및 학습에 의해 생성된 차량 분류기 중 적어도 하나를 기초로 상기 수신된 주행 정보를 차량 별로 취합한다.

Description

주행 정보 제공 방법, 차량맵 제공 서버 및 방법 {METHOD FOR PROVIDING NAVIGATION INFORMATION, SERVER AND METHOD FOR PROVIDING VEHICLE MAP}
본 발명은 주행 정보 제공 방법, 차량맵 제공 서버 및 방법에 관한 것이다.
C-ITS(Cooperative-Intelligent Transport Systems)는 주행 중 운전자에게 주변 교통 상황과 급정거, 낙하물 등의 사고 위험 정보가 실시간으로 제공되도록 하는 시스템을 지칭한다.
C-ITS는 교통 사고를 미연에 방지하거나 획기적으로 줄이기 위한 목적을 갖는다. 이러한 목적 달성을 위해서는 주변 차량의 위치가 실시간으로 파악될 수 있어야 하며, 그 방법 중에 하나로는 차량-차량(V2V)과 차량-도로(인프라)(V2I) 간 지속적인 데이터 공유를 통해 주변 차량의 위치를 파악하는 것이 있다.
그런데, 이러한 방법에서는 V2V 또는 V2I 통신을 지원하지 않는 주변 차량의 위치가 파악되기 어렵다. 뿐만 아니라, 통신 지연이 발생할 경우 그 성능이 급격히 떨어질 수도 있다.
한국공개특허공보, 10-2017-0097435호 (2017.08.28. 공개)
본 발명의 해결하고자 하는 과제는, V2V 또는 V2I 통신을 지원하지 않는 주변 차량의 위치까지도 실시간으로 파악해서 차량에게 제공되도록 하고, 이를 통해 C-ITS와 같은 주행 보조 서비스가 보다 효과적으로 차량 내지 차량의 운전자에게 제공되도록 하는 것에 있다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따른 차량맵 제공 서버는, 복수의 차량 각각으로부터, 상기 차량에 대해 획득된 주행 정보 및 상기 차량의 주변 차량에 대해 산출된 주행 정보를 수신하는 통신부와, 상기 복수의 차량 및 상기 복수의 차량의 주변 차량에 대해 수신된 주행 정보를 차량 별로 취합해서 차량맵을 생성하는 차량맵 생성부와, 상기 생성된 차량맵으로부터, 상기 복수의 차량 각각에게 송신될 차량맵이 해당 차량의 경로 상에 있는 주변 차량에 대한 주행 정보를 포함하도록 추출하는 차량맵 추출부를 포함하며, 상기 차량맵 생성부는, 상기 복수의 차량 각각에서 촬영된 영상 내 상기 주변 차량에 대한 특징점 및 학습에 의해 생성된 차량 분류기 중 적어도 하나를 기초로 상기 수신된 주행 정보를 차량 별로 취합한다.또한, 상기 다항함수 계수를 획득하는 단계는, 상기 차선의 매칭 정보를 이용하여 상기 매칭된 차선을 상기 유효 차선으로 결정하는 단계; 및 상기 결정된 유효 차선을 상기 다항함수로 피팅하여, 상기 다항함수 계수를 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 차량맵 제공 방법은, 차량맵 제공 서버가 수행하는 차량맵 제공 방법으로서, 복수의 차량 각각으로부터, 상기 차량에 대해 획득된 주행 정보 및 상기 차량의 주변 차량에 대해 산출된 주행 정보를 수신하는 단계와, 상기 복수의 차량 각각에서 촬영된 영상 내 상기 주변 차량에 대한 특징점 및 학습에 의해 생성된 차량 분류기 중 적어도 하나를 기초로, 상기 복수의 차량 및 상기 복수의 차량의 주변 차량에 대해 수신된 주행 정보를 차량 별로 취합해서 차량맵을 생성하는 단계와, 상기 생성된 차량맵으로부터, 상기 복수의 차량 각각에게 송신될 차량맵이 해당 차량의 경로 상에 있는 주변 차량에 대한 주행 정보를 포함하도록 추출하는 단계를 포함한다.
일 실시예에 따른 주행 정보 제공 방법은, 주행 정보 제공 장치가 수행하는 주행 정보 제공 방법으로서, 자차에 대한 주행 정보를 획득하는 단계와, 상기 자차의 주변 차량을 감지하는 단계와, 상기 감지된 주변 차량에 대한 주행 정보를 산출하는 단계와, 복수의 차량 각각에 대한 주행 정보를 취합해서 차량맵을 생성하는 차량맵 제공 서버에게 상기 자차에 대한 주행 정보 및 상기 주변 차량에 대한 주행 정보 중 적어도 하나를 송신하는 단계와, 상기 자차의 경로 상에 있는 주변 차량에 대한 주행 정보를 포함하는 차량맵을 상기 차량맵 제공 서버로부터 수신하는 단계와, 상기 수신된 차량맵을 기초로 소정의 주행 보조 서비스를 제공하는 단계를 포함하고, 상기 주행 보조 서비스를 제공하는 단계는, 상기 자차 및 상기 주변 차량에 대하여 상기 차량맵을 기초로 예측되는 제 1 주행 정보를 상기 자차에 의해 추정되는 제 2 주행 정보에 따라 보정하는 단계를 포함한다.
본 발명의 실시예에 의하면, V2V 또는 V2I와 같은 기능을 지원하는 모듈을 탑재하고 있지 않은 차량이 있더라도, 이러한 차량에 대한 주행 정보를 포함하는 차량맵이 다른 차량이나 운전자에게 제공될 수 있다. 뿐만 아니라 자차에서 감지되지 못한 주변 차량에 대한 주행 정보를 포함하는 차량맵이 해당 차량에게 제공될 수도 있다. 따라서 주행 보조 서비스가 신속, 정확하면서도 능동적으로 각 차량에게 제공될 수 있다.
도 1은 일 실시예에 따른 주행 정보 제공 장치가 탑재된 차량 및 주행 정보 제공 장치가 탑재되지 않은 차량, 그리고 이러한 각 차량과 통신을 수행하는 차량맵 제공 서버에 대한 연결 관계를 개념적으로 도시하고 있다.
도 2는 일 실시예에 따른 주행 정보 제공 방법의 수행 절차에 대한 순서도이다.
도 3은 일 실시예에 따른 주행 정보 제공 장치의 구성도이다.
도 4는 일 실시예에서 차량에서 촬영된 주변 차량에 대한 예시 영상이다.
도 5는 일 실시예에 따른 차량맵 제공 방법의 수행 절차에 대한 순서도이다
도 6은 일 실시예에 따른 차량맵 제공 방법에 따라 제공 가능한 차량맵에 대한 예시이다.
도 7은 일 실시예에 따른 차량맵 제공 서버의 구성도이다.
도 8은 일 실시예에 따라 수행 가능한 주행 정보의 취합 과정이다.
도 9는 다른 실시예에 따라 수행 가능한 주행 정보의 취합 과정이다.
도 10은 도 9의 실시예에 따라 특징점이 추출된 차량 영역에 대한 예시 영상이다.
도 11은 도 9의 실시예에 따라 특징점이 매칭되는 것에 대한 예시 영상이다.
도 12는 또 다른 실시예에 따른 차량 분류기의 생성에 이용되는 학습 영상을 예시한 도면이다.
도 13은 도 12의 실시예에 따른 차량 분류기에 입력되는 입력 영상을 예시한 도면이다.
도 14은 일 실시예에 따라 수행 가능한 차량맵 생성 과정이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일 실시예에 따른 주행 정보 제공 장치(100)가 탑재된 차량(310, 320) 및 주행 정보 제공 장치(100)가 탑재되지 않은 차량(300), 그리고 이러한 각 차량 중 일부(310, 320)와 통신을 수행하는 차량맵 제공 서버(200)에 대한 연결 관계를 개념적으로 도시하고 있다. 다만, 도 1은 예시적인 것에 불과하므로, 본 발명의 사상이 도 1에 도시된 것으로 한정 해석되지는 않는다.
도 1을 참조하면, 3대의 차량의 도시되어 있다. 제2 차량(310)과 제3 차량(320)에는 각각 주행 정보 제공 장치(100)가 탑재되어 있으나 제1 차량(300)에는 주행 정보 제공 장치(100)가 탑재되어 있지 않다. 여기서 주행 정보 제공 장치(100)는 V2V 또는 V2I와 같은 통신 기능을 지원하는 모듈일 수 있다.
제2 차량(310)과 제3 차량(320)에서는 각각에 탑재되어 있는 주행 정보 제공 장치(100)에 의해 자차에 대한 주행 정보가 획득될 뿐 아니라 주변 차량에 대한 주행 정보가 산출된다. 여기서 주행 정보에는 해당 차량의 위치 정보, 자세각 정보, 이동 방향 정보, 속도 정보, 해당 차량의 분류자 및 해당 차량의 이러한 주행 정보에 대한 획득 시간 정보 중 적어도 하나가 포함될 수 있으나 이에 한정되는 것은 아니다.
이렇게 획득 또는 산출된 주행 정보는 차량맵 제공 서버(200)에게 송신된다. 예컨대 제1 차량(300)에 대한 주행 정보는 제2 차량(310) 또는 제3 차량(320)에 탑재되어 있는 주행 정보 제공 장치(100)에 의해 산출되어서 차량맵 제공 서버(200)에게 송신될 수 있다. 즉, 제1 차량(300) 스스로가 자차에 대한 주행 정보를 산출해서 차량맵 제공 서버(200)에게 송신할 수 없더라도, 제2 차량(310) 또는 제3 차량(320)이 이러한 제1 차량(300)에 대한 주행 정보를 산출해서 차량맵 제공 서버(200)에게 송신할 수 있다.
차량맵 제공 서버(200)는 이렇게 수신받은 주행 정보를 취합해서 차량맵을 생성한 뒤, 각각의 차량(310, 320)에게 송신한다. 예컨대 제2 차량(310)에게는 제3 차량(320)에 대한 주행 정보 뿐 아니라 제1 차량(300)에 대한 주행 정보를 포함하는 차량맵이 송신될 수 있다. 또한, 제3 차량(320)에게는 제2 차량(310)에 대한 주행 정보를 포함하는 차량맵이 송신될 수 있으며, 만약 제3 차량(320)이 제1 차량(300)을 감지할 수 없었다고 하더라도 제2 차량(310)이 감지한 제1 차량(300)에 대한 주행 정보까지도 포함하는 차량맵이 송신될 수 있다.
여기서 차량맵이란 자차 뿐 아니라 주변 차량에 대한 전술한 주행 정보를 지도 상에 표시하고 있는 지도 데이터를 의미한다. 이러한 차량맵을 통해서 주변 차량의 위치, 자세각, 이동 방향 또는 속도 등이 파악될 수 있으므로, 각각의 차량(310, 320)에서는 이를 이용한 ADAS의 다양한 주행 보조 서비스, 예컨대 Forward Collision Warning, Automatic Braking System, Blind Spot Detection 기능 등의 제공될 수 있다.
즉, 일 실시예에 따르면 V2V 또는 V2I와 같은 기능을 지원하는 모듈을 탑재하고 있지 않은 차량이 있더라도, 이러한 차량에 대한 주행 정보를 포함하는 차량맵이 다른 차량이나 운전자에게 제공될 수 있다. 뿐만 아니라 자차에서 감지되지 못한 주변 차량에 대한 주행 정보를 포함하는 차량맵이 해당 차량에게 제공될 수도 있다. 따라서 주행 보조 서비스가 신속, 정확하면서도 능동적으로 각 차량에게 제공될 수 있다.
이하에서는 이러한 기술적 사상을 제공하는 구체적인 기술에 대해 살펴보기로 한다.
도 2는 일 실시예에 따른 주행 정보 제공 방법의 수행 절차에 대한 순서도이고, 도 3은 도 2에 도시된 이러한 주행 정보 제공 방법을 수행하는 주행 정보 제공 장치(100)의 구성도이다. 여기서 도 2와 도 3은 예시적인 것에 불과하므로, 본 발명의 사상이 도 2와 도 3에 도시된 것으로 한정 해석되는 것은 아니다.
도 2를 참조하면, 주행 정보 제공 방법은 자차에 대한 주행 정보를 획득하는 단계(S100)와, 상기 자차의 주변 차량을 감지하는 단계(S110)와, 상기 감지된 주변 차량에 대한 주행 정보를 산출하는 단계(S120)와, 복수의 차량 각각에 대한 주행 정보를 취합해서 차량맵을 생성하는 차량맵 제공 서버에게 상기 자차에 대한 주행 정보 및 상기 주변 차량에 대한 주행 정보 중 적어도 하나를 송신하는 단계(S130)와, 상기 자차의 경로 상에 있는 주변 차량에 대한 주행 정보를 포함하는 차량맵을 상기 차량맵 제공 서버로부터 수신하는 단계(S140)와, 상기 수신된 차량맵을 기초로 소정의 주행 보조 서비스를 제공하는 단계(S150)를 포함하여 수행된다.
이를 위해 주행 정보 제공 장치(100)는 자차 주행 정보 획득부(120), 주변 차량 감지부(130), 주변 차량 주행 정보 산출부(140), 주행 보조 서비스 제공부(150) 및 통신부(110)를 포함한다. 이러한 주행 정보 제공 장치(100)의 각각의 구성은 프로세서에 의해 실행되는 소프트웨어 모듈이나 하드웨어 모듈 형태로 구현되거나 또는 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태로 구현될 수 있다.
이하에서는 도 1 내지 도 4를 참조하여, 주행 정보 제공 장치(100)의 각 구성 및 이에 의해 수행되는 작용 내지 효과에 대해 상세히 설명하기로 한다.
통신부(110)는 V2V 또는 V2I를 지원하는 무선 통신 모듈이다. 예컨대 통신부(110)는 CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, EPC, 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), WFD(Wi-Fi Direct), UWB(Ultra wideband), 적외선 통신(IrDA; Infrared Data Association), BLE (Bluetooth Low Energy) 또는 NFC(Near Field Communication)와 같은 통신 방법을 채택하여 무선 통신을 수행할 수 있는 무선 통신 모듈일 수 있다.
차량은 이러한 통신부(110)를 통해, 도로 상에 분산되어 설치되어 있는 복수 개의 V2I 기지국 중 적어도 하나에 접속한 뒤 차량맵 제공 서버(200)와 데이터를 송수신할 수 있다. 예컨대 통신부(110)에는 복수 개의 V2I 기지국 중 차량의 현재 위치와 가장 가까운 V2I 기지국에 접속하기 위한 알고리즘이 탑재되어 있다. 이러한 알고리즘을 기초로 통신부(110)가 소정의 V2I 기지국에 접속하면, 차량은 이러한 통신부(110)를 통해 접속된 V2I 기지국을 경유해서 차량맵 제공 서버(200)와 데이터를 송수신할 수 있다.
자차 주행 정보 획득부(120)는 자차에 대한 주행 정보를 획득하는 구성이다. 여기서 자차에 대한 주행 정보 중 위치와 자세각은 다양한 방법을 통해 획득 가능하다.
예컨대 자차에 대한 위치와 자세각은 GPS 위성으로부터 수신된 GPS 신호 또는 미리 주어진 정보 등을 이용하여 획득될 수 있다.
또는 자차에 대한 위치와 자세각은 정밀 지도의 랜드마크와 자차에서 촬영된 영상을 매칭시키는 방법을 통해 획득될 수도 있다. 여기서 정밀 지도의 랜드마크와 자차에서 촬영된 영상을 매칭시키는 방법이란, GPS 기반 자차의 초기 위치 정보에 대응되는 정밀 지도의 랜드마크를 상기 자차의 카메라에 의해 촬영된 영상에 매칭하여 상기 카메라의 초기 위치 정보를 획득하는 단계; 상기 카메라의 초기 위치 정보 및 상기 자차의 주행 정보를 기초로 샘플링된 복수의 후보 위치 정보 각각에 대응되는 상기 정밀 지도의 랜드마크와 상기 영상 간 매칭 오차에 기초하여 상기 카메라의 추정 위치 정보를 획득하는 단계; 및 상기 카메라의 추정 위치 정보를 기초로 상기 자차의 추정 위치 정보를 획득하는 단계를 포함하여서 수행될 수 있다.
또한, 자차에 대한 속도 정보는 CAN 데이터로서 획득 가능한 휠(wheel) 속도값을 이용하여서 획득될 수 있다.
또한, 자차에 대한 이동 방향 정보는 GPS 정보 등을 기초로 획득될 수 있다.
또한, 자차의 분류자는 사전에 차량맵 제공 서버(200)로부터 부여받은 자차 자신의 ID일 수 있다.
또한, 자차의 전술한 주행 정보에 대한 획득 시간 정보는 전술한 주행 정보 각각이 획득된 GPS 기준의 시각 정보를 지칭할 수 있다.
주변 차량 감지부(130)는 자차 주변에 위치해 있는 주변 차량을 감지하는 구성이다. 예컨대 주변 차량 감지부(130)는 자차 주변을 촬영하는 카메라 또는 자차 주변에서 주행 또는 정지해있는 차량을 감지하는 센서 등으로 구현 가능하다.
주변 차량 주행 정보 산출부(140)는 주변 차량 감지부(130)가 감지한 주변 차량에 대한 주행 정보를 산출하는 구성이다. 이 중 먼저 주변 차량의 위치 정보를 산출하는 방법에 대해 먼저 살펴보기로 한다. 이를 위해서는 주변 차량 감지부(130)에 의해 촬영된 주변 차량에 대한 영상이 확보될 필요가 있다.
주변 차량 주행 정보 산출부(140)는, 이렇게 확보된 영상에서 주변 차량이 지면 상에 위치해 있는 위치 정보, 즉 픽셀의 좌표값을 획득한다. 여기서 획득되는 픽셀의 좌표값이란, 영상에서 주변 차량이 검출된 영역을 소정의 바운딩 박스로 경계지었을 때 이러한 경계 중 지면과 맞닿는 픽셀의 좌표값을 지칭하며, 이는 도 4에 예시적으로 도시되어 있다. 만약 주변 차량이 자차로부터 상대적으로 멀리 이격되어 있다면 해당 픽셀값은 영상에서의 소실점에 상대적으로 가깝게 표시될 것이고 주변 차량이 자차로부터 상대적으로 가깝게 이격되어 있다면 해당 픽셀값은 영상에서의 소실점으로부터 상대적으로 멀리 이격되어 표시될 것이다. 즉, 해당 픽셀값은 주변 차량과 자차 간의 이격 거리와 소정의 상관 관계를 갖는다. 따라서 자차와 주변 차량 간의 이격 거리는 이러한 상관 관계를 이용하는 알고리즘을 기초로 산출될 수 있다.
다음으로, 주변 차량 주행 정보 산출부(140)는. 다음의 수학식 1을 이용해서, 주변 차량 감지부(130)에 의해 촬영된 주변 차량에 대한 영상을 자차에 장착된 카메라가 전방을 바라봤을 때의 좌표값의 형식으로 변환한다.
Figure pat00001
여기서, K는 자차에 장착된 카메라의 내부 파라미터에 관한 3x3 행렬을 의미하며, R은 자차에서 촬영된 영상의 특정 픽셀 값 m을 카메라가 전방을 바라봤을 때의 좌표계로 변환해 주는 회전 행렬을 의미하며, mnew는 자차에 장착된 카메라가 전방을 바라봤을 때로 변환된 좌표값을 의미한다. 본 발명에서 m은 전술한 것과 같이 확보된 영상에서, 주변 차량이 지면 상에 위치해 있는 위치 정보, 즉 픽셀의 좌표값이 될 수 있다. 또한 R은 카메라를 자차에 장착할 당시 계산되는 차량 좌표계 기준 회전 행렬을 이용하거나, 카메라 기반 ADAS에서 제공되는 지면 기준 카메라 자세각 관련 회전 행렬을 이용함으로써 그 값이 정해질 수 있다.
다음으로 주변 차량 주행 정보 산출부(140)는 자차의 종축(진행) 방향과 주변 차랑 간의 회전 각도 θ를 다음의 수학식 2을 이용하여 산출한다.
Figure pat00002
여기서 HFOV는 카메라 수평 화각을 의미하며, unew는 수학식 1의 mnew의 x축 좌표 값을 의미하며, cx는 카메라 주점(principal point)을 의미하며, image_width는 영상의 가로 해상도를 의미한다.
다음으로 주변 차량 주행 정보 산출부(140)는 주변 차량의 위치[xa, ya]를 아래의 수학식 3을 이용하여 산출한다.
Figure pat00003
여기서 [xs, ys, θs]는 자차 주행 정보 획득부(120)가 획득한 자차의 위치와 자세각을 나타내며, 주변 차량 주행 정보 산출부(140)가 산출한 자차와 주변 차량 간의 이격 거리를 의미한다. θ는 수학식 2에서 산출된 자차의 종축 방향과 검출된 차량 위치 간의 회전 각도를 의미하며, [xa, ya]는 영상에서 검출된 주변 차량의 위치를 나타낸다. 따라서, 영상에서 검출된 주변 차량의 자세각은 θ+θs가 된다.
다음으로, 주변 차량 주행 정보 산출부(140)는 영상에서 검출된 주변 차량의 이동 방향 정보를 아래의 수학식 4를 이용하여 산출한다.
Figure pat00004
여기서, [xa,t1, ya,t1], [xa,t2, ya,t2]는 각각 시간 t1과 시간 t2에서 수학식 3을 이용하여 산출된 주변 차량의 위치를 나타내며, θa는 주변 차량의 이동 방향을 나타낸다. 만일, 주변 차량이 정지해 있는 경우, [xa,t1:t2, ya,t1:t2] 값은 0이거나 영상 인식 오차로 인해 0에 가까운 값을 가지게 되는데, 이러한 경우, θa는 이전에 계산된 값이 있으면 이전 값을 그대로 이용하거나 자차의 방향과 같은 θs 값을 가지게 된다.
다음으로, 주변 차량 주행 정보 산출부(140)는 영상에서 검출된 주변 차량의 속도 정보를 아래의 수학식 5를 이용하여 산출한다.
Figure pat00005
여기서, d는 시간 t1과 t2 사이에서 수학식 4를 이용하여 산출된 이동 거리를 나타내며, v는 주변 차량의 이동 속도를 나타낸다.
한편, 주변 차량 주행 정보 산출부(140)는 주변 차량의 분류자에 대한 정보를 획득해서 해당 주변 차량 및 해당 주변 차량에 대한 주행 정보에 부여한다. 획득 방법으로는 주변 차량 감지부(130)에 의해 촬영된 주변 차량에 대한 영상으로부터 해당 주변 차량에 대한 차량 번호를 인식하는 방법이 있다. 다만 만약 영상으로부터 차량 번호가 인식되지 않는다면, 해당 주행 정보 및 해당 주변 차량에 대해서는 분류자가 부여되지 않을 수도 있다.
주행 보조 서비스 제공부(150)는 통신부(110)를 통해 수신받은 차량맵을 기초로 소정의 주행 보조 서비스를 제공한다. 예컨대 주행 보조 서비스 제공부(150)는 ADAS의 다양한 주행 보조 서비스, 예컨대 Forward Collision Warning, Automatic Braking System, Blind Spot Detection 기능 등을 제공할 수 있다.
이를 위해 주행 보조 서비스 제공부(150)는 차량맵이 포함하는 주변 차량에 대한 주행 정보를 이용하여서, 현재 시간을 기준으로 주변 차량에 대한 주행 정보를 예측하여 제공할 수 있다. 여기서 '예측'이라고 한 이유는, 차량맵에 포함된 주행 정보는 복수의 차량 각각이 현재 시간보다 이전의 시간 대에 획득 내지 산출한 주행 정보라는 것에서 연유한다. 즉, 현재 시간에서의 주행 정보는, 이전의 시간 대에 획득 내지 산출한 주행 정보 등에 대한 추이를 기초로 ‘예측’될 수 밖에 없기 때문이다. 주행 보조 서비스 제공부(150)는 아래의 수학식 6을 이용하여서 현재 시간을 기준으로 주변 차량에 대한 주행 정보를 예측할 수 있다.
Figure pat00006
여기서, (xa,t2, ya,t2)는 현재 시간(t2)을 기준으로 예측된 주변 차량에 대한 위치이고, t1은 각 차량에서 주행 정보가 획득된 획득 내지 산출된 시간을 나타낸다.
한편, 주행 보조 서비스 제공부(150)는 소정의 조건이 만족할 경우에만 전술한 주행 보조 서비스를 제공할 수 있다. 예컨대 주행 보조 서비스 제공부(150)는 차량맵이 포함하는 자차에 대한 주행 정보를 이용하여서, 현재 시간을 기준으로 자차에 대한 주행 정보를 예측한 뒤, 이렇게 예측된 주행 정보와 자차에 대한 실제 주행 정보의 차이가 임계치 미만인 경우에만 전술한 주행 보조 서비스가 제공되도록 할 수 있다. 이를 통해 차량맵에 대한 유효성이 검증될 수 있다.
다음으로 차량맵 제공 서버(200)에 대해 살펴보기로 한다.
도 5는 일 실시예에 따른 차량맵 제공 방법의 수행 절차에 대한 순서도이고, 도 7은 도 5에 도시된 차량맵 제공 방법을 수행하는 차량맵 제공 서버(200)의 구성도이다. 여기서 도 5와 도 7은 예시적인 것에 불과하므로, 본 발명의 사상이 도 5와 도 7에 도시된 것으로 한정 해석되는 것은 아니다.
도 5를 참조하면, 차량맵 제공 방법은 복수의 차량 각각으로부터, 상기 차량에 대해 획득된 주행 정보 및 상기 차량의 주변 차량에 대해 산출된 주행 정보를 수신하는 단계(S200)와, 상기 복수의 차량에 대해 수신된 주행 정보 및 상기 복수의 차량의 주변 차량에 대해 수신된 주행 정보를 차량 별로 취합해서 차량맵을 생성하는 단계(S210)와, 상기 생성된 차량맵으로부터, 상기 복수의 차량 각각에게 송신될 차량맵이 해당 차량의 경로를 포함하도록 추출하는 단계(S230)와, 상기 추출된 각각의 차량맵을 해당 차량에게 송신하는 단계(S240)를 포함하여 수행된다.
여기서 차량맵이란 자차 뿐 아니라 주변 차량에 대한 전술한 주행 정보를 지도 상에 표시하고 있는 지도 데이터를 의미하며, 도 6에 예시적으로 도시되어 있다. 이러한 차량맵을 통해서 주변 차량의 위치, 자세각, 이동 방향 또는 속도 등이 파악될 수 있으므로, 각각의 차량(310, 320)에서는 이를 이용한 ADAS의 다양한 주행 보조 서비스, 예컨대 Forward Collision Warning, Automatic Braking System, Blind Spot Detection 기능 등의 제공될 수 있다.
이를 위해 차량맵 제공 서버(200)는 통신부(210), 차량맵 생성부(220) 및 차량맵 추출부(230)를 구성으로서 포함한다. 이러한 차량맵 제공 서버(200) 각각의 구성은 프로세서에 의해 실행되는 소프트웨어 모듈이나 하드웨어 모듈 형태로 구현되거나 또는 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태로 구현될 수 있다.
이하에서는 도 5 내지 도 9를 참조하여, 차량맵 제공 서버(200)의 각 구성 및 이에 의해 수행되는 작용 내지 효과에 대해 상세히 설명하기로 한다.
통신부(210)는 무선 통신 모듈이다. 예컨대 통신부(110)는 CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, EPC, 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), WFD(Wi-Fi Direct), UWB(Ultra wideband), 적외선 통신(IrDA; Infrared Data Association), BLE (Bluetooth Low Energy) 또는 NFC(Near Field Communication)와 같은 통신 방법을 채택하여 무선 통신을 수행할 수 있는 무선 통신 모듈일 수 있다.
차량맵 제공 서버(200)는 이러한 통신부(210)를 통해, 도로 상에 분산되어 설치되어 있는 복수 개의 V2I 기지국 중 어느 하나를 경유해서 차량과 데이터를 송수신할 수 있다. 예컨대 차량이 복수 개의 V2I 기지국 중 자신의 현재 위치와 가까운 V2I 기지국에 접속하면, 차량맵 제공 서버(200)는 이러한 통신부(210)를 통해서 차량이 접속한 V2I 기지국을 통해 차량 내지 차량에 탑재된 주행 정보 제공 장치(100)와 데이터를 송수신할 수 있다.
이러한 통신부(210)를 통해서 차량맵 제공 서버(200)는 복수의 차량에 대한 주행 정보를 수신한다. 이 때 수신되는 주행 정보에는 주행 정보를 송신한 차량에 대한 것 뿐 아니라 주행 정보를 송신한 차량의 주변 차량에 대한 것 또한 포함될 수 있다. 아울러, 수신되는 주행 정보에는 해당 차량의 위치 정보, 자세각 정보, 이동 방향 정보, 속도 정보, 해당 차량의 분류자 및 해당 차량의 이러한 주행 정보에 대한 획득 시간 정보 중 적어도 하나가 포함될 수 있으나 이에 한정되는 것은 아니다.
차량맵 생성부(220)는 통신부(210)를 통해 수신된 전술한 주행 정보를 차량 별로 취합한다. 취합 과정에 대해서는 도 8을 참조하여 살펴보기로 한다.
도 8을 참조하면, 차량맵 생성부(220)는 통신부(210)를 통해 수신된 주행 정보에 분류자가 포함되어 있는지를 판별한다(S211). 분류자에는 차량의 ID 또는 차량 번호 등이 포함될 수 있다. 경우에 따라 수신된 주행 정보에는 분류자가 포함되어 있지 않을 수도 있다. 예컨대 자차가 주변 차량의 차량 번호를 인식하지 못한 경우 등이 그러한 경우에 해당할 수 있다.
판별 결과, 수신된 주행 정보에 분류자가 포함되어 있으면, 차량맵 생성부(220)는 분류자를 기준으로 주행 정보를 차량 별로 취합한다(S212). 이에 따르면, 예컨대 제1 차량에 대해 수신된 주행 정보끼리, 제2 차량에 대해 수신된 주행 정보끼리 취합될 수 있다.
그러나 판별 결과 수신된 주행 정보에 분류자가 포함되어 있지 않으면, 일 실시예에 따른 차량맵 생성부(220)는 차량의 위치 정보와 자세각 정보를 기준으로 주행 정보를 차량 별로 취합할 수 있다(S213). 단계 S213에 대해서는 이하에서 보다 자세하게 살펴보기로 한다.
먼저 차량맵 생성부(220)는 분류자를 포함하고 있지 않은 주행 정보로부터 차량의 위치 정보와 자세각 정보를 추출한다. 이 후 차량맵 생성부(220)는, 이렇게 추출된 위치 정보와 자세각 정보를, 그 전에 취합이 완료된, 즉 분류자를 갖고 있는 각 차량에 대한 최신 위치 정보 및 자세각 정보 각각과 비교하여서 오차를 각각 도출한다. 차량맵 생성부(220)는 도출된 오차가 최소이거나 또는 임계치 이하인 위치 정보와 자세 정보를 갖는 차량에 대한 분류자를 추출한다. 차량맵 생성부(220)는 이렇게 추출된 분류자를, 전술한 분류자를 포함하고 있지 않은 주행 정보에 대한 분류자라고 가정한 뒤 취합을 수행한다.
여기서, 전술한 오차를 도출하는 과정에서는, 차량의 위치 정보와 자세각 정보에 대한 오차를 가우시안 확률분포(평균 및 공분산)로서 모델링해서 Mahalanobis Distance 계산(아래의 수학식 7)을 이용하는 방법이 적용될 수 있다.
Figure pat00007
여기서, P1과 P2는 오차 도출의 대상이 되는 두 대의 차량의 위치/방향을 나타내며, C1과 C2는 P1과 P2에 대응되는 공분산(covariance matrix)을 나타낸다. Mahalanobis Distance 인 Dm 값이 임계치 이하이면 중복된 걸로 판단한다.
또한, 다른 실시예에 따른 차량맵 생성부(220)는 주변 차량 감지부(130)에 의해 촬영된 주변 차량에 대한 영상으로부터 특징점을 추출하고, 특징점을 기초로 차량간 매칭을 수행한 후, 주행 정보를 차량 별로 취합할 수 있다. 이하에서는 다른 실시예에 따른 차량맵 생성부(220)에 의해 수행되는 주행 정보 취합 방법을 설명한다.
도 9를 참조하면, 차량맵 생성부(220)는 먼저 주변 차량 감지부(130)에 의해 촬영된 주변 차량에 대한 영상으로부터 검출된 차량 영역의 특징점을 추출하고, 이에 대응되는 서술자를 생성할 수 있다. 구체적으로, 차량맵 생성부(220)는 주변 차량 감지부(130)에 의해 촬영된 주변 영상으로부터 각 차량에 대한 차량 영역을 검출할 수 있다. 여기서, 차량 영역은 도 4의 바운딩 박스를 의미할 수 있다.
차량 영역의 검출 후, 차량맵 생성부(220)는 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features), ORB(Oriented FAST and Rotated BRIEF) 방법 등을 이용하여 주변 차량 감지부(130)에 의해 촬영된 주변 영상 내 차량 영역으로부터 각 차량에 대해 특징점을 추출할 수 있다. 도 10은 차량맵 생성부(220)에 의해 차량 영역으로부터 추출된 특징점을 예시한다. 그 다음, 차량맵 생성부(220)는 특징점 주변의 영상 정보를 이용하여 서술자(Descriptor)를 생성할 수 있다.
서술자가 생성되면, 차량맵 생성부(220)는 추출된 특징점 및 서술자를 이용하여 특정 차량과 나머지 차량 간 매칭을 수행할 수 있다. 도 11은 차량맵 생성부(220)에 의해 수행된 특징점 및 서술자에 기초한 매칭 결과를 예시한다.
그 다음, 차량맵 생성부(220)는 RANSAC 기반 Affine Transformation을 이용하여 유효한 매칭 결과를 획득할 수 있다. 매칭 결과에는 노이즈가 존재할 수 있기 때문에, 차량맵 생성부(220)는 RANSAC 기반 Affine Transformation을 이용하여 매칭 결과의 유효성을 판단할 수 있다.
특징점의 픽셀 좌표 (x,y)가 Affine Transformation에 의해 변환된 좌표 (u,v)는 수학식 8과 같다.
Figure pat00008
여기서, m1, m2, m3, m4, tx, ty는 Affine Transformation 파라미터를 의미할 수 있다. Affine Transformation 파라미터를 구하기 위해, 차량맵 생성부(220)는 수학식 8을 AX=B와 같은 형태로 변환할 수 있다. 구체적으로, 차량맵 생성부(220)는 수학식 8을 수학식 9로 변환하여 Affine Transformation 파라미터를 구할 수 있다.
Figure pat00009
수학식 9에 의해 모든 특징점에 대한 Affine Transformation 파라미터가 획득되면, 차량맵 생성부(220)는 픽셀 좌표의 오차가 임계치 이하인 특징점에 대하여 유효한 매칭으로 판단한 후, 유효한 특징점 개수를 확인할 수 있다.
이 후, 차량맵 생성부(220)는 미리 정해진 횟수만큼 상술한 매칭 과정을 반복 수행한 후, 유효한 특징점 개수가 가장 많을 때의 m1, m2, m3, m4, tx, ty를 Affine Transformation 파라미터로 결정할 수 있다.
이 때, 특징점 간 매칭 결과 내 1:N, 즉 일대다(一對多) 매칭 결과가 존재하지 않는 경우, 차량맵 생성부(220)는 차량 간 거리가 임계치 이하이면, 동일 차량으로 판단할 수 있다. 구체적으로, 차량맵 생성부(220)는 차량의 특징점 간 거리가 임계치 이하이면, 동일 차량으로 판단할 수 있다.
반면, 특징점 간 매칭 결과 내 일대다 매칭 결과가 존재하는 경우, 차량맵 생성부(220)는 차량 간 거리가 임계치 이하이면서, 유효한 특징점 매칭 개수가 가장 많거나, 차량 간 거리가 가장 작은 것을 동일 차량으로 판단할 수 있다. 구체적으로, 차량맵 생성부(220)는 차량의 특징점 간 거리가 임계치 이하이면서, 유효한 특징점 매칭 개수가 가장 많거나, 차량 간 거리가 가장 작은 것을 동일 차량으로 판단할 수 있다.
상술한 방법에 따라 동일 차량 여부가 판단되면, 차량맵 생성부(220)는 주행 정보를 차량 별로 취합할 수 있다.
또한, 또 다른 실시예에 따른 차량맵 생성부(220)는 딥러닝과 같은 기계 학습을 통해 생성된 차량 분류기 이용하여 주행 정보를 차량 별로 취합할 수 있다. 이하에서는 또 다른 실시예에 따른 차량맵 생성부(220)에 의해 수행되는 주행 정보 취합 방법을 설명한다.
차량 별로 주행 정보를 취합하기에 앞서, 차량 분류기는 차량맵 제공 서버(200)에 의해 생성되어, 미리 저장될 수 있다. 이를 위해, 차량맵 제공 서버(200)는 먼저 복수의 차량 모델 각각에 대하여 도 12와 같이 다양한 크기의 학습 영상을 생성할 수 있다.
이와 같이, 하나의 차량 모델에 대해 다양한 크기의 학습 영상을 생성하는 것은 다양한 거리에서 차량 모델을 인식할 수 있는 차량 분류기를 생성하기 위함이다. 이를 통해, 특정 크기의 학습 영상만을 학습하여 생성된 인공 신경망에 비해, 차량 모델에 대한 인식률이 높은 인공 신경망을 생성할 수 있다.
이 때, 차량맵 제공 서버(200)는 차량 모델의 인식 가능 거리를 기초로 크기를 달리하여 복수의 학습 영상을 생성할 수 있다. 일반적으로, 차량에 마련된 카메라가 차량의 전방을 향할 때, 카메라에 의해 획득되는 영상 내 차량의 크기는 카메라로부터의 거리에 따라 결정될 수 있다. 이를 기초로, 일 실시예에 따른 차량맵 제공 서버(200)는 최소 인식 거리 및 최대 인식 거리를 결정하고, 최소 인식 거리와 최대 인식 거리 각각에서의 영상 내 차량 모델 별 크기를 결정할 수 있다. 이 후, 일 실시예에 따른 차량맵 제공 서버(200)는 최소 인식 거리 및 최대 인식 거리 사이를 임의의 구간으로 분할하고, 분할된 각각의 구간에 대응되는 학습 영상을 생성할 수 있다.
그 다음, 차량맵 제공 서버(200)는 복수의 차량 모델 각각에 대하여 생성된 다양한 크기의 학습 영상을 하나의 입력으로 하여, 인공 신경망을 학습시킬 수 있다. 일 실시예에 따른 차량맵 제공 서버(200)는 각각의 차량 모델에 대한 다양한 크기의 학습 영상을 하나의 입력 데이터로서 학습함으로써 차량 분류기를 생성할 수 있고, 이렇게 생성된 차량 분류기는 신경망 기반의 모델일 수 있다. 신경망 기반의 차량 분류기는 분류기는 CNN(Convolution Neural Network), DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델로 구현될 수 있다.
일 실시예에 따른 차량 분류기는 학습 영상이 입력되는 입력층, 입력된 학습 영상에 대응되는 차량 모델이 출력되는 출력층, 및 입력층과 출력층 사이에 마련되는 복수의 은닉층으로 구성될 수 있다. 출력층은 복수의 은닉층 중 가장 마지막 은닉층과 완전 연결 네트워크(Fully Connected Network)를 형성할 수 있다. 이 때, 인공 신경망의 출력층은 N개의 차량 모델에 대한 노드로 구성되고, 각각의 노드는 차량 모델을 의미할 수 있다.
만약, 차량 분류기가 CNN 모델로 구현되는 경우, 복수의 은닉층은 복수의 컨볼루션층(Convolution Layer)과 서브 샘플링층(Subsampling Layer)로 구성될 수 있다. 컨볼루션층은 입력되는 객체 이미지에 다양한 컨볼루션 커널(Convolution Kunnel)을 적용하여, 학습 영상에 대한 특징화 벡터를 획득할 수 있다. 이처럼, 컨볼루션은 고차원의 학습 영상에 대해서 특징을 추출하는 일종의 템플릿과 같은 역할을 수행할 수 있다. 서브 샘플링층은 획득된 특징화 벡터의 차원을 축소하는 뉴런층으로서, 컨볼루션 층에 의해 생성된 특징화 벡터에 대한 공간적 해상도를 낮출 수 있다. 이와 같은 과정을 통해, 차량 분류기는 문제의 복잡도를 줄일 수 있다. 은닉층에는 컨볼루션 층과 서브 샘플링 층은 반복하여 배치됨으로써 상술한 과정이 반복 수행될 수 있다.
차량맵 제공 서버(200)는 출력과 정답 간의 오차를 최소화 하는 방향으로 Back Propagation을 이용하여 인공 신경망의 파라미터를 재조정하고, 출력이 정답에 수렴할 때까지 상술한 입력을 이용하여 인공 신경망을 반복 학습 시킬 수 있다. 일 실시예에 따른 차량맵 제공 서버(200)는 지도 학습(Supervised Learning)에 따라, 차량 분류기를 생성할 수 있다. 지도 학습이란 입력과 이에 대응되는 레이블로 구성되는 학습 데이터를 학습하는 기계 학습 방법을 의미하며, 레이블은 학습 데이터 중 입력에 대한 정답을 의미할 수 있다.
지도 학습 방법을 따를 때, 차량맵 제공 서버(200)는 복수의 학습 영상을 입력으로 하고, 해당 학습 영상 내 차량의 모델을 초기 레이블로 대응시킨 학습 데이터를 학습함으로써 차량 분류기를 생성할 수 있다. 구체적으로, 차량맵 제공 서버(200)는 입력인 학습 영상과 정답인 차량의 모델 사이의 관계를 학습함으로써, 입력되는 학습 영상을 차량의 모델에 따라 분류할 수 있다.
이와는 달리, 차량맵 제공 서버(200)는 학습 영상에 차량의 모델이 레이블 된 일부 학습 데이터와 레이블 되지 않은 학습 영상으로 이루어진 나머지 학습 데이터를 함께 이용하여 학습하는 반지도 학습(Semisupervised Learning)에 의해 차량 분류기를 생성할 수도 있다. 또는, 차량맵 제공 서버(200) 학습 결과가 올바른지에 대한 피드백을 이용하는 강화 학습(Reinforcement Learning)에 따라 차량 분류기를 생성할 수도 있다.
이와는 달리, 차량맵 생성부(220)는 외부 장치로부터 상술한 차량 분류기를 제공받을 수도 있다.
차량 분류기가 생성 또는 제공되면, 차량맵 생성부(220)는 주변 차량 감지부(130)에 의해 촬영된 주변 영상으로부터 각 차량에 대한 차량 영역을 검출할 수 있다. 여기서, 차량 영역은 도 4의 바운딩 박스를 의미할 수 있다.
그 다음, 차량맵 생성부(220)는 검출된 차량 영역을 차량 분류기에 대한 학습에 이용됐던 학습 영상의 다양한 크기로 변경할 수 있다. 도 13의 (a)는 주변 영상으로부터 각 차량에 대한 차량 영역 검출 결과를 예시하며, 도 13의 (b)는 도 13의 (a)에서 검출된 어느 하나의 차량 영역의 크기를 서로 다르게 변경한 것을 예시한다.
차량 영역의 크기를 다양하게 변경한 후, 차량맵 생성부(220)는 변경된 서로 다른 크기의 복수의 차량 영역을 하나의 입력으로서 차량 분류기에 입력하고, 차량 분류기로부터 출력되는 결과를 기초로 차량의 모델을 판단할 수 있다. 차량 분류기는 각각의 차량 모델에 대해 0~1의 신뢰도를 출력할 수 있고, 차량맵 생성부(220)는 가장 높은 신뢰도를 갖는 차량 모델을 선택하되, 신뢰도가 임계치 이상인 경우 유효하다고 판단할 수 있다.
이 때, 동일 차량 모델이 다수 존재하는 경우, 차량맵 생성부(220)는 수학식 7을 이용하여 Mahalanobis Distance를 계산한 후, Mahanobis Distance가 가장 작은 차량을 동일 차량으로 판단할 수 있다.
상술한 방법에 따라 동일 차량 여부가 판단되면, 차량맵 생성부(220)는 주행 정보를 차량 별로 취합할 수 있다.
차량맵 생성부(220)는 취합된 주행 정보를 기초로 차량맵을 생성한다. 이 때 차량맵 생성부(220)는 업데이트가 지연된 주행 정보는 제거한 뒤에 차량맵을 생성할 수 있는데, 이에 대해서는 도 9를 참조하여 살펴보기로 한다.
도 8의 방법에 의해 차량 별로 주행 정보가 취합된 후, 차량맵 생성부(220)는 차량맵을 생성하려고 하는 시점에 각 차량 별로 주행 정보가 업데이트된 시점 또는 가장 마지막으로 주행 정보가 수신된 시점으로부터 얼마만큼의 시간이 경과하였는지를 조사한다(S214). 만약 경과된 시간이 임계치를 초과하였다면, 즉 업데이트가 지연된 주행 정보가 존재한다면, 차량맵 생성부(220)는 이러한 주행 정보는 제거시키고 나서(S215), 차량맵을 생성한다(S216).
여기서 업데이트가 지연된 주행 정보가 존재하는지는 다양한 방법으로 판단될 수 있다. 예컨대 해당 차량의 속도와 업데이트되지 않은 채로 경과된 시간의 곱, 즉, 업데이트되지 않은 채로 해당 차량이 이동한 거리가 소정의 임계치 이상이라면 업데이트가 지연된 주행 정보라고 판단될 수 있다. 또는 해당 차량의 속도가 0인 경우에는 업데이트되지 않은 채로 경과된 시간이 소정의 임계치 이상이라면 업데이트가 지연된 주행 정보라고 판단될 수 있다. 다만, 이렇게 업데이트가 지연된 주행 정보가 존재하는지를 판단하는 것은 예시에 불과하다.
차량맵 추출부(230)는 차량맵 생성부(220)가 생성한 차량맵으로부터 복수 개의 차량 각각에게 송신될 차량맵을 추출한다. 이렇게 추출된 차량맵은 해당 차량에게 통신부(210)를 통해 송신될 수 있다. 이 때 복수 개의 차량 각각에게 송신될 차량맵이란, 해당 차량에 대한 주행 정보 또는 해당 차량의 경로 상에 있는 주변 차량에 대한 주행 정보를 포함하는 차량맵을 지칭할 수 있다.
즉, 일 실시예에 따르면 V2V 또는 V2I와 같은 기능을 지원하는 모듈을 탑재하고 있지 않은 차량이 있더라도, 이러한 차량에 대한 주행 정보를 포함하는 차량맵이 다른 차량이나 운전자에게 제공될 수 있다. 뿐만 아니라 자차에서 감지되지 못한 주변 차량에 대한 주행 정보를 포함하는 차량맵이 해당 차량에게 제공될 수도 있다. 따라서 주행 보조 서비스가 신속, 정확하면서도 능동적으로 각 차량에게 제공될 수 있다.
이렇게 생성된 차량맵을 수신한 차량의 주행 정보 제공 장치(100)는 상술한 바와 같이 자차 및 주변 차량에 대한 주행 정보를 예측할 수 있다. 구체적으로, 주행 정보 제공 장치(100)의 주행 보조 서비스 제공부(150)는 차량맵 제공 서버(200)로부터 수신된 차량맵을 기초로 자차 및 주변 차량에 대한 주행 정보를 예측할 수 있다.
또한, 자차 및 주변 차량에 대하여 예측된 주행 정보와 자차에 의해 추정된 주행 정보의 차이가 임계치 이상인 경우, 주행 보조 서비스 제공부(150)는 예측된 주행 정보와 실제 주행 정보 간 매칭을 통해 예측된 주행 정보를 보정할 수 있다. 여기서, 자차에 의해 추정된 주행 정보는 자차 주행 정보 획득부(120) 및 주변 차량 주행 정보 산출부(140)에 의해 획득된 주행 정보를 의미할 수 있다.
주행 보조 서비스 제공부는 차량맵 제공 서버(200)에서 수행되는 방법과 동일하게, 차량 번호 인식 결과 또는 차량 영역 내 영상 특징점과 서술자 추출 및 매칭을 통해 주변 차량 간 매칭을 수행할 수 있다. 매칭이 수행된 후, 주행 보조 서비스 제공부(150)는 자차 포함 주변 차량에 대한 매칭 오차를 획득할 수 있고, 매칭 오차의 평균을 이용하여 예측된 주행 정보를 보정할 수 있다. 구체적으로, 주행 보조 서비스 제공부(150)는 예측된 주행 정보를 수학식 10에 따라 보정할 수 있다.
Figure pat00010
여기서, n개의 대응되는 차량이 주어졌을 때, xi@vehicle과 yi@vehicle은 자차에 의해 추정되는 차량의 위치 좌표를 의미하며, xi@server과 yi@server은 차량맵 제공 서버(200)에 의해 제공된 차량맵으로부터 예측되는 차량의 위치 좌표를 의미할 수 있x와 y는 예측된 차량 위치를 보정하기 위한 값을 의미하고, 주행 보조 서비스 제공부(150)는 xi@server+x와 yi@server+y로 예측된 차량 위치를 보정할 수 있다.
이 때, 수학식 8에 따른 보정 결과와 자차에 의해 추정되는 주행 정보 사이의 오차가 임계치 이하이면, 주행 보조 서비스 제공부(150)는 주변 차량 위치 예측이 가능한 상황이라 판단한다.
한편, 차량맵에 의해 예측되는 주변 차량의 주행 정보와 자차에 의해 추정된 주변 차량의 주행 정보 간 중복 데이터가 발생하는 경우, 일 실시예에 따른 주행 보조 서비스 제공부(150)는 주변 차량의 주행 정보에 대한 공분산 오차를 이용하여 주변 차량의 주행 정보를 선택할 수 있다.
구체적으로, 주행 보조 서비스 제공부(150)는 수학식 7에 따라 주변 차량의 절대 위치/방향에 대한 추정 오차를 나타내는 공분산을 예측할 수 있다. 여기서, 주변 차량의 절대 위치/방향 [xa, ya, θa]에 대한 공분산은 3x3 행렬 형태일 수 있다.
이 때, 대각 성분 중 위치에 대한 분산을 Cxs, Cys라고 하면, 주행 보조 서비스 제공부(150)는 차량맵을 기초로 예측되는 주변 차량의 위치에 대한 (Cxs + Cys)과 자차에 의해 추정된 주변 차량 위치에 대한 (Cxs + Cys) 값 중 작은 값을 주변 차량의 위치로서 선택할 수 있다.
이와는 달리, 중복 데이터가 발생하는 경우, 다른 실시예에 따른 주행 보조 서비스 제공부(150)는 자차에 의해 추정되는 주변 차량의 주행 정보와 차량맵을 기초로 예측되는 주변 차량의 주행 정보에 칼만 필터를 적용하여 주변 차량의 주행 정보를 선택할 수 있다. 구체적으로, 주행 보조 서비스 제공부(150)는 수학식 11에 따라 주변 차량의 위치/방향 Pestimated를 구할 수 있다.
Figure pat00011
여기서, Ps는 차량맵을 기초로 예측되는 주변 차량의 위치/방향을 의미하고, 와 Pv는 자차에 의해 추정한 주변 차량 위치/방향을 의미하며, Cs와 Cv는 각각 Ps와 Pv에 대한 공분산 행렬을 의미할 수 있다.
한편, 일 실시예에 따른 주행 정보 제공 방법 및 차량맵 제공 방법 각각은 이러한 방법의 각 단계를 수행하도록 프로그램된 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램의 형태로 구현 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
일 실시예에 따르면, 상술한 주행 정보 제공 방법, 차량맵 제공 서버 및 방법은 댁내 또는 산업 현장 등 다양한 분야에서 이용될 수 있으므로 산업상 이용 가능성이 있다
100 : 주행 정보 제공 장치
200 : 차량맵 제공 서버

Claims (14)

  1. 복수의 차량 각각으로부터, 상기 차량에 대해 획득된 주행 정보 및 상기 차량의 주변 차량에 대해 산출된 주행 정보를 수신하는 통신부와,
    상기 복수의 차량 및 상기 복수의 차량의 주변 차량에 대해 수신된 주행 정보를 차량 별로 취합해서 차량맵을 생성하는 차량맵 생성부와,
    상기 생성된 차량맵으로부터, 상기 복수의 차량 각각에게 송신될 차량맵이 해당 차량의 경로 상에 있는 주변 차량에 대한 주행 정보를 포함하도록 추출하는 차량맵 추출부를 포함하며,
    상기 차량맵 생성부는,
    상기 복수의 차량 각각에서 촬영된 영상 내 상기 주변 차량에 대한 특징점 및 학습에 의해 생성된 차량 분류기 중 적어도 하나를 기초로 상기 수신된 주행 정보를 차량 별로 취합하는
    차량맵 제공 서버.
  2. 제 1 항에 있어서,
    상기 차량맵 생성부는,
    상기 복수의 차량 각각에서 촬영된 영상 내 상기 주변 차량에 대한 상기 특징점 및 학습에 의해 생성된 상기 차량 분류기 중 적어도 하나를 기초로 상기 영상 내 동일 차량 여부를 판단하고, 상기 판단 결과를 이용하여 상기 수신된 주행 정보를 차량 별로 취합하는
    차량맵 제공 서버.
  3. 제 2 항에 있어서,
    상기 차량맵 생성부는,
    상기 특징점 및 상기 특징점에 대응되는 서술자를 이용하여 상기 복수의 차량 중 어느 하나에서 촬영된 제 1 영상 내 제 1 주변 차량을 상기 복수의 차량 중 나머지에서 촬영된 제 2 영상 내 제 2 주변 차량 각각과 매칭하고, 상기 매칭 결과를 기초로 상기 영상 내 동일 차량 여부를 판단하는
    차량맵 제공 서버.
  4. 제 3 항에 있어서,
    상기 차량맵 생성부는,
    상기 제 1 주변 차량에 대한 제 1 특징점을 상기 제 2 주변 차량 각각에 대한 제 2 특징점에 매칭하여 매칭 결과의 유효성을 판단하고, 상기 유효한 매칭 결과를 이용하여 상기 제 1 영상 및 상기 제 2 영상 내 동일 차량 여부를 판단하는
    차량맵 제공 서버.
  5. 제 4 항에 있어서,
    상기 차량맵 생성부는,
    상기 제 1 특징점을 상기 제 2 특징점에 매칭할 때의 오차가 임계치 이하이면, 상기 제 2 특징점에 대한 상기 제 1 특징점의 매칭을 유효한 것으로 판단하는
    차량맵 제공 서버.
  6. 제 5 항에 있어서,
    상기 차량맵 생성부는,
    복수의 제 2 주변 차량에 대한 상기 제 1 주변 차량의 매칭이 유효한 것으로 판단되면, 상기 제 1 주변 차량과 상기 제 2 주변 차량에 대한 유효한 특징점 매칭의 개수 및 상기 제 1 주변 차량과 상기 제 2 주변 차량 사이의 거리 중 적어도 하나를 기초로 상기 동일 차량 여부를 판단하는
    차량맵 제공 서버.
  7. 제 2 항에 있어서,
    상기 차량 분류기는,
    복수의 차량 모델 각각에 대하여 서로 다른 크기의 복수의 학습 영상을 하나의 입력으로서 학습함으로써 생성되는
    차량맵 제공 서버.
  8. 제 7 항에 있어서,
    상기 차량맵 생성부는,
    상기 복수의 차량 각각에서 촬영된 영상 내 상기 주변 차량 각각에 대한 차량 영역을 검출하고, 상기 검출된 차량 영역 각각을 상기 복수의 학습 영상 각각의 크기로 변환하고, 상기 크기 변환된 복수의 차량 영역을 하나의 입력으로서 상기 차량 분류기에 입력하여 상기 영상 내 동일 차량 여부를 판단하는
    차량맵 제공 서버.
  9. 차량맵 제공 서버가 수행하는 차량맵 제공 방법으로서,
    복수의 차량 각각으로부터, 상기 차량에 대해 획득된 주행 정보 및 상기 차량의 주변 차량에 대해 산출된 주행 정보를 수신하는 단계와,
    상기 복수의 차량 각각에서 촬영된 영상 내 상기 주변 차량에 대한 특징점 및 학습에 의해 생성된 차량 분류기 중 적어도 하나를 기초로, 상기 복수의 차량 및 상기 복수의 차량의 주변 차량에 대해 수신된 주행 정보를 차량 별로 취합해서 차량맵을 생성하는 단계와,
    상기 생성된 차량맵으로부터, 상기 복수의 차량 각각에게 송신될 차량맵이 해당 차량의 경로 상에 있는 주변 차량에 대한 주행 정보를 포함하도록 추출하는 단계를 포함하는
    차량맵 제공 방법.
  10. 제 9 항에 포함된 각 단계를 포함하여 수행하도록 프로그램된 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램.
  11. 주행 정보 제공 장치가 수행하는 주행 정보 제공 방법으로서,
    자차에 대한 주행 정보를 획득하는 단계와,
    상기 자차의 주변 차량을 감지하는 단계와,
    상기 감지된 주변 차량에 대한 주행 정보를 산출하는 단계와,
    복수의 차량 각각에 대한 주행 정보를 취합해서 차량맵을 생성하는 차량맵 제공 서버에게 상기 자차에 대한 주행 정보 및 상기 주변 차량에 대한 주행 정보 중 적어도 하나를 송신하는 단계와,
    상기 자차의 경로 상에 있는 주변 차량에 대한 주행 정보를 포함하는 차량맵을 상기 차량맵 제공 서버로부터 수신하는 단계와,
    상기 수신된 차량맵을 기초로 소정의 주행 보조 서비스를 제공하는 단계를 포함하고,
    상기 주행 보조 서비스를 제공하는 단계는,
    상기 자차 및 상기 주변 차량에 대하여 상기 차량맵을 기초로 예측되는 제 1 주행 정보를 상기 자차에 의해 추정되는 제 2 주행 정보에 따라 보정하는 단계를 포함하는
    주행 정보 제공 방법.
  12. 제 11 항에 있어서,
    상기 제 1 주행 정보를 보정하는 단계는,
    상기 제 1 주행 정보 및 상기 제 2 주행 정보 사이의 매칭 오차가 임계치 이하이면, 상기 제 1 주행 정보를 상기 제 2 주행 정보에 따라 보정하는
    주행 정보 제공 방법.
  13. 제 11 항에 있어서,
    상기 제 1 주행 정보를 보정하는 단계는,
    상기 제 1 주행 정보와 상기 제 2 주행 정보 간 중복 데이터가 존재하면, 상기 제 1 주행 정보와 상기 제 2 주행 정보 각각의 공분산 및 칼만 필터 중 적어도 하나를 기초로 상기 제 1 주행 정보 및 상기 제 2 주행 정보 중 어느 하나를 선택하는
    주행 정보 제공 방법.
  14. 제 11 항 내지 제 13 항 중 어느 하나에 포함된 각 단계를 포함하여 수행하도록 프로그램된 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램.
KR1020190069873A 2019-02-19 2019-06-13 주행 정보 제공 방법, 차량맵 제공 서버 및 방법 KR20200142716A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190069873A KR20200142716A (ko) 2019-06-13 2019-06-13 주행 정보 제공 방법, 차량맵 제공 서버 및 방법
PCT/KR2020/002426 WO2020171605A1 (ko) 2019-02-19 2020-02-19 주행 정보 제공 방법, 차량맵 제공 서버 및 방법
CN202080015561.2A CN113454692B9 (zh) 2019-02-19 2020-02-19 驾驶信息提供方法以及车辆地图提供服务器和方法
US17/394,819 US20210364321A1 (en) 2019-02-19 2021-08-05 Driving information providing method, and vehicle map providing server and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190069873A KR20200142716A (ko) 2019-06-13 2019-06-13 주행 정보 제공 방법, 차량맵 제공 서버 및 방법

Publications (1)

Publication Number Publication Date
KR20200142716A true KR20200142716A (ko) 2020-12-23

Family

ID=74089587

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190069873A KR20200142716A (ko) 2019-02-19 2019-06-13 주행 정보 제공 방법, 차량맵 제공 서버 및 방법

Country Status (1)

Country Link
KR (1) KR20200142716A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102567778B1 (ko) * 2022-10-11 2023-08-17 (주)아이하트 이동체의 속성에 따라 보정된 센서 데이터를 이용한 이동체의 위험발생 관제 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170097435A (ko) 2016-02-18 2017-08-28 한국전자통신연구원 자율주행 시스템에서의 교차로 우회전 판단 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170097435A (ko) 2016-02-18 2017-08-28 한국전자통신연구원 자율주행 시스템에서의 교차로 우회전 판단 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102567778B1 (ko) * 2022-10-11 2023-08-17 (주)아이하트 이동체의 속성에 따라 보정된 센서 데이터를 이용한 이동체의 위험발생 관제 시스템 및 방법

Similar Documents

Publication Publication Date Title
US10371534B2 (en) Apparatus and method for sharing and learning driving environment data to improve decision intelligence of autonomous vehicle
EP4152204A1 (en) Lane line detection method, and related apparatus
KR102016549B1 (ko) 차량 및 차선 위치 검출 시스템 및 방법
US20210364321A1 (en) Driving information providing method, and vehicle map providing server and method
WO2019175285A1 (en) Vehicle localization
CN110264495B (zh) 一种目标跟踪方法及装置
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
KR101797818B1 (ko) 딥 러닝 기반 도로 정보 제공 방법 및 장치
JP6418574B2 (ja) 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
KR102472075B1 (ko) 실시간 도로영상 및 레이다 신호를 분석한 결과에 기초하여 돌발상황 자동검지 서비스를 지원하는 시스템 및 방법
EP3690802A1 (en) Vehicle exterior recognition device
Raja et al. SPAS: Smart pothole-avoidance strategy for autonomous vehicles
CN115339453B (zh) 车辆换道决策信息生成方法、装置、设备和计算机介质
Baig et al. A robust motion detection technique for dynamic environment monitoring: A framework for grid-based monitoring of the dynamic environment
US20200047751A1 (en) Cooperative vehicle safety system and method
Nambi et al. ALT: towards automating driver license testing using smartphones
KR102604821B1 (ko) 차량의 위치 추정 장치 및 방법
KR20200142716A (ko) 주행 정보 제공 방법, 차량맵 제공 서버 및 방법
Al Mamun et al. Efficient lane marking detection using deep learning technique with differential and cross-entropy loss.
CN109344776B (zh) 数据处理方法
KR20200141871A (ko) 차선 정보 획득 장치 및 방법
US11983918B2 (en) Platform for perception system development for automated driving system
JP2023156963A (ja) オブジェクト追跡統合方法及び統合装置
KR102566525B1 (ko) 교통 상황 분석 방법 및 장치
KR20200101188A (ko) 주행 정보 제공 방법, 차량맵 제공 서버 및 방법