KR102454367B1

KR102454367B1 - 차량 위치 판단 장치, 차량의 위치를 판단하는 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체

Info

Publication number: KR102454367B1
Application number: KR1020180053809A
Authority: KR
Inventors: 이성수
Original assignee: 에스케이텔레콤 주식회사
Priority date: 2018-05-10
Filing date: 2018-05-10
Publication date: 2022-10-14
Also published as: KR20190134905A

Abstract

일 실시예에 따른 차량의 위치를 판단하는 방법은, 통신을 수행하여서 제1 주변 차량이 지도 상에서 갖는 위치를 획득하는 단계와, 상기 차량의 주변을 촬영한 영상을 기초로, 상기 영상에 포함된 제2 주변 차량에 대해 상기 차량이 갖는 상대적 위치를 획득하는 단계와, 상기 제1 주변 차량과 상기 제2 주변 차량을 매칭시키는 단계와, 상기 제1 주변 차량과 매칭된 상기 제2 주변 차량이 상기 지도 상에서 갖는 위치 및 상기 차량이 상기 제2 주변 차량에 대해 갖는 상대적 위치를 기초로 상기 차량이 상기 지도 상에서 갖는 현재 위치를 판단하는 단계를 포함한다.

Description

차량 위치 판단 장치, 차량의 위치를 판단하는 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체 {APPARATUS AND METHOD FOR DETERMINING LOCATION OF VEHICLE AND COMPUTER RECORDABLE MEDIUM STORING COMPUTER PROGRAM THEREOF}

본 발명은 차량 위치 판단 장치, 차량의 위치를 판단하는 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체에 관한 것이다.

차량의 위치를 파악하는 기술은 다양한 분야에서 요구된다. 최근에는 차량의 위치를 보다 정밀하게 파악하기 위해, 고정밀 지도(High definition map)와 카메라/Lidar/Radar와 같은 센서를 이용하여 cm 단위 오차를 가지는 측위 기술들이 제안되고 있다.

이러한 측위 기술들 중 하나에는, GPS 신호를 받아 차량의 초기 위치를 결정하고, 카메라/Lidar/Radar와 같은 외부 센서를 이용하여 주변 환경의 특징을 추출한 뒤, 이와 같이 추출된 특징을 전술한 고정밀 지도와 매칭시키는 과정을 통해 현재 위치를 측정하는 기술 등이 있다.

한편, 자율 주행 차량이란 운전자의 조작 없이도 주행 가능한 차량을 의미한다. 이러한 자율 주행 차량은 매 순간마다 자차(자율 주행 차량)가 지도 상에서 어디에 위치해 있는지, 그리고 상대 차량들은 지도 상에서 또는 자차와의 관계에서 어디에 위치해 있는지를 파악할 수 있어야 한다. 즉, 전술한 차량의 위치를 파악하는 기술은 자율 주행 차량에 있어서도 중요한 기술 중에 하나이다.

한국공개특허공보, 제 10-2017-0097435호 (2017.08.28. 공개)

본 발명이 해결하고자 하는 과제는, 기존 기술보다 정밀하게 차량의 위치를 판단하는 기술을 제공하는 것이다.

또한, 빌딩 등에 의해 GPS와 같은 시스템이 제대로 동작하기 어렵거나 또는 복잡한 도심 속의 주행 환경에서도 보다 정밀하게 차량의 위치를 판단하는 기술을 제공하는 것이다.

아울러, 전술한 본 발명에서 제안하는 기술을 다양한 이동 수단에, 예컨대 자율 주행 차량에 적용하는 것이다.

다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

일 실시예에 따른 차량의 위치를 판단하는 방법은 통신을 수행하여서, 제1 주변 차량이 지도 상에서 갖는 위치를 획득하는 단계와, 상기 차량의 주변을 촬영한 영상을 기초로, 상기 영상에 포함된 제2 주변 차량에 대해 상기 차량이 갖는 상대적 위치를 획득하는 단계와, 상기 제1 주변 차량과 상기 제2 주변 차량을 매칭시키는 단계와, 상기 제1 주변 차량과 매칭된 상기 제2 주변 차량이 상기 지도 상에서 갖는 위치 및 상기 차량이 상기 제2 주변 차량에 대해 갖는 상대적 위치를 기초로 상기 차량이 상기 지도 상에서 갖는 현재 위치를 판단하는 단계를 포함한다.

일 실시예에 따라 차량의 위치를 판단하는 장치는 통신부와, 상기 차량의 주변을 촬영하는 촬영부와, 상기 통신부에 의해 수행된 통신의 결과를 기초로 상기 차량 주변의 제1 주변 차량이 지도 상에서 갖는 위치를 획득하고, 상기 촬영부에 의해 촬영된 영상을 기초로 상기 영상에 포함된 제2 주변 차량에 대해 상기 차량이 갖는 상대적 위치를 획득하며, 상기 제1 주변 차량과 상기 제2 주변 차량을 매칭시킴으로써 상기 제1 주변 차량과 매칭된 상기 제2 주변 차량이 상기 지도 상에서 갖는 위치를 획득하고, 상기 제2 주변 차량이 상기 지도 상에서 갖는 위치 및 상기 차량이 상기 제2 주변 차량에 대해 갖는 상대적 위치를 기초로 상기 차량이 상기 지도 상에서 갖는 현재 위치를 판단하는 위치 판단부를 포함한다.

일 실시예에 따르면 차량이 지도 상에서 갖는 위치 내지 소정의 좌표계 상에서 갖는 위치는 통신으로부터 획득된 주변 차량에 대한 정보, 그리고 차량 주변에 대해 촬영된 영상으로부터 판단 내지 산출 가능하다. 이 경우, 일 실시예에 따른 기술을 채용하는 차량, 예컨대 자율 주행 차량이 빌딩 등이 많이 있거나 교통 상황이 복잡한 도심 등에 위치해 있어서 GPS 수신을 원활하지 못한다고 하더라도, 통신과 영상에 의해 제공되는 정보를 통해 차량의 위치 판단을 정밀하게 할 수 있다.

아울러, 파티클 필터와 같은 알고리즘을 채용함으로써, 차량의 위치를 보다 정밀하게 판단할 수 있다.

도 1은 일 실시예에 따른 차량 위치 판단 장치의 구성을 도시한 도면이다.
도 2는 일 실시예에 따라 차량의 위치를 판단하는 방법에 포함된 절차를 도시하고 있다.
도 3은 도 2에 도시된 방법을 구성하는 절차 중에서 주변 차량의 위치 등을 이용하여 차량의 현재 위치를 판단하는 방법의 일 예를 도시하고 있다.
도 4는 도 2에 도시된 방법을 구성하는 절차 중에서 주변 차량의 위치 등을 이용하여 차량의 현재 위치를 판단하는 방법의 다른 예를 도시하고 있다.
도 5는 일 실시예에 따라 차량의 위치를 판단하는 방법에 포함된 절차를 도시하고 있다.
도 6 내지 12는 도 5에 도시된 방법을 구성하는 절차 중 일부에 의해 수행된 결과를 예시적으로 도시하고 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 가입자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 일 실시예에 따른 차량 위치 판단 장치(100)의 구성을 도시한 도면이다. 다만 도 1은 예시적인 것에 불과하므로 본 발명의 사상이 도 1에 도시된 것으로 한정 해석되는 것은 아니다.

도 1에 대해 설명하기에 앞서, 차량 위치 판단 장치(100)는 승용차, 승합차, 버스나 트럭과 같은 차량 등에 탑재 내지 적용 가능하다. 여기서 언급된 차량은 예컨대 자율 주행 차량일 수 있다. 자율 주행 차량이란 운전자가 탑승하지 않았어도 주행 가능한, 내지는 운전자가 탑승하였지만 이러한 운전자의 조작 없이도 주행 가능한 차량을 의미한다. 한편, 실시예에 따라서 차량 위치 판단 장치(100)는 전술한 차량 이외에도 다양한 이동 수단, 예컨대 원동기나 자전거 또는 경우에 따라서는 선박이나 비행기 등에도 적용 가능하나, 이하에서는 차량에 적용되는 것을 전제로 설명하기로 하고, 아울러 이하에서 '차량'은 일 실시예에 따른 차량 위치 판단 장치(100)를 탑재 내지 포함하는 것을 전제로 설명하기로 한다.

도 1을 참조하면, 차량 위치 판단 장치(100)는 통신부(120), 촬영부(130) 및 위치 판단부(150)를 포함하고, 실시예에 따라 저장부(110) 및 영상 인식부(140) 중 적어도 하나를 포함할 수 있으며, 다만 여기서 언급되지 않은 구성, 예컨대 차량 위치 판단 장치(100)의 구동에 요구되는 기본적인 구성이나 기타 다른 구성들을 더 포함할 수도 있다.

저장부(110)의 경우 데이터를 저장하는 메모리 등으로 구현 가능하다. 저장부(110)에는 지도 또는 차량에 대한 다양한 정보들이 저장된다. 이 중 지도에 대해 살펴보면, 지도는 자율 주행 시스템을 구성하는 클라우드 서버(도면에는 미도시) 또는 기타 다양한 서버로부터 상기 통신부(120)를 통해 다운로드 받은 것일 수 있다. 아울러, 이러한 지도는 소정의 2차원 또는 3차원의 좌표계를 기반으로 구성되는 고정밀 지도일 수 있으며, 이하에서 언급되는 '지도'는 고정밀 지도인 것을 전제로 설명하기로 한다.

한편, 지도에는 차선, 표지판, 건물이나 나무 등과 같은 다양한 객체들이 전술한 좌표계를 기반으로 사전에 배치된다. 이하에서는 이러한 객체들을 '랜드마크(landmark)'라고 지칭하기로 한다.

전술한 지도는 다양한 방식으로 제작 가능하다. 예컨대 지도는 다양한 센서, 예컨대 RTK (Real Time Kinematic) GPS, INS(Inertial Navigation System) 또는 LIDAR 등을 장착한 MMS(Mobile Mapping System) 차량이 실도로 주행 환경을 주행하면서 획득한 3차원 포인트 클라우드에, 전술한 랜드마크 등을 벡터 형태로 반영함으로써 생성 가능하다.

통신부(120)는 차량 간 통신(Vehicle to Vehible, V2V)을 지원하는 모듈을 포함한다. 이러한 모듈은 WAVE(Wireless Access in Vehicular Environment) 또는 LTE(Long Tern Evolution) 통신을 지원할 수 있으나 이에 한정되는 것은 아니다. 따라서, 이러한 통신부(120)를 구성으로 포함하는 차량 위치 판단 장치(100)에 의해, 차량은 통신 기능을 구비한 타 차량, 예컨대 다른 자율 주행 차량과 통신을 수행할 수 있다.

추가적으로, 통신부(120)는 V2C(Vehicle to Cloud server) 통신을 지원하는 모듈을 포함할 수 있다. 따라서, 이러한 통신부(120)를 구성으로 포함하는 차량 위치 판단 장치(100)에 의해, 차량은 자율 주행 시스템을 구성하는 클라우드 서버(도면에는 미도시) 등과 통신을 수행하면서 자신의 정보를 송신하거나 주행과 관련된 정보를 클라우드 서버로부터 수신할 수 있다.

촬영부(130)는 차량 주변을 촬영하는 카메라일 수 있다. 이러한 촬영부(130)는 지면으로부터 소정의 높이에서 차량에 장착되며, 아울러 전방에 대해 소정의 각도로 정의되는 시선 방향을 갖는다. 여기서, 촬영부(130)가 장착되는 전술한 높이 내지 소정의 각도 등은 저장부(110)에 저장될 수 있으며, 후술하겠지만 위치 판단부(150)에 제공되어서 차량의 위치 판단에 이용될 수 있다.

영상 인식부(140)와 위치 판단부(150)는 이하에서 설명할 기능을 수행하도록 프로그램된 명령어를 저장하는 메모리 및 이러한 명령어를 실행하는 마이크로프로세서에 의해 구현 가능하다.

먼저 영상 인식부(140)에 대해 살펴보면, 영상 인식부(140)는 촬영부(130)에 의해 촬영된 영상 내지 통신부(120)를 통해 수신된 영상 등을 분석하여서, 이러한 영상에 포함된 객체를 추출 내지 인식한다. 예컨대 영상 인식부(140)는 영상에 포함된 차량 또는 전술한 랜드마크 등을 인식할 수 있으며, 인식된 차량의 번호판 내지 차량의 차종 등을 인식할 수 있다. 이를 위해 영상 인식부(140)는 합성곱 신경망(CNN, Convolutional Neural Network)) 기술을 채용할 수 있다. 여기서, 합성곱 신경망 기술을 이용하여 영상으로부터 객체를 추출 내지 인식하는 기술 그 자체는 공지된 기술이므로 이에 대한 설명은 생략하기로 한다.

위치 판단부(150)는 차량, 즉 차량 위치 판단 장치(100)를 탑재 내지 포함하는 차량의 위치를 판단한다. 여기서의 '위치'란 전술한 저장부(110)에 저장된 지도 상에서의 위치 또는 소정의 좌표계 상에서의 좌표값일 수 있으며, 이 때의 '좌표'란 GPS 등을 구성하는 좌표계 내지 기타 다양한 좌표계에서의 좌표값일 수 있다.

위치 판단부(150)가 차량의 위치를 판단하는데 있어서, 전술한 저장부(110), 통신부(120), 촬영부(130) 내지 영상 인식부(140)로부터 획득한 정보들이 이용된다. 이하에서는 이러한 저장부(110), 통신부(120), 촬영부(130), 영상 인식부(140) 및 위치 판단부(150)를 포함하는 차량 위치 판단 장치(100)에 의해 수행되는, 차량의 위치를 판단하는 방법에 대해 보다 자세하게 살펴보기로 한다.

도 2는 일 실시예에 따라 차량의 위치를 판단하는 방법에 포함된 절차를 도시하고 있다. 도 2에 도시된 차량의 위치를 판단하는 방법은 도 1에 도시된 차량 위치 판단 장치(100)에 의해 수행 가능하다. 아울러, 도 2에 도시된 방법을 구성하는 절차의 경우 예시적인 것에 불과하므로, 본 발명의 사상이 도 2에 도시된 방법 내지 이러한 방법을 구성하는 절차에 한정 해석되는 것은 아니며, 도 2에 도시된 방법을 구성하는 절차의 순서 등에 구속되지도 않는다.

도 2를 도 1과 함께 참조하면, 통신을 수행하여서, 제1 주변 차량이 지도 상에서 갖는 위치를 획득하는 단계(S1000)가 수행된다.

여기서의 통신은 통신부(120)에 의해 수행되며, 이 때의 통신은 예컨대 V2V 또는 V2C 통신일 수 있다. V2V 통신일 경우, 차량은 해당 차량의 주변에 있는 제1 주변 차량으로부터 통신부(120)를 통해서, 제1 주변 차량이 지도 상에서 어디에 위치해 있는지에 대한 정보를 획득한다. 이와 달리 V2C 통신일 경우, 차량은 소정의 클라우드 서버(도면에는 미도시)로부터 통신부(120)를 통해서, 전술한 제1 주변 차량이 지도 상에서 어디에 위치해 있는지에 대한 정보를 획득하며, 이 경우 전술한 클라우드 서버는 제1 주변 차량을 비롯한 다른 차량들로부터 지도 상에서의 위치에 대한 정보를 획득해서 이를 통신부(120)를 통해 차량에게 전송할 수 있다.

V2V 통신이든 V2C 통신이든, 전술한 제1 주변 차량에 대해 획득한 정보는 저장부(110)에 저장된 지도, 예컨대 고정밀 지도 상에서 이러한 제1 주변 차량이 갖는 위치일 수 있다.

한편, 단계 S1000에서 획득되는 제1 주변 차량의 위치에 대한 정보가, 지도 상에서 갖는 위치만으로 한정되는 것은 아니다. 예컨대 단계 S1000에서 획득되는 제1 주변 차량의 위치 정보는, 경도와 위도를 기준으로 하는 좌표계 또는 방위각과 고도를 기준으로 하는 좌표계 등에서 갖는 좌표값과 같이, 위치를 '절대적'으로 나타내는 것이라면 어떠한 것이라도 될 수 있다. 아울러 단계 S1000에서 획득되는 정보가 좌표계 상에서의 좌표값일 경우, 후술할 단계 S1100 내지 S1300, 그리고 도 5에서 후술할 단계 S1400 내지 S1800에서도 지도 상에서의 위치 대신 이러한 좌표계 상에서의 좌표값이 차량의 위치 판단에 이용될 수 있다. 다만, 이하에서는 단계 S1000에서 획득되는 정보는 지도 상에서의 위치인 것을 전제로 설명하기로 한다.

한편, 단계 S1000과는 병렬적으로 또는 S1000이 수행되기 전 또는 후에, 단계 S1100이 수행될 수 있다. 단계 S1100에서는 차량의 주변을 촬영한 영상을 기초로, 이러한 차량이 해당 영상에 포함된 제2 주변 차량에 대해 갖는 상대적 위치를 획득하는 단계가 수행된다.

단계 S1100에 대해 보다 자세하게 살펴보면, 단계 S1100에서 언급된 영상은 촬영부(130)에 의해 촬영된 영상이다. 영상 인식부(140)는 이러한 영상으로부터, 영상에 포함된 제2 주변 차량을 추출하는데, 이를 위해 영상 인식부(140)가 합성곱 신경망을 이용할 수 있음은 전술한 바와 같다.

위치 판단부(150)는 영상으로부터 추출된 제2 주변 차량과 차량 간의 상대적 위치에 대한 정보를 획득한다. 이에 대해 살펴보면, 위치 판단부(150)는 영상을 분석하여서 차량으로부터 제2 주변 차량까지의 이격 거리 및 차량을 기준으로 하는 제2 주변 차량에 대한 각도를 연산한다. 아울러, 이와 같이 연산된 결과를 저장부(110)에 저장된 촬영부(130)에 대한 정보, 예컨대 촬영부(130)가 지면에 대해 갖는 높이 및 촬영부(130)의 시선 방향을 나타내는 각도에 대한 정보와 결합시켜서 차량과 제2 주변 차량 간의 상대적 위치(또는 차량이 제2 주변 차량에 대해 갖는 상대적 위치)에 대한 정보를 획득한다. 여기서, 전술한 연산된 결과와 촬영부(130)에 대한 정보를 결합시켜서 차량과 제2 주변 차량 간의 상대적 위치에 대한 정보를 획득하는 알고리즘 자체는 이미 공지되어 있으므로, 이에 대한 자세한 설명은 생략하기로 한다.

여기서, 제1 주변 차량과 제2 주변 차량은 각각 적어도 하나일 수 있다. 아울러, 제1 주변 차량이 복수 개이고 제2 주변 차량이 복수 개일 경우, 이러한 제1 주변 차량 중의 일부 내지 전부는 제2 주변 차량 중 일부 내지 전부와 동일할 수 있다.

도 3에 도시된 그림 중 일부는 전술한 단계 S1000과 단계 S1100에서 획득된 정보를 시각적으로 도시한 일 예이다. 도 3을 참조하면, 위쪽 2개의 그림 중 오른쪽은 단계 S1000에서 획득된, 제1 주변 차량(1b 내지 3b)이 지도 상에서 갖는 위치, 즉 절대적 위치를 예시적으로 도시하고 있다. 아울러, 위쪽 2개의 그림 중 왼쪽은 단계 S1100에서 획득된, 차량(10)이 제2 주변 차량(1a 내지 3a)에 대해 갖는 상대적 위치를 예시적으로 도시하고 있다. 도시된 바와 같이 왼쪽 그림에서는 차량(10)의 위치가 도시되어 있다. 반면, 오른쪽 그림에서는 차량(10)의 위치는 도시되어 있지 않다. 이하에서는 제1 주변 차량(1b 내지 3b)이 지도 상에서 갖는 위치, 그리고 차량이 제2 주변 차량(1a 내지 3a)에 대해 갖는 상대적 위치를 기초로, 이러한 차량이 지도 상에서 갖는 위치, 즉 절대적 위치를 판단하는 방법을 살펴보기로 한다.

다시 도 2를 도 1과 함께 참조하면, 단계 S1200에서는 제1 주변 차량과 제2 주변 차량을 매칭시킨다. 매칭시킨다는 의미는 예컨대 제1 주변 차량이 배치되어 있는 지도 상에 제2 주변 차량이 겹쳐지도록 배치한다는 의미일 수 있으며, 이 경우 다양한 매칭 방법이 적용될 수 있다. 예컨대, 단계 S1000에서의 통신이 수행된 결과로부터, 적어도 하나의 제1 주변 차량으로부터 수신된 신호의 세기에 대한 정보를 획득한 뒤, 가장 큰 세기의 신호를 송신한 제1 주변 차량의 위치를 차량의 임시 위치로 선정한 후, 이와 같이 선정된 차량의 임시 위치를 차량의 절대적 위치로 두어서 전술한 매칭 등에 활용하는 방법 등이 있을 수 있다.

단계 S1200에서와 같은 매칭이 수행되면, 도 3에 도시된 그림 중 아래의 그림에 도시된 것과 같이, 제1 주변 차랑(1b 내지 3b)과 제2 주변 차랑(1a 내지 1c)이 서로 겹쳐지게 된다. 이러한 겹쳐진 결과를 이용하면, 제1 주변 차랑(1b 내지 3b)에 대한 지도 상의 위치 정보가 제2 주변 차랑(1a 내지 3a)에도 부여된다.

이 경우, 차량이 제2 주변 차량에 대한 갖는 상대적 위치 정보가 획득되어 있으므로, 제2 주변 차량의 지도 상의 위치 정보를 이용하면 차량이 지도 상에서 갖는 위치, 즉 절대적 위치가 획득될 수 있다(S1300).

즉, 일 실시예에 따르면 차량이 지도 상에서 갖는 위치는 통신으로부터 획득된 주변 차량에 대한 정보, 그리고 차량 주변에 대해 촬영된 영상으로부터 판단 내지 산출 가능하다. 이 경우, 일 실시예에 따른 기술을 채용하는 차량, 예컨대 자율 주행 차량이 빌딩 등이 많이 있거나 교통 상황이 복잡한 도심 등에 위치해 있어서 GPS 수신을 원활하지 못한다고 하더라도, 통신과 영상에 의해 제공되는 정보를 통해 차량의 위치 판단을 정밀하게 할 수 있다.

한편, 도 2에 도시된 단계 S1200에서 제1 주변 차량과 제2 주변 차량을 매칭시키는 방법으로, 실시예에 따르면, 제1 주변 차량의 차량 번호와 제2 주변 차량의 차량 번호를 이용할 수 있다. 이 경우 '차량 번호'라는 기준이 존재하기 때문에 단계 S1200에 따른 매칭에 있어서 그 정확도가 향상될 수 있다. 도 4는 제1 주변 차량의 차량 번호와 제2 주변 차량의 차량 번호를 이용하여서 매칭시킨 과정 내지 그 결과를 도시하고 있다. 제1 주변 차량의 차량 번호와 제2 주변 차량의 차량 번호를 매칭시키기 위해, 일 실시예에서는 단계 S1000에서의 통신이 수행된 결과로부터 제1 주변 차량의 차량 번호에 대한 정보를 획득하는 단계가 추가로 수행될 수 있다. 즉, 단계 S1000에서의 통신이 V2V 통신일 경우, 차량은 해당 차량의 주변에 있는 제1 주변 차량으로부터 통신부(120)를 통해서, 제1 주변 차량이 지도 상에서 어디에 위치해 있는지에 대한 정보에 더해서 이러한 제1 주변 차량의 차량 번호에 대한 정보를 추가로 획득할 수 있다. 또한, 단계 S1100에서 수행된 영상의 분석 결과로부터 또는 단계 S1100에서 언급된 영상을 추가적으로 분석하여서, 이러한 영상에 포함된 제2 주변 차량의 차량 번호를 추출할 수 있다. 제2 주변 차량이 포함된 영상으로부터 차량 번호를 추출하는 기술 또한 전술한 바와 같이 합성곱 신경망 등에 의해 구현 가능하다.

즉, 일 실시예에 따르면 차량이 주변 차량에 대해 갖는 상대적 위치, 그리고 주변 차량이 지도 상에서 갖는 (절대적) 위치를 매칭시키는 과정에서, 주변 차량의 차량 번호를 활용함으로써 매칭 정확도를 향상시킬 수 있다. 매칭 정확도가 향상될 경우 차량이 지도 상에서 갖는 (절대적) 위치에 대한 정확도 또한 향상될 수 있다.

한편, 실시예에 따라서 도 2에서 수행된 단계 S1300에 의해 판단된 차량의 지도 상에서의 위치는 보다 정밀하게 조정 내지 재판단될 수 있다. 이하에서는 이에 대해 보다 자세하게 살펴보기로 한다.

도 5는 일 실시예에 따라 차량의 위치를 판단하는 방법에 포함된 절차를 도시하고 있다. 도 5에 도시된 차량의 위치를 판단하는 방법은 도 1에 도시된 차량 위치 판단 장치(100)에 의해 수행 가능하며, 도 2에 도시된 절차의 수행 후에 수행 가능하나, 이에 한정되는 것은 아니다.

한편, 도 5에 도시된 방법을 구성하는 절차의 경우 예시적인 것에 불과하므로, 본 발명의 사상이 도 5에 도시된 방법 내지 이러한 방법을 구성하는 절차에 한정 해석되는 것은 아니다.

도 5를 참조하기에 앞서, 도 5에 도시된 방법은 파티클 필터(particle filter)를 기본이 되는 알고리즘으로서 채용한 방법일 수 있다.

이를 기초로 도 5를 도 1 및 2와 함께 참조하면, 단계 S1300에서 판단된 지도 상에서의 현재 위치를 기준으로, 이러한 지도 상에서 복수의 후보 위치를 지정하는 단계(S1400)가 수행된다. 복수의 후보 위치는 전술한 현재 위치를 기준으로 소정의 반경 이내에서, 소정의 개수 N(N은 2 이상의 자연수)개가 랜덤하게 선정될 수 있으며, 이 때의 후보 위치 각각은 파티클이라고 지칭될 수 있다. 도 6은 단계 S1400에 따라, 현재 위치를 기준으로 복수의 후보 위치가 지도 상에서 선정된 결과를 예시적으로 도시하고 있다. 도 6을 참조하면, '현재 위치'는 단계 S1300에서 판단된 차량의 위치이며, '실제 위치'는 실제 차량의 위치이다. 즉, 단계 S1300에서 판단된 현재 위치가 경우에 따라서 차량의 실제 위치와 차이가 있을 수 있다. 이 경우 이하에서 설명될 단계 S1400 내지 S1800에 의해 이러한 차이가 보정되어서 차량의 현재 위치가 실제 위치에 가깝도록 재조정될 수 있다.

계속하여서 다시 도 5를 도 1 및 도 2와 함께 참조하면, 지도 내에 존재하는 객체가 영상에 투영되는 위치를, 단계 S1400에서 선정된 복수의 후보 위치 각각을 고려하여서 산출하는 단계(S1500)가 수행된다. 이러한 단계 S1500에 대해서는, 도 7 내지 9를 도 1 및 2와 함께 참조하면서 살펴보기로 한다.

단계 S1500의 수행에 있어서, 영상으로부터 객체, 즉 랜드마크가 추출되며, 추출된 랜드마크는 영상의 좌표계를 기준으로 그 좌표값이 추출된다. 여기서의 영상은 촬영부(130)에 의해 촬영된 것이다. 아울러, 영상으로부터 랜드마크를 추출하는 과정은 영상 인식부(140)에 의해 수행된다. 도 7을 참조하면, 영상으로부터 추출된 랜드마크가 이러한 영상에 표시되어 있으며, 아울러 랜드마크의 좌표값이 이러한 영상에 '점'의 형태로 표시되어 있다.

또한, 지도로부터 객체, 즉 랜드마크가 추출되며, 추출된 랜드마크의 지도 상에서의 위치 또한 지도로부터 획득된다. 여기서의 지도는 저장부(110)에 저장된 지도이다. 아울러, 랜드마크의 추출 과정은 영상 인식부(140)에 의해 수행된다.

지도로부터 추출된 랜드마크가 지도 상에서의 갖는 위치는, 단계 S1400에서 지정된 복수의 후보 위치 각각을 고려하여서, 전술한 영상에 투영되었을 때의 영상에서의 좌표값으로 변환된다. 여기서, '복수의 후보 위치 각각을 고려하여서'라는 것은 각각의 후보 위치에 촬영부(130)가 있다고 가정하였을 때를 나타낸다. 아울러, 변환시 다음과 같은 수학식 1에 의해 변환 가능하며 다만 이러한 수학식은 예시적인 것에 불과하다.

여기서, R은 촬영부(130)의 시선 방향을 나타내는 벡터, T는 촬영부(130)가 지도 상에서 3차원 위치를 나타내는 벡터, P는 지도 상의 랜드마크가 이러한 지도 상에서 갖는 3차원 위치를 나타내는 벡터를 나타낸다. 도 8은 지도 상의 랜드마크가 각각의 후보 위치를 고려하여서 영상에 투영된 결과를 예시적으로 도시한다.

다음으로, 영상에 나타난 랜드마크의 위치와 영상에 투영된, 전술한 랜드마크의 위치 간의 이격 거리를 각각의 후보 위치마다 산출하는 단계(S1600)가 수행된다. 이격 거리 산출시, 영상에 나타난 랜드마크와 가장 가까운, 영상에 투영된 랜드마크 간의 이격 거리가 산출될 수 있다. 아울러, 영상에 복수 개의 랜드마크가 존재할 경우, 복수 개의 이격 거리에 대한 평균값이 산출될 수 있다. 도 9와 10은 영상에 나타난 랜드마크의 위치와 영상에 투영된, 전술한 랜드마크의 위치 간의 이격 거리를 시각적으로, 도시하고 있다.

다음으로, 단계 S1400에서 지정된 복수의 후보 위치 중에서 단계 S1600에서 산출된 이격 거리가 상대적으로 작은 후보 위치를 기준으로 새로운 복수의 후보 위치(N개)가 재지정되는 단계(S1700)가 수행된다. 여기서, 새로운 복수의 후보 위치를 재지정함에 있어서, 이격 거리를 기준으로 연산된 가중치가 이용될 수 있다. 이러한 가중치는 가우시안 에러 모델링을 통해, 즉 다음과 같은 수학식 2에 의해 계산 가능하다.

여기서, Δx는 영상의 좌표계 X축에서 이격된 거리의 양을 의미하고, Δy는 영상의 좌표계 Y축에서 이격된 거리의 양을 의미한다. 아울러, σ는 표준편차를 나타낸다.

이러한 단계 S1700에서 새로운 복수의 후보 위치를 재지정하는 과정은 단계 S1400에서 복수의 후보 위치가 지정되고 나서 차량이 이동한 경우, 그리고 단계 S1500 및 S1600이 수행된 이후에 수행된다.

다음으로, 단계 S1700에서 재지정된 복수의 후보 위치 간의 이격 거리가 기 설정된 기준을 만족시키는지를 판단하여서, 만족이 되면 이러한 재지정된 복수의 후보 위치를 차량의 새로운 현재 위치로 갱신하지만, 만족되지 못하면 이러한 기준을 만족시킬 때까지 단계 S1400 내지 S1700이 반복 수행될 수 있다(S1800).

이 때, 단계 S1800에서 언급된 '기준'이란 복수의 후보 위치 간의 이격 거리의 공분산으로부터 도출된 표준 편차가 소정의 임계치 이하인지 여부일 수 있으나 이에 한정되는 것은 아니다. 단계 S1800에서 언급된 기준이 만족될 경우, 새로운 복수의 후보 지점은 도 12에 도시된 것과 같이 도 6에 도시된 것보다 좁은 지점에 집중되어서 형성된다. 아울러, 이러한 지점에서는, 도 11에 도시된 것과 같이 영상에 나타난 랜드마크의 위치와 영상에 투영된, 전술한 랜드마크의 위치 간의 이격 거리가 작음을 알 수 있다.

이상에서 살펴본 바와 같이, 일 실시예에 따르면 일 실시예에 따르면 차량이 지도 상에서 갖는 위치 내지 소정의 좌표계 상에서 갖는 위치는 통신으로부터 획득된 주변 차량에 대한 정보, 그리고 차량 주변에 대해 촬영된 영상으로부터 판단 내지 산출 가능하다. 이 경우, 일 실시예에 따른 기술을 채용하는 차량, 예컨대 자율 주행 차량이 빌딩 등이 많이 있거나 교통 상황이 복잡한 도심 등에 위치해 있어서 GPS 수신을 원활하지 못한다고 하더라도, 통신과 영상에 의해 제공되는 정보를 통해 차량의 위치 판단을 정밀하게 할 수 있다.

한편, 일 실시예에 따른 차량의 위치를 판단하는 방법은, 이러한 방법에 포함된 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체, 또는 이러한 방법에 포함된 단계를 수행하도록 프로그램된 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램에 의해 구현 가능하다.

본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다

일 실시예에 따르면, 빌딩 등에 의해 GPS와 같은 시스템이 제대로 동작하기 어렵거나 또는 복잡한 도심 속의 주행 환경에서도 정밀하게 차량의 위치를 판단할 수 있다.

100: 차량 위치 판단 장치

Claims

차량의 위치를 판단하는 방법으로서,
통신을 수행하여서, 제1 주변 차량이 지도 상에서 갖는 위치를 획득하는 단계와,
상기 차량의 주변을 촬영한 영상을 기초로, 상기 영상에 포함된 제2 주변 차량에 대해 상기 차량이 갖는 상대적 위치를 획득하는 단계와,
상기 제1 주변 차량과 상기 제2 주변 차량을 매칭시키는 단계와,
상기 제1 주변 차량과 매칭된 상기 제2 주변 차량이 상기 지도 상에서 갖는 위치 및 상기 차량이 상기 제2 주변 차량에 대해 갖는 상대적 위치를 기초로 상기 차량이 상기 지도 상에서 갖는 현재 위치를 판단하는 단계와,
상기 지도 상에서 갖는 현재 위치를 기준으로, 복수의 후보 위치를 설정하고, 상기 복수의 후보 위치를 사용하여 상기 현재 위치를 업데이트 하는 단계를 포함하는
차량의 위치를 판단하는 방법.
제 1 항에 있어서,
상기 통신은 차량 간 통신(Vehicle to Vehicle)인
차량의 위치를 판단하는 방법.
제 1 항에 있어서,
상기 차량의 위치를 판단하는 방법은,
상기 통신의 수행 결과로부터 상기 제1 주변 차량의 차량 번호를 획득하는 단계와,
상기 영상으로부터 상기 제2 주변 차량의 차량 번호를 획득하는 단계를 더 포함하며,
상기 매칭시키는 단계는,
상기 제1 주변 차량의 차량 번호와 상기 제2 주변 차량의 차량 번호를 비교하여서 상기 제1 주변 차량과 상기 제2 주변 차량을 매칭시키는
차량의 위치를 판단하는 방법.
제 1 항에 있어서,
상기 상대적 위치를 획득하는 단계는,
상기 영상을 촬영한 카메라가 지면에 대해 갖는 높이 및 상기 카메라의 시선 방향을 나타내는 각도를 이용하여서 상기 상대적 위치를 획득하는
차량의 위치를 판단하는 방법.
제 1 항에 있어서,
상기 현재 위치를 업데이트 하는 단계는,
상기 현재 위치를 기준으로, 상기 지도 상에서 상기 복수의 후보 위치를 지정하는 단계와,
상기 지도 상에 구비되는 객체가 상기 영상에 투영됨에 따라 발생되는 이격 거리를, 상기 복수의 후보 위치에 반영하여, 상기 복수의 후보 위치를 결정하는 단계와,
상기 결정된 복수의 후보 위치를 반영하여 상기 현재 위치를 업데이트 하는 단계를 포함하는
차량의 위치를 판단하는 방법.
제 1 항에 있어서,
상기 현재 위치를 기준으로, 상기 지도 내에서 복수의 후보 위치를 지정하는 제1 단계와,
상기 지도 내에 존재하는 객체가 상기 영상에 투영되는 제1 위치를, 상기 복수의 후보 위치 각각을 고려하여서 산출하는 제2 단계와,
상기 영상 내에 존재하는 객체 중에서 상기 지도 내에 존재하는 객체와 대응되는 객체의 제2 위치와 상기 제1 위치 간의 이격 거리를, 상기 복수의 후보 위치마다 각각 산출하는 제3 단계와,
상기 복수의 후보 위치 중 상기 산출된 이격 거리가 상대적으로 작은 후보 위치를 기준으로 상기 지도 내에서 상기 복수의 후보 위치를 재지정하는 제4 단계와,
상기 제4 단계에서 재지정된 상기 복수의 후보 위치 간의 이격 거리가 기 설정된 기준을 만족시키면 상기 제4 단계에서 재지정된 상기 복수의 후보 위치를 상기 차량의 현재 위치로 갱신하고, 상기 기준을 만족시키지 못하면 상기 기준을 만족시킬 때까지 상기 제1 단계 내지 상기 제4 단계를 반복 수행하여서 상기 복수의 후보 위치를 재지정하는 단계를 포함하는
차량의 위치를 판단하는 방법.
제 6 항에 있어서,
상기 제1 위치는 다음의 수학식에 의해 산출되는
차량의 위치를 판단하는 방법.
m = K(R*P + T)
여기서, m은 상기 제1 위치를 나타내는 벡터, R은 상기 영상을 촬영한 촬영부의 시선 방향을 나타내는 벡터, T는 상기 촬영부가 상기 지도에서 갖는 3차원 위치를 나타내는 벡터, P는 상기 지도 내의 객체가 상기 지도 상에서 갖는 3차원 위치를 나타내는 벡터임.
차량의 위치를 판단하는 차량 위치 판단 장치로서,
통신부와,
상기 차량의 주변을 촬영하는 촬영부와,
상기 통신부에 의해 수행된 통신의 결과를 기초로 상기 차량 주변의 제1 주변 차량이 지도 상에서 갖는 위치를 획득하고, 상기 촬영부에 의해 촬영된 영상을 기초로 상기 영상에 포함된 제2 주변 차량에 대해 상기 차량이 갖는 상대적 위치를 획득하며, 상기 제1 주변 차량과 상기 제2 주변 차량을 매칭시킴으로써 상기 제1 주변 차량과 매칭된 상기 제2 주변 차량이 상기 지도 상에서 갖는 위치를 획득하고, 상기 제2 주변 차량이 상기 지도 상에서 갖는 위치 및 상기 차량이 상기 제2 주변 차량에 대해 갖는 상대적 위치를 기초로 상기 차량이 상기 지도 상에서 갖는 현재 위치를 판단하는 위치 판단부를 포함하고,
상기 위치 판단부는, 상기 지도 상에서 갖는 현재 위치를 기준으로, 복수의 후보 위치를 설정하고, 상기 복수의 후보 위치를 사용하여 상기 현재 위치를 업데이트 하는,
차량 위치 판단 장치.
차량의 위치를 판단하는 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체로서,
통신을 수행하여서, 제1 주변 차량이 지도 상에서 갖는 위치를 획득하는 단계와,
상기 차량의 주변을 촬영한 영상을 기초로, 상기 영상에 포함된 제2 주변 차량에 대해 상기 차량이 갖는 상대적 위치를 획득하는 단계와,
상기 제1 주변 차량과 상기 제2 주변 차량을 매칭시키는 단계와,
상기 제1 주변 차량과 매칭된 상기 제2 주변 차량이 상기 지도 상에서 갖는 위치 및 상기 차량이 상기 제2 주변 차량에 대해 갖는 상대적 위치를 기초로 상기 차량이 상기 지도 상에서 갖는 현재 위치를 판단하는 단계와,
상기 지도 상에서 갖는 현재 위치를 기준으로, 복수의 후보 위치를 설정하고, 상기 복수의 후보 위치를 사용하여 상기 현재 위치를 업데이트 하는 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는
컴퓨터 판독가능한 기록매체.
차량의 위치를 판단하는 방법으로서,
통신을 수행하여서, 제1 주변 차량이 소정의 좌표계에서 갖는 좌표값을 획득하는 단계와,
상기 차량의 주변을 촬영한 영상을 기초로, 상기 영상에 포함된 제2 주변 차량에 대해 상기 차량이 갖는 상대적 위치를 획득하는 단계와,
상기 제1 주변 차량과 상기 제2 주변 차량을 매칭시키는 단계와,
상기 제1 주변 차량과 매칭된 상기 제2 주변 차량이 상기 좌표계 상에서 갖는 좌표값 및 상기 차량이 상기 제2 주변 차량에 대해 갖는 상대적 위치를 기초로 상기 차량이 상기 좌표계에서 갖는 현재 위치를 판단하는 단계와,
지도 상에서 갖는 현재 위치를 기준으로, 복수의 후보 위치를 설정하고, 상기 복수의 후보 위치를 사용하여 상기 현재 위치를 업데이트 하는 단계를 포함하는
차량의 위치를 판단하는 방법.