KR20200093271A - 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체 - Google Patents

랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체 Download PDF

Info

Publication number
KR20200093271A
KR20200093271A KR1020190010528A KR20190010528A KR20200093271A KR 20200093271 A KR20200093271 A KR 20200093271A KR 1020190010528 A KR1020190010528 A KR 1020190010528A KR 20190010528 A KR20190010528 A KR 20190010528A KR 20200093271 A KR20200093271 A KR 20200093271A
Authority
KR
South Korea
Prior art keywords
landmark
type
location
image
vehicle
Prior art date
Application number
KR1020190010528A
Other languages
English (en)
Other versions
KR102604298B1 (ko
Inventor
이성수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020190010528A priority Critical patent/KR102604298B1/ko
Priority to CN201980089535.1A priority patent/CN113316706A/zh
Priority to PCT/KR2019/017743 priority patent/WO2020159076A1/ko
Priority to US17/425,284 priority patent/US11703344B2/en
Publication of KR20200093271A publication Critical patent/KR20200093271A/ko
Application granted granted Critical
Publication of KR102604298B1 publication Critical patent/KR102604298B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3682—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities output of POI information on a road map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3644—Landmark guidance, e.g. using POIs or conspicuous other objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3614—Destination input or retrieval through interaction with a road map, e.g. selecting a POI icon on a road map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

개시된 랜드마크 위치 추정 장치가 수행하는 랜드마크 위치 추정 방법은, 차량의 영상촬영장치에 의해 운행로 상의 각종 랜드마크를 포함하여 촬영된 영상에서 랜드마크 중 제 1형 랜드마크와 제 2형 랜드마크를 식별하는 단계와, 차량의 운행 지역이 포함된 디지털 지도와 복수의 영상을 기초로 제 1형 랜드마크의 3차원 위치를 추정하는 단계와, 제 1형 랜드마크의 3차원 위치를 포함하는 가상 평면 상에서 제 2형 랜드마크의 위치를 추정하는 단계를 포함한다.

Description

랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체{APPARATUS AND METHOD FOR ESTIMATING LOCATION OF LANDMARK AND COMPUTER RECORDABLE MEDIUM STORING COMPUTER PROGRAM THEREOF}
본 발명은 운행로 상의 각종 랜드마크의 위치를 추정하는 장치와 방법, 그리고 이러한 랜드마크 위치 추정 방법을 수행하도록 프로그램된 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 기록매체에 관한 것이다.
일반적으로 차량은 화석 연료, 전기 등을 동력원으로 하여 도로, 선로 등의 운행로를 주행하는 운송 장치를 의미한다.
차량은 기술의 발달에 따라 운전자에게 다양한 기능을 제공할 수 있도록 발전해왔다. 특히, 차량의 전장화 추세에 따라, 차량항법장치(vehicle navigation equipment)를 구비한 차량이 널리 보급되었다. 이러한 차량항법장치는 차량에 매립된 형태로 구비될 수도 있고, 별개의 제품형태로 차량에 탑재될 수도 있다.
아울러, 차량항법장치는 고도의 연산 기능을 갖는 스마트폰 등과 같은 각종정보처리기기에 응용프로그램 형태로 설치될 수도 있다.
이러한 차량항법장치의 주요 기능으로는 목적지까지 경로를 디지털 지도 상에 표시하거나 음성을 통해 경로 정보를 제공하는 것과 안전 운행을 위한 각종 정보를 디지털 지도 상에 표시하거나 또는 음성을 통해 제공하는 것이 있다. 예를 들어, 안전 운행을 위한 정보로는 주행로의 굴곡 정도 안내, 도로교통법상의 제한속도 안내, 과속 단속 위치 안내 등이 포함된다. 과속 단속 위치 안내의 경우에는 과속 단속카메라의 설치 위치나 과속 구간단속 위치를 사전에 안내하여 운전자가 인지할 수 있도록 함으로써 갑작스런 주행속도의 변경 등으로 인한 사고발생의 위험성을 낮추어 준다.
한편, 과속 단속카메라는 과속으로 주행하는 차량을 촬영하기 위한 장비로서, 운전자가 과속을 하지 않도록 유도하여 사고 발생의 위험성을 낮추는 효과가 있고, 도로 등과 같은 차량의 운행로 상에 설치된 구조물에 부설되는 형태로 주로 설치된다.
그런데, 이러한 과속 단속카메라는 구입비용 및 운용비용이 비싸기 때문에 도로 상의 설치 개수를 지속적으로 늘리지 않고 설치 위치를 변경함으로써 과속 예방 효과의 상승을 도모하고 있다.
따라서, 차량항법장치에서 과속 단속 위치 안내 등을 포함하는 안전 운행을 위한 정보를 정확히 제공하기 위해서는 과속 단속카메라의 설치 위치 등을 포함하는 과속 단속 위치에 대한 정보를 항상 최신 상태로 유지할 필요가 있다.
종래 기술에 따르면, 과속 단속 위치에 대한 정보를 획득하기 위해 작업자가 직접 이동하면서 도로 상에 설치된 과속 단속카메라의 설치 위치를 육안으로 검사하였고, 차량항법장치의 과속 단속 위치에 대한 정보를 육안 검사 결과에 기초하여 갱신하는 작업을 수행하였다.
그러나 이러한 종래 기술은 작업자의 숙련도에 따라 과속 단속카메라의 설치 위치에 대한 정보의 신뢰성이 좌우되고, 과속 단속 위치에 대한 정보를 항상 최신 상태로 유지하기 위한 유지 보수 비용이 과도하게 소요되는 문제점이 있었다.
등록특허공보 제10-1073455호, 등록일자 2011년 10월 07일.
차량의 운행로 상의 과속 단속 위치에 대한 정보를 항상 최신 상태로 유지하기 위한 유지 보수 비용을 절감하고 과속 단속카메라의 설치 위치에 대한 정보의 신뢰성을 제고하기 위한 노력의 일환으로서, 영상 촬영과 영상 분석을 통한 기계학습(machine learning)법을 접목하는 방안을 고려할 수 있다. 차량에 탑재한 영상촬영장치를 이용하여 과속 단속카메라를 포함하는 영상을 획득하고, 영상 분석을 통한 기계학습법을 이용하여 영상 내의 과속 단속카메라를 식별함으로써, 과속 단속카메라가 포함된 영상이 촬영된 위치를 과속 단속카메라의 설치 위치로 추정할 수 있다.
그런데, 과속 단속카메라는 제한 속도 표지판이나 과속 경고문구 표지판 등과 같은 교통 표지판과는 달리 영상학적 식별성이 낮아 영상 분석을 통한 기계학습법으로는 영상 내에서 과속 단속카메라를 안정적으로 식별하지 못하고, 이로 인해 과속 단속카메라의 설치 위치에 대한 정보의 신뢰성이 여전히 보장되지 않는다.
본 발명의 실시예에 따르면, 과속 단속카메라 등과 같이 차량의 운행로 상에 설치된 랜드마크의 위치를 신뢰성 높게 추정하는 장치와 방법, 그리고 이러한 랜드마크 위치 추정 방법을 수행하도록 프로그램된 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 기록매체를 제공한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 제 1 관점에 따라 랜드마크 위치 추정 장치가 수행하는 랜드마크 위치 추정 방법은, 차량의 영상촬영장치에 의해 운행로 상의 각종 랜드마크를 포함하여 촬영된 영상에서 상기 랜드마크 중 제 1형 랜드마크와 제 2형 랜드마크를 식별하는 단계와, 상기 차량의 운행 지역이 포함된 디지털 지도와 복수의 상기 영상을 기초로 상기 식별된 제 1형 랜드마크의 3차원 위치를 추정하는 단계와, 상기 제 1형 랜드마크의 3차원 위치를 포함하는 가상 평면 상에서 상기 식별된 제 2형 랜드마크의 위치를 추정하는 단계를 포함한다.
본 발명의 제 2 관점에 따르면, 상기 랜드마크 위치 추정 방법을 프로세서가 수행하도록 하는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 기록매체를 제공한다.
본 발명의 제 3 관점에 따른 랜드마크 위치 추정 장치는, 차량의 영상촬영장치에 의해 운행로 상의 각종 랜드마크가 포함되어 촬영된 영상에서 상기 랜드마크 중 제 1형 랜드마크와 제 2형 랜드마크를 식별하는 영상처리부와, 상기 차량의 운행 지역이 포함된 디지털 지도가 저장되는 저장부와, 상기 디지털 지도와 복수의 상기 영상을 기초로 상기 식별된 제 1형 랜드마크의 3차원 위치를 추정한 후, 상기 제 1형 랜드마크의 3차원 위치를 포함하는 가상 평면 상에서 상기 식별된 제 2형 랜드마크의 위치를 추정하는 제어부를 포함한다.
본 발명의 실시예에 의하면, 차량의 운행 중에 촬영된 영상 내에 포함된 각종 랜드마크 중 영상학적 식별성이 상대적으로 높은 랜드마크에 대하여 그 3차원 위치를 먼저 추정한 후에 추정된 3차원 위치에 기초하여 영상학적 식별성이 상대적으로 낮은 랜드마크의 위치를 추정한다. 예를 들어, 차량 운행로 상의 랜드마크 중 과속 단속카메라의 위치를 추정할 때에, 과속 단속카메라와 함께 동일한 구조물에 부설되어 있는 숫자를 포함하는 제한 속도 표지판이나 문자를 포함하는 과속 경고문구 표지판 등의 교통 표지판에 대하여 3차원 위치를 먼저 추정한 후에 교통 표지판의 3차원 위치에 기초하여 과속 단속카메라의 위치를 추정할 수 있다.
따라서, 영상학적 식별성이 상대적으로 낮은 랜드마크에 대하여 그 위치 정보를 신속하게 추정할 수 있고, 추정된 위치 정보의 신뢰성이 영상학적 식별성이 상대적으로 높은 랜드마크만큼 향상되는 효과가 있다.
이러한 본 발명의 실시예를 차량항법장치에서 차량의 운행로 상의 과속 단속 위치에 대한 정보를 항상 최신 상태로 유지하기 위한 용도로 이용할 경우에 그 유지 보수 비용을 절감하고 과속 단속카메라의 설치 위치에 대한 정보의 신뢰성이 제고되는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 랜드마크 위치 추정 시스템의 구성도이다.
도 2는 본 발명의 다른 실시예에 따른 랜드마크 위치 추정 시스템의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 랜드마크 위치 추정 방법을 설명하기 위한 흐름도이다.
도 4는 차량의 운행로 상에 설치된 제 1형 랜드마크와 제 2 형 랜드마크의 예시도이다.
도 5는 본 발명의 일 실시예에 따른 제 1형 랜드마크의 3차원 위치를 추정하는 과정을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 차량과 영상촬영장치의 좌표계를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상촬영장치에 대한 초기 위치 정보 획득 방법의 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 랜드마크의 매칭 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따라 영상촬영장치의 초기 위치 정보에 기초하여 영상촬영장치의 위치 정보를 획득하는 방법의 흐름도이다.
도 10은 본 발명의 일 실시예에 따라 두 개의 영상을 이용하여 제 1형 랜드마크의 3차원 위치를 추정하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따라 제 1형 랜드마크에 대하여 추정된 3차원 위치의 정확도를 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따라 제 2형 랜드마크의 위치를 추정하는 상세한 과정을 나타낸 흐름도이다.
도 13 및 도 14는 본 발명의 일 실시예에 따라 제 2형 랜드마크에 대한 3차원 위치를 추정하는 원리를 설명하기 위한 도면이다.
도 15는 본 발명의 다른 실시예에 따른 랜드마크 위치 추정 방법을 설명하기 위한 흐름도이다.
도 16은 본 발명의 다른 실시예에 따른 랜드마크 위치 추정 방법에 의해 제 2형 랜드마크에 대한 3차원 위치를 추정하는 원리를 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 도 1 내지 도 16을 참조하여 본 발명의 일 실시예에 따른 랜드마크 위치 추정 장치 및 랜드마크 위치 추정 방법에 대해 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 랜드마크 위치 추정 시스템의 구성도이고, 도 2는 본 발명의 다른 실시예에 따른 랜드마크 위치 추정 시스템의 구성도이다.
일 실시예에 따른 랜드마크 위치 추정 시스템은 도 1에 나타낸 바와 같이, 차량(V)에 랜드마크 위치 추정 장치(100)가 탑재될 수 있고, 차량(V)에 탑재된 영상촬영장치(10) 및 차량항법장치(20)와 연동할 수 있다. 영상촬영장치(10)와 차량항법장치(20) 및 랜드마크 위치 추정 장치(100)는 하나 이상이 일체로 구현될 수도 있다.
다른 실시예에 따른 랜드마크 위치 추정 시스템은 도 2에 나타낸 바와 같이, 차량(V)에 영상촬영장치(10)와 차량항법장치(20)가 탑재될 수 있고, 랜드마크 위치 추정 장치(200)가 영상촬영장치(10) 및 차량항법장치(20)와 연동할 수 있도록 지원하는 차량용 단말장치(100a)가 차량(V)에 탑재될 수 있다. 영상촬영장치(10)와 차량항법장치(20) 및 차량용 단말장치(100a)는 하나 이상이 일체로 구현될 수도 있다. 예를 들어, 차량용 단말 장치(100a)는 마이크로 프로세서(microprocessor) 등과 같은 컴퓨팅 연산장치를 포함할 수 있다. 도 2에는 한 대의 차량(V)만을 도시하였으나, 영상촬영장치(10)와 차량항법장치(20) 및 차량용 단말장치(100a)가 탑재된 차량(V)은 여러 대일 수 있고, 랜드마크 위치 추정 장치(200)는 여러 대의 차량(V)에 탑재된 차량용 단말장치(100a)들과 통신을 수행하여 연동할 수 있다.
차량(V)은 도로나 선로를 따라 주행하면서 인간, 물건 또는 동물 등을 하나의 위치에서 다른 위치로 이동시킬 수 있는 운송 수단을 의미할 수 있다. 일 실시예에 따른 차량(V)은 삼륜 또는 사륜 자동차, 모터사이클 등의 이륜 자동차, 건설 기계, 원동기장치자전거, 자전거 및 선로를 주행하는 열차 등을 포함할 수 있다.
차량(V)에 탑재된 영상촬영장치(10) 또는 차량항법장치(20)는 GPS(Global Position System) 모듈을 구비할 수 있고, GPS 모듈을 통해 GPS 위성으로부터 GPS 신호를 수신할 수 있으며, 수신된 GPS 신호에 기초하여 위치 정보를 획득할 수 있다.
영상촬영장치(10)는 카메라를 포함하는 스마트폰 등과 같은 정보처리기기이거나 카메라를 포함하는 차량용 블랙박스일 수 있다. 또는 영상촬영장치(10)는 랜드마크 위치 추정 장치(100, 200)를 위해 차량(V)에 탑재된 전용의 카메라일 수도 있다. 영상촬영장치(10)는 차량(V)의 전방, 측방, 및/또는 후방을 향하도록 복수의 카메라가 마련되어, 해당 방향으로의 영상을 촬영할 수 있다. 촬영된 영상은 영상처리 과정을 통해 차량(V) 주변의 물체뿐만 아니라 차선이나 표지판 등과 같은 각종 랜드마크에 대한 정보를 획득하는 기초가 될 수 있다.
차량항법장치(20)에는 차량(V)의 운행 지역이 포함된 디지털 지도가 미리 저장될 수 있고, 차량항법장치(20)는 디지털 지도 및 GPS 신호에 기초하여 차량(V)의 운행에 따른 경로 정보를 제공하거나 안전 운행을 위한 각종 정보를 제공하는 등의 내비게이션(navigation) 서비스를 제공할 수 있다. 디지털 지도는 안전하고 정밀하게 차량(V)을 제어하기 위한 높은 정확도를 가질 수 있고, 도로의 평면 위치뿐만 아니라 고도, 경사, 곡률 등에 대한 정보를 포함하는 지도를 의미할 수 있다. 또한, 디지털 지도는 차선, 교통 표지판, 과속 단속카메라, 신호등, 가드레일과 같은 도로 상의 각종 랜드마크에 대한 정보(예컨대, 랜드마크 식별자 등)를 더 포함하는 지도를 의미할 수 있다.
도 1을 참조하면, 차량(V)의 운행로 상의 각종 랜드마크의 위치를 추정하기 위해 랜드마크 위치 추정 장치(100)는 영상처리부(110), 저장부(120), 통신부(130) 및 제어부(140)를 포함할 수 있다.
랜드마크 위치 추정 장치(100)의 영상처리부(110)는 차량(V)의 영상촬영장치(10)에 의해 운행로 상의 각종 랜드마크가 포함되어 촬영된 영상에서 랜드마크 중 제 1형 랜드마크와 제 2형 랜드마크를 식별할 수 있다. 예를 들어, 제 1형 랜드마크는 과속 경고문구 등과 같은 문자를 포함하는 교통 표지판이거나 제한 속도 등과 같은 숫자를 포함하는 교통 표지판일 수 있고, 제 2형 랜드마크는 문자 또는 숫자를 포함하지 않는 과속 단속카메라일 수 있다.
랜드마크 위치 추정 장치(100)의 저장부(120)에는 차량(V)의 운행 지역이 포함된 디지털 지도가 미리 저장될 수 있다. 디지털 지도는 운행로의 평면 위치뿐만 아니라 고도, 경사, 곡률 등에 대한 정보를 포함하는 지도를 의미할 수 있다. 또한, 디지털 지도는 차선, 교통 표지판, 과속 단속카메라, 신호등, 가드레일과 같은 도로 상의 각종 랜드마크에 대한 정보(예컨대, 랜드마크 식별자 등)를 더 포함하는 지도를 의미할 수 있다. 이러한 저장부(120)에는 본 발명의 여러 가지의 실시예에 따른 랜드마크 위치 추정 방법을 프로세서가 수행하도록 하는 컴퓨터 프로그램이 저장될 수 있다. 예를 들어, 저장부(120)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 플래시 메모리(flash memory)와 같은 프로그램 명령어들을 저장하고 수행하도록 특별히 구성된 하드웨어 장치 등과 같이 컴퓨터 판독 가능한 기록매체일 수 있다.
랜드마크 위치 추정 장치(100)의 통신부(130)는 제어부(140)의 제어에 따라 영상촬영장치(10) 및 차량항법장치(20)와 공지된 여러 가지의 통신 방법으로 통신을 수행하여 정보를 송수신할 수 있다. 통신부(130)는 유선 채널 또는 무선 채널을 통해 영상촬영장치(10) 및 차량항법장치(20)와 통신을 수행할 수 있다. 예를 들어, 통신부(130)는 NFC(Near Field Communication), 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), WFD(Wi-Fi Direct), UWB(Ultra wideband), 적외선 통신(IrDA; Infrared Data Association), BLE(Bluetooth Low Energy), CDMA(Code-Division Multiple Access), GSM(Global System for Mobile Communications), W-CDMA(Widebend-CDMA), LTE(Long Term Evolution) 등의 공지된 통신 방법을 채택하여 통신을 수행할 수 있다. 이러한 통신부(130)에 의한 통신 방법은 상술한 실시예에 한정되지 않는다.
랜드마크 위치 추정 장치(100)의 제어부(140)는 저장부(120)에 저장된 디지털 지도와 영상촬영장치(10)에서 촬영된 복수의 영상을 기초로 랜드마크 중 제 1형 랜드마크의 3차원 위치를 추정한 후, 제 1형 랜드마크의 3차원 위치를 포함하는 가상 평면 상에서 랜드마크 중 제 2형 랜드마크의 위치를 추정할 수 있다. 이러한 제어부(140)는 영상처리부(110), 저장부(120) 및 통신부(130)를 제어하고, 도 3, 도 5, 도 7, 도 9 및 도 12를 참조하여 아래에서 설명할 본 발명의 여러 가지의 실시예에 따른 랜드마크 위치 추정 방법을 수행할 수 있다. 예를 들어, 제어부(140)는 마이크로 프로세서 등과 같은 컴퓨팅 연산장치를 포함할 수 있다.
도 2를 참조하면, 차량(V)의 운행로 상의 각종 랜드마크의 위치를 추정하기 위해 랜드마크 위치 추정 장치(200)는 통신부(210), 수집부(220), 저장부(230) 및 제어부(240)를 포함할 수 있다.
랜드마크 위치 추정 장치(200)의 통신부(210)는 제어부(240)의 제어에 따라 차량용 단말장치(100a)와 공지된 여러 가지의 통신 방법으로 통신을 수행하여 정보를 송수신할 수 있다. 통신부(210)는 유선 채널 또는 무선 채널을 통해 차량용 단말장치(100a)와 통신을 수행할 수 있다. 예를 들어, 통신부(210)는 NFC, 무선 랜, 와이파이, 블루투스, 지그비, WFD, UWB, 적외선 통신, BLE, CDMA, GSM, W-CDMA, LTE 등의 공지된 통신 방법을 채택하여 통신을 수행할 수 있다. 이러한 통신부(210)에 의한 통신 방법은 상술한 실시예에 한정되지 않는다.
랜드마크 위치 추정 장치(200)의 수집부(220)는 제어부(240)의 제어에 따라 통신부(210)를 통하여 복수의 차량(V)의 차량용 단말장치(100a)로부터 각종 데이터를 수집하여 제어부(240)에 제공할 수 있다. 예를 들어, 수집부(220)에 의해 제어부(240)에 제공되는 각종 데이터는 영상촬영장치(10)에 의해 촬영된 영상을 포함할 수 있고, 차량항법장치(20)의 GPS 신호 또는 차량(V)의 위치 정보를 포함할 수 있다. 또는, 수집부(220)에 의해 제어부(240)에 제공되는 각종 데이터는 본 발명의 다른 실시예에 따른 랜드마크 위치 추정 방법을 위해 차량용 단말장치(100a)에 의해 연산된 데이터를 포함할 수 있다. 예를 들어, 수집부(220)는 마이크로 프로세서 등과 같은 컴퓨팅 연산장치를 포함할 수 있다.
랜드마크 위치 추정 장치(200)의 저장부(230)에는 복수의 차량(V)의 운행 지역이 포함된 디지털 지도가 미리 저장될 수 있다. 디지털 지도는 운행로의 평면 위치뿐만 아니라 고도, 경사, 곡률 등에 대한 정보를 포함하는 지도를 의미할 수 있다. 또한, 디지털 지도는 차선, 교통 표지판, 과속 단속카메라, 신호등, 가드레일과 같은 도로 상의 각종 랜드마크에 대한 정보(예컨대, 랜드마크 식별자 등)를 더 포함하는 지도를 의미할 수 있다. 이러한 저장부(230)에는 본 발명의 여러 가지의 실시예에 따른 랜드마크 위치 추정 방법을 프로세서가 수행하도록 하는 컴퓨터 프로그램이 저장될 수 있다. 예를 들어, 저장부(230)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 플래시 메모리와 같은 프로그램 명령어들을 저장하고 수행하도록 특별히 구성된 하드웨어 장치 등과 같이 컴퓨터 판독 가능한 기록매체일 수 있다.
랜드마크 위치 추정 장치(200)의 제어부(240)는 복수의 차량(V)에 탑재된 영상촬영장치(10)에 의해 운행로 상의 각종 랜드마크를 포함하여 촬영된 영상에서 제 1형 랜드마크와 제 2형 랜드마크를 식별하고, 복수의 차량의 운행 지역이 포함된 디지털 지도와 복수의 차량(V)에 탑재된 영상촬영장치(10)에 의해 촬영된 영상을 기초로 제 1형 랜드마크의 3차원 위치를 추정하며, 복수의 차량(V)에 탑재된 영상촬영장치(10)에 의해 촬영된 영상을 기초로 각각 추정된 제 1형 랜드마크의 3차원 위치들에 기초하여 제 1형 랜드마크의 3차원 위치를 최종 결정할 수 있다. 그리고, 제어부(240)는 복수의 차량(V)에 탑재된 각각의 영상촬영장치(10)의 좌표계 중심으로부터 각각의 영상촬영장치(10)에서 촬영된 영상 내 제 2형 랜드마크로 식별된 좌표를 지나는 3차원 방향 벡터들과 최종 결정된 제 1형 랜드마크의 3차원 위치를 포함하는 가상 평면이 만나는 교점들을 후보군으로 획득한 후 후보군에 기초하여 제 2형 랜드마크의 위치를 최종 결정할 수 있다. 이러한 각종 연산을 위해, 제어부(240)는 마이크로 프로세서 등과 같은 컴퓨팅 연산장치를 포함할 수 있다. 예를 들어, 제 1형 랜드마크는 과속 경고문구 등과 같은 문자를 포함하는 교통 표지판이거나 제한 속도 등과 같은 숫자를 포함하는 교통 표지판일 수 있고, 제 2형 랜드마크는 문자 또는 숫자를 포함하지 않는 과속 단속카메라일 수 있다.
이러한 제어부(240)는 통신부(210), 수집부(220) 및 저장부(230)를 제어하고, 도 3, 도 5, 도 7, 도 9, 도 12 및 도 15를 참조하여 아래에서 설명할 본 발명의 여러 가지의 실시예에 따른 랜드마크 위치 추정 방법을 수행할 수 있다.
또한, 차량용 단말장치(100a)는 랜드마크 위치 추정 장치(200)가 영상촬영장치(10) 및 차량항법장치(20)와 연동할 수 있도록 지원하는 기능 이외에 랜드마크 위치 추정 장치(100)가 수행하는 역할을 수행함으로써 랜드마크 위치 추정 장치(200)의 역할을 분담할 수 있다. 예를 들어, 차량용 단말장치(100a)는 자신이 탑재된 차량(V)의 영상촬영장치(10)에 의해 운행로 상의 각종 랜드마크가 포함되어 촬영된 영상에서 랜드마크 중 제 1형 랜드마크와 제 2형 랜드마크를 식별할 수 있다. 그리고, 차량용 단말장치(100a)는 미리 저장된 디지털 지도와 영상촬영장치(10)에서 촬영된 복수의 영상을 기초로 랜드마크 중 제 1형 랜드마크의 3차원 위치를 추정할 수 있고, 추정된 제 1형 랜드마크의 3차원 위치에 대한 정보를 랜드마크 위치 추정 장치(200)로 전송할 수 있다.
먼저, 도 1 내지 도 14를 참조하여 랜드마크 위치 추정 장치(100, 200)에서 수행할 수 있는 일 실시예에 따른 랜드마크 위치 추정 방법에 대해 설명하기로 한다.
도 3을 참조하면, 차량(V)의 영상촬영장치(10)는 차량(V)의 운행로 상의 각종 랜드마크가 포함된 영상을 촬영하고, 촬영된 영상을 랜드마크 위치 추정 장치(100, 200)로 제공한다. 그러면, 랜드마크 위치 추정 장치(100, 200)는 영상촬영장치(10)에 의해 촬영된 영상에 포함된 랜드마크 중 제 1형 랜드마크와 제 2형 랜드마크를 식별한다. 예를 들어, 랜드마크 위치 추정 장치(100, 200)는 영상 분석을 통한 공지의 기계학습(machine learning)법을 이용하여 제 1형 랜드마크와 제 2형 랜드마크를 식별할 수 있다.
잠시 도 4를 참조하면, 차량(V)의 운행로 상에 제한 속도 등과 같은 숫자를 포함하는 교통 표지판(401)과 과속 경고문구 등과 같은 문자를 포함하는 교통 표지판(402) 및 문자 및 숫자를 포함하지 않는 과속 단속카메라(403)가 동일한 구조물에 함께 부설될 수 있다. 이 중에서 숫자 또는 문자를 포함하여 영상학적 식별성이 상대적으로 높은 랜드마크를 제 1형 랜드마크로 분류할 수 있고, 숫자 또는 문자를 포함하지 않아 영상학적 식별성이 상대적으로 낮은 랜드마크를 제 2형 랜드마크로 분류할 수 있다.
다시 도 3을 참조하면, 랜드마크 위치 추정 장치(100, 200)는 제 1형 랜드마크의 영상학적 특징정보와 제 2형 랜드마크의 영상학적 특징정보를 사전에 학습하고, 영상촬영장치(10)에 의해 촬영된 영상을 분석하여 영상 내에서 제 1형 랜드마크가 존재하는 픽셀(또는 좌표)과 제 2형 랜드마크가 존재하는 픽셀(또는 좌표)를 식별할 수 있다. 이때, 제 1형 랜드마크보다 영상학적 식별성이 낮은 제 2형 랜드마크는 식별 오류가 발생하거나 제 2형 랜드마크가 있는 픽셀(또는 좌표)에 대한 식별 오류가 발생할 수 있으나, 이러한 식별 오류는 추후 제 1형 랜드마크의 3차원 위치에 기초하여 제 2형 랜드마크의 위치를 신뢰성 높게 추정하기 때문에 무방하다(S310).
그리고, 랜드마크 위치 추정 장치(100, 200)는 동일한 제 1형 랜드마크가 촬영된 복수의 영상을 이용하여 제 1형 랜드마크의 3차원 위치를 추정한다(S320).
단계 S320를 통해 랜드마크 위치 추정 장치(100, 200)가 제 1형 랜드마크의 3차원 위치를 추정하는 세부적인 실시예는 도 5에 나타내었다.
잠시 도 5를 참조하면, 랜드마크 위치 추정 장치(100, 200)는 영상촬영장치(10)가 촬영한 복수의 영상에 대해 영상을 촬영한 위치를 각각 파악한다. 즉, 각각의 영상을 촬영한 영상촬영장치(10)의 위치를 각각 파악한다(S510). 예를 들어, 랜드마크 위치 추정 장치(100, 200)는 영상촬영장치(10)에 의해 영상이 촬영될 때에 차량항법장치(20)에 의한 위치 정보를 영상촬영장치(10)의 위치로서 파악할 수 있다. 그런데, 차량항법장치(20)와 영상촬영장치(10)가 서로 멀리 이격되어 있는 상태일 수 있기 때문에 영상촬영장치(10)의 위치를 좀더 정확하게 파악할 필요가 있다.
랜드마크 위치 추정 장치(100, 200)에서 영상촬영장치(10)의 위치를 파악하는 과정에 대해 도 6 내지 도 9를 참조하여 살펴보기로 한다.
도 6은 일 실시예에 따른 차량(V)과 영상촬영장치(10)의 좌표계를 설명하기 위한 도면으로서, 차량(V)의 좌표계와 차량(V)에 설치된 카메라(C)의 좌표계를 예시한다. 차량(V)은 OV를 원점으로 하고, 차량(V)의 진행 방향으로의 XV축, 지면에 수직 방향으로의 ZV축, XV축과 ZV축에 수직인 YV축으로 구성되는 차량 좌표계를 가질 수 있다. 반면, 차량(V)에 설치된 카메라(C)는 OC를 원점으로 하고, 설치 위치 및 자세각에 따라 결정되는 XC축, YC축, ZC축으로 구성되는 카메라 좌표계를 가질 수 있다. 이처럼 서로 상이한 좌표계 상의 두 정보의 융합하기 위해서는 좌표계의 통일이 요구되며, 이를 카메라 캘리브레이션(calibrtion)이라 한다.
이를 위해, 차량(V)의 주행에 앞서 사전에 카메라 캘리브레이션을 수행할 수 있다. 구체적으로, 차량(V)에 설치된 카메라(C)를 이용하여 보정용 인식 패턴에 대한 영상을 획득하고, 이를 이용하여 카메라(C)가 장착된 각도와 위치를 수동으로 획득할 수 있다. 다른 예로, 차량(V)의 주행 중에 카메라(C)를 통해 차선을 인식하고, 인식된 차선에 기초하여 소실점의 위치를 확인함으로써 카메라(C)의 자세각을 획득할 수도 있다.
랜드마크 위치 추정 장치(100, 200)는 카메라(C)에 의해 촬영된 영상과 디지털 지도 상의 랜드마크를 매칭함으로써 카메라(C)의 위치 정보를 추정할 수 있다. 영상과 지도의 매칭을 위해서는 정확한 카메라(C)의 위치 정보가 요구되는데, 상술한 바와 같이 차량(V)의 좌표계와 카메라(C)의 좌표계가 다르게 설정될 수 있어, 좌표계의 변환이 필요하다. 또한, 고층 건물이 밀집한 지역 등에서는 GPS 정보에 기반하는 차량(V)의 초기 위치 정보가 정확하지 않을 수 있으므로, 카메라(C)의 위치 추정에 앞서 카메라(C)에 대한 캘리브레이션이 선행될 필요가 있다.
도 7은 일 실시예에 따른 카메라(C)에 대한 초기 위치 정보 획득 방법의 흐름도이고, 도 8은 일 실시예에 따른 랜드마크의 매칭 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 먼저 GPS 정보에 기반하는 차량(V)의 초기 위치 정보를 획득할 수 있고(S610), 이렇게 획득된 차량(V)의 초기 위치 정보에 기초하여 카메라(C)의 초기 위치를 획득할 수 있다.
랜드마크 위치 추정 장치(100, 200)는 연속하여 차량(V)의 초기 위치를 기초로 차량(V)의 진행방향을 나타내는 XV축을 획득하고, 디지털 지도 상의 차선에 의해 결정되는 지면 영역으로부터 수직 방향으로의 ZV축을 획득한 후, ZV축에 대하여 XV축으로의 외적(Cross Product)을 수행하여 YV축을 획득할 수 있다. 나아가, GPS 정보에 기반한 차량(V)의 초기 위치에 내제된 오차에 의해 앞서 획득한 XV축과 YV축이 수직이 아닐 수 있음을 고려하여, ZV축에 대하여 YV축으로의 외적(Cross Product)을 수행하여 XV축을 보정할 수 있다.
이를 통해, 랜드마크 위치 추정 장치(100, 200)는 카메라(C)의 초기 위치인 3차원 좌표 및 초기 자세각인 3차원 좌표축을 획득할 수 있다.
그 다음, 랜드마크 위치 추정 장치(100, 200)는 디지털 지도에서 차량(V)의 초기 위치 정보를 기초로 제 1 관심 영역을 결정할 수 있다(S620). 구체적으로, 랜드마크 위치 추정 장치(100, 200)는 차량(V)의 초기 위치 정보를 기준으로 제 1 반경 이내의 영역을 제 1 관심 영역으로 결정할 수 있다. 예를 들어, 제 1 반경은 수 m 이하일 수 있다.
제 1 관심 영역이 결정되면, 랜드마크 위치 추정 장치(100, 200)는 제 1 관심 영역 내에 존재하는 차선에 대한 제 1 랜드마크를 카메라(C)에 의해 촬영된 영상에 매칭하여 카메라(C)의 초기 자세각을 획득할 수 있다(S630). 구체적으로, 랜드마크 위치 추정 장치(100, 200)는 수학식 1에 따라 카메라(C)의 초기 자세각에 따른 회전 행렬 R을 획득할 수 있다.
Figure pat00001
여기서, 수학식 1의 해인 S*는 카메라(C)의 초기 자세각에 대한 회전 행렬 R과 초기 위치에 대한 이동 행렬 T로 구성되는 초기 위치 정보를 나타내고, Zk는 영상으로부터 검출된 차선의 좌표를 의미하고, Pk는 Zk에 대응되는 디지털 지도 상의 랜드마크의 좌표를 의미하고, Czk와 Cpk 각각은 Zk와 Pk에 대한 오차를 나타내는 공분산을 의미하고, H는 함수 h()에 대한 편미분(Jacobian)을 의미할 수 있다. 또한, 함수 h()는 디지털 지도 상의 랜드마크 좌표를 영상에 투영하는 함수를 의미하며, 수학식 2에 따라 정의될 수 있다.
Figure pat00002
여기서, T는 카메라(C)의 초기 위치에 대한 이동 행렬을 의미하고, R은 카메라(C)의 초기 자세각에 대한 회전 행렬을 의미하고, P는 디지털 지도 상에서 랜드마크의 좌표를 의미하고, K는 카메라(C)의 좌표계에 기초한 좌표를 카메라(C)에 의해 촬영된 영상으로 투영하기 위한 카메라(C)의 내부 파라미터 행렬을 의미할 수 있다.
수학식 1의 해를 구하기 위해, 랜드마크 위치 추정 장치(100, 200)는 공지된 알고리즘 중 적어도 하나를 선택할 수 있으며, 예를 들어 Gauss Newton 알고리즘 또는 Levenberg-Marquardt 알고리즘을 이용할 수 있다.
도 8은 2차원 공간 상에서 특징점 PI1, PI2, PI3로 구성되는 Point Cloud Set LI와 특징점 PM1, PM2, PM3, PM11, PM12, PM13로 구성되는 Point Cloud Set LM을 예시한 도면으로, 점선 영역은 내부 특징점의 공분산을 의미할 수 있다.
도 8을 참조하면, 차선과 같이 일방향으로 연장되는 랜드마크의 Point Cloud Set의 특징점에 대한 공분산은 연장 방향으로 형성되는 타원 형상일 수 있다. 이를 기초로, 랜드마크 위치 추정 장치(100, 200)는 서로 가장 가까운 특징점들을 대응관계로 하여 수학식 1의 해를 반복 연산함으로써 제 1 랜드마크를 영상에 매칭할 수 있다. 도 8에서 점선으로 연결되는 특징점은 상호 대응관계를 나타낼 수 있다.
일 방향으로 연장되는 차선에 대한 제 1 랜드마크를 영상에 매칭하고자 수학식 1을 연산하는 경우, 차선이 연장되는 종 방향에 대해서는 오차가 큰 반면, 횡 방향에 대해서는 오차가 작을 수 있다. 그 결과, 카메라(C)의 초기 자세각에 대한 회전 행렬 R은 신뢰할 만한 정확도를 가질 수 있다.
반면 카메라(C)의 초기 위치에 대한 이동 행렬 T는 회전 행렬 R에 비해 부정확할 수 있다. 따라서, 랜드마크 위치 추정 장치(100, 200)는 차선 이외의 제 2 랜드마크를 영상에 매칭함으로써 카메라(C)의 초기 위치에 대한 이동 행렬 T를 구할 수 있다. 구체적으로, 랜드마크 위치 추정 장치(100, 200)는 디지털 지도에서 차량(V)의 초기 위치 정보를 기초로 제 2 관심 영역을 결정할 수 있다(S640). 구체적으로, 랜드마크 위치 추정 장치(100, 200)는 차량(V)의 초기 위치 정보를 기준으로 제 1 반경 이상의 제 2 반경 이내의 영역을 제 2 관심 영역으로 결정할 수 있다. 카메라(C)의 초기 위치 정보 중 초기 자세각이 획득된 바, 보다 넓은 범위 내의 랜드마크를 이용함으로써 카메라(C)의 초기 위치를 정확하게 획득하기 위함이다. 이 때, 제 2 반경은 수백 m 이하일 수 있다.
그 다음, 랜드마크 위치 추정 장치(100, 200)는 제 2 관심 영역 내에 존재하는 차선 이외의 제 2 랜드마크를 카메라(C)의 초기 자세각을 기준으로 영상에 매칭하여 카메라(C)의 초기 위치를 획득할 수 있다(S650). 구체적으로, 랜드마크 위치 추정 장치(100, 200)는 수학식 1에 앞서 획득한 카메라(C)의 초기 자세각에 대한 회전 행렬 R을 대입하여 연산함으로써, 카메라(C)의 초기 위치에 대한 이동 행렬 T를 획득할 수 있다.
이 때, 하나의 카메라(C)의 초기 자세각에 대한 회전 행렬 R에 대응하는 복수의 카메라(C)의 초기 위치에 대한 이동 행렬 T를 획득할 수 있다.
이렇게 획득된 카메라(C)의 초기 위치 및 초기 자세각을 포함하는 초기 위치 정보는 후술하는 카메라(C)의 위치 정보를 추정하기 위한 입력값으로 이용될 수 있다.
단순히 차량(V)의 초기 위치 정보를 카메라(C)의 초기 위치 정보로 하여 카메라(C)의 위치 정보를 추정하는 경우에 비해, 상술한 방법에 따를 때 보다 정확한 카메라(C)의 초기 위치 정보를 입력값으로 이용하므로, 카메라(C)의 위치 정보 추정의 정확도 및 처리 속도를 향상시킬 수 있다.
랜드마크 위치 추정 장치(100, 200)는 카메라(C)의 초기 위치 정보가 획득되면, 카메라(C)의 초기 위치를 입력값으로하여 카메라(C)의 위치 정보를 추정할 수 있다. 도 9는 일 실시예에 따라 카메라(C)의 초기 위치 정보에 기초하여 카메라(C)의 위치 정보를 획득하는 방법의 흐름도이다. 이하에서는 도 9를 참조하여, 카메라(C)의 위치 정보를 추정하는 방법을 상세히 설명한다.
도 9를 참조하면, 랜드마크 위치 추정 장치(100, 200)는 카메라(C)의 초기 위치 정보 주변에 복수의 후보 위치 정보를 샘플링 할 수 있다(S710). 구체적으로, 랜드마크 위치 추정 장치(100, 200)는 카메라(C)의 초기 위치 정보를 평균으로 하고, 미리 정해진 공분산으로 에러 모델링이 설정된 가우시안 확률 모델을 이용하여 샘플링을 수행할 수 있다. 이 때, 가우시안 확률 모델은 자세각 3자유도, 위치 3자유도를 가지는 최소 6차원으로 정의될 수 있다.
만약, 카메라(C)의 초기 위치 정보가 복수인 경우, 랜드마크 위치 추정 장치(100, 200)는 각각의 카메라(C)의 초기 위치 정보에 대하여 가우시안 확률 모델에 따라 샘플링을 수행할 수 있다.
그 다음, 랜드마크 위치 추정 장치(100, 200)는 Particle Filter를 이용하여 카메라(C)의 추정 위치 정보를 획득할 수 있다. 구체적으로, 랜드마크 위치 추정 장치(100, 200)는 복수의 후보 위치 정보에 차량(V)의 주행 정보를 반영할 수 있다(S720). 이 때, 랜드마크 위치 추정 장치(100, 200)는 수학식 3에 따를 수 있다.
Figure pat00003
여기서, 행렬[x(k), y(k), θ(k)]는 k 시점에서의 차량(V)의 위치, 및 진행 방향을 의미하고, Sr은 차량(V)의 우측 휠 속도에 따른 이동거리, Sl은 차량(V)의 좌측 휠 속도에 따른 이동거리를 의미할 수 있다.
이를 위해, 랜드마크 위치 추정 장치(100, 200)는 차량(V)으로부터 휠 속도 정보 및 요 레이트 정보를 포함하는 주행 정보를 수신할 수 있다.
그 다음, 랜드마크 위치 추정 장치(100, 200)는 복수의 후보 위치 정보 각각에 대응되는 디지털 지도의 랜드마크와 영상 간 매칭 오차에 기초하여 복수의 후보 위치 정보 각각에 가중치를 부여할 수 있다(S730).
이를 위해, 랜드마크 위치 추정 장치(100, 200)는 랜드마크가 추출된 영상을 이용할 수 있다. 이 때, 주행 정보의 반영 결과 도로를 벗어난 후보 위치 정보 또는 차량(V)의 진행 방향과 반대 방향의 도로에 존재하는 후보 위치 정보는 배제할 수 있다.
랜드마크 위치 추정 장치(100, 200)는 영상으로부터 제 1 랜드마크 및 제 2 랜드마크가 추출되면, 복수의 후보 위치 정보 각각에 대응되는 디지털 지도의 랜드마크를 영상에 매칭할 수 있다. 그리고, 랜드마크 위치 추정 장치(100, 200)는 매칭 오차가 확인되면, 매칭 오차에 대응되는 가중치를 획득할 수 있으며, 이는 수학식 4를 따를 수 있다.
Figure pat00004
여기서, Gσ는 가중치를 의미하며, (Δx, Δy)는 영상에서의 x와 y에 대한 오차를 의미하고, σ는 표준편차를 의미할 수 있다.
그 다음, 랜드마크 위치 추정 장치(100, 200)는 해당 후보 위치 정보에 대응되는 가중치를 부여함으로써, 매칭 오차를 반영할 수 있다.
가중치 부여 후, 랜드마크 위치 추정 장치(100, 200)는 가중치가 부여된 복수의 후보 위치 정보를 이용하여 복수의 후보 위치 정보를 새롭게 샘플링 할 수 있다(S740). 가중치가 부여된 결과에 기초하여 새롭게 샘플링을 수행하므로, 매칭 오차가 작은 후보 위치 정보 주변으로 복수의 후보 위치 정보가 수렴할 수 있다.
샘플링이 완료되면, 랜드마크 위치 추정 장치(100, 200)는 새롭게 샘플링된 복수의 후보 위치 정보의 표준편차가 기준 표준편차 이하인지 확인할 수 있다(S750). 여기서, 기준 표준편차란 복수의 후보 위치를 이용하여 카메라(C)의 추정 위치 정보를 획득할 수 있는 최대 표준편차를 의미할 수 있다.
만약, 새롭게 샘플링된 복수의 후보 위치 정보의 표준편차가 기준 표준편차 이하이면, 랜드마크 위치 추정 장치(100, 200)는 새롭게 샘플링된 복수의 후보 위치 정보의 평균값을 카메라(C)의 추정 위치 정보로서 획득할 수 있다(S760).
반면, 새롭게 샘플링된 복수의 후보 위치 정보의 표준편차가 기준 표준편차보다 크면, 랜드마크 위치 추정 장치(100, 200)는 새롭게 샘플링된 복수의 후보 위치 정보에 차량(V)의 주행 정보를 반영(S770)한 후, 다시 단계 S730에 진입할 수 있다.
지금까지 도 6 내지 도 9를 참조하여 랜드마크 위치 추정 장치(100, 200)에서 영상촬영장치(10)의 위치를 파악하는 과정에 대해 살펴보았다. 이처럼, 영상촬영장치(10)의 위치를 파악하는 과정에 대해서는 본 출원인에 의해 선출원된 특허출원 제10-2018-0059626의 출원 명세서에 의해 뒷받침될 수 있다.
다시 도 5를 참조하면, 랜드마크 위치 추정 장치(100, 200)는 단계 S510을 통해 복수의 영상을 촬영한 영상촬영장치(10)의 위치를 각각 파악한 후, 단계 S510에서 파악된 영상촬영장치(10)의 위치와 복수의 영상에 기초하여 제 1형 랜드마크의 3차원 위치를 측량한다(S520).
도 10은 두 개의 영상을 이용하여 제 1형 랜드마크의 3차원 위치를 추정하는 방법을 설명하기 위한 도면이고, 도 11은 제 1형 랜드마크에 대하여 추정된 3차원 위치의 정확도를 설명하기 위한 도면이다.
도 10을 참조하면, 랜드마크 위치 추정 장치(100, 200)는 제 1 영상(I1)이 촬영된 제 1 위치(L1)로부터 제 1 영상(I1) 내 제 1형 랜드마크에 대응되는 픽셀(X1)을 지나는 제 1 벡터(V1)를 구하고, 제 2 영상(I2)이 촬영된 제 2 위치(L2)로부터 제 2 영상(I2) 내 제 1형 랜드마크에 대응되는 픽셀(X2)을 지나는 제 2 벡터(V2)를 구한다. 그리고, 랜드마크 위치 추정 장치(100, 200)는 제 1 벡터(V1)와 제 2 벡터(V2)의 교차점을 제 1형 랜드마크의 3차원 위치(P)로서 측량한다. 이때, 제 1 위치(L1)와 제 2 위치(L2)의 이격거리가 멀수록 제 1형 랜드마크의 3차원 위치를 정확하게 측량할 수 있다. 그러므로, 랜드마크 위치 추정 장치(100, 200)는 기 설정된 임계거리보다 더 긴 상호간의 이격거리를 가지는 제 1 위치(L1)와 제 2 위치(L2)를 선별하여 이용할 수 있다. 이는 촬영 위치 간 거리가 멀수록 실제 영상 내에서 인식된 제 1형 랜드마크의 픽셀 오차가 감소하여, 이를 기초로 결정되는 제 1형 랜드마크의 3차원 위치 오차 역시 줄어들기 때문이다. 예를 들어, 1m만큼 이격된 두 위치에서 촬영된 두 장의 실제 영상 내 제 1형 랜드마크의 위치 오차가 1픽셀이고, 2m만큼 이격된 두 위치에서 촬영된 두 장의 실제 영상 내 제 1형 랜드마크의 위치 오차가 1픽셀인 경우, 각각을 기초로 결정되는 제 1형 랜드마크의 3차원 위치는 후자의 경우가 정확도가 높다.
다시 도 5를 참조하면, 랜드마크 위치 추정 장치(100, 200)는 제 1형 랜드마크의 3차원 공간 상의 위치를 추정하기 위해서는 최소 두 장의 영상이 필요하지만, 더 많은 수의 영상을 이용하여 제 1형 랜드마크의 3차원 위치를 추정함으로써 측정 오차를 줄일 수 있다. 즉, 영상을 교체하면서 도 10을 참조하여 설명한 과정을 통해 그 전에 측량된 제 1형 랜드마크의 3차원 위치를 보정할 수 있다(S530).
도 11을 참조하면, 실제 영상은 복수의 위치(810, 820, 830)에서 각각 촬영될 수 있는데, 첫 번째 위치(810)에서 촬영된 실제 영상에 의해 추정된 제 1형 랜드마크의 위치의 오차 범위(811)는 비교적 크지만, 두 번째 위치(820)에서 첫 번째 위치(810)의 결과까지 고려하여 추정된 제 1형 랜드마크 위치의 오차 범위(821)는 보다 작고, 세 번째 위치(830)에서 두 번째 위치(810)의 결과까지 고려하여 추정된 제 1형 랜드마크 위치의 오차 범위(831)는 더욱 작아지는 것을 확인할 수 있다.
한편, 랜드마크 위치 추정 장치(100, 200)는 복수의 영상으로부터 제 1형 랜드마크의 3차원 위치를 추정하기 위해 수학식 5 내지 수학식 8을 이용할 수 있다.
Figure pat00005
여기서, d는 영상촬영장치(10)의 렌즈로부터 제 1형 랜드마크의 위치로 향하는 3차원의 방향 벡터를 의미하고, λ는 d=(a, b, c)T를 단위 벡터로 만들어 주는 정규화 목적의 상수이며, R은 영상촬영장치(10)의 자세각(또는 오리엔테이션)을 나타내는 3차원 회전 행렬이다. 또한, K는 핀홀(pin-hole) 모델을 가정한 영상촬영장치(10)의 내부 파라미터 관련 캘리브레이션(calibration) 행렬을 의미한다.
또한, 랜드마크 위치 추정 장치(100, 200)는 제 1형 랜드마크의 3차원 위치 P*를 구하기 위해 다음과 같은 수학식 6 내지 수학식 8을 이용할 수 있다.
Figure pat00006
Figure pat00007
Figure pat00008
여기서, (xi, yi, zi)는 영상촬영장치(10)의 복수의 위치 중에서 i번째의 위치를 의미한다.
수학식 6을 기초로 추정되는 제 1형 랜드마크의 3차원 위치 P는 첫 번째(i=1) 촬영 위치 기준에서 표현된 좌표값을 의미하며, 공분산은 A-1이 되고, 이는 첫 번째(i=1) 촬영 위치 기준에서 표현된 제 1형 랜드마크의 3차원 위치의 오차를 나타낸다.
한편, 특정 영상촬영장치(10)의 좌표계 기준 제 1형 랜드마크의 3차원 위치 P에 3차원 변환 행렬 T를 적용하면 디지털 지도의 좌표계 기준 제 1형 랜드마크의 3차원 좌표 PL을 획득할 수 있다. 이 때, 변환 행렬 T는 영상촬영장치(10)의 위치 및 자세각(또는 오리엔테이션)에 따른 오차가 존재하므로, PL에 오차 전파(error propagation) 개념이 적용된 PL의 공분산 CPL을 구할 수 있다. PL의 공분산 CPL은 수학식 9에 따라 구해질 수 있다.
Figure pat00009
여기서, J1은 3차원 위치 P에 관한 함수 T×P의 편미분(jacobian)이며, CT는 3차원 변환 행렬 T에 대한 공분산을 의미하고, J2는 3차원 변환 행렬 T에 관한 함수 T×P의 편미분(jacobian)을 의미한다.
다시 도 3을 참조하면, 랜드마크 위치 추정 장치(100, 200)는 단계 S320에 의해 추정된 제 1형 랜드마크의 3차원 위치를 포함하는 가상 평면 상에서 단계 S310에 의해 식별된 제 2형 랜드마크의 위치를 추정한다(S330).
단계 S330에서 랜드마크 위치 추정 장치(100, 200)가 일 실시예에 따라 제 2형 랜드마크의 위치를 추정하는 상세한 과정을 도 12에 나타내었다.
도 12를 참조하면, 랜드마크 위치 추정 장치(100, 200)는 영상촬영장치(10)의 좌표계 중심으로부터 영상 내 제 2형 랜드마크로 식별된 좌표를 지나는 3차원 방향 벡터와 제 1형 랜드마크의 3차원 위치를 포함하는 가상 평면이 만나는 교점을 제 2형 랜드마크의 위치로서 계산할 수 있다(S910).
랜드마크 위치 추정 장치(100, 200)는 도 13에 나타낸 바와 같이 제한 속도 등과 같은 숫자를 포함하는 교통 표지판(401)과 과속 경고문구 등과 같은 문자를 포함하는 교통 표지판(402)의 3차원 위치의 좌표값을 포함하면서 운행로와 수직인 평면을 가상 평면으로 생성한다. 그리고, 랜드마크 위치 추정 장치(100, 200)는 영상촬영장치(10), 즉 카메라(C)의 좌표계 중심으로부터 영상 내 제 2형 랜드마크로 식별된 좌표를 지나는 3차원 방향 벡터(도 13의 점선)와 제 1형 랜드마크의 3차원 위치를 포함하는 가상 평면이 만나는 교점(PW)을 제 2형 랜드마크의 위치로서 계산할 수 있다.
예를 들어, 랜드마크 위치 추정 장치(100, 200)는 제 2형 랜드마크의 위치를 계산하기 위해 수학식 9 및 수학식 10을 이용할 수 있다.
랜드마크 위치 추정 장치(100, 200)는 제 1형 랜드마크의 3차원 위치의 좌표값을 포함하고 운행로와 수직인 가상 평면을 생성하기 위하여 수학식 10의 해를 구한다.
Figure pat00010
여기서, a, b, c, d는 평면 방정식의 계수이며, 최소 4개의 점을 이용하여 AX=B와 같은 형태의 연립 방정식 해를 풀어서 구할 수 있다. 도 13의 교통 표지판(401, 402)의 3차원 위치 좌표값인 (x1,y1,z1) 및 (x2,y2,z2)을 이용하며, 교통 표지판(401, 402)의 3차원 위치 좌표로부터 z축 값을 특정 오프셋(offset) 값으로 빼서 생기는 가상의 2개의 점(도 13의 가상 평면의 아래 쪽 두 개의 도형 위치)의 3차원 위치 좌표값인 (x1,y1,z1-offset) 및 (x2,y2,z2-offset)을 이용하여 가상 평면의 방정식을 구한다.
그리고, 랜드마크 위치 추정 장치(100, 200)는 영상촬영장치(10), 즉 카메라(C)의 좌표계 중심으로부터 영상에서 제 2형 랜드마크로 인식된 좌표(픽셀)를 지나는 수학식 11의 3차원 방향 벡터 Pray와 가상 평면이 만나는 교점(Pw)을 계산한다.
Figure pat00011
여기서, Pray=[x,y,z]T는 도 13의 점선을 의미하며, R과 T는 3차원 점 Pw를 카메라(C) 좌표계로 변환하는 회전과 이동 행렬을 의미하며, m은 영상에서 대응하는 좌표이며, K는 카메라(C)의 내부 파라미터 관련 행렬(3x3)을 의미한다.
다시 도 12를 참조하면, 랜드마크 위치 추정 장치(100, 200)는 영상촬영장치(10)의 위치를 변경하면서 동일한 제 1형 랜드마크에 대하여 계산된 제 2형 랜드마크의 위치에 대한 위치정보들을 후보군으로 획득한 후 획득된 후보군에 기초하여 단계 S910에서 계산된 제 2형 랜드마크의 위치를 보정할 수 있다(S920).
도 14에는 영상촬영장치(10), 즉 카메라(C)가 이동하면서 동일한 제 2형 랜드마크에 대해 3차원 위치를 추정한 후보군들(Pw 후보군)을 나타내었다. 예를 들어, 랜드마크 위치 추정 장치(100, 200)는 Pw 후보군의 평균 값을 제 2형 랜드마크의 최종 위치로 선택하거나 인식된 거리가 가장 짧은 위치에 해당하는 제 2형 랜드마크의 3차원 위치를 선택할 수 있다. 인식된 거리가 짧을수록 인식 오차가 줄어들게 되며, 영상촬영장치(10)와 제 2형 랜드마크 간의 거리 별로 동일 픽셀의 오차가 발생하였다고 가정하였을 때, 3차원 위치의 정확도는 영상촬영장치(10)와 제 2형 랜드마크 간의 거리가 가장 가까울 때 가장 높게 된다.
도 15는 본 발명의 다른 실시예에 따른 랜드마크 위치 추정 장치(200)의 랜드마크 위치 추정 방법을 설명하기 위한 흐름도이다.
먼저, 랜드마크 위치 추정 장치(200)는 N개의 차량(V) 중 제 1 차량의 영상촬영장치(10)에 의해 운행로 상의 각종 랜드마크를 포함하여 촬영된 영상에서 제 1형 랜드마크와 제 2형 랜드마크를 각각 식별하고(S1010), 복수의 차량(V) 중 제 2 차량의 영상촬영장치(10)에 의해 운행로 상의 각종 랜드마크를 포함하여 촬영된 영상에서 제 1형 랜드마크와 제 2형 랜드마크를 각각 식별한다(S1020). 이처럼, 제 1형 랜드마크와 제 2형 랜드마크를 각각 식별하는 과정은 N개의 차량(V)에 탑재된 모든 영상촬영장치(10)에 의해 촬영된 영상을 대상으로 각각 수행한다.
그리고, 랜드마크 위치 추정 장치(200)는 복수의 차량(V) 중 제 1 차량의 영상촬영장치(10)에 촬영된 영상을 기초로 제 1형 랜드마크의 3차원 위치를 추정하고(S1030), 복수의 차량(V) 중 제 2 차량의 영상촬영장치(10)에 촬영된 영상을 기초로 제 1형 랜드마크의 3차원 위치를 추정한다(S1040). 이처럼, 제 1형 랜드마크의 3차원 위치를 추정하는 과정은 N개의 차량(V)에 탑재된 모든 영상촬영장치(10)에 의해 촬영된 영상을 기초로 각각 수행한다.
다음으로, 랜드마크 위치 추정 장치(200)는 여러 번에 걸쳐서 추정된 제 1형 랜드마크의 3차원 위치들을 후보군으로 수집하고, 수집된 후보군에 기초하여 제 1형 랜드마크의 3차원 위치를 최종 결정한다. 예를 들어, 랜드마크 위치 추정 장치(200)는 여러 번에 걸쳐서 추정된 제 1형 랜드마크의 3차원 위치들의 평균값을 제 1형 랜드마크의 3차원 위치로서 최종 결정할 수 있다(S1050). 예를 들어, 숫자를 포함하는 교통 표지판(401)과 과속 경고문구 등과 같은 문자를 포함하는 교통 표지판(402)에 대한 3차원 위치 값은 평균과 공분산으로 표현될 수 있기 때문에 칼만 필터를 이용하여 최종 위치를 갱신할 수 있다. 이때, 갱신된 공분산의 크기가 임계치 이하 일 때와 추정된 3차원 위치의 개수가 임계치 이상 일 때 안정적으로 제 1형 랜드마크에 대한 3차원 위치가 추정된다고 판단할 수 있다. 영상에서 숫자를 포함하는 교통 표지판(401)의 영상 분석 인식 결과는 위치뿐만 아니라 제한 속도 정보를 함께 제공하기 때문에 동일 제한 속도로 판단되는 교통 표시판(401)끼리 클러스터링 하여 최종 3차원 위치를 추정할 수 있다. 마찬가지로, 영상에서 인식된 문자를 포함하는 교통 표지판(402) 또한 인식된 문구에 기초하여 일반 과속 단속카메라 용도인지 구간 단속카메라 용도인지 구분이 가능하기 때문에 동일한 경고문구의 교통 표지판(402)끼리 클러스터링 하여 최종 3차원 위치를 추정할 수 있다.
이어서, 랜드마크 위치 추정 장치(200)는 단계 S1050에서 최종 결정된 제 1형 랜드마크의 3차원 위치를 포함하고 운행로와 수직인 가상 평면을 생성하고, 생성된 가상 평면 상에서 제 2형 랜드마크의 위치를 최종 결정한다(S1060).
예를 들어, 랜드마크 위치 추정 장치(200)는 제 2형 랜드마크의 위치를 최종 결정할 때에, 도 16에 나타낸 바와 같이 제 2형 랜드마크에 대해 3차원 위치를 추정한 후보군들 중 숫자를 포함하는 교통 표지판(401)과 과속 경고문구 등과 같은 문자를 포함하는 교통 표지판(402)을 통과하는 가상선(404)으로부터 기 설정된 거리 이내에 있는 교점들에 기초하여 제 2형 랜드마크의 위치를 최종 결정함으로써 제 2형 랜드마크의 최종 결정된 위치의 신뢰성을 제고할 수 있다. 이는 제 2형 랜드마크 중 과속 단속카메라가 아닌 방범용 카메라를 영상에서 인식했거나 과속 단속카메라의 오인식 결과가 포함될 수 있기 때문이다. 또한, 영상에서 과속 단속카메라와 방범용 카메라를 구분하기 어렵기 때문에 영상 내에서 카메라가 인식되었을 때, 최소한 숫자를 포함하는 교통 표지판(401)이나 과속 경고문구 등과 같은 문자를 포함하는 교통 표지판(402)이 함께 인식되어야 한다는 조건을 이용하게 되면 상당수의 노이즈를 제거할 수 있다.
아울러, 랜드마크 위치 추정 장치(200)는 제 2형 랜드마크에 대해 3차원 위치를 추정한 후보군으로 획득된 교점들의 개수가 기 설정된 임계개수 이상이 되면 교점들의 평균 값과 표준 편차를 계산한 후, 계산된 표준 편차가 기 설정된 임계편차 이하이면 평균 값을 제 2형 랜드마크의 위치로서 최종 결정할 수 있다.
지금까지 설명한 바와 같이 본 발명의 실시예에 의하면, 차량의 운행 중에 촬영된 영상 내에 포함된 각종 랜드마크 중 영상학적 식별성이 상대적으로 높은 랜드마크에 대하여 그 3차원 위치를 먼저 추정한 후에 추정된 3차원 위치에 기초하여 영상학적 식별성이 상대적으로 낮은 랜드마크의 위치를 추정한다. 예를 들어, 차량 운행로 상의 랜드마크 중 과속 단속카메라의 위치를 추정할 때에, 과속 단속카메라와 함께 동일한 구조물에 부설되어 있는 숫자를 포함하는 제한 속도 표지판이나 문자를 포함하는 과속 경고문구 표지판 등의 교통 표지판에 대하여 3차원 위치를 먼저 추정한 후에 교통 표지판의 3차원 위치에 기초하여 과속 단속카메라의 위치를 추정할 수 있다.
따라서, 영상학적 식별성이 상대적으로 낮은 랜드마크에 대하여 그 위치 정보를 신속하게 추정할 수 있고, 추정된 위치 정보의 신뢰성이 영상학적 식별성이 상대적으로 높은 랜드마크만큼 향상되는 효과가 있다.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 실시예에 의하면, 차량항법장치에서 차량의 운행로 상의 과속 단속 위치에 대한 정보를 항상 최신 상태로 유지하기 위한 용도로 이용할 수 있다. 아울러, 영상학적 식별성이 상대적으로 낮은 대상과 영상학적 식별성이 상대적으로 높은 대상을 함께 식별하여야 하는 기술분야에 적용 및 이용할 수 있다.
10: 영상촬영장치
20 : 차량항법장치
100, 200 : 랜드마크 위치 추정 장치

Claims (13)

  1. 랜드마크 위치 추정 장치가 수행하는 랜드마크 위치 추정 방법으로서,
    차량의 영상촬영장치에 의해 운행로 상의 각종 랜드마크를 포함하여 촬영된 영상에서 상기 랜드마크 중 제 1형 랜드마크와 제 2형 랜드마크를 식별하는 단계와,
    상기 차량의 운행 지역이 포함된 디지털 지도와 복수의 상기 영상을 기초로 상기 식별된 제 1형 랜드마크의 3차원 위치를 추정하는 단계와,
    상기 제 1형 랜드마크의 3차원 위치를 포함하는 가상 평면 상에서 상기 식별된 제 2형 랜드마크의 위치를 추정하는 단계를 포함하는
    랜드마크 위치 추정 방법.
  2. 제 1 항에 있어서,
    상기 제 1형 랜드마크는 문자 또는 숫자를 포함하는 랜드마크이고, 상기 제 2형 랜드마크는 문자 또는 숫자를 포함하지 않는 랜드마크인
    랜드마크 위치 추정 방법.
  3. 제 1 항에 있어서,
    상기 복수의 영상은, 제 1 위치에서 상기 제 1형 랜드마크가 촬영된 제 1 영상과 제 2 위치에서 상기 제 1형 랜드마크가 촬영된 제 2 영상을 포함하고,
    상기 제 1형 랜드마크의 3차원 위치를 추정하는 단계는,
    상기 제 1 위치로부터 상기 제 1 영상 내 상기 제 1형 랜드마크에 대응되는 픽셀을 지나는 제 1 벡터와 상기 제 2 위치로부터 상기 제 2 영상 내 상기 제 1형 랜드마크에 대응되는 픽셀을 지나는 제 2 벡터의 교차점을 상기 제 1형 랜드마크의 3차원 위치로서 측량하는 단계를 포함하는
    랜드마크 위치 추정 방법.
  4. 제 3 항에 있어서,
    상기 제 1 위치와 상기 제 2 위치의 이격거리는 기 설정된 임계거리보다 더 긴
    랜드마크 위치 추정 방법.
  5. 제 3 항에 있어서,
    상기 제 1형 랜드마크의 3차원 위치를 추정하는 단계는,
    상기 차량의 위치정보와 상기 디지털 지도를 기초로 상기 영상촬영장치의 위치를 추정하여 상기 제 1 위치 및 상기 제 2 위치를 각각 파악하는 단계를 더 포함하는
    랜드마크 위치 추정 방법.
  6. 제 5 항에 있어서,
    상기 제 1 위치 및 상기 제 2 위치를 각각 파악하는 단계는,
    상기 차량의 초기 위치 정보에 대응되는 상기 디지털 지도 내 랜드마크 표시자를 상기 영상촬영장치에 의해 촬영된 영상에 매칭하여 상기 영상촬영장치의 초기 위치 정보를 획득하는 단계와,
    상기 영상촬영장치의 초기 위치 정보 및 상기 차량의 주행 정보를 기초로 샘플링된 복수의 후보 위치 정보 각각에 대응되는 상기 디지털 지도 내 랜드마크 표시자와 상기 영상 간 매칭 오차에 기초하여 계산된 상기 영상촬영장치의 위치를 기초로 상기 제 1 위치 및 상기 제 2 위치를 파악하는 단계를 포함하는
    랜드마크 위치 추정 방법.
  7. 제 1 항에 있어서,
    상기 가상 평면은, 상기 제 1형 랜드마크의 3차원 위치의 좌표값을 포함하면서 상기 운행로와 수직인 평면인
    랜드마크 위치 추정 방법.
  8. 제 1 항에 있어서,
    상기 제 2형 랜드마크의 위치를 추정하는 단계는,
    상기 영상촬영장치의 좌표계 중심으로부터 상기 영상 내 상기 제 2형 랜드마크로 식별된 좌표를 지나는 3차원 방향 벡터와 상기 가상 평면이 만나는 교점을 상기 제 2형 랜드마크의 위치로서 계산하는 단계를 포함하는
    랜드마크 위치 추정 방법.
  9. 제 8 항에 있어서,
    상기 제 2형 랜드마크의 위치를 추정하는 단계는,
    상기 영상촬영장치의 위치를 변경하면서 동일한 상기 제 1형 랜드마크에 대하여 계산된 상기 제 2형 랜드마크의 위치에 대한 위치정보들을 후보군으로 획득한 후 상기 후보군에 기초하여 상기 계산된 제 2형 랜드마크의 위치를 보정하는 단계를 더 포함하는
    랜드마크 위치 추정 방법.
  10. 제 1 항에 있어서,
    다른 차량의 영상촬영장치에 의해 운행로 상의 각종 랜드마크를 포함하여 촬영된 영상에서 상기 제 1형 랜드마크와 상기 제 2형 랜드마크를 식별하는 단계와,
    상기 다른 차량의 운행 지역이 포함된 디지털 지도와 복수의 상기 다른 차량의 영상촬영장치에 의해 촬영된 영상을 기초로 상기 식별된 제 1형 랜드마크의 3차원 위치를 추정하는 단계와,
    상기 차량의 영상촬영장치에 의해 촬영된 영상을 기초로 추정된 상기 제 1형 랜드마크의 3차원 위치와 상기 다른 차량의 영상촬영장치에 의해 촬영된 영상을 기초로 추정된 상기 제 1형 랜드마크의 3차원 위치에 기초하여 상기 제 1형 랜드마크의 3차원 위치를 최종 결정하는 단계를 더 포함하고,
    상기 제 2형 랜드마크의 위치를 추정하는 단계는,
    상기 차량 및 상기 다른 차량에 탑재된 각각의 상기 영상촬영장치의 좌표계 중심으로부터 각각의 상기 영상촬영장치에서 촬영된 영상 내 상기 제 2형 랜드마크로 식별된 좌표를 지나는 3차원 방향 벡터들과 상기 최종 결정된 제 1형 랜드마크의 3차원 위치를 포함하는 가상 평면이 만나는 교점들을 후보군으로 획득한 후 상기 후보군에 기초하여 상기 제 2형 랜드마크의 위치를 최종 결정하는
    랜드마크 위치 추정 방법.
  11. 제 10 항에 있어서,
    상기 제 1형 랜드마크는, 상기 운행로 상의 동일한 구조물에 설치된 제 1 표지판과 제 2 표지판을 포함하고,
    상기 제 2형 랜드마크의 위치를 최종 결정할 때에, 상기 후보군 중 상기 제 1 표지판과 상기 제 2 표지판을 통과하는 가상선으로부터 기 설정된 거리 이내에 있는 교점들에 기초하여 상기 제 2형 랜드마크의 위치를 최종 결정하는
    랜드마크 위치 추정 방법.
  12. 제 1 항 내지 제 11 항 중 어느 한 항의 랜드마크 위치 추정 방법을 프로세서가 수행하도록 하는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.
  13. 차량의 영상촬영장치에 의해 운행로 상의 각종 랜드마크가 포함되어 촬영된 영상에서 상기 랜드마크 중 제 1형 랜드마크와 제 2형 랜드마크를 식별하는 영상처리부와,
    상기 차량의 운행 지역이 포함된 디지털 지도가 저장되는 저장부와,
    상기 디지털 지도와 복수의 상기 영상을 기초로 상기 식별된 제 1형 랜드마크의 3차원 위치를 추정한 후, 상기 제 1형 랜드마크의 3차원 위치를 포함하는 가상 평면 상에서 상기 식별된 제 2형 랜드마크의 위치를 추정하는 제어부를 포함하는
    랜드마크 위치 추정 장치.
KR1020190010528A 2019-01-28 2019-01-28 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체 KR102604298B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190010528A KR102604298B1 (ko) 2019-01-28 2019-01-28 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
CN201980089535.1A CN113316706A (zh) 2019-01-28 2019-12-13 路标位置估计设备和方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质
PCT/KR2019/017743 WO2020159076A1 (ko) 2019-01-28 2019-12-13 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
US17/425,284 US11703344B2 (en) 2019-01-28 2019-12-13 Landmark location estimation apparatus and method, and computer-readable recording medium storing computer program programmed to perform method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190010528A KR102604298B1 (ko) 2019-01-28 2019-01-28 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체

Publications (2)

Publication Number Publication Date
KR20200093271A true KR20200093271A (ko) 2020-08-05
KR102604298B1 KR102604298B1 (ko) 2023-11-17

Family

ID=71841161

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190010528A KR102604298B1 (ko) 2019-01-28 2019-01-28 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체

Country Status (4)

Country Link
US (1) US11703344B2 (ko)
KR (1) KR102604298B1 (ko)
CN (1) CN113316706A (ko)
WO (1) WO2020159076A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102339625B1 (ko) * 2021-01-29 2021-12-16 주식회사 맥스트 공간 지도 갱신 장치 및 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022546397A (ja) * 2019-08-31 2022-11-04 エヌビディア コーポレーション 自律運転アプリケーションのためのマップ作成及びローカリゼーション
US20220034669A1 (en) * 2020-07-28 2022-02-03 Bae Systems Information And Electronic Systems Integration Inc. Navigation architecture for contested environments
KR20220068710A (ko) * 2020-11-19 2022-05-26 삼성전자주식회사 차량 측위 방법 및 장치
JP2022121049A (ja) * 2021-02-08 2022-08-19 トヨタ自動車株式会社 自己位置推定装置
US11761780B1 (en) * 2021-05-28 2023-09-19 Zoox, Inc. Determining data for semantic localization

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101073455B1 (ko) 2010-04-22 2011-10-17 나비스오토모티브시스템즈 주식회사 네비게이션 장치의 경로안내방법
WO2018104563A2 (en) * 2016-12-09 2018-06-14 Tomtom Global Content B.V. Method and system for video-based positioning and mapping
KR20180101717A (ko) * 2016-01-08 2018-09-13 인텔리전트 테크놀로지스 인터내셔널 인코포레이티드 맵들을 사용하는 차량 컴포넌트 제어

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8255170B2 (en) * 2006-11-02 2012-08-28 The Boeing Company Remote nondestructive inspection systems and methods
KR100884904B1 (ko) 2007-09-12 2009-02-19 아주대학교산학협력단 평행 투영 모델을 이용한 자기위치 인식 방법
US8108168B2 (en) * 2009-03-12 2012-01-31 Etegent Technologies, Ltd. Managing non-destructive evaluation data
US8982156B2 (en) * 2010-06-10 2015-03-17 Sartorius Stedim Biotech Gmbh Assembling method, operating method, augmented reality system and computer program product
JP6325806B2 (ja) * 2013-12-06 2018-05-16 日立オートモティブシステムズ株式会社 車両位置推定システム
KR101569354B1 (ko) 2014-01-08 2015-11-17 인하대학교 산학협력단 영상센서를 이용한 위성항법시스템 신호의 오차 보정 방법 및 장치
WO2017057043A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
CN105718860B (zh) * 2016-01-15 2019-09-10 武汉光庭科技有限公司 基于驾驶安全地图及双目交通标志识别的定位方法及***
DE102016205964A1 (de) 2016-04-11 2017-10-12 Volkswagen Aktiengesellschaft Verfahren und System zum Bestimmen einer globalen Position einer ersten Landmarke
US10528055B2 (en) * 2016-11-03 2020-01-07 Ford Global Technologies, Llc Road sign recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101073455B1 (ko) 2010-04-22 2011-10-17 나비스오토모티브시스템즈 주식회사 네비게이션 장치의 경로안내방법
KR20180101717A (ko) * 2016-01-08 2018-09-13 인텔리전트 테크놀로지스 인터내셔널 인코포레이티드 맵들을 사용하는 차량 컴포넌트 제어
WO2018104563A2 (en) * 2016-12-09 2018-06-14 Tomtom Global Content B.V. Method and system for video-based positioning and mapping

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102339625B1 (ko) * 2021-01-29 2021-12-16 주식회사 맥스트 공간 지도 갱신 장치 및 방법

Also Published As

Publication number Publication date
WO2020159076A1 (ko) 2020-08-06
CN113316706A (zh) 2021-08-27
US20220187095A1 (en) 2022-06-16
KR102604298B1 (ko) 2023-11-17
US11703344B2 (en) 2023-07-18

Similar Documents

Publication Publication Date Title
US11276195B2 (en) Using mapped elevation to determine navigational parameters
KR102604298B1 (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
KR102420476B1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
US10962982B2 (en) Crowdsourcing the collection of road surface information
KR102434580B1 (ko) 가상 경로를 디스플레이하는 방법 및 장치
EP3843002A1 (en) Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation
US20180024562A1 (en) Localizing vehicle navigation using lane measurements
US11321950B2 (en) Apparatus and method for detecting lane information, and computer-readable recording medium storing computer program programmed to execute same method
CN108692719B (zh) 物体检测装置
JP7138718B2 (ja) 地物検出装置、地物検出方法および地物検出プログラム
US11204610B2 (en) Information processing apparatus, vehicle, and information processing method using correlation between attributes
CN112805766B (zh) 用于更新详细地图的装置和方法
JP2020076745A (ja) 映像及びマップデータ基盤測位方法及び装置
KR102634443B1 (ko) 차량용 센서의 보정 정보 획득 장치 및 방법
JP7179687B2 (ja) 障害物検知装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant