KR102305328B1 - 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법 - Google Patents

카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법 Download PDF

Info

Publication number
KR102305328B1
KR102305328B1 KR1020190174457A KR20190174457A KR102305328B1 KR 102305328 B1 KR102305328 B1 KR 102305328B1 KR 1020190174457 A KR1020190174457 A KR 1020190174457A KR 20190174457 A KR20190174457 A KR 20190174457A KR 102305328 B1 KR102305328 B1 KR 102305328B1
Authority
KR
South Korea
Prior art keywords
road
map
spatial coordinates
camera
feature point
Prior art date
Application number
KR1020190174457A
Other languages
English (en)
Other versions
KR20210081983A (ko
Inventor
최인구
박재형
김기창
김덕중
Original Assignee
한국도로공사
주식회사유원지리정보시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국도로공사, 주식회사유원지리정보시스템 filed Critical 한국도로공사
Priority to KR1020190174457A priority Critical patent/KR102305328B1/ko
Priority to EP19219750.7A priority patent/EP3842751B1/en
Priority to JP2019238203A priority patent/JP6975513B2/ja
Priority to US16/729,448 priority patent/US20210190526A1/en
Priority to CN201911392841.0A priority patent/CN113034540A/zh
Publication of KR20210081983A publication Critical patent/KR20210081983A/ko
Application granted granted Critical
Publication of KR102305328B1 publication Critical patent/KR102305328B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/28—Special adaptation for recording picture point data, e.g. for profiles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Educational Technology (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)

Abstract

본 문서에 개시되는 일 실시 예에 따른 카메라 기반의 자동화된 정밀도로지도 생성 시스템은, 프로브 차량에 고정된 카메라로 촬영된 도로시설물 객체의 이미지를 포함하는 도로영상을 이용하여 정밀도로지도를 생성하는 적어도 하나 이상의 지도생성장치를 포함하는 시스템으로서, 상기 지도생성장치는, GCP(ground control point) 객체 및 일반 객체 중의 적어도 하나를 포함하는 도로시설물 객체와 속성을 상기 도로영상의 프레임별로 인식하는 객체 인식부; 상기 도로영상에서 적어도 하나 이상의 도로시설물 객체의 특징점을 추출하는 특징점 추출부; 상기 특징점을 상기 도로영상의 연속적인 프레임에서 매칭하여 트래킹하는 특징점 트래킹부; 상기 트래킹된 특징점으로부터 예측된 카메라의 포즈정보 및 계산된 카메라의 포즈정보의 차이가 최소화되도록 상기 특징점의 상대 공간좌표를 획득하는 좌표 결정부; 및 상기 GCP 객체가 인식되면, 상기 GCP 객체 주변에서 절대 공간좌표값을 이미 알고 있는 좌표점을 기준으로 상기 특징점의 상대 공간좌표를 보정하여 상기 특징점의 절대 공간좌표를 획득하는 보정부를 포함한다.

Description

카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법{System and method of Automatically Generating High Definition Map Based on Camera Images}
본 문서에서 개시되는 다양한 실시 예들은, 카메라를 기반으로 자동으로 정밀도로지도를 생성 및 갱신하는 기술과 관련된다.
자율주행 차량은 안전한 자율주행을 위해서 차량의 주변 환경과 차량의 위치를 인지하고, 인지된 정보에 기반하여 차량이 안전하고 효율적으로 주행할 수 있는 경로를 생성할 수 있다. 또한, 자율주행 차량은 생성된 경로를 따라 차량의 조향 및 속도를 제어할 수 있다.
자율주행 차량은 탑재된 센서(예: 카메라, 레이저스캐너, 레이더, GNSS(Global Navigation Satellite System), IMU(Inertial Measurement Unit) 등)를 이용하여 차량의 주변 환경(예: 차선과 신호등과 같은 도로시설물이나 랜드마크)을 인식하고 인식된 주변 환경에 기반하여 경로를 생성할 수 있다. 상기 주변 환경 인식 기반 경로 생성 방법은 주변 환경을 인식하기 어려운 환경 예컨대, 차선이 존재하지 않거나 복잡한 도로 환경에서는 경로를 생성하지 못할 수 있다.
정밀도로지도는 정확한 차선정보와 자동차 운행에 필요한 각종 정보들, 예를 들어 신호등의 위치나 정지선의 위치 차로 변경이 가능한 차선인지 아닌지 좌회전이 허용되는 교차로인지 아닌지 등의 상세한 도로정보와 3차원 정밀위치정보를 함께 제공하는 지도이다. 이러한 정밀도로지도의 도움으로 자율주행자동차는 보다 안정한 자율주행이 가능하게 된다. 자율주행차의 제어에 활용되는 정밀도로지도(HD MAP)는 자율주행을 위해 센티미터(cm) 수준의 정밀도를 갖춘 3D(3차원) 입체 지도다. 일반 1/1000 수치지형도(디지털 지도)의 정확도가 70cm라면 정밀도로지도는 25cm 이내로 보다 정밀하다. 1~2.5미터의 정확도를 갖고 있는 내비게이션 지도의 10배다.
또한, 정밀도로지도는 전방 추돌 경고, 차로 이탈 경고 등의 안전기능을 가진 대시보드용 카메라를 통해 정확한 위치 정보에 기반한 도로상의 이벤트 정보를 수집하는 경우에도 활용이 가능하다. 뿐만 아니라 카메라를 장착한 커넥티드 카의 정보교환이나 카메라를 장착한 다양한 법인소유의 차량을 이용하여 도로의 각종 시설물, 이벤트 정보를 수집하는 경우의 정확한 위치 결정에 활용이 가능하다.
현재 정밀도로지도 구축에는 이동형 측량 시스템인 ‘MMS(Mobile Mapping System·이동 지도제작 시스템)’ 장비가 사용된다. 차량 등의 이동체에 탑재되는 MMS는 디지털 카메라, 3차원 레이저 스캐너 시스템(LiDAR·라이다), 위성항법장치(GNSS), 관성측정장치(IMU) 등이 결합된 ‘이동형 3차원 공간정보 시스템’이다. 시속 40~100km로 운행하는 차량에서 360도의 전방위 촬영을 할 수 있다. MMS는 첨단기술을 갖춘 만큼 보통 한 대당 10억을 호가하는 고가의 장비이다. 이러한 MMS장비로는 정밀도로지도 구축과 갱신에 매우 많은 인력과 비용이 들어간다. 특히 도로의 상태에 변화가 생겼을 때 정밀도로지도를 신속하게 갱신할 수 없어 정밀도로지도에 의존하여 자율주행을 하는 자동차에게는 오히려 안전을 저해하는 요인이 될 수 있다.
따라서, 정밀도로지도 생성하는데 있어 장치의 비용과 통신 부하를 낮출 수 있는 새로운 기술이 요구되고 있는 실정이다.
한국공개특허 제10-2014-0072763호 [제목: 영상 정보와 항공사진 데이터를 비교하여 대상 객체를 결정하고 카메라 획득정보를 이용하여 대상 객체의 3차원 좌표를 획득하는 수치지도 제작 시스템]
더욱이, 정밀도로지도 생성 시스템은 도로 변화에 따른 실시간 정밀도로지도를 갱신하기 위하여 많은 수의 프로브 차량들을 필요로 하므로, 유지 비용 또한 높을 수 있다. 또한, MMS는 시간당 수집 데이터 량이 많으므로, 많은 수의 프로브 차량들에서 수신되는 데이터를 실시간으로 수신 및 처리하여 정밀도로지도를 갱신하는 것은 어려울 수 있다.
본 문서에 개시되는 다양한 실시 예들은 정밀도로지도 생성을 위한 프로브 차량의 구현 비용을 낮출 수 있는 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법을 제공할 수 있다.
본 문서에 개시되는 일 실시 예에 따른 카메라 기반의 자동화된 정밀도로지도 생성 시스템은, 프로브 차량에 고정된 카메라로 촬영된 도로시설물 객체의 이미지를 포함하는 도로영상을 이용하여 정밀도로지도를 생성하는 적어도 하나 이상의 지도생성장치를 포함하는 시스템으로서, 상기 지도생성장치는, GCP(ground control point) 객체 및 일반 객체 중의 적어도 하나를 포함하는 도로시설물 객체와 속성을 상기 도로영상의 프레임별로 인식하는 객체 인식부; 상기 도로영상에서 적어도 하나 이상의 도로시설물 객체의 특징점을 추출하는 특징점 추출부; 상기 특징점을 상기 도로영상의 연속적인 프레임에서 매칭하여 트래킹하는 특징점 트래킹부; 상기 트래킹된 특징점으로부터 예측된 카메라의 포즈정보 및 계산된 카메라의 포즈정보의 차이가 최소화되도록 상기 특징점의 상대 공간좌표를 획득하는 좌표 결정부; 및 상기 GCP 객체가 인식되면, 상기 GCP 객체 주변에서 절대 공간좌표값을 이미 알고 있는 좌표점을 기준으로 상기 특징점의 상대 공간좌표를 보정하여 상기 특징점의 절대 공간좌표를 획득하는 보정부하는 것을 특징으로 한다.
상기 시스템은, 적어도 하나 이상의 지도생성장치로부터 각 도로시설물 객체의 속성과 특징점의 절대 공간좌표를 수집하여 정밀도로지도를 생성하는 지도생성서버를 더 포함할 수 있다.
상기 지도생성장치는, 상기 도로영상의 연속적인 프레임간에서 상기 특징점의 상대 공간좌표가 기준범위 이상 이동한 경우의 프레임을 키프레임으로 결정하고, 상기 키프레임에서만 상기 좌표 결정부가 연산을 수행하도록 제어하는 키프레임 결정부를 더 포함할 수 있다.
상기 키프레임 결정부는, 복수의 상기 키프레임에 동시에 존재하는 동일한 특징점을 타이포인트로 결정하고, 상기 결정된 타이포인트를 제외한 특징점을 삭제할 수 있다.
상기 시스템은, 신규 GCP 객체가 인식되면, 상기 결정된 공간좌표를 상기 신규 GCP 객체의 공간좌표를 기초로 보정하는 보정부를 더 포함할 수 있다.
상기 보정부는, 상기 프로브 차량이 과거에 통과한 지역을 다시 통과하면, 상기 프로브 차량이 지나온 경로에서 루프(loop) 경로를 검출하고, 다시 통과하는 지역에서 과거에 결정된 상기 특징점의 절대 공간좌표와 현재 결정된 상기 특징점의 절대 공간좌표의 차이에 기초하여 상기 루프 경로에 존재하는 도로시설물 객체의 특징점의 절대 공간좌표를 보정할 수 있다.
상기 지도생성서버는, 적어도 둘 이상의 프로브 차량이 통과한 경로를 분석하여 경로와 방향이 중첩되는 중첩 경로를 검출하고, 각 프로브 차량에 의해 결정된 상기 특징점의 절대 공간좌표의 차이에 기초하여 상기 중첩 경로에 존재하는 도로시설물 객체의 특징점의 공간좌표를 보정할 수 있다.
상기 도로시설물 객체는 노면에 위치한 노면 객체 및 공중에 위치한 공중 객체 중의 어느 하나이고, 상기 좌표 결정부는, 상기 도로시설물 객체의 속성으로 노면 객체인지 여부를 판단하고, 노면 객체에 대해서는 상기 GCP 객체 주변에서 공간좌표를 이미 알고 있는 적어도 4개의 좌표점에 호모그래피 변환을 이용하여 도로영상의 각 프레임에서 노면 객체의 절대 공간좌표를 획득할 수 있다.
상기 GCP 객체는, 맨홀의 뚜껑, 소화전, 도로시설물의 단부나 이음부, 노면상의 배수 구조물 중의 적어도 하나를 포함할 수 있다.
또한, 본 발명에 따른 카메라 기반의 자동화된 정밀도로지도 생성 방법은, 프로브 차량에 고정된 카메라로 촬영된 도로시설물 객체의 이미지를 포함하는 도로영상을 이용하여 정밀도로지도를 생성하는 방법으로서, (a) GCP(ground control point) 객체 및 일반 객체 중의 적어도 하나를 포함하는 도로시설물 객체와 속성을 상기 도로영상의 프레임별로 인식하는 단계; (b) 상기 도로영상에서 적어도 하나 이상의 도로시설물 객체의 특징점을 추출하는 단계; (c) 상기 특징점을 상기 도로영상의 연속적인 프레임에서 매칭하여 트래킹하는 단계; (d) 상기 트래킹된 특징점으로부터 예측된 카메라의 포즈정보 및 계산된 카메라의 포즈정보의 차이가 최소화되도록 상기 특징점의 상대 공간좌표를 획득하는 단계; 및 (e) 상기 GCP 객체가 인식되면, 상기 GCP 객체 주변에서 절대 공간좌표값을 이미 알고 있는 좌표점을 기준으로 상기 특징점의 상대 공간좌표를 보정하여 상기 특징점의 절대 공간좌표를 획득하는 단계를 포함할 수 있다.
본 발명에 따르면, 도로시설물 객체를 인식하여 인식된 객체에 해당되는 특징점과 GCP 정보만을 이용하여 정밀도로지도를 생성함으로써, 신속하고 정확하게 정밀도로지도를 생성하는 동시에 프로브 차량의 구현 비용을 낮춰 정밀도로지도 생성 비용을 절감할 수 있다. 이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 카메라 기반의 자동화된 정밀도로지도 생성 시스템을 예시한 도면이다.
도 2는 본 발명에 따른 지도생성장치를 나타낸 블록도이다.
도 3은 본 발명에 따른 지도생성장치에서 지도생성부를 나타낸 블록도이다.
도 4는 본 발명에 따른 지도생성서버를 나타낸 블록도이다.
도 5는 본 발명에 따른 지도생성서버의 지도 보정부를 나타낸 블록도이다.
도 6은 본 발명에 따른 카메라 기반의 자동화된 정밀도로지도 생성 방법을 나타낸 흐름도이다.
도 7은 본 발명의 다른 실시예에 따른 카메라 기반의 자동화된 정밀도로지도 생성 방법을 나타낸 흐름도이다.
도 8은 지도생성장치와 지도생성서버에서의 정보 흐름을 나타낸 도면이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
우선 본 발명에서의 용어에 대해 먼저 정리하도록 한다.
도로시설물 객체란, 정밀지도에 포함된 시설물로서, 노면표시, 주의표시, 규제표시, 지시표시, 보조표시, 표시판, 신호등, 가로등, 지주, 맨홀, 연석, 중앙분리대, 소화전, 및 건물 중 적어도 하나를 포함한다. 이러한 도로시설물 객체는 도로 노면상에 고정되거나 표시될 수 있으며, 또한 신호등, 건물의 일부 특징점, 또는 간판처럼 공중에 떠있는 시설물이나 그 시설물에 표시될 수도 있다.
즉, 도로시설물 객체란 정밀지도에 포함될 수 있는 모든 종류의 시설물을 의미하며, 각종 노면표시, 주의표시, 규제표시, 지시표시, 보조표시, 표시판, 신호등, 가로등, 지주, 맨홀, 연석, 중앙분리대, 소화전, 건물, 건물의 간판 등을 포함하는 개념으로서, 본 발명에서는 이들 객체 중 적어도 하나 이상이 활용될 수 있다. 예를 들면, 도로 노면 상에 표기된 중앙선, 실선 차선, 점선 차선, 좌회전 화살표, 직진 화살표, 서행 표시 마름모, 속도제한구역 등 도로 노면에 표시될 수 있는 모든 표시가 시설물 객체에 포함되고, 도로나 지상에 설치된 가로등, 지주, 맨홀, 소화전, 연석, 중앙분리대, 표시판 등의 구조물과 그 구조물 상의 각종 표시, 그리고 신호등에 설치된 각종 표시판과 표시, 건물 등도 모두 포함된다.
지상기준점(GCP, Ground Control Point)은 절대 표정에 사용되는 기존에 정확한 좌표가 알려져 있는 좌표점을 의미한다. 본 발명에서는 도로시설물 객체 중에서 맨홀의 뚜껑, 소화전, 도로시설물의 단부나 이음부, 노면상의 배수 구조물이 GCP 객체로서 사용될 수 있다.
정밀도로지도는 각 도로시설물 객체에 대하여 해당 객체의 속성 및 해당 객체의 특징점의 공간좌표 정보가 데이터베이스화된 지도 정보로서, 도로지도에 포함된 각 도로시설물 객체의 특징점은 해당 특징점의 공간좌표 정보와 일대일로 대응되어 있다. 여기서, 도로시설물 객체의 특징점(feature point)이란 도로시설물의 특징적인 지점을 의미하는 것으로서, 도로시설물 객체의 이미지에서 색상이나 밝기 변화가 뚜렷해 경계가 확연히 구분되는 내부 또는 외부의 꼭지점이나 외곽선 중 확연히 구분 가능한 점이 특징점이 될수 있다. 결국, 도로시설물 객체의 특징점은 도로시설물 객체의 꼭지점이나 모서리의 임의의 점이 될 수 있다.
이러한, 정밀도로지도는 차량의 자율주행에 필요한 모든 도로시설물 객체에 대한 정보를 정밀하게 제작한 전자지도이며, 자율주행차, 커넥티드카, 교통관리, 도로 유지보수 등에 활용된다.
도 1은 카메라 기반의 자동화된 정밀도로지도 생성 시스템을 예시한 도면이다.
도 1을 참조하면, 카메라 기반의 자동화된 정밀도로지도 생성 시스템은 적어도 하나 이상의 지도생성장치(100_1~100_n) 및 지도생성서버(200)를 포함한다.
지도생성장치(100_1~100_n)는 프로브 차량에 장착되어 정밀도로지도를 생성하는 장치로서, 프로브 차량에 고정된 카메라로 촬영된 도로시설물 객체의 이미지를 포함하는 도로영상을 이용하여 정밀도로지도를 생성한다.
지도생성장치(100_1~100_n)에서 생성된 정밀도로지도에 대한 정보는 지도생성서버(200)로 전송되며, 지도생성서버(200)는 각 지도생성장치(100_1~100_n)로부터 수집한 정밀도로지도에 대한 정보를 취합하고 결합하여 최종적으로 전체 지역에 대한 정밀도로지도를 완성한다.
지도생성장치(100_1~100_n)는 최초 시작점에서 카메라의 위치를 파악하기 위해 최초 시작점 부근에서 GCP 객체 또는 특정 도로시설물 객체의 공간좌표를 알고 있을 필요가 있다.
특정 구역이나 GCP 객체가 있는 구역을 항공사진으로 촬영하여 정사이미지를 만들고, RTK(real time kinematic) 측위 기법에 기반하여 항공 영상에 포함된 지상기준점을 기준으로 정사 이미지에 포함된 모든 픽셀들의 공간좌표를 결정하는 방식으로 특정 구역이나 GCP 객체가 있는 구역에서 GCP 객체 주변의 각 도로시설물 객체에 대한 절대 공간좌표를 부여할 수 있다. 이때 절대 공간좌표값이 부여된 도로시설물 객체의 특징점을 이하에서는 좌표점으로 정의하기로 한다.
지도생성장치(100)는 도로영상 내에서 GCP(지상기준점, Ground Control Point)에 해당하는 도로시설물 객체 또는 공간좌표를 미리 알고 있는 일반 객체(예: GCP 객체 주변의 객체)를 적어도 하나 이상 추출하여 인식하고, 인식된 적어도 하나 이상의 도로시설물 객체의 속성 및 좌표점의 공간좌표를 확인하고, 도로시설물 객체의 좌표점의 공간좌표에 기반하여 상기 도로영상을 촬영한 시점의 카메라의 위치(공간좌표)를 결정할 수 있다.
지도생성장치(100)는 결정된 위치에 기반하여 도로영상 내 모든 도로시설물 객체의 속성과 특징점의 공간좌표를 결정하고, 모든 도로시설물 객체의 속성과 특징점의 공간좌표를 데이터베이스화함으로써 정밀도로지도를 생성해나갈 수 있다.
이어서, 카메라를 장착한 프로브 차량이 일정 거리만큼 주행한 후, 카메라는 차량의 주행방향을 촬영하여 적어도 하나 이상의 도로시설물 객체 이미지를 포함하는 후속 도로영상을 생성한다. 이때 후속 도로영상에는 이전 이미지를 통해 공간좌표가 결정된 도로시설물 객체의 일부가 포함되도록 한다.
지도생성장치(100)는 카메라로부터 후속 도로영상을 수신하여 획득할 수 있다. 상기 후속 도로영상은, 예전 촬영 위치에서 적어도 일정 거리만큼 주행한 차량에서 주행 방향에 대한 도로를 촬영한 영상일 수 있다. 상기 후속 도로영상은, 예를 들면, 적어도 하나 이상의 기준 도로시설물 객체 또는 도로이미지에서 특징점의 공간좌표를 알고 있는 도로시설물 객체 중의 적어도 하나 이상의 이미지를 포함하는 포함하는 영상일 수 있다.
지도생성장치(100)는 후속 도로영상 내에서 기준 도로시설물 객체나 공간좌표를 미리 알고 있는 도로시설물 객체의 특징점의 공간좌표에 기반하여 카메라의 촬영 위치(차량의 위치)를 확인할 수 있다.
이때, 지도생성장치(100)는 GCP 객체나 공간좌표를 미리 알고 있는 도로시설물 객체의 특징점의 공간좌표에 기반하여 후속 도로영상에 포함된 모든 도로시설물 객체의 특징점의 공간좌표를 결정하고 이를 데이터베이스화함으로써 정밀도로지도를 계속 생성해나갈 수 있다.
지도생성장치(100)는 공간좌표를 이미 알고 있는 도로시설물 객체들에 기반하여 다른 도로시설물 객체의 속성과 특징점의 공간좌표를 결정하고, 결정된 객체의 속성과 객체의 공간좌표를 데이터베이스화함으로써 정밀도로지도를 생성할 수 있으며, 또한 이런 과정들을 일정 거리만큼 주행하고 계속 반복함으로써 최종적으로 넓은 지역 나아가 전국에 대한 정밀도로지도를 생성할 수 있다. 이에, 지도생성장치(100)는 고가의 MMS 없이 카메라를 탑재한 차량을 이용하여 정밀도로지도 생성 또는 갱신을 위한 데이터를 확보할 수 있다.
도 2는 본 발명에 따른 지도생성장치(100)의 블록도이다.
도 2를 참조하면, 일 실시예에 따른 지도생성장치(100)는 지도생성부(110)를 포함하며, 추가로 카메라(120), 통신부(130), GNSS 수신기(140) 및 저장부(150) 중의 적어도 하나를 더 포함할 수 있다. 도면에 도시되지는 않았지만, 본 발명에 따른 지도생성장치(100)는 IMU(Inertial Measurment Unit)를 더 포함할 수 있다.
지도생성부(110)는 카메라로 촬영된 도로시설물 객체의 이미지를 포함하는 도로영상을 이용하여 정밀도로지도를 생성하는 역할을 수행한다.
카메라(120)는 프로브 차량에 고정되어 장착되며, 차량의 전방을 촬영하여 도로시설물 객체의 이미지를 포함하는 도로영상을 생성한다. 생성된 도로영상은 지도생성장치(100)로 전달된다.
통신부(130)는 지도생성서버(200)와 통신하는 역할을 수행하며, 지도생성장치(100)에서 생성된 정밀도로지도 및 카메라(120)에서 촬영된 도로영상을 지도생성서버(200)로 전송한다. 후술하겠지만, 도로영상에서 키프레임만 추출된 영상이 지도생성서버(200)로 전송될 수도 있다.
GNSS 수신기(140)는 주기적으로 GNSS 위치정보를 획득하는 역할을 수행하며, 특히 카메라(120)의 촬영 시점과 동기화된 시점의 카메라(120)의 촬영 위치에 대한 GNSS 위치정보를 획득할 수 있다. GNSS(Global Navigation Satellite System)는 인공위성을 이용하여 위치를 확인하는 시스템으로서, 일반적으로 GPS(Global Positioning System)가 이용될 수 있다.
저장부(150)는 카메라(120)에서 촬영된 도로영상 및 지도생성장치(100)에서 생성된 정밀도로지도를 저장한다.
도 3은 본 발명에 따른 지도생성장치에서 지도생성부를 나타낸 블록도이다.
도 3을 참조하면, 본 발명에 따른 지도생성장치(100)는 객체 인식부(111), 특징점 추출부(112), 특징점 트래킹부(113), 좌표 결정부(115) 및 보정부(116)를 포함하며, 추가로 키프레임 결정부(114)를 더 포함할 수 있다.
객체 인식부(111)는 도로영상의 각 프레임에서 GCP(ground control point) 객체 및 일반 객체 중의 적어도 하나를 포함하는 도로시설물 객체와 그 속성을 인식한다. 객체 인식부(111)는 딥러닝을 포함하는 머신러닝 또는 다양한 영상처리기법을 통해 도로영상으로부터 도로시설물 객체 및 그 속성을 인식한다.
한편, 객체 인식부(111)는 도로영상의 렌즈에 따른 왜곡을 보정하고, 도로영상에서 차량, 이륜차나 사람 등의 이동 객체를 검출하고 이를 제거 및 배제함으로써 지상이나 공중에 고정된 도로시설물 객체를 효과적으로 인식할 수 있다.
특징점 추출부(112)는 도로영상에서 적어도 하나 이상의 도로시설물 객체의 특징점을 추출한다. 이때, 특징점 추출부(112)는 객체 인식부(111)를 통해 인식된 도로시설물 객체의 무수히 많은 특징점들을 추출한다. 특징점을 검출하는데 FAST(Features from Accelerated Segment Test) 알고리즘이나 ORB(Oriented FAST and Rotated BRIEF) 알고리즘을 비롯하여, SIFT(Scale-Invariant Feature Transform), AGAST(Adaptive and Generic Accelerated Segment Test), SURF(Speeded-Up Robust Features), BRIEF(Binary Robust Independent Elementary Features), Harris corner, Shi-Tomasi corner 등의 여러가지 다양한 알고리즘이 적용될 수 있다.
특징점 트래킹부(113)는 도로영상의 각 프레임에서 추출된 도로시설물 객체의 특징점을 도로영상의 연속적인 각 프레임상에서 서로 매칭(matching)하여 트래킹(tracking)한다.
키프레임 결정부(114)는 좌표 결정부(115)의 연산량을 줄이기 위해 도로영상의 각 프레임에서 키프레임을 결정하고, 결정된 키프레임에서만 포즈 획득부 및 공간좌표 결정부의 연산이 수행되도록 제어할 수 있다.
이를 위해, 키프레임 결정부(114)는 도로영상의 각 프레임의 특징점을 분석하여, 각 프레임간에서 특징점의 상대 공간좌표가 기준범위 이상 이동한 경우의 프레임을 키프레임으로 결정한다. 키프레임이란 도로영상의 각 이미지 프레임중에서 변화가 크게 발생하는 프레임을 의미하므로, 특징점의 상대 공간좌표가 기준범위 이상 이동한 경우가 키프레임으로 결정될 수 있다. 특징점의 상대 공간좌표가 기준범위 이상 이동한 경우란 차량이 일정 거리 이상을 이동하게 되어 도로영상에서 특징점의 위치 변화가 기준 범위 이상 이동된 것을 의미한다. 차량이 정지해있거나 매우 저속으로 이동하는 경우처럼, 변화가 거의 없는 도로영상의 특징점을 트래킹하는 것은 크게 의미가 없으므로 차량이 일정 거리 이상 이동한 후의 프레임을 키프레임으로 결정하고 키프레임만을 이용하여 특징점을 트래킹함으로써 연산량을 경감할 수 있다.
또한, 키프레임 결정부(114)는 복수의 키프레임에 동시에 존재하는 동일한 특징점을 타이포인트로 결정하고, 결정된 타이포인트를 제외한 특징점을 삭제하여 연산량을 더욱 경감할 수 있다.
좌표 결정부(115)는 트래킹된 특징점으로부터 예측된 카메라의 포즈정보 및 계산된 카메라의 포즈정보의 차이가 최소화되도록 특징점의 상대 공간좌표를 획득한다. 이때 좌표 결정부(115)는 도로영상의 각 프레임별로 도로시설물 객체의 특징점의 상대 공간좌표 또는 절대 공간좌표를 결정할 수 있다.
보정부(116)는 GCP 객체가 인식되면, 공간좌표를 이미 알고 있는 GCP 객체의 좌표점을 기준으로 특징점의 상대 공간좌표를 보정하여 특징점의 절대 공간좌표를 획득한다.
도로시설물 객체는 지면 및 공중의 어느 하나에 고정되어 있는 객체이므로, 도로영상에 존재하는 도로시설물도 노면에 위치하거나 공중에 떠 있을 수 있다.
좌표 결정부(115)는 도로시설물 객체의 속성으로 도로영상에 포함된 도로시설물 객체가 노면에 위치한 노면 객체인지 공중에 떠있는 공중 객체인지 구분할 수 있다.
도로시설물 객체의 위치가 판별되면, 좌표 결정부(115)는 다음의 두가지 방식으로 해당 도로시설물 객체의 특징점의 공간좌표를 결정할 수 있다.
첫번째 방식은 노면 객체 및 공중 객체의 공간좌표를 모두 결정할 수 있는 방식으로서, 도로영상의 각 프레임에서 카메라의 포즈정보로 공간좌표를 모르는 각 객체의 공간좌표를 결정하는 방식이다.
도로영상의 연속되는 프레임 또는 키프레임에서 각 특징점을 트래킹하면, 각 영상 프레임의 대응 관계를 추적하여 각 특징점의 위치나 카메라의 포즈정보가 예측될 수 있다.
이때, 영상 프레임의 대응 관계로부터 예측된 특징점의 위치나 카메라의 포즈정보와 실제 도로영상의 각 프레임에서 계산된 각 특징점의 위치나 카메라의 포즈정보에는 차이가 발생할 수 있으며, 이러한 값의 차이를 최소화하는 과정에서 도로영상의 각 프레임에서 각 특징점의 상대 공간좌표 및 카메라의 상대 포즈정보가 획득될 수 있다.
다만, 획득된 특정점의 공간좌표와 포즈정보는 기준 위치나 기준 포즈에 대한 상대적인 값으로 표현될 수 있으므로, 어느 시점에서 어느 특징점의 절대 공간좌표나 카메라의 정확한 포즈정보를 알게되면 획득된 특징점의 상대 공간좌표와 카메라의 상대 포즈정보가 정확한 값으로 보정될 수 있다.
GCP 객체에는 이미 절대 공간좌표를 알고 있는 좌표점들이 존재하며, 이러한 GCP 객체의 속성 및 GCP 객체에서 절대 공간좌표를 알 수 있는 좌표점들에 대한 정보는 미리 지도생성장치에 저장되어 있다.
따라서, GCP 객체가 인식되면, 좌표 결정부(115)는 이미 공간좌표를 알고 있는 적어도 4개의 좌표점을 검출하고, 검출된 적어도 4개의 좌표점으로부터 핀홀 카메라 모델(pin hole camera model)을 이용하여 카메라의 포즈정보를 획득한다.
카메라의 포즈정보는 카메라의 위치와 자세에 대한 정보로서, 카메라의 공간좌표와 롤(roll), 피치(pitch), 및 요(yaw)에 대한 정보를 포함한다.
다음의 [수학식 1]은 핀홀 카메라 모델을 통해 카메라의 외부 파라미터를 획득하는 것을 나타낸 수학식이다.
Figure 112019133764299-pat00001
[수학식 1]에서 K는 카메라의 내부 파라미터(intrinsic parameter)를, [R|T]는 카메라의 외부 파라미터를, Pw는 3D 공간좌표를, Pc는 3D 공간좌표에 대응하는 2D 카메라 좌표를, s는 이미지 축적계수를 나타낸다. 카메라의 외부 파라미터는 2D 카메라 좌표계와 3D 월드 좌표계 사이의 변환 관계를 설명하는 파라미터로서, 카메라의 설치 위치 및 카메라의 자세(roll, pitch, yaw)에 대한 정보를 포함하고 있으며, 두 좌표계 사이의 회전행렬 R과 평행이동 변환행렬 T로 표현된다.
[수학식 1]은 다음의 [수학식 2]처럼 표현될 수 있다.
Figure 112019133764299-pat00002
여기서, (x, y, z)는 월드 좌표계의 3D 공간좌표이고, fx는 x축 방향의 초점거리, fy는 y축 방향의 초점거리, (u, v)는 카메라 좌표계의 2D 카메라 좌표이고, γ는 비대칭 계수(skew coefficient)로서 이미지 센서 셀 어레이의 y축 방향으로 기울어진 정도이고, (u0, v0)는 카메라의 주점(principal point)의 카메라 좌표이다.
도로영상의 프레임에서 적어도 4개 지점의 절대 공간좌표를 알고 있으며, 카메라의 내부 파라미터(intrinsic parameter)와 이미지 축적계수를 알 수 있으므로, 상기 수학식들을 통해 카메라의 포즈정보를 획득할 수 있다.
보정부(116)는 이렇게 획득된 카메라의 포즈정보를 기준으로 해당 프레임에서 각 특징점의 상대 공간좌표를 보정하여 절대 공간좌표를 획득할 수 있다. 후술하겠지만, 보정부(116)는 다른 방식을 이용해서 특징점의 공간좌표를 보정할 수 있음은 물론이다.
그리고 두번째 방식은 노면에 위치한 노면 객체의 공간좌표를 결정하는 것으로서, 호모그래피 변환을 통해 도로영상의 각 프레임에서 공간좌표를 모르는 각 노면 객체의 공간좌표를 결정하는 방식이다.
호모그래피(Homogaphy)는 노면 객체의 공간좌표와 프로브 차량의 측위에 이용될 수 있다. 한 평면을 다른 평면에 투영시키면 투영된 대응점들 사이에는 일정한 변환관계가 성립하는데, 이러한 변환관계를 호모그래피라 부른다.
호모그래피 변환 함수는 각 차원 영상과 하나의 절대 좌표계(절대 공간좌표) 간의 관계를 정의한 함수일 수 있으므로, 호모그래피 변환 함수는 카메라의 영상 좌표를 절대 좌표계의 공간좌표로 변환할 수 있다. 이러한 변환관계를 이용하여 미리 공간좌표를 알고 있는 4개 지점의 공간좌표와 해당 지점의 카메라 좌표로부터 나머지 노면의 모든 지점의 공간좌표 계산이 가능하다.
전술한 것처럼, 보정부(116)는 도로영상의 각 프레임별로 수집된 도로시설물 객체의 특징점 및 카메라의 포즈정보에 대한 보정 과정을 통해여 최종적으로 도로시설물 객체의 절대 공간좌표를 보정하는 역할을 수행한다.
도로시설물 객체의 공간좌표를 보정하는 방식에는 네가지의 방식이 이용될 수 있다.
첫번째로, 각 프레임별 카메라의 포즈정보를 다발로 묶고 실제 계산값과 예측값의 비교를 통해 보정하는 로컬 번들 조정(LBA, local bundle adjustment) 방식이 이용될 수 있다.
두번째로, 도로영상에서 최초 시작점 이후에 새로운 GCP 객체가 발견된 경우, 결정되어온 특징점의 공간좌표를 새로운 GCP 객체의 절대 공간좌표값을 기준으로 보정하는 방식이 이용될 수 있다. 좌표 결정부(115)를 통해 결정된 공간좌표값과 새롭게 인식된 GCP 객체의 절대 공간좌표값의 오차에 근거하여 기존에 획득되었던 특징점의 공간좌표가 일괄적으로 보정될 수 있다.
세번째로, 프로브 차량이 주행을 시작한 후에 어느 순간 과거에 통과한 지역을 다시 통과하는 경우, 프로브 차량이 지나온 경로에서 루프(loop)를 형성하는 루프 경로를 결정하고, 과거에 결정된 도로시설물 객체의 특징점의 절대 공간좌표와 현재 결정된 특징점의 절대 공간좌표의 차이에 기초하여 루프 경로에 존재하는 도로시설물 객체의 특징점의 절대 공간좌표를 보정하는 방식이 이용될 수 있다.
네번째로, 적어도 둘 이상의 프로브 차량이 통과한 경로를 분석하여 경로와 방향이 중첩되는 중첩 경로를 검출하고, 각 프로브 차량에 의해 결정된 상기 중첩 경로에서의 공간좌표의 차이에 기초하여 중첩 경로에 존재하는 도로시설물 객체의 특징점의 공간좌표를 보정하는 방식이 이용될 수 있다. 이러한 네번째 방식은 여러 지도생성장치(100)에서 생성된 정밀도로지도로 차량의 통과 경로를 분석해야 하므로, 주로 지도생성서버(200)에서 이용된다.
본 발명에서는 상기 네가지 방식 중의 적어도 하나의 방식을 이용하여 도로시설물 객체의 특징점의 공간좌표가 보정될 수 있으며, 후술하겠지만 이러한 공간좌표의 보정은 차량에 장착된 지도생성장치(100)에서 수행될 수도 있고 지도생성서버(200)에서 생성될 수도 있다.
도 4는 본 발명에 따른 지도생성서버(200)를 나타낸 블록도이다.
도 4를 참조하면, 지도생성서버(200)는 정보 수집부(210), 좌표 연산부(220), 좌표 보정부(230), 지도 생성부(240), 및 정밀도로지도 데이터베이스(250) 중의 적어도 하나를 포함한다.
정보 수집부(210)는 각 지도생성장치(100_1~100_n)로부터 도로영상 및 정밀도로지도에 대한 정보를 수집하는 역할을 수행한다. 여기서 정밀도로지도에 대한 정보란 각 도로시설물 객체의 속성과 특징점의 절대 공간좌표를 포함한다. 정보 수집부(210)는 연산량 감소를 위해 전술한 키프레임만으로 이뤄진 도로영상을 수신하거나, 타이포인트를 제외한 특징점을 삭제한 도로영상을 수신할 수도 있음은 물론이다.
좌표 연산부(220)는 각 지도생성장치(100_1~100_n)로부터 수신한 도로영상으로부터 각 도로시설물 객체의 공간좌표를 연산하는 역할을 수행한다. 지도생성서버(200)는 각 지도생성장치(100_1~100_n)로부터 정밀도로지도를 수신하여 저장할 수도 있지만, 각 지도생성장치(100_1~100_n)로부터 도로영상을 수신하고 수신한 도로영상으로부터 각 도로시설물 객체의 공간좌표를 연산할 수도 있다.
도면에 도시되지는 않았지만, 이를 위해 좌표 연산부(220)는 도 3의 지도생성장치(100)의 객체 인식부(111), 특징점 추출부(112), 특징점 트래킹부(113), 키프레임 결정부(114), 좌표 결정부(115)와 동일한 기능을 수행하는 구성요소를 포함할 수 있다.
좌표 보정부(230)는 좌표 연산부(220)에 의해 연산된 도로시설물 객체의 공간좌표 또는 각 지도생성장치(100_1~100_n)로부터 수신된 각 도로시설물 객체의 공간좌표를 보정하는 역할을 수행한다. 좌표 보정부(230)는 전술한 네가지의 공간좌표 보정 방식을 이용할 수 있음은 물론이다.
지도 생성부(240)는 각 지도생성장치(100_1~100_n)로부터 수집한 정밀도로지도에 대한 정보를 모두 결합하여 최종적으로 전체 정밀도로지도를 완성해나가는 역할을 수행한다.
지도 생성부(240)에 의해 결합된 정밀도로지도에 대한 정보는 모두 데이터베이스화되어 정밀도로지도 데이터베이스(250)에 저장된다.
도 5는 본 발명에 따른 지도생성서버의 지도 보정부를 나타낸 블록도이다.
도 5를 참조하면, 지도생성서버(200)의 좌표 보정부(230)는 경로 분석부(231), 중첩 경로 검출부(232), 및 중첩 경로 보정부(233) 중의 적어도 하나를 포함한다.
경로 분석부(231)는 적어도 둘 이상의 지도생성장치(100_1~100_n)를 장착한 프로브 차량이 통과한 경로를 분석하고, 중첩 경로 검출부(232)는 경로와 방향이 중첩되는 중첩 경로를 검출하고, 중첩 경로 보정부(233)는 각 지도생성장치(100_1~100_n)에 의해 결정된 특징점의 절대 공간좌표의 차이에 기초하여 검출된 중첩 경로에 존재하는 도로시설물 객체의 특징점의 공간좌표를 보정한다.
한편, 검출된 중첩 경로에 존재하는 도로시설물 객체의 특징점의 공간좌표가 보정되면, 좌표 보정부(230)는 중첩 경로를 통과한 모든 지도생성장치를 추출하고, 중첩 경로에서의 보정된 공간좌표를 기초로 각 지도생성장치가 지나온 전체 경로에 대해 보정을 수행할 수도 있다.
이하에서는 본 발명에 따른 카메라 기반의 자동화된 정밀도로지도 생성 방법에 대해서 설명하도록 한다. 본 발명에 따른 카메라 기반의 자동화된 정밀도로지도 생성 방법은 본 발명에 따른 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 지도생성장치에 의해 수행되는 방법으로서, 실질적으로 동일한 발명이므로 중복되는 설명은 생략하도록 한다.
도 6은 본 발명에 따른 카메라 기반의 자동화된 정밀도로지도 생성 방법을 나타낸 흐름도이다.
우선, 지도생성장치(100)는 도로영상의 각 프레임에서 GCP(ground control point) 객체 및 일반 객체 중의 적어도 하나를 포함하는 도로시설물 객체와 속성을 도로영상의 프레임별로 인식한다(S110). 도로시설물 객체를 인식하기 위해 딥러닝을 포함하는 머신러닝 또는 다양한 영상처리기법이 이용될 수 있다.
그리고 나서, 지도생성장치(100)는 도로영상에서 적어도 하나 이상의 도로시설물 객체의 특징점을 추출한다(S120).
그 후, 지도생성장치(100)는 도로영상의 각 프레임에서 추출된 모든 도로시설물 객체의 특징점을 도로영상의 연속적인 각 프레임상에서 서로 매칭하여 트래킹한다(S130).
특징점을 매칭한 후, 지도생성장치(100)는 트래킹된 특징점으로부터 예측된 카메라의 포즈정보 및 계산된 카메라의 포즈정보의 차이가 최소화되도록 상기 특징점의 상대 공간좌표를 획득한다(S140).
그리고 나서, 지도생성장치(100)는 GCP 객체가 인식되면, 상기 GCP 객체 주변에서 절대 공간좌표값을 이미 알고 있는 좌표점을 기준으로 특징점의 상대 공간좌표를 보정하여 상기 특징점의 절대 공간좌표를 획득한다(S150)
한편, 각 도로시설물 객체의 속성 및 특징점의 보정된 공간좌표는 지도생성서버(200)로 전송되며, 도로영상도 또한 지도생성서버(200)로 전송될 수 있다.
지도생성서버(200)는 적어도 하나 이상의 지도생성장치(100)로부터 각 도로시설물 객체의 속성 및 특징점의 보정된 공간좌표를 수집하고 결합하여 전체 정밀도로지도를 완성한다(S160)
도 7은 본 발명의 다른 실시예에 따른 정밀도로지도 생성 방법을 나타낸 흐름도이다.
각 지도생성장치(100)에 장착된 카메라는 차량의 전방을 촬영하여 적어도 하나 이상의 도로시설물 객체의 이미지를 포함하는 도로영상을 생성한다(S200). 생성된 도로영상은 지도생성장치(100)로 전달된다.
지도생성장치(100)는 도로영상의 각 프레임을 분석하여 현재 프레임이 신규 프레임인 경우(S201) 현재 프레임의 영상 왜곡을 보정한다(S202). 신규 프레임이 아닌 경우 지도생성장치(100)는 계속 도로영상을 수신한다.
지도생성장치(100)는 도로영상의 현재 프레임에서 GCP(ground control point) 객체 및 일반 객체 중의 적어도 하나를 포함하는 도로시설물 객체와 그 속성을 인식한다(S203)
그와 동시에, 지도생성장치(100)는 도로영상의 현재 프레임에서 차량, 이륜차나 사람 등의 이동 객체를 검출하고 이를 제거한다(S204).
그리고 나서, 지도생성장치(100)는 도로영상의 현재 프레임에서 적어도 하나 이상의 도로시설물 객체의 특징점을 추출한다(S205).
그 후, 지도생성장치(100)는 현재 프레임에서 추출된 모든 도로시설물 객체의 특징점을 도로영상의 이전 프레임의 특징점과 서로 매칭하여 트래킹한다(S206).
이때, 지도생성장치(100)는 현재 프레임과 이전 프레임에서의 특징점을 분석하여 현재 프레임이 키프레임인지 여부를 판단한다(S207). 이전 프레임과 해당 프레임의 특징점의 상대 공간좌표가 기준범위 이상 이동했다고 판단된 경우, 지도생성장치(100)는 현재 프레임을 키프레임으로 결정한다.
현재 프레임이 키프레임으로 판단된 경우, 지도생성장치(100)는 트래킹된 특징점으로부터 예측된 카메라의 포즈정보 및 도로영상으로부터 실제 계산된 카메라의 포즈정보의 차이가 최소화되도록 특징점의 상대 공간좌표를 결정한다.
이때, 도로시설물 객체가 노면 객체인지 공중 객체인지에 따라 공간좌표를 결정하는 방식이 상이할 수 있다.
지도생성장치(100)는 도로시설물 객체의 속성으로 도로영상에 포함된 도로시설물 객체가 노면 객체인지 공중 객체인지 판단한다(S208).
도로시설물 객체가 노면 객체인 경우, 지도생성장치(100)는 도로영상의 해당 프레임에서 공간좌표를 이미 알고 있는 적어도 4개의 좌표점에 호모그래피 변환을 적용하여 공간좌표를 모르는 각 노면 객체의 공간좌표를 결정한다(S209).
도로시설물 객체가 공중 객체인 경우, 지도생성장치(100)는 영상 프레임의 대응 관계로부터 예측된 카메라의 포즈정보와 실제 도로영상의 프레임에서 계산된 카메라의 포즈정보의 차이가 최소화되게 하여 도로영상의 해당 프레임에서 각 특징점의 공간좌표를 결정한다(S210).
도로영상의 연속적인 프레임별로 S201 과정 내지 S210 과정이 계속 반복되며, 그에 따라 도로영상의 각 프레임별로 도로시설물 객체의 특징점의 공간좌표가 결정된다.
그리고 지도생성장치(100)는, GCP 객체가 인식되면, GCP 객체에서 공간좌표를 이미 알고 있는 좌표점을 기준으로 특징점의 공간좌표를 보정한다(S211). 전술한 것처럼, 특징점의 공간좌표를 보정하는 방식은 상기 방식외에도 여러 방식이 존재함은 이미 설명한바 있다.
도로시설물 객체의 속성 및 특징점의 보정된 공간좌표는 지도생성서버(200)로 전송되며, 지도생성서버(200)는 수신한 정보를 취합 및 결합하여 전체 정밀도로지도를 완성한다(S212).
도 8은 지도생성장치와 지도생성서버에서의 정보 흐름을 나타낸 도면이다.
각 지도생성장치(100_1~100_n)는 프로브 차량에 장착되어 정밀도로지도를 생성하는 장치로서, 프로브 차량에 고정된 카메라로 촬영된 도로시설물 객체의 이미지를 포함하는 도로영상을 이용하여 정밀도로지도를 생성한다.
도로영상 생성(S100), 도로시설물 객체 및 속성 인식(S110), 특징점 추출(S120), 특징점 매칭 및 트래킹(S130), 특징점의 공간좌표 결정(S140), 특징점의 공간좌표 보정(S150)는 각 지도생성장치(100_1~100_n)에서 독립적으로 수행된다. 해당 과정들은 전술한 과정들과 동일하므로 상세한 설명은 생략하도록 한다.
각 지도생성장치(100_1~100_n)에서 생성된 도로영상 및 정밀도로지도에 대한 정보는 지도생성서버(200)로 전송된다(S160). 여기서, 정밀도로지도에 대한 정보란 인식된 각 도로시설물 객체의 속성 및 각 도로시설물 객체의 특징점의 보정된 공간좌표를 포함한다.
지도생성서버(200)는 각 지도생성장치(100_1~100_n)로부터 도로영상 및 정밀도로지도에 대한 정보를 수집한다(S310).
그리고 나서, 지도생성서버(200)는 적어도 둘 이상의 지도생성장치(100_1~100_n)가 통과한 경로를 분석한다(S320).
지도생성서버(200)는 분석한 경로에서 경로와 방향이 중첩되는 중첩 경로를 검출한다(S330).
지도생성서버(200)는 중첩 경로에서 각 지도생성장치에 의해 결정된 특징점의 공간좌표의 차이에 기초하여 검출된 중첩 경로에 존재하는 도로시설물 객체의 특징점의 공간좌표를 보정한다(S340).
마지막으로, 지도생성서버(200)는 각 도로시설물 객체의 속성 및 특징점의 보정된 공간좌표를 수집하고 결합하여 전체 정밀도로지도를 완성한다(S350).
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나" 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(1401)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(1436) 또는 외장 메모리(1438))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(1440))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(1401))의 제어부(예: 제어부(1420))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서,‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
100. 100_1 ~ 100_n : 지도생성장치
110 : 지도생성부
200 : 지도생성서버
111 : 객체 인식부
112 : 특징점 추출부
113 : 특징점 트래킹부
114 : 키프레임 결정부
115 : 좌표 결정부
116 : 보정부
120 : 카메라
130 : 통신부
140 : GNSS 수신기
150 : 저장부

Claims (16)

  1. 프로브 차량에 고정된 카메라로 촬영된 도로시설물 객체의 이미지를 포함하는 도로영상을 이용하여 정밀도로지도를 생성하는 적어도 하나 이상의 지도생성장치를 포함하는 시스템으로서, 상기 지도생성장치는,
    GCP(ground control point) 객체 및 일반 객체 중의 적어도 하나를 포함하는 도로시설물 객체와 속성을 상기 도로영상의 프레임별로 인식하는 객체 인식부;
    상기 도로영상에서 적어도 하나 이상의 도로시설물 객체의 특징점을 추출하는 특징점 추출부;
    상기 특징점을 상기 도로영상의 연속적인 프레임에서 매칭하여 트래킹하는 특징점 트래킹부;
    상기 트래킹된 특징점으로부터 예측된 카메라의 포즈정보 및 계산된 카메라의 포즈정보의 차이가 최소화되도록 상기 특징점의 상대 공간좌표를 획득하는 좌표 결정부; 및
    상기 GCP 객체가 인식되면, 절대 공간좌표값을 이미 알고 있는 상기 GCP 객체의 좌표점을 기준으로 상기 특징점의 상대 공간좌표를 보정하여 상기 특징점의 절대 공간좌표를 획득하는 보정부를 포함하는 것을 특징으로 하는, 카메라 기반의 자동화된 정밀도로지도 생성 시스템.
  2. 제1항에 있어서, 상기 시스템은,
    적어도 하나 이상의 상기 지도생성장치로부터 각 도로시설물 객체의 속성과 특징점의 절대 공간좌표를 수집하여 정밀도로지도를 생성하는 지도생성서버를 더 포함하는, 카메라 기반의 자동화된 정밀도로지도 생성 시스템.
  3. 제1항에 있어서, 상기 지도생성장치는,
    상기 도로영상의 연속적인 프레임간에서 상기 특징점의 상대 공간좌표가 기준범위 이상 이동한 경우의 프레임을 키프레임으로 결정하고, 상기 키프레임에서만 상기 좌표 결정부가 연산을 수행하도록 제어하는 키프레임 결정부를 더 포함하는, 카메라 기반의 자동화된 정밀도로지도 생성 시스템.
  4. 제3항에 있어서, 상기 키프레임 결정부는,
    복수의 상기 키프레임에 동시에 존재하는 동일한 특징점을 타이포인트로 결정하고, 상기 결정된 타이포인트를 제외한 특징점을 삭제하는 것을 특징으로 하는, 카메라 기반의 자동화된 정밀도로지도 생성 시스템.
  5. 제1항에 있어서, 상기 보정부는,
    상기 프로브 차량이 과거에 통과한 지역을 다시 통과하면, 상기 프로브 차량이 지나온 경로에서 루프(loop) 경로를 검출하고, 다시 통과하는 지역에서 과거에 결정된 상기 특징점의 절대 공간좌표와 현재 결정된 상기 특징점의 절대 공간좌표의 차이에 기초하여 상기 루프 경로에 존재하는 도로시설물 객체의 특징점의 절대 공간좌표를 보정하는 것을 특징으로 하는, 카메라 기반의 자동화된 정밀도로지도 생성 시스템.
  6. 제2항에 있어서, 상기 지도생성서버는,
    적어도 둘 이상의 프로브 차량이 통과한 경로를 분석하여 경로와 방향이 중첩되는 중첩 경로를 검출하고, 각 프로브 차량에 의해 결정된 상기 특징점의 절대 공간좌표의 차이에 기초하여 상기 중첩 경로에 존재하는 도로시설물 객체의 특징점의 공간좌표를 보정하는 것을 특징으로 하는, 카메라 기반의 자동화된 정밀도로지도 생성 시스템.
  7. 제1항에 있어서, 상기 도로시설물 객체는 노면에 위치한 노면 객체 및 공중에 위치한 공중 객체 중의 어느 하나이고,
    상기 좌표 결정부는, 상기 도로시설물 객체의 속성으로 노면 객체인지 여부를 판단하고, 노면 객체에 대해서는 공간좌표를 이미 알고 있는 적어도 4개의 좌표점에 호모그래피 변환을 이용하여 도로영상의 각 프레임에서 노면 객체의 절대 공간좌표를 획득하는 것을 특징으로 하는, 카메라 기반의 자동화된 정밀도로지도 생성 시스템.
  8. 제1항에 있어서, 상기 GCP 객체는,
    맨홀의 뚜껑, 소화전, 도로시설물의 단부나 이음부, 노면상의 배수 구조물 중의 적어도 하나를 포함하는 것을 특징으로 하는, 카메라 기반의 자동화된 정밀도로지도 생성 시스템.
  9. 프로브 차량에 고정된 카메라로 촬영된 도로시설물 객체의 이미지를 포함하는 도로영상을 이용하여 정밀도로지도를 생성하는 방법으로서,
    (a) GCP(ground control point) 객체 및 일반 객체 중의 적어도 하나를 포함하는 도로시설물 객체와 속성을 상기 도로영상의 프레임별로 인식하는 단계;
    (b) 상기 도로영상에서 적어도 하나 이상의 도로시설물 객체의 특징점을 추출하는 단계;
    (c) 상기 특징점을 상기 도로영상의 연속적인 프레임에서 매칭하여 트래킹하는 단계;
    (d) 상기 트래킹된 특징점으로부터 예측된 카메라의 포즈정보 및 계산된 카메라의 포즈정보의 차이가 최소화되도록 상기 특징점의 상대 공간좌표를 획득하는 단계; 및
    (e) 상기 GCP 객체가 인식되면, 절대 공간좌표값을 이미 알고 있는 상기 GCP 객체의 좌표점을 기준으로 상기 특징점의 상대 공간좌표를 보정하여 상기 특징점의 절대 공간좌표를 획득하는 단계를 포함하는, 카메라 기반의 자동화된 정밀도로지도 생성 방법.
  10. 제9항에 있어서, 상기 방법은,
    (f) 지도생성서버가 적어도 하나 이상의 프로브 차량으로부터 각 도로시설물 객체의 속성과 특징점의 절대 공간좌표를 수집하여 정밀도로지도를 생성하는 단계를 더 포함하는 것을 특징으로 하는, 카메라 기반의 자동화된 정밀도로지도 생성 방법.
  11. 제9항에 있어서, 상기 방법은,
    상기 도로영상의 연속적인 프레임간에서 상기 특징점의 상대 공간좌표가 기준범위 이상 이동한 경우의 프레임을 키프레임으로 결정하고, 상기 키프레임에서만 상기 (d) 단계 및 (e) 단계를 수행하는 것을 특징으로 하는, 카메라 기반의 자동화된 정밀도로지도 생성 방법.
  12. 제11항에 있어서, 상기 방법은,
    복수의 상기 키프레임에 동시에 존재하는 동일한 특징점을 타이포인트로 결정하고, 상기 결정된 타이포인트를 제외한 특징점을 삭제하는 것을 특징으로 하는, 카메라 기반의 자동화된 정밀도로지도 생성 방법.
  13. 제9항에 있어서, 상기 방법은,
    상기 프로브 차량이 과거에 통과한 지역을 다시 통과하면, 상기 프로브 차량이 지나온 경로에서 루프(loop) 경로를 검출하고, 다시 통과하는 지역에서 과거에 결정된 상기 특징점의 절대 공간좌표와 현재 결정된 상기 특징점의 절대 공간좌표의 차이에 기초하여 상기 루프 경로에 존재하는 도로시설물 객체의 특징점의 절대 공간좌표를 보정하는 단계를 더 포함하는, 카메라 기반의 자동화된 정밀도로지도 생성 방법.
  14. 제10항에 있어서, 상기 (f) 단계는,
    적어도 둘 이상의 프로브 차량이 통과한 경로를 분석하여 경로와 방향이 중첩되는 중첩 경로를 검출하고, 각 프로브 차량에 의해 결정된 상기 특징점의 절대 공간좌표의 차이에 기초하여 상기 중첩 경로에 존재하는 도로시설물 객체의 특징점의 공간좌표를 보정하는 단계를 더 포함하는 것을 특징으로 하는, 카메라 기반의 자동화된 정밀도로지도 생성 방법.
  15. 제9항에 있어서, 상기 도로시설물 객체는 노면에 위치한 노면 객체 및 공중에 위치한 공중 객체 중의 어느 하나이고,
    상기 방법은,
    상기 도로시설물 객체의 속성으로 노면 객체인지 여부를 판단하고, 노면 객체에 대해서는 공간좌표를 이미 알고 있는 적어도 4개의 좌표점에 호모그래피 변환을 이용하여 도로영상의 각 프레임에서 노면 객체의 절대 공간좌표를 획득하는 단계를 더 포함하는 것을 특징으로 하는, 카메라 기반의 자동화된 정밀도로지도 생성 방법.
  16. 제9항에 있어서, 상기 GCP 객체는,
    맨홀의 뚜껑, 소화전, 도로시설물의 단부나 이음부, 노면상의 배수 구조물 중의 적어도 하나를 포함하는 것을 특징으로 하는, 카메라 기반의 자동화된 정밀도로지도 생성 방법.
KR1020190174457A 2019-12-24 2019-12-24 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법 KR102305328B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020190174457A KR102305328B1 (ko) 2019-12-24 2019-12-24 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법
EP19219750.7A EP3842751B1 (en) 2019-12-24 2019-12-27 System and method of generating high-definition map based on camera
JP2019238203A JP6975513B2 (ja) 2019-12-24 2019-12-27 カメラベースの自動化された高精度道路地図の生成システム及び方法
US16/729,448 US20210190526A1 (en) 2019-12-24 2019-12-29 System and method of generating high-definition map based on camera
CN201911392841.0A CN113034540A (zh) 2019-12-24 2019-12-30 基于摄像机的自动化精密道路地图生成***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190174457A KR102305328B1 (ko) 2019-12-24 2019-12-24 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210081983A KR20210081983A (ko) 2021-07-02
KR102305328B1 true KR102305328B1 (ko) 2021-09-28

Family

ID=69061158

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190174457A KR102305328B1 (ko) 2019-12-24 2019-12-24 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법

Country Status (5)

Country Link
US (1) US20210190526A1 (ko)
EP (1) EP3842751B1 (ko)
JP (1) JP6975513B2 (ko)
KR (1) KR102305328B1 (ko)
CN (1) CN113034540A (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113366281A (zh) * 2019-12-19 2021-09-07 谷歌有限责任公司 受约束导航和路线规划
WO2021068470A1 (zh) * 2020-04-09 2021-04-15 浙江大学 一种基于雷达信号的身份及手势识别方法
CN112560684B (zh) * 2020-12-16 2023-10-24 阿波罗智联(北京)科技有限公司 车道线检测方法、装置、电子设备、存储介质以及车辆
KR102362702B1 (ko) 2021-08-30 2022-02-14 주식회사 무한정보기술 개인의 자가차량을 이용한 도로주변 영상 촬영 매칭 서비스 시스템 및 서비스 제공 방법
KR102358547B1 (ko) * 2021-09-09 2022-02-08 동아항업 주식회사 유동성을 지닌 mms의 실측치 실시간 보정을 통한 수집데이터 출력시스템
CN113989450B (zh) * 2021-10-27 2023-09-26 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和介质
CN114005290B (zh) * 2021-11-01 2023-09-01 中邮建技术有限公司 一种交叉口左转公交车借道通行方法及其装置
CN116229765B (zh) * 2023-05-06 2023-07-21 贵州鹰驾交通科技有限公司 一种基于数字数据处理的车路协同方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100755450B1 (ko) 2006-07-04 2007-09-04 중앙대학교 산학협력단 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법
JP2019160289A (ja) 2018-03-07 2019-09-19 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
KR102052114B1 (ko) 2018-12-13 2019-12-04 한국도로공사 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4767578B2 (ja) * 2005-02-14 2011-09-07 株式会社岩根研究所 高精度ｃｖ演算装置と、この高精度ｃｖ演算装置を備えたｃｖ方式三次元地図生成装置及びｃｖ方式航法装置
JP2011214961A (ja) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd 基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置
JP6107081B2 (ja) * 2012-11-21 2017-04-05 富士通株式会社 画像処理装置、画像処理方法及びプログラム
KR101931819B1 (ko) 2012-12-31 2018-12-26 (주)지오투정보기술 영상 정보와 항공사진 데이터를 비교하여 대상 객체를 결정하고 카메라 획득정보를 이용하여 대상 객체의 3차원 좌표를 획득하는 수치지도 제작 시스템
JP6080641B2 (ja) * 2013-03-25 2017-02-15 株式会社ジオ技術研究所 ３次元点群解析方法
KR101708659B1 (ko) * 2014-06-17 2017-02-22 주식회사 유진로봇 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
US10764713B2 (en) * 2016-05-11 2020-09-01 Here Global B.V. Map based feedback loop for vehicle observation
KR102671902B1 (ko) * 2017-09-22 2024-06-03 에스케이텔레콤 주식회사 지도 생성 장치 및 방법
KR20190129551A (ko) * 2018-05-11 2019-11-20 주식회사 아이피엘 무인 이동체용 사물 유도 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100755450B1 (ko) 2006-07-04 2007-09-04 중앙대학교 산학협력단 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법
JP2019160289A (ja) 2018-03-07 2019-09-19 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
KR102052114B1 (ko) 2018-12-13 2019-12-04 한국도로공사 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법

Also Published As

Publication number Publication date
CN113034540A (zh) 2021-06-25
JP6975513B2 (ja) 2021-12-01
US20210190526A1 (en) 2021-06-24
EP3842751B1 (en) 2024-02-21
JP2021103283A (ja) 2021-07-15
EP3842751A1 (en) 2021-06-30
KR20210081983A (ko) 2021-07-02

Similar Documents

Publication Publication Date Title
KR102327185B1 (ko) 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법
KR102305328B1 (ko) 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법
US11085775B2 (en) Methods and systems for generating and using localisation reference data
CN109931939B (zh) 车辆的定位方法、装置、设备及计算机可读存储介质
JP6301828B2 (ja) 誘導用線路に沿って移動する車両の速度及び位置を測定する装置、並びに対応する方法及びコンピュータプログラム製品
RU2668459C1 (ru) Устройство оценки положения и способ оценки положения
KR102091580B1 (ko) 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법
JP5435306B2 (ja) 画像処理システム及び位置測位システム
US20190392635A1 (en) Systems and methods for updating highly automated driving maps
Brenner Extraction of features from mobile laser scanning data for future driver assistance systems
CN108692719B (zh) 物体检测装置
JP2019527832A (ja) 正確な位置特定およびマッピングのためのシステムおよび方法
JP4363295B2 (ja) ステレオ画像による平面推定方法
CN102208013A (zh) 风景匹配参考数据生成***和位置测量***
JP5544595B2 (ja) 地図画像処理装置、地図画像処理方法、および、コンピュータプログラム
JP2004355139A (ja) 車両認識装置
KR102316818B1 (ko) 도로 네트워크를 갱신하는 방법 및 장치
JP5435294B2 (ja) 画像処理装置及び画像処理プログラム
JP6370234B2 (ja) 地図データ生成装置、地図データ生成方法及び地図データ生成用コンピュータプログラムならびに車両位置検出装置
KR20220151572A (ko) IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템
KR20120043397A (ko) 자동 주행 로봇의 위치인식 방법 및 장치
JP2020076714A (ja) 位置姿勢推定装置
KR102358547B1 (ko) 유동성을 지닌 mms의 실측치 실시간 보정을 통한 수집데이터 출력시스템
KR20220063716A (ko) 차량의 정밀 측위 방법 및 장치
JP2022028588A (ja) 位置取得装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant