KR102091580B1 - 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법 - Google Patents

이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법 Download PDF

Info

Publication number
KR102091580B1
KR102091580B1 KR1020190082445A KR20190082445A KR102091580B1 KR 102091580 B1 KR102091580 B1 KR 102091580B1 KR 1020190082445 A KR1020190082445 A KR 1020190082445A KR 20190082445 A KR20190082445 A KR 20190082445A KR 102091580 B1 KR102091580 B1 KR 102091580B1
Authority
KR
South Korea
Prior art keywords
image data
information
bounding box
box
boundary
Prior art date
Application number
KR1020190082445A
Other languages
English (en)
Inventor
김재승
김지성
Original Assignee
주식회사 모빌테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모빌테크 filed Critical 주식회사 모빌테크
Priority to KR1020190082445A priority Critical patent/KR102091580B1/ko
Priority to PCT/KR2019/018466 priority patent/WO2021006441A1/ko
Application granted granted Critical
Publication of KR102091580B1 publication Critical patent/KR102091580B1/ko
Priority to US16/860,668 priority patent/US11288526B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06K9/00791—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3822—Road feature data, e.g. slope data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법에 관한 것으로, 보다 상세하게는 원격감지장치와 항법장치 등을 포함하는 이동식 도면화 시스템(Mobile Mapping System)을 이용하여, 도로상의 표지정보를 실시간으로 수집하여 정밀도로지도에 매핑(Mapping)할 수 있도록 한 것이다.
특히, 본 발명은 딥러닝 기반으로 연속된 이미지로부터 객체와 속성을 추출함으로써, 정확한 도로 표시 정보를 실시간으로 수집하여 정밀도로지도에 매핑할 수 있으며, 도로 표시 정보에 대한 인식의 정확도를 크게 향상시킬 수 있다.
또한, 본 발명은 객체에 대한 인식결과를 하나의 결과로 정제하는 과정을 통해, 객체 및 속성정보의 인식에 대한 재현율(Recall) 및 정밀도(Precision, 정확도)를 크게 향상시킬 수 있다.
따라서, 자율주행 분야, 도로 인식 분야, 자율주행용 고정밀 도로 지도 분야는 물론 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.

Description

이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법{Method for collecting road signs information using MMS}
본 발명은 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법에 관한 것으로서, 보다 상세하게는 원격감지장치와 항법장치 등을 포함하는 이동식 도면화 시스템(Mobile Mapping System)을 이용하여, 도로상의 표지정보를 실시간으로 수집하여 정밀도로지도에 매핑(Mapping)할 수 있도록 한 것이다.
특히, 본 발명은 딥러닝 기반으로 연속된 이미지로부터 객체와 속성을 추출함으로써, 정확한 도로 표시 정보를 실시간으로 수집하여 정밀도로지도에 매핑할 수 있으며, 도로 표시 정보에 대한 인식의 정확도를 크게 향상시킬 수 있는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법에 관한 것이다.
차량의 무인자율화(자율주행차량)는 크게 주위 환경을 인식하는 단계와, 인식된 환경으로부터 주행경로를 계획하는 단계, 그리고 계획된 경로를 따라 주행하는 단계로 구성될 수 있으며, 이 과정에서 가장 기본적으로 요구되는 것이 정밀도로지도(High Definition Map, HD-Map)이다.
정밀도로지도(HD-Map)는 도로, 지형의 고저, 곡률 등과 같은 주변환경에 대한 정보가 3D로 구현된 지도로서, 특히 도로의 주행시 필요한 다양한 정보들을 포함하고 있다.
예를 들어, 정밀도로지도(HD-Map)에는 도로의 차선, 주행방향, 교차로, 표지판, 신호등, 제한속도 등과 같이 해당 도로를 주행하는데 필요한 각종 정보들을 포함하고 있다.
이에, 자율주행차량은 정밀도로지도(HD-Map)를 바탕으로, 하기의 선행기술문헌인 대한민국 등록특허공보 제10-1348941호 '무인주행차량을 위한 도로정보 검출 방법 및 이를 이용한 무인주행차량'와 같은 기술을 이용하여, 주위환경을 인식하면서 도로를 주행하게 된다.
이와 같이, 정밀도로지도(HD-Map)는 자율주행분야에 있어서 가장 기본이 될 뿐만 아니라, 안전한 자율주행을 위하여 가장 정확하고 신속한 업데이트가 요구된다고 할 수 있다.
일반적으로, 정밀도로지도(HD-Map)는 크게 작업계획, 데이터획득, 점군데이터 생성, 객체도화 및 편집의 네 단계를 거쳐 제작된다.
이와 같은 네 단계 중, 도로에 대한 데이터획득은 주로, 라이다(LiDAR) 등이 탑재된 주행장치(차량 등)를 이용하여 수집되며, 이와 같이 수집된 데이터에 의해 해당 도로의 3차원 점군데이터를 생성할 수 있다.
이때, 생성된 3차원 점군데이터는 단순히 도로의 형상에 대한 정보만을 가지고 있으므로, 해당 데이터가 주행에 필요한 정밀도로지도(HD-Map)로서 활용되기 위해서는 도로의 노면표시, 표지판, 신호등과 같이 일반운전자가 해당 도로를 주행하면서 획득할 수 있는 정보들이 포함되어야 한다.
그러나, 이러한 정보들은 대부분 수작업에 의해 정밀도로지도(HD-Map)에 매핑(Mapping)되므로, 정밀도로지도(HD-Map)의 제작에 많은 시간과 비용이 요구된다는 문제점이 있었다.
대한민국 등록특허공보 제10-1348941호 '무인주행차량을 위한 도로정보 검출 방법 및 이를 이용한 무인주행차량'
상기와 같은 문제점을 해결하기 위해서, 본 발명은 원격감지장치와 항법장치 등을 포함하는 이동식 도면화 시스템(Mobile Mapping System)을 이용하여, 도로상의 표지정보를 실시간으로 수집하여 정밀도로지도에 매핑(Mapping)할 수 있는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법을 제공하는데 목적이 있다.
특히, 본 발명은 딥러닝 기반으로 연속된 이미지로부터 객체와 속성을 추출함으로써, 정확한 도로 표시 정보를 실시간으로 수집하여 정밀도로지도에 매핑할 수 있으며, 도로 표시 정보에 대한 인식의 정확도를 크게 향상시킬 수 있는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법을 제공하는데 목적이 있다.
또한, 본 발명은 객체에 대한 인식결과를 하나의 결과로 정제하는 과정을 통해, 객체 및 속성정보의 인식에 대한 재현율(Recall) 및 정밀도(Precision, 정확도)를 크게 향상시킬 수 있는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법을 제공하는데 목적이 있다.
상기와 같은 목적을 달성하기 위해서, 본 발명에 따른 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법은, 이동식 도면화 시스템(Mobile Mapping System)을 이용하여 이미지데이터 및 점군데이터를 포함하는 도로데이터를 수집하는 도로데이터 수집단계; 연속된 이미지데이터에 포함된 객체별로 경계상자를 검출하고, 객체 및 해당 객체의 속성을 확인하는 객체인식단계; 및 점군데이터로부터 해당 객체에 대한 정밀도로지도상의 공간좌표값을 산출하는 객체매핑단계;를 포함한다.
또한, 상기 객체인식단계는, 상기 이미지데이터에 포함된 경계상자의 개수, 해당 경계상자의 객체 속성정보, 해당 경계상자의 위치좌표를 포함하는 경계상자정보를 확인하는 경계상자정보 확인과정; 어느 하나의 경계상자에 대하여, 이미지데이터별로 위치좌표를 추적하여 각 이미지데이터별로 해당 경계상자의 정보를 취합하는 경계상자정보 취합과정; 및 추적한 경계상자들 중 속성정보가 동일한 객체들 중 그 개수가 가장 많은 객체를 해당 경계상자의 객체로 선택하는 객체속성 결정과정;을 포함할 수 있다.
또한, 상기 경계상자정보 추출과정은, 순차적으로 수집한 이미지데이터별 경계상자의 정보를 2차원 벡터 상에 저장할 수 있다.
또한, 상기 경계상자정보 취합과정은, 현재 이미지데이터에서 해당 경계상자의 위치좌표를 확인하고, 다음 순서의 이미지데이터에서 해당 위치좌표와 인접한 경계상자를 확인하는 과정을 순차적으로 진행하여, 각 이미지데이터별로 해당 경계상자와 인접한 경계상자들을 순차적으로 추적할 수 있다.
또한, 상기 경계상자정보 취합과정은, 현재 이미지데이터에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터에서, 해당 위치에서 추적설정거리 이내에 하나의 경계상자가 존재하는 경우, 해당 경계상자를 선택할 수 있다.
또한, 상기 경계상자정보 취합과정은, 현재 이미지데이터에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터에서, 해당 위치에서 추적설정거리 이내에 적어도 두 개의 경계상자가 존재하는 경우, 가장 가까운 경계상자를 선택할 수 있다.
또한, 상기 경계상자정보 취합과정은, 현재 이미지데이터에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터에서, 해당 위치에서 추적설정거리 이내에 경계상자가 존재하지 않는 경우, 해당 경계상자의 추적을 중지할 수 있다.
또한, 상기 경계상자정보 취합과정은, 현재 이미지데이터에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터에서, 해당 위치에서 추적설정거리 이내에 경계상자가 존재하지 않는 경우의 이미지데이터가 일정 개수 누적되면, 해당 경계상자의 추적을 중지할 수 있다.
또한, 상기 객체매핑단계는, 상기 점군데이터 중 객체별 경계상자의 내부영역에 대한 점군데이터를 추출하는 점군데이터 추출과정; 상기 점군데이터의 3차원좌표를 정밀도로지도의 맵좌표계로 변환하는 좌표계 변환과정; 및 변환된 맵좌표들로부터 해당 경계상자에 포함된 객체의 좌표를 산출하는 객체좌표 산출과정;을 포함할 수 있다.
또한, 상기 객체좌표 산출과정은, 해당 경계상자에 포함된 점군데이터의 변환된 점의 각 좌표축에 대하여, 중앙값(Median)을 계산하고, 이에 기초하여 해당 경계상자에 포함된 객체의 좌표를 산출할 수 있다.
현재, 자율주행 자동차의 안전한 운용과 기술 보완을 위해 모바일 맵핑 시스템(MMS, mobile mapping system)을 이용하여 수집한 정밀도로지도(HD-map)의 필요성이 중요한 이슈로 주목받고 있다.
정밀도로지도 데이터는, GPS의 절대좌표가 적용되어있는 자율 주행 차량의 카메라, 라이다 등 각종 센서들이 가지고 있는 물리적인 한계를 보완하고, 연산해야 하는 영역을 최소한으로 축소해 줄 수 있다.
따라서, 정밀도로지도를 기반으로 하면 자율주행차량의 위치 정보 정확도를 높여주며 빠른 실시간 분석을 통해 주행환경의 다양한 정보들을 인식하는 과정에서 발생할 수 있는 오류를 방지해 줄 수 있다.
한편, 실제 도로 위에 있는 표식들은 운전자 및 비운전자에게 교통 경로를 안내하고 운전의 행동을 제어하며 교통 안전을 유지하는 등 안내와 정보를 제공하는 중요한 기능을 하는 바, 이러한 정보들 또한 정밀도로지도에 포함되어 있다.
이에, 정밀도로지도는, 내포되어 있는 수많은 도로 정보(신호등, 차선, 도로, 연석, 표지판 등)들의 정확하고 빠른 분류 및 추출할 수 있도록 하며, 다양하고 복잡한 환경에서 자율주행 차량이 인식오류 등과 같이 안전에 직결되는 문제들의 유발 가능성을 현저히 감소시켜줄 수 있다.
이러한, 도로에서의 주변 환경 정보는 매우 필수적이며 높은 정확도의 데이터를 필요로 할 뿐만 아니라, 빠르게 변화하고 새로 생겨나는 도로에 대해서 정확한 정보의 신속한 업데이트는 필수적이라고 할 수 있다.
이에, 본 발명은 원격감지장치와 항법장치 등을 포함하는 이동식 도면화 시스템(Mobile Mapping System)을 이용하여, 도로상의 표지정보를 실시간으로 수집하여 정밀도로지도에 매핑(Mapping)할 수 있는 장점이 있다.
다시 말해, 본 발명은 기존에 수작업으로 진행해오던 도화방식에 비하여, 효율적이고 정확한 정보를 정밀도로지도(HD-Map)상에 등록할 수 있는 장점이 있다.
특히, 본 발명은 딥러닝 기반으로 연속된 이미지로부터 객체와 속성을 추출함으로써, 정확한 도로 표시 정보를 실시간으로 수집하여 정밀도로지도에 매핑할 수 있으며, 도로 표시 정보에 대한 인식의 정확도를 크게 향상시킬 수 있는 장점이 있다.
다시 말해, 본 발명은 딥러닝을 이용하여 도로의 노면표시나 교통 표지판 등과 같은 객체의 종류를 인식하므로, 객체의 속성 또한 개별적인 수작업을 통하지 않고 신속하게 정밀도로지도(HD-Map)상에 등록할 수 있는 장점이 있다.
또한, 본 발명은 객체에 대한 인식결과를 하나의 결과로 정제하는 과정을 통해, 객체 및 속성정보의 인식에 대한 재현율(Recall) 및 정밀도(Precision, 정확도)를 크게 향상시킬 수 있는 장점이 있다.
이를 통해, 본 발명은 자율주행에 가장 기본이 되는 정밀도로지도(HD-Map)가, 효율적으로 실시간 업데이트가 될 수 있도록 할 수 있는 장점이 있다.
따라서, 자율주행 분야, 도로 인식 분야, 자율주행용 고정밀 도로 지도 분야는 물론 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.
도 1은 본 발명에 의한 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법의 일 실시예를 나타내는 흐름도이다.
도 2는 도 1에 나타난 단계 'S200'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 3 내지 도 6은 도 2를 설명하기 위한 도면이다.
도 7은 도 1에 나타난 단계 'S300'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 8은 도 7을 설명하기 위한 도면이다.
본 발명에 따른 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법에 대한 예는 다양하게 적용할 수 있으며, 이하에서는 첨부된 도면을 참조하여 가장 바람직한 실시 예에 대해 설명하기로 한다.
도 1은 본 발명에 의한 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법의 일 실시예를 나타내는 흐름도이다.
도 1을 참조하면, 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법은 도로데이터 수집단계(S100), 객체인식단계(S200) 및 객체매핑단계(S300)를 포함한다.
도로데이터 수집단계(S100)는 이동식 도면화 시스템(Mobile Mapping System)을 이용하여 이미지데이터 및 점군데이터를 포함하는 도로데이터를 수집하는 단계로, 주행하는 도로의 3차원 정보를 실시간으로 수집한다.
여기서, 이동식 도면화 시스템(Mobile Mapping System)은 카메라, 레이더, 레이저, 라이다(LiDAR) 등의 다양한 원격 감지 시스템과, 항법센서(GPS, INS 등)를 갖춘 드론, 차량 등의 이동체를 이용하여 도로와 주변환경을 포함하는 지리공간데이터를 수집하는 시스템이다.
특히, 라이다의 경우 도로를 포함한 주변환경에 대하여 정밀한 3차원 점군데이터를 수집할 수 있다.
또한, 이미지데이터는 카메라 등을 이용하여 촬영되는 시각적 영상정보를 포함할 수 있다.
객체인식단계(S200)는 연속된 이미지데이터에 포함된 객체별로 경계상자를 검출하고, 객체 및 해당 객체의 속성을 확인하는 단계로, 실시간으로 수집되는 이미지데이터를 연계하여 순차적으로 분석하고, 객체에 대한 정제과정을 통해 보다 향상된 재현율 및 정밀도(정확도)를 얻을 수 있다.
이러한 정제과정에 대해서는 하기에서 구체적인 실시예를 통해 보다 상세히 설명하기로 한다.
객체매핑단계(S300)는 점군데이터로부터 해당 객체에 대한 정밀도로지도상의 공간좌표값을 산출하는 단계로, 연산에 요구되는 데이터를 최소화하여 실시간 처리가 가능하도록 할 수 있다.
구체적으로, 객체매핑단계(S300)에서 객체에 대한 공간좌표값은 이미지데이터와 라이다데이터를 정합한 후, 필요한 부분(경계상자)의 점군데이터만을 대상으로 좌표계의 매칭을 수행하여 해당 객체를 정밀도로지도(HD-Map)상에 등록시킬 수 있다.
이하에서는, 이러한 본 발명의 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법에 대하여, 단계별로 보다 구체적으로 설명하기로 한다.
도 2는 도 1에 나타난 단계 'S200'의 구체적인 일 실시예를 나타내는 흐름도이고, 도 3 내지 도 6은 도 2를 설명하기 위한 도면이다.
도 2를 참조하면, 객체인식단계(S200)는 경계상자정보 확인과정(S210), 경계상자정보 취합과정(S220) 및 객체속성 결정과정(S230)을 포함한다.
경계상자정보 확인과정(S210)은 도 3에 나타난 바와 같이 연속되는 다수의 이미지데이터(Image 0 내지 Image 10)에 대하여, 이미지데이터에 포함된 객체(노면표시, 표지판 등)의 위치(이미지데이터 상의 2차원 위치)를 경계상자(Bounding box) 형식으로 검출할 수 있다.
이때, 순차적으로 수집한 이미지데이터별 경계상자의 정보를 2차원 벡터 상에 저장할 수 있다. 도 3에서는, 각 이미지데이터별로 검출된 경계상자들을 숫자가 부여된 박스형태로 표시하였다.
그리고, 경계상자정보 확인과정(S210)은 해당 이미지데이터에 포함된 경계상자의 개수, 해당 경계상자의 객체 속성정보, 해당 경계상자의 위치좌표와 같은 경계상자정보를 확인할 수 있다.
경계상자정보 취합과정(S220)은 도 3에 나타난 경계상자들 중 어느 하나의 경계상자에 대하여, 이미지데이터별로 위치좌표를 추적하여 각 이미지데이터별로 해당 경계상자의 정보를 취합할 수 있다. 여기서, 이미지데이터별 위치좌표는 이미지데이터 상에서의 2차원좌표이다.
예를 들어, 도 4에 나타난 바와 같이, 현재 이미지데이터(Image 0)에서 해당 경계상자의 위치좌표를 확인하고, 다음 순서의 이미지데이터(Image 1)에서 해당 위치좌표와 인접한 경계상자를 확인하는 과정을 순차적으로 진행할 수 있으며, 이러한 과정을 통해 각 이미지데이터별로 해당 경계상자와 인접한 경계상자들을 순차적으로 추적(도 4에서 직선 화살표)할 수 있다.
이때, 현재 이미지데이터(Image 0)에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터(Image 1)에서, 해당 위치(bbox 0001)에서 추적설정거리 이내에 하나의 경계상자(bbox 0011)가 존재하는 경우, 해당 경계상자(bbox 0011)를 선택할 수 있다.
만약, 현재 이미지데이터(Image 2)에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터(Image 3)에서, 해당 위치(bbox 0021)에서 추적설정거리 이내에 적어도 두 개의 경계상자(bbox 0031, 0032)가 존재하는 경우, 도 4의 아래와 같이 가장 가까운 경계상자를 선택(bbox 0032)할 수 있다.
이때, 추적설정거리는 시간적으로 이웃하는 두 이미지데이터에 포함된 동일한 객체의 위치가, 카메라의 흔들림이나 이동체의 움직임 등에 의해 발생되는 차이의 최대거리를 포함하는 것으로, 당업자의 요구에 따라 다양한 조건과 값으로 설정될 수 있다.
이와 같은 과정을 통해, 도 5에 나타난 바와 같이 각 이미지데이터별로 해당 경계상자와 인접한 경계상자들을 순차적으로 추적(도 5에서 직선 화살표)할 수 있다.
그리고, 현재 이미지데이터(Image 10)에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터에서, 해당 위치(bbox 0102)에서 추적설정거리 이내에 경계상자가 존재하지 않는 경우, 해당 경계상자의 추적을 중지(탐색 종료)할 수 있다.
한편, 이동체에 설치된 카메라는 이동체의 움직임 등에 의해 흔들리는 경우가 발생할 수 있으며, 이 경우 순간적으로 영상의 촬영방향이 바뀌면서, 일부 이미지데이터에서 객체의 위치가 과도하게 이동되는 경우가 발생할 수 있다.
예를 들어, 특정 객체가 촬영되는 연속된 이미지데이터들 중 소수의 이미지데이터 상에서의 객체 위치가 과도하게 이동된 후, 다시 원래의 위치로 돌아오는 경우가 발생할 수 있다.
이러한 상황을 고려하여, 본 발명에서는 해당 위치(bbox 0102)에서 추적설정거리 이내에 경계상자가 존재하지 않는 경우의 이미지데이터가 일정 개수(예를 들어, 5개) 누적되면, 해당 경계상자의 추적을 중지할 수 있다.
따라서, 특정 객체가 3개의 이미지데이터에서 나타나지 않다가, 4번째 이미지데이터에서 다시 나타나는 경우에는, 해당 객체의 추적을 계속 진행할 수 있다.
객체속성 결정과정(S230)은, 먼저 도 6의 (a)에 나타난 바와 같이 각 객체(Object)별로 추적한 경계상자들을 확인할 수 있다.
그리고, 도 6의 (b)에 나타난 바와 같이 추적한 경계상자들 중 속성정보가 동일한 객체들 중 그 개수가 가장 많은 객체(Object 0)를 해당 경계상자의 객체로 선택할 수 있다.
이와 같이, 다수의 것을 객체로 선택하는 이유는 카메라의 흔들림으로 영상내 객체의 위치가 이동하는 경우나, 특정 영상에서 햇빛이나 조명 등에 의해 순간적으로 인식이 안 되는 경우 등과 같은 상황에서, 잘못된 속성정보가 선택되는 것을 방지하기 위한 것이다.
예를 들어, 이동체에 구성된 카메라로 촬영되는 영상은, 카메라의 흔들림 등에 의해 영상 내의 동일한 위치(2차원위치)에 다른 표지판이 나타나 있을 수 있다. 도 8을 참조하면, 카메라가 상하방향으로 흔들리게 되면 영상의 오른쪽에 있는 삼각표지판의 위치가 변화되므로, 이웃하는 두 영상에서 동일한 위치에 나타나는 삼각표지판이 아래의 것 또는 위의 것으로 바뀔 수 있다.
이와 같은 정제과정을 거치게 되면, 인식하고자 하는 객체와 그 객체의 속성에 대한 정보를 보다 정확하게 인식할 수 있다.
예를 들어, 0.1초 주기로 사진(이미지데이터)과 라이다데이터가 수집되고, 0.005초 주기로 차량의 속도와 방향(INS 데이터)과 GPS 데이터가 기록되는 시스템이, 총 95개의 표지판이 존재하는 구간에서 85.26%의 재현율과 72.97%의 정밀도(정확도)를 얻을 수 있는 경우, 앞서 설명한 정제과정을 거치게 되면 재현율 및 정밀도(정확도)가 각각 92.63%와 89.80%로 향상되는 결과를 얻을 수 있었다.
도 7은 도 1에 나타난 단계 'S300'의 구체적인 일 실시예를 나타내는 흐름도이고, 도 8은 도 7을 설명하기 위한 도면이다.
도 7을 참조하면, 객체매핑단계(S300)는 점군데이터 추출과정(S310), 좌표계 변환과정(S320) 및 객체좌표 산출과정(S330)을 포함할 수 있다.
먼저, 도 8은 카메라와 라이다의 위치관계와 카메라 내부파라미터를 이용하여 3차원 점군데이터를 이미지상에 투영한 상태이다.
점군데이터 추출과정(S310)에서는 도 8과 같이 나타나는 점군데이터 중 객체별 경계상자의 내부영역에 대한 점군데이터를 추출하게 된다.
그리고, 좌표계 변환과정(S320)에서는, 점군데이터의 3차원좌표를 정밀도로지도의 맵좌표계로 변환하게 된다.
이와 같이, 경계상자 내부영역의 모든 3차원 점들에 대하여 좌표변환이 완료되면, 객체좌표 산출과정(S330)에서 변환된 맵좌표들로부터 해당 경계상자에 포함된 객체의 좌표를 산출하게 된다.
예를 들어, 객체좌표 산출과정(S330)은, 각 좌표축(X축, Y축, Z축 중 하나)에 대하여 해당 경계상자에 포함된 점군데이터(배경을 제외한 객체의 점군데이터)의 변환된 점의 중앙값(Median)을 계산하고, 이에 기초하여 해당 경계상자에 포함된 객체의 좌표를 산출할 수 있다.
이상에서 본 발명에 의한 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법에 대하여 설명하였다. 이러한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로서 이해되어야 한다.

Claims (10)

  1. 이동식 도면화 시스템(Mobile Mapping System)을 이용하여 이미지데이터 및 점군데이터를 포함하는 도로데이터를 수집하는 도로데이터 수집단계;
    연속된 이미지데이터에 포함된 객체별로 경계상자를 검출하고, 객체 및 해당 객체의 속성을 확인하는 객체인식단계; 및
    점군데이터로부터 해당 객체에 대한 정밀도로지도상의 공간좌표값을 산출하는 객체매핑단계;를 포함하되,
    상기 객체인식단계는,
    상기 이미지데이터에 포함된 경계상자의 개수, 해당 경계상자의 객체 속성정보, 해당 경계상자의 위치좌표를 포함하는 경계상자정보를 확인하는 경계상자정보 확인과정;
    어느 하나의 경계상자에 대하여, 이미지데이터별로 위치좌표를 추적하여 각 이미지데이터별로 해당 경계상자의 정보를 취합하는 경계상자정보 취합과정; 및
    추적한 경계상자들 중 속성정보가 동일한 객체들 중 그 개수가 가장 많은 객체를 해당 경계상자의 객체로 선택하는 객체속성 결정과정;
    을 포함하며,
    상기 경계상자정보 취합과정은,
    현재 이미지데이터에서 해당 경계상자의 위치좌표를 확인하고, 다음 순서의 이미지데이터에서 해당 위치좌표와 인접한 경계상자를 확인하는 과정을 순차적으로 진행하여, 각 이미지데이터별로 해당 경계상자와 인접한 경계상자들을 순차적으로 추적하는 것을 특징으로 하는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법.
  2. 제 1항에 있어서,
    상기 경계상자정보 확인과정은,
    순차적으로 수집한 이미지데이터별 경계상자의 정보를 2차원 벡터 상에 저장하는 것을 특징으로 하는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법.
  3. 제 1항에 있어서,
    상기 경계상자정보 취합과정은,
    현재 이미지데이터에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터에서,
    해당 위치에서 추적설정거리 이내에 하나의 경계상자가 존재하는 경우, 해당 경계상자를 선택하는 것을 특징으로 하는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법.
  4. 제 1항에 있어서,
    상기 경계상자정보 취합과정은,
    현재 이미지데이터에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터에서,
    해당 위치에서 추적설정거리 이내에 적어도 두 개의 경계상자가 존재하는 경우, 가장 가까운 경계상자를 선택하는 것을 특징으로 하는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법.
  5. 제 1항에 있어서,
    상기 경계상자정보 취합과정은,
    현재 이미지데이터에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터에서,
    해당 위치에서 추적설정거리 이내에 경계상자가 존재하지 않는 경우, 해당 경계상자의 추적을 중지하는 것을 특징으로 하는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법.
  6. 제 1항에 있어서,
    상기 경계상자정보 취합과정은,
    현재 이미지데이터에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터에서,
    해당 위치에서 추적설정거리 이내에 경계상자가 존재하지 않는 경우의 이미지데이터가 일정 개수 누적되면, 해당 경계상자의 추적을 중지하는 것을 특징으로 하는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법.
  7. 제 1항에 있어서,
    상기 객체매핑단계는,
    상기 점군데이터 중 객체별 경계상자의 내부영역에 대한 점군데이터를 추출하는 점군데이터 추출과정;
    상기 점군데이터의 3차원좌표를 정밀도로지도의 맵좌표계로 변환하는 좌표계 변환과정; 및
    변환된 맵좌표들로부터 해당 경계상자에 포함된 객체의 좌표를 산출하는 객체좌표 산출과정;을 포함하는 것을 특징으로 하는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법.
  8. 제 7항에 있어서,
    상기 객체좌표 산출과정은,
    해당 경계상자에 포함된 점군데이터의 변환된 점의 각 좌표축에 대하여, 중앙값(Median)을 계산하고, 이에 기초하여 해당 경계상자에 포함된 객체의 좌표를 산출하는 것을 특징으로 하는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법.
  9. 삭제
  10. 삭제
KR1020190082445A 2019-07-09 2019-07-09 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법 KR102091580B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190082445A KR102091580B1 (ko) 2019-07-09 2019-07-09 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법
PCT/KR2019/018466 WO2021006441A1 (ko) 2019-07-09 2019-12-26 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법
US16/860,668 US11288526B2 (en) 2019-07-09 2020-04-28 Method of collecting road sign information using mobile mapping system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190082445A KR102091580B1 (ko) 2019-07-09 2019-07-09 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법

Publications (1)

Publication Number Publication Date
KR102091580B1 true KR102091580B1 (ko) 2020-03-20

Family

ID=69958174

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190082445A KR102091580B1 (ko) 2019-07-09 2019-07-09 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법

Country Status (3)

Country Link
US (1) US11288526B2 (ko)
KR (1) KR102091580B1 (ko)
WO (1) WO2021006441A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102204430B1 (ko) * 2020-08-11 2021-01-19 (주)신한항업 현장위치별 수치좌표를 비교해서 mms 수치지도 정보의 오류를 자동 검색하는 수치데이터 시스템
KR102204431B1 (ko) * 2020-08-11 2021-01-19 (주)신한항업 Mms 전용 수치데이터의 정밀성 추가를 위한 데이터 보정시스템
CN112733800A (zh) * 2021-01-22 2021-04-30 中国科学院地理科学与资源研究所 基于卷积神经网络的遥感图像道路信息提取方法和装置
KR102331217B1 (ko) * 2020-07-30 2021-12-01 (주)동광지엔티 구간별 현장정보의 실시간 수집을 통한 mms 기반의 수치지도 업데이팅 시스템
KR102331215B1 (ko) * 2020-07-30 2021-12-01 (주)동광지엔티 Mms 기반 수치지도의 편집환경에 맞춘 데이터 오류 자동확인 시스템
KR102540636B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 방향 정보를 포함한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061277B (zh) * 2019-12-31 2022-04-05 歌尔股份有限公司 一种无人车全局路径规划方法和装置
CN113029185B (zh) * 2021-03-04 2023-01-03 清华大学 众包式高精度地图更新中道路标线变化检测方法及***
CN112907746A (zh) * 2021-03-25 2021-06-04 上海商汤临港智能科技有限公司 电子地图的生成方法、装置、电子设备及存储介质
CN113705669A (zh) * 2021-08-27 2021-11-26 上海商汤临港智能科技有限公司 一种数据匹配方法、装置、电子设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101348941B1 (ko) 2011-12-30 2014-01-16 한국과학기술연구원 무인주행차량을 위한 도로정보 검출 방법 및 이를 이용한 무인주행차량
KR20180131154A (ko) * 2017-05-31 2018-12-10 현대엠엔소프트 주식회사 Mms 차량의 고정밀 주행 궤적을 이용한 차선 필터링 및 차선 지도 구축 방법
KR20190003884A (ko) * 2017-06-30 2019-01-10 현대엠엔소프트 주식회사 지도 정보 갱신 장치, 방법 및 시스템

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10065593A1 (de) * 2000-12-28 2002-07-04 Bosch Gmbh Robert Verfahren und Vorrichtung zum Erzeugen von Straßenabschnittdaten für eine digitale Landkarte
EP2583263B1 (de) * 2010-06-15 2014-03-19 Conti Temic Microelectronic GmbH Verfahren zur fusion eines verkehrszeichenerkennungssystems und eines spurerkennungssystems eines kraftfahrzeugs
EP4254383A3 (en) * 2014-08-18 2023-12-20 Mobileye Vision Technologies Ltd. Recognition and prediction of lane constraints
KR101803598B1 (ko) * 2014-09-02 2017-12-01 네이버비즈니스플랫폼 주식회사 클라우드 포인트를 이용한 실내 지도 구축 장치 및 방법
CN105260988B (zh) * 2015-09-09 2019-04-05 百度在线网络技术（北京）有限公司 一种高精地图数据的处理方法和装置
US10387298B2 (en) * 2017-04-04 2019-08-20 Hailo Technologies Ltd Artificial neural network incorporating emphasis and focus techniques
US10896495B2 (en) * 2017-05-05 2021-01-19 Boe Technology Group Co., Ltd. Method for detecting and tracking target object, target object tracking apparatus, and computer-program product
US11023707B2 (en) * 2017-10-27 2021-06-01 Avigilon Corporation System and method for selecting a part of a video image for a face detection operation
JP6946963B2 (ja) * 2017-11-17 2021-10-13 株式会社アイシン 重畳画像表示装置及びコンピュータプログラム
US10169678B1 (en) * 2017-12-21 2019-01-01 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
US10963706B2 (en) * 2018-01-13 2021-03-30 Toyota Jidosha Kabushiki Kaisha Distributable representation learning for associating observations from multiple vehicles
US11767024B2 (en) * 2018-10-25 2023-09-26 Samsung Electronics Co., Ltd. Augmented reality method and apparatus for driving assistance
KR101996623B1 (ko) * 2018-12-11 2019-07-04 주식회사 맵퍼스 Gps 궤적 품질 지표를 이용한 고정밀 지도 데이터 구축 방법 및 시스템
US10970878B2 (en) * 2018-12-13 2021-04-06 Lyft, Inc. Camera calibration using reference map
US11249984B2 (en) * 2019-05-22 2022-02-15 Here Global B.V. System and method for updating map data in a map database
US10949982B1 (en) * 2019-06-21 2021-03-16 Amazon Technologies, Inc. Moving object recognition, speed estimation, and tagging
US11521371B2 (en) * 2019-12-26 2022-12-06 Woven Planet North America, Inc. Systems and methods for semantic map-based adaptive auto-exposure

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101348941B1 (ko) 2011-12-30 2014-01-16 한국과학기술연구원 무인주행차량을 위한 도로정보 검출 방법 및 이를 이용한 무인주행차량
KR20180131154A (ko) * 2017-05-31 2018-12-10 현대엠엔소프트 주식회사 Mms 차량의 고정밀 주행 궤적을 이용한 차선 필터링 및 차선 지도 구축 방법
KR20190003884A (ko) * 2017-06-30 2019-01-10 현대엠엔소프트 주식회사 지도 정보 갱신 장치, 방법 및 시스템

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102331217B1 (ko) * 2020-07-30 2021-12-01 (주)동광지엔티 구간별 현장정보의 실시간 수집을 통한 mms 기반의 수치지도 업데이팅 시스템
KR102331215B1 (ko) * 2020-07-30 2021-12-01 (주)동광지엔티 Mms 기반 수치지도의 편집환경에 맞춘 데이터 오류 자동확인 시스템
KR102204430B1 (ko) * 2020-08-11 2021-01-19 (주)신한항업 현장위치별 수치좌표를 비교해서 mms 수치지도 정보의 오류를 자동 검색하는 수치데이터 시스템
KR102204431B1 (ko) * 2020-08-11 2021-01-19 (주)신한항업 Mms 전용 수치데이터의 정밀성 추가를 위한 데이터 보정시스템
CN112733800A (zh) * 2021-01-22 2021-04-30 中国科学院地理科学与资源研究所 基于卷积神经网络的遥感图像道路信息提取方法和装置
CN112733800B (zh) * 2021-01-22 2021-10-22 中国科学院地理科学与资源研究所 基于卷积神经网络的遥感图像道路信息提取方法和装置
KR102540636B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 방향 정보를 포함한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Also Published As

Publication number Publication date
US20210012124A1 (en) 2021-01-14
US11288526B2 (en) 2022-03-29
WO2021006441A1 (ko) 2021-01-14

Similar Documents

Publication Publication Date Title
KR102091580B1 (ko) 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법
JP7020728B2 (ja) システム、方法およびプログラム
US11148664B2 (en) Navigation in vehicle crossing scenarios
JP7432285B2 (ja) レーンマッピング及びナビゲーション
US20210311486A1 (en) Navigation by augmented path prediction
CN107144285B (zh) 位姿信息确定方法、装置和可移动设备
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
EP3818339A1 (en) Systems and methods for vehicle navigation
JP2019527832A (ja) 正確な位置特定およびマッピングのためのシステムおよび方法
KR102305328B1 (ko) 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법
CN112363494A (zh) 机器人前进路径的规划方法、设备及存储介质
KR102475039B1 (ko) 지도 정보 갱신 장치, 방법 및 시스템
Rieken et al. Toward perception-driven urban environment modeling for automated road vehicles
CN110986945B (zh) 基于语义高度地图的局部导航方法和***
CN117355871A (zh) 多帧图像分割
CN113392169A (zh) 一种高精度地图更新的方法、装置及服务器
Kasmi et al. End-to-end probabilistic ego-vehicle localization framework
WO2022147274A1 (en) Systems and methods for road segment mapping
KR102316818B1 (ko) 도로 네트워크를 갱신하는 방법 및 장치
KR20210098534A (ko) 포지셔닝을 위한 환경 모델을 생성하기 위한 방법 및 시스템
Forkel et al. Combined Road Tracking for Paved Roads and Dirt Roads: Framework and Image Measurements
Kaneko et al. Landmark recognition based on image characterization by segmentation points for autonomous driving
KR102603877B1 (ko) 차량의 정밀 측위 방법 및 장치
TW202115616A (zh) 應用路側特徵辨識之圖資定位系統及方法
Li et al. Improving Vehicle Localization with Lane Marking Detection Based on Visual Perception and Geographic Information

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant