KR20210010309A - 항공사진을 이용하여 3차원 지도를 생성하는 장치 및 방법 - Google Patents

항공사진을 이용하여 3차원 지도를 생성하는 장치 및 방법 Download PDF

Info

Publication number
KR20210010309A
KR20210010309A KR1020200056166A KR20200056166A KR20210010309A KR 20210010309 A KR20210010309 A KR 20210010309A KR 1020200056166 A KR1020200056166 A KR 1020200056166A KR 20200056166 A KR20200056166 A KR 20200056166A KR 20210010309 A KR20210010309 A KR 20210010309A
Authority
KR
South Korea
Prior art keywords
graph
map
correction value
determining
coordinates
Prior art date
Application number
KR1020200056166A
Other languages
English (en)
Other versions
KR102589296B1 (ko
Inventor
최선욱
이진한
김기성
이웅희
Original Assignee
네이버랩스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190087758A external-priority patent/KR102115004B1/ko
Application filed by 네이버랩스 주식회사 filed Critical 네이버랩스 주식회사
Priority to KR1020200056166A priority Critical patent/KR102589296B1/ko
Priority to JP2021571489A priority patent/JP7460660B2/ja
Publication of KR20210010309A publication Critical patent/KR20210010309A/ko
Application granted granted Critical
Publication of KR102589296B1 publication Critical patent/KR102589296B1/ko
Priority to JP2024005820A priority patent/JP2024032805A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/004—Map manufacture or repair; Tear or ink or water resistant maps; Long-life maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

노드들, 및 이동체에 대한 센싱 데이터와 관련된 구속 팩터들을 포함하는 제 1 그래프를 생성하는 단계; 생성된 제 1 그래프에 기초하여 제 1의 3차원 지도를 생성하는 단계; 제 1의 3차원 지도 내 적어도 하나의 포인트의 좌표가 상기 포인트에 매칭되는 항공 지도 내 포인트의 좌표에 대응되도록 하는 보정 값을 결정하는 단계; ; 제 1 그래프에 결정된 보정 값과 관련된 구속 팩터들이 추가된 제 2 그래프를 결정하는 단계; 및 제 2 그래프에 기초하여 제 2의 3차원 지도를 생성하는 단계를 포함하는, 일 실시예에 따른 3차원 지도의 생성 방법이 개시된다.

Description

항공사진을 이용하여 3차원 지도를 생성하는 장치 및 방법{APPARATUS AND METHOD FOR GENERATING THREE DIMENSIONAL MAP USING AERIAL IMAGES}
본 개시는 지도 생성 분야에 관한 것이다. 보다 구체적으로, 본 개시는 3차원 지도를 생성하는 장치 및 방법에 관한 것이다.
일반적인 3차원 지도는 고가의 MMS(mobile mapping system) 장비를 이용한 지상 측량에 기반하여 제작되고 있다. 이들 MMS 장비들은 GPS(global positioning system)/INS(inertial navigation system)에 기반한 3차원 주행 경로에서 LIDAR(light detection and ranging) 혹은 카메라로부터 얻은 포인트들의 3차원 좌표 등을 융합하여 3차원 지도를 만들어낸다.
또한, 3차원 지도의 정밀도를 높이기 위하여 지상의 보정점을 활용하여 3차원 지도를 최적화한다. 따라서 GPS/INS의 측정 결과가 좋지 않을 경우 지도의 신뢰성 또한 떨어지는 문제가 발생한다.
한편, 최근 저비용으로 빠르게 넓은 지역의 지도를 제작하는 방법으로서 항공 사진을 기반으로 한 지도제작 방법이 제안되었다. 해당 방법은 고정밀 항공사진으로부터 차선 및 도로 표지 정보를 도화하는 방식으로 제작되며, 약 10cm 이내 오차를 갖는 지도를 빠르게 제작할 수 있는 효율적인 방법이다. 그러나, 항공사진 기반의 지도는 효율적으로 빠르게 제작이 가능하지만, 항공사진 상에서 가려진 영역의 도화가 불가능하고, 도로 주변의 3차원 정보 등을 획득하지 못한다는 문제가 있다.
일 실시예에 따른 지도 생성 장치 및 이에 의한 3차원 지도의 생성 방법은 높은 정밀도의 3차원 지도를 저비용으로 신속하게 생성하는 것을 기술적 과제로 한다.
일 실시예에 따른 지도 생성 장치 및 이에 의한 3차원 지도의 생성 방법은 항공 사진만으로는 식별할 수 없는 3차원 정보를 제공하는 3차원 지도를 생성하는 것을 기술적 과제로 한다.
일 실시예에 따른 지도 생성 장치 및 이에 의한 3차원 지도의 생성 방법은 항공 레벨에서 획득한 데이터와 지상 레벨에서 획득된 데이터 각각의 부족한 부분을 상호 보완하여 3차원 지도를 생성함으로써, 저비용으로 정밀도가 높은 3차원 지도를 생성하는 것을 기술적 과제로 한다.
일 실시예에 따른 3차원 지도의 생성 방법은,
노드들, 및 이동체에 대한 센싱 데이터와 관련된 구속 팩터들을 포함하는 제 1 그래프를 생성하는 단계; 상기 생성된 제 1 그래프에 기초하여 제 1의 3차원 지도를 생성하는 단계; 상기 제 1의 3차원 지도 내 적어도 하나의 포인트의 좌표가 상기 포인트에 매칭되는 항공 지도 내 포인트의 좌표에 대응되도록 하는 보정 값을 결정하는 단계; 상기 제1 그래프에 상기 결정된 보정 값과 관련된 구속 팩터들이 추가된 제 2 그래프를 결정하는 단계; 및 상기 제 2 그래프에 기초하여 제 2의 3차원 지도를 생성하는 단계를 포함할 수 있다.
다른 실시예에 따른 지도 생성 장치는,
프로세서; 및 적어도 하나의 인스트럭션을 저장하는 메모리를 포함하되, 상기 프로세서는 상기 적어도 하나의 인스트럭션에 따라, 노드들, 및 이동체에 대한 센싱 데이터와 관련된 구속 팩터들을 포함하는 제 1 그래프를 생성하고, 상기 생성된 제 1 그래프에 기초하여 제 1의 3차원 지도를 생성하고, 상기 제 1의 3차원 지도 내 적어도 하나의 포인트의 좌표가 상기 포인트에 매칭되는 항공 지도 내 포인트의 좌표에 대응되도록 하는 보정 값을 결정하고, 상기 제 1 그래프에 상기 결정된 보정 값과 관련된 구속 팩터들이 추가된 제 2 그래프를 결정하고, 상기 제 2 그래프에 기초하여 제 2의 3차원 지도를 생성할 수 있다.
일 실시예에 따른 지도 생성 장치 및 이에 의한 3차원 지도의 생성 방법은 높은 정밀도의 3차원 지도를 저비용으로 신속하게 생성할 수 있다.
일 실시예에 따른 지도 생성 장치 및 이에 의한 3차원 지도의 생성 방법은 항공 사진으로 식별할 수 없는 부분의 3차원 정보를 제공하는 3차원 지도를 생성할 수 있다.
일 실시예에 따른 지도 생성 장치 및 이에 의한 3차원 지도의 생성 방법은 항공 레벨에서 획득한 데이터와 지상 레벨에서 획득된 데이터 각각의 부족한 부분을 상호 보완하여 3차원 지도를 생성함으로써, 저비용으로 정밀도가 높은 3차원 지도를 생성할 수 있다.
다만, 일 실시예에 따른 지도 생성 장치 및 이에 의한 3차원 지도의 생성 방법이 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 일 실시예에 따른 이동체 및 지도 생성 장치를 나타내는 도면이다.
도 2는 일 실시예에 따른 3차원 지도의 생성 방법을 설명하기 위한 순서도이다.
도 3은 일 실시예에 따른 제 1 그래프를 도시하는 도면이다.
도 4는 제 1 그래프 내에 포함된 각각의 노드에 대응하는 3차원 서브 지도를 도시하는 예시적인 도면이다.
도 5는 일 실시예에 따른 제 2 그래프를 도시하는 도면이다.
도 6은 일 실시예에 따른 포인트 투 포인트 매칭을 통해 보정 값을 결정하는 방법을 설명하기 위한 도면이다.
도 7 및 도 8은 일 실시예에 따른 포인트 투 라인 매칭을 통해 보정 값을 결정하는 방법을 설명하기 위한 도면이다.
도 9 및 도 10은 일 실시예에 따른 라인 투 라인 매칭을 통해 보정 값을 결정하는 방법을 설명하기 위한 도면이다.
도 11 및 도 12는 일 실시예에 따른 마커 매칭을 통해 보정 값을 결정하는 방법을 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 템플릿 매칭을 통해 보정 값을 결정하는 방법을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 지도 생성 장치의 구성을 도시하는 블록도이다.
본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고, 이를 상세한 설명을 통해 설명하고자 한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예를 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 실시예의 설명 과정에서 이용되는 숫자(예를 들어, 제 1, 제 2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 명세서에서 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서 '~부(유닛)', '모듈' 등으로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 기능별로 2개 이상으로 분화될 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성요소 각각이 담당하는 주기능 중 일부 기능이 다른 구성요소에 의해 전담되어 수행될 수도 있음은 물론이다.
또한, 본 명세서에서, '글로벌 좌표'는 불변의 원점을 기준으로 한 소정 객체의 위치를 나타내며, '절대 좌표'로 참조될 수도 있다. 소정 객체의 글로벌 좌표는 항상 일정하다.
또한, 본 명세서에서 '로컬 좌표'는 가변의 원점을 기준으로 한 소정 객체의 위치를 나타내며, '상대 좌표'로 참조될 수도 있다. 소정 객체의 로컬 좌표는 원점을 어디로 결정하느냐에 따라 달라질 수 있다.
이하, 본 개시의 기술적 사상에 의한 실시예들을 차례로 상세히 설명한다.
도 1은 일 실시예에 따른 이동체(100) 및 지도 생성 장치(200)를 나타내는 도면이다.
이동체(100)는 차량, 로봇(robot) 또는 드론(drone) 등일 수 있다. 도 1을 참조하면, 이동체(100)는 적어도 하나의 센서들을 포함할 수 있다. 적어도 하나의 센서를 이용하여, 이동체(100)의 이동에 따른 센싱 데이터가 생성될 수 있다. 예를 들어, 이동체(100)는 적어도 하나의 센서로서, IMU(Inertial Measurement Unit) 센서(101), GPS(global positioning system) 센서(102), 휠 인코더 센서(103), LIDAR(light detection and ranging) 센서(104) 등을 포함할 수 있다. 다만, 이동체(100)에 포함되는 센서는 이에 한정되지 않으며, 이외에도 다양한 종류의 센서들이 이동체(100)에 포함되거나, 도 1에 도시된 센서들 중 일부가 이동체(100)에 포함되지 않을 수 있다. 적어도 하나의 센서들은 이동체(100)의 내부 또는 외부에 위치할 수 있다.
IMU 센서(101)는 관성 측정 수단으로서 가속도 센서 및 자이로 센서(자이로스코프)를 포함할 수 있다. 예를 들어, IMU 센서(101)는 이동체(100)의 회전각으로서 전진 방향(Roll 축 방향), 전진 방향의 우측 방향(pitch 축 방향), 중력 방향(yaw 축 방향) 각각의 각속도 증분치와 이동체(100)의 속도 증분치 등의 센싱 데이터를 생성할 수 있다. 또한, IMU 센서(101)는 센싱 데이터를 이용하여, IMU 오도메트리(Odometry)를 생성할 수 있다. 즉, 초기조건으로부터 가속도와 각속도의 변화량을 측정하여, 이동체(100)의 이동방향 및 이동거리 등을 IMU 오도메트리로 제공하는 것도 가능하다.
GPS 센서(102)는 위성과 통신하여 이동체(100)의 지표상 좌표를 센싱 데이터로 제공할 수 있다. 예를 들어, GPS 센서(102)는 WGS84 좌표계의 측지좌표로서, 위도, 경도 및 타원 체고 등을 제공할 수 있다.
휠 인코더 센서(103)는 이동체(100)에 구비된 휠(wheel)의 회전수를 측정한다. 휠 인코더 센서(103)를 이용하면, 이동체(100)의 이동 거리와 이동 속도 등을 측정할 수 있다.
LIDAR 센서(104)는 레이저 펄스 등을 주변으로 방사한 후, 반사되어 돌아오는 시간을 측정하여, 이동체(100) 주변의 포인트들에 대한 깊이 정보를 생성할 수 있다. 여기서, LIDAR 센서(104)를 이용하여 이동체(100)의 회전량을 측정하거나 라이다 오도메트리(Lidar Odometry)를 생성할 수도 있다. 따라서, LIDAR 센서(104)를 이용하면, 이동체(100)의 이동방향, 이동거리 등을 측정할 수 있다. LIDAR 센서(104)로 SICK의 MLS-511, Velodyne의 VLP-16 등을 이용할 수 있으나, 이에 한정되는 것은 아니다.
추가적으로, 이동체(100)는 카메라 등을 더 포함할 수 있으며, 카메라를 이용하여 이동체(100)의 이동에 대응하는 영상을 촬영하는 것도 가능하다. 이 경우, 카메라로부터 이동체(100)의 비주얼 오도메트리를 생성할 수 있다.
지도 생성 장치(200)는 이동체(100)에 포함된 센서에 의해 생성된 센싱 데이터를 수신하여 이를 기반으로 제 1 그래프를 생성한다. 여기서, 제 1 그래프는 후술하는 항공 지도에 따라 갱신되기 전의 그래프를 의미한다. 그래프를 활용하면 이동체(100)의 6자유도 값, 즉, 이동체(100)의 좌표 값과 자세 값을 정확하게 예측하는 것이 가능하다.
이동체(100)의 좌표 값은 3차원 좌표 상에서의 위치를 나타내는데, 예를 들어, x축, y축 및 z축 상의 좌표 값을 포함할 수 있다. 또한, 이동체(100)의 자세 값은 이동체(100)의 피치(pitch) 값, 롤(roll) 값 및 요(yaw) 값을 포함할 수 있다.
지도 생성 장치(200)는 이동체(100)에 결합되어 이동체(100)와 함께 이동할 수 있고, 또는 이동체(100)와 분리되어 이동체(100)로부터 센싱 데이터를 유무선 통신 방법을 통해 수신할 수도 있다.
도 2는 일 실시예에 따른 3차원 지도의 생성 방법을 설명하기 위한 순서도이다.
S210 단계에서, 지도 생성 장치(200)는 노드들, 및 이동체(100)에 대한 센싱 데이터와 관련된 구속 팩터들을 포함하는 제 1 그래프를 생성한다. 제 1 그래프에 따르면 노드들 각각에 대응하는 이동체(100)의 6자유도 값을 예측할 수 있다. 먼저, 도 3을 참조하여 제 1 그래프에 대해 설명한다.
도 3은 일 실시예에 따른 제 1 그래프(300)를 도시하는 도면이다.
지도 생성 장치(200)는 기준 주기에 따라 노드를 생성할 수 있으며, 기준 주기와 동기화된 센싱 데이터를 기반으로 노드들에 대한 구속(constraint) 팩터를 설정하여, 그래프를 생성할 수 있다. 여기서, 지도 생성 장치(200)는 센싱 데이터 중 어느 하나를 기준 데이터로 설정할 수 있으며, 기준 데이터의 생성 주기를 기준 주기로 설정할 수 있다. 즉, 기준 데이터의 생성 주기에 따라, 노드를 생성하여 그래프에 포함시킬 수 있다. 또한. 지도 생성 장치(200)는 기준 주기와 동기화된 센싱 데이터들을 노드의 구속 팩터로서 그래프에 포함시킬 수 있다. 일 실시예에서, IMU 센서(101)의 IMU 오도메트리가 기준 데이터로 결정될 수 있다.
위 예에서는 기준 데이터가 일정한 생성 주기를 갖는 경우의 예를 들어 설명했으나, 다른 예에 따르면 기준 데이터는 일정한 거리 간격에 따라 수집될 수 있다. 이 경우, 지도 생성 장치(200)는 기준 거리 간격마다 수집되는 기준 데이터 각각에 대응되는 노드를 생성하여 그래프에 포함시킬 수 있다. 지도 생성 장치(200)는 기준 거리 간격마다 생성된 노드의 센싱 시점에 동기화된 센싱 데이터들을 노드의 구속 팩터로서 그래프에 포함시킬 수 있다.
센싱 데이터와 관련된 구속 팩터는 유너리(unary) 팩터와 바이너리(binary) 팩터로 구별될 수 있다. 여기서 유너리 팩터는 센싱 데이터의 생성 시점에서의 측정 결과를 나타내며, GPS 센서(102)에서 측정한 좌표값 등을 포함한다. 예컨대 지도 생성 장치(200)는 GPS 센서(102)에 의해 생성된 특정 시점의 이동체(100)의 위도 및 경도 좌표값을, 노드의 유너리 팩터로서 추가할 수 있다.
바이너리 팩터는 서로 다른 노드 간의 관계를 구속하는 팩터일 수 있다. 예컨대 바이너리 팩터는 센싱 데이터의 측정 시작시점과 측정 종료시점 사이의 관계 정보를 측정 결과로 나타내는 것으로, IMU 센서(101)의 IMU 오도메트리 등이 이에 해당한다. 즉, 특정 시점에서의 가속도 값이 아니라, 측정 시작시점과 측정 종료시점 사이의 가속도 변화량을 이용한 이동방향과 이동거리 등의 정보가 바이너리 팩터에 해당할 수 있다. 이러한 정보는 상대적인 포즈(위치 및 자세) 정보로 표현될 수 있다.
도 3에 도시한 바와 같이, 지도 생성 장치(200)는 t=0의 시점에 최초로 제 1 노드(310)를 생성할 수 있으며, 제 1 노드(310)의 초기 조건을 제 1 노드(310)의 유너리 팩터(311)로 설정할 수 있다. 이후, t=5의 시점에 제 2 노드(320)를 생성할 수 있으며, 제 1 노드(310)와 제 2 노드(320) 사이를 연결하는 바이너리 팩터(315)를 설정할 수 있다. 여기서, 기준 주기는 5일 수 있으며, t=0과 t=5사이의 IMU 오도메트리를 바이터리 팩터로 설정할 수 있다. 이와 같이, 기준 주기마다 이동체(100)에 대응하는 노드를 신규 생성하고, 각각의 노드에 센싱 데이터에 대응하는 구속 팩터를 설정하여, 이동체(100)에 대한 제 1 그래프(300)를 생성할 수 있다.
일 실시예에서, t=0과 t=5에 대응하는 노드(310, 320) 각각을 생성한 이후에, t=4의 시점에 대응하는 비동기 센싱 데이터가 지도 생성 장치(200)로 입력되는 경우가 있을 수 있다. 여기서, 제 1 그래프(300)는 이미 t=5의 시점까지 생성된 상태이므로, t=4의 시점에 대응하는 비동기 센싱 데이터를 반영하기 위해서는 그래프를 수정할 필요가 있다. 도 3에 도시한 바와 같이, 지도 생성 장치(200)는 비동기 센싱 데이터가 생성된 t=4에 대응하는 제 3 노드(330)를 신규 생성할 수 있으며, t=4에 대응하는 제 3 노드(330)에 비동기 센싱 데이터에 대응하는 유너리 팩터(331)를 설정할 수 있다. 그리고, 제 2 노드(320)와 제 3 노드(330) 사이에 바이너리 팩터(325)를 설정할 수 있다. 예를 들어, t=4에 생성된 비동기 센싱 데이터가 GPS 좌표인 경우, t=4의 GPS 좌표와, t=5에서의 GPS 좌표를 비교한 후, t=4의 GPS 좌표로부터 t=5의 GPS 좌표까지 진행하기 위한 휠 인코더값 등으로 바이너리 팩터(325)가 설정될 수 있다.
다시 도 2를 참조하면, S220 단계에서, 지도 생성 장치(200)는 제 1 그래프에 기초하여 제 1의 3차원 지도를 생성한다. 제 1의 3차원 지도는 이동체(100)가 이동하면서 LIDAR 센서(104) 등으로 확인한 포인트들의 좌표를 포함할 수 있다. 여기서의 좌표는 3차원의 글로벌(global) 좌표일 수 있다. 즉, 지도 생성 장치(200)는 제 1 그래프에 기초하여 노드들 각각에 대응하는 이동체(100)의 6자유도 값을 산출하고, 이동체(100)를 중심으로 센싱된 포인트들의 로컬 좌표를 이동체(100)의 6자유도 값에 따라 글로벌 좌표로 변경시킴으로써 제 1의 3차원 지도를 생성할 수 있다.
지도 생성 장치(200)는 제 1 그래프에 기초하여 이동체(100)의 6자유도 값을 정확하게 예측하기 위해, 제 1 그래프를 최적화시킬 수 있다.
이에 대해 구체적으로 설명하면, n개의 노드를 갖는 그래프는
Figure pat00001
로 나타낼 수 있다. 이 노드들은 특정한 구속 팩터들에 의해 연결 관계를 갖고, 이들 구속 팩터들로 구성된 그래프의 에러를 최소화하는 노드들의 6자유도 값이 산출될 수 있다. 노드 간의 연결 관계는 그래프의 구성요소 중 에지(edge)에 해당할 수 있다.
그래프의 최적화를 위해 다음의 수학식 1이 이용될 수 있다.
[수학식 1]
Figure pat00002
상기 수학식 1에서
Figure pat00003
및
Figure pat00004
각각은 시간 i, j에서의 노드를 의미하고, 센서들로부터 측정한 노드의 6자유도 값과 그래프 상에서의 노드의 6자유도 값 사이의 오차가
Figure pat00005
로 표현된다. 그래프의 최적화는 오차
Figure pat00006
를 최소화하는 그래프를 산출하는 것이다. 여기서,
Figure pat00007
는 센싱 데이터의 정보 매트릭스(information matrix)이다. 그래프의 최적화는 Gauss-Newton Method 또는 Levenberg-Marquardt Method 등의 비선형 최적화 방법을 통해 이루어질 수 있다.
도 4는 제 1 그래프 내에 포함된 각각의 노드에 대응하는 3차원 서브 지도를 도시하는 예시적인 도면으로서, 각각의 노드에 대응하는 시점에 LIDAR 센서(104) 등으로부터 획득한 센싱 데이터를 기반으로 각 노드에 대응하는 3차원 서브 지도가 생성될 수 있다. 이때, 노드와 노드 사이의 특정 시점에 대한 이동체(100)의 6자유도 값은 보간(interpolation)을 통해 산출될 수 있다. 도 4에 도시된 서브 지도들을 누적하여 글로벌 지도가 산출될 수 있다.
다시 도 2를 참조하면, S230 단계에서, 지도 생성 장치(200)는 제 1의 3차원 지도 내 적어도 하나의 포인트의 좌표가 항공 지도 내 적어도 하나의 포인트의 좌표에 대응되도록 하는 보정 값을 결정할 수 있다. 예를 들어, 지도 생성 장치(200)는 제 1의 3차원 지도 내 포인트들의 좌표를 항공 지도 내 포인트들의 좌표에 일치시키기 위한 보정 값을 결정할 수 있다. 항공 지도는 드론, 인공위성, 비행기 등의 비행체에 의해 획득된 데이터, 예를 들어, 사진으로부터 생성된 지도를 포함할 수 있다.
제 1의 3차원 지도와 항공 지도는 여러 포인트들로 이루어질 수 있는데, 각 포인트는 그에 대응하는 좌표, 구체적으로 글로벌 좌표를 갖는다. 전술한 바와 같이, 제 1의 3차원 지도는 그라운드 레벨에서 이동체(100)에 의해 센싱된 센싱 데이터를 기반으로 하여 생성된 것인데 그라운드 레벨에서는 주변 장애물의 영향으로 인해 위성 기반 측위 데이터(예컨대 GPS)의 신뢰도가 낮기 때문에, 제 1의 3차원 지도 내 포인트들의 좌표가 부정확할 수 있다. 그러나 그라운드 레벨보다 높은 항공 레벨에서는 위성 기반 측위 데이터의 신뢰도가 그라운드 레벨보다 높다. 따라서, 일 실시예에서는 좌표의 신뢰도가 높은 항공 지도를 기준으로 고 정밀도의 3차원 지도를 생성하기 위한 보정 값을 결정하는 것이다.
보정 값은 제 1 그래프에 기초하여 산출되는 노드들의 6자유도 값을 보정하기 위한 것으로서, 보정 값 역시 6자유도 값을 포함할 수 있다. 이러한 보정 값은, 제1의 3차원 지도와 항공 지도에서 서로 매칭되는 정합 포인트의 좌표 간 오차에 기초하여 결정될 수 있다. 실 공간에서 특정 가능한 대상, 예컨대 도로 위에 그려진 마커(차선, 정지선, 횡단보도, 교통 기호) 등이 정합 포인트로 수동 혹은 자동으로 지정될 수 있다.
보정 값은 제 1의 3차원 지도와 항공 지도 사이의 포인트 투 포인트(point to point) 매칭, 포인트 투 라인(point to line) 매칭, 라인 투 라인(line to line) 매칭, 마커(marker) 매칭 또는 템플릿(template) 매칭 등을 통해 산출될 수 있는데, 이에 대해서는 도 6 내지 도 12를 참조하여 후술한다.S240 단계에서, 지도 생성 장치(200)는 보정 값과 관련된 구속 팩터들을 제 1 그래프에 추가함으로써, 제 2 그래프를 결정한다. 여기서, 제 2 그래프는 제 1 그래프에 구속 팩터들이 새롭게 포함됨으로써 결정된 그래프를 의미한다.
일 실시예에서, 지도 생성 장치(200)는 보정 값을 제 1 그래프에 포함된 적어도 하나의 노드의 유너리 팩터로서 제 1 그래프에 추가할 수 있다. 지도 생성 장치(200)는 보정 값이 어느 서브 지도에서 결정된 것인지를 고려하여, 제 1 그래프의 노드들 중 유너리 팩터와 연결될 노드를 선택할 수 있다. 예를 들어, 보정 값이 도 4의 Mt 서브 지도에서 결정된 것이라면, 지도 생성 장치(200)는 보정 값을 Xt 노드의 유너리 팩터로서 제 1 그래프에 추가할 수 있다.
또한, 일 실시예에서, 지도 생성 장치(200)는 제 1 그래프에 포함된 적어도 하나의 노드의 6자유도 값에 상기 보정 값을 반영한 값을, 적어도 하나의 노드의 유너리 팩터로서 제 1 그래프에 추가할 수 있다. 지도 생성 장치(200)는 보정 값이 어느 서브 지도에서 결정된 것인지를 고려하여, 제 1 그래프의 노드들 중 유너리 팩터와 연결될 노드를 선택할 수 있다. 예를 들어, 보정 값이 도 4의 Mt 서브 지도에서 결정된 것이라면, 지도 생성 장치(200)는 Xt 노드의 6자유도 값에 보정 값을 반영한 값을 Xt 노드의 유너리 팩터로서 제 1 그래프에 추가할 수 있다.
또한, 일 실시예에서, 지도 생성 장치(200)는 적어도 하나의 노드의 좌표와 제 1의 3차원 지도 내 정합 포인트의 좌표에 기초하여 적어도 하나의 노드와 정합 포인트 사이의 거리를 산출하고, 산출된 거리에 반비례하는 신뢰도를 적어도 하나의 노드의 유너리 팩터의 일 요소로서 제 1 그래프에 추가할 수도 있다. 상기 제 1의 3차원 지도 내 정합 포인트는 항공 지도와의 매칭 과정을 통해 결정된다.
일 실시예에서, 지도 생성 장치(200)는 도 4에 도시된 Mt 서브 지도 내에서 정합 포인트가 결정되면, 해당 정합 포인트의 좌표에 기초하여 Xt 노드에 유너리 팩터를 추가할 수 있다. 유너리 팩터는 보정값과 신뢰도를 포함할 수 있다. 예컨대 유너리 팩터는 다음과 같이 표현될 수 있다.
Unary_factor (symbol_id(X_t), pose, reliability)
여기서 symbol_id(x_t)는 유너리 팩터가 연결되는 노드의 정보, pose는 보정 값, reliability는 신뢰도에 해당한다.
보정 값은 Xt 노드의 좌표를 보정하기 위한 값이다. 예컨대, 제 1의 3차원 지도 내의 제 1 정합 포인트와 항공 지도 내의 제 2 정합 포인트가 실제로 동일한 대상(ex. 차선)인 것으로 예상되어 서로 매칭된 상황을 가정한다. 이 때 보정 값은 제 1 정합 포인트의 좌표(A)가 제 2 정합 포인트의 좌표(B)와 같아지도록, Xt 노드의 좌표에 B-A를 더하도록 설정된 값일 수 있다. 제 1의 3차원 지도 내 포인트의 글로벌 좌표는 노드의 글로벌 좌표 및 노드를 기준으로 하는 각 포인트의 로컬 좌표에 의해 계산되기 때문에, 각 포인트의 글로벌 좌표를 보정하기 위해 노드의 글로벌 좌표를 보정하는 방식을 택할 수 있는 것이다.
만일, 해당 보정 값에 의해, 100% 만족되도록 그래프가 최적화되는 경우(일반적으로는 구속 팩터의 수가 많기 때문에 하나의 팩터에 의해 그래프가 완전하게 최적화될 가능성은 높지 않다.), Xt 노드의 글로벌 좌표가 B-A만큼 이동했다면, Xt 노드를 기준으로 계산되는 제 1 정합 포인트의 좌표(글로벌 좌표)는 A+(B-A)=B가 되어, 매칭되는 항공 지도 내의 제 2 정합 포인트의 글로벌 좌표(B)와 일치하게 될 수 있을 것이다.
신뢰도는 그래프를 최적화할 때 해당 유너리 팩터의 구속력을 얼마나 강하게 줄 것인가를 나타내는 요소일 수 있다. 일 예에 따르면, 신뢰도는 보정 값 계산의 기초가 된 정합 포인트와 해당 유너리 팩터가 연결된 노드 간의 거리에 반비례하도록 설정될 수 있다. 이에 따르면 지도 생성 장치(200)는 제 1의 3차원 지도 내 제 1 정합 포인트의 좌표와 항공 지도 내 제 2 정합 포인트의 좌표 간 차이에 기초하는 보정 값과, 제1 정합 포인트와 Xt 노드와의 거리에 반비례하는 신뢰도를 결정하고, 그러한 보정 값과 신뢰도를 포함하는 유너리 팩터를 Xt 노드의 유너리 팩터로 제 1 그래프에 추가할 수 있다. 신뢰도는 전술한 거리가 클수록 작은 값을 가질 수 있는데, 이는, 노드로부터 멀리 위치하는 정합 포인트를 이용하여 계산한 보정 값일수록, 정확도가 낮을 것이라고 간주하여 그래프 최적화 시 노드에 미치는 영향력을 낮추기 위함이다.일 예에 따른 신뢰도를 계산하는 방법은 다음의 수학식 2로 표현될 수 있다.
[수학식 2]
Figure pat00008
상기 수학식 2에서 Pi는 노드(Xt)의 보정 값 결정의 기초가 되는 제 1의 3차원 지도 내 제1 정합 포인트의 좌표, Pi'는 제 1 정합 포인트에 매칭되는 항공 지도 내 제 2 정합 포인트의 좌표, ms()는 Pi, Pi' 간의 매칭 스코어 함수, d()는 노드(Xt)와 정합 포인트(Pi) 간의 유클리디안 거리, n은 정합 포인트의 수이다.
매칭 스코어는 두 정합 포인트가 얼마나 정확하게 매칭되었는가를 나타내는 지표일 수 있다. 매칭 스코어는 통계에서의 잔차(residual)와 같은 역할을 하는 값일 수 있다. 예를 들면 제 1 정합 포인트와 제 2 정합 포인트 간의 거리 차이가 클수록 매칭 스코어는 낮게 계산될 수 있다. 다른 예에 따르면 제 1 정합 포인트와 제 2 정합 포인트의 패턴이 일치하는 정도가 높을수록 매칭 스코어는 높게 계산될 수 있다. 매칭 스코어의 계산 방법은 이에 한정되지 않는다.
수학식 2에 따르면 신뢰도(Reliability)는 노드 Xt와 제 1 정합 포인트들 간의 거리의 평균에 반비례하고, 매칭 스코어에 비례하도록 계산된다. 따라서 평균 거리가 클수록 신뢰도는 낮아지고, 평균 매칭 스코어가 클수록 신뢰도가 높아진다.
Figure pat00009
는 해당 신뢰도 값의 스케일을 조정하기 위한 값이다.
일 예에 따르면, 제 1 정합 포인트의 좌표(Pi)와 제 2 정합 포인트의 좌표(Pi) 간의 차이가 크지 않다는 가정 하에, 위 수학식 2의 d(Xt-Pi)는 d(Xt-Pi') 혹은 d(Xt-Pi")로 대체될 수도 있을 것이다. Pi"는 Pi와 Pi'를 이용하여 계산된 또 다른 값, 예컨대 평균값일 수 있다.
후술하는 바와 같이, 제 1의 3차원 지도 내에서 복수의 정합 포인트가 결정된 경우, 적어도 하나의 노드와 각각의 정합 포인트 사이의 거리들의 평균 값에 반비례하는 신뢰도가 적어도 하나의 노드의 유너리 팩터의 일 요소로 설정될 수 있다. 또한, 제 1의 3차원 지도 내에서 정합 라인이 결정된 경우, 정합 라인에 포함된 포인트들 각각과 적어도 하나의 노드 사이의 거리들의 평균 값에 반비례하는 신뢰도가 적어도 하나의 노드의 유너리 팩터의 일 요소로 설정될 수 있다. 또한, 제 1의 3차원 지도 내에서 복수의 정합 마커들이 결정된 경우, 복수의 정합 마커들에 포함된 포인트들 각각과 적어도 하나의 노드 사이의 거리들의 평균 값에 반비례하는 신뢰도가 적어도 하나의 노드의 유너리 팩터의 일 요소로 설정될 수 있다.
또한, 일 실시예에서, 지도 생성 장치(200)는 항공 지도 내 정합 포인트의 좌표를 복수의 노드의 랜드마크(landmark)로서 제 1 그래프에 추가할 수도 있다. 랜드마크는 일종의 바이너리 팩터로서, 복수의 노드에 대한 구속 팩터로 기능할 수 있다. 일 예에 따른 랜드마크는 베어링-레인지 팩터(Bearing-Range Factor)로서 제1 그래프에 추가될 수도 있다.
예컨대, 특정 "차선"이 정합 포인트로 지정된 경우를 가정하면, 제 1의 3차원 지도에서 해당 차선의 글로벌 좌표는 제 1 노드를 기준으로 계산될 수도 있고, 제 2 노드를 기준으로 계산될 수도 있다. 그런데 만약 제 1 노드와 제 2 노드의 글로벌 좌표가 부정확하다면, 해당 차선의 글로벌 좌표는 어떤 노드를 기준으로 하는지에 따라 다르게 계산될 수 있게 된다. 일 예에 따른 랜드마크는 해당 차선이 동일한 객체에 해당한다는 구속, 즉 글로벌 좌표가 같다는 구속을 부여하는 것이다. 예컨대, 제 1 노드와 제 2 노드가 동일한 "차선을 랜드마크로 참조한다는 것은, "제 1 노드를 기준으로 계산한 차선의 글로벌 좌표와 제 2 노드를 기준으로 계산한 차선의 글로벌 좌표가 같다."라는 구속이 그래프에 부여된 것과 같다. 여기에 해당 차선의 항공 지도 상 좌표 값(항공 지도의 좌표가 더 정확하다고 가정함)을 랜드마크에 포함시키게 되면, "제 1 노드를 기준으로 계산한 차선의 좌표와 제 2 노드를 기준으로 계산한 차선의 좌표가 같다"는 조건에 더하여, 그러한 좌표가 어떤 값이어야 하는지도 구속할 수 있다.
지도 생성 장치(200)는 제 1 그래프의 노드들 중 랜드마크와 연결될 복수의 노드를 선택할 수 있다. 예를 들어, 지도 생성 장치(200)는 정합 포인트와 가까운 순서대로 소정 개수의 노드를 선택하고, 선택된 소정 개수의 노드가 공통적으로 바라보는 랜드마크를 구속 팩터로서 제 1 그래프에 추가할 수 있다. 랜드마크는 정합 포인트의 항공 지도 내 좌표를 포함할 수 있다.
위와 같이 랜드마크를 그래프에 추가한다는 것은, 제 1 노드에서 바라보는 특정 랜드마크와 제 2 노드에서 바라보는 특정 랜드마크가 같은 객체라는 점, 즉 해당 랜드마크의 글로벌 좌표가 같다는 구속 조건을 그래프에 추가하는 것이다. 예컨대, 제 1 랜드마크의 정보가 제 1 노드와 제 2 노드 간의 바이너리 팩터로 추가된 그래프를 최적화하는 경우, 그래프는 제 1 노드를 기준으로 계산한 제 1 랜드마크의 글로벌 좌표와 제 2 노드를 기준으로 계산한 제 1 랜드마크의 글로벌 좌표가 같아지는 방향으로 최적화된다.
도 5는 일 실시예에 따른 제 2 그래프(500)를 도시하는 도면이다.
도 5를 참조하면, 도 3에 도시된 제 1 그래프(300)에 비해 t=5일 때의 제 2 노드(320)의 유너리 팩터(521), t=4일 때의 제 3 노드(330)의 유너리 팩터(532) 및 제 2 노드(320)와 제 3 노드(330)에 대한 랜드마크(525)가 추가된 것을 알 수 있다.
즉, 항공 사진을 기준으로 결정된 구속 팩터들이 제 1 그래프(300)에 추가됨으로써 제 2 그래프(500)가 결정될 수 있는 것이다.
다시 도 2를 참조하면, S250 단계에서, 지도 생성 장치(200)는 제 2 그래프에 기초하여 제 2의 3차원 지도를 생성한다.
구체적으로, 지도 생성 장치(200)는 제 2 그래프의 최적화를 통해 노드들 각각의 갱신된 6 자유도 값을 결정함으로서 제 2의 3차원 지도를 생성할 수 있다. 구체적으로, 지도 생성 장치(200)는 노드들 각각의 갱신된 6 자유도 값을 기초로 이동체(100)에서 센싱된 포인트들의 갱신된 좌표 정보들을 산출하여 제 2의 3차원 지도를 생성할 수 있다. 예컨대, 지도 생성 장치(200)는 노드들 각각의 갱신된 6 자유도 값과, 노드를 기준으로 하는 각 포인트의 로컬 좌표를 이용하여, 이동체(100)에서 센싱된 포인트들의 갱신된 글로벌 좌표 정보들을 산출하고, 산출된 글로벌 좌표를 갖는 포인트들을 포함하는 제 2의 3차원 지도를 생성할 수 있다.
이하에서는, 도 6 내지 도 12를 참조하여, 제 2 그래프의 생성을 위한 보정 값을 결정하는 방법에 대해 상세히 설명한다.
도 6은 일 실시예에 따른 포인트 투 포인트 매칭을 통해 보정 값을 결정하는 방법을 설명하기 위한 도면이다.
지도 생성 장치(200)는 제 1의 3차원 지도(610)와 항공 지도(630) 내에서 서로 매칭되는 제 1 정합 포인트(P1, P2, P3, P4)와 제 2 정합 포인트(P1', P2', P3', P4')를 결정할 수 있다. 도 6에 도시된 제 1의 3차원 지도(610)는 도 4에 도시된 어느 하나의 서브 지도일 수 있다. 예를 들어, 도 6의 제 1의 3차원 지도(610)에는 도 4에 도시된 어느 하나의 서브 지도로부터 반사도를 기반으로 추출된 차선들 및 노면 기호만이 보여질 수 있다.
도 6은 제 1 정합 포인트(P1, P2, P3, P4)와 제 2 정합 포인트(P1', P2', P3', P4')가 복수 개인 것으로 도시하고 있으나, 제 1 정합 포인트(P1, P2, P3, P4)와 제 2 정합 포인트(P1', P2', P3', P4') 각각의 개수는 하나일 수도 있다.
제 1 정합 포인트(P1, P2, P3, P4) 및 제 2 정합 포인트(P1', P2', P3', P4')는 수동 또는 자동으로 결정될 수 있다. 일 예로서, 지도 생성 장치(200)는 관리자로부터 제 1의 3차원 지도(610) 및 항공 지도(630) 내 포인트들 중 서로 매칭되는 제 1 정합 포인트(P1, P2, P3, P4)와 제 2 정합 포인트(P1', P2', P3', P4')를 입력받을 수 있다. 다른 예로서, 지도 생성 장치(200)는 제 1의 3차원 지도(610) 및 항공 지도(630) 내 포인트들 각각과 그 주위의 정보를 이용한 템플릿 매칭 또는 지역 기술자(local descriptor)를 이용하여 제 1 정합 포인트(P1, P2, P3, P4) 및 이에 매칭되는 제 2 정합 포인트(P1', P2', P3', P4')를 결정할 수 있다.
지도 생성 장치(200)는 제 1의 3차원 지도(610) 내 제 1 정합 포인트(P1, P2, P3, P4)의 좌표와 항공 지도(630) 내 제 2 정합 포인트(P1', P2', P3', P4')의 좌표 사이의 차이 값을 보정 값으로 결정할 수 있다. 전술한 바와 같이, 결정된 보정 값 또는 노드의 좌표에 보정 값이 반영된 값이 유너리 팩터로서 제 1 그래프에 추가될 수 있다. 지도 생성 장치(200)는 제 1 정합 포인트(P1, P2, P3, P4)와 가장 가까운 노드의 유너리 팩터로서 상기 보정 값 또는 해당 노드의 좌표에 보정 값을 반영한 값을 제 1 그래프에 추가할 수 있다. 또한, 제 2 정합 포인트(P1', P2', P3', P4')의 좌표가 복수의 노드에 대한 랜드마크로서 제 1 그래프에 추가될 수도 있다.
또한, 지도 생성 장치(200)는 제 1 정합 포인트(P1, P2, P3, P4)에 대응하는 노드를 결정하고, 결정된 노드와 제 1 정합 포인트(P1, P2, P3, P4) 사이의 거리에 반비례하는 신뢰도를 해당 노드의 유너리 팩터의 일 요소로서 제 1 그래프에 추가할 수도 있다.
도 6에 도시된 바와 같이, 제 1의 3차원 지도(610) 및 항공 지도(630)에서 복수의 제 1 정합 포인트들(P1, P2, P3, P4)과 복수의 제 2 정합 포인트들(P1', P2', P3', P4')이 결정되면, 복수의 제 1 정합 포인트(P1, P2, P3, P4)의 좌표들과 복수의 제 2 정합 포인트(P1', P2', P3', P4')의 좌표들 각각의 차이 값들의 평균이 보정 값으로 결정될 수 있다.
보정 값에 기초하여 제 2 그래프가 결정되면, 제 2 그래프에 기초하여 각 노드의 갱신된 6자유도 값이 결정되고, 갱신된 6자유도 값을 기준으로 결정되는 제 2의 3차원 지도 내 포인트들의 좌표들이 항공 지도의 포인트들의 좌표들에 대응되게 된다. 다시 말하면, 어느 하나의 노드를 기준으로 계산한 제 1 정합 포인트(P1, P2, P3 또는 P4) 의 좌표가 (1, 1, 1)이고, 제 2 정합 포인트(P1', P2', P3' 또는 P4')의 좌표가 (2, 2, 2)인 경우, 구속 팩터의 추가를 통해 노드의 위치를 조정함으로써 해당 노드를 기준으로 계산한 제 1 정합 포인트(P1, P2, P3 또는 P4) 의 좌표가 (2, 2, 2) (또는 이에 가까운 좌표)가 되게 하는 것이다.
도 7 및 도 8은 일 실시예에 따른 포인트 투 라인 매칭을 통해 보정 값을 결정하는 방법을 설명하기 위한 도면이다.
한편, 도로상의 식별 가능한 마커(차선, 노면기호 등)는 포인트로 특정될 수 있을 뿐 아니라 선으로 표현되기도 한다. 이러한 경우, 지도 생성 장치(200)는 제 1의 3차원 지도(610)와 항공 지도(630) 내에서 서로 매칭되는 정합 포인트(P1, P2, P3)와 정합 라인(L')을 결정할 수 있다.
정합 포인트(P1, P2, P3) 및 정합 라인(L')은 수동 또는 자동으로 결정될 수 있다. 일 예로서, 지도 생성 장치(200)는 관리자로부터 제 1의 3차원 지도(610) 및 항공 지도(630)에서 서로 매칭되는 정합 포인트(P1, P2, P3)와 정합 라인(L')을 입력받을 수 있다. 다른 예로서, 지도 생성 장치(200)는 제 1의 3차원 지도(610) 및 항공 지도(630)를 분석하여 서로 매칭되는 정합 포인트(P1, P2, P3)와 정합 라인(L')을 결정할 수도 있다.
제 1의 3차원 지도(610) 내 정합 포인트들(P1, P2, P3)을 보정 값에 따라 트랜스폼(transform)(또는 갱신)하였을 때, 트랜스폼된 정합 포인트들의 좌표가 항공 지도(630) 내 정합 라인(L')상에 위치하여야 한다. 따라서, 도 8에 도시된 바와 같이, 지도 생성 장치(200)는 정합 포인트들(P1, P2, P3)과 정합 라인(L') 사이의 거리(d)의 합이 최소가 되는 보정 값을 결정할 수 있다. 여기서, 보정 값은 6자유도 값을 가질 수 있다.
어느 하나의 노드를 기준으로 계산된 정합 포인트들(P1, P2, P3)의 좌표가 정합 라인(L') 상에 있지 않을 때, 보정 값에 대응하는 구속 팩터의 추가를 통해 상기 어느 하나의 노드의 6자유도 값을 변경할 수 있고, 이에 따라, 정합 포인트들(P1, P2, P3)의 좌표가 항공 지도의 정합 라인(L')에 포함된 포인트들의 좌표와 일치 또는 유사해지게 된다.
도 9 및 도 10은 일 실시예에 따른 라인 투 라인 매칭을 통해 보정 값을 결정하는 방법을 설명하기 위한 도면이다.
지도 생성 장치(200)는 제 1의 3차원 지도(610)와 항공 지도(630) 내에서 서로 매칭되는 제 1 정합 라인(L1, L2, L3, L4, L5)과 제 2 정합 라인(L1', L2', L3', L4', L5')을 결정할 수 있다. 도 9는 복수의 제 1 정합 라인(L1, L2, L3, L4, L5)과 복수의 제 2 정합 라인(L1', L2', L3', L4', L5')을 도시하고 있으나, 하나의 제 1 정합 라인과 하나의 제 2 정합 라인이 결정될 수도 있다.
제 1 정합 라인(L1, L2, L3, L4, L5)과 제 2 정합 라인(L1', L2', L3', L4', L5')은 수동 또는 자동으로 결정될 수 있다. 일 예로서, 지도 생성 장치(200)는 관리자로부터 제 1의 3차원 지도(610) 및 항공 지도(630)에서 서로 매칭되는 제 1 정합 라인(L1, L2, L3, L4, L5)과 제 2 정합 라인(L1', L2', L3', L4', L5')을 입력받을 수 있다. 다른 예로서, 지도 생성 장치(200)는 제 1의 3차원 지도(610) 및 항공 지도(630)를 분석하여 서로 매칭되는 제 1 정합 라인(L1, L2, L3, L4, L5)과 제 2 정합 라인(L1', L2', L3', L4', L5')을 결정할 수도 있다.
제 1의 3차원 지도(610) 내 제 1 정합 라인(L1, L2, L3, L4, L5)을 보정 값에 따라 트랜스폼(transform)(또는 갱신)하였을 때, 트랜스폼된 제 1 정합 라인(L1, L2, L3, L4, L5)이 제 2 정합 라인(L1', L2', L3', L4', L5')에 일치하여야 한다. 따라서, 도 10에 도시된 바와 같이, 지도 생성 장치(200)는 제 1 정합 라인(L1, L2, L3, L4, L5), 구체적으로는 제 1 정합 라인에 포함된 포인트들과 제 2 정합 라인(L1', L2', L3', L4', L5') 사이의 거리(d)의 합이 최소가 되는 보정 값을 결정할 수 있다. 여기서, 보정 값은 6자유도 값을 가질 수 있다. 일 실시예에서, 복수의 제 1 정합 라인(L1, L2, L3, L4, L5)과 복수의 제 2 정합 라인(L1', L2', L3', L4', L5')이 결정된 경우, 각각의 제 1 정합 라인과 제 2 정합 라인으로부터 결정된 보정 값들의 평균이 최종 보정 값으로 결정될 수 있다.
보정 값에 대응하는 구속 팩터의 추가를 통해 상기 어느 하나의 노드의 6자유도 값이 변경될 수 있고, 이에 따라, 제 1 정합 라인(L1, L2, L3, L4, L5)에 포함된 포인트들의 좌표가 항공 지도(630)의 제 2 정합 라인(L1', L2', L3', L4', L5')에 포함된 포인트들의 좌표와 일치 또는 유사해지게 된다.
도 11 및 도 12는 일 실시예에 따른 마커 매칭을 통해 보정 값을 결정하는 방법을 설명하기 위한 도면이다.
도로 상에는 교통 표지와 같은 다양한 마커들이 존재한다. 지도 생성 장치(200)는 제 1의 3차원 지도(610) 및 항공 지도(630)에서 서로 매칭되는 제 1 마커들(M1, M2, M3, M4)과 제 2 마커들(M1', M2', M3', M4')을 결정할 수 있다. 제 1 마커들(M1, M2, M3, M4) 및 제 2 마커들(M1', M2', M3', M4')은 수동 또는 자동으로 결정될 수 있다. 일 예로서, 지도 생성 장치(200)는 관리자로부터 제 1의 3차원 지도(610) 및 항공 지도(630)에서 서로 매칭되는 제 1 마커들(M1, M2, M3, M4)과 제 2 마커들(M1', M2', M3', M4')을 입력받을 수 있다. 다른 예로서, 지도 생성 장치(200)는 제 1의 3차원 지도(610) 및 항공 지도(630)를 분석하여 서로 매칭되는 제 1 마커들(M1, M2, M3, M4)과 제 2 마커들(M1', M2', M3', M4')을 결정할 수도 있다.
제 1 마커들(M1, M2, M3, M4) 각각에 포함된 포인트들의 좌표들과 제 2 마커들(M1', M2', M3', M4') 각각에 포함된 포인트들의 좌표들은 일치하여야 하므로, 지도 생성 장치(200)는 제 1 마커들(M1, M2, M3, M4) 각각에 포함된 포인트들의 좌표가 제 2 마커들(M1', M2', M3', M4') 각각에 포함된 포인트들의 좌표와 일치 또는 유사해지도록 하는 보정 값을 결정할 수 있다. 제 1 마커들(M1, M2, M3, M4)에 포함된 포인트들은 제 1 마커들(M1, M2, M3, M4) 각각을 나타내는 블록, 예를 들어, 도 12에 도시된 사각형 블록(B1, B2, B3, B4)의 중점 포인트(C1, C2, C3, C4)일 수 있고, 마찬가지로, 제 2 마커들(M1', M2', M3', M4')에 포함된 포인트들은 제 2 마커들 각각을 나타내는 블록, 예를 들어, 도 12에 도시된 사각형 블록(B1', B2', B3', B4')의 중점 포인트(C1', C2', C3', C4')일 수 있다. 도 12에 도시된 바와 같이, 제 1 마커들(M1, M2, M3, M4)에 포함된 포인트들(C1, C2, C3, C4)의 좌표를 제 2 마커들(M1', M2', M3', M4')에 포함된 포인트(C1', C2', C3', C4')들의 좌표에 일치시키기 위한 3차원 좌표 값(t)과 자세 값(R)이 보정 값으로 결정될 수 있다. 중점 포인트는 블록의 무게 중심을 의미할 수 있다.
또한, 지도 생성 장치(200)는 상기 보정 값을 결정할 때, 제 1 마커들(M1, M2, M3, M4) 각각에 포함된 포인트들의 좌표가 제 2 마커들(M1', M2', M3', M4') 각각에 포함된 포인트들의 좌표에 일치 또는 유사해지도록 하면서, 제 1 마커들(M1, M2, M3, M4) 각각에 포함된 포인트들(C1, C2, C3, C4)을 연결하는 제 1 도형(F)의 내각들(θ1, θ2, θ3, θ4)이 제 2 마커들(M1', M2', M3', M4') 각각에 포함된 포인트들(C1', C2', C3', C4')을 연결하는 제 2 도형(F')의 내각들(θ1', θ2', θ3', θ4')에 일치 또는 유사해지도록 하는 보정 값을 결정할 수 있다. 상기 보정 값은 이동량 및 회전량을 포함하는 6자유도 값일 수 있다.
도 13은 일 실시예에 따른 템플릿 매칭을 통해 보정 값을 결정하는 방법을 설명하기 위한 도면이다.
일 실시예에서, 지도 생성 장치(200)는 템플릿 매칭을 통해 보정 값을 결정할 수도 있다. 제 1의 3차원 지도(610)에 포함된 포인트들의 제 1의 3차원 지도(610) 내에서의 위치는, 항공 지도(630)에 포함된 포인트들의 항공 지도(630) 내에서의 위치와 동일하여야 하므로, 제 1의 3차원 지도(610)의 포인트들에 대응하는 픽셀 값들과 항공 지도(630)의 포인트들에 대응하는 픽셀 값들 사이의 차이가 최소화되어야 한다. 따라서, 지도 생성 장치(200)는 제 1의 3차원 지도(610)의 포인트들에 대응하는 픽셀 값들과 항공 지도(630)의 포인트들에 대응하는 픽셀 값들 사이의 차이들의 합이 최소화되도록 하는 보정 값을 결정하고, 결정된 보정 값에 기반하여 구속 팩터를 제 1 그래프에 추가할 수 있다. 일 예로, 지도 생성 장치(200)는 도 13에 도시된 바와 같이, 제 1의 3차원 지도(610)와 항공 지도(630)가 중첩된 이미지(650)를 통해 제 1의 3차원 지도(610)의 포인트들에 대응하는 픽셀 값들과 항공 지도(630)의 포인트들에 대응하는 픽셀 값들 사이의 차이가 최소화되는 보정 값을 결정할 수 있다.
구현예에 따라서는, 전술한 포인트 투 포인트 매칭, 포인트 투 라인 매칭, 라인 투 라인 매칭, 마커 매칭 또는 템플릿 매칭이 딥 러닝(deep learning) 기반으로 수행될 수도 있다.
도 14는 일 실시예에 따른 지도 생성 장치(200)의 구성을 도시하는 블록도이다.
도 14를 참조하면, 지도 생성 장치(200)는 메모리(1410), 통신부(1430) 및 제어부(1450)를 포함한다. 메모리(1410), 통신부(1430) 및 제어부(1450)는 적어도 하나의 프로세서로 구현될 수 있고, 메모리(1410)에 저장된 인스트럭션에 따라 동작할 수 있다.
통신부(1430)는 이동체(100)로부터 센싱 데이터를 수신한다. 통신부(1430)는 센싱 데이터를 유선 네트워크 및/또는 무선 네트워크를 통해 수신할 수 있다.
제어부(1450)는 센싱 데이터를 기반으로 3차원 지도를 생성한다. 구체적으로, 제어부(1450)는 노드들 및 구속 팩터들을 포함하는 제 1 그래프를 생성하고, 제 1 그래프에 기초하여 제 1의 3차원 지도를 생성한다. 제 1의 3차원 지도에 포함된 포인트들의 좌표는 실제 좌표와 차이가 있을 수 있으므로, 제어부(1450)는 제 1의 3차원 지도 내 포인트들의 좌표가 항공 지도 내 포인트들의 좌표에 대응되도록 하는 보정 값을 결정하고, 보정 값과 관련된 구속 팩터들이 추가된 제 2 그래프를 결정한다. 제어부(1450)는 제 2 그래프에 기초하여 제 2의 3차원 지도를 생성한다. 이러한 항공 지도는 통신부(1430)가 유선 네트워크 및/또는 무선 네트워크를 통해 다른 장치로부터 수신하거나, 메모리(1410)에 저장된 것일 수 있다.
그래프의 생성 방법, 보정 값의 결정 방법 및 3차원 지도의 생성 방법에 대해서는 전술하였으므로, 상세한 설명은 생략한다.
한편, 전술한 본 개시의 실시예들에 있어서, 항공 지도는 2차원, 2.5차원, 혹은 3차원의 지도일 수 있다. 일 예에 따르면 항공 지도는 2.5차원일 수 있으며 여기서 2.5차원은 2차원의 각 (x, y) 좌표가 하나의 높이 값(z)을 갖는 데이터를 의미한다. 지도 생성 장치(200)는 이동체(100)에 기반하여 생성된 그라운드 레벨의 지도(예를 들어, 전술한 3차원 지도)와 항공 지도의 포인트 좌표가 동일하게 n차원인 경우에는 n차원의 보정 값을 계산할 수 있다. 반면 그라운드 레벨의 지도의 포인트 좌표는 n차원이고 항공 지도의 포인트 좌표는 m차원인 경우, 지도 생성 장치(200)는 더 낮은 차원의 좌표 값만을 이용하여 보정 값을 계산할 수 있다. 다만, 2.5차원의 경우 x, y, z 좌표 값을 모두 갖기 때문에 3차원에 준하여 다루어질 수 있다.
한편, 상술한 본 개시의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 작성된 프로그램은 매체에 저장될 수 있다.
매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상, 본 개시의 기술적 사상을 바람직한 실시예를 들어 상세하게 설명하였으나, 본 개시의 기술적 사상은 상기 실시예들에 한정되지 않고, 본 개시의 기술적 사상의 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러 가지 변형 및 변경이 가능하다.
100: 이동체
200: 지도 생성 장치
1410: 메모리
1430: 통신부
1450: 제어부

Claims (19)

  1. 노드들, 및 이동체에 대한 센싱 데이터와 관련된 구속 팩터들을 포함하는 제 1 그래프를 생성하는 단계;
    상기 생성된 제 1 그래프에 기초하여 제 1의 다차원 지도를 생성하는 단계;
    상기 제 1의 다차원 지도 내 적어도 하나의 포인트의 좌표가 상기 포인트에 매칭되는 항공 지도 내 포인트의 좌표에 대응되도록 하는 보정 값을 결정하는 단계;
    상기 제1 그래프에 상기 결정된 보정 값과 관련된 새로운 구속 팩터들이 추가된 제 2 그래프를 결정하는 단계; 및
    상기 제 2 그래프에 기초하여 제 2의 다차원 지도를 생성하는 단계를 포함하며,
    상기 제 2 그래프를 결정하는 단계는,
    상기 보정 값 또는, 상기 제 1 그래프에 포함된 적어도 하나의 노드의 자유도 값에 상기 보정 값을 반영한 값을 상기 제 1 그래프에 포함된 적어도 하나의 노드의 새로운 구속 팩터로서 상기 제 1 그래프에 추가하는 단계를 포함하는 것을 특징으로 하는 지도의 생성 방법.
  2. 제1항에 있어서,
    상기 보정 값을 결정하는 단계는,
    상기 제 1의 다차원 지도 내 제 1 정합 포인트의 좌표와 상기 제 1 정합 포인트에 매칭되는 상기 항공 지도 내 제 2 정합 포인트의 좌표 사이의 차이를 상기 보정 값으로 결정하는 단계를 포함하는 것을 특징으로 하는 지도의 생성 방법.
  3. 제2항에 있어서,
    상기 제 2 그래프를 결정하는 단계는,
    상기 적어도 하나의 노드의 좌표와 상기 제 1 정합 포인트의 좌표에 기초하여 상기 적어도 하나의 노드와 상기 제 1 정합 포인트 사이의 거리를 산출하는 단계; 및
    상기 산출된 거리에 반비례하는 신뢰도를 상기 새로운 구속 팩터의 일 요소로 추가하는 단계를 포함하는 것을 특징으로 하는 지도의 생성 방법.
  4. 제2항에 있어서,
    상기 제 2 그래프를 결정하는 단계는,
    상기 항공 지도 내 제 2 정합 포인트의 좌표를 복수의 노드의 랜드마크(landmark)로서 상기 제 1 그래프에 추가하는 단계를 포함하는 것을 특징으로 하는 지도의 생성 방법.
  5. 제1항에 있어서,
    상기 보정 값을 결정하는 단계는,
    상기 제 1의 다차원 지도 내 정합 포인트들과 상기 항공 지도 내 정합 라인 사이의 거리를 최소화하는 보정 값을 결정하는 단계를 포함하는 것을 특징으로 하는 지도의 생성 방법.
  6. 제1항에 있어서,
    상기 보정 값을 결정하는 단계는,
    상기 제 1의 다차원 지도 내 정합 라인에 포함된 포인트들과 상기 항공 지도 내 정합 라인 사이의 거리를 최소화하는 보정 값을 결정하는 단계를 포함하는 것을 특징으로 하는 지도의 생성 방법.
  7. 제1항에 있어서,
    상기 보정 값을 결정하는 단계는,
    상기 제 1의 다차원 지도 내 정합 마커(marker)들에 포함된 포인트들의 좌표들을 상기 항공 지도 내 정합 마커들에 포함된 포인트들의 좌표들에 대응시키기 위한 보정 값을 결정하는 단계를 포함하는 것을 특징으로 하는 지도의 생성 방법.
  8. 제1항에 있어서,
    상기 보정 값을 결정하는 단계는,
    상기 제 1의 다차원 지도의 포인트들에 대응하는 픽셀 값들과 상기 항공 지도의 포인트들에 대응하는 픽셀 값들 사이의 차이를 최소화하는 보정 값을 결정하는 단계를 포함하는 것을 특징으로 하는 지도의 생성 방법.
  9. 제1항에 있어서,
    상기 제 1의 다차원 지도를 생성하는 단계는,
    상기 제 1 그래프의 최적화를 통해 상기 노드들 각각의 자유도 값을 결정하는 단계; 및
    상기 노드들 각각의 자유도 값을 기초로 상기 이동체에서 센싱된 포인트들의 좌표들을 산출하여 상기 제 1의 다차원 지도를 생성하는 단계를 포함하는 것을 특징으로 하는 지도의 생성 방법.
  10. 제9항에 있어서,
    상기 제 2의 다차원 지도를 생성하는 단계는,
    상기 제 2 그래프의 최적화를 통해 상기 노드들 각각의 갱신된 자유도 값을 결정하는 단계; 및
    상기 노드들 각각의 갱신된 자유도 값을 기초로 상기 이동체에서 센싱된 포인트들의 갱신된 좌표들을 산출하여 상기 제 2의 다차원 지도를 생성하는 단계를 포함하는 것을 특징으로 하는 지도의 생성 방법.
  11. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 제 1 그래프에 기 포함된 구속 팩터들과 상기 새로운 구속 팩터를 모두 만족하는 방향으로 제2 그래프를 최적화(optimization)함으로써 상기 제 2의 다차원 지도를 생성하는 것을 특징으로 하는 지도의 생성 방법.
  12. 하드웨어와 결합하여 제1항 내지 제11항 중 어느 하나의 항의 지도의 생성 방법을 실행하기 위해 매체에 저장된 프로그램.
  13. 프로세서; 및
    적어도 하나의 인스트럭션을 저장하는 메모리를 포함하되,
    상기 프로세서는 상기 적어도 하나의 인스트럭션에 따라,
    노드들, 및 이동체에 대한 센싱 데이터와 관련된 구속 팩터들을 포함하는 제 1 그래프를 생성하고,
    상기 생성된 제 1 그래프에 기초하여 제 1의 다차원 지도를 생성하고,
    상기 제 1의 다차원 지도 내 적어도 하나의 포인트의 좌표가 상기 포인트에 매칭되는 항공 지도 내 포인트의 좌표에 대응되도록 하는 보정 값을 결정하고,
    상기 제 1 그래프에 상기 결정된 보정 값과 관련된 새로운 구속 팩터들이 추가된 제 2 그래프를 결정하고,
    상기 제 2 그래프에 기초하여 제 2의 다차원 지도를 생성하고,
    상기 제 2 그래프를 결정할 때, 상기 보정 값 또는, 상기 제 1 그래프에 포함된 적어도 하나의 노드의 자유도 값에 상기 보정 값을 반영한 값을 상기 적어도 하나의 노드의 새로운 구속 팩터로서 상기 제 1 그래프에 추가하는 것을 특징으로 하는 지도 생성 장치.
  14. 노드들, 및 이동체에 대한 센싱 데이터와 관련된 구속 팩터들을 포함하는 제 1 그래프를 생성하는 단계;
    상기 생성된 제 1 그래프에 기초하여 제 1의 다차원 지도를 생성하는 단계;
    상기 제 1의 다차원 지도 내 적어도 하나의 포인트의 좌표가 상기 포인트에 매칭되는 항공 지도 내 포인트의 좌표에 대응되도록 하는 보정 값을 결정하는 단계;
    상기 제1 그래프에 상기 결정된 보정 값과 관련된 구속 팩터들이 추가된 제 2 그래프를 결정하는 단계; 및
    상기 제 2 그래프에 기초하여 제 2의 다차원 지도를 생성하는 단계를 포함하며,
    상기 보정 값을 결정하는 단계는, 상기 제 1의 다차원 지도 내 정합 포인트들과 상기 항공 지도 내 정합 라인 사이의 거리를 최소화하는 보정 값을 결정하는 단계를 포함하는 것을 특징으로 하는 지도의 생성 방법.
  15. 노드들, 및 이동체에 대한 센싱 데이터와 관련된 구속 팩터들을 포함하는 제 1 그래프를 생성하는 단계;
    상기 생성된 제 1 그래프에 기초하여 제 1의 다차원 지도를 생성하는 단계;
    상기 제 1의 다차원 지도 내 적어도 하나의 포인트의 좌표가 상기 포인트에 매칭되는 항공 지도 내 포인트의 좌표에 대응되도록 하는 보정 값을 결정하는 단계;
    상기 제1 그래프에 상기 결정된 보정 값과 관련된 구속 팩터들이 추가된 제 2 그래프를 결정하는 단계; 및
    상기 제 2 그래프에 기초하여 제 2의 다차원 지도를 생성하는 단계를 포함하며,
    상기 보정 값을 결정하는 단계는, 상기 제 1의 다차원 지도 내 정합 라인에 포함된 포인트들과 상기 항공 지도 내 정합 라인 사이의 거리를 최소화하는 보정 값을 결정하는 단계를 포함하는 것을 특징으로 하는 지도의 생성 방법.
  16. 노드들, 및 이동체에 대한 센싱 데이터와 관련된 구속 팩터들을 포함하는 제 1 그래프를 생성하는 단계;
    상기 생성된 제 1 그래프에 기초하여 제 1의 다차원 지도를 생성하는 단계;
    상기 제 1의 다차원 지도 내 적어도 하나의 포인트의 좌표가 상기 포인트에 매칭되는 항공 지도 내 포인트의 좌표에 대응되도록 하는 보정 값을 결정하는 단계;
    상기 제1 그래프에 상기 결정된 보정 값과 관련된 구속 팩터들이 추가된 제 2 그래프를 결정하는 단계; 및
    상기 제 2 그래프에 기초하여 제 2의 다차원 지도를 생성하는 단계를 포함하며,
    상기 보정 값을 결정하는 단계는,
    상기 제 1의 다차원 지도 내 정합 마커(marker)들에 포함된 포인트들의 좌표들을 상기 항공 지도 내 정합 마커들에 포함된 포인트들의 좌표들에 대응시키기 위한 보정 값을 결정하는 단계를 포함하는 것을 특징으로 하는 지도의 생성 방법.
  17. 노드들, 및 이동체에 대한 센싱 데이터와 관련된 구속 팩터들을 포함하는 제 1 그래프를 생성하는 단계;
    상기 생성된 제 1 그래프에 기초하여 제 1의 다차원 지도를 생성하는 단계;
    상기 제 1의 다차원 지도 내 적어도 하나의 포인트의 좌표가 상기 포인트에 매칭되는 항공 지도 내 포인트의 좌표에 대응되도록 하는 보정 값을 결정하는 단계;
    상기 제1 그래프에 상기 결정된 보정 값과 관련된 구속 팩터들이 추가된 제 2 그래프를 결정하는 단계; 및
    상기 제 2 그래프에 기초하여 제 2의 다차원 지도를 생성하는 단계를 포함하며,
    상기 보정 값을 결정하는 단계는,
    상기 제 1의 다차원 지도의 포인트들에 대응하는 픽셀 값들과 상기 항공 지도의 포인트들에 대응하는 픽셀 값들 사이의 차이를 최소화하는 보정 값을 결정하는 단계를 포함하는 것을 특징으로 하는 지도의 생성 방법.
  18. 노드들, 및 이동체에 대한 센싱 데이터와 관련된 구속 팩터들을 포함하는 제 1 그래프를 생성하는 단계;
    상기 생성된 제 1 그래프에 기초하여 제 1의 다차원 지도를 생성하는 단계;
    상기 제 1의 다차원 지도 내 적어도 하나의 포인트의 좌표가 상기 포인트에 매칭되는 항공 지도 내 포인트의 좌표에 대응되도록 하는 보정 값을 결정하는 단계;
    상기 제1 그래프에 상기 결정된 보정 값과 관련된 구속 팩터들이 추가된 제 2 그래프를 결정하는 단계; 및
    상기 제 2 그래프에 기초하여 제 2의 다차원 지도를 생성하는 단계를 포함하며,
    상기 제 1의 다차원 지도를 생성하는 단계는,
    상기 제 1 그래프의 최적화를 통해 상기 노드들 각각의 자유도 값을 결정하는 단계; 및
    상기 노드들 각각의 자유도 값을 기초로 상기 이동체에서 센싱된 포인트들의 좌표들을 산출하여 상기 제 1의 다차원 지도를 생성하는 단계를 포함하는 것을 특징으로 하는 지도의 생성 방법.
  19. 노드들, 및 이동체에 대한 센싱 데이터와 관련된 구속 팩터들을 포함하는 제 1 그래프를 생성하는 단계;
    상기 생성된 제 1 그래프에 기초하여 제 1의 다차원 지도를 생성하는 단계;
    상기 제 1의 다차원 지도 내 적어도 하나의 포인트의 좌표가 상기 포인트에 매칭되는 항공 지도 내 포인트의 좌표에 대응되도록 하는 보정 값을 결정하는 단계;
    상기 제1 그래프에 상기 결정된 보정 값과 관련된 구속 팩터들이 추가된 제 2 그래프를 결정하는 단계; 및
    상기 제 2 그래프에 기초하여 제 2의 다차원 지도를 생성하는 단계를 포함하며,
    상기 생성하는 단계는,
    상기 제 1 그래프에 기 포함된 구속 팩터들과 상기 추가된 구속 팩터를 모두 만족하는 방향으로 제2 그래프를 최적화(optimization)함으로써 상기 제 2의 다차원 지도를 생성하는 것을 특징으로 하는 지도의 생성 방법.
KR1020200056166A 2019-07-19 2020-05-11 항공사진을 이용하여 3차원 지도를 생성하는 장치 및 방법 KR102589296B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200056166A KR102589296B1 (ko) 2019-07-19 2020-05-11 항공사진을 이용하여 3차원 지도를 생성하는 장치 및 방법
JP2021571489A JP7460660B2 (ja) 2019-07-19 2020-06-26 航空写真を利用して三次元地図を生成する装置及びその方法
JP2024005820A JP2024032805A (ja) 2019-07-19 2024-01-18 航空写真を利用して三次元地図を生成する装置及びその方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190087758A KR102115004B1 (ko) 2019-07-19 2019-07-19 항공사진을 이용하여 3차원 지도를 생성하는 장치 및 방법
KR1020200056166A KR102589296B1 (ko) 2019-07-19 2020-05-11 항공사진을 이용하여 3차원 지도를 생성하는 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190087758A Division KR102115004B1 (ko) 2019-07-19 2019-07-19 항공사진을 이용하여 3차원 지도를 생성하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210010309A true KR20210010309A (ko) 2021-01-27
KR102589296B1 KR102589296B1 (ko) 2023-10-13

Family

ID=82658345

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200056166A KR102589296B1 (ko) 2019-07-19 2020-05-11 항공사진을 이용하여 3차원 지도를 생성하는 장치 및 방법

Country Status (2)

Country Link
JP (2) JP7460660B2 (ko)
KR (1) KR102589296B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022158949A2 (ko) 2021-01-25 2022-07-28 주식회사 엘지에너지솔루션 배터리 분류 장치 및 방법
WO2024085600A1 (ko) * 2022-10-17 2024-04-25 네이버랩스 주식회사 3차원 모델과 거리뷰 데이터를 정합시키는 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101234961B1 (ko) * 2012-10-31 2013-02-25 (주)지오투정보기술 항공사진과 MMS(Mobile Mapping System) 기술을 이용한 자동 3D 공간 모델링 방법 및 시스템
KR20130137076A (ko) * 2012-06-06 2013-12-16 삼성전자주식회사 실시간 관심 지역을 나타내는 3차원 지도를 제공하는 장치 및 방법
KR101720761B1 (ko) * 2016-10-14 2017-03-29 (주)엔토포스 엠엠에스 및 다방향 경사 항공사진을 이용한 3차원 공간정보 구축시스템
KR20180102428A (ko) * 2017-03-07 2018-09-17 삼성전자주식회사 지도 데이터를 생성하는 전자 장치 및 그 동작 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2082188B1 (en) * 2006-10-20 2013-06-05 TomTom Global Content B.V. Computer arrangement for and method of matching location data of different sources
JP6649743B2 (ja) * 2015-10-28 2020-02-19 シャープ株式会社 一致性評価装置および一致性評価方法
JP2016105293A (ja) * 2016-01-05 2016-06-09 富士通株式会社 利用者検知装置、方法及びプログラム
JP6874343B2 (ja) * 2016-11-24 2021-05-19 株式会社豊田中央研究所 地図作成装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130137076A (ko) * 2012-06-06 2013-12-16 삼성전자주식회사 실시간 관심 지역을 나타내는 3차원 지도를 제공하는 장치 및 방법
KR101234961B1 (ko) * 2012-10-31 2013-02-25 (주)지오투정보기술 항공사진과 MMS(Mobile Mapping System) 기술을 이용한 자동 3D 공간 모델링 방법 및 시스템
KR101720761B1 (ko) * 2016-10-14 2017-03-29 (주)엔토포스 엠엠에스 및 다방향 경사 항공사진을 이용한 3차원 공간정보 구축시스템
KR20180102428A (ko) * 2017-03-07 2018-09-17 삼성전자주식회사 지도 데이터를 생성하는 전자 장치 및 그 동작 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022158949A2 (ko) 2021-01-25 2022-07-28 주식회사 엘지에너지솔루션 배터리 분류 장치 및 방법
WO2024085600A1 (ko) * 2022-10-17 2024-04-25 네이버랩스 주식회사 3차원 모델과 거리뷰 데이터를 정합시키는 방법 및 시스템

Also Published As

Publication number Publication date
JP2024032805A (ja) 2024-03-12
JP7460660B2 (ja) 2024-04-02
JP2022535033A (ja) 2022-08-04
KR102589296B1 (ko) 2023-10-13

Similar Documents

Publication Publication Date Title
US10962366B2 (en) Visual odometry and pairwise alignment for high definition map creation
KR102115004B1 (ko) 항공사진을 이용하여 3차원 지도를 생성하는 장치 및 방법
US10788830B2 (en) Systems and methods for determining a vehicle position
KR102627453B1 (ko) 위치 추정 장치 및 방법
KR20190087266A (ko) 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
US10970924B2 (en) Reconstruction of a scene from a moving camera
US7359038B1 (en) Passive determination of ground target location
CN111263960B (zh) 用于更新高清晰度地图的设备和方法
JP2001331787A (ja) 道路形状推定装置
JP2024032805A (ja) 航空写真を利用して三次元地図を生成する装置及びその方法
KR102322000B1 (ko) 비주얼 로컬리제이션과 오도메트리를 기반으로 한 경로 추적 방법 및 시스템
CN112529957A (zh) 确定摄像设备位姿的方法和装置、存储介质、电子设备
US11579622B2 (en) Systems and methods for utilizing images to determine the position and orientation of a vehicle
JP6610466B2 (ja) 車両制御システム
KR102130687B1 (ko) 다중 센서 플랫폼 간 정보 융합을 위한 시스템
CN114279436B (zh) 自动驾驶用高精度地图的制作方法和装置
KR102520189B1 (ko) 무인 비행체 또는 항공기에 의해 촬영된 항공 영상에 기반하여 hd 맵을 생성하는 방법 및 시스템
KR102616437B1 (ko) 라이다 및 관성측정장치의 캘리브레이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN113390422B (zh) 汽车的定位方法、装置及计算机存储介质
KR102626574B1 (ko) 카메라 및 라이다의 캘리브레이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN115205828B (zh) 一种车辆定位方法、装置、整车控制器及可读存储介质
CN112556701A (zh) 用于定位交通工具的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant