KR20220059832A - 맵 생성 방법 및 이를 이용한 이미지 기반 측위 시스템 - Google Patents

Abstract

본 발명은 맵 생성 방법 및 이를 이용한 이미지 기반 측위 시스템에 관한 것이다. 본 발명에 따른 이미지 기반 측위용 맵 생성 방법은, 항공에서 실외 공간을 촬영한 영상에 근거한 3차원 모델 데이터를 이용하여 가상 카메라의 포즈를 특정하는 단계와, 상기 가상 카메라의 포즈와 상기 3차원 모델 데이터를 이용하여 상기 가상 카메라에서 바라보는 상기 실외 공간에 대한 이미지를 렌더링하는 단계, 및 상기 렌더링된 이미지와 상기 가상 카메라의 포즈를 이용하여 특징점 맵을 생성하는 단계를 포함한다.

Description

맵 생성 방법 및 이를 이용한 이미지 기반 측위 시스템{METHOD OF GENERATING MAP AND VISUAL LOCALIZATION SYSTEM USING THE MAP}

본 발명은 이미지 기반 측위에 활용가능한 맵 생성 방법 및 이를 이용한 이미지 기반 측위 시스템에 관한 것이다.

측위 기술은, GPS 기반, 관성 센서 기반, 이미지 기반, SLAM(Simultaneous localization and mapping), VLC(Visible light communication) 등 다양한 방식의 시스템이 서로 밀접한 관계를 가지고 발전해오고 있다.

이러한 측위 기술 중, 이미지 기반 측위(Visual Localization)는, 촬영한 사진을 통해 위치를 찾는 기술로서, GPS와 비교하였을 때, 오차가 적고, 사용자가 바라보는 방향까지도 정확하게 측정할 수 있는 장점이 있다. 이러한, 이미지 기반 측위를 위하여, 촬영한 사진과 비교하여 위치를 특정하기 위한 맵이 구축되어야 한다.

한편, 최근에는 온라인 지도 제작 기술이 상당히 고도화되어, 많은 IT 기업들이 실외 공간에 대한 지도정보와 이에 따른 서비스를 제공하고 있다. 이러한, 예로서, 비행기나 드론 등이 항공에서 촬영한 항공사진을 이용하여 3차원 지도를 생성하는 방법이 활발하게 개발되고 있다.

예를 들어, 한국공개특허 제10-2020-0058079호(공개일자 2020년05월27일)는 3차원 모델링 및 정사영상을 생성하기 위한 항공 촬영 장치 및 방법에 관한 것이고, 한국등록특허 제10-2115004호(공개일자 2020년05월26일)는 항공사진을 이용하여 3차원 지도를 생성하는 장치 및 방법에 관한 것이다.

이러한, 항공사진 기반의 3차원 모델링 데이터는 이미지 정보를 가지고 있으므로, 이미지 기반 측위용 맵을 구축하기 위한 데이터로서 활용이 가능하다. 따라서, 이미지 기반 측위용 맵을 생성하기 위하여, 항공사진 기반의 3차원 모델링 데이터를 이용하는 방안이 고려될 수 있다.

본 발명은, 항공사진 기반의 3차원 모델링 데이터를 활용하여 이미지 기반 측위용 맵을 생성하는 방법 및 시스템을 제공하는 것이다.

보다 구체적으로, 본 발명은, 3차원 모델링 데이터를 이용하여 도로나 보도(sidewalk)에서 이미지 기반 측위에 활용가능한 3차원 특징점 맵을 생성하는 방법을 제공한다.

또한, 본 발명은, 특징점 맵을 활용하여 이미지 한장만으로 3차원 위치 및 포즈를 추정하는 이미지 기반 측위를 구현한다.

위에서 살펴본 과제를 해결하기 위하여, 본 발명에 따른 맵 생성 방법 및 이를 이용한 이미지 기반 측위 시스템은, 항공사진기반 3차원 모델 데이터를, 가상 카메라의 시점에서 이미지로 렌더링하고, 이렇게 렌더링된 이미지로 이미지 기반 측위용 맵을 구축한다. 예를 들어, 2D 지도 데이터로부터 평면좌표를 획득하고, 3차원 모델 데이터로부터 수직 좌표를 획득하여 3차원 좌표를 정의하고, 상기 3차원 좌표에서 카메라의 포즈를 이용하여 실외 공간의 이미지를 렌더링하는 프로세스를 이용한다.

구체적으로, 이미지 기반 측위용 맵 생성 방법은, 항공에서 실외 공간을 촬영한 영상에 근거한 3차원 모델 데이터를 이용하여 가상 카메라의 포즈를 특정하는 단계와, 상기 가상 카메라의 포즈와 상기 3차원 모델 데이터를 이용하여 상기 가상 카메라에서 바라보는 상기 실외 공간에 대한 이미지를 렌더링하는 단계, 및 상기 렌더링된 이미지와 상기 가상 카메라의 포즈를 이용하여 특징점 맵을 생성하는 단계를 포함한다.

본 발명의 일 실시예에 있어서, 상기 실외 공간에 대한 이미지를 렌더링하는 단계는, 상기 가상 카메라의 포즈와 상기 3차원 모델 데이터를 이용하여 상기 실외 공간에 대한 이미지와 함께, 상기 이미지에 대응되는 깊이 맵을 렌더링하는 단계가 될 수 있다.

상기 특징점 맵을 생성하는 단계는, 상기 렌더링된 이미지를 이용하여, 상기 실외 공간에 위치하는 오브젝트에 대한 특징점을 추출하고, 상기 렌더링된 깊이 맵을 이용하여 상기 특징점의 3차원 좌표를 추출하는 단계가 될 수 있다.

상기 특징점 맵은, 상기 특징점, 상기 3차원 좌표 및 상기 가상 카메라의 포즈를 구비할 수 있다.

본 발명의 다른 일 실시예에 있어서, 상기 실외 공간에 대한 이미지를 렌더링하는 단계에서는, 불필요한 오브젝트과 필요한 오브젝트를 구분하여, 상기 실외 공간에 대한 이미지는 상기 불필요한 오브젝트들을 배제하여 렌더링될 수 있다.

상기 불필요한 오브젝트는, 나무, 거리, 사람 및 차량 중 적어도 하나를 구비할 수 있다. 상기 실외 공간에 대한 이미지는 이격된 건물들의 사이에 도로가 없는 이미지를 구비할 수 있다.

본 발명의 다른 일 실시예에 있어서, 상기 3차원 좌표를 생성하는 단계는, 실외 공간의 2차원 지도 데이터를 이용하여 도로 주변에 위치한 보도(sidewalk)를 따라 격자 좌표를 생성하는 단계, 및 항공에서 상기 실외 공간을 촬영한 영상에 근거한 3차원 모델 데이터로부터 상기 격자 좌표에 대응하는 수직 좌표를 추출하는 단계를 포함하고, 상기 3차원 좌표는 상기 격자 좌표와 수직 좌표에 의하여 설정될 수 있다.

상기 격자 좌표를 생성하는 단계는, 상기 2차원 지도 데이터를 이용하여 상기 보도 상의 노드들의 위경도 좌표를 검출하는 단계, 및 상기 위경도 좌표를 상기 격자 좌표로 변환하는 단계를 포함한다. 상기 실외 공간의 2차원 지도 데이터는 상기 보도의 평면 좌표를 구비할 수 있다.

본 발명의 다른 일 실시예에 있어서, 상기 3차원 모델 데이터는, 상기 실외 공간의 지형(bare　earth) 부분을 표현하는 수치 표고 모델(Digital　Elevation　Model　)을 구비하며, 상기 수직 좌표는 상기 수치 표고 모델로부터 추출된다.

상기 항공에서 상기 실외 공간을 촬영한 영상은 이동하면서 촬영된 복수의 사진 이미지들을 구비하고, 상기 3차원 모델 데이터는, 상기 복수의 사진 이미지들 간의 시차를 이용하여 생성될 수 있다.

나아가, 본 발명은, 이미지 기반 측위 시스템에 있어서, 특징점 맵을 저장하는 데이터 베이스, 및 모바일 기기나 자율주행 기기에서 실행되며, 상기 특징점 맵과 상기 모바일 기기나 자율주행 기기에서 촬영한 이미지를 이용하여 이미지 기반 측위를 수행하는 구동부를 구비하고, 상기 특징점 맵은 3차원 좌표와 3차원 모델 데이터를 이용하여 생성되며, 상기 3차원 모델 데이터는 항공에서 실외 공간을 촬영한 영상에 근거하여 생성되며, 상기 3차원 좌표는 상기 3차원 모델 데이터를 이용하여 생성되는 것을 특징으로 하는 이미지 기반 측위 시스템을 개시한다.

본 발명에 따른 맵 생성 방법 및 이를 이용한 이미지 기반 측위 시스템은, 항공 영상 기반의 3차원 모델 데이터를 이용하여 맵을 생성하기에, 항공, 해양, 도로 및 보도 등에서 쿼리 이미지를 사용한 이미지 기반 측위(Visual Localization)를 가능하게 한다.

또한, 3차원 모델 데이터를 이용하므로, 원하는 시점과 시야에서 렌더링된 이미지 생성이 가능하며, 나아가 나무, 도로 등과 같이 이미지 기반 측위에 방해가 되는 요소들을 맵핑 단계에서 배제할 수 있는 장점이 있다. 또한, 3차원 모델 데이터를 이용하여, 센서 노이즈가 없는 깊이 맵(depthmap) 생성이 구현되며, 사용자가 원하는 분량의 데이터 생성이 가능하게 된다.

또한, 본 발명은, 기 구축된 데이터인 데이터를 이용하여 맵을 생성하므로, 실외 환경에 대한 사전 스캔 프로세스가 없는 맵 생성을 구현한다. 이를 통하여, 시간 및 비용의 효율성이 제고될 수 있다.

또한, 본 발명은 3차원 모델 데이터를 활용하여 3차원 지도를 재건하고, 재건된 3차원 지도를 이용하여 측위를 수행하므로, 이미지 한 장만으로도 3차원 위치 및 포즈를 추정할 수 있는 장점을 가진다.

도 1은 본 발명에 따른 이미지 기반 측위를 수행하는 동작을 설명하기 위한 개념도이다.
도 2는 도 1의 이미지 기반 측위를 구현하는 시스템의 일 예를 도시한 것이다.
도 3a는 본 발명에 따른 이미지 기반 측위용 맵 생성 방법을 설명하기 위한 흐름도이고, 도 3b는 도 3a의 흐름도의 일 실시예를 나타내는 상세 흐름도이다.
도 4는 도 3b의 격자 좌표를 생성하는 방법을 설명하는 개념도이다.
도 5a 및 도 5b는 각각 3차원 모델 데이터와 수치 표고 모델의 예시를 나타내는 그림들이다.
도 6은 렌더링을 수행할 카메라 포즈를 나타내는 개념도이다.
도 7은 도 3b의 프로세스에 의하여 구축된 데이터 세트를 나타내는 개념도이다.
도 8은 도 3b의 프로세스에 의하여 렌더링된 이미지의 일 예를 나타내는 개념도이다.
도 9는 도 3b에서 특징점과 3차원 좌표를 추출하는 방법을 보여주는 개념도이다.
도 10은 도 9의 데이터를 이용하여 이미지 기반 측위를 수행하는 예를 나타내는 개념도이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명은 맵 생성 방법 및 이를 이용한 이미지 기반 측위 시스템에 관한 것으로, 구체적으로 항공 영상 기반의 3차원 모델 데이터를 이용하여 항공, 해양, 도로 및 보도 등에서 이미지 기반 측위를 하는 시스템을 제공하는 것이다.

본 발명에서, 항공 영상은, 항공 사진, 항공 비디오 영상, 항공 이미지 등을 포함하는 의미로 지칭될 수 있다. 이 중에서, 항공 사진(Aerial Photo)이란 항공기 및 비행선, 기구, 드론 등에 탑재된 카메라로 촬영된 사진을 말하며 지형도 작성 및 판독에 의한 환경 및 자원해석, 형상해석 등에 주로 사용된다.

이 경우에, 촬영된 지역은 상기 항공 사진의 다시점 이미지를 처리하여 3차원 모델 데이터로 구축될 수 있다. 상기 3차원 모델 데이터는, 3차원 렌더링 이미지, 정사영상(Orthophotograph), 수치 표면 모델(DSM:　Digital　Surface　Model), 수치 표고 모델(DEM:　Digital　Elevation　Model) 등의 정보를 포함할 수 있다.

렌더링　또는　이미지 합성(rendering 또는 image synthesis)은 컴퓨터 프로그램을 사용하여　모델　또는 이들을 모아놓은 장면인 씬 파일(scene file)로부터 영상을 만들어내는 과정을 말한다. 3차원 렌더링은 3D 컴퓨터 그래픽스에서 제작한 모델에 색과　질감을 입히고 촬영기 앵글로　구도를 잡고 빛으로　음영처리를 한 후,　최종　결과의　이미지를 생성하는 과정을 의미한다. 여기서, 최종 결과의 이미지는 상기 3차원 렌더링 이미지가 될 수 잇다.

정사영상이란 사진 촬영 당시의 카메라 자세 및 지형 기복에 의해 발생된 대상체의 변위를 제거한 영상으로, 지표면의 높낮이에 따라 발생하는 사진상의 왜곡을 보정해 동일 축척의 지도처럼 만든 영상이 될 수 있다.

수치 표면 모델은 지표면상의 자연적 형상인 지모와 인공적 형상인 지물을 모두 포함하는 모델이고, 수치 표고 모델은 지표면의 고도값을　수치로 저장함으로써 지형의 형상을 나타내는 모델이 될 수 있다.

본 발명에서는, 상기 3차원 모델 데이터를 이용하여, 보도(sidewalk) 등에서 이미지 기반 측위를 위한 특징점 맵을 생성한다. 다만, 본 발명에서 예시하는 3차원 모델 데이터는 하나의 데이터 세트에 한정하는 의미는 아니다. 예를 들어, 3차원 렌더링 이미지와 수치 표고 모델은 서로 다른 데이터 세트로부터 각각 획득되는 것도 가능하다.

한편, 상기 보도는 차량 등이 다니는　도로에 병설된 인도(人道)를 의미하는 말이다. 차도 양측에 설치되어 사람과 차 모두 해당 지역을 통행할 수 있도록 하는 동시에 서로의 경로를 구분 짓는다. 상기 보도는 좁은 의미로, 차도 옆에 설치된 포장된 길을 특정하는 말로 쓰일 수 있으나, 본 발명에서는 이에 한정하는 것은 아니다. 즉, 상기 보도는 사람이 다니는　길을 통칭하는 의미로 정의된다.

상기 항공, 해양, 도로 및 보도 등에서 이미지 기반 측위(Visual localization)를 하는 것은, 상기 항공, 해양, 도로 및 보도 등에서 GPS를 사용하지 않고 주변을 촬영한 사진을 이용하여 자신의 정확한 위치를 파악하는 측위를 의미한다. 이 때에, 상기 보도에서 이미지 기반 측위를 하는 것은 도보로 이동하는 사용자가 주변을 촬영하면, 촬영된 이미지로부터 사용자의 위치를 파악하는 것을 의미할 수 있다.

한편, 본 발명에서 상기 이미지 기반 측위는 모바일 기기나 자율주행 기기에서 수행될 수 있다.

상기 모바일 기기는, 손에 들거나 몸에 지니고 다닐 수 있는 이동 단말기가 될 수 있고, 상기 자율주행 기기는, 스스로가 이동 가능하도록 이루어지는 모바일 장치를 의미할 수 있다.

예를 들어, 상기 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display) 등이 포함될 수 있다. 또한, 상기 자율주행 기기는 자율주행차, 드론, 로봇 등이 될 수 있으며, 상기 로봇은 청소로봇, 안내로봇, 배달로봇 등 이동하면서 위치기반 서비스를 제공하는 로봇이 될 수 있다.

한편, 본 발명의 실시예에서는 보도에서 위치를 획득하거나, 도보로 이동하면서 위치를 획득하는 새로운 방식의 측위 방법 및 시스템에 대하여 상기 모바일 기기나 자율 주행기기의 위치를 기준으로 설명하나, 본 발명은 반드시 이에 한정되는 것은 아니다. 상기 모바일 기기나 자율 주행기기는 사용자의 위치를 측정하는 하나의 수단으로 이해되며, 다른 기기도 본 발명에 적용될 수 있다.

이와 같이, 본 발명에 따른 맵 생성 방법 및 이를 이용한 이미지 기반 측위 시스템은 사용자에게 현재의 위치 정보를 제공하며, 이를 위하여 항공 영상을 이용하여 생성된 맵을 사용한다. 이하에서는, 먼저, 이미지 기반 측위와 이를 구현하는 시스템에 대하여 설명하고, 이후에, 이러한 이미지 기반 측위에 사용되는 맵을 생성하는 방법에 대하여 도면을 참조하여 보다 상세히 설명한다.

도 1은 본 발명에 따른 이미지 기반 측위를 수행하는 동작을 설명하기 위한 개념도이고, 도 2는 도 1의 이미지 기반 측위를 구현하는 시스템의 일 예를 도시한 것이다.

도 1을 참조하면, 자율 주행기기로서 로봇(R)이 실외 공간에 위치한다. 상기 로봇은 배달 로봇이나 안내 로봇 등의 서비스 로봇이 될 수 있다. 다만, 로봇(R)이 주행하는 공간의 종류에는 제한이 없으며, 필요에 따라 실내 공간 및 실외 공간 중 적어도 하나를 주행하도록 이루어 질 수 있다. 본 예시에서는, 상기 로봇(R)은 서비스를 제공 등, 부여된 임무를 수행하기 위하여 사람들이 도보로 이동하는 보도(11)를 통하여 주행하도록 이루어질 수 있다.

로봇(R)을 이용하여 다양한 서비스를 제공하기 위해서는, 로봇(R)이 정확하고, 신속하게 자기 위치를 확인하는 것이 매우 중요한 요소이다. 따라서, 로봇(R)은 보도(11)를 통하여 주행하면서 신속하게 이미지 기반 측위를 수행할 수 있다.

이러한 이미지 기반 측위의 예로서, 로봇(R)이 도로(12)를 중심으로 일측 보도(11)에서 타측 보도를 바라보면서 이미지를 촬영하고, 촬영한 이미지를 3차원 맵과 비교하여 자신의 위치를 찾게 된다. 이 경우에, 보도(11)에서 바라본 이미지들을 획득하여 3차원 맵을 생성하는 것은 많은 노력과 시간이 들어간다. 본 발명에서는 기 구축된 데이터인 3차원 모델 데이터를 이용하여 특징점 맵을 생성하며, 이를 통하여 실외 환경에 대한 사전 스캔 프로세스가 없는 맵 생성을 구현한다.

상기 특징점 맵은 3차원의 특징점에 대한 데이터를 가지는 맵으로서, 피쳐 맵, 거리 맵 또는 3차원 특징점 맵으로도 지칭될 수 있다. 본 예시에서는 도로나 보도와 같은 거리에서 이미지 기반 측위에 활용되는 맵을 예시한다. 다만, 상기 도로나 보도는 이미지 기반 측위를 수행하는 지점의 예시일 뿐, 본 발명의 특징점 맵은 항공의 이미지 기반 측위에도 활용될 수 있다. 이하에서는, 설명의 편의상 보도(11)에서의 이미지 기반 측위를 예시로서 본 발명을 설명한다.

또한, 보도(11)에서의 이미지 기반 측위는 도 2를 통하여 예시한 이미지 기반 측위 시스템(100)을 통하여 구현될 수 있다.

상기 이미지 기반 측위 시스템(100)은 자율주행 기기(110) 및 컨트롤 서버(120)를 구비할 수 있다. 다만, 전술한 바와 같이 상기 자율주행 기기(110)는 본 실시예에서 로봇(R)으로 예시되며, 또한, 모바일 기기로 대체될 수 있다.

상기 자율주행 기기(110)는 무선통신부(111), 구동부(112) 및 제어부(113) 중 적어도 하나를 구비할 수 있다.

상기 무선통신부(111)는 상기 자율주행 기기와 컨트롤 서버 사이, 상기 자율주행 기기와 다른 자율주행 기기의 사이, 상기 자율주행 기기와 모바일 기기 사이, 상기 자율주행 기기와 통신 네트워크 사이에서 무선 통신을 수행한다. 이러한 무선통신의 수행을 위하여, 상기 무선통신부(111)는 무선 인터넷 모듈, 근거리 통신 모듈, 위치정보 모듈 등을 구비할 수 있다.

상기 구동부(112)는 상기 제어부에 의한 제어 하에 상기 자율주행 기기나 모바일 기기에서 실행될 수 있다. 상기 구동부(112)는 특징점 맵과 상기 자율주행 기기나 모바일 기기에서 촬영한 이미지를 이용하여 이미지 기반 측위를 수행하도록 이루어진다. 이와 같이 이미지 기반 측위를 수행하기 위하여, 상기 구동부(112)는 이미지 센서 등을 구비할 수 있다.

상기 특징점 맵은 도로(12)의 주변에 위치한 보도(sidewalk) 시점의 이미지 기반 측위에 활용가능한 맵으로서, 이미지 기반 측위용으로 제작된 맵이 될 수 있다.

한편, 제어부(113)는 무선통신을 제어하고, 이미지를 촬영하고, 구동부(112)를 제어하는 동작과 더불어, 통상적으로 상기 자율주행 기기나 모바일 기기의 전반적인 동작을 제어한다.

이 경우에, 상기 특징점 맵은 컨트롤 서버(120)에서 상기 자율주행 기기(110)로 제공되거나, 상기 자율주행 기기(110)의 요청에 의하여 상기 컨트롤 서버(120)에서 측위에 이용될 수 있다. 상기 컨트롤 서버는 무선통신부(121), 데이터 베이스(122), 연산부(123), 제어부(124) 중 적어도 하나를 구비할 수 있다.

상기 무선통신부(121)는 상기 제어부(124)의 제어 하에 상기 자율주행 기기(110)와 무선 통신을 수행한다. 또한, 상기 제어부(124)는 상기 연산부(123)와 데이터 베이스(122)와 연계하여, 특징점 맵을 생성, 저장 및 업데이트하는 일련의 프로세스를 제어한다.

상기 데이터 베이스(122)에는 상기 특징점 맵이 저장되며, 상기 특징점 맵에는 좌표정보, 포인트 클라우드 정보, 이미지 정보, 포즈 정보 등이 구비될 수 있다.

상기 연산부(123)는 상기 특징점 맵을 최초 생성하거나, 생성된 특징점 맵을 업데이트하는 기능을 수행할 수 있다. 또 다른 예로서, 상기 연산부(123)가 상기 자율주행 기기(110)의 구동부(112)가 하는 기능을 대신하는 것도 가능하다. 예를 들어, 상기 자율주행 기기(110)에서 촬영한 이미지를 이용하여, 이미지 기반 측위를 위한 데이터 처리 또는 연산 등을 수행하여 상기 자율주행 기기(110)의 위치를 산출한 후, 산출된 위치를 상기 자율주행 기기(110)에 제공할 수 있다.

본 발명에서 상기 특징점 맵은 항공 영상을 기반으로 생성한 3차원 모델 데이터를 이용하여 특징점을 추출하고, 렌더링 이미지를 생성함에 의하여 구현될 수 있다. 이와 같이, 본 발명은 항공 영상을 활용하여 3차원 모델링을 수행하여 특징점 맵을 생성하고, 특징점 맵을 활용하여 측위를 수행하므로, 이미지 한 장만으로도 3차원 위치 및 포즈를 추정할 수 있는 장점을 가진다.

이하에서는, 이러한 특징점 맵을 생성하는 방법에 대하여 도면을 참조하여 보다 상세하게 설명한다.

도 3a는 본 발명에 따른 이미지 기반 측위용 맵 생성 방법을 설명하기 위한 흐름도이다.

본 발명의 이미지 기반 측위용 맵 생성 방법에서는, 항공에서 실외 공간을 촬영한 영상에 근거한 3차원 모델 데이터를 이용하여 가상 카메라의 포즈를 특정하는 단계가 먼저 진행될 수 있다. 그리고, 실외 공간에 대한 이미지가 렌더링되고, 특징점 맵이 생성된다.

도 3a를 참조하면, 본 발명의 맵 생성 방법은 격자 좌표를 생성하는 단계(S110), 수직 좌표를 추출하는 단계(S120), 실외 공간에 대한 이미지를 렌더링하는 단계(S130) 및 특징점 맵을 생성하는 단계(S140)를 구비할 수 있다.

격자 좌표를 생성하는 단계(S110)에서는 실외 공간의 2차원 지도 데이터를 이용하여 도로 주변에 위치한 보도(sidewalk)를 따라 격자 좌표를 생성한다.

상기 격자 좌표는 가로세로가 일정한 간격으로 된 격자 모양의 좌표계를 의미한다. 이 경우에, 상기 격자 좌표는 보도의 좌표를 포함할 수 있다.

다음으로, 수직 좌표를 추출하는 단계(S120)에서는 항공에서 상기 실외 공간을 촬영한 영상에 근거한 3차원 모델 데이터로부터 상기 격자 좌표에 대응하는 수직 좌표를 추출한다. 상기 수직 좌표는 지표면에 대하여 수직한 방향의 좌표가 될 수 있으며, 상기 격자 좌표에 대응하여 추출될 수 있다.

이후에, 실외 공간에 대한 이미지를 렌더링하는 단계(S130)는 상기 격자 좌표와 수직 좌표에 의하여 정의되는 3차원 좌표에 근거하여 가상 카메라의 포즈를 특정하고, 상기 가상 카메라의 포즈와 상기 3차원 모델 데이터를 이용하여 상기 가상 카메라에서 바라보는 상기 실외 공간에 대한 이미지를 렌더링한다.

상기 가상 카메라의 포즈는 상기 실외 공간 내의 임의의 지점을 촬영하는 카메라의 포즈가 될 수 있다. 따라서, 상기 가상 카메라의 포즈는 상기 3차원 모델링 내의 임의 공간을 기준으로 특정될 수 있다. 이 경우에, 상기 가상 카메라의 위치는 상기 3차원 모델링 내의 오브젝트(건물 등)와 중첩되지 않는 빈 공간 상에 특정될 수 있다.

나아가, 상기 3차원 좌표를 이용하여 보도에서의 좌표값이 정의될 수 있다. 이 때에, 상기 3차원 좌표에 의하여 보도에서의 좌표값이 정의되므로, 상기 보도에서 카메라 포즈가 특정될 수 있다. 또한, 특정된 카메라 포즈와 상기 3차원 모델 데이터를 이용하면, 상기 보도에서 바라보는 상기 실외 공간에 대한 이미지가 렌더링될 수 있다. 이와 같이, 보도를 기준으로 하여 카메라의 포즈를 보도 상에서 특정함으로써 보도 상에서 이미지 기반 측위를 수행하는 경우에 이용되는 맵의 정확도가 향상될 수 있다. 이상적으로는 카메라 포즈와 무관하게 어떤 포즈에서의 쿼리 이미지가 들어오더라도 정확한 이미지 기반 측위가 가능하나, 연산 오차 등을 고려하면 맵 생성의 기반이 된 이미지의 포즈와, 측위용 쿼리 이미지의 포즈가 일치할 때 가장 정확도가 높게 된다. 따라서, 본 발명에서는 보도의 좌표를 알기 위해 보도의 좌표값이 포함된 3차원 좌표계를 활용한다.

또한, 상기 카메라의 포즈는 위치(position)를 나타내는 좌표와 오리엔테이션(orientation)을 나타내는 자세를 포함할 수 있다. 이 경우에, 상기 좌표는 보도의 좌표에서 일정 높이, 예를 들어 로봇의 높이나 사람의 눈높이 등을 더한 좌표로 특정될 수 있다. 또한, 상기 자세는 임의로 특정될 수 있으나, 로봇이나 사람이 실제 쿼리 이미지를 전송하는 상황을 가정하여 그와 유사한 자세로 특정될 수 있다. 이러한 예로서, 상기 자세는 지면에 수평한 방향, 건물을 바라보는 방향, 도보의 진행방향 등을 기준으로 특정될 수 있다.

다음으로, 특징점 맵을 생성하는 단계(S140)는 상기 렌더링된 이미지와 상기 가상 카메라의 포즈를 이용하여 특징점 맵을 생성한다.

상기에서 설명한 바와 같이, 본 발명의 항공영상 기반 측위용 맵 생성 방법은 2차원 지도 데이터와 3차원 모델 데이터를 이용하여 특징점 맵을 생성한다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니며, 예를 들어 이미지 기반 측위용 맵 생성 방법의 각 단계 중에서 일부가 제외되는 것도 가능하다. 이러한 예로서, 상기 3차원 모델 데이터에 보도에 대한 지표면 좌표 데이터가 포함된 경우에는, 상기 격자 좌표를 생성하는 단계(S110)를 제외하여 상기 특징점 맵이 생성될 수 있다.

이하에서는, 이미지 기반 측위용 맵 생성 방법의 각 단계에 대하여 예시와 함께 보다 상세히 설명한다.

도 3b는 도 3a의 흐름도의 일 실시예를 나타내는 상세 흐름도이고, 도 4는 도 3b의 격자 좌표를 생성하는 방법을 설명하는 개념도이며, 도 5a 및 도 5b는 각각 3차원 모델 데이터와 수치 표고 모델의 예시를 나타내는 그림들이고, 도 6은 렌더링을 수행할 카메라 포즈를 나타내는 개념도이며, 도 7은 도 3b의 프로세스에 의하여 구축된 데이터 세트를 나타내는 개념도이다.

먼저, 도 3b를 참조하면, 상기 격자 좌표를 생성하는 단계(S110)는 2D 지도 데이터로부터 위경도 좌표를 검출하는 제1단계(S111)와, 격자 좌표로 변환하는 제2단계(S112)를 구비할 수 있다.

먼저, 상기 제1단계(S111)에서는 2차원 지도 데이터를 이용하여 보도 상의 노드들의 위경도 좌표를 검출한다.

상기 2차원 지도 데이터는 네이버, 구글 등의 인터넷 기업에서 제공하는 지도 데이터가 될 수 있다. 다른 예로서, 상기 2차원 지도 데이터는 정부 및 정부산하기관에서 오픈 애플리케이션 프로그램 인터페이스(API) 방식으로 공개되는 데이터가 될 수 있다.

이 경우에, 도 4와 같이, 상기 2차원 지도 데이터(130)는 보도 상의 좌표 정보를 구비할 수 있다. 보다 구체적으로, 상기 2차원 지도 데이터(130)는 상기 보도의 평면 좌표를 구비할 수 있다. 이러한 예로서, 상기 2차원 지도 데이터(130)는 상기 보도를 따라 기설정된 간격으로 순차적으로 배치되는 노드들(N)을 구비하며, 상기 노드들(N)의 위경도 좌표를 가지는 데이터가 될 수 있다.

상기 위경도 좌표는 본초자오선(Prime meridian, 또는 그리니치 자오선면과 적도면을 기준면으로 하며, 위도(latitude), 경도(longitude), 높이(height) 정보를 가지는 좌표계가 될 수 있다. 보다 구체적으로, 상기 위경도 좌표는 위도 및 경도의 GPS 좌표가 될 수 있으며, 우리나라는 동경 124°~132°, 북위 33°~43°의 범위에서 도 단위의 좌표값을 가질 수 있다.

다음으로, 상기 제2단계(S112)에서는 상기 위경도 좌표를 상기 격자 좌표로 변환한다. 도 4를 참조하면, 상기 위경도 좌표는 UTM 좌표계(Universal Transverse Mercator Coordinate System)의 좌표로 변환될 수 있다. UTM 좌표계는 2차원 평면 좌표계이며, UTM(Universal Transverse Mercator) 구역으로 구성될 수 있다. 상기 UTM 좌표계는 위치를 통일된 체계로 나타내기 위한 격자 좌표 체계를 가질 수 있다.

상기 위경도를 UTM 좌표로 변환하는 방법은, 예를 들어 UTM 투영변환이 이용될 수 있다. 이 경우에, 상기 좌표변환 방법은 특정예에 한정되지 않으며, 본 발명에 적용할 수 있는 다양한 기법들이 고려될 수 있다. 따라서, 본 명세서에서는 이에 대한 특별한 제한을 두지 않는다.

또한, 전술한 바와 같이, 본 발명은 상기 격자 좌표를 생성하는 단계(S110)에서 좌표변환이 필요하지 않는 경우도 포함한다. 예를 들어, 보도의 격자 좌표를 가지는 2차원 지도 데이터를 이용하는 경우에는 이러한 좌표변환이 배제될 수 있다.

다음으로, 항공에서 촬영한 영상에 근거한 3차원 모델 데이터로부터 상기 격자 좌표에 대응하는 수직 좌표를 추출하는 단계(S120)가 진행된다. 이 경우에, 상기 수직 좌표를 추출하는 단계는 제3단계가 될 수 있다.

이 때에, 상기 3차원 모델 데이터는 도 5a에 도시된 것과 같이, 서울 등과 같은 도시의 모델링 데이터가 될 수 있다. 예를 들어, 도시 단위 대규모 지역의 항공 사진을 이용하여 도시 규모의 3차원 모델이 구축될 수 있다.

상기 항공사진은, 상기 항공에서 이동하면서 촬영된 복수의 사진 이미지들을 구비하고, 상기 3차원 모델 데이터는, 상기 복수의 사진 이미지들 간의 시차(Disparity)를 이용하여 생성될 수 있다. 상기 시차를 이용하면, 3차원의 실외 공간을 촬영한 2차원 사진이 다시 3차원의 현실 세계로 복원될 수 있다.

예를 들어, 좌우로 이동하면서 동일한 대상을　촬영하면, 카메라와 가까울수록 변화량이 크며, 멀수록 변화량이 작게 된다. 이 때의 변화량이 시차가 될 수 있으며, 상기 변화량의 크기를 이용하여 복수의 2차원 사진으로부터 3차원이 복원될 수 있다.

보다 구체적으로, 시차(Disparity)를 이용해 영상에 투영된 물체와의 거리를 계산하고, 자세를 추정한 사진으로부터 매칭점을 이용하여 점 단위로 공간좌표를 산출한다. 이 경우에, 다른 위치에서 동일 지역을 촬영한 다수의 영상으로부터 추정된 Dense Matching 결과를 취합해 연속적인 3차원 디지털 표면(DSM = Digital Surface Model)을 생성한다. 상기 Dense Matching은 사진(Master)의 각 픽셀(x, y)에 대해 거리(Depth = Disparity)를 바꿔가며 각 Depth마다 인접 사진들(Slave)과 얼마나 유사한지를 수치화해서 비용 볼륨(Cost Volume)을 구성하는 알고리즘이 될 수 있다. 또한, 이러한 알고리즘을 이용하므로, 상기 3차원 모델 데이터는 물체의 깊이 정보를 구비할 수 있다.

도 5a의 (a)는 3차원 디지털 표면의 높이에 따라 다른 색상(Pseudo-Color)를 입혀 표현한 것이며, 도 5a의 (b)는 3차원 디지털 표면을 3D 모델로 완성하여 항공사진으로 텍스처까지 처리한 결과를 나타낸다.

또한, 상기 3차원 모델 데이터는 상기 실외 공간의 지형(bare　earth) 부분을 표현하는 수치 표고 모델(Digital　Elevation　Model)을 구비하며, 상기 수직 좌표는 상기 수치 표고 모델로부터 추출될 수 있다. 도 5b에 도시된, 상기 수치 표고 모델은 지표면의 고도값을　가지고 있으며, 이를 이용하여 상기 지표면에 수직한 방향의 좌표를 추출한다. 이 경우, 상기 수직 좌표는 상기 격자 좌표에 포함된 보도의 좌표에 대응하는 지점의 수직방향 좌표로 추출될 수 있다.

이와 같이, 격자 좌표와 수직 좌표를 추출함에 따라, 보도를 따라 3차원 좌표가 정의될 수 있다. 상기 3차원 좌표를 이용하여 실외 공간에 대한 이미지를 렌더링하는 단계(S130)가 수행될 수 있다.

상기 실외 공간에 대한 이미지를 렌더링하는 단계(S130)는 제4단계(S131)와 제5단계(S132)를 포함할 수 있다.

제4단계(S131)에서는 도 6에 도시된 바와 같이, 렌더링을 수행할 가상 카메라를 설정하는 단계가 될 수 있다. 보다 구체적으로, 상기 3차원 좌표를 이용하여 원하는 시점에서 렌더링을 수행할 가상 카메라의 포즈가 생성될 수 있다. 보도에서 활용 가능한 이미지 기반 측위용 맵을 구축하기 위하여, 상기 원하는 시점은 보도 시점이 될 수 있다. 상기 포즈는, 예를 들어 카메라 프레임의 위치(position) 및 오리엔테이션(orientation)을 포함한다.

도 6에서, 원점(O)의 위치가 가상 카메라의 위치가 되며, 여기서 3차원 모델의 특정 이미지를 바라보는 방향이 산출될 수 있으며, 이를 통하여 상기 가상 카메라의 포즈가 산출된다.

보다 구체적으로, 상기 도 6의 지상기준점(Pr)은 상기 3차원 좌표에 매칭될 수 있으며, 상기 지상기준점(Pr)을 기준으로 이미지(R)의 자세가 추정될 수 있다. 이러한 자세 추정을 위하여, 항공삼각측량의 방법, 예를 들어 광속 조정법(bundle adjustment) 등이 이용될 수 있다. 이미지(R)의 자세가 추정되면, 이를 이용하여 상기 원점(O)의 위치와 상기 이미지를 바라보는 방향이 산출될 수 있다.

한편, 거리에서 차량이 돌아다니며 촬영한 거리뷰 이미지 등을 이용하면 도로가 없는 부분에서의 이미지 획득이 불가능하나, 본 발명은 항공사진을 기반으로 하므로 원하는 위치 어디서든 상기 가상 카메라를 위치시킬 수 있다.

이와 같이, 가상 카메라의 포즈가 생성되면, 제5단계(S132)에서 이미지와 깊이 맵(depthmap)을 렌더링한다.

예를 들어, 가상 카메라의 포즈가 생성되면, 상기 3차원 모델 데이터를 이용하여 상기 가상 카메라에서 바라보는 상기 실외 공간에 대한 이미지(141)가 렌더링될 수 있다. 이 경우에, 상기 가상 카메라의 포즈와 상기 3차원 모델 데이터를 이용하여 상기 실외 공간에 대한 이미지(141)와 함께, 상기 이미지에 대응되는 깊이 맵(142)이 렌더링된다.

여기서, 상기 깊이 맵(142)은 3차원 장면 상에서 카메라로부터 물체까지의 상대적인 거리를 나타내는 맵이 될 수 있다.

상기에서 설명한 프로세스를 통하여, 도 7에 도시된 바와 같이, 이미지(141), 깊이 맵(142) 및 카메라 포즈(143)가 렌더링을 통하여 데이터 세트로 생성될 수 있다.

다음으로, 특징점 맵을 생성하는 단계(S140)가 진행되며, 상기 특징점 맵을 생성하는 단계(S140)는 보도에서의 이미지 기반 측위를 위한 특징점 맵의 데이터 세트를 구성하는 단계가 될 수 있다. 보다 구체적으로, 렌더링된 이미지(141), 렌더링된 깊이 맵(142) 및 렌더링 시 카메라 포즈(143)를 이용하여, 이미지 기반 측위용 지도 데이터 세트를 구축한다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니며, 예를 들어 렌더링된 이미지와 카메라 포즈를 이용하여 이미지 기반 측위용 지도 데이터 세트를 구축하는 것도 가능하다.

이러한 예로서, 상기 특징점 맵을 생성하는 단계(S140)는 제6단계(S141)와 제7단계(S142)를 포함할 수 있다.

상기 제6단계(S141)에서는, 상기 렌더링된 이미지를 이용하여, 상기 실외 공간에 위치하는 오브젝트에 대한 특징점을 추출한다.

상기 오브젝트는, 예를 들어 건물(151, 152) 등이 될 수 있으며, 이 단계에서는 상기 건물(151, 152) 등에서 특징점(161)을 추출한다.

상기 특징점(161)은, 영상에서 특징이 될만한 지점으로서 영상의 중요한 정보를 포함하고 있는 지점이 될 수 있다. 이러한 지점으로, 상기 특징점(161)은, 예를 들어 건물의 모서리 등이 될 수 있다.

이 경우에, 특징점 추출 기법을 이용하여 도 9와 같이 상기 렌더링된 이미지(141)에 대하여 특징점들(161)이 추출된다. 이 경우에, 상기 특징점 추출 기법은 특정예에 한정되지 않으며, 본 발명에 적용할 수 있는 다양한 기법들이 고려될 수 있다. 따라서, 본 명세서에서는 이에 대한 특별한 제한을 두지 않는다.

이 때에, 상기 렌더링된 이미지는 도 8과 같이, 불필요한 오브젝트들을 배제하여 렌더링된 이미지가 될 수 있다. 예를 들어, 상기 불필요한 오브젝트는, 나무, 거리, 사람 및 차량 중 적어도 하나를 구비할 수 있다.

이미지 내에 도로, 나무, 사람, 자동차 영역에서 불필요한 특징점들이 추출되면, 이미지 기반 측위의 성능 저하 및 매핑의 정확도를 떨어트리게 된다. 이를 방지하기 위하여, 도로, 나무, 사람, 자동차 등 동적으로 움직이거나 계절에 따라 변하는 오브젝트에 대하여 특징점이 추출되는 대상을 제거할 수 있다.

보다 구체적으로, 이미지 렌더링시에, 건물(151)과 건물(152)의 사이에서 불필요한 오브젝트들을 배제한다. 이를 통하여, 도 8과 같이, 상기 실외 공간에 대한 이미지는 이격된 건물들(151, 152)의 사이에 도로가 없는 이미지를 구비할 수 있다. 따라서, 배경(153)에 상기 건물들(151, 152)만 위치하는 이미지가 렌더링 될 수 있다.

이러한 방법을 통하여, 본 발명은 일부 물체의 형태나 크기, 위치가 변해도 쉽게 식별이 가능하고, 카메라의 시점이 변해도 용이하게 찾아낼 수 있는 지점을 특징점으로 추출할 수 있다.

이 경우에, 상기 실외 공간에 대한 이미지를 렌더링하는 단계는, 불필요한 오브젝트과 필요한 오브젝트를 구분하여, 상기 실외 공간에 대한 이미지에서 상기 불필요한 오브젝트들을 배제하여 렌더링하는 단계가 될 수 있다.

다음으로, 제7단계(S142)에서는 상기 렌더링된 깊이 맵(142)을 이용하여 상기 특징점(161)의 3차원 좌표를 추출한다. 보다 구체적으로, 상기 추출된 특징점(161), 상기 가상 카메라의 포즈(143) 및 상기 렌더링된 깊이 맵(142)을 이용하면, 상기 추출된 특징점(161)의 3차원 좌표가 추출될 수 있다.

상기에서 설명한 프로세스를 통하여, 상기 특징점 맵은, 상기 특징점, 상기 3차원 좌표 및 상기 가상 카메라의 포즈를 구비하는 데이터 세트가 될 수 있다.

이미지 기반 측위를 위한 서버의 동작 전에 feature(대상물 또는 오브젝트), 특징점, 그리고 특징점의 3차원 좌표들을 미리 추출하여 저장하며, 상기 서버의 동작에서는 추출된 feature와 특징점의 3차원 좌표만을 사용하여 측위 연산을 수행한다. 이를 통하여, 이미지와 깊이 맵을 읽는데 사용되는 불필요한 연산을 감소시킬 수 있다.

상기에서 설명한 항공 영상 기반의 3차원 모델 데이터를 이용하여 생성한 특징점 맵을 활용하여 이미지 한 장만으로 도보로 이동하는 사용자의 3차원 위치 및 포즈를 추정하는 것이 가능하게 된다. 예를 들어, 사용자는 모바일 기기를 이용하여 자신의 위치를 확인하거나, 자신의 위치를 기반으로 한 서비스를 제공받을 수 있게 된다.

도 10은 도 9의 데이터를 이용하여 이미지 기반 측위를 수행하는 예를 나타내는 개념도이다.

본 도면을 참조하면, 상기 위치 서비스의 일 예로, 사용자의 모바일 기기에서 이미지 기반 측위 서비스가 구현될 수 있다. 예를 들어, 사용자는 특정 지점에서 도보로 이동 중에 자신의 위치를 확인하기 위하여 스마트 폰(191)에서 상기 이미지 기반 측위 서비스와 관련된 애플리케이션을 실행하고, 주변의 거리를 촬영할 수 있다. 상기 애플리케이션은 촬영된 사진(192)의 특징점(193)과 특징점 맵의 특징점(194)을 비교하여, 상기 모바일 기기의 3차원 위치 및 포즈를 추정하게 된다.

이러한 3차원 위치 및 추정된 포즈를 이용하여 상기 모바일 기기의 정확한 위치가 추정될 수 있다. 이 경우에, 상기 스마트 폰에서는 상기 위치를 기반으로 한 여러가지 서비스가 실행될 수 있다.

이상에서 설명한 바와 같이, 본 발명에 따른 맵 생성 방법 및 이를 이용한 이미지 기반 측위 시스템은, 3차원 모델 데이터를 이용하므로, 원하는 시점과 시야에서 렌더링된 이미지 생성이 가능하며, 나아가 나무, 도로 등과 같이 이미지 기반 측위에 방해가 되는 요소들을 맵핑 단계에서 배제할 수 있는 장점이 있다. 또한, 3차원 모델 데이터를 이용하여, 센서 노이즈가 없는 깊이 맵(depthmap) 생성이 구현되며, 사용자가 원하는 분량의 데이터 생성이 가능하게 된다.

상기와 같이 설명된 맵 생성 방법 및 이를 이용한 이미지 기반 측위 시스템은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (14)

1. 항공에서 실외 공간을 촬영한 영상에 근거한 3차원 모델 데이터를 이용하여 가상 카메라의 포즈를 특정하는 단계;
   상기 가상 카메라의 포즈와 상기 3차원 모델 데이터를 이용하여 상기 가상 카메라에서 바라보는 상기 실외 공간에 대한 이미지를 렌더링하는 단계; 및
   상기 렌더링된 이미지와 상기 가상 카메라의 포즈를 이용하여 특징점 맵을 생성하는 단계를 포함하는 이미지 기반 측위용 맵 생성 방법.
2. 제1항에 있어서,　
   상기 실외 공간에 대한 이미지를 렌더링하는 단계는,
   상기 가상 카메라의 포즈와 상기 3차원 모델 데이터를 이용하여 상기 실외 공간에 대한 이미지와 함께, 상기 이미지에 대응되는 깊이 맵을 렌더링하는 것을 특징으로 하는 이미지 기반 측위용 맵 생성 방법.
3. 제2항에 있어서,　
   상기 특징점 맵을 생성하는 단계는,
   상기 렌더링된 이미지를 이용하여, 상기 실외 공간에 위치하는 오브젝트에 대한 특징점을 추출하고, 상기 렌더링된 깊이 맵을 이용하여 상기 특징점의 3차원 좌표를 추출하는 것을 특징으로 하는 이미지 기반 측위용 맵 생성 방법.
4. 제3항에 있어서,　
   상기 특징점 맵은, 상기 특징점, 상기 3차원 좌표 및 상기 가상 카메라의 포즈를 구비하는 것을 특징으로 하는 이미지 기반 측위용 맵 생성 방법.
5. 제1항에 있어서,
   상기 실외 공간에 대한 이미지를 렌더링하는 단계에서는,
   불필요한 오브젝트과 필요한 오브젝트를 구분하여, 상기 실외 공간에 대한 이미지는 상기 불필요한 오브젝트들을 배제하여 렌더링되는 것을 특징으로 하는 이미지 기반 측위용 맵 생성 방법.
6. 제5항에 있어서,
   상기 불필요한 오브젝트는, 나무, 거리, 사람 및 차량 중 적어도 하나를 구비하는 것을 특징으로 하는 이미지 기반 측위용 맵 생성 방법.
7. 제5항에 있어서,
   상기 실외 공간에 대한 이미지는 이격된 건물들의 사이에 도로가 없는 이미지를 구비하는 것을 특징으로 이미지 기반 측위용 맵 생성 방법.
8. 제1항에 있어서,　
   실외 공간의 2차원 지도 데이터를 이용하여 도로 주변에 위치한 보도(sidewalk)를 따라 격자 좌표를 생성하는 단계; 및
   항공에서 상기 실외 공간을 촬영한 영상에 근거한 3차원 모델 데이터로부터 상기 격자 좌표에 대응하는 수직 좌표를 추출하는 단계를 더 포함하고,
   상기 가상 카메라의 포즈는 상기 격자 좌표와 수직 좌표에 의하여 정의되는 3차원 좌표에 근거하여 것을 특징으로 하는 이미지 기반 측위용 맵 생성 방법.
9. 제8항에 있어서,　
   상기 격자 좌표를 생성하는 단계는,
   상기 2차원 지도 데이터를 이용하여 상기 보도 상의 노드들의 위경도 좌표를 검출하는 단계; 및
   상기 위경도 좌표를 상기 격자 좌표로 변환하는 단계를 포함하는 이미지 기반 측위용 맵 생성 방법.
10. 제8항에 있어서,　
    상기 실외 공간의 2차원 지도 데이터는 상기 보도의 평면 좌표를 구비하는 것을 특징으로 하는 이미지 기반 측위용 맵 생성 방법.
11. 제8항에 있어서,　
    상기 3차원 모델 데이터는, 상기 실외 공간의 지형(bare　earth) 부분을 표현하는 수치 표고 모델(Digital　Elevation　Model　)을 구비하며,
    상기 수직 좌표는 상기 수치 표고 모델로부터 추출되는 것을 특징으로 하는 이미지 기반 측위용 맵 생성 방법.
12. 제1항에 있어서,
    상기 항공에서 상기 실외 공간을 촬영한 영상은 이동하면서 촬영된 복수의 사진 이미지들을 구비하고,
    상기 3차원 모델 데이터는, 상기 복수의 사진 이미지들 간의 시차를 이용하여 생성되는 것을 특징으로 하는 이미지 기반 측위용 맵 생성 방법.
13. 이미지 기반 측위 시스템에 있어서,
    특징점 맵을 저장하는 데이터 베이스; 및
    모바일 기기나 자율주행 기기에서 실행되며, 상기 특징점 맵과 상기 모바일 기기나 자율주행 기기에서 촬영한 이미지를 이용하여 이미지 기반 측위를 수행하는 구동부를 구비하고,
    상기 특징점 맵은 3차원 좌표와 3차원 모델 데이터를 이용하여 생성되며,
    상기 3차원 모델 데이터는 항공에서 실외 공간을 촬영한 영상에 근거하여 생성되며,
    상기 3차원 좌표는 상기 3차원 모델 데이터를 이용하여 생성되는 것을 특징으로 하는 이미지 기반 측위 시스템.
14. 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 매체에 저장 가능한 프로그램으로서,
    상기 프로그램은,
    항공에서 실외 공간을 촬영한 영상에 근거한 3차원 모델 데이터를 이용하여 가상 카메라의 포즈를 특정하는 단계;
    상기 가상 카메라의 포즈와 상기 3차원 모델 데이터를 이용하여 상기 가상 카메라에서 바라보는 상기 실외 공간에 대한 이미지를 렌더링하는 단계; 및
    상기 렌더링된 이미지와 상기 가상 카메라의 포즈를 이용하여 특징점 맵을 생성하는 단계:를 수행하도록 하는 명령어들을 포함하는 것을 특징으로 하는 컴퓨터로 판독될 수 있는 매체에 저장 가능한 프로그램.

Images