KR20240022727A

KR20240022727A - 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원시스템 및 복원방법

Info

Publication number: KR20240022727A
Application number: KR1020220101131A
Authority: KR
Inventors: 박순용; 이민재; 손창민
Original assignee: 경북대학교 산학협력단
Priority date: 2022-08-12
Filing date: 2022-08-12
Publication date: 2024-02-20
Also published as: WO2024034969A1

Abstract

본 발명인 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원방법은, 입력모듈에 의해 복수의 시점에서 타겟지역을 촬영하여 생성된 적어도 하나 이상의 2차원 위성영상이미지를 획득하는 단계, BTS(Big to Small) 네트워크에 의해 적어도 하나 이상의 2차원 위성영상이미지 각각에서 타겟지역을 구성하는 구성요소에 대한 높이정보를 획득하고 높이정보가 반영된 적어도 하나 이상의 높이지도를 생성하는 단계, 다시점 스테레오 매칭을 위한 API에 의해 적어도 하나 이상의 2차원 위성영상이미지 전부를 이용하여 상기 구성요소에 대한 3차원 좌표정보를 획득하고 3차원 형태의 기준 공간지도를 생성하는 단계, 및 컨트롤러에 의해 기준 공간지도를 기준으로 적어도 하나 이상의 높이지도를 3차원 호모그래피(homography) 변환하고, 타겟지역을 구성하는 구성요소의 높낮이정보를 추출하여 3차원 형태의 복원영상이미지를 생성하는 단계를 포함한다.

Description

모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원시스템 및 복원방법{SYSTEM AND METHOD FOR 3D RECONSTRUCTION FROM MULTI-VIEW SATELITE IMAGES USING MONO-DEPTH DEEP NEURAL NETWORK}

본 발명은 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원시스템 및 복원방법에 관한 것이다.

구글 어스(Google Earth)란 2017년 Google Earth Engine: Planetary-scale geospatial analysis for everyone, Remote Sensing of Environment에서 소개된 애플리케이션으로서, 위성 이미지를 기반으로 지구를 표현하는 컴퓨터 프로그램을 의미한다.

또한, 버전 5.0부터 Google Earth에서 사용자가 이전 시점 이미지를 볼 수 있는 기능을 추가되었고, 이 기능을 활용하여 한 지점에 대한 여러 시점의 RGB이미지를 획득할 수 있다.

그러나 상기 위성 이미지는 도로, 건물, 차량, 자연환경 등에 대한 개략적인 2차원 평면 이미지만을 보여줄 뿐, 높이, 고도 등이 반영되지 않아 입체적이지 않은 단점이 있으며, 3차원 영상 이미지를 생성하는데 한계가 있다.

이에 대한 대안으로, 2차원 평면 이미지에서 높이 및/또는 깊이를 추정하기 위해 딥뉴럴네트워크를 이용한 인공지능 기술들이 개발되고 있으나, 다양한 원인들로 인해 입체적인 영상으로 복원하는데 한계가 존재한다.

본 발명이 해결하고자 하는 기술적 과제는, 한 지점에 대해 여러 시점에서 획득한 2차원의 위성영상이미지에서 건물 및 지형 등의 깊이 또는 높이를 추정하여 높낮이가 반영된 3차원 복원영상이미지를 획득하기 위함이다.

본 발명의 한 실시예에 따른 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원방법은, 입력모듈에 의해 복수의 시점에서 타겟지역을 촬영하여 생성된 적어도 하나 이상의 2차원 위성영상이미지를 획득하는 단계, BTS(Big to Small) 네트워크에 의해 적어도 하나 이상의 2차원 위성영상이미지 각각에서 타겟지역을 구성하는 구성요소에 대한 높이정보를 획득하고, 높이정보가 반영된 적어도 하나 이상의 높이지도를 생성하는 단계, 다시점 스테레오 매칭을 위한 API에 의해 적어도 하나 이상의 2차원 위성영상이미지 전부를 이용하여 구성요소에 대한 3차원 좌표정보를 획득하고 3차원 형태의 기준 공간지도를 생성하는 단계 및 컨트롤러에 의해 기준 공간지도를 기준으로 적어도 하나 이상의 높이지도를 3차원 호모그래피(homography) 변환하고, 타겟지역을 구성하는 구성요소의 높낮이정보를 추출하여 3차원 형태의 복원영상이미지를 생성하는 단계를 포함를 포함한다.

또한, 본 발명의 한 실시예에 따른 BTS 네트워크에 의해 타겟지역을 구성하는 구성요소에 대한 높이정보를 획득하고 높이지도를 생성하는 단계는, BTS 네트워크에 의해 2차원 위성영상이미지에서 타겟지역을 구성하는 구성요소에 대한 픽셀정보를 획득하는 단계, BTS 네트워크에 의해 픽셀정보를 단안 깊이 추정(monocular height estimation)하여 구성요소에 대한 높이정보를 획득하는 단계 및 BTS 네트워크에 의해 높이정보에 기초하여 구성요소의 높이를 서로 다른 밝기로 표현하여 높이지도를 생성하는 단계를 포함한다.

또한, 본 발명의 한 실시예에 따른 다시점 스테레오 매칭을 위한 API에 의해 구성요소에 대한 3차원 좌표정보를 획득하고 3차원 형태의 기준 공간지도를 생성하는 단계는, 다시점 스테레오 매칭을 위한 API에 의해 적어도 하나 이상의 2차원 위성영상이미지 각각에서 구성요소에 대한 픽셀정보를 이용하여 특징점을 추출하는 단계, 다시점 스테레오 매칭을 위한 API에 의해 적어도 하나 이상의 2차원 위성영상이미지 전체에서 추출된 적어도 하나 이상의 특징점을 이용하여 구성요소에 대한 3차원 좌표정보를 획득하는 단계 및 다시점 스테레오 매칭을 위한 API에 의해 3차원 좌표정보를 이용하여 구성요소를 3차원 형태의 기준 공간지도를 생성하는 단계를 포함한다.

또한, 본 발명의 한 실시예에 따른 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원방법은, 볼륨통합모듈에 의해 복원영상이미지와 적어도 하나 이상의 2차원 위성영상이미지를 통합하고, 절삭 부호화 거리 함수(Truncated Signed Distance Function)를 이용하여 복원영상이미지의 3차원 볼륨 해상도를 향상시키는 단계를 더 포함한다.

또한, 본 발명의 한 실시예에 따른 다시점 스테레오 매칭을 위한 API에 의해 구성요소에 대한 3차원 좌표정보를 획득하고 3차원 형태의 기준 공간지도를 생성하는 단계는, 상기 다시점 스테레오 매칭을 위한 API에 의해 타겟지역을 촬영한 위성카메라의 특성인 카메라 파라미터를 획득하는 단계를 더 포함한다.

또한, 본 발명의 한 실시예에 따른 컨트롤러에 의해 기준 공간지도를 기준으로 적어도 하나 이상의 높이지도를 3차원 호모그래피(homography) 변환하는 단계는, 컨트롤러에 의해 적어도 하나 이상의 높이지도에서 타겟지역에 대한 구성요소와 기준 공간지도에서 높이지도에서 구성요소와 대응하는 구성요소를 서로 매칭하는 단계, 컨트롤러에 의해 매칭된 구성요소에 대한 높이정보와 매칭된 구성요소에 대한 3차원 좌표정보를 특이값 분해(Singular Value Decomposition)하여 3차원 호모그래피 변환을 위한 변환행렬을 추출하는 단계, 컨트롤러에 의해 적어도 하나 이상의 높이지도 각각에 포함된 높이정보에 변환행렬을 곱하여 3차원 호모그래피 변환하는 단계를 포함한다.

또한, 본 발명의 한 실시예에 따른 컨트롤러에 의해 타겟지역을 구성하는 구성요소의 높낮이정보가 반영된 3차원 형태의 복원영상이미지를 생성하는 단계는, 컨트롤러에 의해 3차원 호모그래피 변환되어 생성된 3차원 형태의 공간지도의 3차원 좌표정보에 카메라 파라미터를 곱하여 타겟지역을 구성하는 구성요소의 높낮이정보를 추출하는 단계 및 컨트롤러에 의해 높낮이정보가 반영된 구성요소를 이용하여 타겟지역에 대한 복원영상이미지를 생성하는 단계를 더 포함한다.

또한, 본 발명의 한 실시예에 따른 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원시스템은, 복수의 시점에서 타겟지역을 촬영하여 생성된 적어도 하나 이상의 2차원 위성영상이미지를 획득하는 입력부, 적어도 하나 이상의 2차원 위성영상이미지 각각에서 타겟지역을 구성하는 구성요소에 대한 높이정보를 획득하고 높이정보가 반영된 적어도 하나 이상의 높이지도를 생성하는 BTS(Big to Small) 네트워크, 적어도 하나 이상의 2차원 위성영상이미지 전부를 이용하여 구성요소에 대한 3차원 좌표정보를 획득하고 3차원 형태의 기준 공간지도를 생성하는 다시점 스테레오 매칭 API 및 기준 공간지도를 기준으로 적어도 하나 이상의 높이지도를 3차원 호모그래피(homography) 변환하고, 타겟지역을 구성하는 구성요소의 높낮이정보를 추출하여 3차원 형태의 복원영상이미지를 생성하는 제어부를 포함한다.

또한, 본 발명의 한 실시예에 따른 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원시스템은, 적어도 하나 이상의 복원영상이미지와 적어도 하나 이상의 2차원 위성영상이미지를 통합하고, 절삭 부호화 거리 함수(Truncated Signed Distance Function)를 이용하여 구성요소의 3차원 볼륨 해상도를 향상시키는 볼륨통합모듈을 더 포함한다.

또한, 본 발명의 한 실시예에 따른 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원방법을 실행시키는 프로그램이 기록된 컴퓨터로 판독가능한 기록매체를 포함한다.

본 발명에 따른 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원시스템 및 복원방법은, 한 지점에 대해 여러 시점에서 획득한 2차원 위성영상이미지에서 건물 및 지형 등의 깊이 또는 높이를 추정하여 높낮이가 반영된 3차원 복원영상이미지를 획득할 수 있다.

도 1은 본 발명의 한 실시예에 따른 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원시스템에 관한 도면이다.
도 2는 본 발명의 한 실시예에 따른 한 지점에 대해 여러 시점에서 획득한 2차원 위성영상이미지에 관한 도면이다.
도 3은 본 발명의 한 실시예에 따른 BTS(Big to Small) 네트워크에 관한 도면이다.
도 4는 본 발명의 한 실시예에 따른 BTS(Big to Small) 네트워크를 이용하여 생성된 높이지도(height map) 및 2차원 위성영상이미지를 다시점 스테레오 매칭을 위한 오픈 API를 이용하여 생성된 3차원 형태의 기준 공간지도에 관한 도면이다.
도 5는 본 발명의 한 실시예에 따른 높이정보가 반영된 높이지도가 3차원 형태의 기준 공간지도를 기준으로 3차원 호모그래피(homography)변환된 도면이다.
도 6은 본 발명의 한 실시예에 따른 3차원 형태의 공간지도가 인공위성 카메라공간으로 투영된 도면이다.
도 7은 본 발명의 한 실시예에 따른 3차원 볼륨 해상도가 향상된 복원영상이미지를 생성하는 과정에 관한 도면이다.
도 8은 본 발명의 한 실시예에 따른 최종적으로 생성된 3차원 형태의 복원영상이미지에 관한 도면이다.
도 9는 본 발명의 한 실시예에 따른 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원방법에 관한 흐름도이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 여러 실시 예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예들에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 따라서 앞서 설명한 참조 부호는 다른 도면에서도 사용할 수 있다.

또한, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. 도면에서 여러 층 및 영역을 명확하게 표현하기 위하여 두께를 과장되게 나타낼 수 있다.

또한, 설명에서 "동일하다"라고 표현한 것은, "실질적으로 동일하다"는 의미일 수 있다. 즉, 통상의 지식을 가진 자가 동일하다고 납득할 수 있을 정도의 동일함일 수 있다. 그 외의 표현들도 "실질적으로"가 생략된 표현들일 수 있다.

또한, 설명에서 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 본 명세서에서 사용되는 '~부'는 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 하드웨어 구성요소를 의미할 수 있다. '~부'에서 제공하는 기능은 복수의 구성요소에 의해 분리되어 수행되거나, 다른 추가적인 구성요소와 통합될 수도 있다. 본 명세서의 '~부'는 반드시 소프트웨어 또는 하드웨어에 한정되지 않으며, 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 이하에서는 도면을 참조하여 본 발명의 실시예에 대해서 구체적으로 설명하기로 한다.

도 1은 본 발명의 한 실시예에 따른 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원시스템에 관한 도면이다.

본 발명의 한 실시예에 따른 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원시스템(1)은 입력모듈(Input module, 10), BTS 네트워크(11), 콜맵(Colmap) API(12), 컨트롤러(Controller, 13), 볼륨통합모듈(Volume integration module, 14), 및 출력모듈(Output module, 15)로 구성될 수 있다.

다만, 본 발명의 한 실시예에 따른 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원시스템(1)은 도 1에 도시된 구성요소보다 더 적은 수의 구성요소 또는 더 많은 수의 구성요소로 구성될 수 있다.

입력모듈(10)은 복수의 시점에서 한 지점(이하, 타겟지역이라 명명함)을 촬영하여 생성된 적어도 하나 이상의 2차원 위성영상이미지를 획득할 수 있다.

구체적으로, 입력모듈(10)은 네트워크(미도시)를 통해 Google Earth Engine 등 과 같은 프로그램으로부터 2차원 위성영상이미지를 제공받을 수 있다.

예를 들어, 입력모듈(10)은 과거부터 현재까지의 소정의 기간동안 복수의 시점에서 어느 한 타겟지역을 촬영하여 생성한 적어도 하나 이상의 2차원 위성영상이미지를 획득할 수 있다.

이때, 2차원 위성영상이미지에는 어느 한 타겟지역에 위치하는 건물, 도로, 차량 및 지형 등(이하, 구성요소라 명명함)이 표현되어 있을 수 있다.

한편, Google Earth Engine 등 과 같은 프로그램으로부터 제공되는 2차원 위성영상이미지는 서로 다른 방향, 서로 다른 시간대, 서로 다른 계절 등에서 시간의 흐름에 따라 이동하는 위성에서 타겟지역을 촬영하여 생성될 수 있다.

이로 인해, 적어도 하나 이상의 2차원 위성영상이미지 각각에서는 서로 다른 형태 또는 서로 다른 기울기 또는 서로 다른 높이를 가지는 구성요소가 표현될 수 있다.

BTS(Big to Small) 네트워크(11)는 입력모듈(10)로부터 적어도 하나 이상의 2차원 위성영상이미지를 제공받을 수 있다.

BTS 네트워크(11)란, 단안 깊이 추정(monocular height estimation)을 위한 딥뉴럴네트워크를 의미한다.

BTS 네트워크(11)는 적어도 하나 이상의 2차원 위성영상이미지 각각에서 타겟지역을 구성하는 구성요소에 대한 높이정보(height정보 또는 depth정보)를 획득하고, 높이정보가 반영된 적어도 하나 이상의 높이지도(height map)를 생성할 수 있다.

예를 들어, BTS 네트워크(11)는 A1시점에서 B타겟지역을 촬영한 2차원 위성영상이미지에서 단안 깊이 추정(monocular height estimation)을 통해 B타겟지역을 구성하는 구성요소에 대한 높이정보(height정보 또는 depth정보)를 획득하고, 높이정보가 반영된 높이지도(height map)를 생성할 수 있다.

또한, BTS 네트워크(11)는 A1시점 이후인 A2시점에서 B타겟지역을 촬영한 2차원 위성영상이미지에서 단안 깊이 추정(monocular height estimation)을 통해 B타겟지역을 구성하는 구성요소에 대한 높이정보(height정보 또는 depth정보)를 획득하고, 상기 높이정보가 반영된 높이지도(height map)를 생성할 수 있다.

BTS 네트워크(11)가 높이정보(height정보 또는 depth정보)를 획득하고 적어도 하나 이상의 높이지도(height map)를 추출하는 과정은 아래, 도 3, 도 4(a), 및 도 4(b)에서 구체적으로 서술하기로 한다.

콜맵(Colmap) API(12)는 입력모듈(10)로부터 적어도 하나 이상의 2차원 위성영상이미지 전부를 제공받을 수 있다.

콜맵(Colmap) API(12)란, 다시점 스테레오 매칭을 위한 오픈소스 API로써, 입력으로 여러 장의 이미지를 제공받고, 출력으로 각 이미지에 대한 카메라 포즈와 이미지 매칭 점을 통해 복원된 3차원 좌표(3D Point)정보를 제공할 수 있는 프로그램을 의미한다.

이하, 콜맵(Colmap) API(12)를 다시점 스테레오 매칭을 위한 API라 동일한 의미로 사용하기로 한다.

다시점 스테레오 매칭을 위한 API(12)는 적어도 하나 이상의 2차원 위성영상이미지 전부를 이용하여 구성요소에 대한 3차원 좌표정보를 획득하고, 3차원 좌표정보가 반영된 3차원 형태의 공간지도를 생성할 수 있다.

이하, 다시점 스테레오 매칭을 위한 API(12)에서 생성되는 3차원 형태의 공간지도는 후술할 적어도 하나 이상의 높이지도를 3차원 호모그래프(homography) 변환하기 위한 기준이 되므로 기준 공간지도라 명명하고 서술하기로 한다.

예를 들어, 다시점 스테레오 매칭을 위한 API(12)는 A1시점에서 A8시점까지 B타겟지역을 촬영한 2차원 위성영상이미지 전부를 이용하여 구성요소에 대한 3차원 좌표정보를 획득하고, B타겟지역에 대응하는 3차원 형태의 기준 공간지도를 생성할 수 있다.

한편, 다시점 스테레오 매칭을 위한 API(12)는 적어도 하나 이상의 2차원 위성영상이미지를 이용하여 타겟지역을 촬영한 위성카메라의 특징인 카메라 파라미터(camera parameter)를 획득할 수 있다.

이때, 카메라 파라미터(camera parameter)는 위성카메라의 내부(intrinstic)특징 및 외부(extrinstic)특징이 모두 포함되어 있을 수 있다.

다시점 스테레오 매칭을 위한 API(12)에서 3차원 좌표정보가 반영된 3차원 형태의 기준 공간지도를 생성하는 과정은 아래, 도 4(c) 및 도 4(d)에서 구체적으로 서술하기로 한다.

컨트롤러(13)는 BTS 네트워크(11)로부터 타겟지역에 대응하는 높이지도(height map) 및 타겟지역을 구성하는 구성요소의 높이정보를 제공받을 수 있다.

또한, 컨트롤러(13)는 다시점 스테레오 매칭을 위한 API(12)로부터 타겟지역에 대응하는 3차원 형태의 기준 공간지도 및 타겟지역을 구성하는 구성요소의 3차원 좌표(3D Point)정보를 제공받을 수 있다.

컨트롤러(13)는 3차원 형태의 기준 공간지도를 기준으로 적어도 하나 이상의 높이지도를 3차원 호모그래피(homography) 변환하고, 타겟지역을 구성하는 구성요소의 높낮이정보가 반영된 3차원 형태의 복원영상이미지를 생성할 수 있다.

컨트롤러(13)에서 높낮이정보가 반영된 3차원 형태의 복원영상이미지를 생성하는 과정은 아래, 도 5 및 도 6에서 구체적으로 서술하기로 한다.

볼륨통합모듈(14)은 컨트롤러(13)에서 생성된 3차원 형태의 적어도 하나 이상의 복원영상이미지와 입력모듈(10)로 제공된 적어도 하나 이상의 2차원 위성영상이미지를 통합하고 절삭 부호화 거리 함수(Truncated Signed Distance Function, TSDF)를 이용하여 복원영상이미지의 3차원 볼륨의 해상도를 향상시킬 수 있다.

볼륨통합모듈(14)에서 3차원 볼륨의 해상도를 향상시키는 과정은 아래, 도 7에서 구체적으로 서술하기로 한다.

상술한 바와 같이, 본 발명의 한 실시예에 따른 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원시스템(1)은 어느 한 지점에 대해 다시점에서 획득한 2차원의 위성영상이미지(또는, 모노-스테레오 영상)에서 건물, 및 지형 등의 높이를 추정하여 높낮이가 반영된 3차원 복원영상이미지를 획득할 수 있다.

도 2는 본 발명의 한 실시예에 따른 한 지점에 대해 여러 시점에서 획득한 2차원 위성영상이미지에 관한 도면이다.

도 2(a)는 어느 한 시점에서 다른 시점까지 타겟지역(미국 플로리다 주의 Jacksonville지역)을 촬영하여 생성된 8개의 2차원 위성영상이미지가 도시된다. 도 2(b)는 어느 한 시점에서 다른 시점까지 타겟지역(평양)을 촬영하여 생성된 8개의 2차원 위성영상이미지가 도시된다.

도 1에서 상술한 바와 같이, 입력모듈(10)은 Google Earth Engine 등 과 같은 프로그램으로부터 도 2(a) 및 도 2(b)에 각각 도시된 8개의 2차원 위성영상이미지를 제공받을 수 있다.

도 2(a)를 참고하면, 동일한 타겟지역(미국 플로리다 주의 Jacksonville지역)을 촬영하였음에도 불구하고, 동일한 위치에 존재하는 건물이 서로 다른 형태 또는 서로 다른 기울기 또는 서로 다른 높이를 가짐을 알 수 있다.

예를 들어, 어느 한 시점에서 획득한 2차원 위성영상이미지는 타겟지역에 위치하는 어느 한 건물의 옥상이 북동쪽을 향해있는 반면, 다른 한 시점에서 타겟지역에 위치하는 상기 어느 한 건물의 옥상은 북서쪽을 향해있다.

이는, 시간의 흐름에 따라 지구의 상공을 이동하는 위성에서 타겟지역을 향해 서로 다른 방향, 서로 다른 시간대, 서로 다른 계절 등에서 촬영하므로 발생될 수 있는 현상이다.

따라서, Google Earth Engine 등과 같은 프로그램으로부터 제공받은 복수개의 2차원 위성영상이미지를 통해서는 어느 한 타겟지역에 위치하는 구성요소의 높이 또는 깊이를 정확히 판단할 수 없다.

도 2(b)에 대한 설명은 상술한 도 2(a)에 대한 설명과 실질적으로 동일하거나 유사하므로 중복된 설명은 생략하기로 한다.

도 3은 본 발명의 한 실시예에 따른 BTS(Big to Small) 네트워크에 관한 도면이다.

도 3에 도시된 단안 깊이 추정(monocular height estimation)을 위한 딥뉴럴네트워크인 BTS 네트워크(11)는 상기 도 2(a) 또는 도 2(b)의 8개의 2차원 위성영상이미지 각각을 입력값으로 입력받을 수 있다.

이하, BTS 네트워크(11)에 입력된 어느 하나의 2차원 위성영상이미지를 예로 들어 설명하기로 한다.

도 3(a)를 참고하면, BTS 네트워크(11)에 입력된 어느 하나의 2차원 위성영상이미지는 ASPP(Atrous Spatial Pyramid Pooling)를 이용하여 인코딩(encoding)한 이후, Local Planar Guidance를 이용하여 디코딩(decoding)할 수 있다.

도 3(a) 및 도 3(b)를 함께 참고하면, Local Planar Guidance에서는 2차원 위성영상이미지에서 픽셀정보를 획득하고, 픽셀정보를 1*1 컨볼루션(convolution)을 통해 3개의 채널(channel, 1st channel, 2nd channel, 3rd channel)로 변환하고, 1st 채널(channel)과 2nd 채널(channel)을 각각 와 을 사용하여 3개의 유닛 벡터(n1, n2, n3, unit vector)를 구할 수 있다.

이때, 상기 3개의 유닛 벡터(n1, n2, n3, unit vector)는 하기 [수학식 1]과 같이 표현될 수 있다.

[수학식 1]

n1 =

n2 =

n3=

도 3(c)를 참고하면, ray-plane intersection을 이용하여 유닛 벡터(n1, n2, n3, unit vector)와 3차원상 평면(plane) 사이의 관계를 구성할 수 있다.

상술한 과정을 통해 2차원 위성영상이미지의의 depth cue인 는 하기 [수학식 2]와 같이 표현될 수 있다.

[수학식 2]

= ,

또한, 하기 [수학식 3]을 이용하여 2차원 위성영상이미지의 높이정보(depth정보, )를 획득할 수 있다.

[수학식 3]

이때, f는 activation function으로 sigmoid 함수일 수 있다.

또한, BTS 네트워크(11)의 loss function(L)은 하기 [수학식 4 ~ 7]로 표현될 수 있다.

[수학식 4]

[수학식 5]

[수학식 6]

BTS 네트워크(11)는 상술한 과정을 통해 단안 깊이 추정(monocular height estimation)을 적어도 하나 이상의 2차원 위성영상이미지 각각에 수행하여 높이정보를 획득하고, 높이정보가 반영된 적어도 하나 이상의 높이지도(height map)를 생성할 수 있다.

도 4는 본 발명의 한 실시예에 따른 BTS(Big to Small) 네트워크를 이용하여 생성된 높이지도(height map) 및 2차원 위성영상이미지를 다시점 스테레오 매칭을 위한 오픈 API를 이용하여 생성된 3차원 형태의 기준 공간지도에 관한 도면이다.

도 4(a)에는 상술한 도 3의 과정을 통해 BTS 네트워크(11)가 어느 한 시점에서 다른 한 시점까지의 타겟지역(미국 플로리다 주의 Jacksonville지역)에 대한 8개의 2차원 위성영상이미지 각각에 대해 단안 깊이 추정(monocular height estimation)을 수행하여 구성요소에 대한 높이정보(height정보 또는 depth정보)를 획득하고, 높이정보를 반영하여 생성한 8개의 높이지도(height map)가 도시된다.

도 4(b)에는 상술한 도 3의 과정을 통해 BTS 네트워크(11)가 어느 한 시점에서 다른 한 시점까지 타겟지역(평양)에 대한 8개의 2차원 위성영상이미지 각각에 대해 단안 깊이 추정(monocular height estimation)을 수행하여 구성요소에 대한 높이정보(height정보 또는 depth정보)를 획득하고, 높이정보를 반영하여 생성한 8개의 높이지도(height map)가 도시된다.

도 4(a) 및 도 4(b)를 참고하면, 높이정보에 기초하여 구성요소의 높이가 서로 다른 밝기로 표현됨을 알 수 있다.

이때, 지면을 기준으로 높이가 높은 구성요소일수록 밝은 색으로 표현(예를 들어, 건물의 옥상)될 수 있으며, 지면을 기준으로 높이가 낮은 구성요소일수록 어두운 색으로 표현(예를 들어, 차량)될 수 있다. 또한, 지면은 검은색으로 표현될 수 있다.

즉, 동일한 타겟지역을 촬영하더라도 도 1에서 상술한 바와 같이 시간의 흐름에 따라 이동하는 위성에서 서로 다른 방향, 서로 다른 시간대, 서로 다른 계절 등에서 촬영하여 생성된 8개의 2차원 위성영상이미지 각각이 BTS 네트워크(11)로 입력되므로, 단안 깊이 추정(monocular height estimation)을 통한 높이정보는 서로 다르게 출력될 수 있으며 결론적으로 높이지도(height map)는 서로 다른 형태를 가질 수 있다.

예를 들어, 도 4(a)를 참고하면, 8개의 높이지도(height map)에서 동일한 위치에 위치하는 건물이 서로 다른 밝기를 가지는 것을 확인할 수 있다.

즉, BTS 네트워크(11)를 이용하는 경우 건물의 높이정보를 정확히 획득할 수 없다.

도 4(c)에는 다시점 스테레오 매칭을 위한 API(12)인 콜맵(COLMAP)을 이용하여 어느 한 시점에서 다른 한 시점까지 타겟지역(미국 플로리다 주의 Jacksonville 지역)에 대한 8개의 2차원 위성영상이미지 전부를 이용하여 구성요소에 대한 3차원 좌표정보를 획득하고, 3차원 좌표정보를 반영하여 생성한 3차원 형태의 기준 공간지도가 도시된다.

도 4(d)에는 다시점 스테레오 매칭을 위한 API(12)인 콜맵(COLMAP)을 이용하여 어느 한 시점에서 다른 한 시점까지 타겟지역(평양)에 대한 8개의 2차원 위성영상이미지 전부를 이용하여 구성요소에 대한 3차원 좌표를 획득하고, 3차원 좌표정보를 반영하여 생성한 3차원 형태의 기준 공간지도가 도시된다.

다시점 스테레오 매칭을 위한 API(12)인 콜맵(COLMAP)은 8개의 2차원 위성영상이미지 전부를 입력값으로 입력받을 수 있다.

다시점 스테레오 매칭을 위한 API(12)는 8개의 2차원 위성영상이미지에서 타겟지역을 구성하는 구성요소의 픽셀정보를 추출하고, 픽셀정보를 이용하여 구성요소를 대표하는 특징점을 추출할 수 있다.

다시점 스테레오 매칭을 위한 API(12)는 구성요소에 대한 특징점을 이용하여 구성요소에 대한 3차원 좌표정보를 획득할 수 있다.

다시점 스테레오 매칭을 위한 API(12)는 3차원 좌표정보에 기초하여 구성요소를 3차원 형태로 구현하고, 타겟공간을 3차원 형태의 기준 공간지도로 변환할 수 있다.

한편, 다시점 스테레오 매칭을 위한 API(12)는 입력값으로 입력받은 8개의 2차원 위성영상이미지를 이용하여, 타겟지역을 촬영한 위성카메라의 내외부 특징인 카메라 파라미터(camera parameter)를 획득할 수 있다.

도 4(c) 및 도 4(d)의 구성요소는 도 4(a) 및 도 4(b)에 비해 구성요소의 높낮이가 반영되어 입체적인 형상을 가짐을 알 수 있다.

한편, 상기 다시점 스테레오 매칭을 위한 API(12)인 콜맵(COLMAP)을 이용하더라도, 8개의 2차원 위성영상이미지에서 픽셀정보를 추출할 수 없는 구성요소는 외관이 선명하게 또는 명확하게 표현되지 않는다.

예를 들어, 도 4(c)를 참고하면, 건물의 옥상과 외벽의 일부는 3차원 형태로 구현이 되는 반면, 도로 또는 외벽 전체가 3차원 형태로 구현이 되지 않는다.

도 5는 본 발명의 한 실시예에 따른 높이정보가 반영된 높이지도가 3차원 형태의 기준 공간지도를 기준으로 3차원 호모그래피(homography)변환된 도면이다.

도 5(a) 및 도 5(b)에는 타겟지역(미국 플로리다 주의 Jacksonville 지역)에 대한 높이지도(height map)를 3차원 호모그래피(homography)변환하여 생성된 3차원 형태의 공간지도 중 일부가 도시된다.

도 5(c) 및 도 5(d)에는 타겟지역(평양)에 대한 높이지도(height map)를 3차원 호모그래피(homography)변환하여 생성된 3차원 형태의 공간지도 중 일부가 도시된다.

컨트롤러(13)는 타겟지역에 대한 높이지도(height map)에서 구성요소에 대한 높이정보와 이에 대응하는 3차원 형태의 기준 공간지도에서 구성요소에 대한 3차원 좌표정보를 서로 매칭할 수 있다.

컨트롤러(13)는 서로 매칭된 높이정보와 3차원 좌표정보를 특이값 분해(Singular Value Decomposition, SVD)하여 3차원 호모그래피(homography) 변환을 위한 변환행렬(homography matrix)을 추출할 수 있다.

이때, 컨트롤러(13) 8개의 높이지도(height map)와 구성요소 각각에 대해 상술한 특이값 분해(Singular Value Decomposition, SVD)하여 변환행렬(homography matrix)을 추출할 수 있다.

컨트롤러(13)는 8개의 높이지도(height map) 구성요소 각각에 대한 높이정보에 상기 변환행렬(homography matrix)을 곱하여 8개의 높이지도(height map) 각각을 8개의 3차원 형태의 공간지도로 변환할 수 있다.

도 6은 본 발명의 한 실시예에 따른 3차원 형태의 공간지도가 인공위성 카메라공간으로 투영된 도면이다.

도 6(a) 및 도 6(b)에는 도 5(a) 및 도 5(b)에 도시된 타겟지역(미국 플로리다 주의 Jacksonville 지역)에 대한 3차원 형태의 공간지도를 카메라 파라미터를 이용하여 위성 카메라공간으로 투영된 이미지가 도시된다.

도 6(c) 및 도 6(d)에는 도 5(c) 및 도 5(d)에 도시된 타겟지역(평양)에 대한 3차원 형태의 공간지도를 카메라 파라미터를 이용하여 위성 카메라공간으로 투영된 이미지가 도시된다.

컨트롤러(13)는 도 5에서 생성된 3차원 형태의 공간지도 각각에서 구성요소의 3차원 좌표정보를 획득하고 카메라 파라미터를 곱하여 도 6(a) 내지 도 6(d)와 같이 위성 카메라공간으로 투영할 수 있다.

상술한 과정을 통해 컨트롤러(13)는 구성요소의 높낮이정보가 반영된 적어도 하나 이상의 3차원 형태의 복원영상이미지를 생성할 수 있다.

즉, 본 발명은 다시점 스테레오 매칭을 위한 API(12)에서 생성된 3차원 형태의 기준 공간지도를 기준으로 BTS 네트워크(11)에서 생성된 적어도 하나 이상의 높이지도를 3차원 호모그래피 변환하므로, 상술한 다시점 스테레오 매칭을 위한 API(12) 또는 BTS 네트워크(11)를 단독으로 사용하는 과정에서 발생될 수 있는 단점을 극복할 수 있는 효과가 있다.

예를 들어, 본 발명의 3차원 형태의 복원영상이미지는 다시점 스테레오 매칭을 위한 API(12)에서 생성된 3차원 형태의 기준 공간지도를 기준으로 BTS 네트워크(11)에서 생성된 적어도 하나 이상의 높이지도를 3차원 호모그래피 변환하므로, 도 4(a) 및 도 4(b)에서 서술한 시간의 흐름에 따라 이동하는 위성에서 서로 다른 방향, 서로 다른 시간대, 서로 다른 계절 등에서 촬영하여 생성된 2차원 위성영상이미지 각각이 BTS 네트워크(11)로 입력되므로, 단안 깊이 추정(monocular height estimation)을 통한 높이정보는 서로 다르게 출력될 수 있으며 결론적으로 높이지도(height map)는 서로 다른 형태를 가질 수 있는 문제를 극복할 수 있다.

또한, 본 발명의 3차원 형태 복원영상이미지는 다시점 스테레오 매칭을 위한 API(12)에서 생성된 3차원 형태의 기준 공간지도 뿐만 아니라 BTS 네트워크(11)에서 생성된 적어도 하나 이상의 높이지도를 함께 사용하므로 도 4(c) 및 도 4(d)에서 서술한 2차원 위성영상이미지에서 픽셀정보를 추출할 수 없는 구성요소는 외관이 선명하게 또는 명확하게 표현되지 않는 문제를 극복할 수 있다.

도 7은 본 발명의 한 실시예에 따른 3차원 볼륨 해상도가 향상된 복원영상이미지를 생성하는 과정에 관한 도면이다.

볼륨통합모듈(14)은 도 6에서 위성 카메라공간으로 투영되어 생성된 적어도 하나 이상의 복원영상이미지와 입력모듈(10)로 입력된 적어도 하나 이상의 2차원 영상이미지를 서로 매칭할 수 있다.

볼륨통합모듈(14)은 매칭된 적어도 하나 이상의 복원영상이미지와 적어도 하나 이상의 2차원 영상이미지를 각각 통합하고 절삭 부호화 거리 함수(Truncated Signed Distance Function)을 이용하여 복원영상이미지의 3차원 볼륨의 해상도를 향상시킬 수 있다.

도 8은 본 발명의 한 실시예에 따른 최종적으로 생성된 3차원 형태의 복원영상이미지에 관한 도면이다.

도 8(a)에는 타겟지역(미국 플로리다 주의 Jacksonville 지역)에 대해 상술한 도 7의 볼륨통합모듈(14)이 매칭된 복원영상이미지와 2차원 영상이미지를 통합한 도면이 도시된다.

도 8(b)에는 타겟지역(미국 플로리다 주의 Jacksonville 지역)에 대해 상술한 도 7의 볼륨통합모듈(14)이 절삭 부호화 거리 함수(Truncated Signed Distance Function)을 이용하여 복원영상이미지의 3차원 볼륨의 해상도를 향상시킨 최종적인 복원영상이미지에 관한 도면이 도시된다.

도 8(c)에는 타겟지역(평양)에 대해 상술한 도 7의 볼륨통합모듈(14)이 매칭된 복원영상이미지와 2차원 영상이미지를 통합한 도면이 도시된다.

도 8(d)에는 타겟지역(평양)에 대해 상술한 도 7의 볼륨통합모듈(14)이 절삭 부호화 거리 함수(Truncated Signed Distance Function)을 이용하여 복원영상이미지의 3차원 볼륨의 해상도를 향상시킨 최종적인 복원영상이미지에 관한 도면이 도시된다.

도 8(b) 및 도 8(d)를 참고하면, 본 발명에 한 실시예에 따른 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원시스템(1)은 도 4(a) 및 도 4(b)의 BTS 네트워크(11)를 단독으로 사용한 경우 및 도 4(c) 및 도 4(d)의 콜맵(Colmap)을 사용한 경우에 비해 구성요소의 높낮이가 입체적으로 선명하게 복원하여 복원영상이미지를 생성할 수 있다.

도 9는 본 발명의 한 실시예에 따른 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원방법에 관한 흐름도이다.

단계(S10)에서 타겟지역을 촬영하여 2차원 위성영상이미지를 획득할 수 있다.

구체적으로, 입력모듈(10)은 Google Earth Engine 등 과 같은 프로그램으로부터 복수의 시점에서 한 지점(이하, 타겟지역이라 명명함)을 촬영하여 생성된 적어도 하나 이상의 2차원 위성영상이미지를 획득할 수 있다.

단계(S11)에서 2차원 위성영상이미지 각각에서 타겟지역을 구성하는 구성요소에 대한 높이정보를 획득하고 높이지도를 생성할 수 있다.

구체적으로, BTS(Big to Small) 네트워크(11)는 적어도 하나 이상의 2차원 위성영상이미지 각각에서 단안 깊이 추정(monocular height estimation)을 수행하여 타겟지역을 구성하는 구성요소에 대한 높이정보(height정보 또는 depth정보)를 획득할 수 있다.

또한, BTS(Big to Small) 네트워크(11)는 높이정보가 반영된 적어도 하나 이상의 높이지도(height map)를 생성할 수 있다.

단계(S12)에서 2차원 위성영상이미지 전부를 이용하여 구성요소에 대한 3차원 좌표정보를 획득하고 기준 공간지도를 생성할 수 있다.

구체적으로, 다시점 스테레오 매칭을 위한 API(12)는 적어도 하나 이상의 2차원 위성영상이미지 전부를 이용하여 구성요소에 대한 3차원 좌표정보를 획득할 수 있다.

또한, 다시점 스테레오 매칭을 위한 API(12)는 3차원 좌표정보가 반영된 3차원 형태의 기준 공간지도를 생성할 수 있다.

단계(S13)에서 기준 공간지도를 기준으로 높이지도를 3차원 호모그래피(homography) 변환하고 높낮이정보가 반영된 3차원 형태의 복원영상이미지를 생성할 수 있다.

구체적으로, 컨트롤러(13)는 타겟지역에 대한 높이지도(height map)에서 구성요소에 대한 높이정보와 이에 대응하는 3차원 형태의 기준 공간지도에서 구성요소에 대한 3차원 좌표정보를 서로 매칭할 수 있다.

컨트롤러(13)는 높이지도(height map) 구성요소 각각에 대한 높이정보에 상기 변환행렬(homography matrix)을 곱하여 높이지도(height map) 각각을 3차원 형태의 공간지도로 변환할 수 있다.

컨트롤러(13)는 3차원 형태의 공간지도 각각에서 구성요소의 3차원 좌표정보를 획득하고 카메라 파라미터를 곱하여 위성 카메라공간으로 투영하고 3차원 형태의 복원영상이미지를 생성할 수 있다

단계(S14)에서 복원영상이미지의 3차원 볼륨 해상도를 향상시킬 수 있다.

구체적으로, 볼륨통합모듈(14)은 위성 카메라공간으로 투영되어 생성된 적어도 하나 이상의 복원영상이미지와 입력모듈(10)로 입력된 적어도 하나 이상의 2차원 영상이미지를 서로 매칭할 수 있다.

또한, 볼륨통합모듈(14)은 매칭된 적어도 하나 이상의 복원영상이미지와 적어도 하나 이상의 2차원 영상이미지를 각각 통합하고 절삭 부호화 거리 함수을 이용하여 복원영상이미지의 3차원 볼륨의 해상도를 향상시킬 수 있다.

지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(Digital Signal Processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.

처리 장치는 운영 체제 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는 처리 장치가 복수 개의 처리 요소(Processing Element) 및/또는 복수 유형의 처리요소를 포함할 수 있음을 이해할 것이다.

예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(Parallel Processor) 와 같은, 다른 처리 구성(Processing configuration)도 가능하다. 소프트웨어는 컴퓨터 프로그램(Computer Program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.

소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody) 될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

1: 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원시스템
10: 입력모듈
11: BTS 네트워크
12: 다시점 스테레오 매칭을 위한 API
13: 컨트롤러
14: 볼륨통합모듈
15: 출력모듈

Claims

입력모듈에 의해 복수의 시점에서 타겟지역을 촬영하여 생성된 적어도 하나 이상의 2차원 위성영상이미지를 획득하는 단계;
BTS(Big to Small) 네트워크에 의해 상기 적어도 하나 이상의 2차원 위성영상이미지 각각에서 상기 타겟지역을 구성하는 구성요소에 대한 높이정보를 획득하고, 상기 높이정보가 반영된 적어도 하나 이상의 높이지도를 생성하는 단계;
다시점 스테레오 매칭을 위한 API에 의해 상기 적어도 하나 이상의 2차원 위성영상이미지 전부를 이용하여 상기 구성요소에 대한 3차원 좌표정보를 획득하고 3차원 형태의 기준 공간지도를 생성하는 단계; 및
컨트롤러에 의해 상기 기준 공간지도를 기준으로 상기 적어도 하나 이상의 높이지도를 3차원 호모그래피(homography) 변환하고, 상기 타겟지역을 구성하는 구성요소의 높낮이정보를 추출하여 3차원 형태의 복원영상이미지를 생성하는 단계를 포함하는,
모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원방법.
제1 항에 있어서,
상기 BTS 네트워크에 의해 타겟지역을 구성하는 구성요소에 대한 높이정보를 획득하고 높이지도를 생성하는 단계는,
상기 BTS 네트워크에 의해 상기 2차원 위성영상이미지에서 상기 타겟지역을 구성하는 구성요소에 대한 픽셀정보를 획득하는 단계;
상기 BTS 네트워크에 의해 상기 픽셀정보를 단안 깊이 추정(monocular height estimation)하여 상기 구성요소에 대한 상기 높이정보를 획득하는 단계; 및
상기 BTS 네트워크에 의해 상기 높이정보에 기초하여 상기 구성요소의 높이를 서로 다른 밝기로 표현하여 상기 높이지도를 생성하는 단계를 포함하는,
모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원방법.
제1 항에 있어서,
상기 다시점 스테레오 매칭을 위한 API에 의해 구성요소에 대한 3차원 좌표정보를 획득하고 3차원 형태의 기준 공간지도를 생성하는 단계는,
상기 다시점 스테레오 매칭을 위한 API에 의해 상기 적어도 하나 이상의 2차원 위성영상이미지 각각에서 상기 구성요소에 대한 픽셀정보를 이용하여 특징점을 추출하는 단계;
상기 다시점 스테레오 매칭을 위한 API에 의해 상기 적어도 하나 이상의 2차원 위성영상이미지 전체에서 추출된 적어도 하나 이상의 상기 특징점을 이용하여 상기 구성요소에 대한 상기 3차원 좌표정보를 획득하는 단계; 및
상기 다시점 스테레오 매칭을 위한 API에 의해 상기 3차원 좌표정보를 이용하여 상기 구성요소를 상기 3차원 형태의 기준 공간지도를 생성하는 단계를 포함하는,
모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원방법.
제1 항에 있어서,
상기 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원방법은,
볼륨통합모듈에 의해 상기 복원영상이미지와 상기 적어도 하나 이상의 2차원 위성영상이미지를 통합하고, 절삭 부호화 거리 함수(Truncated Signed Distance Function)를 이용하여 상기 복원영상이미지의 3차원 볼륨 해상도를 향상시키는 단계를 더 포함하는,
모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원방법.
제3 항에 있어서,
상기 다시점 스테레오 매칭을 위한 API에 의해 구성요소에 대한 3차원 좌표정보를 획득하고 3차원 형태의 기준 공간지도를 생성하는 단계는,
상기 다시점 스테레오 매칭을 위한 API에 의해 상기 타겟지역을 촬영한 위성카메라의 특성인 카메라 파라미터를 획득하는 단계를 더 포함하는,
모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원방법.
제5 항에 있어서,
상기 컨트롤러에 의해 기준 공간지도를 기준으로 상기 적어도 하나 이상의 높이지도를 3차원 호모그래피(homography) 변환하는 단계는,
상기 컨트롤러에 의해 상기 적어도 하나 이상의 높이지도에서 상기 타겟지역에 대한 구성요소와 상기 기준 공간지도에서 상기 높이지도에서 구성요소와 대응하는 구성요소를 서로 매칭하는 단계;
상기 컨트롤러에 의해 상기 매칭된 구성요소에 대한 상기 높이정보와 상기 매칭된 구성요소에 대한 상기 3차원 좌표정보를 특이값 분해(Singular Value Decomposition)하여 상기 3차원 호모그래피 변환을 위한 변환행렬을 추출하는 단계;
상기 컨트롤러에 의해 상기 적어도 하나 이상의 높이지도 각각에 포함된 상기 높이정보에 상기 변환행렬을 곱하여 상기 3차원 호모그래피 변환하는 단계를 포함하는,
모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원방법.
제6 항에 있어서,
상기 컨트롤러에 의해 타겟지역을 구성하는 구성요소의 높낮이정보가 반영된 3차원 형태의 복원영상이미지를 생성하는 단계는,
상기 컨트롤러에 의해 상기 3차원 호모그래피 변환되어 생성된 3차원 형태의 공간지도의 상기 3차원 좌표정보에 상기 카메라 파라미터를 곱하여 상기 타겟지역을 구성하는 구성요소의 상기 높낮이정보를 추출하는 단계; 및
상기 컨트롤러에 의해 상기 높낮이정보가 반영된 상기 구성요소를 이용하여 상기 타겟지역에 대한 상기 복원영상이미지를 생성하는 단계를 더 포함하는,
모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원방법.
복수의 시점에서 타겟지역을 촬영하여 생성된 적어도 하나 이상의 2차원 위성영상이미지를 획득하는 입력부;
상기 적어도 하나 이상의 2차원 위성영상이미지 각각에서 상기 타겟지역을 구성하는 구성요소에 대한 높이정보를 획득하고 상기 높이정보가 반영된 적어도 하나 이상의 높이지도를 생성하는 BTS(Big to Small) 네트워크;
상기 적어도 하나 이상의 2차원 위성영상이미지 전부를 이용하여 상기 구성요소에 대한 3차원 좌표정보를 획득하고 3차원 형태의 기준 공간지도를 생성하는 다시점 스테레오 매칭 API; 및
상기 기준 공간지도를 기준으로 상기 적어도 하나 이상의 높이지도를 3차원 호모그래피(homography) 변환하고, 상기 타겟지역을 구성하는 구성요소의 높낮이정보를 추출하여 3차원 형태의 복원영상이미지를 생성하는 제어부를 포함하는,
모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원시스템.
제8 항에 있어서,
상기 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원시스템은,
상기 적어도 하나 이상의 복원영상이미지와 상기 적어도 하나 이상의 2차원 위성영상이미지를 통합하고, 절삭 부호화 거리 함수(Truncated Signed Distance Function)를 이용하여 상기 구성요소의 3차원 볼륨 해상도를 향상시키는 볼륨통합모듈을 더 포함하는,
상기 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원시스템.
제1 항 내지 제7 항 중 어느 한 항의 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원방법을 실행시키는 프로그램이 기록된 컴퓨터로 판독가능한 기록매체.