KR101771492B1 - 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템 - Google Patents

복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템 Download PDF

Info

Publication number
KR101771492B1
KR101771492B1 KR1020140192665A KR20140192665A KR101771492B1 KR 101771492 B1 KR101771492 B1 KR 101771492B1 KR 1020140192665 A KR1020140192665 A KR 1020140192665A KR 20140192665 A KR20140192665 A KR 20140192665A KR 101771492 B1 KR101771492 B1 KR 101771492B1
Authority
KR
South Korea
Prior art keywords
image
data
mapping
flight path
images
Prior art date
Application number
KR1020140192665A
Other languages
English (en)
Other versions
KR20160082886A (ko
Inventor
이임평
최경아
전의익
Original Assignee
서울시립대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울시립대학교 산학협력단 filed Critical 서울시립대학교 산학협력단
Priority to KR1020140192665A priority Critical patent/KR101771492B1/ko
Publication of KR20160082886A publication Critical patent/KR20160082886A/ko
Application granted granted Critical
Publication of KR101771492B1 publication Critical patent/KR101771492B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/28—Special adaptation for recording picture point data, e.g. for profiles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 본 발명은 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑(mapping) 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 영상 촬영 장치, 위치 센서 및 자세 센서를 포함하는 복수의 센서를 탑재한 무인 비행체를 이용하여, 미리 정해진 매핑 대상 지역에 대한 무인 비행체의 비행 경로를 자동 생성하고, 상기 비행 경로에 따라 무인 비행체를 자동 운항시키면서 상기 매핑 대상 지역에 대한 영상과 위치 및 자세 데이터를 획득한 후, 상기 영상에 대한 영상 매칭과 번들 블록 조정을 통하여 상기 영상에 대한 위치 및 자세 데이터의 정확도를 개선하고, 이를 이용하여 상기 매핑 대상 지역에 대한 공간 정보를 신속하게 생성할 수 있는 매핑 방법 및 시스템에 관한 것이다.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 창안된 것으로, 전문 인력의 도움 없이 적은 비용으로도 신속하게 항공 사진을 취득하고 이를 이용하여 정확한 항공 지도를 제작할 수 있는 긴급 매핑 방법 및 시스템을 제공하는 효과를 갖는다.

Description

복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템 {Method and system for mapping using UAV and multi-sensor}
본 발명은 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑(mapping) 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 영상 촬영 장치, 위치 센서 및 자세 센서를 포함하는 복수의 센서를 탑재한 무인 비행체를 이용하여, 미리 정해진 매핑 대상 지역에 대한 무인 비행체의 비행 경로를 자동 생성하고, 상기 비행 경로에 따라 무인 비행체를 자동 운항시키면서 상기 매핑 대상 지역에 대한 영상과 위치 및 자세 데이터를 획득한 후, 상기 영상에 대한 영상 매칭과 번들 블록 조정을 통하여 상기 영상에 대한 위치 및 자세 데이터의 정확도를 개선하고, 이를 이용하여 상기 매핑 대상 지역에 대한 공간 정보를 신속하게 생성할 수 있는 매핑 방법 및 시스템에 관한 것이다.
최근 들어 전통적인 지도 제작 기법에서 벗어나 항공 촬영을 이용한 지도 제작 기술이 다양하게 활용되고 있다. 이에 대한 예로서, 재해/재난 발생시 그 피해 상황을 신속하게 파악하여 대응 방안을 마련하기 위한 지도 제작에 사용되거나, 행정/군사/보안 목적의 공간 정보를 생성하기 위하여 사용되는 경우 등을 들 수 있다. 항공 촬영을 이용하여 지도를 제작하는 경우, 연직 방향으로 촬영되는 영상을 이용하여 지도를 제작할 수 있고, 또한 GPS 등 좌표 정보나 기타 측정 데이터를 함께 활용할 수 있어, 보다 다양한 용도의 지도를 사실감 있게 제작할 수 있다는 장점을 가진다.
예를 들어, 대한민국 등록특허 제10-1349148호 발명의 명칭 "자동촬영 시스템을 이용한 항공촬영장치" (2014. 1. 2. 등록)에서는 비행선에 탑재된 자동촬영시스템과 GPS를 활용하여 항공 촬영 영상을 신속하게 획득할 수 있는 장치를 개시하고 있다.
그러나, 종래 기술에 따라 항공 촬영 영상을 획득하고 이를 이용하여 지도를 제작함에 있어서는 상당한 시간과 비용이 소모되는 문제가 발생한다. 항공 촬영을 실시하기 위해서는 영상 장비 등을 탑재한 유인 항공기 혹은 무인 항공기를 이용하여 항공 촬영을 실시하여야 하는데, 상기 유인 항공기 혹은 무인 항공기를 정밀하게 운용할 수 있는 전문 인력이 필요하게 되고, 나아가 상기와 같이 촬영된 항공 촬영 영상으로부터 지도 데이터를 도출하기 위해서는, 항공 촬영시에 발생하는 촬영 오차 및 표정 요소(orientation element) 데이터를 보정하는 작업이 필요하게 되므로, 이를 위해서도 항공 촬영 영상을 전문적으로 처리할 수 있는 전문 인력이 필요하게 된다. 이에 따라, 종래 기술에 따라 항공 촬영을 실시하고 이를 이용하여 지도를 제작하기 위해서는 상당한 시간과 비용이 소요되어야 하는 문제가 따랐다.
이에 따라, 특정 지역에 대하여 적은 비용으로도 신속하게 지도를 제작할 수 있는 긴급 매핑(mapping) 시스템에 대한 요구가 제기되고 있다. 예를 들어, 재난/재해 등이 발생하는 경우 항공 촬영을 통하여 재난/재해 지역에 대한 항공 사진을 획득하고 이를 이용하여 지도를 제작함으로써, 재난/재해로 인한 피해 상황을 신속하고 정확하게 파악하고 이를 바탕으로 피해 상황에 적합한 대응 체계를 구축할 수 있는 시스템 등 다양한 긴급 매핑 시스템에 대한 요구가 지속되고 있다.
나아가, 소규모 국지 지역에 대한 고정밀 매핑 시스템에 대한 수요도 지속적으로 제기되고 있다. 예를 들어, 통상적으로 불법 건축물 조사, 지적 경계선의 변화에 대한 조사 등을 위하여 사람이 직접 현장을 방문하여 조사 및 측량하는 방식으로 문제를 해결하고 있으나, 이러한 경우에도 항공 촬영을 이용하여 현장을 매핑하는 경우 보다 효율적으로 문제를 해결할 수 있게 된다.
따라서 상기한 문제들을 해결할 수 있는 매핑 방법 및 시스템에 대한 요구가 지속되고 있으나, 아직 이에 대한 적절한 해결 방안이 제시되지 못하고 있는 실정이다.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 창안된 것으로, 전문 인력의 도움 없이 적은 비용으로도 신속하게 항공 사진을 취득하고 이를 이용하여 정확한 항공 지도를 제작할 수 있는 매핑 방법 및 시스템을 제공하는 것을 목적으로 한다.
상기 과제를 해결하기 위한 본 발명의 한 측면에 따른 매핑 방법은 미리 정해진 매핑(mapping) 대상 지역에 대하여, 영상 촬영 장치, 위치 센서 및 자세 센서를 탑재한 무인 비행체를 이용하여 매핑하는 방법으로서, 매핑 시스템이 상기 무인 비행체의 비행 경로를 생성하는 비행 경로 생성 단계; 상기 무인 비행체를 상기 비행 경로를 따라 비행시키면서 상기 매핑 대상 지역에 대한 복수의 영상과 각 영상에 대한 위치 및 자세 데이터를 취득하는 데이터 취득 단계; 영상 매칭을 통하여 상기 영상과 위치 및 자세 데이터로부터 하나 이상의 공액점을 산출하는 영상 매칭 단계; 상기 공액점과 위치 및 자세 데이터를 이용한 번들 블록 조정을 통하여 상기 영상에 대한 위치 및 자세 데이터를 조정하는 번들 블록 조정 단계; 및 상기 영상과 조정된 위치 및 자세 데이터를 이용하여 상기 매핑 대상 지역에 대한 공간 정보를 생성하는 공간 정보 생성 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 비행 경로 생성 단계는, 매핑에 요구되는 공간 해상도와 상기 영상 촬영 장치의 픽셀 사이즈 및 초점 거리를 이용하여 무인 비행체의 비행 고도를 산출하는 단계; 상기 영상 촬영 장치의 픽셀 개수와 픽셀 크기 및 촬영 영상 간의 중복도, 상기 매핑 대상 지역의 형상을 고려하여 비행 경로의 스트립 수, 스트립당 촬영 영상의 수를 산출하는 단계; 및 상기 비행 고도와 스트립 수, 스트립당 촬영 영상의 수를 고려하여 상기 무인 비행체가 경유하게 되는 하나 이상의 지상점(waypoint)을 선정하는 단계를 포함할 수 있다.
또한, 상기 공간 해상도 및 매핑 대상 지역의 형상을 포함하는 소정의 값을 사용자로부터 입력받은 후, 상기 비행 경로를 자동으로 생성할 수 있다.
또한, 상기 데이터 취득 단계는, 상기 무인 비행체는 상기 비행 경로를 따라 자동으로 운항하면서 상기 매핑 대상 지역에 대한 복수의 영상 및 각 영상에 대한 위치 및 자세 데이터를 취득할 수 있다.
또한, 취득된 상기 복수의 영상과 각 영상에 대한 위치 및 자세 데이터 중 공간 정보를 생성하는데 활용하기 어려운 품질의 영상 및 데이터를 제거하여, 공간 정보에 활용될 데이터를 선별하는 데이터 선별 단계를 더 포함할 수 있다.
또한, 상기 영상 매칭 단계는, 상기 위치 및 자세 데이터를 이용하여 상기 영상에서 공액점을 검색하기 위한 초기 위치를 산정하는 단계; KLT 특징 추적기(Kanade-Lucas-Tomasi feature tracker) 알고리즘을 이용하여 상기 영상에 대한 공액점을 추출하는 단계; 및 상기 추출된 공액점의 정확도를 확인하는 공액점 정확도 확인 단계를 포함할 수 있다.
또한, 상기 공액점 정확도 확인 단계는, 동일한 객체로부터 투영되었다고 인식되는 한 쌍의 영상점에 대하여 상기 영상점과 영상점 주변 영역에 대한 상호 상관 계수(crosscorrelation coefficient)를 계산하여 비교하거나, 한 쌍의 영상에 대하여 KLT 특징 추적기(Kanade-Lucas-Tomasi feature tracker) 알고리즘을 적용하여 추출되는 공액점이 상호 일치하는지 검토하거나, 한 쌍의 영상에 대하여 에피폴라 기하(epipolar geometry)에 의해 하나의 영상에 투영된 객체점이 다른 하나의 영상에서 에피폴라 선(epipolar line) 상에 투영 되는지를 검토하여, 공액점이 정확하게 산출되었는지 여부를 판단할 수 있다.
또한, 상기 공간 정보 생성 단계는, 미리 생성되어 있던 수치 표고 모델을 사용하거나, 밀집 정합(Dense Matching)을 수행하여 수치 표고 모델(Digital Elevation Model)을 생성하지 않고, 지상의 평균 고도 값을 가지는 수치 표고 모델(Digital Elevation Model)을 사용하여 상기 영상과 조정된 위치 및 자세 데이터로부터 공간 정보를 생성할 수 있다.
본 발명의 다른 측면에 따른 매핑 시스템은 미리 정해진 매핑(mapping) 대상 지역에 대하여, 영상 촬영 장치, 위치 센서 및 자세 센서를 탑재한 무인 비행체를 이용하여 매핑하는 시스템으로서, 상기 무인 비행체의 비행 경로를 생성하는 비행 경로 생성부; 상기 무인 비행체를 상기 비행 경로를 따라 스스로 운항하도록 제어하면서 상기 매핑 대상 지역에 대하여 복수의 영상과 각 영상에 대한 위치 및 자세 데이터를 취득하여 저장하는 제어부; 영상 매칭을 통하여 상기 영상과 위치 및 자세 데이터로부터 하나 이상의 공액점을 산출하는 영상 매칭부; 상기 공액점과 위치 및 자세 데이터를 이용한 번들 블록 조정을 통하여 상기 영상에 대한 위치 및 자세 데이터를 조정하는 번들 블록 조정부; 및 상기 영상과 조정된 위치 및 자세 데이터를 이용하여 상기 매핑 대상 지역에 대한 공간 정보를 생성하는 공간 정보 생성부를 포함하는 것을 특징으로 한다.
여기서, 상기 비행 경로 생성부는, 매핑에 요구되는 공간 해상도와 상기 영상 촬영 장치의 픽셀 사이즈, 초점 거리, 픽셀 개수, 픽셀 크기 및 촬영 영상 간의 중복도, 상기 매핑 대상 지역의 형상을 고려하여 상기 무인 비행체의 비행 경로를 자동으로 생성할 수 있다.
또한, 취득된 상기 복수의 영상과 각 영상에 대한 위치 및 자세 데이터 중 공간 정보를 생성하는데 활용하기 어려운 품질의 영상 및 데이터를 제거하여, 공간 정보에 활용될 데이터를 선별하는 데이터 선별부를 더 포함할 수 있다.
또한, 상기 영상 매칭부는, 상기 위치 및 자세 데이터를 이용하여 상기 영상에서 공액점을 검색하기 위한 초기 위치를 산정한 후, KLT 특징 추적기(Kanade-Lucas-Tomasi feature tracker) 알고리즘을 이용하여 상기 영상에 대한 공액점을 추출할 수 있다.
또한, 상기 공간 정보 생성부는, 미리 생성되어 있던 수치 표고 모델(Digital Elevation Model)을 사용하거나, 밀집 정합(Dense Matching)을 수행하여 수치 표고 모델(Digital Elevation Model)을 생성하지 않고, 지상의 평균 고도 값을 가지는 수치 표고 모델(Digital Elevation Model)을 사용하여 상기 영상과 조정된 위치 및 자세 데이터로부터 공간 정보를 생성할 수 있다.
또한, 상기 제어부는 상기 무인 비행체에 탑재되며, 상기 제어부에 저장된 복수의 영상과 각 영상에 대한 위치 및 자세 데이터의 갱신 여부를 판단하여 자동으로 전송받는 통신부를 더 포함할 수 있다.
본 발명에 따르면, 매핑에 요구되는 공간 해상도와 영상 촬영 장치의 픽셀 사이즈, 초점 거리, 픽셀 개수, 픽셀 크기 및 촬영 영상 간의 중복도, 매핑 대상 지역의 형상을 고려하여 무인 비행체의 비행 경로를 자동으로 생성하고, 상기 무인 비행체가 상기 비행 경로를 따라 자동으로 운항하면서 상기 매핑 대상 지역에 대한 영상, 위치 및 자세 데이터를 측정하도록 함으로써, 전문 인력의 도움 없이 적은 비용으로도 신속하게 항공 사진을 취득할 수 있는 매핑 방법 및 시스템을 개시하는 효과를 가진다.
또한, 본 발명에 따르면 매핑 대상 지역에 대한 영상, 위치 및 자세 데이터에 대하여 영상 매칭과 번들 블록 조정을 거쳐 상기 영상에 대한 위치 및 자세 데이터를 조정함으로써, 생성되는 공간 정보의 오차를 보정할 수 있는 매핑 방법 및 시스템을 개시하는 효과를 가진다.
또한, 본 발명에 따르면 미리 생성되어 있던 수치 표고 모델(Digital Elevation Model)을 사용하거나, 밀집 정합(Dense Matching)을 수행하여 수치 표고 모델(Digital Elevation Model)을 생성하지 않고, 지상의 평균 고도 값을 가지는 수치 표고 모델(Digital Elevation Model)을 사용하여 상기 영상과 조정된 위치 및 자세 데이터로부터 공간 정보를 생성함으로써, 보다 신속하게 공간 정보를 생성할 수 있는 매핑 방법 및 시스템을 개시하는 효과를 가진다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명의 일 실시예에 따른 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 비행 경로 생성 단계의 세부 순서도이다.
도 3은 본 발명의 일 실시예에 따른 비행 고도 산출을 위한 설명도이다.
도 4는 본 발명의 일 실시예에 따라 생성된 비행 경로 및 지상점의 예시도이다.
도 5는 본 발명의 일 실시예에 따른 복수의 센서를 탑재한 무인 비행체의 예시도이다.
도 6은 본 발명의 일 실시예에 따른 공액점 정확도 확인 단계의 세부 순서도이다.
도 7은 본 발명의 일 실시예에 따른 번들 블록 조정에 대한 설명도이다.
도 8은 본 발명의 일 실시예에 따른 영상 지오레퍼런싱 모듈의 구성도이다.
도 9는 본 발명의 일 실시예에 따른 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 시스템의 구성도이다.
도 10은 본 발명의 일 실시예에 따라 생성된 비행 경로 및 지상점의 예시도이다.
도 11은 본 발명의 일 실시예에 따라 측정된 무인 비행체의 실제 비행 경로의 예시도이다.
도 12는 본 발명의 일 실시예에 따라 생성된 매핑 대상 지역의 정사 영상의 예시도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.
본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
아래에서는 본 발명의 일 실시예에 따른 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템에 대하여, 첨부된 각 도면을 참조하여 자세하게 검토한다.
먼저, 도 1에서는 본 발명의 일 실시예에 따른 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법을 설명하기 위한 도면을 보여주고 있다. 도 1에서 볼 수 있는 바와 같이 본 발명의 일 실시예에 따른 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법은, 미리 정해진 매핑(mapping) 대상 지역에 대하여, 영상 촬영 장치, 위치 센서 및 자세 센서를 탑재한 무인 비행체를 이용하여 매핑하는 방법으로서, 매핑 시스템이 상기 무인 비행체의 비행 경로를 생성하는 비행 경로 생성 단계(S110), 상기 무인 비행체를 상기 비행 경로를 따라 비행시키면서 상기 매핑 대상 지역에 대한 복수의 영상과 각 영상에 대한 위치 및 자세 데이터를 취득하는 데이터 취득 단계(S120), 취득된 상기 복수의 영상과 각 영상에 대한 위치 및 자세 데이터 중 공간 정보를 생성하는데 사용될 데이터를 선별하는 데이터 선별 단계(S130), 영상 매칭을 통하여 상기 영상과 위치 및 자세 데이터로부터 하나 이상의 공액점을 산출하는 영상 매칭 단계(S140), 상기 공액점과 위치 및 자세 데이터를 이용한 번들 블록 조정을 통하여 상기 영상에 대한 위치 및 자세 데이터를 조정하는 번들 블록 조정 단계(S150) 및 상기 영상과 조정된 위치 및 자세 데이터를 이용하여 상기 매핑 대상 지역에 대한 공간 정보를 생성하는 공간 정보 생성 단계(S160)를 포함하여 구성될 수 있다.
이하, 본 발명의 일 실시예에 따른 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법을 각 단계별로 나누어 자세하게 살핀다.
먼저, 매핑 시스템이 무인 비행체의 비행 경로를 생성하는 비행 경로 생성 단계(S110)에 대하여 검토한다. 본 단계(S110)에서는 매핑 시스템에 무인 비행체가 비행할 경로를 생성하게 된다. 이때, 매핑 시스템은 상기 무인 비행체의 비행 경로를 생성하는데 필요한 공간 해상도와 상기 영상 촬영 장치의 픽셀 사이즈, 초점 거리, 픽셀 개수, 픽셀 크기 및 촬영 영상 간의 중복도, 상기 매핑 대상 지역의 형상 등의 데이터를 사용자로부터 입력받거나, 미리 저장되어 있는 데이터를 사용하거나, 다른 시스템으로부터 전송받는 등 다양한 방법으로 상기 데이터를 획득할 수 있다.
상기와 같이 비행 경로의 생성에 필요한 데이터가 획득된 후에는 상기 획득된 데이터를 이용하여 매핑 대상 지역에 대하여 효과적으로 항공 촬영을 실시할 수 있는 비행 경로를 산출할 수 있다.
본 발명의 일 실시예로서 상기 비행 경로 생성 단계(S110)는 도 2에서 볼
Figure 112014127461426-pat00001
수 있는 바와 같이, 매핑에 요구되는 공간 해상도와 상기 영상 촬영 장치의 픽셀 사이즈 및 초점 거리를 이용하여 무인 비행체의 비행 고도를 산출하는 단계(S112)와 상기 영상 촬영 장치의 픽셀 개수와 픽셀 크기 및 촬영 영상 간의 중복도, 상기 매핑 대상 지역의 형상을 고려하여 비행 경로의 스트립 수, 스트립당 촬영 영상의 수를 산출하는 단계(S114) 및 상기 비행 고도와 스트립 수, 스트립당 촬영 영상의 수를 고려하여 상기 무인 비행체가 경유하게 되는 하나 이상의 지상점(waypoint)을 선정하는 단계(S116)를 포함하여 구성될 수도 있다.
먼저, S112 단계에서 무인 비행체의 비행 고도는 도 3에서 볼 수 있는 바와 같이 아래의 수학식 1을 사용하여 산정될 수 있다.
[수학식 1]
Figure 112014127461426-pat00002
또한, 상기 S114 단계에서 매핑 대상 지역을 포함하는 최소 면적 사각형(Minimum Bounding Rectangles, MBR)의 좌측 하단 좌표(pa1, pa2)와 우측 상단 좌표(pa3, pa4)에 대하여, 스트립의 수 및 스트립당 촬영 영상의 수는 아래의 수학식 2와 같이 산정될 수 있다.
[수학식 2]
Figure 112014127461426-pat00003
Figure 112014127461426-pat00004
여기서,
Figure 112014127461426-pat00005
Figure 112014127461426-pat00006
또한, 상기 S116 단계에서, 무인 비행체가 상기 최소면적사각형(MBR)의 좌측 상단에서 출발한다고 할 때, 첫번째 지상점(waypoint)은 아래의 수학식 3을 사용하여 산정할 수 있다.
[수학식 3]
Figure 112014127461426-pat00007
나아가, 상기 수학식 3에 의한 첫번째 지상점을 기준으로 n번째 스트립, n번째 스트립의 m번째 영상의 위치는 아래의 수학식 4를 사용하여 구할 수 있다.
[수학식 4]
Figure 112014127461426-pat00008
Figure 112014127461426-pat00009
또한, 무인 비행체의 비행 경로를 생성함에 있어서, 반드시 상기 수학식 1 내지 4를 사용하여야 하는 것은 아니며, 상기 수학식 1 내지 4는 본 발명의 일 실시예로서 제시한 내용에 불과하므로, 본 발명이 이에 한정되는 것은 아니다.
나아가, 본 발명의 일 실시예에 따른 매핑 시스템이 상기 공간 해상도 및 매핑 대상 지역의 형상 등을 포함하여 상기 매핑 대상 지역에 대한 매핑을 진행함에 필요한 소정의 값들을 사용자로부터 입력받은 후, 상기 일련의 단계를 거쳐 상기 무인 비행체의 비행 경로를 자동으로 생성하도록 할 수도 있으며, 이를 통하여 전문가의 참여가 없이 적은 비용으로 신속하게 매핑을 진행할 수 있게 된다.
도 4에서는 상기 S110 단계를 거쳐 생성된 비행 경로 및 지상점(waypoint)을 예시하고 있다. 도 4(a)는 공간 해상도가 2cm인 경우이고, 도 4(b)는 공간 해상도가 3cm인 경우이며, 도 4에서 볼 수 있는 바와 같이 공간 해상도가 달라지거나, 또는 영상 촬영 장치의 특성이 달라지거나 촬영 영상 간의 중복도를 조정하거나, 매핑 대상 영역의 형상이 달라지는 경우, 산출되는 비행 경로 및 지상점이 달라질 수 있게 된다.
다음으로, 상기 무인 비행체를 상기 비행 경로를 따라 비행시키면서 상기 매핑 대상 지역에 대한 복수의 영상과 각 영상에 대한 위치 및 자세 데이터를 취득하는 데이터 취득 단계(S120)에 대하여 검토한다. S120 단계에서는 앞선 S110 단계에서 생성된 비행 경로를 이용하여 무인 비행체를 운항시키면서 매핑 대상 지역에 대한 복수의 영상과 각 영상이 촬영되는 시점에서의 영상 촬영 장치의 위치 및 자세를 측정한 데이터를 취득하고 저장하게 된다.
도 5에서는 본 발명의 일 실시예에 따른 무인 비행체(510)와 무인 비행체(510)에 탑재되는 카메라 등 영상 촬영 장비(520) 및 GPS 등 위치 센서(532)와 관성측정장치(Inertial Measurement Unit, IMU) 등 자세 센서(534)를 포함하는 센서 모듈(530), 상기 영상 촬영 장치(520)의 촬영을 제어하고, 촬영된 영상 및 상기 위치 센서(532)와 자세 센서(534) 등 센서 모듈(530)의 측정 데이터를 저장하는 제어 모듈(540)을 도시하고 있다.
앞서 S110 단계에서 생성된 비행 경로는 상기 무인 비행체(510)의 비행을 제어하는데 사용될 수 있으며, 이를 위하여 상기 비행 경로는 상기 무인 비행체(510)에 입력되거나, 또는 상기 제어 모듈(540)에 입력되어 상기 무인 비행체(510)의 비행을 제어하는데 이용될 수 있다.
상기한 바와 같이, 미리 생성된 비행 경로를 사용하여 상기 무인 비행체(510)의 비행을 제어함으로써, 전문가의 도움 없이 상기 무인 비행체(510)를 자동으로 운항하면서 상기 매핑 대상 지역에 대한 복수의 영상 및 각 영상에 대한 위치 및 자세 데이터를 취득할 수 있게 된다.
나아가, 상기 영상 촬영 장치(520)의 동작을 제어함에 있어서는, GPS 등 상기 위치 센서(532)의 측정 데이터를 이용하여 지상점(waypoint) 등 미리 정해진 위치를 기준으로 제어할 수도 있고, 또는 일정한 시간 간격에 따라 주기적으로 영상을 촬영하는 방법으로 제어할 수도 있다.
또한, 영상 촬영 장치(520)의 촬영 시점에 측정된 위치 데이터와 자세 데이터는 상기 영상의 촬영 시점과 동기화되어 저장되게 된다. 이에 따라, 상기 제어 모듈(540)은 상기 촬영된 영상, 위치 데이터 및 자세 데이터를 저장하기 위한 플래쉬 메모리 등 저장 장치를 포함할 수 있다.
상기 저장 장치에 저장된 영상, 위치 데이터 및 자세 데이터는 상기 무인 비행체(510)의 비행이 끝난 후 블루투스 등 무선 통신 또는 유선 통신을 이용하여 지상 시스템으로 전송되어 매핑을 위한 데이터로 사용될 수 있다. 물론, 상기 저장된 영상, 위치 데이터 및 자세 데이터를 반드시 비행이 끝난 후 전송하여야 하는 것은 아니며, 저장 장치의 용량, 무선 통신 가능 거리 등을 고려하여, 상기 무인 비행체(510)의 비행 중간에 전송하도록 할 수도 있다.
이어서, 취득된 상기 복수의 영상과 각 영상에 대한 위치 및 자세 데이터 중 공간 정보를 생성하는데 사용될 데이터를 선별하는 데이터 선별 단계(S130)에 대하여 살핀다. S130 단계에서는 앞서 취득된 복수의 영상 및 각 영상에 대한 위치 및 자세 데이터의 품질을 검토하여 공간 정보 생성을 위하여 활용하기 어려운 품질을 가지는 데이터를 제거하고, 일정 이상의 품질을 가지는 데이터를 선별하게 된다. 예를 들어, 영상이 흐리게 촬영된(blur) 경우라던가, 무인 비행체(510)가 수직 이동(이착륙 등) 중인 경우 취득한 데이터, 무인 비행체(510)가 스트립 간의 이동 중 취득된 데이터 등을 제거하여 공간 정보 생성에 사용될 데이터를 선별하게 된다.
다음으로, 영상 매칭을 통하여 상기 영상과 위치 및 자세 데이터로부터 하나 이상의 공액점을 산출하는 영상 매칭 단계(S140)에 대하여 살핀다. S140 단계에서는 상기한 일련의 단계에서 촬영된 영상과 위치 및 자세 데이터를 이용하여 각 영상에 대한 공액점(conjugate point)을 생성하게 된다.
영상 매칭에서는 여러 장의 영상에서 동일한 객체를 나타내는 공액점의 쌍을 찾아 추출하게 된다. 이때, 본 발명의 일 실시예로서 KLT 특징 추적기(Kanade-Lucas-Tomasi feature tracker) 알고리즘을 사용하여 영상 매칭을 수행하고, 나아가 각 영상에 대하여 측정된 위치 데이터 및 자세 데이터를 이용하여 영상에서 공액점을 검색하는 초기 위치로 산정함으로써, 보다 신속하게 공간 정보를 생성할 수 있게 된다.
KLT 특징 추적기 알고리즘은 한 영상에서 다른 영역에 비해 식별하기 좋은 특징점을 추출하고, 추출된 특징점과 유사한 특성을 가지는 영역을 다른 영상에서 찾아내는 알고리즘으로, 두 영상에서 같은 객체에서 투영된 점을 추출하게 된다. 그러나, 상기 두 영상 간의 이동량이 클 때에는 KLT 특징 추적기 알고리즘의 성능이 떨어질 수 있는데, 상기와 같이 위치 데이터 및 자세 데이터를 함께 고려함으로써, KLT 특징 추적기 알고리즘의 약점을 보완함과 함께 영상 매칭 알고리즘의 수행 속도를 개선할 수 있게 된다.
이에 따라, 상기 KLT 특징 추적기 알고리즘은 영상 촬영 장치에서의 투영의 중심, 투영된 영상점과 지상점이 한 직선을 이룬다는 공선조건식(collinearity equation)과 위치 센서 및 자세 센서로부터 취득한 영상의 외부 표정 요소(위치 데이터 및 자세 데이터)를 이용하여 영상 A에서 추출한 특징점이 영상 B에서 투영될 위치를 추정하고, 이것을 영상 B에서 영상 A의 특징점을 검색하는 초기 위치로 활용하게 된다.
나아가, 상기와 같이 추출된 공액점들은 번들 블록 조정에서 입력 데이터로 사용되므로, 보다 높은 정확도를 가지는 것이 바람직하게 된다. 이에 따라, 상기 공액점들이 정확하게 추출된 것인지 확인하는 단계를 거치도록 할 수 있다.
이에 따라, 도 6에서는 본 발명의 일 실시예에 따라 추출된 공액점들이 정확하게 산출된 것인지 여부를 판단하는 방법의 순서도가 예시되고 있다. 도 6에서 볼 수 있는 바와 같이, 상기 단계는 동일한 객체로부터 투영되었다고 인식되는 한 쌍의 영상점에 대하여 상기 영상점과 영상점 주변 영역에 대한 상호 상관 계수(crosscorrelation coefficient)를 계산하여 비교하는 단계(S142), 한 쌍의 영상에 대하여 KLT 특징 추적기(Kanade-Lucas-Tomasi feature tracker) 알고리즘을 적용하여 추출되는 공액점이 상호 일치하는지 검토하는 단계(S144) 및 한 쌍의 영상에 대하여 에피폴라 기하(epipolar geometry)에 의해 하나의 영상에 투영된 객체점이 다른 하나의 영상에서 에피폴라 선(epipolar line) 상에 투영 되는지를 검토하는 단계(S146)를 포함할 수 있다.
그러나, 상기한 각 S142 ~ S146 단계는 공액점의 정확성을 판단하기 위한 다양한 방법들에 해당하므로, 반드시 상기 도 6과 같이 모든 단계를 거쳐야 하는 것은 아니며, 상기 S142 ~ S146 단계의 하나 혹은 두 단계만을 거치도록 구성할 수도 있다.
다음으로, 상기 공액점과 위치 및 자세 데이터를 이용한 번들 블록 조정을 통하여 상기 영상에 대한 위치 및 자세 데이터를 조정하는 번들 블록 조정 단계(S150)에 대하여 검토한다. S150 단계에서는 앞서 일련의 단계를 거쳐 생성된 공액점과 외부 표정 요소(위치 데이터 및 자세 데이터)를 이용하여 번들 블록 조정을 거침으로써 각 영상에 대한 외부 표정 요소를 조정하여 그 정확도를 개선하게 된다.
상기 번들 블록 조정에서는 도 7에서 볼 수 있는 바와 같이 매핑 대상 지역에 대한 다수의 영상으로부터 공액점을 추출하고, 매핑 대상 지역에 대해 소수의 기준 데이터를 사용하여 각 영상의 외부 표정 요소와 공액점에 상응하는 지상점의 좌표를 결정하게 된다.
여기서 번들이라 함은 영상점과 투영의 중심, 지상점을 연결하는 광선의 집합이며, 상기 번들 블록 조정이라함은 취득된 영상 간의 동일한 지상점으로부터 투영된 영상점을 이용하여 번들을 일괄적으로 조정함으로써 영상의 외부 표정 요소와 지상점을 결정하는 방법을 말한다.
번들 블록 조정의 수학적 모델은 영상점과 카메라 등 영상 촬영 장치의 주점, 영상점에 상응하는 지상점이 한 직선위에 존재한다는 공선조건식에 기반하며, 아래의 수학식 5와 같이 j(j = 1, 2, ..., m)번째 영상 상의 i( i = 1, 2, ..., n)번째 지상점에 대한 영상점 (
Figure 112014127461426-pat00010
)에 대한 함수로 표현될 수 있다. M은 블록에 포함된 총 영상의 개수, n은 지상점의 총 개수, EO j 와 X i , Y i , Z i 는 각각 j번째 영상의 외부 표정 요소와 i번째 지상점 좌표를 의미한다.
[수학식 6]
Figure 112014127461426-pat00011
상기 수학식 6으로 표현된 공선조건식에서 관측값은 영상점이며, 미지수는 외부 표정 요소와 지상점 좌표가 되고, 관측값과 미지수 간의 관계는 비선형 특성을 가지게 된다. 따라서, 관측값과 미지수 간의 간계를 테일러 급수(Taylor series) 전개를 이용하여 선형화시켜 가우스-마르코프(Gauss-Markov) 모델로 표현할 수 있다. 이어서 최소제곱법을 적용하여 정규행렬식을 도출한 후 영상의 외부 표정 요소와 지상점 좌표를 산출할 수 있게 된다.
나아가, 본 발명의 일 실시예로서 공간 정보를 보다 고속으로 생성하기 위하여, 지상기준점을 사용하는 대신 상기 위치 센서와 자세 센서의 측정 데이터로부터 산출되는 영상의 초기 외부 표정 요소를 확률제약조건으로 활용하고, 연속 조정에 기반하여 번들 블록 조정을 자동으로 수행함으로써 고속으로 상기 매핑 대상 지역의 공간 정보를 산출하도록 할 수 있다.
또한 본 발명의 일 실시예로서, 도 8에서 볼 수 있는 바와 같이, 상기 S140 단계에서의 영상 매칭 과정과 S150 단계에서의 번들 블록 조정 과정을 하나의 소프트웨어 모듈로 묶어 영상 지오레퍼런싱 모듈로 구성할 수도 있다.
이때, 영상 지오레퍼런싱 모듈은 크게 영상 매칭(P1M) 모듈과 번들 블록 조정(P1A) 모듈로 구분할 수 있다. 여기서, 영상 매칭(P1M) 모듈은 영상과 GPS 등 위치 센서 데이터, 관성측정장치(IMU) 등 자세 센서 데이터로부터 공액점을 추출하게 되고, 번들 블록 조정(P1A) 모듈은 GPS 등 위치 센서 데이터, 관성측정장치(IMU) 등 자세 센서 데이터 및 공액점으로부터 영상이 획득된 순간의 위치 및 자세 데이터를 정밀하게 조정하여 출력하게 된다.
마지막으로, 상기 영상과 조정된 위치 및 자세 데이터를 이용하여 상기 매핑 대상 지역에 대한 공간 정보를 생성하는 공간 정보 생성 단계(S160)에서는 앞서 일련의 단계를 통하여 취득된 촬영 영상 및 외부 표정 요소(위치 데이터 및 자세 데이터)를 이용하여 매핑 대상 지역에 대한 수치표고모델(Digital Elevation Medel, DEM), 정사 영상(Orthophotograph) 등 3차원 공간 정보를 생성하게 된다.
여기서, 수치표고모델(DEM)은 지형의 고도를 나타내는 모델로서, 매핑 대상 지역에 대해 일정한 간격의 격자나 불규칙 삼각망 구조에 각 셀이나 점에 고도값을 할당한 모델을 말하며, 또한 정사 영상이라 함은 항공 촬영 등 중심투영(central projection)으로 취득된 영상에 대한 변환 등을 거쳐 정사 투영(orthogonal projection)된 영상을 말한다. 항공 촬영 등 중심 투영으로 취득된 영상에는 건물 또는 지형의 기복으로 인한 기하학적 왜곡이 포함될 수 있으므로, 정사 영상으로 변환함으로써 왜곡을 제거할 수 있게 된다.
이에 따라, 종래에는 항공 촬영 영상으로부터 지도를 생성하기 위하여 밀집 정합(Dense matching)을 거쳐 수치표고모델(DEM)을 생성한 후, 이를 이용하여 정사 영상을 생성하여 지도를 제작하였으나, 상기 밀집 정합을 거쳐 수치표고모델을 생성하는 데에는 상당히 많은 시간과 전산 자원이 소모되게 된다.
이에 따라, 본 발명의 일 실시예로서는 기존에 이미 수치 표고 모델(Digital Elevation Model)을 생성한 이력이 있는 경우 이를 사용하거나 혹은 타인이 생성한 수치 표고 모델이 있는 경우 이를 사용하는 등 미리 생성되어 있던 수치 표고 모델을 사용하거나, 또는 상기 밀집 정합(Dense Matching)을 수행하여 수치 표고 모델을 생성하지 않고, 지상의 평균 고도 값을 가지는 수치 표고 모델(Digital Elevation Model)을 사용하여 상기 영상과 조정된 위치 및 자세 데이터로부터 공간 정보를 생성함으로써, 신속하게 공간 정보를 도출할 수 있게 된다.
도 9에서는 본 발명의 다른 측면에 따른 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 시스템(900)의 구성도를 예시하고 있다. 도 9에서 볼 수 있는 바와 같이 본 발명의 다른 측면에 따른 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 시스템(900)은 상기 무인 비행체의 비행 경로를 생성하는 비행 경로 생성부(910), 상기 무인 비행체를 상기 비행 경로를 따라 스스로 운항하도록 제어하면서 상기 매핑 대상 지역에 대하여 복수의 영상과 각 영상에 대한 위치 및 자세 데이터를 취득하여 저장하는 제어부(920), 영상 매칭을 통하여 상기 영상과 위치 및 자세 데이터로부터 하나 이상의 공액점을 산출하는 영상 매칭부(930), 상기 공액점과 위치 및 자세 데이터를 이용한 번들 블록 조정을 통하여 상기 영상에 대한 위치 및 자세 데이터를 조정하는 번들 블록 조정부(940) 및 상기 영상과 조정된 위치 및 자세 데이터를 이용하여 상기 매핑 대상 지역에 대한 공간 정보를 생성하는 공간 정보 생성부(950)를 포함하여 구성될 수 있으며, 취득된 상기 복수의 영상과 각 영상에 대한 위치 및 자세 데이터 중 공간 정보를 생성하는데 활용하기 어려운 품질의 영상 및 데이터를 제거하여, 공간 정보에 활용될 데이터를 선별하는 데이터 선별부(960)를 더 포함할 수도 있다.
이때, 본 발명의 일 실시예에 따른 상기 비행 경로 생성부(910)는 매핑에 요구되는 공간 해상도와 상기 영상 촬영 장치의 픽셀 사이즈, 초점 거리, 픽셀 개수, 픽셀 크기 및 촬영 영상 간의 중복도, 상기 매핑 대상 지역의 형상을 고려하여 상기 무인 비행체의 비행 경로를 자동으로 생성함으로써, 보다 신속하게 상기 매핑 대상 지역에 대한 촬영 영상과 상기 영상에 대한 외부 표정 요소 데이터를 획득할 수 있게 된다.
또한, 상기 영상 매칭부(930)는 상기 위치 및 자세 데이터를 이용하여 상기 영상에서 공액점을 검색하기 위한 초기 위치를 산정한 후, KLT 특징 추적기(Kanade-Lucas-Tomasi feature tracker) 알고리즘을 이용하여 상기 영상에 대한 공액점을 추출할 수 있고, 상기 공간 정보 생성부(950)는 미리 생성되어 있던 수치 표고 모델(Digital Elevation Model)을 사용하거나, 밀집 정합(Dense Matching)을 수행하여 수치 표고 모델을 생성하지 않고, 지상의 평균 고도 값을 가지는 수치 표고 모델(Digital Elevation Model)을 사용하여 상기 영상과 조정된 위치 및 자세 데이터로부터 공간 정보를 생성함으로써, 전문가의 도움 없이도 신속하게 상기 매칭 대상 지역에 대한 공간 정보를 생성할 수 있게 된다.
나아가, 상기 제어부(920)는 상기 무인 비행체에 탑재되며, 상기 제어부(920)에 저장된 복수의 영상과 각 영상에 대한 위치 및 자세 데이터의 갱신 여부를 판단하여 자동으로 전송받는 통신부(960)가 더 포함되어, 상기 제어부의 저장 장치에 저장된 촬영 영상이나 위치 데이터 및 자세 데이터가 갱신된 경우 이를 자동으로 전송받을 수도 있게 된다.
또한, 데이터 선별부(960)에서는 상기 제어부(920)로부터 전송받는 복수의 영상과 각 영상에 대한 위치 및 자세 데이터 중 공간 정보를 생성하는데 사용될 데이터를 선별하게 된다. 즉, 데이터 선별부(960)에서는 상기 제어부(920)로부터 전송받은 복수의 영상 및 각 영상에 대한 위치 및 자세 데이터의 품질을 검토하여 공간 정보 생성을 위하여 활용하기 어려운 품질을 가지는 데이터를 제거하고, 일정 이상의 품질을 가지는 데이터를 선별한다. 예를 들어, 영상이 흐리게 촬영된(blur) 경우라던가, 무인 비행체(510)가 수직 이동(이착륙 등) 중인 경우 취득한 데이터, 무인 비행체(510)가 스트립 간의 이동 중 취득된 데이터 등을 제거하여 공간 정보 생성에 사용될 데이터를 선별하게 된다.
이하에서는 본 발명을 검증하기 위하여 실시한 실험예에 대하여 설명한다.
도 10에서는 본 발명의 일 실시예에 따라 생성한 매핑 대상 지역에 대한 비행 경로 및 지상점의 예시도이다. 이때 상기 매핑 대상 지역의 면적은 약 340m x 300m 이었으며, 주거지역 및 농경 지역으로 구성되어 있다. 매핑에 필요한 공간 해상도는 3cm로 설정하였으며, 이에 따라 비행 고도는 150m, 비행 속도는 무인 항공기의 성능을 고려하여 6m/s로 비행 계획을 수립하였다.
도 11에서는 생성된 비행 경로를 사용한 경우의 실제 비행 경로를 보여주고 있다. 주변 환경의 영향 등으로 인하여 예정된 비행 경로와 다소 차이를 보인다는 것을 확인할 수 있으며, 상기 비행을 통하여 총 150장의 영상을 획득하였다. 이어서, 상기 150 장의 영상 중 무인 비행체의 이착륙시 영상 등 불필요한 영상을 제외한 82장의 영상을 이용하여 공간 정보를 생성하였다. 도 12에서는 상기 비행을 통하여 획득된 촬영 영상, 위치 데이터 및 자세 데이터로부터 산출된 정사 영상을 보여주고 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
510 : 무인 비행체
520 : 영상 촬영 장치
530 : 센서 모듈
532 : 위치 센서(532)
534 : 자세 센서(534)
540 : 제어 모듈
900 : 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 시스템
910 : 비행 경로 생성부
920 : 제어부
930 : 영상 매칭부
940 : 번들 블록 조정부
950 : 공간 정보 생성부
960 : 통신부

Claims (14)

  1. 미리 정해진 매핑(mapping) 대상 지역에 대하여, 영상 촬영 장치, 위치 센서 및 자세 센서를 탑재한 무인 비행체를 이용하여 매핑하는 방법으로서,
    매핑 시스템이 상기 무인 비행체의 비행 경로를 생성하는 비행 경로 생성 단계;
    상기 무인 비행체를 상기 비행 경로를 따라 비행시키면서 상기 매핑 대상 지역에 대한 복수의 영상과 각 영상에 대한 위치 및 자세 데이터를 취득하는 데이터 취득 단계;
    영상 매칭을 통하여 상기 영상과 위치 및 자세 데이터로부터 하나 이상의 공액점을 산출하는 영상 매칭 단계;
    상기 공액점과 위치 및 자세 데이터를 이용한 번들 블록 조정을 통하여 상기 영상에 대한 위치 및 자세 데이터를 조정하는 번들 블록 조정 단계; 및
    상기 영상과 조정된 위치 및 자세 데이터를 이용하여 상기 매핑 대상 지역에 대한 공간 정보를 생성하는 공간 정보 생성 단계를 포함하며,
    상기 비행 경로 생성 단계는,
    매핑에 요구되는 공간 해상도와 상기 영상 촬영 장치의 픽셀 크기 및 초점 거리를 이용하여 무인 비행체의 비행 고도를 산출하는 단계;
    상기 영상 촬영 장치의 촬영 센서면의 크기, 촬영 영상 간의 중복도 및 상기 매핑 대상 지역의 형상을 고려하여 비행 경로의 스트립 수 및 스트립당 촬영 영상의 수를 산출하는 단계; 및
    상기 비행 고도와 상기 스트립 수 및 스트립당 촬영 영상의 수를 고려하여 상기 무인 비행체가 경유하게 되는 하나 이상의 지상점(waypoint)을 선정하는 단계를 포함하는 것을 특징으로 하는 매핑 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 공간 해상도 및 매핑 대상 지역의 형상을 포함하는 소정의 값을 사용자로부터 입력받은 후, 상기 비행 경로를 자동으로 생성하는 것을 특징으로 하는 매핑 방법.
  4. 제1항에 있어서,
    상기 데이터 취득 단계는,
    상기 무인 비행체는 상기 비행 경로를 따라 자동으로 운항하면서 상기 매핑 대상 지역에 대한 복수의 영상 및 각 영상에 대한 위치 및 자세 데이터를 취득하는 것을 특징으로 하는 매핑 방법.
  5. 제1항에 있어서,
    취득된 상기 복수의 영상과 각 영상에 대한 위치 및 자세 데이터 중 공간 정보를 생성하는데 활용하기 어려운 품질의 영상 및 데이터를 제거하여, 공간 정보에 활용될 데이터를 선별하는 데이터 선별 단계를 더 포함하는 것을 특징으로 하는 매핑 방법.
  6. 제1항에 있어서,
    상기 영상 매칭 단계는,
    상기 위치 및 자세 데이터를 이용하여 상기 영상에서 공액점을 검색하기 위한 초기 위치를 산정하는 단계;
    KLT 특징 추적기(Kanade-Lucas-Tomasi feature tracker) 알고리즘을 이용하여 상기 영상에 대한 공액점을 추출하는 단계; 및
    상기 추출된 공액점의 정확도를 확인하는 공액점 정확도 확인 단계를 포함하는 것을 특징으로 하는 매핑 방법.
  7. 제6항에 있어서,
    상기 공액점 정확도 확인 단계는,
    동일한 객체로부터 투영되었다고 인식되는 한 쌍의 영상점에 대하여 상기 영상점과 영상점 주변 영역에 대한 상호 상관 계수(crosscorrelation coefficient)를 계산하여 비교하거나,
    한 쌍의 영상에 대하여 KLT 특징 추적기(Kanade-Lucas-Tomasi feature tracker) 알고리즘을 적용하여 추출되는 공액점이 상호 일치하는지 검토하거나,
    한 쌍의 영상에 대하여 에피폴라 기하(epipolar geometry)에 의해 하나의 영상에 투영된 객체점이 다른 하나의 영상에서 에피폴라 선(epipolar line) 상에 투영 되는지를 검토하여,
    공액점이 정확하게 산출되었는지 여부를 판단하는 것을 특징으로 하는 매핑 방법.
  8. 제1항에 있어서,
    상기 공간 정보 생성 단계는,
    미리 생성되어 있던 수치 표고 모델(Digital Elevation Model)을 사용하거나,
    밀집 정합(Dense Matching)을 수행하여 수치 표고 모델을 생성하지 않고, 지상의 평균 고도 값을 가지는 수치 표고 모델(Digital Elevation Model)을 사용하여 상기 영상과 조정된 위치 및 자세 데이터로부터 공간 정보를 생성하는 것을 특징으로 하는 매핑 방법.
  9. 미리 정해진 매핑(mapping) 대상 지역에 대하여, 영상 촬영 장치, 위치 센서 및 자세 센서를 탑재한 무인 비행체를 이용하여 매핑하는 시스템으로서,
    매핑에 요구되는 공간 해상도와 상기 영상 촬영 장치의 픽셀 크기 및 초점 거리를 이용하여 무인 비행체의 비행 고도를 산출하고, 상기 영상 촬영 장치의 촬영 센서면의 크기, 촬영 영상 간의 중복도 및 상기 매핑 대상 지역의 형상을 고려하여 비행 경로의 스트립 수 및 스트립당 촬영 영상의 수를 산출하며, 상기 비행 고도와 스트립 수 및 스트립당 촬영 영상의 수를 고려하여 상기 무인 비행체가 경유하게 되는 하나 이상의 지상점(waypoint)을 선정하고 이를 기초로 상기 무인 비행체의 비행 경로를 생성하는 비행 경로 생성부;
    상기 무인 비행체를 상기 비행 경로를 따라 스스로 운항하도록 제어하면서 상기 매핑 대상 지역에 대하여 복수의 영상과 각 영상에 대한 위치 및 자세 데이터를 생성하여 저장하는 제어부;
    영상 매칭을 통하여 상기 영상과 위치 및 자세 데이터로부터 하나 이상의 공액점을 산출하는 영상 매칭부;
    상기 공액점과 위치 및 자세 데이터를 이용한 번들 블록 조정을 통하여 상기 영상에 대한 위치 및 자세 데이터를 조정하는 번들 블록 조정부; 및
    상기 영상과 조정된 위치 및 자세 데이터를 이용하여 상기 매핑 대상 지역에 대한 공간 정보를 생성하는 공간 정보 생성부를 포함하는 것을 특징으로 하는 매핑 시스템.
  10. 삭제
  11. 제9항에 있어서,
    취득된 상기 복수의 영상과 각 영상에 대한 위치 및 자세 데이터 중 공간 정보를 생성하는데 활용하기 어려운 품질의 영상 및 데이터를 제거하여, 공간 정보에 활용될 데이터를 선별하는 데이터 선별부를 더 포함하는 것을 특징으로 하는 매핑 시스템.
  12. 제9항에 있어서,
    상기 영상 매칭부는,
    상기 위치 및 자세 데이터를 이용하여 상기 영상에서 공액점을 검색하기 위한 초기 위치를 산정한 후, KLT 특징 추적기(Kanade-Lucas-Tomasi feature tracker) 알고리즘을 이용하여 상기 영상에 대한 공액점을 추출하는 것을 특징으로 하는 매핑 시스템.
  13. 제9항에 있어서,
    상기 공간 정보 생성부는,
    미리 생성되어 있던 수치 표고 모델(Digital Elevation Model)을 사용하거나,
    밀집 정합(Dense Matching)을 수행하여 수치 표고 모델을 생성하지 않고, 지상의 평균 고도 값을 가지는 수치 표고 모델(Digital Elevation Model)을 사용하여,
    상기 영상과 조정된 위치 및 자세 데이터로부터 공간 정보를 생성하는 것을 특징으로 하는 매핑 시스템.
  14. 제9항에 있어서,
    상기 제어부는 상기 무인 비행체에 탑재되며,
    상기 제어부에 저장된 복수의 영상과 각 영상에 대한 위치 및 자세 데이터의 갱신 여부를 판단하여 자동으로 전송받는 통신부를 더 포함하는 것을 특징으로 하는 매핑 시스템.
KR1020140192665A 2014-12-29 2014-12-29 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템 KR101771492B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140192665A KR101771492B1 (ko) 2014-12-29 2014-12-29 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140192665A KR101771492B1 (ko) 2014-12-29 2014-12-29 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20160082886A KR20160082886A (ko) 2016-07-11
KR101771492B1 true KR101771492B1 (ko) 2017-08-28

Family

ID=56499515

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140192665A KR101771492B1 (ko) 2014-12-29 2014-12-29 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101771492B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200017178A (ko) * 2018-08-08 2020-02-18 한국로봇융합연구원 재난 현장 맵의 업데이트 수행이 가능한 재난 대응 로봇 및 관제 장치

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108351651B (zh) * 2016-09-27 2024-06-21 深圳市大疆创新科技有限公司 一种基于影像的控制方法、装置及飞行器
KR102107465B1 (ko) * 2018-09-12 2020-05-07 남서울대학교 산학협력단 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 제작 방법
CN110351478A (zh) * 2019-05-21 2019-10-18 江苏看见云软件科技有限公司 一种处理违章信息的无人机采集传输***
CN111246098B (zh) * 2020-01-19 2022-02-22 深圳市人工智能与机器人研究院 机器人拍照方法、装置、计算机设备和存储介质
KR102372446B1 (ko) * 2020-08-13 2022-03-11 동아대학교 산학협력단 무인비행체와 가상 수상 기준점을 활용한 수위 측정 및 3차원 수면 공간정보 생성 방법
KR102544043B1 (ko) * 2021-04-01 2023-06-15 네이버랩스 주식회사 드론 영상을 활용한 항공지도의 업데이트 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100678395B1 (ko) * 2006-06-22 2007-02-02 대원지리정보(주) 위성영상과 항공영상을 이용한 지리정보 데이터의 실시간위치보정 시스템 및 그 방법
WO2012044297A1 (en) * 2010-09-30 2012-04-05 Empire Technology Development Llc Automatic flight control for uav based solid modeling

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100678395B1 (ko) * 2006-06-22 2007-02-02 대원지리정보(주) 위성영상과 항공영상을 이용한 지리정보 데이터의 실시간위치보정 시스템 및 그 방법
WO2012044297A1 (en) * 2010-09-30 2012-04-05 Empire Technology Development Llc Automatic flight control for uav based solid modeling

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200017178A (ko) * 2018-08-08 2020-02-18 한국로봇융합연구원 재난 현장 맵의 업데이트 수행이 가능한 재난 대응 로봇 및 관제 장치
KR102165156B1 (ko) * 2018-08-08 2020-10-13 한국로봇융합연구원 재난 현장 맵의 업데이트 수행이 가능한 재난 대응 로봇 및 관제 장치

Also Published As

Publication number Publication date
KR20160082886A (ko) 2016-07-11

Similar Documents

Publication Publication Date Title
KR101771492B1 (ko) 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템
KR102001728B1 (ko) 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
CN108230379B (zh) 用于融合点云数据的方法和装置
US20210012520A1 (en) Distance measuring method and device
Vallet et al. Photogrammetric performance of an ultra light weight swinglet UAV
KR102067136B1 (ko) 맵핑드론을 이용한 건설공사 관리 시스템
KR102007567B1 (ko) 스테레오 드론 및 이를 이용하는 무기준점 토공량 산출 방법과 시스템
KR100647807B1 (ko) 그림자 분석을 통한 3차원 건물정보 추출방법
KR102195179B1 (ko) 항공사진을 이용한 정사영상 구축방법
KR102203135B1 (ko) 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템
JP5389964B2 (ja) 地図情報生成装置
Adams et al. Unmanned aerial vehicle data acquisition for damage assessment in hurricane events
Ahmad et al. Digital aerial imagery of unmanned aerial vehicle for various applications
EP3734394A1 (en) Sensor fusion using inertial and image sensors
KR101160454B1 (ko) 무인항공기의 자세 제어를 이용한 3ｄ 공간정보구축 방법
JP2006027448A (ja) 無人飛行体を利用した空撮方法及びその装置
JP2006027331A (ja) 無人飛行体を利用した航空映像情報の収集方法
KR102313178B1 (ko) 드론을 이용한 지반침하 계측방법
JP2017201261A (ja) 形状情報生成システム
US20210264666A1 (en) Method for obtaining photogrammetric data using a layered approach
US9816786B2 (en) Method for automatically generating a three-dimensional reference model as terrain information for an imaging device
Lagüela et al. Aerial oblique thermographic imagery for the generation of building 3D models to complement Geographic Information Systems
RU2584368C1 (ru) Способ определения контрольных значений параметров пространственно-угловой ориентации самолёта на трассах и приаэродромных зонах при лётных испытаниях пилотажно-навигационного оборудования и система для его осуществления
JP3808833B2 (ja) 空中写真測量方法
JP2011169658A (ja) 撮影位置特定装置および撮影位置特定方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant