KR102610989B1 - 위성영상을 이용한 수치표면모델 생성 방법 및 장치 - Google Patents

위성영상을 이용한 수치표면모델 생성 방법 및 장치 Download PDF

Info

Publication number
KR102610989B1
KR102610989B1 KR1020190175224A KR20190175224A KR102610989B1 KR 102610989 B1 KR102610989 B1 KR 102610989B1 KR 1020190175224 A KR1020190175224 A KR 1020190175224A KR 20190175224 A KR20190175224 A KR 20190175224A KR 102610989 B1 KR102610989 B1 KR 102610989B1
Authority
KR
South Korea
Prior art keywords
altitude
surface model
area
digital surface
generating
Prior art date
Application number
KR1020190175224A
Other languages
English (en)
Other versions
KR20210082857A (ko
Inventor
유정재
강경규
김혜선
박창준
반윤지
유동완
이만희
추창우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020190175224A priority Critical patent/KR102610989B1/ko
Priority to US17/133,807 priority patent/US20210201570A1/en
Publication of KR20210082857A publication Critical patent/KR20210082857A/ko
Application granted granted Critical
Publication of KR102610989B1 publication Critical patent/KR102610989B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G06T5/002—
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

위성영상을 이용한 수치표면모델 생성 방법 및 장치가 개시된다. 본 발명의 일실시예에 따른 위성영상을 이용한 수치표면모델 생성 방법은 입력받은 위성영상의 기하오차를 보정하는 단계, 보정된 상기 위성영상에 기반하여 스테레오 매칭 방식으로 하나 이상의 깊이지도를 생성하는 단계 및 생성된 상기 깊이지도를 융합하고, 지면의 위치별로 고도값을 추정하여 수치표면모델을 생성하는 단계를 포함한다.

Description

위성영상을 이용한 수치표면모델 생성 방법 및 장치{METHOD AND APPARATUS OF GENERATING DIGITAL SURFACE MODEL USING SATELLITE IMAGERY}
본 발명은 위성영상을 이용한 수치표면모델 생성 방법 및 장치에 관한 것으로써, 광학 위성영상을 입력으로, 영상처리를 통하여 지표면의 고도값을 추정하고, 수치표면모델(DSM, Digital Surface Model)을 생성하는 기술에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
통상적으로 수치표고모델(DEM, Digital Elevation Model)은 건물과 같은 지상구조물을 제거하고, 격자 위치별로 지형 고도값만을 표현하며, 수치표면모델(DSM, Digital Surface Model)은 건물과 같은 지상 구조물을 포함하여 지표면의 위치별 고도값을 표현한다.
이러한 수치표고모델과 수치표면모델은 라이다(LiDAR)와 같은 장비를 이용하여 획득한 깊이정보를 이용하여 생성하거나, 항공영상, 광학 위성영상을 입력으로 사진기하학에 기반하여 깊이정보를 추정하여 생성할 수도 있다.
광학 위성영상으로부터 수치표면모델을 생성하는 전통적인 방법은 스테레오 매칭을 염두해두고 촬영된 스테레오 위성영상을 이용하는 방식이다. 스테레오 위성영상을 입력으로 스테레오 매칭을 수행하면 깊이정보를 추정할 수 있으며, 이러한 깊이값을 공간 좌표계로 변환하고 후처리를 거쳐서 수치표면모델을 생성할 수 있다.
동일지역에 대하여 여러장의 스테레오 위성영상을 입력받을 경우, 각각의 쌍 영상을 입력으로 깊이지도를 생성하고, 상기 여러장의 깊이지도를 공간 좌표계에서 융합하여 수치표면모델을 생성할 수도 있다.
그러나, 스테레오 위성영상은 촬영 비용이 상대적으로 높으며, 기존 위성영상이 누적된 아카이브 DB에서 그 비율 또한 모노 영상에 비하여 매우 적다는 문제점이 있어, 스테레오 위성 영상이 아니라 동일 지역에 대하여 독립적으로 촬영된 모노 위성영상들을 입력으로 수치표면모델을 생성하는 기술의 필요성이 대두되고 있다.
한국등록특허 제10-1006729호, 2010년 12월 31일 등록(명칭: 수치 표고모델 제작 방법 및 시스템)
본 발명의 목적은 모노 위성영상들을 입력으로 수치표면모델을 생성하는 것이다.
또한, 본 발명의 목적은 공간의 특성을 이용하여 잡음 성분을 줄이고, 공간정보가 부재한 홀영역을 효과적으로 처리하는 방법을 제공하는 것이다.
또한 상술한 바와 같은 목적들로 한정되지 않으며, 이하의 설명으로부터 또 다른 목적이 도출될 수도 있음은 자명하다.
상기한 목적을 달성하기 위하여 본 발명의 일실시예에 따른 위성영상을 이용한 수치표면모델 생성 방법은, 입력받은 위성영상의 기하오차를 보정하는 단계, 보정된 상기 위성영상에 기반하여 스테레오 매칭 방식으로 하나 이상의 깊이지도를 생성하는 단계 및 생성된 상기 깊이지도를 융합하고, 지면의 위치별로 고도값을 추정하여 수치표면모델을 생성하는 단계를 포함한다.
이 때, 상기 위성영상은, RPC(Rational Progressive Coefficient)로 저장된 상기 위성영상을 촬영한 카메라의 기하 또는 광학 정보를 포함할 수 있다.
이 때, 상기 기하오차를 보정하는 단계는, 상기 위성영상과 지상기준점(GCP, Ground Control Point) 데이터와 비교하는 방식 또는 상기 위성영상과 수치표고모델(DEM, Digital Elevation Model)의 정사영상 데이터와 비교하는 방식 중 적어도 어느 하나를 이용하여 보정할 수 있다.
이 때, 상기 깊이지도를 생성하는 단계는, 상기 위성영상의 에피폴라 라인을 픽셀단위로 변환하여 직선이 되도록 리샘플링하는 단계, 상기 위성영상을 두 장씩 쌍으로 정렬하는 단계 및 정렬된 상기 위성영상에서 스테레오 매칭 방식으로 깊이지도를 생성하는 단계를 포함할 수 있다.
이 때, 상기 수치표면모델을 생성하는 단계는, 상기 깊이지도에 기반하여 3차원점구름을 생성하는 단계, 상기 3차원점구름에서 노이즈를 제거하는 단계, 노이즈가 제거된 상기 3차원점구름에 기반하여 수치표면모델초기값을 생성하는 단계 및 상기 3차원점구름이 포함되지 않은 홀영역을 보충하는 단계를 포함할 수 있다.
이 때, 상기 3차원점구름을 생성하는 단계는, 상기 깊이지도의 각 픽셀에서의 깊이값을 지구좌표계에서 3차원점으로 변환하는 단계 및 변환된 상기 3차원점을 병합하여 3차원점구름을 생성하는 단계를 포함할 수 있다.
이 때, 상기 노이즈를 제거하는 단계는, 상기 3차원점구름 공간을 일정한 간격의 3차원격자(Voxel)영역으로 분할하는 단계, 상기 3차원격자영역에 포함되는 3차원점의 개수를 산출하는 단계, 상기 3차원점의 개수가 기설정된 기준값 이상인 3차원격자영역의 경우, 유효한 영역으로 판단하고 기준값 미만인 3차원격자영역의 경우, 노이즈로 판단하는 단계 및 노이즈로 판단된 해당 3차원격자영역에 포함된 3차원점을 제거하는 단계를 포함할 수 있다.
이 때, 본 발명의 일실시예에 따른 위성영상을 이용한 수치표면모델 생성 방법은 상기 3차원점구름에 기반하여 고도값 히스토그램을 산출하는 단계, 상기 고도값 히스토그램에서 최대 밀도를 갖는 고도값을 기준고도로 설정하는 단계 및 상기 기준고도로부터 기설정된 일정범위 이내의 고도범위를 지면고도영역으로 설정하는 단계를 더 포함할 수 있다.
이 때, 상기 판단하는 단계는, 상기 지면고도영역 중 기설정된 기준값 이상의 3차원점을 포함하는 3차원격자영역부터 유효한 영역을 판단하고, 인접한 3차원격자영역으로 순차적으로 판단할 수 있다.
이 때, 상기 홀영역을 보충하는 단계는, 상기 3차원점구름이 존재하는 지표면을 2차원격자영역으로 분할하는 단계, 상기 2차원격자영역을 2개 이상씩 묶어 상위블록에 포함시키는 단계, 상기 상위블록 내에서 유효한 고도값을 가지는 2차원격자영역에 기반하여 최저 고도값을 산출하는 단계, 상기 각 상위블록의 최저 고도값에 기반하여 주변 영역의 지면고도를 추정하는 단계 및 상기 홀영역 주변에서 추정된 지면고도를 상기 홀영역의 수치표면모델 고도로 저장하는 단계를 포함할 수 있다.
이 때, 상기 홀영역을 보충하는 단계는, 양방향 필터링(Bilateral filtering) 또는 평활화 과정(Smoothing process) 중 적어도 어느 하나를 포함하는 노이즈 필터링 단계를 더 포함할 수 있다.
또한, 상기한 목적을 달성하기 위하여 본 발명의 일실시예에 따른 위성영상을 이용한 수치표면모델 생성 장치는, 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리를 포함하고, 상기 적어도 하나 이상의 프로그램은, 입력받은 위성영상의 기하오차를 보정하고, 보정된 상기 위성영상에 기반하여 스테레오 매칭 방식으로 하나 이상의 깊이지도를 생성하고, 생성된 상기 깊이지도를 융합하고, 지면의 위치별로 고도값을 추정하여 수치표면모델을 생성한다.
이 때, 상기 위성영상은, RPC(Rational Progressive Coefficient)로 저장된 상기 위성영상을 촬영한 카메라의 기하 또는 광학 정보를 포함할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 위성영상과 지상기준점(GCP, Ground Control Point) 데이터와 비교하는 방식 또는 상기 위성영상과 수치표고모델(DEM, Digital Elevation Model)의 정사영상 데이터와 비교하는 방식 중 적어도 어느 하나를 이용하여 상기 기하오차를 보정할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 위성영상의 에피폴라 라인을 픽셀단위로 변환하여 직선이 되도록 리샘플링하고, 상기 위성영상을 두 장씩 쌍으로 정렬하고, 정렬된 상기 위성영상에서 스테레오 매칭 방식으로 깊이지도를 생성할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 깊이지도에 기반하여 3차원점구름을 생성하고, 상기 3차원점구름에서 노이즈를 제거하고, 노이즈가 제거된 상기 3차원점구름에 기반하여 수치표면모델초기값을 생성하고, 상기 3차원점구름이 포함되지 않은 홀영역을 보충할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 깊이지도의 각 픽셀에서의 깊이값을 지구좌표계에서 3차원점으로 변환하고, 변환된 상기 3차원점을 병합하여 3차원점구름을 생성할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 3차원점구름 공간을 일정한 간격의 3차원격자(Voxel) 영역으로 분할하고, 상기 3차원격자영역에 포함되는 3차원점의 개수를 산출하고, 상기 3차원점의 개수가 기설정된 기준값 이상인 3차원격자영역인 경우 유효한 영역으로 판단하고, 기준값 미만인 3차원격자영역의 경우 노이즈로 판단하고, 노이즈로 판단된 해당 3차원격자영역에 포함된 3차원점을 제거하여 노이즈를 제거할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 3차원점구름에 기반하여 고도값 히스토그램을 산출하고, 상기 고도값 히스토그램에서 최대 밀도를 갖는 고도값을 기준고도로 설정하고, 상기 기준고도로부터 기설정된 일정범위 이내의 고도범위를 지면고도영역으로 설정하고, 상기 지면고도영역 중 기설정된 기준값 이상의 3차원점을 포함하는 3차원격자영역부터 유효한 영역으로 판단하고, 인접한 3차원격자영역으로 순차적으로 판단할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 3차원점구름이 존재하는 지표면을 2차원격자영역으로 분할하고, 상기 2차원격자영역을 2개 이상씩 묶어 상위블록에 포함시키고, 상기 상위블록 내에서 유효한 고도값을 가지는 2차원격자영역에 기반하여 최저 고도값을 산출하고, 상기 각 상위블록의 최저 고도값에 기반하여 주변 영역의 지면고도를 추정하고, 상기 홀영역 주변에서 추정된 상기 지면고도를 상기 홀영역의 수치표면모델 고도로 저장하여 상기 홀영역을 보충할 수 있다.
이 때, 양방향 필터링(Bilateral filtering) 또는 평활화 과정(Smoothing process) 중 적어도 어느 하나를 포함하는 노이즈 필터링을 수행하고 상기 홀영역을 보충할 수 있다.
본 발명에 따르면, 모노 위성영상들을 입력으로 수치표면모델을 생성할 수 있다.
또한, 본 발명에 따르면, 공간의 특성을 이용하여 잡음 성분을 줄이고, 공간정보가 부재한 홀영역을 효과적으로 처리하는 방법을 제공할 수 있다.
본 실시 예들의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일실시예에 따른 위성영상을 이용한 수치표면모델 생성 방법의 흐름도이다.
도 2는 본 발명의 일실시예에 따라 깊이지도를 생성하는 흐름도이다.
도 3은 본 발명의 일실시예에 따라 수치표면모델을 생성하는 흐름도이다.
도 4는 본 발명의 일실시예에 따라 노이즈를 제거하는 흐름도이다.
도 5는 본 발명의 일실시예에 따라 노이즈를 제거하는 예시도이다.
도 6은 본 발명의 일실시예에 따라 홀영역을 보충하는 흐름도이다.
도 7은 본 발명의 일실시예에 따라 홀영역 채움 과정의 개념도이다.
도 8은 본 발명의 일실시예에 따라 노이즈 제거 및 홀영역 채움을 나타내는 비교도이다.
도 9은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
본 발명은 광학 위성영상을 입력으로 수치표면모델(Digital Surface Model)과 같이 지상 구조물을 포함하는 고도지형 정보를 생성하는 방법 및 장치를 제안한다.
또한, 본 발명은 스테레오 위성영상이 아닌 모노 위성영상을 입력으로 수치표면모델을 생성하는 방법 및 장치를 제안한다.
하나 이상의 모노 위성영상을 입력으로 수치표면모델을 생성하는 방법은 크게 두가지 방식으로 분류될 수 있다.
첫 번째 방식은 3차원 볼륨(Volume) 공간에서 분할된 격자(Voxel)별로 표면영역이 될 확률값을 계산하는 Probabilistic Volumetric Reconstruction(PVR) 방식이다.
상기 PVR 방식은 단일 3차원 공간에서 입력된 위성영상들에 적합한 3차원 표면 데이터를 확률 기반으로 추정한다.
상기 PVR 방식의 장점은 모든 입력영상들에 연동되는 일관된 확률 기반 프레임 워크를 기반으로 하기 때문에, 변화 탐지와 같은 다양한 목적으로 유연하게 수정되어 활용할 수 있다는 점이다.
두번째 방식은 다수의 위성영상을 두 장씩 쌍으로 구성하여 정렬(Stereo resampling)하고, 스테레오 위성영상 처리와 유사하게 깊이지도를 생성하고, 상기 깊이지도를 융합하여 수치표면모델을 생성하는 Multiview Stereo Reconstruction(MSR) 방식이다.
상기 MSR 방식은 위성영상 쌍으로부터 깊이지도를 생성하는 방법이 중요하며, 위성영상을 매칭하는 방법으로 SGM(Semi-Global Matching) 방법이 다른 방법들보다 우수하다는 연구결과가 있다.
다수의 깊이지도를 입력으로 좌표별로 단일 고도값을 추정하는 단계는 깊이지도 정보를 3차원점구름(3D Point Cloud)로 변환하여 중간순위 고도값(Median height)를 선택하는 방법이 보편적으로 많이 활용되고 있다.
상이한 시간대의 촬영된 영상을 입력으로 하는 상황에서는 Multi-modal problem을 해결하기 위하여, K-means clustering을 적용하는 방법이 기존에 제안되었지만, 모든 좌표에서 클러스터링을 수행해야 한다는 점에서 높은 연산량 부담이 발생한다는 문제점을 갖는다.
상기 PVR 방식과 MSR 방식 중에 MSR 방식이 생성되는 수치표면모델 정확도 측면에서 더 우수하다는 연구결과가 있었다.
하지만, 다른 시간, 다른 계절대에 동일지역을 촬영한 모노영상들은 시 공간 변화와 계절 변화에 따른 표면 텍스쳐 변화를 포함하고 있는데, 두 장씩 짝을 이루어 깊이지도를 계산하면 많은 잡음 성분이 발생하고, 지상 구조물의 형태를 자세히 식별할 수 있는 고품질의 수치표면모델을 생성하기 위해서는 이러한 잡음 성분을 효과적으로 제거할 수 있는 기술 즉, 노이즈 필터링 기술이 필요하다.
또한, 도심지역과 같이 고층건물이 밀집한 지역에서는 건물과 건물 사이의 도로, 골목과 같은 영역에서 시야의 가려짐(Occlustion) 현상, 어두운 그림자 효과 등으로 인하여 깊이정보가 제대로 추출되지 않는 현상이 발생한다.
특히, 앞서 설명한 노이즈 필터링을 거치면 이러한 영역에서의 부정확한 깊이값들이 잡음으로 간주되어 사라지고, 깊이값이 부재한 홀영역이 발생하게 된다.
상기 홀영역이 존재하는 상황에서 단순히 보간법과 같은 방법으로 고도값들을 채우면 건물의 외형 경계가 변형되는 문제가 발생하는데, 본 발명의 일실시예를 통해 상기 홀영역을 자동으로 처리하는 방법을 제시하고자 한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 위성영상을 이용한 수치표면모델 생성 방법의 흐름도이다.
도 1을 참조하면 본 발명의 일실시예에 따른 위성영상을 이용한 수치표면모델 생성 방법은, 수치표면모델 생성 시의 잡음 제거와 홀영역 채움(Hole filling)을 적용하기 위해, 위성영상 입력부터 수치표면모델 생성완료까지의 단계를 다음과 같은 3단계 과정으로 구분할 수 있다.
이하에서의 실시예는 제안방법을 활용하기 위한 수치표면모델 생성 전 과정의 예시이며, 모노 다시점 위성영상으로부터 깊이지도를 생성하고 이를 융합하여 수치표면모델을 생성할 수 있는 방식으로 상술한 MSR 방식과 유사하게 적용할 수도 있다.
첫 번째 단계는 입력된 위성영상의 기하오차를 보정(Geometric correction)하는 단계(S110)이다.
위성영상은 촬영단계에서 카메라의 기하 또는 광학정보를 RPC(Rational Progressive Coefficient)로 저장할 수 있고, 상기 RPC는 위성의 물리모델을 영상관점에서 해석하기 편리하도록 80개의 계수화한 결과일 수 있다.
그러나, 위성영상을 촬영하는 위성에 따라 지상 표면상에서 적게는 수미터에서 많게는 수십미터까지 오차가 발생할 수 있어 이를 보정하는 과정이 필요하다.
상기 보정하는 과정은 지상 기준점(GCP, Ground Control Point) 정보를 입력영상과 비교하여 보정할 수도 있고, 기존의 수치표고모델의 정사영상 데이터를 입력영상과 비교하여 보정할 수도 있다.
두번째 단계는 오차 보정된 위성영상을 두 장씩 쌍으로 구성하고, 각 쌍으로 구성된 위성영상을 정렬하고, 스테레오 매칭 방식으로 깊이지도를 생성하는 단계이다(S120). 보다 상세하게는 도 2를 참조하여 후술한다.
세번째 단계는 여러 쌍의 영상들로부터 획득한 깊이지도를 융합학, 최적화하여 지면의 위치별로 고도값을 추정하여 수치표면모델을 생성하는 단계이다(S130).
동일한 지표면에 대한 깊이지도는 이론적으로 동일한 고도값을 가져야 하지만, 상이한 촬영 시간과 영상의 잡음 성분으로 인하여 실제로는 부정확한 고도값들을 포함할 수 있다.
따라서, 상술한 잡음 성분들을 제거하여, 수치표면모델의 형태를 매끄럽게 하고, 지상 구조물의 형태를 식별 가능하도록 깊이정보를 누적하고 융합하는 과정이 필요하다.
도 2는 본 발명의 일실시예에 따라 깊이지도를 생성하는 흐름도이다.
도 2를 참조하여 설명하면, 위성영상은 일단 프레임 카메라 영상과는 다르게 영상 간의 에피폴라 라인(Epipola line)이 직선이 아니라 곡선으로 계산된다.
스테레오 매칭을 위해서는 에피폴라 라인이 직선이 되어야 하므로, 깊이지도를 생성하는 단계는 상기 위성영상의 에피폴라 라인이 직선이 되도록 픽셀단위로 위치를 변환하는 리샘플링 과정을 수행할 수 있다(S210).
또한, 깊이지도를 생성하는 단계는 상기 위성영상은 두 장씩 쌍을 구성하여 정렬되고(S220), 상기 정렬된 위성영상을 기반으로 하여 스테레오 매칭 방식으로 깊이지도를 생성할 수 있다(S230).
상기 깊이지도를 생성하는 방식은 SGM(Semi-Global Matching) 방식일 수 있다.
도 3은 본 발명의 일실시예에 따라 수치표면모델을 생성하는 흐름도이다.
도 3을 참조하면 수치표면모델을 생성하는 단계는 크게 4단계로 구분될 수 있으며, 제안하는 잡음 제거 즉, 노이즈 제거와 홀영역 채움은 본 단계에 포함된다.
수치표면모델을 생성하는 첫 번째 단계는, 각각의 깊이지도 영상에서의 깊이값들을 3차원 공간상의 3차원점구름(3D point cloud) 형태로 변환할 수 있다(S310).
이는 각각의 깊이지도 영상을 생성할 때, 입력으로 사용된 위성영상의 RPC 정보를 이용하여, 깊이지도 영상 안의 각각의 픽셀에서의 깊이값들을 UTM(Universal Transverse Mercator)과 같은 지구 좌표계에서의 3차원점으로 변환하는 방식이다.
수치표면모델을 생성하는 두번째 단계는, 공간특성 기반으로 노이즈를 필터링하는 단계로써, 잡음을 제거하는 작업을 수행할 수 있다(S320). 보다 상세하게는 도 4 및 도 5를 참조하여 후술한다.
수치표면모델을 생성하는 세번째 단계는, 3차원점구름(3D Point Cloud)를 수치표면모델의 형태로 변환하여 수치표면모델의 초기값을 생성할 수 있다(S330).
이 때, 단계(S330)는 먼저 3차원점구름이 존재하는 지표면을 2차원격자영역으로 분할할 수 있다.
그리고, 단계(S330)는 각각의 2차원격자영역에서 노이즈 필터링을 통과한 3차원점구름을 입력으로 다음 비용함수, Costheight(x,y)를 최소화하는 고도값을 계산할 수 있다.
상기 수학식 1에서 Costdata는 2차원격자영역안에 포함된 3차원점들의 고도값을 융합하여 계산하는 비용함수일 수 있다.
구체적인 구현은 다양한 방법을 적용할 수 있으며, 해당 3차원점들 중에서 중간순위(Median value)값과의 거리차이로 계산할 수도 있다.
상기 수학식 1에서 Costconsistency는 계산하고자 하는 2차원격자영역의 고도값이 인접한 2차원격자영역 고도값과의 차이에서 발생하는 비용함수일 수 있다.
구체적인 구현은 다양한 방법을 적용할 수 있으며, 현재 추정된 2차원격자영역의 고도값과 인접한 2차원격자영역의 고도값들과의 고도차이의 합으로써 계산할 수도 있다.
상기 수학식 1에서 (x, y)는 해당 2차원격자영역의 지표면 좌표 인덱스를 의미할 수 있다.
수치표면모델을 생성하는 네번째 단계는, 고도값을 계산할 3차원점이 없는 2차원격자영역에서 인접 영역의 정보를 이용하여 고도값을 추정하는 홀영역 채움 단계이다(S340). 이하에서의 홀영역 보충은 상기 홀영역 채움과 동일한 의미를 가진다.
이 때, 단계(S340)는 고도정보가 없는 홀영역을 주변 고도값을 통해 추정하여 보충하는 것으로써, 이하에서 도 6 내지 도 8을 참조하여 후술한다.
또한, 수치표면모델을 생성하는 단계는 상술한 4단계 과정이 모두 완료된 이후 또는 그 중간 과정에서 부가적인 노이즈 필터링과 Bilateral Filtering과 같은 Smoothing 처리 등이 추가될 수도 있다.
도 4는 본 발명의 일실시예에 따라 노이즈를 제거하는 흐름도이고, 도 5는 본 발명의 일실시예에 따라 노이즈를 제거하는 예시도이다.
도 4 및 도 5를 참조하면, 노이즈를 제거하는 방법은, 3차원점구름을 입력으로 고도값 히스토그램을 계산할 수 있다(S430).
또한, 노이즈를 제거하는 방법은 고도값 히스토그램에서 최대 밀도를 갖는 고도값을 '기준고도'로 간주(S440)하고(hground), 이 값으로부터 사전에 정의된 일정범위(hrange) 이내의 고도범위를 '지면 고도영역'으로 간주할 수 있다(S450).
또한, 노이즈를 제거하는 방법은 수치표면모델을 생성하고자 하는 3차원 공간을 일정한 간격의 3차원격자(Voxel)영역으로 분할(S410)하고, 각각의 3차원격자영역에 포함되는 3차원점의 개수를 계산할 수 있다.
또한, 노이즈를 제거하는 방법은 '지면 고도영역'이면서 일정개수(min_pn) 이상의 3차원점을 포함하는 3차원격자영역들로부터 시작하여, 인접한 3차원격자영역들을 순차적으로 확인할 수 있다(S460).
이 때, 일정개수 이상의 3차원점을 포함하는 3차원격자영역은 유효한 지형데이터 후보 영역으로 마킹될 수 있다.
그리고, 노이즈를 제거하는 방법은 새로 마킹된 3차원격자영역에서 인접한 3차원격자영역들을 확인하는 위의 과정을 반복할 수 있다.
또한, 노이즈를 제거하는 방법은 최종적으로 마킹되지 않은 3차원격자영역안의 3차원점들을 지면으로부터 연결되지 않고 허공에 고립된 덩어리로 판단하여, 잡음으로 간주하여 일괄적으로 제거할 수 있다(S470).
도 5를 참조하면, (5-1)도면은 상술한 잡음을 제거하기 전의 3차원점구름을 도시하고 있으며, (5-2)도면은 상술한 지면 고도영역으로부터 연결된 3차원격자영역을 마킹하는 과정을 도시하고 있으며, (5-3)도면은 잡은 제거 이후의 3차원점구름의 결과를 도시하고 있다.
도 6은 본 발명의 일실시예에 따라 홀영역을 보충하는 흐름도이다.
도 6을 참조하면, 먼저 Salt and pepper 형태로 파편적으로 발생하는 작은 홀영역은 모폴로지(Morphology) 연산을 적용하여 주변 영역의 고도값을 확산시켜 처리할 수 있다.
이 때, 상기 처리 후 남아있는 덩어리 형태의 홀 영역은 상술한대로 높은 구조물의 주변에서 가려짐 효과, 그림자 효과 등으로 발생하는 홀영역으로 간주하고, 주변 영역의 지면 고도를 추정하여 채우는 방식으로 처리할 수 있다.
이 때, 지면 고도를 추정하는 방법은, 상술한바와 같이 3차원점구름이 존재하는 지표면을 2차원격자영역으로 분할한 후에(S610), 2차원격자영역을 더 큰 단위의 상위블록들로 합치고(S620), 각 상위블록안에서 유효한 고도값들을 종합하여 최저 고도값을 계산할 수 있다(S630).
또한, 지면 고도를 추정하는 방법은, 모든 2차원격자영역에서, 주변 상위블록들의 최저 고도값을 연결하여 추정하는 보간법을 통하여 지면 고도를 추정하고(S640), 해당 2차원격자영역이 홀영역일 경우 추정된 지면 고도를 수치표면모델의 고도로 저장할 수 있다(S650).
도 7은 본 발명의 일실시예에 따라 홀영역 채움 과정의 개념도이다.
도 7은 상술한 홀영역을 채움 또는 보충하는 과정을 나타내는 개념도로써, 이를 참조하여 설명하면, 파란 사각형으로 표현된 2차원격자영역은 수치표면모델에서 각각의 고도값이 저장되는 단위이며, 검은 사각형으로 표현한 홀영역은 유효한 3차원점이 없는 홀영역일 수 있다.
붉은 사각형 범위로 표현한 상위블록은 최저 고도값을 계산하기 위해 분할한 영역일 수 있으며, 노란색 반투명 원으로 표현한 최저 고도값은 각각의 서브블록 안에서의 최저 고도값일 수 있다.
이 때, 포함하고 있는 2차원격자영역들 중 홀영역의 비율이 일정 비율 이상인 상위블록은 최저 고도값을 계산하지 않을 수 있다.
이 때, 모든 홀영역은 주변 상위블록의 유효한 최저 고도값들을 모으고, 해당 최저 고도값이 포함된 상위블록 중심위치까지의 거리를 반영한 보간법을 이용하여 현재 홀영역에서의 지면 고도를 추정하여 고도값으로 저장할 수 있다.
도 8은 본 발명의 일실시예에 따라 노이즈 제거 및 홀영역 채움을 나타내는 비교도이다.
도 8을 참조하면, (8-1)도는 잡음제거와 홍영역 채움을 적용하지 않고, 깊이지도로부터 변환한 3차원점구름에서 중간순위 고도를 선택하여 생성한 수치표면모델을 도시하고 있으며, (8-2)도는 잡음제거만 적용하고 홀영역 채움을 적용하지 않은 모습을 도시하고 있으며, 고층 건물 주변에서 홀영역(검은색)이 발생한 것을 확인할 수 있다.
(8-3)도는 잡음제거와 홀영역 채움이 적용된 수치표면모델을 도시하고 있으며, (8-1)도에서의 잡음들이 사라지고, 홀영역이 채워지면서 건물 형태는 비교적 보전된 것을 확인할 수 있다.
이하에서는, 도 1 내지 도 4 및 도 6을 참조하여, 본 발명의 일실시예에 따른 위성영상을 이용한 수치표면모델 생성 방법을 설명한다.
본 발명의 일실시예에 따른 위성영상을 이용한 수치표면모델 생성 방법은 먼저, 입력받은 위성영상의 기하오차를 보정한다(S110).
이 때, 상기 위성영상은, RPC(Rational Progressive Coefficient)로 저장된 상기 위성영상을 촬영한 카메라의 기하 또는 광학 정보를 포함할 수 있다.
이 때, 단계(S110)는, 상기 위성영상과 지상기준점(GCP, Ground Control Point) 데이터와 비교하는 방식 또는 상기 위성영상과 수치표고모델(DEM, Digital Elevation Model)의 정사영상 데이터와 비교하는 방식 중 적어도 어느 하나를 이용하여 보정할 수 있다.
또한, 본 발명의 일실시예에 따른 위성영상을 이용한 수치표면모델 생성 방법은 보정된 상기 위성영상에 기반하여 스테레오 매칭 방식으로 하나 이상의 깊이지도를 생성한다(S120).
이 때, 단계(S120)는, 상기 위성영상의 에피폴라 라인을 픽셀단위로 변환하여 직선이 되도록 리샘플링하는 단계(S210), 상기 위성영상을 두 장씩 쌍으로 정렬하는 단계(S220) 및 정렬된 상기 위성영상에서 스테레오 매칭 방식으로 깊이지도를 생성하는 단계(S230)를 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 위성영상을 이용한 수치표면모델 생성 방법은 생성된 상기 깊이지도를 융합하고, 지면의 위치별로 고도값을 추정하여 수치표면모델을 생성한다(S130).
이 때, 단계(S130)는, 상기 깊이지도에 기반하여 3차원점구름을 생성하는 단계(S310), 상기 3차원점구름에서 노이즈를 제거하는 단계(S320), 노이즈가 제거된 상기 3차원점구름에 기반하여 수치표면모델초기값을 생성하는 단계(S330) 및 상기 3차원점구름이 포함되지 않은 홀영역을 보충하는 단계(S340)를 포함할 수 있다.
이 때, 단계(S310)는, 상기 깊이지도의 각 픽셀에서의 깊이값을 지구좌표계에서 3차원점으로 변환하는 단계 및 변환된 상기 3차원점을 병합하여 3차원점구름을 생성하는 단계를 포함할 수 있다.
이 때, 단계(S320)는, 상기 3차원점구름 공간을 일정한 간격의 3차원격자(Voxel)영역으로 분할하는 단계(S410), 상기 3차원격자영역에 포함되는 3차원점의 개수를 산출하는 단계(S420), 상기 3차원점의 개수가 기설정된 기준값 이상인 3차원격자영역의 경우, 유효한 영역으로 판단하고 기준값 미만인 3차원격자영역의 경우, 노이즈로 판단하는 단계(S460) 및 노이즈로 판단된 해당 3차원격자영역에 포함된 3차원점을 제거하는 단계(S470)를 포함할 수 있다.
또한, 단계(S320)는, 상기 3차원점구름에 기반하여 고도값 히스토그램을 산출하는 단계(S430), 상기 고도값 히스토그램에서 최대 밀도를 갖는 고도값을 기준고도로 설정하는 단계(S440) 및 상기 기준고도로부터 기설정된 일정범위 이내의 고도범위를 지면고도영역으로 설정하는 단계(S450)를 더 포함할 수 있다.
이 때, 단계(S460)는, 상기 지면고도영역 중 기설정된 기준값 이상의 3차원점을 포함하는 3차원격자영역부터 유효한 영역을 판단하고, 인접한 3차원격자영역으로 순차적으로 판단할 수 있다.
이 때, 단계(S340)는, 상기 3차원점구름이 존재하는 지표면을 2차원격자영역으로 분할하는 단계(S610), 상기 2차원격자영역을 2개 이상씩 묶어 상위블록에 포함시키는 단계(S620), 상기 상위블록 내에서 유효한 고도값을 가지는 2차원격자영역에 기반하여 최저 고도값을 산출하는 단계(S630), 상기 각 상위블록의 최저 고도값에 기반하여 주변 영역의 지면고도를 추정하는 단계(S640) 및 상기 홀영역 주변에서 추정된 지면고도를 상기 홀영역의 수치표면모델 고도로 저장하는 단계(S650)를 포함할 수 있다.
또한, 단계(S340)는, 양방향 필터링(Bilateral filtering) 또는 평활화 과정(Smoothing process) 중 적어도 어느 하나를 포함하는 노이즈 필터링 단계를 더 포함할 수 있다.
도 9은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
도 9을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다. 도 9에 도시된 바와 같이, 컴퓨터 시스템(900)은 버스(920)를 통하여 서로 통신하는 하나 이상의 프로세서(910), 메모리(930), 사용자 인터페이스 입력 장치(940), 사용자 인터페이스 출력 장치(950) 및 스토리지(960)를 포함할 수 있다. 또한, 컴퓨터 시스템(900)은 네트워크(980)에 연결되는 네트워크 인터페이스(970)를 더 포함할 수 있다. 프로세서(910)는 중앙 처리 장치 또는 메모리(930)나 스토리지(960)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(930) 및 스토리지(960)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(931)이나 RAM(932)을 포함할 수 있다.
본 발명의 일실시예에 따른 위성영상을 이용한 수치표면모델 생성 장치는 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리를 포함하고, 상기 적어도 하나 이상의 프로그램은, 입력받은 위성영상의 기하오차를 보정하고, 보정된 상기 위성영상에 기반하여 스테레오 매칭 방식으로 하나 이상의 깊이지도를 생성하고, 생성된 상기 깊이지도를 융합하고, 지면의 위치별로 고도값을 추정하여 수치표면모델을 생성한다.
이 때, 상기 위성영상은, RPC(Rational Progressive Coefficient)로 저장된 상기 위성영상을 촬영한 카메라의 기하 또는 광학 정보를 포함할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 위성영상과 지상기준점(GCP, Ground Control Point) 데이터와 비교하는 방식 또는 상기 위성영상과 수치표고모델(DEM, Digital Elevation Model)의 정사영상 데이터와 비교하는 방식 중 적어도 어느 하나를 이용하여 상기 기하오차를 보정할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 위성영상의 에피폴라 라인을 픽셀단위로 변환하여 직선이 되도록 리샘플링하고, 상기 위성영상을 두 장씩 쌍으로 정렬하고, 정렬된 상기 위성영상에서 스테레오 매칭 방식으로 깊이지도를 생성할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 깊이지도에 기반하여 3차원점구름을 생성하고, 상기 3차원점구름에서 노이즈를 제거하고, 노이즈가 제거된 상기 3차원점구름에 기반하여 수치표면모델초기값을 생성하고, 상기 3차원점구름이 포함되지 않은 홀영역을 보충할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 깊이지도의 각 픽셀에서의 깊이값을 지구좌표계에서 3차원점으로 변환하고, 변환된 상기 3차원점을 병합하여 3차원점구름을 생성할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 3차원점구름 공간을 일정한 간격의 3차원격자(Voxel) 영역으로 분할하고, 상기 3차원격자영역에 포함되는 3차원점의 개수를 산출하고, 상기 3차원점의 개수가 기설정된 기준값 이상인 3차원격자영역인 경우 유효한 영역으로 판단하고, 기준값 미만인 3차원격자영역의 경우 노이즈로 판단하고, 노이즈로 판단된 해당 3차원격자영역에 포함된 3차원점을 제거하여 노이즈를 제거할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 3차원점구름에 기반하여 고도값 히스토그램을 산출하고, 상기 고도값 히스토그램에서 최대 밀도를 갖는 고도값을 기준고도로 설정하고, 상기 기준고도로부터 기설정된 일정범위 이내의 고도범위를 지면고도영역으로 설정하고, 상기 지면고도영역 중 기설정된 기준값 이상의 3차원점을 포함하는 3차원격자영역부터 유효한 영역으로 판단하고, 인접한 3차원격자영역으로 순차적으로 판단할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 3차원점구름이 존재하는 지표면을 2차원격자영역으로 분할하고, 상기 2차원격자영역을 2개 이상씩 묶어 상위블록에 포함시키고, 상기 상위블록 내에서 유효한 고도값을 가지는 2차원격자영역에 기반하여 최저 고도값을 산출하고, 상기 각 상위블록의 최저 고도값에 기반하여 주변 영역의 지면고도를 추정하고, 상기 홀영역 주변에서 추정된 상기 지면고도를 상기 홀영역의 수치표면모델 고도로 저장하여 상기 홀영역을 보충할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 양방향 필터링(Bilateral filtering) 또는 평활화 과정(Smoothing process) 중 적어도 어느 하나를 포함하는 노이즈 필터링을 수행하고 상기 홀영역을 보충할 수 있다.
따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 측면에 따른 방법을 수행할 수 있다.
이상에서와 같이 본 발명에 따른 위성영상을 이용한 수치표면모델 생성 방법 및 장치는 상기한 바와 같이 설명한 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (20)

  1. 입력받은 위성영상의 기하오차를 보정하는 단계;
    보정된 상기 위성영상에 기반하여 스테레오 매칭 방식으로 하나 이상의 깊이지도를 생성하는 단계; 및
    생성된 상기 깊이지도를 융합하고, 지면의 위치별로 고도값을 추정하여 수치표면모델을 생성하는 단계;
    를 포함하고,
    상기 수치표면모델을 생성하는 단계는,
    상기 깊이지도에 기반하여 3차원점구름을 생성하는 단계;
    상기 3차원점구름에서 노이즈를 제거하는 단계;
    노이즈가 제거된 상기 3차원점구름에 기반하여 수치표면모델초기값을 생성하는 단계; 및
    상기 3차원점구름이 포함되지 않은 홀영역을 보충하는 단계를 포함하되,
    상기 홀영역을 보충하는 단계는,
    상기 3차원점구름이 존재하는 지표면을 2차원격자영역으로 분할하는 단계;
    상기 2차원격자영역을 2개 이상씩 묶어 상위블록에 포함시키는 단계;
    상기 상위블록 내에서 유효한 고도값을 가지는 2차원격자영역에 기반하여 최저 고도값을 산출하는 단계;
    상기 각 상위블록의 최저 고도값에 기반하여 주변 영역의 지면고도를 추정하는 단계; 및
    상기 홀영역 주변에서 추정된 지면고도를 상기 홀영역의 수치표면모델 고도로 저장하는 단계;를 포함하는, 위성영상을 이용한 수치표면모델 생성 방법.
  2. 청구항 1에 있어서,
    상기 위성영상은,
    RPC(Rational Progressive Coefficient)로 저장된 상기 위성영상을 촬영한 카메라의 기하 또는 광학 정보를 포함하는 것을 특징으로 하는 위성영상을 이용한 수치표면모델 생성 방법.
  3. 청구항 1에 있어서,
    상기 기하오차를 보정하는 단계는,
    상기 위성영상과 지상기준점(GCP, Ground Control Point) 데이터와 비교하는 방식 또는 상기 위성영상과 수치표고모델(DEM, Digital Elevation Model)의 정사영상 데이터와 비교하는 방식 중 적어도 어느 하나를 이용하여 보정하는 것을 특징으로 하는 위성영상을 이용한 수치표면모델 생성 방법.
  4. 청구항 1에 있어서,
    상기 깊이지도를 생성하는 단계는,
    상기 위성영상의 에피폴라 라인을 픽셀단위로 변환하여 직선이 되도록 리샘플링하는 단계;
    상기 위성영상을 두 장씩 쌍으로 정렬하는 단계; 및
    정렬된 상기 위성영상에서 스테레오 매칭 방식으로 깊이지도를 생성하는 단계;
    를 포함하는 것을 특징으로 하는 위성영상을 이용한 수치표면모델 생성 방법.
  5. 삭제
  6. 청구항 1에 있어서,
    상기 3차원점구름을 생성하는 단계는,
    상기 깊이지도의 각 픽셀에서의 깊이값을 지구좌표계에서 3차원점으로 변환하는 단계; 및
    변환된 상기 3차원점을 병합하여 3차원점구름을 생성하는 단계;
    를 포함하는 것을 특징으로 하는 위성영상을 이용한 수치표면모델 생성 방법.
  7. 청구항 1에 있어서,
    상기 노이즈를 제거하는 단계는,
    상기 3차원점구름 공간을 일정한 간격의 3차원격자(Voxel)영역으로 분할하는 단계;
    상기 3차원격자영역에 포함되는 3차원점의 개수를 산출하는 단계;
    상기 3차원점의 개수가 기설정된 기준값 이상인 3차원격자영역의 경우, 유효한 영역으로 판단하고 기준값 미만인 3차원격자영역의 경우, 노이즈로 판단하는 단계; 및
    노이즈로 판단된 해당 3차원격자영역에 포함된 3차원점을 제거하는 단계;
    를 포함하는 것을 특징으로 하는 위성영상을 이용한 수치표면모델 생성 방법.
  8. 청구항 7에 있어서,
    상기 3차원점구름에 기반하여 고도값 히스토그램을 산출하는 단계;
    상기 고도값 히스토그램에서 최대 밀도를 갖는 고도값을 기준고도로 설정하는 단계; 및
    상기 기준고도로부터 기설정된 일정범위 이내의 고도범위를 지면고도영역으로 설정하는 단계;
    를 더 포함하고,
    상기 판단하는 단계는,
    상기 지면고도영역 중 기설정된 기준값 이상의 3차원점을 포함하는 3차원격자영역부터 유효한 영역을 판단하고, 인접한 3차원격자영역으로 순차적으로 판단하는 것을 특징으로 하는 위성영상을 이용한 수치표면모델 생성 방법.
  9. 삭제
  10. 청구항 1에 있어서,
    상기 홀영역을 보충하는 단계는,
    양방향 필터링(Bilateral filtering) 또는 평활화 과정(Smoothing process) 중 적어도 어느 하나를 포함하는 노이즈 필터링 단계; 를 더 포함하는 것을 특징으로 하는 위성영상을 이용한 수치표면모델 생성 방법.
  11. 하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리;
    를 포함하고,
    상기 적어도 하나 이상의 프로그램은,
    입력받은 위성영상의 기하오차를 보정하고, 보정된 상기 위성영상에 기반하여 스테레오 매칭 방식으로 하나 이상의 깊이지도를 생성하고, 생성된 상기 깊이지도를 융합하고, 지면의 위치별로 고도값을 추정하여 수치표면모델을 생성하되,
    상기 깊이지도에 기반하여 3차원점구름을 생성하고, 상기 3차원점구름에서 노이즈를 제거하고, 노이즈가 제거된 상기 3차원점구름에 기반하여 수치표면모델초기값을 생성하고, 상기 3차원점구름이 포함되지 않은 홀영역을 보충하되,
    상기 3차원점구름이 존재하는 지표면을 2차원격자영역으로 분할하고, 상기 2차원격자영역을 2개 이상씩 묶어 상위블록에 포함시키고, 상기 상위블록 내에서 유효한 고도값을 가지는 2차원격자영역에 기반하여 최저 고도값을 산출하고, 상기 각 상위블록의 최저 고도값에 기반하여 주변 영역의 지면고도를 추정하고, 상기 홀영역 주변에서 추정된 상기 지면고도를 상기 홀영역의 수치표면모델 고도로 저장하여 상기 홀영역을 보충하는 것을 특징으로 하는 위성영상을 이용한 수치표면모델 생성 장치.
  12. 청구항 11에 있어서,
    상기 위성영상은,
    RPC(Rational Progressive Coefficient)로 저장된 상기 위성영상을 촬영한 카메라의 기하 또는 광학 정보를 포함하는 것을 특징으로 하는 위성영상을 이용한 수치표면모델 생성 장치.
  13. 청구항 11에 있어서,
    상기 적어도 하나 이상의 프로그램은,
    상기 위성영상과 지상기준점(GCP, Ground Control Point) 데이터와 비교하는 방식 또는 상기 위성영상과 수치표고모델(DEM, Digital Elevation Model)의 정사영상 데이터와 비교하는 방식 중 적어도 어느 하나를 이용하여 상기 기하오차를 보정하는 것을 특징으로 하는 위성영상을 이용한 수치표면모델 생성 장치.
  14. 청구항 11에 있어서,
    상기 적어도 하나 이상의 프로그램은,
    상기 위성영상의 에피폴라 라인을 픽셀단위로 변환하여 직선이 되도록 리샘플링하고, 상기 위성영상을 두 장씩 쌍으로 정렬하고, 정렬된 상기 위성영상에서 스테레오 매칭 방식으로 깊이지도를 생성하는 것을 특징으로 하는 위성영상을 이용한 수치표면모델 생성 장치.
  15. 삭제
  16. 청구항 11에 있어서,
    상기 적어도 하나 이상의 프로그램은,
    상기 깊이지도의 각 픽셀에서의 깊이값을 지구좌표계에서 3차원점으로 변환하고, 변환된 상기 3차원점을 병합하여 3차원점구름을 생성하는 것을 특징으로 하는 위성영상을 이용한 수치표면모델 생성 장치.
  17. 청구항 11에 있어서,
    상기 적어도 하나 이상의 프로그램은,
    상기 3차원점구름 공간을 일정한 간격의 3차원격자(Voxel) 영역으로 분할하고, 상기 3차원격자영역에 포함되는 3차원점의 개수를 산출하고, 상기 3차원점의 개수가 기설정된 기준값 이상인 3차원격자영역인 경우 유효한 영역으로 판단하고, 기준값 미만인 3차원격자영역의 경우 노이즈로 판단하고, 노이즈로 판단된 해당 3차원격자영역에 포함된 3차원점을 제거하여 노이즈를 제거하는 것을 특징으로 하는 위성영상을 이용한 수치표면모델 생성 장치.
  18. 청구항 17에 있어서,
    상기 적어도 하나 이상의 프로그램은,
    상기 3차원점구름에 기반하여 고도값 히스토그램을 산출하고, 상기 고도값 히스토그램에서 최대 밀도를 갖는 고도값을 기준고도로 설정하고, 상기 기준고도로부터 기설정된 일정범위 이내의 고도범위를 지면고도영역으로 설정하고,
    상기 지면고도영역 중 기설정된 기준값 이상의 3차원점을 포함하는 3차원격자영역부터 유효한 영역으로 판단하고, 인접한 3차원격자영역으로 순차적으로 판단하는 것을 특징으로 하는 위성영상을 이용한 수치표면모델 생성 장치.
  19. 삭제
  20. 청구항 11에 있어서,
    상기 적어도 하나 이상의 프로그램은,
    양방향 필터링(Bilateral filtering) 또는 평활화 과정(Smoothing process) 중 적어도 어느 하나를 포함하는 노이즈 필터링을 수행하고 상기 홀영역을 보충하는 것을 특징으로 하는 것을 특징으로 하는 위성영상을 이용한 수치표면모델 생성 장치.
KR1020190175224A 2019-12-26 2019-12-26 위성영상을 이용한 수치표면모델 생성 방법 및 장치 KR102610989B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190175224A KR102610989B1 (ko) 2019-12-26 2019-12-26 위성영상을 이용한 수치표면모델 생성 방법 및 장치
US17/133,807 US20210201570A1 (en) 2019-12-26 2020-12-24 Method and apparatus for generating digital surface model using satellite imagery

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190175224A KR102610989B1 (ko) 2019-12-26 2019-12-26 위성영상을 이용한 수치표면모델 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210082857A KR20210082857A (ko) 2021-07-06
KR102610989B1 true KR102610989B1 (ko) 2023-12-08

Family

ID=76546491

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190175224A KR102610989B1 (ko) 2019-12-26 2019-12-26 위성영상을 이용한 수치표면모델 생성 방법 및 장치

Country Status (2)

Country Link
US (1) US20210201570A1 (ko)
KR (1) KR102610989B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11913806B2 (en) * 2021-01-15 2024-02-27 Meridian Innovation Pte Ltd Geospatial mapping
US11842471B2 (en) * 2021-06-09 2023-12-12 Mayachitra, Inc. Rational polynomial coefficient based metadata verification
CN113840127B (zh) * 2021-08-12 2024-02-27 长光卫星技术股份有限公司 一种卫星视频影像获取水域自动掩膜处理dsm的方法
KR20230064380A (ko) * 2021-11-03 2023-05-10 경북대학교 산학협력단 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치 및 방법
KR102669980B1 (ko) * 2021-11-26 2024-05-29 한국항공우주연구원 위성 영상 편집 방법, 위성 영상 편집 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램
KR20240022727A (ko) * 2022-08-12 2024-02-20 경북대학교 산학협력단 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원시스템 및 복원방법
CN115100266B (zh) * 2022-08-24 2022-12-06 珠海翔翼航空技术有限公司 基于神经网络的数字化机场模型构建方法、***和设备
CN116051777B (zh) * 2023-04-03 2023-06-06 深圳市城市公共安全技术研究院有限公司 超高层建筑提取方法、设备和可读存储介质
CN116681873B (zh) * 2023-07-31 2023-10-27 山东省国土测绘院 基于数字高程模型快速更新的影像正射纠正方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101453143B1 (ko) * 2008-11-25 2014-10-27 엔이씨 시스템 테크놀로지 가부시키가이샤 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체
US20160012633A1 (en) * 2014-07-09 2016-01-14 Google Inc. High-Quality Stereo Reconstruction Featuring Depth Map Alignment and Outlier Identification
CN107679498A (zh) * 2017-10-11 2018-02-09 防灾科技学院 一种机载激光点云城区道路识别方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101006729B1 (ko) 2010-07-23 2011-01-10 (주)동광지엔티 수치 표고모델 제작 방법 및 시스템
CN103063200B (zh) * 2012-11-28 2015-11-25 国家测绘地理信息局卫星测绘应用中心 高分辨率光学卫星正射纠正影像生成方法
CN105205858B (zh) * 2015-09-18 2018-04-13 天津理工大学 一种基于单个深度视觉传感器的室内场景三维重建方法
KR101941878B1 (ko) * 2017-05-18 2019-01-28 (주)인스페이스 무인항공기 영상 자동 기하보정을 위한 처리시스템
KR102078254B1 (ko) * 2018-03-30 2020-02-17 서울시립대학교 산학협력단 라이다 데이터를 이용한 지형 변화 실시간 탐지 방법, 이를 위한 시스템 및 서버에 저장된 컴퓨터프로그램
CN108764531A (zh) * 2018-04-28 2018-11-06 南京秀强信息科技有限公司 基于tls提取单木胸径的聚类圆拟合优化算法
US11691630B2 (en) * 2018-12-19 2023-07-04 Here Global B.V. Road surface detection
US10930062B2 (en) * 2019-07-18 2021-02-23 Raytheon Company 3D view model generation of an object utilizing geometrically diverse image clusters
JP2021076948A (ja) * 2019-11-06 2021-05-20 株式会社日立エルジーデータストレージ 人検出装置、人検出システム、人検出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101453143B1 (ko) * 2008-11-25 2014-10-27 엔이씨 시스템 테크놀로지 가부시키가이샤 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체
US20160012633A1 (en) * 2014-07-09 2016-01-14 Google Inc. High-Quality Stereo Reconstruction Featuring Depth Map Alignment and Outlier Identification
CN107679498A (zh) * 2017-10-11 2018-02-09 防灾科技学院 一种机载激光点云城区道路识别方法

Also Published As

Publication number Publication date
US20210201570A1 (en) 2021-07-01
KR20210082857A (ko) 2021-07-06

Similar Documents

Publication Publication Date Title
KR102610989B1 (ko) 위성영상을 이용한 수치표면모델 생성 방법 및 장치
US8116530B2 (en) Map change detection device, map change detection method, and program
JP5721197B2 (ja) 三次元地物データ生成装置、三次元地物データ生成方法、および、三次元地物データ生成プログラム
Alobeid et al. Comparison of matching algorithms for DSM generation in urban areas from Ikonos imagery
WO2018061010A1 (en) Point cloud transforming in large-scale urban modelling
US20080089577A1 (en) Feature extraction from stereo imagery
WO2018157562A1 (zh) 基于图像局部分割的虚拟视点合成方法
JP6534296B2 (ja) ３次元モデル生成装置、３次元モデル生成方法、及びプログラム
KR102275572B1 (ko) 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법 및 장치
CN113362247A (zh) 一种激光融合多目相机的语义实景三维重建方法及***
JP4058293B2 (ja) レーザスキャナデータと空中写真画像を用いた高精度都市モデルの生成方法及び高精度都市モデルの生成システム並びに高精度都市モデルの生成のプログラム
CN111652241B (zh) 融合影像特征与密集匹配点云特征的建筑物轮廓提取方法
US20200288102A1 (en) Image processing method and apparatus
CN107862674B (zh) 深度图像融合方法及***
CN111986074A (zh) 一种真正射影像制作方法、装置、设备及存储介质
JP6146731B2 (ja) 座標補正装置、座標補正プログラム、及び座標補正方法
Ebrahimikia et al. True orthophoto generation based on unmanned aerial vehicle images using reconstructed edge points
CN113838059B (zh) 一种基于要素级别的数字正射影像图生成方法
CN112002007A (zh) 基于空地影像的模型获取方法及装置、设备、存储介质
JP6156922B2 (ja) 三次元データ生成装置、三次元データ生成方法、及びプログラム
CN116051980A (zh) 基于倾斜摄影的建筑识别方法、***、电子设备及介质
KR102665543B1 (ko) 다시점 영상으로부터의 깊이지도 생성 장치 및 방법
CN111127474A (zh) 机载LiDAR点云辅助的正射影像镶嵌线自动选取方法及***
Yu et al. Digital Surface Model Generation based on Satellite Images
JP2004038514A (ja) 建物３次元形状復元方法と装置、及び建物３次元形状復元プログラムと該プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant