KR20230064380A - 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치 및 방법 - Google Patents

다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치 및 방법 Download PDF

Info

Publication number
KR20230064380A
KR20230064380A KR1020210149902A KR20210149902A KR20230064380A KR 20230064380 A KR20230064380 A KR 20230064380A KR 1020210149902 A KR1020210149902 A KR 1020210149902A KR 20210149902 A KR20210149902 A KR 20210149902A KR 20230064380 A KR20230064380 A KR 20230064380A
Authority
KR
South Korea
Prior art keywords
satellite
surface model
numerical surface
space
view
Prior art date
Application number
KR1020210149902A
Other languages
English (en)
Inventor
박순용
이민재
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020210149902A priority Critical patent/KR20230064380A/ko
Priority to PCT/KR2022/005243 priority patent/WO2023080359A1/ko
Publication of KR20230064380A publication Critical patent/KR20230064380A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

RPC(Rational Polynomial Coefficient)가 제공되지 않으며 쉽게 확보할 수 있는 위성 영상을 이용하여 지표면 물체의 3차원 수치표면 모델(Digital Surface Model, DSM)을 생성할 수 있는 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치 및 방법이 개시된다.

Description

다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치 및 방법{Apparatus and method for generating 3D DSM using multi-view and multi-time satellite images}
본 발명은 3차원 수치표면 모델 생성 장치 및 방법에 관한 것으로, 보다 상세하게는 RPC(Rational Polynomial Coefficient)가 제공되지 않으며 쉽게 확보할 수 있는 위성 영상을 이용하여 지표면 물체의 3차원 수치표면 모델(Digital Surface Model, DSM)을 생성할 수 있는 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치 및 방법에 관한 것이다.
일반적으로, 수치표면 모델(Digital Surface Model, DSM)은 지표면 물체의 3차원 형상을 수치로 표현한 것으로, 지표면의 3차원 형상 정보이기 때문에 다중 위성 영상을 이용해야 한다. 예를 들어, 다중 위성 영상과 함께 다중 위성 영상과 관련된 비례 다항 계수(Rational Polynomial Coefficient, RPC)를 제공받는 경우, 지표면 물체에 대한 3차원 수치표면 모델(Digital Surface Model, DSM)의 생성이 가능하다.
그러나, 지표면의 일정 지역에 대하여 고해상도 위성영상을 확보하는 것은 위성 영상의 판권을 가진 회사를 통하여 구입해야 하기에 큰 비용이 발생한다. 또한 기존의 위성 영상 판매기업에서는 지구의 특정 위치에 대한 다시점 영상을 확보하고 있지 않기 때문에 위성 보유 기업에 직접 촬영을 요청하거나 RPC 정보를 요청해야 하며, 이로 인해 3차원 수치표면 모델을 생성하는데 많은 비용이 발생하게 된다.
본 발명은 RPC(Rational Polynomial Coefficient)가 제공되지 않으며 쉽게 확보할 수 있는 위성 영상을 이용하여 지표면 물체의 3차원 수치표면 모델(Digital Surface Model, DSM)을 생성할 수 있는 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치 및 방법을 제공하기 위한 것이다.
본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 방법은 RPC(Rational Polynomial Coefficient)가 제공되지 않는 위성 영상을 이용하여 지표면 물체의 3차원 형상을 수치로 표현한 수치표면 모델을 생성하는 방법으로서, 자세 추정부에 의해, 촬영 일시가 다르고 위성 카메라의 시점이 다른 하나 이상의 다시점-다일시 위성 영상을 이용하여 상기 다시점-다일시 위성 영상을 촬영한 추정 위성 카메라의 자세 정보를 추정하는 단계; 제1 수치표면모델 복원부에 의해, 상기 추정 위성 카메라의 자세 정보와 상기 다시점-다일시 위성 영상을 이용하여 다시점 스테레오 정합에 의해 상기 추정 위성 카메라의 제1 3차원 수치표면 모델을 복원하는 단계; 3차원 호모그래피 산출부에 의해, 상기 추정 위성 카메라의 3차원 수치표면 모델 공간의 다수의 모서리점과, 지표면 물체의 수직 상공에 위치하는 것으로 상정된 가상 위성 카메라의 3차원 수치표면 모델 공간의 다수의 모서리점을 이용하여 3차원 호모그래피를 산출하는 단계; 및 제2 수치표면모델 복원부에 의해, 상기 3차원 호모그래피를 이용하여 상기 추정 위성 카메라의 제1 3차원 수치표면 모델 공간의 점들을 가상 위성 카메라 공간으로 변형하여 왜곡이 없는 제2 3차원 수치표면 모델을 생성하는 단계를 포함한다.
본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 방법은 수치표면모델 합성부에 의해, 상기 다시점-다일시 위성 영상과 대응되는 각 다시점에서 복원한 모든 제2 3차원 수치표면 모델을 합성하여 제3 3차원 수치표면 모델을 생성하는 단계를 더 포함할 수 있다.
상기 제1 3차원 수치표면 모델을 복원하는 단계는 역깊이 공간을 사용하는 다시점 스테레오 정합 처리를 수행하여 역깊이 영상을 생성하고, 상기 역깊이 영상의 깊이 값을 이용하여 상기 제1 3차원 수치표면 모델을 복원하는 단계를 포함할 수 있다.
상기 제1 3차원 수치표면 모델을 복원하는 단계는 각 추정 위성 카메라의 자세 정보와 상기 다시점-다일시 위성 영상을 이용하여 3차원 역깊이 공간을 정의하고 상기 3차원 역깊이 공간에서 다시점 스테레오 정합비용을 산출하는 단계; 상기 다시점 스테레오 정합 비용이 최소가 되는 최소 정합 비용 좌표를 구하고, 상기 최소 정합 비용 좌표를 지표면의 물체점으로 결정하여 상기 역깊이 영상을 생성하는 단계; 및 상기 역깊이 영상의 깊이 값과 상기 추정 위성 카메라의 자세 정보를 이용하여 상기 지표면 물체까지의 실제 깊이 값을 산출함으로써 상기 추정 위성 카메라의 3차원 수치표면 모델을 복원하는 단계를 포함할 수 있다.
상기 3차원 호모그래피를 산출하는 단계는 상기 추정 위성 카메라의 역깊이 영상에서 복원되어 비대칭 육면체 공간으로 왜곡된 상기 제1 3차원 수치표면 모델 공간의 8개 모서리점과, 상기 가상 위성 카메라의 직육면체 공간인 상기 제2 3차원 수치표면 모델 공간의 8개 모서리점을 이용하여 상기 3차원 호모그래피를 계산하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 방법은 위성 영상 수집부에 의해, 구글어스 데이터베이스로부터 상기 지표면 물체에 대한 위성 영상의 화면을 캡쳐함으로써 RPC가 제공되지 않는 상기 다시점-다일시 위성 영상을 수집하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 자세 추정부에 의해, 지표면 물체에 대해 획득된 하나 이상의 위성 영상을 이용하여 상기 위성 영상을 촬영한 추정 위성 카메라의 자세 정보를 추정하는 단계; 3차원 호모그래피 산출부에 의해, 상기 추정 위성 카메라의 왜곡된 3차원 수치표면 모델 공간의 다수의 모서리점과, 가상 위성 카메라의 왜곡되지 않은 3차원 수치표면 모델 공간의 다수의 모서리점을 이용하여 3차원 호모그래피를 산출하는 단계; 및 제1 수치표면모델 복원부에 의해 상기 위성 영상을 이용하여 다시점 스테레오 정합에 의해 복원된 상기 추정 위성 카메라의 제1 3차원 수치표면 모델 공간의 점들을, 제2 수치표면모델 복원부에 의해 상기 3차원 호모그래피를 이용하여 가상 위성 카메라 공간으로 변형하여 상기 지표면 물체에 대해 왜곡이 없는 3차원 수치표면 모델을 생성하는 단계를 포함한다.
본 발명의 실시예에 따르면, 상기 방법을 실행시키도록 컴퓨터로 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램이 제공된다.
본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치는 RPC(Rational Polynomial Coefficient)가 제공되지 않는 위성 영상을 이용하여 지표면 물체의 3차원 형상을 수치로 표현한 수치표면 모델을 생성하기 위한 장치로서, 촬영 일시가 다르고 위성 카메라의 시점이 다른 하나 이상의 다시점-다일시 위성 영상을 이용하여 상기 다시점-다일시 위성 영상을 촬영한 추정 위성 카메라의 자세 정보를 추정하도록 구성되는 자세 추정부; 상기 추정 위성 카메라의 자세 정보와 상기 다시점-다일시 위성 영상을 이용하여 다시점 스테레오 정합에 의해 상기 추정 위성 카메라의 제1 3차원 수치표면 모델을 복원하도록 구성되는 제1 수치표면모델 복원부; 상기 추정 위성 카메라의 3차원 수치표면 모델 공간의 다수의 모서리점과, 지표면 물체의 수직 상공에 위치하는 것으로 상정된 가상 위성 카메라의 3차원 수치표면 모델 공간의 다수의 모서리점을 이용하여 3차원 호모그래피를 산출하도록 구성되는 3차원 호모그래피 산출부; 및 상기 3차원 호모그래피를 이용하여 상기 추정 위성 카메라의 제1 3차원 수치표면 모델 공간의 점들을 가상 위성 카메라 공간으로 변형하여 왜곡이 없는 제2 3차원 수치표면 모델을 생성하도록 구성되는 제2 수치표면모델 복원부를 포함한다.
본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치는 상기 다시점-다일시 위성 영상과 대응되는 각 다시점에서 복원한 모든 제2 3차원 수치표면 모델을 합성하여 제3 3차원 수치표면 모델을 생성하도록 구성되는 수치표면모델 합성부를 더 포함할 수 있다.
상기 제1 수치표면모델 복원부는 역깊이 공간을 사용하는 다시점 스테레오 정합 처리를 수행하여 역깊이 영상을 생성하고, 상기 역깊이 영상의 깊이 값을 이용하여 상기 제1 3차원 수치표면 모델을 복원하도록 구성될 수 있다.
상기 제1 수치표면모델 복원부는 각 추정 위성 카메라의 자세 정보와 상기 다시점-다일시 위성 영상을 이용하여 3차원 역깊이 공간을 정의하고, 상기 3차원 역깊이 공간에서 다시점 스테레오 정합비용을 산출하고; 상기 다시점 스테레오 정합 비용이 최소가 되는 최소 정합 비용 좌표를 구하고, 상기 최소 정합 비용 좌표를 지표면의 물체점으로 결정하여 상기 역깊이 영상을 생성하고; 그리고 상기 역깊이 영상의 깊이 값과 상기 추정 위성 카메라의 자세 정보를 이용하여 상기 지표면 물체까지의 실제 깊이 값을 산출함으로써 상기 추정 위성 카메라의 3차원 수치표면 모델을 복원하도록 구성될 수 있다.
상기 3차원 호모그래피 산출부는 상기 추정 위성 카메라의 역깊이 영상에서 복원되어 비대칭 육면체 공간으로 왜곡된 상기 제1 3차원 수치표면 모델 공간의 8개 모서리점과, 상기 가상 위성 카메라의 직육면체 공간인 상기 제2 3차원 수치표면 모델 공간의 8개 모서리점을 이용하여 상기 3차원 호모그래피를 계산하도록 구성될 수 있다.
본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치는 구글어스 데이터베이스로부터 상기 지표면 물체에 대한 위성 영상의 화면을 캡쳐함으로써 RPC가 제공되지 않는 상기 다시점-다일시 위성 영상을 수집하도록 구성되는 위성 영상 수집부를 더 포함할 수 있다.
본 발명의 실시예에 의하면, RPC(Rational Polynomial Coefficient)가 제공되지 않으며 쉽게 확보할 수 있는 위성 영상을 이용하여 지표면 물체의 3차원 수치표면 모델(Digital Surface Model, DSM)을 생성할 수 있는 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치 및 방법이 제공된다.
도 1은 본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 방법의 순서도이다.
도 2는 본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치의 구성도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 방법을 설명하기 위한 개념도이다.
도 5는 도 1의 단계 S20을 구체적으로 나타낸 순서도이다.
도 6은 도 1의 단계 S20을 설명하기 위한 개념도이다.
도 7은 본 발명의 실시예에 따라 생성된 3차원 역깊이 공간의 예시도이다.
도 8 및 도 9는 추정 위성 카메라의 제1 3차원 수치표면모델 공간이 가상 위성 카메라의 3차원 제2 수치표면모델 공간으로부터 왜곡된 것을 나타낸 개념도이다.
도 10은 추정 위성 카메라의 제1 3차원 DSM 공간을 나타낸 예시도이다. 도 11은 가상 위성 카메라의 제2 3차원 DSM 공간을 나타낸 예시도이다.
본 명세서에서 사용되는 용어와 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것이므로, 본 발명이 용어와 도면에 의해 한정되는 것은 아니다. 본 발명에 이용되는 기술 중 본 발명의 사상과 밀접한 관련이 없는 공지의 기술에 관한 자세한 설명은 생략한다. 아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 또한, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 구체적으로, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
본 명세서 전체에서 사용되는 '~부' 및 '~모듈' 은 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA, ASIC, 하나 이상의 프로세서와 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부' 및 '~모듈'이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부' 및 '~모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 일 예로서 '~부' 및 '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터구조들, 테이블들, 어레이들 및 변수들을 포함할 수 있다. 구성요소와 '~부' 및 '~모듈'에서 제공하는 기능은 복수의 구성요소 및 '~부' 및 '~모듈'들에 의해 분리되어 수행될 수도 있고, 다른 추가적인 구성요소와 통합될 수도 있다.
도 1은 본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 방법의 순서도이다. 도 2는 본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치의 구성도이다. 도 3 및 도 4는 본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 방법을 설명하기 위한 개념도이다.
도 3은 다수의 다시점-다일시 위성 영상을 이용하여 지표면 물체에 대한 3차원 수치표면 모델을 생성하는 과정을 나타낸 것이고, 도 4는 다시점-다일시 위성 영상에서 한 장의 영상을 기준(reference) 영상으로 정하여 기준 영상만을 처리하여 지표면 물체에 대한 3차원 수치표면 모델을 생성하는 과정을 나타낸 것이다.
도 1 내지 도 4를 참조하면, 본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 방법은 예를 들어 구글어스(*** earth)와 같이 비례 다항 계수(Rational Polynomial Coefficient, RPC)가 제공되지 않으며 누구나 접근하여 확보할 수 있는 위성 영상을 이용하여 지표면 물체의 3차원 형상을 수치로 표현한 수치표면 모델(Digital Surface Model, DSM)을 생성하기 위해 제공된다.
본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치(100)는 위성 영상 수집부(110), 자세 추정부(120), 제1 수치표면모델 복원부(130), 3차원 호모그래피 산출부(140), 제2 수치표면모델 복원부(150), 및 수치표면모델 합성부(160)를 포함할 수 있다.
위성 영상 수집부(110)는 누구나 접근할 수 있는 구글어스 등의 위성 영상 데이터베이스로부터 지표면 물체에 대해 획득된 다수의 다시점-다일시 위성 영상을 수집할 수 있다. 위성영상 판매기업을 통해 구입한 영상은 RPC가 같이 제공되기 때문에 다시점 위성영상 사이의 일치하는 영상점 좌표와 RPC를 이용하여 영상점의 3차원 표면 정보를 구할 수 있다. 그러나, 구글어스와 같이 인터넷에 공개된 다시점-다일시 위성 영상의 경우, RPC가 제공되지 않기 때문에 다시점 2차원 영상 사이에 일치하는 영상점의 좌표를 구하더라도 3차원 좌표를 구하는 것이 불가능하다.
본 발명은 RPC가 제공되지 않는 다시점-다일시 위성 영상을 이용하여 3차원 수치표면 모델을 생성하기 위한 방안을 제시한다. 먼저, 구글어스 다시점-다일시 위성 영상의 특성에 대해 설명하면, 구글어스에서는 WGS84 좌표계를 기준으로 지표면의 영상을 제공하고 있다. 구글어스에서는 위성 카메라가 지표면을 수직으로 내려보고 있다고 가정하고 정사영상(Ortho-image)에 해당하는 지표면 영상을 제공한다. 그러나 실제로 지표면 영상을 획득한 위성은 대부분 지표면의 바로 수직 상공에 있지 않고 일정한 각도로 비스듬한 방향으로 지표면에 대한 위성 영상을 촬영한다.
위성에 장착된 카메라는 수직 아래의 지표면의 영상만을 획득하는 것이 아니고, 위성에서 보이는 다른 각도의 지표면의 영상을 촬영하도록 카메라의 시점을 이동하여 영상을 획득한다. 따라서 구글어스의 영상에서는 고도가 0에 가까운 지표면의 물체는 WGS84 좌표계와 최대한 일치하도록 조정되어 거의 동일한 영상 좌표를 가지고 있는 반면, 고도가 있는 물체의 경우 도 3에 도시된 다시점-다일시 위성 영상(10)과 같이 카메라의 촬영 각도 때문에 물체의 형상이 기울어지게 보이는 것을 확인할 수 있다.
예를 들어, 도 3에 도시된 다수의 다시점-다일시 위성 영상(10)에서 피라미드의 꼭대기는 고도가 높기 때문에 위성 카메라의 촬영 각도로 인하여 서로 다른 각도로 기울어진 형상으로 나타난다. 이는 위성이 동일 지역을 촬영하더라도 촬영 일시에 따라 위성 카메라의 시점이 변화하여 위성 영상을 촬영한 시점의 위성 카메라의 자세(위치 및 회전)가 서로 다르기 때문에 발생하는 현상으로, 이와 같이 여러 자세에서 위성 카메라에 의해 획득되는 위성 영상을 다시점-다일시 위성 영상으로 간주할 수 있다. 구글어스에서는 이와 같이 촬영 일시가 다르고 위성 카메라의 시점이 다른 다시점-다일시 위성 영상(10)을 쉽게 확보할 수 있다.
도 3의 다시점-다일시 위성 영상(10)은 위성 영상 수집부(110)에 의해 구글어스에서 동일한 지표면 영역(직사각형)을 캡쳐하여 획득된 위성 영상이다. 위성 영상 수집부(110)는 구글어스와 같은 위성 영상 데이터베이스에서 위성 카메라의 촬영일시를 변경하여 화면 캡쳐 등의 방법으로 여러장(대략 10장 내외)의 다시점-다일시 위성 영상(10)을 획득할 수 있다.
자세 추정부(120)는 촬영 일시가 다르고 위성 카메라의 시점이 다른 다수의 다시점-다일시 위성 영상(10)을 이용하여, 다시점-다일시 위성 영상(10)을 촬영한 원근투영 카메라 모델을 가진 추정 위성 카메라의 자세 정보(내부 자세 정보 및 외주 자세 정보)를 추정할 수 있다(S10). 자세 추정부(120)는 가상의 3차원 공간좌표(직교 좌표계)에서 각 추정 위성 카메라의 외부 자세, 즉 상대적인 회전 정보(R) 및 이동 정보(t)를 [R|t] 변환 행렬로 저장할 수 있다.
다시점-다일시 위성 영상의 RPC 정보가 없기 때문에 위성 영상을 획득한 실제 위성 카메라의 외부 자세를 정확히 알기는 어려우므로, 우선 다시점-다일시 위성 영상(10)을 이용하여 SFM(shape from motion) 알고리즘의 최적화 방법을 기반으로 실제 위성 카메라의 외부 자세를 추정하는 과정이 수행될 수 있다. 위성 카메라의 내부 자세는 원근투영모델(Perspective Projection model)을 따르도록 설정되거나 SFM 알고리즘의 추정값이 적용될 수 있다.
제1 수치표면모델 복원부(130)는 자세 추정부(120)에 의해 추정된 위성 카메라(추정 위성 카메라)의 자세 정보와, 다시점-다일시 위성 영상을 이용하여 다시점 스테레오 정합에 의해 추정 위성 카메라의 제1 3차원 수치표면 모델(40)을 복원할 수 있다(S20). 실시예에서, 제1 수치표면모델 복원부(130)는 역깊이 공간(inverse depth volume)(20)을 사용하는 다시점 스테레오 정합 알고리즘을 이용하여 역깊이 영상(30)을 생성하고, 추정 위성 카메라의 내부 및 외부 자세 정보를 사용하여 역깊이 영상(30)으로부터 제1 3차원 수치표면 모델(40)을 복원할 수 있다.
도 5는 도 1의 단계 S20을 구체적으로 나타낸 순서도이다. 도 6은 도 1의 단계 S20을 설명하기 위한 개념도이다. 도 1 내지 도 6을 참조하면, 제1 수치표면모델 복원부(130)는 정합비용 산출부(132), 역깊이 영상 생성부(134), 및 3차원 수치표면모델 복원부(136)를 포함할 수 있다.
정합비용 산출부(132)는 자세 추정부(120)에 의해 획득된 각 추정 위성 카메라의 자세 정보와 다시점-다일시 위성 영상(10)을 이용하여 3차원 역깊이 공간(20)을 정의하고, 3차원 역깊이 공간(20)에서 다시점 스테레오 정합비용을 산출할 수 있다(S22).
도 6의 실시예는 MVS(multi-view stereo matching) 기술 중의 하나인 EnSoft3D 방법으로 n장의 다시점-다일시 영상을 입력으로 n개의 역깊이 공간을 이용하여 스테레오 정합 비용을 구하고, 그 결과로 n장의 역깊이 영상을 생성하는 과정을 나타낸 것이다. MVS 기술을 사용할 때 각 시점 간의 일치점의 좌표 변환 과정은 다시점 위성 카메라 사이의 카메라 자세 정보를 활용하여 수행될 수 있다.
도 7은 본 발명의 실시예에 따라 생성된 3차원 역깊이 공간의 예시도이다. 도 1 내지 도 7을 참조하면, 역깊이 공간(20, 90)은 영상의 x 축 및 y 축과, 역깊이 (inverse depth)를 나타내는 d 축으로 구성될 수 있다. 여기서 x 축 및 y 축의 해상도는 위성 영상의 픽셀 해상도와 동일하며, d 축은 깊이를 어떤 해상도로 구분할 것이지에 따라서 Nd 해상도를 가질 수 있다. 역깊이 공간(20, 90)의 바닥면은 지표면(92)에 해당한다.
역깊이 공간(20, 90)의 점은 (x,y,d)로 표현할 수 있으며, (x,y,d)를 실제 깊이 공간으로 변환하는 과정에서 추정 위성 카메라의 내부 및 외부 자세 정보가 이용될 수 있다. 다시점 2차원 영상들 사이에서 동일한 물체점의 (x,y) 좌표를 찾는 것은 다시점 스테레오 정합(multi-view stereo matching, MVS) 문제와 동일하며, 깊이 공간(20, 90)의 다시점 스테레오 정합 비용이 최소인 (x,y,d)를 지표면의 물체점으로 결정할 수 있다.
역깊이 영상 생성부(134)는 정합비용 산출부(132)에 의해 산출되는 3차원 역깊이 공간(20)에서의 다시점 스테레오 정합 비용이 최소가 되는 최소 정합 비용 좌표 (x,y,d)를 구하고, 최소 정합 비용 좌표 (x,y,d)를 지표면의 물체점으로 결정하여 역깊이 영상(30)을 생성할 수 있다(S24).
3차원 수치표면모델 복원부(136)는 역깊이 영상 생성부(134)에 의해 생성된 역깊이 영상(30)의 깊이 값(d 값)과, 추정 위성 카메라의 자세 정보를 이용하여 추정 위성 카메라에서 지표면 물체까지의 실제 깊이 값을 산출함으로써 추정 위성 카메라의 제1 3차원 수치표면 모델(40)을 복원할 수 있다(S26). 이때, 추정 위성 카메라에서 지표면 물체까지의 실제 깊이 값은 하기 수학식 1에 따라 산출될 수 있다.
[수학식 1]
Figure pat00001
수학식 1에서, B는 임의의 기초선(baseline) 값, fx, fy, Ox, Oy는 추정 위성 카메라의 내부 자세 정보(추정 위성 카메라의 초점 및 기준 좌표), x, y, d는 역깊이 공간의 최소 정합 비용 좌표이다. 각 깊이 정보는 추정 위성 카메라의 좌표 공간에서 3차원 점 (x,y,z)으로 표현될 수 있다.
앞서 설명한 바와 같이, 구글어스 등의 인터넷에 공개된 위성 영상은 대부분 RPC가 제공되지 않는다. 추정 위성 카메라는 지표면의 수직 방향에 있지 않은 경우가 대부분이므로, RPC가 없는 다시점-다일시 위성 영상으로부터 MVS 알고리즘으로 위성 영상들 간의 일치점을 구하여 추정 위성 카메라의 좌표계를 기준으로 복원한 제1 3차원 수치표면모델은 실제 지표면 물체의 형상으로부터 왜곡(변형)이 발생한다. 이하에서는 왜곡된 제1 3차원 수치표면모델을 지표면의 수직 상공에 있는 것으로 상정되는 가상 위성 카메라의 좌표계로 변환하여 왜곡이 없는 정확한 제2 3차원 수치표면모델을 구하는 방법에 대해 설명한다.
먼저, 추정 위성 카메라의 좌표계를 기준으로 생성된 제1 3차원 수치표면모델의 왜곡 발생 이유에 대해 보다 구체적으로 설명한다. 도 8 및 도 9는 추정 위성 카메라의 제1 3차원 수치표면모델 공간이 가상 위성 카메라의 3차원 제2 수치표면모델 공간으로부터 왜곡된 것을 나타낸 개념도이다.
전술한 바와 같이, 각 위성 영상의 역깊이 공간 (x,y,d)을 추정 위성 카메라 좌표계를 기준으로 3차원 좌표 (X,Y,Z)로 변환하면 제1 3차원 수치표면모델이 복원되는데, 이때 3차원 역깊이 공간을 추정 위성 카메라 좌표계로 변환한 공간을 제1 3차원 수치표면모델 공간(66, 72)이라고 칭하기로 한다.
도 8 및 도 9에는 추정 위성 카메라(62)의 제1 3차원 수치표면모델 공간(66, 72)과, 지표면 수직 상공에 있는 것으로 상정된 가상 위성 카메라(64)의 제2 3차원 수치표면모델 공간(68, 74)이 도시되어 있다. 이러한 수치표면모델 공간(66, 68, 72, 74)은 카메라 좌표계를 기준으로 표현된다.
가상 위성 카메라(64)는 지표면의 DSM 공간의 높이에 비하여 고도가 매우 높고, 구글어스 등의 위성 영상은 원근투영(perspective projection) 왜곡이 없는 정사영상(ortho-image)을 가정하기 때문에 카메라 모델을 직교투영(othographic projection) 모델로 간주할 수 있다.
따라서 가상 위성 카메라(64)를 기준으로 보면 역깊이 공간을 복원한 제2 3차원 DSM 공간은 직육면체 공간이 되지만, 실제 지표면 물체를 촬영한 것으로 추정되는 추정 위성 카메라는 SFM 알고리즘을 사용하여 카메라의 내부 및 외부 자세 정보를 구하기 때문에 원근투영(perspective projection) 모델을 가정한다. 이와 같이 추정 위성 카메라는 원근투영 모델을 가지는 것으로 가정되므로, 역깊이 공간으로부터 복원된 제1 3차원 DSM 공간은 직육면체가 되지 못하고 왜곡이 있는 비대칭 육면체 공간이 된다.
도 8 및 도 9에서 제1 3차원 DSM 공간(66, 72)과 제2 3차원 DMS 공간(68, 74)의 각 모서리는 동일한 물체점이지만, 추정 위성 카메라의 DSM 공간 왜곡으로 인하여 지표면의 4점을 제외한 고도를 가진 공중에 뜬 4개의 모서리점은 서로 다른 좌표값을 가지게 되고, 이로 인하여 추정 위성 카메라(62)의 좌표계를 기준으로 복원된 제1 3차원 DSM은 그 형상에 왜곡이 발생하는 것이다.
비대칭 육면체로 왜곡되게 복원된 제1 3차원 DSM 공간(66, 72)을 직육면체 공간으로 변형하여 왜곡이 없는 가상 위성 카메라 좌표계의 제2 3차원 DSM 공간(68, 74)으로 복원하기 위하여, 3차원 호모그래피 산출부(140)는 추정 위성 카메라(62)의 제1 3차원 수치표면 모델 공간(66, 72)의 다수의 모서리점과, 지표면 물체의 수직 상공에 위치하는 가상 위성 카메라(64)의 제2 3차원 수치표면 모델 공간(68, 74)의 다수의 모서리점을 이용하여 3차원 호모그래피(3D Homography)를 산출할 수 있다(S30).
제2 수치표면모델 복원부(150)는 3차원 호모그래피 산출부(140)에 의해 산출된 3차원 호모그래피를 이용하여 추정 위성 카메라의 제1 3차원 수치표면 모델 공간(66, 72)의 점들을 가상 위성 카메라 공간으로 변형하여 왜곡이 없는 제2 3차원 수치표면 모델(50)을 생성할 수 있다(S40).
도 10은 추정 위성 카메라의 제1 3차원 DSM 공간을 나타낸 예시도이다. 도 11은 가상 위성 카메라의 제2 3차원 DSM 공간을 나타낸 예시도이다. 제1 3차원 DSM 공간으로부터 제2 3차원 수치표면 모델 공간으로의 3차원 공간 변형은 투영 카메라 모델과 직교 카메라 모델 간의 변형이므로, 15개의 미지수를 가진 3차원 호모그래피가 필요하다.
추정 위성 카메라(62)에서 가상 위성 카메라(64)로의 좌표계 변환은 역깊이 공간(20)의 8개의 모서리점의 좌표값을 이용하여 3차원 호모그래피를 적용하여 수행될 수 있다. 추정 위성 카메라 좌표계 기준으로 표현된 제1 3차원 DSM의 3차원 모서리점(84)을 X라 하고, 가상 위성카메라 좌표계 기준으로 표현된 DSM의 3차원 모서리점(88)을 X'라 하면, X와 X'의 관계는 3차원 호모그래피 관계에 있으므로 하기 수학식 2와 같이 나타낼 수 있다.
[수학식 2]
Figure pat00002
수학식 2에서,
Figure pat00003
는 가상 위성 카메라 좌표계 기준으로 표현된 DSM의 3차원 호모그래피 좌표로서, 하기 수학식 3과 같이 나타낼 수 있다.
[수학식 3]
Figure pat00004
수학식 3에서, M은 15개의 미지수(m1 내지 m15)를 가지는 3차원 호모그래피이다. X'와
Figure pat00005
의 관계는 하기 수학식 4와 같이 나타낼 수 있다.
[수학식 4]
Figure pat00006
Figure pat00007
와 X의 관계와, 두 DSM 공간의 동일한 모서리점 X와 X'의 좌표를 이용하여 하기 수학식 5 내지 수학식 7과 같은 연립방정식들을 구할 수 있다.
[수학식 5]
Figure pat00008
[수학식 6]
Figure pat00009
[수학식 7]
Figure pat00010
수학식 5 내지 수학식 7의 연립방정식들은 두 DSM 공간의 동일한 모서리점에서 구할 수 있다. DSM 공간은 8개의 모서리점으로 구성되므로, 각 모서리를 Xi와 Xi'로 표현하면 하기 수학식 8과 같이 24×15 행렬을 이용하여 AM = b 형태의 선형방정식을 구할 수 있다.
[수학식 8]
Figure pat00011
수학식 8과 같은 AM = b 형태의 선형방정식은 선형함수이므로 일반적인 수학툴을 이용하여 구할 수 있다. 3차원 호모그래피 행렬 M을 구한 후, 제1 수치표면모델 복원부(130)에 의해 단계 S20 과정에서 얻어진 제1 3차원 수치표면 모델(40, 82)의 모든 점들을 변환하면 지표면 수직 상공에 있는 가상 위성 카메라에서 획득한 것과 같은 정확한 DSM인 제2 3차원 수치표면 모델(50, 86)을 구할 수 있다.
즉, 각 추정 위성 카메라의 역깊이 영상에서 복원한 왜곡이 있는 제1 3차원 DSM 공간(비대칭 육면체 공간)의 8개 모서리점과, 가상 위성 카메라의 제2 3차원 DSM 공간(직육면체 공간)의 8개 모서리점을 이용하여 3차원 호모그래피를 계산하고, 계산된 3차원 호모그래피를 이용하여 추정 위성 카메라에서 복원한 왜곡된 제1 3차원 DSM(40, 82)의 모든 점들을 가상 위성 카메라 공간으로 3차원 변환하는 과정을 통해 왜곡이 없는 제2 3차원 DSM(50, 86)을 생성할 수 있다.
수치표면모델 합성부(160)는 각 다시점-다일시 위성 영상으로부터 가상 위성 카메라 좌표계로 변환되어 복원된 모든 왜곡이 없는 제2 3차원 DSM(50, 86)을 합성하여 최종적으로 하나 이상의 다시점-다일시 위성 영상으로부터 하나의 조밀하고 정밀한 제3 3차원 DSM(60)을 생성할 수 있다(S50). 이때, 수치표면모델 합성부(160)는 다수의 제2 3차원 DSM(50, 86)을 평균하거나 점군(point cloud)를 더하는 등의 방식으로 제3 3차원 DSM(60)을 생성할 수 있다.
한편, 도 4에 도시된 바와 같이 다시점-다일시 위성 영상 중 기준 영상을 이용한 역깊이 공간의 정합 비용의 계산은 앞서 설명한 바와 같은 MVS 알고리즘을 사용하여 동일하게 수행될 수 있다. MVS 알고리즘을 사용하여 역깊이 공간에서 정합 비용이 최소인 (x,y,d)를 지표면 물체점으로 결정하여 역깊이 영상을 획득하고 3차원 DSM을 복원한 후, 가상 위성 카메라 좌표계로 변환하는 과정은 다수의 다시점-다일시 위성 영상을 이용하여 3차원 DSM을 복원하는 과정과 동일하다.
상술한 바와 같은 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치 및 방법은 누구나 구할 수 있는 공개 위성 영상을 이용하여 지표면의 3차원 수치모델을 생성하는데 활용될 수 있으며, 특히 원격 탐사나 군사 시설 탐사, 자율주행을 위한 도로 지형 탐사 등의 다양한 목적 및 용도로 활용될 수 있다.
이상의 실시 예들은 본 발명의 이해를 돕기 위하여 제시된 것으로, 본 발명의 범위를 제한하지 않으며, 이로부터 다양한 변형 가능한 실시 예들도 본 발명의 범위에 속하는 것임을 이해하여야 한다. 본 발명의 기술적 보호범위는 특허청구범위의 기술적 사상에 의해 정해져야 할 것이며, 본 발명의 기술적 보호범위는 특허청구범위의 문언적 기재 그 자체로 한정되는 것이 아니라 실질적으로는 기술적 가치가 균등한 범주의 발명까지 미치는 것임을 이해하여야 한다.
10 : 다시점-다일시 위성 영상
20 : 역깊이 공간
30 : 역깊이 영상
40 : 제1 3차원 수치표면 모델
50 : 제2 3차원 수치표면 모델
60 : 제3 3차원 수치표면 모델
100 : 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치
110 : 위성 영상 수집부
120 : 자세 추정부
130 : 제1 수치표면모델 복원부
132 : 정합비용 산출부
134 : 역깊이 영상 생성부
136 : 3차원 수치표면모델 복원부
140 : 3차원 호모그래피 산출부
150 : 제2 수치표면모델 복원부
160 : 수치표면모델 합성부

Claims (15)

  1. RPC(Rational Polynomial Coefficient)가 제공되지 않는 위성 영상을 이용하여 지표면 물체의 3차원 형상을 수치로 표현한 수치표면 모델을 생성하는 방법으로서,
    자세 추정부에 의해, 촬영 일시가 다르고 위성 카메라의 시점이 다른 하나 이상의 다시점-다일시 위성 영상을 이용하여 상기 다시점-다일시 위성 영상을 촬영한 추정 위성 카메라의 자세 정보를 추정하는 단계;
    제1 수치표면모델 복원부에 의해, 상기 추정 위성 카메라의 자세 정보와 상기 다시점-다일시 위성 영상을 이용하여 다시점 스테레오 정합에 의해 상기 추정 위성 카메라의 제1 3차원 수치표면 모델을 복원하는 단계;
    3차원 호모그래피 산출부에 의해, 상기 추정 위성 카메라의 3차원 수치표면 모델 공간의 다수의 모서리점과, 지표면 물체의 수직 상공에 위치하는 것으로 상정된 가상 위성 카메라의 3차원 수치표면 모델 공간의 다수의 모서리점을 이용하여 3차원 호모그래피를 산출하는 단계; 및
    제2 수치표면모델 복원부에 의해, 상기 3차원 호모그래피를 이용하여 상기 추정 위성 카메라의 제1 3차원 수치표면 모델 공간의 점들을 가상 위성 카메라 공간으로 변형하여 왜곡이 없는 제2 3차원 수치표면 모델을 생성하는 단계를 포함하는 방법.
  2. 청구항 1에 있어서,
    수치표면모델 합성부에 의해, 상기 다시점-다일시 위성 영상과 대응되는 각 다시점에서 복원한 모든 제2 3차원 수치표면 모델을 합성하여 제3 3차원 수치표면 모델을 생성하는 단계를 더 포함하는 방법.
  3. 청구항 1에 있어서,
    상기 제1 3차원 수치표면 모델을 복원하는 단계는 역깊이 공간을 사용하는 다시점 스테레오 정합 처리를 수행하여 역깊이 영상을 생성하고, 상기 역깊이 영상의 깊이 값을 이용하여 상기 제1 3차원 수치표면 모델을 복원하는 단계를 포함하는 방법.
  4. 청구항 3에 있어서,
    상기 제1 3차원 수치표면 모델을 복원하는 단계는:
    각 추정 위성 카메라의 자세 정보와 상기 다시점-다일시 위성 영상을 이용하여 3차원 역깊이 공간을 정의하고 상기 3차원 역깊이 공간에서 다시점 스테레오 정합비용을 산출하는 단계;
    상기 다시점 스테레오 정합 비용이 최소가 되는 최소 정합 비용 좌표를 구하고, 상기 최소 정합 비용 좌표를 지표면의 물체점으로 결정하여 상기 역깊이 영상을 생성하는 단계; 및
    상기 역깊이 영상의 깊이 값과 상기 추정 위성 카메라의 자세 정보를 이용하여 상기 지표면 물체까지의 실제 깊이 값을 산출함으로써 상기 추정 위성 카메라의 3차원 수치표면 모델을 복원하는 단계를 포함하는 방법.
  5. 청구항 4에 있어서,
    상기 3차원 호모그래피를 산출하는 단계는:
    상기 추정 위성 카메라의 역깊이 영상에서 복원되어 비대칭 육면체 공간으로 왜곡된 상기 제1 3차원 수치표면 모델 공간의 8개 모서리점과, 상기 가상 위성 카메라의 직육면체 공간인 상기 제2 3차원 수치표면 모델 공간의 8개 모서리점을 이용하여 상기 3차원 호모그래피를 계산하는 단계를 포함하는 방법.
  6. 청구항 1에 있어서,
    위성 영상 수집부에 의해, 구글어스 데이터베이스로부터 상기 지표면 물체에 대한 위성 영상의 화면을 캡쳐함으로써 RPC가 제공되지 않는 상기 다시점-다일시 위성 영상을 수집하는 단계를 더 포함하는 방법.
  7. 청구항 1에 있어서,
    상기 지표면 물체와 관련된 다수의 위성 영상으로부터 하나 이상의 기준 영상을 생성하고, 상기 기준 영상에 해당하는 상기 다시점-다일시 위성 영상으로부터 상기 3차원 수치표면 모델을 생성하는 방법.
  8. 자세 추정부에 의해, 지표면 물체에 대해 획득된 하나 이상의 위성 영상을 이용하여 상기 위성 영상을 촬영한 추정 위성 카메라의 자세 정보를 추정하는 단계;
    3차원 호모그래피 산출부에 의해, 상기 추정 위성 카메라의 왜곡된 3차원 수치표면 모델 공간의 다수의 모서리점과, 가상 위성 카메라의 왜곡되지 않은 3차원 수치표면 모델 공간의 다수의 모서리점을 이용하여 3차원 호모그래피를 산출하는 단계; 및
    제1 수치표면모델 복원부에 의해 상기 위성 영상을 이용하여 다시점 스테레오 정합에 의해 복원된 상기 추정 위성 카메라의 제1 3차원 수치표면 모델 공간의 점들을, 제2 수치표면모델 복원부에 의해 상기 3차원 호모그래피를 이용하여 가상 위성 카메라 공간으로 변형하여 상기 지표면 물체에 대해 왜곡이 없는 3차원 수치표면 모델을 생성하는 단계를 포함하는 방법.
  9. 청구항 1 내지 청구항 8 중 어느 한 항의 방법을 실행시키도록 컴퓨터로 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램.
  10. RPC(Rational Polynomial Coefficient)가 제공되지 않는 위성 영상을 이용하여 지표면 물체의 3차원 형상을 수치로 표현한 수치표면 모델을 생성하기 위한 장치로서,
    촬영 일시가 다르고 위성 카메라의 시점이 다른 하나 이상의 다시점-다일시 위성 영상을 이용하여 상기 다시점-다일시 위성 영상을 촬영한 추정 위성 카메라의 자세 정보를 추정하도록 구성되는 자세 추정부;
    상기 추정 위성 카메라의 자세 정보와 상기 다시점-다일시 위성 영상을 이용하여 다시점 스테레오 정합에 의해 상기 추정 위성 카메라의 제1 3차원 수치표면 모델을 복원하도록 구성되는 제1 수치표면모델 복원부;
    상기 추정 위성 카메라의 3차원 수치표면 모델 공간의 다수의 모서리점과, 지표면 물체의 수직 상공에 위치하는 것으로 상정된 가상 위성 카메라의 3차원 수치표면 모델 공간의 다수의 모서리점을 이용하여 3차원 호모그래피를 산출하도록 구성되는 3차원 호모그래피 산출부; 및
    상기 3차원 호모그래피를 이용하여 상기 추정 위성 카메라의 제1 3차원 수치표면 모델 공간의 점들을 가상 위성 카메라 공간으로 변형하여 왜곡이 없는 제2 3차원 수치표면 모델을 생성하도록 구성되는 제2 수치표면모델 복원부를 포함하는 장치.
  11. 청구항 10에 있어서,
    상기 다시점-다일시 위성 영상과 대응되는 각 다시점에서 복원한 모든 제2 3차원 수치표면 모델을 합성하여 제3 3차원 수치표면 모델을 생성하도록 구성되는 수치표면모델 합성부를 더 포함하는 장치.
  12. 청구항 10에 있어서,
    상기 제1 수치표면모델 복원부는 역깊이 공간을 사용하는 다시점 스테레오 정합 처리를 수행하여 역깊이 영상을 생성하고, 상기 역깊이 영상의 깊이 값을 이용하여 상기 제1 3차원 수치표면 모델을 복원하도록 구성되는 장치.
  13. 청구항 12에 있어서,
    상기 제1 수치표면모델 복원부는:
    각 추정 위성 카메라의 자세 정보와 상기 다시점-다일시 위성 영상을 이용하여 3차원 역깊이 공간을 정의하고, 상기 3차원 역깊이 공간에서 다시점 스테레오 정합비용을 산출하고;
    상기 다시점 스테레오 정합 비용이 최소가 되는 최소 정합 비용 좌표를 구하고, 상기 최소 정합 비용 좌표를 지표면의 물체점으로 결정하여 상기 역깊이 영상을 생성하고; 그리고
    상기 역깊이 영상의 깊이 값과 상기 추정 위성 카메라의 자세 정보를 이용하여 상기 지표면 물체까지의 실제 깊이 값을 산출함으로써 상기 추정 위성 카메라의 3차원 수치표면 모델을 복원하도록 구성되는 장치.
  14. 청구항 13에 있어서,
    상기 3차원 호모그래피 산출부는:
    상기 추정 위성 카메라의 역깊이 영상에서 복원되어 비대칭 육면체 공간으로 왜곡된 상기 제1 3차원 수치표면 모델 공간의 8개 모서리점과, 상기 가상 위성 카메라의 직육면체 공간인 상기 제2 3차원 수치표면 모델 공간의 8개 모서리점을 이용하여 상기 3차원 호모그래피를 계산하도록 구성되는 장치.
  15. 청구항 10에 있어서,
    구글어스 데이터베이스로부터 상기 지표면 물체에 대한 위성 영상의 화면을 캡쳐함으로써 RPC가 제공되지 않는 상기 다시점-다일시 위성 영상을 수집하도록 구성되는 위성 영상 수집부를 더 포함하는 장치.
KR1020210149902A 2021-11-03 2021-11-03 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치 및 방법 KR20230064380A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210149902A KR20230064380A (ko) 2021-11-03 2021-11-03 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치 및 방법
PCT/KR2022/005243 WO2023080359A1 (ko) 2021-11-03 2022-04-12 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210149902A KR20230064380A (ko) 2021-11-03 2021-11-03 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230064380A true KR20230064380A (ko) 2023-05-10

Family

ID=86241187

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210149902A KR20230064380A (ko) 2021-11-03 2021-11-03 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20230064380A (ko)
WO (1) WO2023080359A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292882A (ja) * 2004-03-31 2005-10-20 Remoto Sensing Technology Center Of Japan 画像補正処理システム
JP3874363B1 (ja) * 2005-10-14 2007-01-31 三菱電機株式会社 位置評定装置、位置評定方法および位置評定プログラム
US10430961B2 (en) * 2015-12-16 2019-10-01 Objectvideo Labs, Llc Using satellite imagery to enhance a 3D surface model of a real world cityscape
JP2020008802A (ja) * 2018-07-12 2020-01-16 株式会社日立製作所 三次元マップ生成装置および三次元マップ生成方法
KR102610989B1 (ko) * 2019-12-26 2023-12-08 한국전자통신연구원 위성영상을 이용한 수치표면모델 생성 방법 및 장치

Also Published As

Publication number Publication date
WO2023080359A1 (ko) 2023-05-11

Similar Documents

Publication Publication Date Title
JP6483075B2 (ja) 場面の３ｄパノラマモザイキングの方法
US5821943A (en) Apparatus and method for recreating and manipulating a 3D object based on a 2D projection thereof
EP2656309B1 (en) Method for determining a parameter set designed for determining the pose of a camera and for determining a three-dimensional structure of the at least one real object
JP4839237B2 (ja) ３次元形状復元方法，３次元形状復元装置，その方法を実装した３次元形状復元プログラム及びそのプログラムを記録した記録媒体
US20170223338A1 (en) Three dimensional scanning system and framework
CN110246221A (zh) 真正射影像获得方法及装置
KR19990028281A (ko) 패럴랙스에 기반을 둔 기술을 사용한 이미지 조합 방법 및 시스템
Bagheri et al. A framework for SAR-optical stereogrammetry over urban areas
JP7502440B2 (ja) 環境のトポグラフィを測定するための方法
JP2016057092A (ja) Ｓａｒ図からの立体地形図形成方法
JP2020008802A (ja) 三次元マップ生成装置および三次元マップ生成方法
JP4354708B2 (ja) 多視点カメラシステム
US10346949B1 (en) Image registration
WO1996034365A1 (en) Apparatus and method for recreating and manipulating a 3d object based on a 2d projection thereof
Ono et al. Digital mapping using high resolution satellite imagery based on 2D affine projection model
KR20230064380A (ko) 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치 및 방법
Bastanlar et al. 3D reconstruction for a cultural heritage virtual tour system
US11790606B2 (en) Determining camera rotations based on known translations
Maimone et al. A taxonomy for stereo computer vision experiments
Kim et al. Free-viewpoint based high-resolution 3D data acquisition and generation technology for the construction and diffusion of digital cultural assets
Hu et al. Precision 3D surface reconstruction from LRO NAC images using semi-global matching with coupled epipolar rectification
Zhang et al. Adaptive Hierarchical Dense Matching of Multi-View Airborne Oblique Imagery
Ding et al. 3D georegistration of wide area motion imagery by combining SFM and chamfer alignment of vehicle detections to vector roadmaps
Ahmadabadian Photogrammetric multi-view stereo and imaging network design
Sarti et al. Image-based surface modeling: a multi-resolution approach

Legal Events

Date Code Title Description
E902 Notification of reason for refusal