KR101132272B1 - 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법 - Google Patents

영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법 Download PDF

Info

Publication number
KR101132272B1
KR101132272B1 KR1020100061160A KR20100061160A KR101132272B1 KR 101132272 B1 KR101132272 B1 KR 101132272B1 KR 1020100061160 A KR1020100061160 A KR 1020100061160A KR 20100061160 A KR20100061160 A KR 20100061160A KR 101132272 B1 KR101132272 B1 KR 101132272B1
Authority
KR
South Korea
Prior art keywords
image
resolution
multispectral
fusion
black
Prior art date
Application number
KR1020100061160A
Other languages
English (en)
Other versions
KR20120000736A (ko
Inventor
김용일
최재완
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020100061160A priority Critical patent/KR101132272B1/ko
Publication of KR20120000736A publication Critical patent/KR20120000736A/ko
Application granted granted Critical
Publication of KR101132272B1 publication Critical patent/KR101132272B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법에 관한 것으로, (a) 고해상도 위성들에 의해 제공된 멀티스펙트럴 영상과 고해상도의 흑백영상이 입력자료로 메인 메모리에 입력되고, 기하보정 과정과 이중3차 보간법이 포함된 메인 메모리 내의 프로그램을 이용해 상기 두 영상 간의 좌표와 크기가 일치되는 단계와; (b) 상기 단계(a)를 거친 멀티스펙트럴 영상과 고해상도의 흑백영상 및 일정한 수학식이 포함된 메인 메모리 내의 프로그램을 이용해 가상의 저해상도 흑백영상
Figure 112010041440750-pat00228
이 생성되는 단계, 및 (c) 상기 단계(a)를 거친 멀티스펙트럴 영상과 고해상도의 흑백영상과 상기 단계(b)의 가상의 저해상도 흑백영상 및 일정한 수학식이 포함된 메인 메모리 내의 프로그램을 이용해 융합된 고해상도의 멀티스펙트럴 영상
Figure 112010041440750-pat00229
이 생성되는 단계로 구성됨으로써, 다양한 고해상도 위성센서들에 대하여 높은 공간해상도를 가지며 원 멀티스펙트럴 영상의 분광특징을 보존한 최적의 융합 영상을 생성할 수 있는 효과가 있다.

Description

영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법 {A method for pan-sharpening of high-spatial resolution satellite image by using parameter reflecting spectral and spatial characteristics of image}
본 발명은 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법에 관한 것으로, 보다 상세하게는 다양한 고해상도 위성센서들에 대하여 높은 공간해상도를 가지며 원 멀티스펙트럴 영상의 분광특징을 보존한 최적의 융합 영상을 생성할 수 있는, 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법에 관한 것이다.
일반적으로 고해상도 위성영상을 제공하는 다양한 위성센서들은 높은 해상도의 흑백영상과 다양한 분광 파장대를 지니는 멀티스펙트럴 영상을 동시에 제공하고 있다.
원격탐사 분야에 있어, 고해상도의 멀티스펙트럴 영상을 생성하는 것이 이상적이지만, 센서로 유입되는 방사에너지와 센서에 저장이 가능한 자료의 저장용량 사이의 기술적/물리적 한계로 인하여 고해상도의 멀티스펙트럴 영상은 센서에서 직접 제공할 수 없다. 이러한 문제로 인하여 높은 공간해상도의 흑백영상을 이용하여 멀티스펙트럴 영상의 공간해상도를 강제적으로 증가시키는 알고리즘이 영상융합(image fusion 혹은 Pan-sharpening)이라는 기술명으로 제안되고 있다.
원격탐사 분야에 적용된 영상융합 기술들은 크게 영상의 성분 대체(Component-Substitution, 이하 'CS'라 함.) 기법과 다중해상도분석(Multi-Resolution Analysis, 이하 'MRA'라 함) 기법으로 나뉠 수 있는데, CS 기법들은 흑백영상의 공간해상도를 그대로 유지되는 공간해상도 및 시각적 판독력 측면에서 좋은 품질의 융합 영상을 얻을 수 있지만, 융합영상의 분광정보가 왜곡되어 융합영상의 색상이 변질되는 문제점을 지니고 있으며 MRA 기법들은 CS 기법들에 비하여 원 멀티스펙트럴 영상의 분광정보가 효과적으로 보존된 융합영상을 생성해 내는 장점을 지니고 있지만, 융합 영상 내에 블러링(blurring)이 발생하는 등의 공간해상도가 저하되는 문제점을 지니고 있다.
융합영상은 높은 공간해상도에 따르는 영상 지도의 기능 및 토지 내의 다양한 개체 분석 기능과 더불어 분광정보를 이용한 고해상도의 토지피복 분석에 적용되는 기본 자료로 활용되기 때문에 융합 영상의 분광/공간 정보가 왜곡될 경우, 효과적인 분석을 할 수 없는 문제점을 지니고 있다. 특히, MRA기반의 융합 알고리즘들은 흑백영상의 공간해상도 저하의 문제가 크다고 알려져 있기 때문에 현재, 대부분의 상용소프트웨어에서는 일정량의 분광정보 왜곡의 문제점에도 불구하고 CS기반의 융합 알고리즘을 개발하여 사용자들에게 제공하고 있는 실정이다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 멀티스펙트럴 영상과 고해상도의 흑백영상을 동시에 제공하는 위성의 효과적인 사용을 위하여 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법을 제공하는 데 있다.
특히, 본 발명은 멀티스펙트럴 영상과 흑백영상간의 분광 특성 및 공간유사도를 통하여 CS 기반의 융합방법에서 발생하는 분광왜곡을 최소화시켜 일반적인 융합영상 생성 방법에서 분광왜곡량과 공간해상도 보존력간의 반비례관계에 따른 융합영상의 품질저하 문제를 해결하고자 하고, 또한, 사용자의 영상 사용 목적에 따라서 융합 영상의 공간해상도를 강제적으로 증가시키는 후처리 기법을 통해 최적의 융합 영상 생성 방법을 제공하고자 한다.
상기와 같은 목적을 달성하기 위하여, 본 발명은
(a) 고해상도 위성들에 의해 제공된 멀티스펙트럴 영상과 고해상도의 흑백영상이 입력자료로 메인 메모리에 입력되고, 기하보정 과정과 이중3차 보간법이 포함된 메인 메모리 내의 프로그램을 이용해 상기 두 영상 간의 좌표와 크기가 일치되는 단계와;
(b) 상기 단계(a)를 거친 멀티스펙트럴 영상과 고해상도의 흑백영상 및 다음의 수학식이 포함된 메인 메모리 내의 프로그램을 이용해 가상의 저해상도 흑백영상
Figure 112010041440750-pat00001
이 생성되는 단계, 및
Figure 112010041440750-pat00002
(여기서, α0 및 αn 은 회귀계수,
Figure 112010041440750-pat00003
은 가상의 저해상도 흑백영상,
Figure 112010041440750-pat00004
은 총 N개의 밴드를 가지고 있는 n번째 밴드의 멀티스펙트럴 영상)
(c) 상기 단계(a)를 거친 멀티스펙트럴 영상과 고해상도의 흑백영상과 상기 단계(b)의 가상의 저해상도 흑백영상 및 다음의 수학식이 포함된 메인 메모리 내의 프로그램을 이용해 융합된 고해상도의 멀티스펙트럴 영상
Figure 112010041440750-pat00005
이 생성되는 단계
Figure 112010041440750-pat00006
(여기서,
Figure 112010041440750-pat00007
는 고해상도 흑백영상,
Figure 112010041440750-pat00008
은 가상의 저해상도 흑백영상, ωn 은 융합 계수,
Figure 112010041440750-pat00009
은 멀티스펙트럴 영상)
로 구성되는 것을 그 기본 특징으로 한다.
또한, 본 발명은 상기 단계(c)에서 생성된
Figure 112010041440750-pat00010
의 공간해상도를 강조하기 위하여 라플라시안 필터가 포함된 메인 메모리 내의 프로그램을 이용하여
Figure 112010041440750-pat00011
의 밴드별 고주파 정보
Figure 112010041440750-pat00012
가 추출되고 다음의 수학식, 즉,
Figure 112010041440750-pat00013
(여기서,
Figure 112010041440750-pat00014
는 융합된 고해상도의 멀티스펙트럴 영상, ωn 은 융합 계수,
Figure 112010041440750-pat00015
는
Figure 112010041440750-pat00016
의 밴드별 고주파 정보)이 포함된 메인 메모리 내의 프로그램을 이용해 공간해상도가 증가된 고해상도의 멀티스펙트럴 영상
Figure 112010041440750-pat00017
이 생성되는 단계가 추가로 구성될 수도 있다.
이상에서 살펴본, 본 발명인 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법은 다양한 고해상도 위성센서들에 대하여 높은 공간해상도를 가지며 원 멀티스펙트럴 영상의 분광특징을 보존한 최적의 융합 영상을 생성할 수 있는 효과가 있다.
특히, 본 발명은 멀티스펙트럴 영상과 흑백영상간의 분광 특성 및 공간유사도를 통하여 CS 기반의 융합방법에서 발생하는 분광왜곡을 최소화시켜 일반적인 융합영상 생성 방법에서 분광왜곡량과 공간해상도 보존력간의 반비례관계에 따른 융합영상의 품질저하 문제를 해결할 수 있고, 사용자의 영상 사용 목적에 따라서 융합 영상의 공간해상도를 강제적으로 증가시킬 수 있는 효과가 있다.
도 1 은 본 발명에 따른 과정의 개략적인 블록도를 나타낸 도면.
도 2 는 본 발명에 따른 자료 입력 및 전처리 단계를 나타낸 도면.
도 3 은 본 발명에 따른 가상의 저해상도 영상 생성 단계를 나타낸 도면.
도 4 는 융합 계수를 이용한 영상융합 방법이 실제 자료에 적용된 예시 영상을 나타낸 도면.
도 5 는 추출된 영상 융합 계수를 이용하여 영상 융합을 수행하게 되는 단계를 나타낸 도면.
도 6 은 도 5를 이용하여 생성한 융합 영상의 일실시예를 나타낸 도면.
도 7 은 본 발명에 따른 융합영상의 공간해상도 향상을 위한 후처리 단계를 나타낸 도면.
도 8 은 도 7을 이용하여 생성한 공간해상도가 증가된 융합 영상의 일실시예를 나타낸 도면.
도 9 는 원격탐사 분야의 영상융합 방법을 도식화한 도면.
도 10 은 도 9를 전체 멀티스펙트럴 영상으로 표현하여 재구성한 도면.
상기와 같이 구성된 본 발명의 바람직한 실시예를 첨부된 도면을 참조하면서 상세히 설명하면 다음과 같다.
본 발명의 영상융합 방법은 원격탐사 분야 내 위성영상의 CS 융합기법에 의거하여 이루어진다. 멀티스펙트럴 영상과 흑백영상을 이용하여 구한 가상의 저해상도 영상을 이용하여 영상 간의 공간 유사도 및 분광특징에 따른 통계적 변수를 추출하며 이를 통하여 전역적/지역적 특성에 기반한 영상 융합을 수행한다. 최종적으로 융합영상의 목적에 따라서 공간해상도 증가를 위한 후처리 방법도 제공되어 진다.
도 1은 상기 발명의 구성을 바탕으로 제안하는 과정의 개략적인 블록도이다. 도 1에 도시된 바와 같이 본 발명은 원 멀티스펙트럴 영상(10)과 고해상도 흑백영상(20)의 화소 기반의 좌표를 표준화하고 멀티스펙트럴 영상의 크기를 흑백영상과 동일하게 조정하는 자료 입력 및 전처리 단계(100), 멀티스펙트럴 영상과 흑백영상간의 회귀분석을 통하여 가상의 저해상도 영상을 생성하는 단계(200), 영상 간 최적의 융합 계수 기반의 전역적/지역적 영상 융합을 수행하는 단계(300), 융합영상의 공간해상도를 추가적으로 향상시키기 위한 후처리 단계(400) 및 각각의 단계에서 사용되는 방법론으로 구성된다. 이들 단계별 목적은 아래와 같다.
(100) 자료 입력 및 전처리 단계 : 원 멀티스펙트럴 영상과 고해상도 흑백영상 간의 공간적 위치와 각 영상의 크기를 통일시키는 과정이다. 원격탐사 분야의 영상융합은 각 화소의 위치가 동일한 좌표에 위치하여야 한다는 가정을 기반으로 수행되기 때문에 두 영상간의 크기 및 좌표를 일치시키는 과정을 수행한다.
(200) 가상의 저해상도 영상 생성 단계 : CS 기반의 영상융합 방법에서 흑백영상 내에 존재하는 고주파 정보를 추출하기 위하여 필요한 가상의 저해상도 영상을 생성하는 과정이다. 가상의 저해상도 영상은 흑백영상과 동일한 분광특성을 가지며, 멀티스펙트럴 영상과 동일한 공간해상도를 지니게 된다.
(300) 영상 간 최적의 융합 계수 기반의 전역적/지역적 영상 융합을 수행하는 단계 : 가상의 저해상도 영상과 멀티스펙트럴 영상 사이에 존재하는 공간 유사도와 화소값의 통계적인 특징을 이용하여 융합을 위하여 영상의 공간 및 분광특성이 반영된 최적의 계수를 산출하게 되며, 이를 전역적/지역적 CS 기반 융합 방법에 적용하여 융합영상을 생성한다.
(400) 융합영상의 공간해상도를 추가적으로 향상시키기 위한 후처리 단계 : 생성된 초기 융합 영상의 경우, 분광정보의 보존에 가장 큰 장점을 가지고 있기 때문에, 사용자의 사용목적에 따라서 시각적 판독력이 더욱 높은 융합 영상이 필요할 수 있다. 이를 위하여 융합에 사용된 최적의 융합계수와 융합영상을 이용하여 융합영상의 공간해상도를 추가적으로 향상시키는 후처리 작업을 수행한다.
이하에서는 이러한 영상 융합 절차를 상세히 설명하기로 한다.
1. 자료 입력 및 전처리 단계
영상 융합을 위해서는 융합과정에 입력되는 영상들의 동일 위치에 있는 화소들은 같은 좌표를 가지고 있어야만 한다. 일반적으로, 지오아이-1(Geoeye-1), 아이코노스-2(IKONOS-2), 퀵버드-2(QuickBird-2), 월드뷰-2(WorldView-2), 다목적실용위성 2호(KOMPSAT-2) 등과 같은 고해상도 위성들은 경위도 좌표계로 투영되어 위치 좌표가 등록된 멀티스펙트럴 영상과 고해상도의 흑백영상을 동시에 제공하고 있지만, 좌표가 정확히 일치하지 않는 경우 원격탐사 분야에서 전처리 과정으로 행하여지는 기하보정 과정을 수행한다(101). 여기서, 상기 멀티스펙트럴 영상과 고해상도의 흑백영상은 전처리 과정을 위해 입력자료로 메인 메모리에 입력되어 진다.
그러나, 두 영상이 동일한 좌표(지리적 좌표)를 가지고 있음에도 불구하고 공간해상도의 차이로 인하여 멀티스펙트럴 영상의 크기는 흑백영상에 대하여 두 영상간 공간해상도의 차이만큼 작기 때문에, 두 영상간의 크기를 일치시키기 위하여 재배열(resampling) 과정을 수행하게 된다.
위성영상은 최근린 보간법(nearest neighbor interpolation), 이중선형 보간법(bilinear interpolation), 이중3차 보간법(bicubic interpolation) 등을 이용하여 재배열이 이루어지는데, 최근린 보간법의 경우, 멀티스펙트럴 영상 자체가 가지고 있는 공간특징이 왜곡되는 문제가 있기 때문에, 본 발명에서는 이중3차 보간법(102)을 이용하여 멀티스펙트럴 영상의 크기를 흑백영상의 크기와 동일하게 변환시킨 멀티스펙트럴 영상(119) 및 흑백영상(129)을 생성한다(도 2).
한편, 상기 기하보정 과정과 이중3차 보간법의 수행은 이를 컴퓨터로 수행하기 위해 프로그램 언어를 통해 직접 알고리즘을 코딩하여 메인 메모리 내에 저장된 프로그램에 의해 이루어진다.
2. 가상의 저해상도 영상 생성 단계
일반적으로 원격탐사 분야의 영상 융합 방법을 개념적으로 도식화하면 도 9와 같다. 총 N개의 밴드를 가지는 멀티스펙트럴 영상 전체 처리 중 n번째 밴드에 대한 흐름도이며, 개념적인 이해를 위하여 도식화한 것이기 때문에 융합과정에서 필요한 융합계수의 적용, 연산과정 및 세부 알고리즘 등은 생략하였다.
I×J의 크기를 가지는 위성영상은 도 9와 같이 I×J 크기의 2차원 행렬 형태를 가지는 벡터로 해석하여 처리할 수 있다. 영상융합 방법을 수행하기 위해서는 특정 방법을 적용하여 생성한 저해상도 영상(도 9의 (c))이 필요하며, 이러한 저해상도 영상과 고해상도 흑백영상(도 9의 (b)) 간의 행렬간 차 연산을 이용하여 흑백영상의 윤곽선이나 에지정보 등이 포함된 고주파 정보 혹은 공간정보(도 9의 (d))를 추출할 수 있다. 마지막으로, 얻어진 고해상도 흑백영상의 공간정보와 각 밴드 별 멀티스펙트럴 영상을 더하는 과정을 거쳐 최종적으로 융합영상(도 9의 (e))을 얻을 수 있다.
도 10은 행렬로 이루어진 도 9의 융합 개념도를 전체 멀티스펙트럴 영상으로 표현하여 재구성한 것이다. 도 9 및 도 10에서 확인할 수 있는 바와 같이 영상 융합을 위해서는 멀티스펙트럴 영상에 주입할 고해상도 흑백영상의 공간정보를 효과적으로 추출해야 한다. 이를 위해서 흑백영상에 필터링 방법을 적용하거나, 저해상도 흑백영상과 고해상도 흑백영상 간의 차연산을 이용하여 고주파 정보를 추출한다.
그러나, 기존의 방법들은 멀티스펙트럴 영상과 흑백영상간 공간정보의 비유사성을 고려하지 않기 때문에 융합영상의 블러링이나 공간정보의 저하를 초래할 수 있다. 이러한 문제를 해결하기 위하여 상기 전처리 과정을 거친 멀티스펙트럴 영상과 고해상도 흑백영상 간의 회귀분석을 통하여 멀티스펙트럴 영상의 공간정보를 따르는 저해상도의 가상영상을 생성한다. 편의상 아래첨자 L은 저해상도의 영상을 H는 고해상도의 영상을 의미하고 위첨자 n은 멀티스펙트럴 영상의 n번째 밴드라고 할 때, 총 N개의 밴드를 가지고 있는 n번째 밴드의 멀티스펙트럴 영상을
Figure 112010041440750-pat00018
, 고해상도 흑백영상을
Figure 112010041440750-pat00019
라고 정의할 수 있다. 도 9에서 언급한 것과 같이 입력 자료
Figure 112010041440750-pat00020
,
Figure 112010041440750-pat00021
은 밴드별로 모두 I×J의 크기를 가지는 2차원 행렬이며,
Figure 112010041440750-pat00022
의 경우, I×J×N으로 이루어진 3차원 행렬이다. 가상의 저해상도 흑백영상
Figure 112010041440750-pat00023
(219)은
Figure 112010041440750-pat00024
의 선형식으로 표현할 수 있으며, 행렬간의 스칼라 연산을 통하여 다음의 수학식 1과 같이 풀이할 수 있다.
Figure 112010041440750-pat00025
여기서, α0 및 αn 은 회귀계수들이다.
Figure 112012012136088-pat00026
을 생성하기 위한 1차원 행렬 α(즉,α0 및 αn)는
Figure 112012012136088-pat00027
와
Figure 112012012136088-pat00028
간의 회귀분석을 통하여 생성할 수 있으며, 아래의 행렬식인 수학식 2는 최소제곱법(least square method)을 이용하여 계산하여 α(즉,α0 및 αn)를 추출한다.
Figure 112010041440750-pat00029
최종적으로, 추출된 α(즉,α0 및 αn)를 이용하여 가상의 저해상도 흑백영상
Figure 112012012136088-pat00030
을 생성할 수 있다(도 3). 한편, 상기 수학식 1, 수학식 2 및 최소제곱법에 의한 가상의 저해상도 흑백영상
Figure 112012012136088-pat00031
의 생성은 이를 컴퓨터로 수행하기 위해 프로그램 언어를 통해 직접 알고리즘을 코딩하여 메인 메모리 내에 저장된 프로그램에 의해 이루어진다.
3. 영상 간 최적의 융합 계수 기반의 전역적/지역적 영상 융합
융합된 고해상도의 멀티스펙트럴 영상을
Figure 112010041440750-pat00032
라고 할 때, 일반적으로, CS 기반의 융합 알고리즘들은 융합 계수 ωn 을 기반으로 하여 도 9의 융합방법의 개념적 순서도를 행렬식으로 일반화시켜 정의내릴 수 있다.
Figure 112010041440750-pat00033
,
Figure 112010041440750-pat00034
은 3차원 행렬인 반면에
Figure 112010041440750-pat00035
,
Figure 112010041440750-pat00036
은 2차원 행렬이기 때문에
Figure 112010041440750-pat00037
,
Figure 112010041440750-pat00038
의 자료 중 특정 n번째 밴드에 대한 2차원 행렬로 식이 이루어져 있으며, 모든 데이터를 표현하기 위하여 각 밴드에 대한 연립식인 다음의 수학식 3으로 이루어지게 된다.
Figure 112010041440750-pat00039
여기서, ωn 은 융합 계수이다.
융합 계수 ωn 은 융합 영상의 품질을 결정하는 요소이며, 각 멀티스펙트럴 영상의 밴드에 대한 적절한 ωn을 결정하는 것이 가장 중요하다고 할 수 있다. 본 발명은 이를 위해 멀티스펙트럴 영상
Figure 112010041440750-pat00040
과 상기 단계(200)에서 생성된 가상의 저해상도 영상
Figure 112010041440750-pat00041
을 이용하여 최적의 계수를 산출하는 방법론을 개발하는 것이다.
Figure 112010041440750-pat00042
,
Figure 112010041440750-pat00043
의 n번째 밴드에 대한 상수들로 이루어진 1차원 행렬 ωn 은 영상의 분광 및 공간특성을 반영하기 위하여 공간정보의 유사도와 영상 내의 표준편차를 이용하여 계산되어진다. 첫 번째로
Figure 112010041440750-pat00044
과
Figure 112010041440750-pat00045
의 공간정보 유사도를 측정하기 위하여 다음의 수학식 4인 라플라시안 필터를 이용하여
Figure 112010041440750-pat00046
과
Figure 112010041440750-pat00047
의 행렬에 대하여 공간 회선 필터링(spatial convolution filtering) 방법을 적용한다.
Figure 112010041440750-pat00048
공간 회선 필터링 기법을 통하여
Figure 112010041440750-pat00049
,
Figure 112010041440750-pat00050
과 같은 영상으로 출력되는 행렬의 (i,j)위치의 화소값은 (i,j)위치의 화소 주위의 특정 공간 패턴과 라플라시안 필터의 행렬 화소 값과의 연산을 통하여 영상 전체에 대한 고주파 정보를 생성할 수 있다.
위의 과정을 통하여 얻어지는 행렬인 고주파 정보 영상은
Figure 112010041440750-pat00051
,
Figure 112010041440750-pat00052
로 정의한다. 추출되어진 고주파 정보 영상
Figure 112010041440750-pat00053
,
Figure 112010041440750-pat00054
간의 상관도를 계산하여 영상 내에 존재하는 공간정보의 유사도 En 을 측정한다.
I×J 크기의 고주파 정보 영상
Figure 112010041440750-pat00055
,
Figure 112010041440750-pat00056
의 (i,j)번째 화소를
Figure 112010041440750-pat00057
,
Figure 112010041440750-pat00058
라고 정의하고 고주파 정보 영상 내에 존재하는 전체 화소의 평균을
Figure 112010041440750-pat00059
,
Figure 112010041440750-pat00060
, 고주파 정보 영상 내에 존재하는 화소의 표준편차를
Figure 112010041440750-pat00061
,
Figure 112010041440750-pat00062
라고 하면 En 은 다음의 수학식 5를 통하여 생성할 수 있다.
Figure 112012012136088-pat00063
여기서, E[(
Figure 112012012136088-pat00240
-
Figure 112012012136088-pat00241
)(
Figure 112012012136088-pat00242
-
Figure 112012012136088-pat00243
)]은 (
Figure 112012012136088-pat00244
-
Figure 112012012136088-pat00245
)(
Figure 112012012136088-pat00246
-
Figure 112012012136088-pat00247
)의 기대값이고. I는 영상의 가로방향 크기, J는 영상의 세로방향 크기이다.
En 은
Figure 112010041440750-pat00064
과
Figure 112010041440750-pat00065
사이의 공간특성을 융합과정에서 효과적으로 반영할 수 있지만, 밴드 간에 존재하는 화소값의 통계적인 차이를 비롯한
Figure 112010041440750-pat00066
과
Figure 112010041440750-pat00067
사이의 분광특성은 반영하지 못한다. 이를 위해 En 과 각 영상의 화소의 표준편차의 비를 이용하여 계수 산출식을 구성한다. 멀티스펙트럴 영상
Figure 112010041440750-pat00068
,
Figure 112010041440750-pat00069
의 표준편차
Figure 112010041440750-pat00070
,
Figure 112010041440750-pat00071
는 다음의 수학식 6으로 정리할 수 있다.
Figure 112010041440750-pat00072
여기서,
Figure 112012012136088-pat00073
과
Figure 112012012136088-pat00074
는 각각
Figure 112012012136088-pat00075
과
Figure 112012012136088-pat00076
의 (i,j)번째 화소,
Figure 112012012136088-pat00077
과
Figure 112012012136088-pat00078
는 각각
Figure 112012012136088-pat00079
과
Figure 112012012136088-pat00080
의 전체 화소의 평균이고, I는 영상의 가로방향 크기, J는 영상의 세로방향 크기이다.
최종적으로 본 발명에서 제안하는 융합 계수는 다음의 수학식 7과 같이 구성되며 이를 통해 영상의 분광 및 공간특성이 모두 반영된 최적의 융합 계수를 생성할 수 있다.
Figure 112010041440750-pat00081
본 발명의 융합 계수는
Figure 112010041440750-pat00082
과
Figure 112010041440750-pat00083
간의 공간 유사도와 표준편차의 비의 기하평균을 기본으로 하며, 흑백영상의 고주파 정보가 주입될 때,
Figure 112010041440750-pat00084
과의 화소값의 상대적인 차이로 인하여 화소값이 과대하게 변화되는 것을 방지하기 위하여 기하평균에 사용한 각 변수 중 최소치를 곱하여 줌으로써 해당 밴드의 특성에 맞게 계수가 조정되도록 하였다.
위에서 산출한 융합 계수 ωn 은 멀티스펙트럴 영상
Figure 112012012136088-pat00085
전체의 각 화소에 대하여 전역적인 변수로 설정되어 있다. 전역변수 ωn 은 영상 전체에 대하여 균일한 고주파 정보를 주입하기 때문에 멀티스펙트럴 영상과 흑백영상간의 공간적 비유사도가 큰 경우에는 최적의 결과를 도출할 수 없다. 이러한 경우, 전역적 계수 ωn 는 크기가 (2B+1)×(2B+1) (2B+1≤I 이고 2B+1≤J)인 윈도우 내의 화소만을 고려하여 지역적인 변수로도 계산할 수 있다.
(i,j)번째 화소의 지역적 융합 계수
Figure 112012012136088-pat00086
는 영상의 크기와 동일한 I×J 크기의 2차원 행렬로 구성할 수 있으며
Figure 112012012136088-pat00087
범위(i-B≤0 이면 1로 처리하고 i+B≥I 이면 I로 처리하며, 마찬가지로, j-B≤0 이면 1로 처리하고 j+B≥J 이면 J로 처리)를 가지는 영상 내의 화소
Figure 112012012136088-pat00088
,
Figure 112012012136088-pat00089
를 이용하여 산출하게 된다. 이에 대한 식은 다음의 수학식 8 및 9와 같다.
Figure 112012012136088-pat00248
여기서, E[(
Figure 112012012136088-pat00249
-
Figure 112012012136088-pat00250
)(
Figure 112012012136088-pat00251
-
Figure 112012012136088-pat00252
)]은 (
Figure 112012012136088-pat00253
-
Figure 112012012136088-pat00254
)(
Figure 112012012136088-pat00255
-
Figure 112012012136088-pat00256
)의 기대값이다.
Figure 112012012136088-pat00091
와
Figure 112012012136088-pat00092
는 각각
Figure 112012012136088-pat00093
범위를 가지는
Figure 112012012136088-pat00094
과
Figure 112012012136088-pat00095
의 (x,y)번째 화소,
Figure 112012012136088-pat00096
과
Figure 112012012136088-pat00097
는 각각
Figure 112012012136088-pat00098
범위를 가지는
Figure 112012012136088-pat00099
과
Figure 112012012136088-pat00100
의 화소 평균,
Figure 112012012136088-pat00101
과
Figure 112012012136088-pat00102
은 각각
Figure 112012012136088-pat00103
범위를 가지는
Figure 112012012136088-pat00104
과
Figure 112012012136088-pat00105
의 화소의 표준편차이다. 이를 이용하여 (i,j)위치의 공간 유사도를 나타내는
Figure 112012012136088-pat00106
를 생성한다.
Figure 112010041440750-pat00107
여기서,
Figure 112010041440750-pat00108
와
Figure 112010041440750-pat00109
는 각각 (i,j)화소를 중심으로 가지고 있으며
Figure 112010041440750-pat00110
범위를 가지는
Figure 112010041440750-pat00111
과
Figure 112010041440750-pat00112
의 표준편차이다.
지역적 융합 계수
Figure 112012012136088-pat00113
은 화소 위치 (i,j)를 기준으로 하여 윈도우 크기 2B+1 만큼
Figure 112012012136088-pat00114
,
Figure 112012012136088-pat00115
의 세부영역
Figure 112012012136088-pat00116
,
Figure 112012012136088-pat00117
를 추출하고 (i,j)번째 화소를 중심으로 하는 이 세부지역에 대한
Figure 112012012136088-pat00118
,
Figure 112012012136088-pat00119
,
Figure 112012012136088-pat00120
를 추출하고 이를 통하여 지역적 융합 계수
Figure 112012012136088-pat00121
를 구한다.
위의 과정을 회선과정(convolution) 처럼 위치 (i,j)를 영상의 모든 지역에 대하여 이동시키면 최종적으로 각 밴드별 2차원 행렬의 계수의 집합으로 이루어진 총 3차원의 행렬
Figure 112012012136088-pat00122
을 구할 수 있다. 지역적 융합 계수
Figure 112012012136088-pat00123
의 윈도우 크기 2B+1 이 영상의 크기 I에 수렴할 경우
Figure 112012012136088-pat00124
에서 각 밴드 별 2차원 행렬들의 원소들은 동일한 값을 가지게 되므로,
Figure 112012012136088-pat00125
는 전역적 단일 변수인 1차원 행렬 ωn 으로 수렴하게 된다.
효과적인 융합 영상의 생성을 위해서 1m 급의 공간해상도를 가지는 위성영상의 경우,
Figure 112010041440750-pat00126
의 윈도우 크기를 이용하여 를 생성하는 것이 이상적이며, 지역적 융합 계수
Figure 112010041440750-pat00127
는 많은 연산시간이 요구되기 때문에 빠른 연산속도를 필요로 하는 경우 전역적 융합 계수 ωn 을 사용하는 것이 바람직하다.
도 4는 상기 방법론이 실제 자료에 적용되었을 때의 예시 영상을 보여준다. (a)는 상기 방법론에 적용된 고해상도 흑백영상, (b)는 0.45~0.52㎛의 파장대를 가지는 밴드의 멀티스펙트럴 영상, (c)는 이에 해당하는
Figure 112010041440750-pat00128
이다. 강과 같은 공간해상도가 균일한 지역의 경우
Figure 112010041440750-pat00129
은 0에 가까운 값을 가지며 도심지와 같이 복잡한 지역의 경우 높은 값을 나타낸다. 또한, 산림지역과 같이 (a)와 (b)지역의 지역적 비유사성이 나타나는 지역도 낮은 값을 보인다.
최종적으로, 추출된 융합 계수를 이용하여 영상 융합을 수행하게 되며 도출과정은 도 5와 같다. 도 5는 다음과 같이 설명할 수 있다.
(a)
Figure 112010041440750-pat00130
의 고주파 정보 영상
Figure 112010041440750-pat00131
생성 (301)
(b)
Figure 112010041440750-pat00132
의 고주파 정보 영상
Figure 112010041440750-pat00133
생성 (302)
(c) 지역적/전역적 융합 계수
Figure 112010041440750-pat00134
/ωn의 선정 및
Figure 112010041440750-pat00135
/ωn의 추출 (303)
(d)
Figure 112010041440750-pat00136
수식을 이용한 융합 영상의 생성 (304)
한편, 상기 융합 영상의 생성과정도 이를 컴퓨터로 수행하기 위해 프로그램 언어를 통해 직접 알고리즘을 코딩하여 메인 메모리 내에 저장된 프로그램에 의해 이루어진다.
도 6은 도 5를 이용하여 생성한
Figure 112010041440750-pat00137
의 실예시이다. (a)는 멀티스펙트럴 영상, (b)는 흑백영상, (c)는 전역적 변수를 사용하여 얻은 융합 영상, (d)는 지역적 변수를 사용하여 얻은 융합 영상이다. 도 6에서 확인할 수 있는 것처럼 지역적 변수
Figure 112010041440750-pat00138
를 사용한 결과가 흑백영상과 유사한 공간해상도를 보이며 원 멀티스펙트럴 영상과 가장 유사한 색감을 보이는 것을 알 수 있다.
4. 융합영상의 공간해상도 향상을 위한 후처리 단계
영상 지도의 제작이나 도심지 내의 개체 분석과 같은 일부 융합 영상의 사용목적에 따라서, 공간해상도가 강조된 융합영상이 요구되어지는 분야가 존재한다. 이를 위해 본 발명에서는 도 5에서 개발된 융합 계수
Figure 112010041440750-pat00139
/ωn와 융합 영상
Figure 112010041440750-pat00140
를 이용하여 공간해상도 향상을 위한 융합영상의 후처리 과정을 수행한다.
Figure 112010041440750-pat00141
의 공간해상도를 강조하기 위하여 라플라시안 필터를 이용하여
Figure 112010041440750-pat00142
의 밴드별 고주파 정보
Figure 112010041440750-pat00143
를 추출하고 다음의 수학식 10을 이용하여 최종적으로 공간해상도가 증가된 고해상도의 멀티스펙트럴 영상
Figure 112010041440750-pat00144
를 생성한다. 수학식 10은 상기 단계(300)과 마찬가지로 각 밴드에 대한 2차원 행렬식으로 구성되어 n개의 연립식으로 해석되어지며, 최종적으로 각 연립식에 대한 스칼라 연산으로 계산할 수 있다.
Figure 112010041440750-pat00145
또한, 상기 공간해상도가 증가된 고해상도의 멀티스펙트럴 영상
Figure 112010041440750-pat00146
의 생성도 이를 컴퓨터로 수행하기 위해 프로그램 언어를 통해 직접 알고리즘을 코딩하여 메인 메모리 내에 저장된 프로그램에 의해 이루어진다.
도 7은
Figure 112010041440750-pat00147
의 도출과정을 나타내며 도 5와 마찬가지로 융합 계수 ωn 의 전역적/지역적 변수 여부에 따라서 도 7의 경우, 지역적 혹은 전역적 방법으로 처리되어진다.
도 8은 도 7을 이용하여 생성한
Figure 112010041440750-pat00148
의 실예시이다. (a)는 공간해상도를 증가시키기 전의 융합 영상이며 (b)는 후처리 결과이다. 도 7에서 확인할 수 있는 것과 같이 본 발명의 후처리 과정을 통하여 융합영상의 공간해상도를 향상시킬 수 있다.
상기에서는 본 발명에 대한 특정의 바람직한 실시예를 도시하고 설명하였으나, 본 발명은 상술한 실시예에만 한정되는 것은 아니고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 요지를 벗어남이 없이 다양하게 변경시킬 수 있을 것이다.

Claims (5)

  1. (a) 고해상도 위성들에 의해 제공된 멀티스펙트럴 영상과 고해상도의 흑백영상이 입력자료로 메인 메모리에 입력되고, 기하보정 과정과 이중3차 보간법이 포함된 메인 메모리 내의 프로그램을 이용해 상기 두 영상 간의 지리적 좌표가 일치되고 상기 두 영상 간의 공간해상도의 차이로 인하여 멀티스펙트럴 영상의 크기는 흑백영상의 크기에 비해 작아 멀티스펙트럴 영상의 크기가 흑백영상의 크기와 동일하게 변환되는 단계와;
    (b) 상기 단계(a)를 거친 멀티스펙트럴 영상과 고해상도의 흑백영상 및 다음의 수학식이 포함된 메인 메모리 내의 프로그램을 이용해 가상의 저해상도 흑백영상
    Figure 112012012136088-pat00149
    이 생성되는 단계, 및
    Figure 112012012136088-pat00150
    (여기서, α0 및 αn 은 회귀계수이고 상기 회귀계수 α0 및 αn는 최소제곱법과 다음의 수학식, 즉,
    Figure 112012012136088-pat00257
    (여기서,
    Figure 112012012136088-pat00258
    는 고해상도 흑백영상)이 포함된 메인 메모리 내의 프로그램을 이용해 추출,
    Figure 112012012136088-pat00151
    은 가상의 저해상도 흑백영상,
    Figure 112012012136088-pat00152
    은 총 N개의 밴드를 가지고 있는 n번째 밴드의 멀티스펙트럴 영상)
    (c) 상기 단계(a)를 거친 멀티스펙트럴 영상과 고해상도의 흑백영상과 상기 단계(b)의 가상의 저해상도 흑백영상 및 다음의 수학식이 포함된 메인 메모리 내의 프로그램을 이용해 융합된 고해상도의 멀티스펙트럴 영상
    Figure 112012012136088-pat00153
    이 생성되는 단계
    Figure 112012012136088-pat00154
    (여기서,
    Figure 112012012136088-pat00155
    는 고해상도 흑백영상,
    Figure 112012012136088-pat00156
    은 가상의 저해상도 흑백영상, ωn 은 융합 계수,
    Figure 112012012136088-pat00157
    은 멀티스펙트럴 영상)
    로 구성되되,
    상기 단계(c)에서 융합 계수 ωn는 다음의 수학식, 즉,
    Figure 112012012136088-pat00259
    (여기서,
    Figure 112012012136088-pat00260
    (
    Figure 112012012136088-pat00261
    과
    Figure 112012012136088-pat00262
    는 각각
    Figure 112012012136088-pat00263
    과
    Figure 112012012136088-pat00264
    의 (i,j)번째 화소,
    Figure 112012012136088-pat00265
    과
    Figure 112012012136088-pat00266
    는 각각
    Figure 112012012136088-pat00267
    과
    Figure 112012012136088-pat00268
    의 전체 화소의 평균, I는 영상의 가로방향 크기, J는 영상의 세로방향 크기)이고,
    Figure 112012012136088-pat00269
    (E[(
    Figure 112012012136088-pat00270
    -
    Figure 112012012136088-pat00271
    )(
    Figure 112012012136088-pat00272
    -
    Figure 112012012136088-pat00273
    )]은 (
    Figure 112012012136088-pat00274
    -
    Figure 112012012136088-pat00275
    )(
    Figure 112012012136088-pat00276
    -
    Figure 112012012136088-pat00277
    )의 기대값이고,
    Figure 112012012136088-pat00278
    ,
    Figure 112012012136088-pat00279
    의 (i,j)번째 화소를
    Figure 112012012136088-pat00280
    ,
    Figure 112012012136088-pat00281
    라고 정의하고 고주파 정보 영상 내에 존재하는 전체 화소의 평균을
    Figure 112012012136088-pat00282
    ,
    Figure 112012012136088-pat00283
    , 고주파 정보 영상 내에 존재하는 화소의 표준편차를 ,
    Figure 112012012136088-pat00285
    , I는 영상의 가로방향 크기, J는 영상의 세로방향 크기))이 포함된 메인 메모리 내의 프로그램을 이용해 추출되고,
    Figure 112012012136088-pat00286
    과
    Figure 112012012136088-pat00287
    의 각각의 고주파 정보 영상인 상기
    Figure 112012012136088-pat00288
    과
    Figure 112012012136088-pat00289
    은 라플라시안 필터가 포함된 메인 메모리 내의 프로그램을 이용한 공간 회선 필터링 기법을 통하여 생성되는 것을 특징으로 하는 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
KR1020100061160A 2010-06-28 2010-06-28 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법 KR101132272B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100061160A KR101132272B1 (ko) 2010-06-28 2010-06-28 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100061160A KR101132272B1 (ko) 2010-06-28 2010-06-28 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법

Publications (2)

Publication Number Publication Date
KR20120000736A KR20120000736A (ko) 2012-01-04
KR101132272B1 true KR101132272B1 (ko) 2012-04-02

Family

ID=45608515

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100061160A KR101132272B1 (ko) 2010-06-28 2010-06-28 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법

Country Status (1)

Country Link
KR (1) KR101132272B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230102134A (ko) 2021-12-30 2023-07-07 인천대학교 산학협력단 딥러닝에 기반한 원격 감지를 위한 실시간 이미지 융합 장치 및 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101291219B1 (ko) * 2012-03-16 2013-07-31 한국항공우주연구원 전정색영상과 다분광영상의 융합 방법 및 그 장치
KR101405435B1 (ko) * 2012-12-14 2014-06-11 한국항공우주연구원 고해상도 영상 융합 방법 및 그 장치
KR101677230B1 (ko) * 2015-06-26 2016-11-18 (주)인스페이스 이종 영상 융합 알고리즘의 품질 평가 장치 및 방법
CN109167924B (zh) * 2018-10-24 2021-05-11 清华-伯克利深圳学院筹备办公室 基于混合相机的视频成像方法、***、设备及存储介质
CN110189282A (zh) * 2019-05-09 2019-08-30 西北工业大学 基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法
CN114240814B (zh) * 2021-12-19 2024-02-23 西北工业大学 基于金字塔调制注入的多光谱与全色遥感影像融合方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020054215A (ko) * 2000-12-27 2002-07-06 오길록 멀티 위성 영상을 이용한 영상 합성 장치 및 그 방법
KR20040054858A (ko) * 2002-12-18 2004-06-26 한국과학기술원 기하학적으로 왜곡된 위성영상을 정밀 보정하는 방법 및기록매체
KR20100008886A (ko) * 2008-07-17 2010-01-27 서울대학교산학협력단 크기불변특징변환을 이용한 다중해상도 위성영상간자동기하보정 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020054215A (ko) * 2000-12-27 2002-07-06 오길록 멀티 위성 영상을 이용한 영상 합성 장치 및 그 방법
KR20040054858A (ko) * 2002-12-18 2004-06-26 한국과학기술원 기하학적으로 왜곡된 위성영상을 정밀 보정하는 방법 및기록매체
KR20100008886A (ko) * 2008-07-17 2010-01-27 서울대학교산학협력단 크기불변특징변환을 이용한 다중해상도 위성영상간자동기하보정 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230102134A (ko) 2021-12-30 2023-07-07 인천대학교 산학협력단 딥러닝에 기반한 원격 감지를 위한 실시간 이미지 융합 장치 및 방법

Also Published As

Publication number Publication date
KR20120000736A (ko) 2012-01-04

Similar Documents

Publication Publication Date Title
CN111047516B (zh) 图像处理方法、装置、计算机设备和存储介质
KR101132272B1 (ko) 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법
Zhao et al. Hierarchical regression network for spectral reconstruction from RGB images
Wang et al. High-quality Bayesian pansharpening
Brodu Super-resolving multiresolution images with band-independent geometry of multispectral pixels
Shen et al. An integrated framework for the spatio–temporal–spectral fusion of remote sensing images
Liu et al. A variational pan-sharpening method based on spatial fractional-order geometry and spectral–spatial low-rank priors
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及***
Chen et al. SAR and multispectral image fusion using generalized IHS transform based on à trous wavelet and EMD decompositions
CN109727207B (zh) 基于光谱预测残差卷积神经网络的高光谱图像锐化方法
CN111179177A (zh) 图像重建模型训练方法、图像重建方法、设备及介质
US20130191082A1 (en) Method of Modelling Buildings on the Basis of a Georeferenced Image
KR20130001213A (ko) 입력 이미지로부터 증가된 픽셀 해상도의 출력 이미지를 생성하는 방법 및 시스템
Kasem et al. Spatial transformer generative adversarial network for robust image super-resolution
CN115082322B (zh) 图像处理方法和装置、图像重建模型的训练方法和装置
Long et al. Dual self-attention Swin transformer for hyperspectral image super-resolution
Wagner et al. Deep residual learning for single-image super-resolution of multi-spectral satellite imagery
Shen et al. AFFNet: attention mechanism network based on fusion feature for image cloud removal
Almasri et al. Rgb guided thermal super-resolution enhancement
Elhabiby et al. Second generation curvelet transforms Vs Wavelet transforms and Canny edge detector for edge detection from worldview-2 data
Jindal et al. An ensemble mosaicing and ridgelet based fusion technique for underwater panoramic image reconstruction and its refinement
Zhang et al. Gradient enhanced dual regression network: Perception-preserving super-resolution for multi-sensor remote sensing imagery
CN117314811A (zh) 基于混合模型的sar-光学图像融合方法
CN117114987A (zh) 基于亚像素和梯度引导的光场图像超分辨率重建方法
Zheng et al. Deep residual spatial attention network for hyperspectral pansharpening

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150212

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160122

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180222

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200302

Year of fee payment: 9