KR100944462B1 - 위성 영상 융합 방법 및 시스템 - Google Patents

위성 영상 융합 방법 및 시스템 Download PDF

Info

Publication number
KR100944462B1
KR100944462B1 KR1020080021541A KR20080021541A KR100944462B1 KR 100944462 B1 KR100944462 B1 KR 100944462B1 KR 1020080021541 A KR1020080021541 A KR 1020080021541A KR 20080021541 A KR20080021541 A KR 20080021541A KR 100944462 B1 KR100944462 B1 KR 100944462B1
Authority
KR
South Korea
Prior art keywords
image
multispectral
satellite
fusion
image data
Prior art date
Application number
KR1020080021541A
Other languages
English (en)
Other versions
KR20090096142A (ko
Inventor
최명진
이동한
임효숙
Original Assignee
한국항공우주연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공우주연구원 filed Critical 한국항공우주연구원
Priority to KR1020080021541A priority Critical patent/KR100944462B1/ko
Priority to US12/345,240 priority patent/US8320712B2/en
Publication of KR20090096142A publication Critical patent/KR20090096142A/ko
Application granted granted Critical
Publication of KR100944462B1 publication Critical patent/KR100944462B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/20—Adaptations for transmission via a GHz frequency band, e.g. via satellite
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10041—Panchromatic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Astronomy & Astrophysics (AREA)
  • Medical Informatics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 위성 영상 융합 방법 및 시스템에 관한 것이다. 본 발명에 따른 위성 영상 융합 방법은, 위성 영상으로부터 촬영된 전정색 영상과 다중분광 영상의 크기를 일치시키는 단계, 전정색 영상과 다중분광 영상을 복수의 블록으로 분할하는 단계, 다중분광 영상의 각각의 블록에 포함되는 픽셀의 화소값을 이용하여 I(Intensity) 성분 영상 데이터를 산출하기 위한 파라미터를 연산하는 단계, 그리고 산출된 I 성분 영상 데이터를 융합 알고리즘에 적용하여 영상 융합된 다중분광 영상 데이터를 생성하는 단계를 포함한다. 본 발명에 따르면, 다중분광 영상의 융합 과정에서 칼라 정보의 왜곡을 최소화하고, 고해상도의 다중분광 영상 데이터를 얻을 수 있다. 또한 아이코노스 영상뿐만 아니라 다른 위성 영상의 융합에도 적용이 가능하며, 신속하게 영상 융합을 수행할 수 있다.
위성 영상, IHS 융합, 전정색 영상, 다중분광 영상

Description

위성 영상 융합 방법 및 시스템{SATELLITE IMAGE FUSION METHOD AND SYSTEM}
본 발명은 위성 영상 융합 방법 및 시스템에 관한 것으로, 더욱 상세하게는 IHS 융합 방법을 활용하여 고해상도의 전정색 영상 데이터와 저해상도의 다중분광 영상 데이터를 융합할 수 있는 위성 영상 융합 방법 및 시스템에 관한 것이다.
지구 관측 기술은 인간의 생존과 밀접한 관계가 있는 자원의 탐사, 환경의 감시 및 관리에 중요한 역할을 담당할 수 있는 기술로서 현재뿐만 아니라 미래의 사회를 위하여서도 매우 필요한 기술로 대두되고 있다. 지구 관측은 다양한 종류의 위성 영상을 융합하는 과정을 통하여 이루어지는데, 서로 다른 공간 해상도와 분광 해상도를 가진 영상들을 융합하여 영상의 공간 해상도를 향상시키는 작업이 필수적이다.
특히 가시광선 파장역의 분광 반사 에너지를 영상으로 표현한 전정색(Panchromatic, 흑백) 광학 영상은 고해상도를 가진다. 이에 반하여, 가시 광선 대역에서부터 적외선, 열선(thermal ray) 대역까지 각 단위 파장역 별로 세분화하여 자료를 수집하는 다중 분광(Multi Spectral) 영상은 공간해상도가 떨어지는 단점이 있다.　
따라서, 고해상도 전정색 영상과 저해상도 다중 분광 영상을 융합시키기 위한 다양한 기법이 꾸준히 진행되어 왔다. 예를 들면 Intensity-Hue-Saturation (IHS), Principle Components Analysis (PCA), Arithmetic combinations, Wavelets-based fusion 등이 있다. 그 중에서 특히 IHS 융합 방법은 최근에 가장 일반화된 영상 융합 기법으로 대용량의 고해상도 위성 영상의 융합에 매우 적합한 것으로 알려져 있다. IHS 융합 방법은 RGB 영상을 인간의 시각 특성에 적합하게 변환시킨 것으로, 칼라 영상의 해상도를 향상시키기 위하여 전정색 영상과 같이 명도(Intensity)의 대비를 높여주는 것이 일반적이다.
하지만, IHS 융합 방법에 의하면 전정색 영상과 Intensity 영상간의 화소값 차이에 의하여 다중분광 영상의 칼라 정보가 융합과정에서 왜곡되는 문제점이 있었다. 따라서 다중분광 영상의 칼라 정보의 왜곡을 최소화시키면서 전정색 영상이 가지고 있는 고해상도의 공간 정보를 융합하기 위한 다양한 연구가 진행되고 있다.
최근에 발표된 Tu et al. (A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery, IEEE GRSL, vol. 1, no.4, pp. 309-312, 2004) 의 논문 내용에 의하면 다중분광 영상의 밴드들을 IHS 융합 방법을 개선한 다음의 수학식 1에 대입하여, 칼라 정보의 왜곡을 줄이도록 한다.
Figure 112008016938076-pat00001
여기서, I, R, G, B, N은 각각 intensity 영상, Red 밴드, Green 밴드, Blue 밴드, Near Infrared 밴드에 포함되는 픽셀의 화소값을 의미한다.
그러나 수학식 1에 따르면 92장의 비교적 적은 수의 아이코노스(IKONOS) 영상을 이용하여 G와 B의 계수인 0.75와 0.25 의 두 파라미터를 구했다는 점에서, 일괄적으로 수학식 1에 모든 아이코노스(IKONOS) 영상을 적용할 경우 최적화된 I (Intensity) 값을 구하기 어렵다.
또한 수학식 1은 아이코노스(IKONOS) 영상에 대해서만 얻어진 것이기 때문에 그 밖의 다른 위성 영상, 예를 들면 랜드셋(Landsat), 스팟(SPOT) 등의 위성 영상에 적용하기가 어렵다는 문제점이 있다.
따라서 본 발명이 이루고자 하는 기술적 과제는 IHS 융합 방법을 개선하여 다중분광 영상의 융합 과정에서 칼라 정보의 왜곡을 최소화하고, 전정색 영상과의 화소값 차이를 줄일 수 있는 위성 영상 융합 방법을 제공하는 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 한 실시예에 따른 위성 영상 융합 방법은, 위성 영상으로부터 촬영된 전정색 영상과 다중분광 영상의 크기를 일치시키는 단계, 상기 전정색 영상과 상기 다중분광 영상을 복수의 블록으로 분할하는 단계, 상기 다중분광 영상의 각각의 블록에 포함되는 픽셀의 화소값을 이용하여 I(Intensity) 성분 영상 데이터를 산출하기 위한 파라미터를 연산하는 단계, 그리 고 상기 산출된 I 성분 영상 데이터를 융합 알고리즘에 적용하여 영상 융합된 다중분광 영상 데이터를 생성하는 단계를 포함한다.
상기 파라미터는 아래 수학식에 의해 최소 자승법을 통해 산출될 수 있다.
Figure 112008016938076-pat00002
여기서, Pan 은 전정색 영상에 포함되는 픽셀의 화소값을 의미하고, I 는 I 성분 영상에 포함되는 픽셀의 화소값을 의미하며, R, G, B, N은 각각 Red 밴드, Green 밴드, Blue 밴드, Near Infrared 밴드에 포함되는 픽셀의 화소값을 의미하고, a, b, c, d는 상기 파라미터를 의미한다.
상기 융합 알고리즘은 아래 수학식으로 표현될 수 있다.
Figure 112008016938076-pat00003
F(X)는 융합된 다중분광 영상을 의미한다.
상기 파라미터는, 상기 각각의 블록에서 연산된 파라미터의 평균값일 수 있다.
상기 전정색 영상과 상기 다중분광의 크기를 일치시키는 단계는, 상기 다중분광 영상을 확대시켜 상기 전정색 영상과 크기를 일치시킬 수 있다.
본 발명의 다른 실시예에 따른 위성 영상 융합 시스템은, 위성 영상으로부터 촬영된 전정색 영상과 다중분광 영상의 크기를 일치시키고, 상기 전정색 영상과 상기 다중분광 영상을 복수의 블록으로 분할하는 영상 처리부, 상기 다중분광 영상의 각각의 블록에 포함되는 픽셀의 화소값을 이용하여 I(Intensity) 성분 영상 데이터를 산출하기 위한 파라미터를 연산하는 연산부, 그리고 상기 산출된 I 성분 영상 데이터를 융합 알고리즘에 적용하여 영상 융합된 다중분광 영상 데이터를 생성하는 영상 생성부를 포함한다.
이와 같이 본 발명에 의하면, 다중분광 영상의 융합 과정에서 칼라 정보의 왜곡을 최소화하고, 고해상도의 다중분광 영상 데이터를 얻을 수 있다. 또한 아이코노스 영상뿐만 아니라 다른 위성 영상의 융합에도 적용이 가능하며, 신속하게 영상 융합을 수행할 수 있다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
먼저 도 1을 통하여 본 발명의 실시예에 따른 위성 영상 융합 시스템에 대하여 설명한다.
도 1은 본 발명의 실시예에 따른 위성 영상 융합 시스템의 개략도이다.
도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 위성 영상 융합 시스템(100)은 저장부(110), 영상 처리부(120), 연산부(130)) 및 영상 생성부(140)를 포함한다.
저장부(110)에는 전정색 영상과 다중분광 영상이 저장된다.
인공 위성에서 동일한 지표면을 흑백 영상과 칼라 영상으로 각각 촬영을 하는데, 흑백 영상으로 촬영된 영상은 전정색 영상으로 표시되고, 칼라 영상으로 촬영한 영상은 다중분광 영상으로 표시된다.
전정색 영상은 가시광선 파장역 전체(0.4~0.7 ㎛)의 분광 반사 에너지가 영상으로 표현된 것이다. 전정색 영상은 흑백의 정보를 담고 있으며, 분해능(Resolving Power)이 강하므로 높은 공간 해상도를 가진다.
다중분광 영상은 가시 광선 대역에서부터 적외선, 열선(thermal ray) 대역까지 각 단위 파장역 별로 분광 반사 에너지가 세분화되어 영상으로 표현된 것이다. 다중분광 영상은 컬러(color)의 정보를 담고 있으며, 분해능이 약하므로 낮은 공간 해상도를 가진다.　
영상 처리부(120)는 전정색 영상과 다중분광 영상의 크기(size)를 일치시키고, 전정색 영상과 다중분광 영상을 복수의 블록으로 분할한다. 여기서, 다중분광 영상이 전정색 영상 데이터에 비해 크기가 작으므로 다중분광 영상을 확대시켜 크기를 일치시킨다.
연산부(130)는 IHS 융합 방법을 개선한 방법으로 다중분광 영상으로부터 I(Intensity) 성분 영상을 산출하기 위한 계수를 연산한다. 연산부(130)는 최소 자승법을 이용하여 전정색 영상과 I 성분 영상에 포함되는 픽셀의 화소값의 차이를 최소화시키는 계수를 연산한다. 여기서, 전정색 영상에 포함되는 픽셀의 화소값은 명도에 대응한다.
여기서, IHS 융합 방법은 색 정보를 빛의 3요소인 R(적색), G(녹색) 및 B(청 색)로 세분화된 세 밴드의 다중분광 영상을 색의 3요소인 I(명도; Internsity), H(색상; hue), S(채도; Saturation) 요소로 변환하는 방법이다. 여기서 I 성분은 공간 해상도를 표현하고, H, S 성분은 다중분광 반사 특성을 표현한다. 칼라 영상의 왜곡을 방지하기 위해서는 전정색 영상 수준으로 명도를 높여 주는 것이 가장 효과적이므로, 연산부(130)는 컬러 영상의 왜곡을 최소화할 수 있는 최적화된 I 성분 영상을 구하도록 한다.
연산부(130)는 저해상도의 파장역, 즉 R 밴드, G 밴드, B 밴드, N(Near Infrared, 근적외선) 밴드의 영상 데이터를 I, H, S 성분의 영상으로 변환한 후, I 성분 영상을 고해상도로 융합된 영상으로 대체하도록 한다. 즉, 연산부(130)는 연산을 통하여 전정색 영상과 I 성분 영상에 포함되는 픽셀의 화소값 차이를 최소화시키고, 각각의 R 밴드, G 밴드, B 밴드, N 밴드에 대응하는 최적화된 I 성분을 구한다.
영상 생성부(140)는 I 성분 영상을 IHS 융합 방법을 개선한 영상 융합 알고리즘에 적용하여 새로운 다중분광 영상을 생성한다. 그리고 고해상도로 융합된 다중분광 영상 데이터를 외부에 연결된 디스플레이(도시하지 않음)로 출력하여, 융합된 영상 데이터를 확인할 수 있도록 한다.
이하에서는 도 2 및 도 3을 참조하여 위성 영상 융합 방법에 대하여 설명한다.
도 2는 본 발명의 제1 실시예에 따른 위성 영상 융합을 나타낸 순서도이다.
먼저 인공 위성에서 지구 표면을 촬영하여 생성된 전정색 영상과 다중분광 영상을 저장부(110)에 저장한다(S110). 여기서, 전정색 영상과 다중분광 영상은 동일한 대상물에 대해 촬영된 것이다. 다중분광 영상은 전정색 영상에 비하여 낮은 해상도를 가지며, 인공 위성의 하드웨어 용량의 한계로 인하여 전정색 영상보다 사이즈가 작다.
영상 처리부(120)는 다중분광 영상을 보간법을 사용하여 전정색 영상과 동일한 크기로 확대시킨다(S220).
다중분광 영상을 확대할 때 해상도를 유지시키기 위해서 양선형 보간법(bilinear interpolation method)과 3차 회선 보간법(cubic convolution interpolation method) 등의 보간법이 사용될 수 있다.
그리고, 영상 처리부(120)는 전정색 영상을 적당한 크기의 블록으로 분할하고, 확대된 다중분광 영상을 동일한 크기의 블록으로 분할한다(S230). 일반적으로 영상 처리부(120)는 전정색 영상과 다중분광 영상을 N x M 개의 직사각형 블록 형태로 분할한다.
연산부(130)는 다중분광 영상의 k 번째 블록에 포함되는 픽셀들의 화소값과 그에 대응하는 전정색 영상의 k 번째 블록에 포함되는 픽셀들의 화소값 차이를 최소화 시키기 위하여, 다중분광 영상을 통해 I 성분 영상 데이터의 계수를 산출한다(S240). 여기서, k 번째 블록은 N x M 개로 분할된 블록 중의 하나를 나타낸다.
즉, 다중분광 영상의 k 번째 블록에 포함되는 R, G, B, N 픽셀들의 화소값을 각각 다음의 수학식 2에 대입한다.
Figure 112008016938076-pat00004
수학식 2에서 Pan 은 전정색 영상에 포함되는 픽셀의 화소값을 의미하며, I 는 I 성분 영상에 포함되는 픽셀의 화소값을 의미한다. 또한 R, G, B, N은 각각 Red 밴드, Green 밴드, Blue 밴드, Near Infrared 밴드에 포함되는 픽셀의 화소값을 의미한다.
다중분광 영상의 k 번째 블록에 포함되는 각각의 R, G, B, N 픽셀에 대하여 화소값을 수학식 2의 우측단에 대입하고, 그 결과치를 매트릭스 형태로 생성한다. 즉, 인접해 있는 R, G, B, N의 4개 픽셀들의 화소값을 매트릭스의 입력값으로 대입하고, ||Pan-I||을 매트릭스의 출력값으로 나타낸다.
그 다음, 최소자승법(Least Square Method)을 통하여 I 성분 영상과 전정색 영상의 화소값 차이를 최소화시키는 계수 a, b, c, d 를 산출한다. 최소자승법은 오차 제곱의 합을 최소화하는 추정치를 구하는 방법으로서, 이에 대한 상세한 설명은 생략한다.
이와 같이 수학식 2를 통하여 계수 a, b, c, d 가 산출되면, k 번째 블록에 포함되는 I 성분 영상 데이터를 구할 수 있다(S250).
즉, 수학식 2에 의해 산출된 계수 a, b, c, d 와 R, G, B, N 화소값으로부터 다중분광 영상의 k 번째 블록에 포함되는 각각의 R, G, B, N 픽셀에 대하여 I 성분 영상 데이터를 구할 수 있다.
그리고, 수학식 3에 I 성분 영상 데이터를 대입하여 융합된 다중분광 영상(F(x))을 구한다(S260).
Figure 112008016938076-pat00005
수학식 3에서 F(X)는 융합된 다중분광 영상을 의미하며, X는 각각 R, G, B, N 밴드에 포함되는 픽셀의 화소값을 나타낸다.
수학식 3에 각각 R, G, B, N 밴드에 포함되는 픽셀의 화소값(X), 전정색 영상 데이터의 화소값(Pan), I 성분 영상 데이터의 화소값(I)을 대입하여 융합된 다중분광 영상(F(x))을 구한다(S260).
즉, 전정색 영상의 k 번째 블록의 화소값에서 I 성분 영상의 k 번째 블록의 화소값을 뺀 뒤, 그 결과 값을 k 번째 블록의 R, G, B, N 밴드에 포함되는 픽셀의 화소값(X)에 더한다. 이와 같은 과정을 통하여, k 번째 블록이 영상 융합된 고해상도의 다중분광 영상(F(X))을 구할 수 있다.
본 발명의 실시예에 따른 융합 알고리즘에 의하여 다중분광 영상의 k 번째 블록은 전정색 영상과 화소값 차이가 최소화되어 고해상도의 영상으로 대체된다.
여기서, 수학식 3에서는 설명의 편의상 R, G, B, N의 4개 밴드에 대해서 적용을 하였으나, 본 발명의 실시예는 밴드의 개수에 제한이 없으며 다음의 수학식 4와 같이 나타낼 수 있다.
Figure 112008016938076-pat00006
여기서, Xi는 다중분광 영상에 포함되는 각각의 밴드를 나타내며, α는 I 성분 영상을 구하기 위하여 사용된 계수들을 나타내며, 수학식 2에 의해 획득된다.
연산부(130)는 다중분광 영상 데이터의 k 번째 블록에 대한 영상 융합이 종료되면, 전체 블록에 대한 영상 융합이 완료되었는지를 판단한다(S270). 만일 전체 블록 중에서 영상 융합이 수행되지 않은 블록이 있는 경우, S240 내지 S260 과정을 반복하여 k +1 번째 블록에 대한 영상 융합을 수행한다.
이와 같은 방식으로, 전체 블록에 대하여 영상 융합이 수행되면 각각의 블록에 해당하는 다중분광 영상 데이터는 고해상도의 영상으로 대체된다. 그리고 외부에 연결된 디스플레이(도시하지 않음)로 생성된 컬러 합성 영상을 출력한다.
본 발명의 제1 실시예에 따르면 다중분광 영상 데이터의 각각의 블록에 대하여 영상 융합을 수행한 뒤, 융합된 각각의 블록을 전체의 블록으로 합치도록 한다.
그러면, 도 3을 참조하여 본 발명의 다른 실시예에 따른 위성 영상 융합 방법에 대하여 설명한다.
도 3은 본 발명의 제2 실시예에 따른 위성 영상 융합을 나타낸 순서도이다.
본 발명의 제2 실시예에 따른 위성 영상 융합 방법에서 과정 S310 내지 S340은 제1 실시예에 따른 과정 S210 내지 S240과 실질적으로 동일하므로 이에 대한 상 세한 설명은 생략하기로 한다.
수학식 2에서 다중분광 영상의 k 번째 블록에 포함되는 I 성분 영상의 계수 a, b, c, d 가 산출되면, 제어부(130)는 k 번째 블록이 전체 블록의 마지막 번째 블록인지 판단한다(S350).
만일 k 번째 블록이 마지막 블록이 아닌 경우, S340 과정을 반복하여 k +1 번째 블록에 대하여 I 성분 영상 데이터의 계수 a, b, c, d를 산출한다.
전체 블록에 대하여 계수 산출이 완료되면, 연산부(130)는 각각의 블록에 대응하는 계수들의 평균 값을 연산한다(S360). 즉, 전체 블록에서 산출한 계수 a, b, c, d 각각에 대하여 평균 값을 계산한다.
그리고, 수학식 2를 이용하여 다중분광 영상 데이터의 j 번째 블록에 포함되는 I 성분 영상 데이터를 구할 수 있다(S370). 여기서, j 번째 블록은 N x M 개로 분할된 블록 중의 하나를 나타낸다. 설명의 편의상 계수를 구하는 과정은 k번째 블록에 대한 것으로 예시하기로 하고, I 성분 영상 데이터를 구하는 과정은 j 번째 블록에 대한 것으로 예시하기로 한다.
그 다음 영상 생성부(140)는 S260 과정과 마찬가지로 수학식 3 또는 수학식 4를 이용하여 j 번째 블록이 영상 융합된 다중분광 영상(F(X))을 구할 수 있다(S380). I 성분 영상 데이터와 융합된 다중분광 영상(F(X))을 구하는 과정은 이전 실시예에서 설명하였는바, 중복되는 설명은 생략하기로 한다.
영상 생성부(140)는 다중분광 영상 데이터의 j 번째 블록에 대한 영상 융합이 종료되면, 전체 블록에 대한 영상 융합이 완료되었는지를 판단한다(S390). 만 일 전체 블록 중에서 영상 융합이 수행되지 않은 블록이 있는 경우, S370 내지S380 과정을 반복하여 j +1 번째 블록에 대한 영상 융합을 수행한다.
이와 같은 방식으로, 전체 블록에 대하여 영상 융합이 수행되면 각각의 블록에 해당하는 다중분광 영상 데이터는 고해상도의 영상으로 대체된다. 그리고 외부에 연결된 디스플레이(도시하지 않음)로 생성된 컬러 합성 영상을 출력한다.
본 발명의 제2 실시예에 따르면 다중분광 영상 데이터의 각각의 블록에 대하여 계수를 구한 뒤, 계수의 평균값을 전체 블록에 적용시킴으로써 더욱 간편하게 융합된 다중분광 영상 데이터를 구할 수 있으며, 각 블록 사이의 명암비(contrast ratio) 차이를 줄일 수 있다.
본 발명의 실시예에 따르면 각각의 블록에 대하여 순차적으로 I 성분 영상 데이터를 산출하기 위한 계수를 구하는 것으로 설명하였으나, 각각의 블록에 대하여 동시에 계수를 구할 수도 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
도 1은 본 발명의 실시예에 따른 위성 영상 융합 시스템의 개략도이다.
도 2는 본 발명의 제1 실시예에 따른 위성 영상 융합을 나타낸 순서도이다.
도 3은 본 발명의 제2 실시예에 따른 위성 영상 융합을 나타낸 순서도이다.

Claims (10)

  1. 위성 영상으로부터 촬영된 전정색 영상과 다중분광 영상의 크기를 일치시키는 단계,
    상기 전정색 영상과 상기 다중분광 영상을 복수의 블록으로 분할하는 단계,
    상기 다중분광 영상의 각각의 블록에 포함되는 픽셀의 화소값을 이용하여 I(Intensity) 성분 영상 데이터를 산출하기 위한 파라미터를 산출하는 단계,
    상기 산출된 파라미터를 이용하여 I 성분 영상 데이터를 산출하는 단계, 그리고
    상기 산출된 I 성분 영상 데이터를 융합 알고리즘에 적용하여 상기 위성 영상으로부터 촬영된 전정색 영상과 다중분광 영상이 영상 융합된 다중분광 영상 데이터를 생성하는 단계를 포함하고,
    상기 파라미터는 수학식
    Figure 112009057692675-pat00007
    에 의해 최소 자승법을 통해 산출되며, 여기서, Pan 은 전정색 영상에 포함되는 픽셀의 화소값을 의미하고, I 는 I 성분 영상에 포함되는 픽셀의 화소값을 의미하며, R, G, B, N은 각각 Red 밴드, Green 밴드, Blue 밴드, Near Infrared 밴드에 포함되는 픽셀의 화소값을 의미하고, a, b, c, d는 상기 파라미터를 의미하며,
    상기 융합 알고리즘은 수학식
    Figure 112009057692675-pat00008
    으로 표현되고, 여기서, F(X)는 융합된 다중분광 영상을 의미하는 것을 특징으로 하는 위성 영상 융합 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 파라미터는,
    상기 각각의 블록에서 산출된 파라미터의 평균값인 것을 특징으로 하는 위성 영상 융합 방법.
  5. 제1항에 있어서,
    상기 전정색 영상과 상기 다중분광 영상의 크기를 일치시키는 단계는,
    상기 위성 영상으로부터 촬영된 다중분광 영상을 확대시켜 상기 전정색 영상과 크기를 일치시키는 것을 특징으로 하는 위성 영상 융합 방법.
  6. 위성 영상으로부터 촬영된 전정색 영상과 다중분광 영상의 크기를 일치시키고, 상기 전정색 영상과 상기 다중분광 영상을 복수의 블록으로 분할하는 영상 처리부,
    상기 다중분광 영상의 각각의 블록에 포함되는 픽셀의 화소값을 이용하여 I(Intensity) 성분 영상 데이터를 산출하기 위한 파라미터를 산출하는 연산부, 그리고
    상기 산출된 파라미터를 이용하여 I 성분 영상 데이터를 산출하고, 상기 산출된 I 성분 영상 데이터를 융합 알고리즘에 적용하여 상기 위성 영상으로부터 촬영된 전정색 영상과 다중분광 영상이 영상 융합된 다중분광 영상 데이터를 생성하는 영상 생성부를 포함하고,
    상기 파라미터는 수학식
    Figure 112009057692675-pat00009
    에 의해 최소 자승법을 통해 산출되며, 여기서, Pan 은 전정색 영상에 포함되는 픽셀의 화소값을 의미하고, I 는 I 성분 영상에 포함되는 픽셀의 화소값을 의미하며, R, G, B, N은 각각 Red 밴드, Green 밴드, Blue 밴드, Near Infrared 밴드에 포함되는 픽셀의 화소값을 의미하고, a, b, c, d는 상기 파라미터를 의미하며,
    상기 융합 알고리즘은 수학식
    Figure 112009057692675-pat00010
    으로 표현되고, 여기서, F(X)는 융합된 다중분광 영상을 의미하는 것을 특징으로 하는 위성 영상 융합 시스템.
  7. 삭제
  8. 삭제
  9. 제6항에 있어서,
    상기 파라미터는,
    상기 각각의 블록에서 산출된 파라미터의 평균값인 것을 특징으로 하는 위성 영상 융합 시스템.
  10. 제6항에 있어서,
    상기 영상 처리부는,
    상기 위성 영상으로부터 촬영된 다중분광 영상을 확대시켜 상기 전정색 영상과 크기를 일치시키는 것을 특징으로 하는 위성 영상 융합 시스템.
KR1020080021541A 2008-03-07 2008-03-07 위성 영상 융합 방법 및 시스템 KR100944462B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080021541A KR100944462B1 (ko) 2008-03-07 2008-03-07 위성 영상 융합 방법 및 시스템
US12/345,240 US8320712B2 (en) 2008-03-07 2008-12-29 Satellite image fusion method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080021541A KR100944462B1 (ko) 2008-03-07 2008-03-07 위성 영상 융합 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20090096142A KR20090096142A (ko) 2009-09-10
KR100944462B1 true KR100944462B1 (ko) 2010-03-03

Family

ID=41053676

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080021541A KR100944462B1 (ko) 2008-03-07 2008-03-07 위성 영상 융합 방법 및 시스템

Country Status (2)

Country Link
US (1) US8320712B2 (ko)
KR (1) KR100944462B1 (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITTO20070620A1 (it) * 2007-08-31 2009-03-01 Giancarlo Capaccio Sistema e metodo per presentare dati visuali rilevati a distanza in immagini multi-spettrali, di fusione, ed a tre dimensioni spaziali.
US8724928B2 (en) * 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
CN101887581B (zh) * 2010-06-17 2012-03-14 东软集团股份有限公司 图像融合方法及设备
CN101930604B (zh) * 2010-09-08 2012-03-28 中国科学院自动化研究所 基于低频相关性分析的全色图像与多光谱图像融合方法
KR101144660B1 (ko) * 2010-12-28 2012-05-11 한국항공우주연구원 위성 검출기 경계 부분의 불연속성을 보정하기 위한 방법 및 시스템
US8737733B1 (en) * 2011-04-22 2014-05-27 Digitalglobe, Inc. Hyperspherical pan sharpening
US8761506B1 (en) 2011-04-22 2014-06-24 DigitalGlobe, Incorporated Pan sharpening digital imagery
EP2702375A2 (en) 2011-04-25 2014-03-05 Skybox Imaging, Inc. Systems and methods for overhead imaging and video
US8699790B2 (en) * 2011-11-18 2014-04-15 Mitsubishi Electric Research Laboratories, Inc. Method for pan-sharpening panchromatic and multispectral images using wavelet dictionaries
US8693771B2 (en) * 2011-11-18 2014-04-08 Mitsubishi Electric Research Laboratories, Inc. Method for pan-sharpening panchromatic and multispectral images using dictionaries
CN103218796B (zh) * 2013-05-14 2015-08-19 中国科学院自动化研究所 一种全色—多光谱遥感图像融合方法
WO2014183259A1 (zh) * 2013-05-14 2014-11-20 中国科学院自动化研究所 一种全色−多光谱遥感图像融合方法
US9053558B2 (en) 2013-07-26 2015-06-09 Rui Shen Method and system for fusing multiple images
US9230168B2 (en) * 2013-07-31 2016-01-05 Digitalglobe, Inc. Automatic generation of built-up layers from high resolution satellite image data
US10230925B2 (en) 2014-06-13 2019-03-12 Urthecast Corp. Systems and methods for processing and providing terrestrial and/or space-based earth observation video
US9225889B1 (en) 2014-08-18 2015-12-29 Entropix, Inc. Photographic image acquisition device and method
CA2980920C (en) 2015-03-25 2023-09-26 King Abdulaziz City Of Science And Technology Apparatus and methods for synthetic aperture radar with digital beamforming
CN104867124B (zh) * 2015-06-02 2017-10-24 西安电子科技大学 基于对偶稀疏非负矩阵分解的多光谱与全色图像融合方法
EP3311449B1 (en) 2015-06-16 2019-12-11 King Abdulaziz City for Science and Technology Efficient planar phased array antenna assembly
KR101677230B1 (ko) * 2015-06-26 2016-11-18 (주)인스페이스 이종 영상 융합 알고리즘의 품질 평가 장치 및 방법
WO2017091747A1 (en) 2015-11-25 2017-06-01 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
US9811881B2 (en) 2015-12-09 2017-11-07 Goodrich Corporation Off-band resolution emhancement
CN105719262B (zh) * 2016-01-21 2018-06-22 西北大学 基于子字典稀疏重构的全色与多光谱遥感图像融合方法
US10223331B2 (en) 2016-04-08 2019-03-05 Goodrich Corporation Warp models for registering multi-spectral imagery
CN106066207A (zh) * 2016-05-19 2016-11-02 北京航空航天大学 一种平行光路组合式多源信息采集处理装置及方法
CA3064735C (en) 2017-05-23 2022-06-21 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
EP3646054A4 (en) 2017-05-23 2020-10-28 King Abdulaziz City for Science and Technology APERTURE SYNTHESIS RADAR IMAGING APPARATUS FOR MOBILE TARGETS
EP3698167A4 (en) 2017-11-22 2021-11-17 Urthecast Corp. SYNTHETIC OPENING RADAR FORMING APPARATUS AND ASSOCIATED PROCESSES
CN108090872B (zh) * 2017-12-18 2021-07-16 武汉大学 基于梯度提取的单帧多光谱影像超分辨率重建方法及***
CN109840539B (zh) * 2017-12-31 2023-09-08 苏州中科天启遥感科技有限公司 一种基于地块图斑的遥感时空数据融合方法
CN108460805B (zh) * 2018-01-18 2020-11-17 西安理工大学 一种利用传统数码相机获取rgb和红外图像的方法
AU2019216767A1 (en) 2018-02-09 2020-08-27 The Board Of Trustees Of The University Of Illinois A system and method to fuse multiple sources of optical data to generate a high-resolution, frequent and cloud-/gap-free surface reflectance product
CN109272010B (zh) * 2018-07-27 2021-06-29 吉林大学 基于卷积神经网络的多尺度遥感图像融合方法
CN109146831A (zh) * 2018-08-01 2019-01-04 武汉大学 基于双支深度学习网络的遥感图像融合方法及***
CN111159310B (zh) * 2019-12-13 2023-09-29 中国地质大学（武汉） 可扩展的、带有信息增益策略的图像生成时空融合方法
US11650057B2 (en) 2020-04-22 2023-05-16 Honeywell International Inc. Edge detection via window grid normalization
US11555703B2 (en) 2020-04-22 2023-01-17 Honeywell International Inc. Adaptive gaussian derivative sigma systems and methods
CN111563866B (zh) * 2020-05-07 2023-05-12 重庆三峡学院 一种多源遥感图像融合方法
CN112560570B (zh) * 2020-09-29 2023-07-25 中国科学院大学 一种协同降尺度与数据融合的高分辨率地表温度估算方法
CN112634186A (zh) * 2020-12-25 2021-04-09 江西裕丰智能农业科技有限公司 一种无人机的图像分析方法
KR102264416B1 (ko) * 2021-02-01 2021-06-14 (주)유에스티21 인공위성 영상 분석을 통한 해양쓰레기 탐지 시스템 및 그 방법
CN112949414B (zh) * 2021-02-04 2022-06-03 中国水利水电科学研究院 一种宽视域高分六号卫星影像地表水体智能制图方法
CN116416530B (zh) * 2023-03-08 2023-11-03 自然资源部国土卫星遥感应用中心 一种新增建设图斑影像核实的方法
CN117576343B (zh) * 2023-11-24 2024-04-30 自然资源部国土卫星遥感应用中心 基于高分辨率卫星立体影像的三维mesh模型制作方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5949914A (en) * 1997-03-17 1999-09-07 Space Imaging Lp Enhancing the resolution of multi-spectral image data with panchromatic image data using super resolution pan-sharpening
US6011875A (en) * 1998-04-29 2000-01-04 Eastman Kodak Company Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening
US7095420B2 (en) * 2002-10-17 2006-08-22 Lockheed Martin Corporation System and related methods for synthesizing color imagery
US7340099B2 (en) * 2003-01-17 2008-03-04 University Of New Brunswick System and method for image fusion
US7298922B1 (en) * 2004-07-07 2007-11-20 Lockheed Martin Corporation Synthetic panchromatic imagery method and system
GB2445688A (en) * 2005-09-01 2008-07-16 Zvi Haim Lev System and method for reliable content access using a cellular/wireless device with imaging capabilities
US7826685B2 (en) * 2006-12-01 2010-11-02 Harris Corporation Spatial and spectral calibration of a panchromatic, multispectral image pair
US7936949B2 (en) * 2006-12-01 2011-05-03 Harris Corporation Panchromatic modulation of multispectral imagery
US7835594B2 (en) * 2006-12-01 2010-11-16 Harris Corporation Structured smoothing for superresolution of multispectral imagery based on registered panchromatic image
US8078009B2 (en) * 2008-07-08 2011-12-13 Harris Corporation Optical flow registration of panchromatic/multi-spectral image pairs

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
S. Lewinski, "Applying fused multispectral and panchromatic data of LandsatETM+ to object oriented classification", Proc. 26th EARSeL Sympo., New Developments and Challenges in Remote Sensing, 2006.5.
T. Wang et al., "Remote-sensing image fusion based on Multiwavelet Transform and IHS Transform", Proc. 8th Int'l Conf. Signal Processing (ICSP2006), vol. 2, 16-20 Nov. 2006.
이상훈, "저해상도 Multispectral 영상의 고해상도 재구축", 대한원격탐사학회, 대한원격탐사학회지 제23권 제6호, pp. 547~552, 2007. 12.

Also Published As

Publication number Publication date
US8320712B2 (en) 2012-11-27
US20090226114A1 (en) 2009-09-10
KR20090096142A (ko) 2009-09-10

Similar Documents

Publication Publication Date Title
KR100944462B1 (ko) 위성 영상 융합 방법 및 시스템
CN110660088B (zh) 一种图像处理的方法和设备
US11805218B2 (en) Devices and methods for high dynamic range video
JP5727109B2 (ja) スペクトル画像処理
EP3888345B1 (en) Method for generating image data for machine learning based imaging algorithms
KR101291219B1 (ko) 전정색영상과 다분광영상의 융합 방법 및 그 장치
CN109447922B (zh) 一种改进的ihs变换遥感影像融合方法及***
JP6290392B2 (ja) デュアルバンドセンサからの画像の可視カラー画像への変換
CA3016428C (en) Devices and methods for high dynamic range video
US9336570B2 (en) Demosaicking system and method for color array based multi-spectral sensors
CN104796577A (zh) 基于emccd和单色ccd的彩色夜视成像装置及方法
JP5943393B2 (ja) 撮像装置
CN108961325A (zh) 多/高光谱遥感图像波段间配准方法
JP5718138B2 (ja) 画像信号処理装置及びプログラム
Murakami et al. Hybrid-resolution spectral video system using low-resolution spectral sensor
Monno et al. N-to-sRGB mapping for single-sensor multispectral imaging
CN114820581A (zh) 轴对称光学成像并行仿真方法及装置
Vaillant et al. Color correction matrix for sparse RGB-W image sensor without IR cutoff filter
JP6826277B2 (ja) 画像処理システム、画像処理方法、および画像処理プログラム
JP2008160210A (ja) 情報処理方法および撮像装置
Hernández et al. Quality evaluation of chromatic interpolation algorithms for image acquisition system
KR20210096925A (ko) 대용량 항공정사영상의 효율적인 색상보정 방법
Zhang et al. Sub-pixel dispersion model for coded aperture snapshot spectral imaging
Monno et al. Direct spatio-spectral datacube reconstruction from raw data using a spatially adaptive spatio-spectral basis
JP2005078171A (ja) 分光画像データ処理方法および分光画像データ処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130220

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140218

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150224

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20171219

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190104

Year of fee payment: 10