KR102170260B1 - 합성 개구 레이더 영상 및 다중분광영상의 융합 장치, 방법 및 그를 이용한 변화 검출 방법 - Google Patents
합성 개구 레이더 영상 및 다중분광영상의 융합 장치, 방법 및 그를 이용한 변화 검출 방법 Download PDFInfo
- Publication number
- KR102170260B1 KR102170260B1 KR1020190052506A KR20190052506A KR102170260B1 KR 102170260 B1 KR102170260 B1 KR 102170260B1 KR 1020190052506 A KR1020190052506 A KR 1020190052506A KR 20190052506 A KR20190052506 A KR 20190052506A KR 102170260 B1 KR102170260 B1 KR 102170260B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- aperture radar
- composite aperture
- multispectral
- radar image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000008859 change Effects 0.000 title claims abstract description 75
- 238000012549 training Methods 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 34
- 239000002131 composite material Substances 0.000 claims description 251
- 230000004927 fusion Effects 0.000 claims description 165
- 238000001514 detection method Methods 0.000 claims description 61
- 238000007637 random forest analysis Methods 0.000 claims description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 12
- 238000007500 overflow downdraw method Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 8
- 238000000513 principal component analysis Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 6
- 238000000701 chemical imaging Methods 0.000 description 5
- 230000000877 morphologic effect Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000003064 k means clustering Methods 0.000 description 3
- 230000007786 learning performance Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007636 ensemble learning method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
- G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
- G01S13/9021—SAR image post-processing techniques
- G01S13/9027—Pattern recognition for feature extraction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
- G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Processing (AREA)
Abstract
합성 개구 레이더 영상 및 다중분광영상의 융합 장치, 방법 및 그를 이용한 변화 검출 방법이 개시되며, 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 방법은, 다중분광영상을 처리하는 단계, 합성 개구 레이더 영상을 처리하는 단계, 상기 다중분광영상 및 상기 합성 개구 레이더 영상으로부터 트레이닝 픽셀을 결정하는 단계, 상기 트레이닝 픽셀에 대응하는 다중분광영상의 색상 정보 및 합성 개구 레이더 영상의 특성 정보에 기초하여 다중분광영상과 합성 개구 레이더 영상의 상관 관계를 학습하는 단계 및 학습된 상관 관계에 기초하여, 상기 다중분광영상 및 상기 합성 개구 레이더 영상을 융합하여 상기 합성 개구 레이더 영상을 컬러화하는 단계를 포함할 수 있다.
Description
본원은 합성 개구 레이더 영상 및 다중분광영상의 융합 장치, 방법 및 그를 이용한 변화 검출 방법에 관한 것이다.
동일지역을 촬영한 위성 영상을 이용하여 변화 탐지를 수행하기 위해서는 동일한 조건으로 촬영된 영상이 활용되어야 하나, 광학위성 영상의 경우 촬영주기, 대기조건 및 기상조건 등에 의해 필요한 시기의 영상을 획득하는데 어려움이 있다. 특히, 다시기의 영상 정보가 활용되는 경우 취득되는 시기에 따라 센서 특성 및 방사적, 계절적으로 다른 특성을 담고 있다. 이러한 특성의 보정이 수행되지 않는 경우, 실제 변화된 객체가 아님에도 해당 객체를 변화된 지역으로 판단하는 오류를 범할 수 있다.
또한, 변화 탐지는 동일지역을 서로 다른 시간에 촬영한 위성 영상 등을 이용하여 영상을 분석하여 자연적으로 발생하거나 인간 활동에 의해 생성된 해당 지역 내 변경 사항을 모니터링하는 프로세스이다. 이러한 변화 탐지를 높은 정확도로 수행하기 위해서는 변화 탐지의 기초가 되는 위성 영상 등이 시간적으로 서로 가깝고 풍부한 특징을 반영할 수 있어야 한다. 그러나, 한 가지 종류의 영상만을 고려하는 경우(예를 들어, 합성 개구 레이더 영상만 사용하거나 광학 데이터만 사용하는 경우)에는 이러한 요구 사항이 충족되기 어렵다. 최근 들어 다양한 해상도와 성능 수준을 제공하는 관측 센서가 장착된 인공 위성이 만들어지고 동작하고 있으며, 변화 탐지의 대상이 되는 영상이 가진 한계를 극복하기 위한 각종 센서가 마련되고 있는 실정이다.
구체적으로, 광학 데이터(광학 이미지)는 반사 특성 및 방사 특성에 대해 비교적 풍부한 정보를 반영할 수 있어 그 해석이 용이하여 변화 탐지를 위한 주요한 데이터로 활용될 수 있다. 다만, 광학 데이터는 촬영시 구름의 존재 등의 대기 조건의 영향을 상대적으로 크게 받아 변화 탐지에 활용되기 위한 시간적 제약을 극복하기 어렵다. 반대로, 레이더 센서(예를 들어, 합성 개구 레이더)는 대기를 통과하는 긴 파장의 자체 조명원의 구비를 통해 기상 조건의 영향을 덜 받고 낮과 밤의 영향 또한 받지 않는다. 나아가 레이더 센서는 지형 및 물체에 대한 후방 산란에 대한 민감도가 높고 진폭 및 위상 측면에서 일관된 이미징을 가능케 한다. 다만, 스펙클 노이즈, 경사 범위 이미징, 레이어 오버, 그림자에 의한 영향 또는 제한된 대역으로 인해 광학 이미지와 비교할 때 상대적으로 해석이 어렵다는 한계를 가진다.
이와 관련하여, 변화 탐지에 다양한 원격 감지 데이터를 활용하기 위해 합성 개구 레이더(Synthetic Aperture Radar; SAR)에 의한 영상과 광학 이미지 데이터를 보완적으로 함께 사용하거나 상이한 두 유형의 데이터를 융합하는 것을 고려할 수 있다. 다만, 종래의 영상 융합 방법은 상이한 두 유형의 데이터 간의 이미징 메커니즘(imaging mechnism) 차이를 좁히지 못하고, 변화 탐지에서 사용되는 광학 이미지 데이터의 시간적 한계를 극복하지 못했다.
특히, 종래의 영상 융합 방법은 합성 개구 레이더 영상과 광학 이미지의 영상화 메커니즘 간의 상당한 차이에 의해, 융합된 영상은 기존 영상과 회색 값(gray value) 차이가 상대적으로 크고, 융합된 영상에 무시할 수 없는 색상 왜곡이 유발되는 단점이 있다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-1693705호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 합성 개구 레이더 영상과 광학 이미지(특히, 다중분광영상)의 상관 관계를 탐색하여 이를 학습하여, 합성 개구 레이더 영상과 광학 이미지의 융합 영상을 기초로 합성 개구 레이더 영상을 컬러화하는 합성 개구 레이더 영상 및 다중분광영상의 융합 장치를 제공하는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 합성 개구 레이더 영상 및 다중분광영상의 융합을 통한 변화 검출 방법 및 시스템을 제공하는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 방법은, 다중분광영상을 처리하는 단계, 합성 개구 레이더 영상을 처리하는 단계, 상기 다중분광영상 및 상기 합성 개구 레이더 영상으로부터 트레이닝 픽셀을 결정하는 단계, 상기 트레이닝 픽셀에 대응하는 다중분광영상의 색상 정보 및 합성 개구 레이더 영상의 특성 정보에 기초하여 다중분광영상과 합성 개구 레이더 영상의 상관 관계를 학습하는 단계 및 학습된 상관 관계에 기초하여, 상기 다중분광영상 및 상기 합성 개구 레이더 영상을 융합하여 상기 합성 개구 레이더 영상을 컬러화하는 단계를 포함할 수 있다.
또한, 상기 상관 관계를 학습하는 단계는, 상기 합성 개구 레이더 영상 중 상기 트레이닝 픽셀의 위치에 대응하는 픽셀의 특성 정보 및 상기 다중분광영상 중 상기 트레이닝 픽셀의 위치에 대응하는 픽셀의 색상 정보를 입력으로 하는 랜덤 포레스트 모델을 이용하여, 다중분광영상과 합성 개구 레이더 영상의 상관 관계를 학습하는 것일 수 있다.
또한, 상기 다중분광영상을 처리하는 단계는, 상기 다중분광영상으로부터 RGB 대역의 픽셀값을 추출하는 단계 및 상기 다중분광영상을 복수의 클래스로 분류하는 단계를 포함할 수 있다.
또한, 상기 랜덤 포레스트 모델은 상기 복수의 클래스마다 생성될 수 있다.
또한, 상기 상관 관계를 학습하는 단계는, 복수의 클래스마다 생성된 랜덤 포레스트 모델 각각을 이용하여 수행될 수 있다.
또한, 상기 다중분광영상을 복수의 클래스로 분류하는 단계는, K 평균 클러스터링 알고리즘을 기 설정된 반복 횟수만큼 수행하여 상기 다중분광영상을 복수의 클래스로 분류하는 것일 수 있다.
또한, 상기 상기 합성 개구 레이더 영상을 처리하는 단계는, 상기 합성 개구 레이더 영상으로부터 픽셀 정보를 추출하는 단계, 상기 합성 개구 레이더 영상의 각 픽셀에서의 GLCM(gray level co-occurrence matrix)를 생성하는 단계 및 상기 GLCM으로부터 상기 합성 개구 레이더 영상의 상기 특성 정보를 추출하는 단계를 포함할 수 있다.
또한, 상기 트레이닝 픽셀을 결정하는 단계는, 합성 개구 레이더 영상 및 다중분광영상의 픽셀값을 차분하는 단계 및 픽셀값의 차분 결과에 기초하여 미변화 픽셀을 상기 트레이닝 픽셀로 결정하는 단계를 포함할 수 있다.
또한, 상기 합성 개구 레이더 영상을 컬러화하는 단계는, 상기 학습된 상관 관계에 기초하여, 상기 합성 개구 레이더 영상의 상기 트레이닝 픽셀 이외의 픽셀에서의 색상 정보를 예측하고, 상기 예측된 색상 정보에 기초하여 상기 합성 개구 레이더 영상을 컬러화하는 것일 수 있다.
또한, 상기 다중분광영상과 상기 합성 개구 레이더 영상은 서로 다른 시점(time)에 획득된 것일 수 있다.
한편, 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 기초한 변화 검출 방법은, 합성 개구 레이더 영상 및 다중분광영상의 융합 방법을 이용하여 상기 합성 개구 레이더 영상을 컬러화하는 단계 및 상기 컬러화된 합성 개구 레이더 영상 및 상기 다중분광영상을 기초로 촬영 대상 영역의 변화 검출을 수행하는 단계를 포함할 수 있다.
또한, 상기 다중분광영상과 상기 합성 개구 레이더 영상은 서로 다른 시점(time)에 획득된 것일 수 있다.
한편, 본원의 일 실시예에 따른, 합성 개구 레이더 영상 및 다중분광영상의 융합 장치는, 다중분광영상으로부터 색상 정보를 추출하고, 상기 다중분광영상을 복수의 클래스로 분류하는 다중분광영상 처리부, 합성 개구 레이더 영상으로부터 픽셀 정보 및 특성 정보를 추출하는 합성 개구 레이더 영상 처리부, 상기 다중분광영상 및 상기 합성 개구 레이더 영상으로부터 트레이닝 픽셀을 결정하는 트레이닝 픽셀 설정부, 상기 트레이닝 픽셀에 대응하는 다중분광영상의 상기 색상 정보 및 합성 개구 레이더 영상의 상기 특성 정보에 기초하여 다중분광영상과 합성 개구 레이더 영상의 상관 관계를 학습하는 학습부 및 학습된 상관 관계에 기초하여, 상기 다중분광영상 및 상기 합성 개구 레이더 영상을 융합하여 상기 합성 개구 레이더 영상을 컬러화하는 컬러화부를 포함할 수 있다.
또한, 본원의 일 실시예에 따른, 합성 개구 레이더 영상 및 다중분광영상의 융합 장치는, 컬러화된 합성 개구 레이더 영상 및 상기 다중분광영상을 기초로 촬영 대상 영역의 변화 검출을 수행하는 변화 검출부를 포함할 수 있다.
또한, 상기 학습부는, 상기 합성 개구 레이더 영상 중 상기 트레이닝 픽셀의 위치에 대응하는 픽셀의 특성 정보 및 상기 다중분광영상 중 상기 트레이닝 픽셀의 위치에 대응하는 픽셀의 색상 정보를 입력으로 하는 랜덤 포레스트 모델을 이용하여, 다중분광영상과 합성 개구 레이더 영상의 상관 관계를 학습할 수 있다.
또한, 상기 컬러화부는, 상기 학습된 상관 관계에 기초하여, 상기 합성 개구 레이더 영상의 상기 트레이닝 픽셀 이외의 픽셀에서의 색상 정보를 예측하고, 상기 예측된 색상 정보에 기초하여 상기 합성 개구 레이더 영상을 컬러화하는 것일 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 합성 개구 레이더 영상과 광학 이미지(특히, 다중분광영상)의 상관 관계를 획득하고 이를 학습하여, 합성 개구 레이더 영상과 광학 이미지의 융합 영상을 기초로 합성 개구 레이더 영상을 컬러화하는 합성 개구 레이더 영상 및 다중분광영상의 융합 장치를 제공할 수 있는 효과가 있다.
전술한 본원의 과제 해결 수단에 의하면, 합성 개구 레이더 영상 및 다중분광영상의 융합을 통한 변화 검출 방법 및 시스템을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 종래의 영상 융합 기법과 달리, 촬영된 시점에 시간차가 존재하는 영상들을 기반으로도 영상 융합을 수행할 수 있고, 융합된 영상을 변경 탐지에 활용할 수 있는 효과가 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 장치를 포함하는, 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 기초한 변화 검출시스템의 개략적인 구성도이다.
도 2는 본원의 일 실시예에 따른 합성 개구 레이더 영상과 다중분광영상을 나타낸 도면이다.
도 3은 본원의 일 실시예에 따른 랜덤 포레스트 모델 기반의 합성 개구 레이더 영상 및 다중분광영상의 융합 결과와 종래의 영상 융합 기법 또는 다른 회귀 모델에 기반한 모델에 의한 융합 결과를 비교하여 나타낸 도면이다.
도 4는 본원의 일 실시예에 따른 클래스의 수에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 결과를 분석하여 나타낸 도면이다.
도 5는 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 기초한 변화 검출 결과를 나타낸 도면이다.
도 6은 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 기초한 변화 검출 결과를 통계적 지표를 통해 평가한 도표이다.
도 7 은 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 장치의 개략적인 구성도이다.
도 8은 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 방법의 동작흐름도이다.
도 9는 본원의 일 실시예에 따른 합성 개구 레이더 영상을 처리하는 방법의 동작흐름도이다.
도 10은 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 기초한 변화 검출 방법의 동작흐름도이다.
도 2는 본원의 일 실시예에 따른 합성 개구 레이더 영상과 다중분광영상을 나타낸 도면이다.
도 3은 본원의 일 실시예에 따른 랜덤 포레스트 모델 기반의 합성 개구 레이더 영상 및 다중분광영상의 융합 결과와 종래의 영상 융합 기법 또는 다른 회귀 모델에 기반한 모델에 의한 융합 결과를 비교하여 나타낸 도면이다.
도 4는 본원의 일 실시예에 따른 클래스의 수에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 결과를 분석하여 나타낸 도면이다.
도 5는 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 기초한 변화 검출 결과를 나타낸 도면이다.
도 6은 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 기초한 변화 검출 결과를 통계적 지표를 통해 평가한 도표이다.
도 7 은 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 장치의 개략적인 구성도이다.
도 8은 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 방법의 동작흐름도이다.
도 9는 본원의 일 실시예에 따른 합성 개구 레이더 영상을 처리하는 방법의 동작흐름도이다.
도 10은 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 기초한 변화 검출 방법의 동작흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 장치를 포함하는, 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 기초한 변화 검출시스템의 개략적인 구성도이다.
도 1을 참조하면, 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 기초한 변화 검출 시스템(10)은, 합성 개구 레이더 영상 및 다중분광영상의 융합 장치(100)(이하, '영상 융합 장치(100)'라 한다.), 합성 개구 레이더(200), 다중분광영상 촬영 장치(300) 및 네트워크(20)를 포함할 수 있다.
합성 개구 레이더(200)(Synthetic Aperture Radar, SAR)는 공중에서 지상 및 해양을 관찰하는 레이더일 수 있다. 구체적으로, 합성 개구 레이더(200)는 지상 및 해양에 대해 전파 신호를 순차적으로 쏜 이후, 상기 전파 신호가 관측 지역으로부터 반사되어 돌아오는 시간차를 선착순으로 합성하여 지상지형도를 만들어내는 레이더 시스템을 의미할 수 있다. 아울러, 합성 개구 레이더 영상은 상기 레이더 시스템을 통하여 만들어진 영상이다. 상기 합성 개구 레이더 영상은 평상 시뿐만 아니라, 주야간, 및 악천후 시에도 상기 레이더 시스템을 통하여 만들어질 수 있다.
본원의 일 실시예에 따르면, 합성 개구 레이더(200)는 다목적 위성인 KOMPSAT-5 에 구비된 레이더일 수 있다. 참고로, KOMPSAT-5는 표준 모드(ST 모드, 3m, 30km swath), 고해상도 모드(HR 모드, 1m, 5km swath), 와이드 워쓰 모드(WS 모드, 20m, 100 km swath)의 3가지 이미징 모드를 제공할 수 있으며, 본원의 일 실시예에 따른 합성 개구 레이더 영상은 KOMPSAY-5의 공간 분해능 3m, 하강 궤도(descending orbit), HH 편파(polarization)의 파라미터를 제공하는 표준 모드(ST 모드)에서 촬영된 것 일 수 있다.
다중분광영상 촬영 장치(300)는, 예시적으로, Landsat-8 Operational Land Imager (OLI)일 수 있다. 본원의 일 실시예에 따른 다중분광영상은 공간 분해능이 30m 이고, 7개의 대역(대역 1: 0.433-0.453μm, 대역 2: 0.450-0.515 μm, 대역 3: 0.525-0.600μm, 대역 4: 0.630-0.680μm, 대역 5: 0.845-0.885μm, 대역 6: 1.560-1.660μm, 대역 7: 2.100-2.300μm)를 지원하는 다중분광영상 촬영 장치(300)에 의해 촬영된 것일 수 있다.
영상 융합 장치(100)는 합성 개구 레이더(200) 및 다중분광영상 촬영 장치(300)와 네트워크(20)를 통해 통신할 수 있다. 네트워크(20)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(20)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
이하에서는, 영상 융합 장치(100)가 합성 개구 레이더 영상 및 다중분광영상을 융합하는 과정에 대해 상세히 서술하기로 한다.
먼저, 영상 융합 장치(100)는, 네트워크(20)를 통해 합성 개구 레이더(200)가 촬영한 합성 개구 레이더 영상을 획득할 수 있다.
또한, 영상 융합 장치(100)는, 네트워크(20)를 통해 다중분광영상 촬영 장치(300)가 촬영한 다중분광영상을 획득할 수 있다.
도 2는 본원의 일 실시예에 따른 합성 개구 레이더 영상과 다중분광영상을 나타낸 도면이다.
도 2의 (a) 본원의 일 실시예에 따른 합성 개구 레이더 영상이고, (b)는 본원의 일 실시예에 따른 다중분광영상일 수 있다.
또한, 본원의 일 실시예에 따르면, 다중분광영상과 합성 개구 레이더 영상은 서로 다른 시점(time)에 획득된 것일 수 있다. 예시적으로, 도 2의 합성 개구 레이더 영상(a)은 2014년 8월 21일에 획득된 것일 수 있다. 또한, 도 2의 다중분광영상(b)은 2016년 9월 24일에 획득된 것일 수 있다. 달리 말해, 본원의 일 실시예에 따르면, 다중분광영상은 제 1시점에 획득(촬영)된 영상일 수 있고, 합성 개구 레이더 영상은 상기 제 1시점과 상이한 제 2시점에 획득(촬영)된 영상을 의미할 수 있다. 상기 제 1 시점 및 상기 제 2 시점의 시간적 선후 관계는 실시예에 따라 달라질 수 있음은 물론이다.
구체적으로, 제 2시점에 촬영된 합성 개구 레이더 영상은, 제 1 시점에 촬영된 다중분광영상과 제 2시점에 촬영된 다중분광영상을 기초로 하여 촬영 대상 영역의 변화 검출을 수행하려는 경우, 상기 제 2 시점에 촬영된 다중분광영상이 구름이 존재하는 등의 대기 조건 또른 다른 불측의 원인에 의해 변화 검출에 활용되기 적합하게 촬영되지 못한 경우, 제 2시점에 촬영된 다중분광영상을 대체하기 위하여 활용될 수 있다.
달리 말해, 후술할 영상 융합 방법에 의한 서로 다른 시점(time)에 촬영된 다중분광영상과 합성 개구 레이더 영상의 융합 영상으로 특정 시점의 다중분광영상에 문제가 있더라도 해당 특정 시점의 다중분광영상을 대체할 수 있다.
영상 융합 장치(100)는, 다중분광영상을 처리할 수 있다. 본원의 일 실시예에 따르면, 상기 다중분광영상은 상기 제 1시점에 촬영된 것일 수 있다. 먼저, 영상 융합 장치(100)는, 대기 조건에 의한 영향을 보정하기 위해 다중분광영상에 대해 Dark-Object Substraction 알고리즘 기반의 전처리를 수행할 수 있다. 또한, 본원의 일 실시예에 따르면, 영상 융합 장치(100)는 다중분광영상이 합성 개구 레이더 영상과 동일한 해상도를 갖도록 다중분광영상의 해상도를 15m로 재샘플링할 수 있다.
또한, 영상 융합 장치(100)는, 다중분광영상으로부터 RGB 대역의 픽셀값을 추출할 수 있다. 달리 말해, 영상 융합 장치(100)는 다중분광영상으로부터 가시 스펙트럼인 적색(R), 녹색(G), 청색(B) 대역만을 추출할 수 있다. 상기 RGB 대역의 픽셀값은 본원 명세서 전반에서 다중분광영상의 색상 정보를 의미하는 것으로 이해될 수 있다. 또한, 상기 다중분광영상은 상기 제 1시점에 촬영된 것일 수 있으며, 따라서 상기 색상 정보는 제 1시점에서의 촬영 대상 영역의 특성(색상)을 반영한 것일 수 있다.
또한, 영상 융합 장치(100)는, 다중분광영상을 복수의 클래스로 분류할 수 있다. 영상 융합 장치(100)는, 영상 융합의 전체 알고리즘의 복잡도를 줄이고, 높은 예측 정확도를 확보하기 위하여, 다중분광영상과 합성 개구 레이더 영상을 전체 대 전체로서 융합하는 것이 아니라, 복수의 클래스로 다중분광영상을 분할하고 복수의 클래스 별로 후술할 영상 융합 알고리즘(예를 들어, 두 영상의 특성을 학습하는 알고리즘)을 독립적으로 적용할 수 있다.
구체적으로, 영상 융합 장치(100)는, K 평균 클러스터링 알고리즘을 기 설정된 반복 횟수만큼 수행하여 다중분광영상을 복수의 클래스로 분류할 수 있다. K 평균 클러스터링 알고리즘은 클러스터 중심을 기초로 하여 데이터 분류를 위한 모델을 수립하는 중심 기반(centroid-based) 기법이며, 중심점 벡터에 대한 각 픽셀(점) 사이의 거리의 합을 최소화 하기 위해 목적하는 분류 결과가 달성될 때까지 반복적으로 모델을 수정할 수 있다. 즉, K 평균 클러스터링 알고리즘에 적용되는 매개 변수는 클래스의 수, 반복(iteration) 횟수일 수 있다.
본원의 일 실시예에 따르면, 최적 클래스의 수는 두 영상의 특성을 학습하는 알고리즘의 학습 시간을 포함하는 학습 성능 및 토지 피복 분포 특성(land cover distribution characteristics)과 연관된 정보를 고려하여 결정될 수 있으며, 이를 기초로 하여 결정되는 최소 클래스의 수는 6개일 수 있다.
또한, 본원의 일 실시예에 따르면, K 평균 클러스터링 알고리즘의 반복 횟수(iteration)가 20을 초과하는 경우에는 유의미한 학습 성능의 향상이 없으므로 최대 반복 횟수는 20으로 결정될 수 있다.
영상 융합 장치(100)는, 합성 개구 레이더 영상을 처리할 수 있다. 본원의 일 실시예에 따르면, 상기 합성 개구 레이더 영상은 상기 제 2시점에 촬영된 것일 수 있다. 먼저 영상 융합 장치(100)는, 멀티룩킹(multi-looking), 스페클 필터링(speckle filtering), 지형 보정 등의 영상 전처리를 수행할 수 있다. 예시적으로, 멀티룩킹(multi-looking)은 스페클 노이즈를 저감하기 위하여 3개의 range look과 6개의 azimuth look을 바탕으로 수행될 수 있다. 또한, 스페클 필터링(speckle filtering)은 물체의 외곽(edge)를 유지하면서 스페클 노이즈를 감소시키기 위하여 3x3 커널의 감마 맵 필터를 통해 수행될 수 있다. 또한, 지형 보정은 셔틀 레이더 지형 미션(Shuttle Radar Topography Mission, SRTM)와 연계되어 수행될 수 있으며, 쌍 선형 보간법(bilinear interpolation)이 함께 적용될 수 있다.
또한, 영상 융합 장치(100)는 합성 개구 레이더 영상으로부터 픽셀 정보를 추출할 수 있다. 상기 픽셀 정보는 합성 개구 레이더 영상의 세기 정보(intensity)를 의미할 수 있으며, 상기 픽셀 정보를 통해 합성 개구 레이더 영상의 각 픽셀은 다중분광영상의 각 픽셀과의 매핑될 수 있다. 종래의 영상 융합 기법은, 합성 개구 레이더 영상으로부터 픽셀 정보만을 고려하였으나 픽셀 정보만을 고려하는 경우에는 높은 정확도를 갖는 예측 결과를 기대하기 어렵다. 따라서, 본원의 일 실시예에 따른 영상 융합 장치(100)는 픽셀 정보와 함께 GLCM을 통해 획득되는 특성 정보(특히, 재질 특성, 거칠기 특성 등을 포함한다)를 영상 융합에 활용할 수 있다. 또한, 상기 합성 개구 레이더 영상은 상기 제 2시점에 촬영된 것일 수 있으며, 따라서 상기 픽셀 정보 및 상기 특성 정보는 촬영 대상 영역의 제 2시점에서의 특성을 반영한 것일 수 있다. 이하에서는 영상 융합 장치(100)는 GLCM을 기초로 특성 정보를 획득하는 과정을 상세히 설명한다.
영상 융합 장치(100)는 합성 개구 레이더 영상의 각 픽셀에서의 GLCM(gray level co-occurrence matrix)를 생성할 수 있다. GLCM은 하나의 픽셀에 대하여 그 픽셀과 인접한 픽셀 사이의 통계값을 통해 해당 픽셀의 공간적 특성을 나타내는 행렬을 의미할 수 있다.
또한, 영상 융합 장치(100)는 GLCM으로부터 합성 개구 레이더 영상의 특성 정보를 추출할 수 있다. 구체적으로, 영상 융합 장치(100)는, GLCM 으로부터 대비(contrast), 불일치도(dissimilarity), 동질성(homogeneity), 상관도(correlation), ASM(angular second moment) 및 에너지(energy) 등의 GLCM 기술자를 적어도 하나 획득할 수 있다.
구체적으로, 대비(contrast)는 합성 개구 레이더 영상의 텍스쳐 구조의 깊이와 부드러운 정도를 나타낼 수 있다. 불일치도(dissimilarity)는 대비(contrast)와 유사한 GLCM 기술자이나, 대비(contrast)는 하나의 픽셀로부터 대각선 방향으로 멀어짐에 따라 지수적으로 증가(예를 들어, 0,1,4,9 등)하는 값인 반면, 불일치도(dissimilarity)는 선형적으로 증가(예를 들어, 0,1,2,3 등)한다는 차이가 존재한다. 동질성(homogeneity)은 합성 개구 레이더 영상의 텍스쳐의 매끄러움을 측정하며, 이웃하는 픽셀에서 스펙트럼이 크게 변하는 경우 그 값이 작게 측정되며, 반대로 스펙트럼이 작게 변하는 경우 그 값이 크게 측정될 수 있다. 상관도(correlation)는 합성 개구 레이더 영상의 텍스쳐의 수평 또는 수직 방향의 유사성을 반영할 수 있다. ASM은 영상 분포의 규칙성 및 균일성을 측정할 수 있으며, 에너지(energy)는 ASM의 제곱근으로 계산될 수 있다.
또한, GLCM로부터 각 GLCM기술자를 계산하기 위해서는, 합성 개구 레이더 영상에 특정 크기의 창(window)을 설정해야 하며, 본원의 일 실시예에 따르면, 5x5 크기의 창의 경우, 세부적인 질감(특성 정보)를 잘 반영할 수 있다.
또한, 본원의 일 실시예에 따르면, 영상 융합 장치(100)는 모든 특성 정보를 명확히 측정하기 위하여, GLCM을 통한 특성 정보 추출 이전에 영상 정합(co-register) 및 지형 보정을 선행하여 수행할 수 있다.
영상 융합 장치(100)는, 다중분광영상 및 합성 개구 레이더 영상으로부터 트레이닝 픽셀을 결정할 수 있다.
이와 관련하여, 영상 융합 장치(100)는, 합성 개구 레이더 영상 및 다중분광영상의 픽셀값을 차분할 수 있다.
또한, 영상 융합 장치(100)는, 픽셀값의 차분 결과에 기초하여 미변화 픽셀을 트레이닝 픽셀로 결정할 수 있다. 구체적으로, 영상 융합 장치(100)는, 픽셀값의 차분 결과에 기초하여 분광 반사율(spectral reflectance)이 소정의 수준 이하로만 변한 영역(다시 말해, 거의 변하지 않은 영역)을 상기 미변화 픽셀로 결정하고 이를 트레이닝 픽셀로 결정할 수 있다.
또한, 본원의 일 실시예에 따르면, 영상 융합 장치(100)는, 트레이닝 픽셀을 결정하기에 앞서, 합성 개구 레이더 영상과 다중분광영상의 차원(dimension)을 일치시키기 위한 광도법(luminosity method)를 선행하여 적용할 수 있다. 상기 광도법은 하기 식 1에 의해 수행되는 것일 수 있다.
[식 1]
영상 융합 장치(100)는, 트레이닝 픽셀에 대응하는 다중분광영상의 색상 정보 및 합성 개구 레이더 영상의 특성 정보에 기초하여 다중분광영상과 합성 개구 레이더 영상의 상관 관계를 학습할 수 있다. 또한, 상기 다중분광영상은 상기 제 1시점에 촬영된 것이고, 상기 합성 개구 레이더 영상은 상기 제 2시점에 촬영된 것일 수 있다. 따라서, 상기 다중분광영상과 합성 개구 레이더 영상의 상관 관계를 학습하는 것은, 다중분광영상으로부터 제 1시점의 색상 정보를 파악하고, 합성 개구 레이더 영상으로부터 제 2시점의 특성 정보를 파악하여, 둘 사이의 상관 관계를 도출하는 것을 의미할 수 있다. 나아가, 상기 다중분광영상과 합성 개구 레이더 영상의 상관 관계가 학습되면, 제 1시점의 색상 정보와 제 2 시점의 특성 정보를 통해, 제 2 시점의 색상 정보를 예측할 수 있다.
본원의 일 실시예에 따르면, 영상 융합 장치(100)는, 합성 개구 레이더 영상 중 트레이닝 픽셀의 위치에 대응하는 픽셀의 특성 정보 및 다중분광영상 중 트레이닝 픽셀의 위치에 대응하는 픽셀의 색상 정보를 입력으로 하는 랜덤 포레스트(Random Forest, RF) 모델을 이용하여, 다중분광영상과 합성 개구 레이더 영상의 상관 관계를 학습할 수 있다.
랜덤 포레스트(RF) 기법은 분류기(classifier) 또는 회귀기(regressor)와 연계되어 다수의 독립 트리를 만들고 통계 분석을 통해 결과를 얻는 앙상블 학습법(학습 알고리즘)을 의미할 수 있다. 랜덤 포레스트 모델은 다수의 데이터에서 파악되는 복잡한 관계를 모델링하고, 예측 변수와 응답 변수 사이의 비선형 관계를 모델링하는데 적합하다. 분류기의 경우, 모델링 결과는 개별 트리의 결과에서 결정된 다수의 표를 사용하여 획득되며, 회귀기의 경우, 모델링 결과는 트리의 평균을 사용하여 획득된다. 구체적으로, 회귀 트리는 랜덤 포레스트 기반의 회귀 분석에서 기본 학습자로 사용되며, 각 회귀 트리는 기존 데이터 세트에서 파생된 별도의 부트 스트랩 샘플에서 재배치된다(부트 스트랩 집계, bagging). 즉, 독립 트리를 통해 결과를 얻은 다음 그 결과를 집계하므로 안정성이 높고 노이즈가 데이터에 미치는 영향이 상대적으로 작으며, 과도한 오류를 방지할 수 있다. 또한, 랜덤 포레스트 모델의 성능은 학습 대상에서 제외된 일부 트리 데이터(Out-of-Bag Data; OOB data)를 사용하여 평가된다.
종합하면, 랜덤 포레스트는 두 데이터 간의 관계가 다소 복잡하거나 비선형인 경우, 높은 정확도로 모델링을 수행할 수 있으며, 높은 예측 성능과 안정성 측면의 이점이 있어 원격 감지(변화 탐지) 분야에 적용되기에 적합한 학습 모델이다.
본원의 일 실시예에 따르면, 랜덤 포레스트 모델은 다중분광영상을 처리하는 과정에서 분류된 복수의 클래스마다 생성될 수 있다. 또한, 영상 융합 장치(100)는 복수의 클래스 마다 생성된 랜덤 포레스트 모델 각각을 이용하여 상관 관계의 학습을 수행할 수 있다. 영상 융합 장치(100)가 복수의 클래스 별로 랜덤 포레스트 모델을 이용한 학습을 독립적으로 수행함에 따라, 전체 알고리즘(학습)의 복잡성이 감소될 수 있으며, 다중분광영상으로부터 더 풍부한 정보를 검색할 수 있다. 구체적으로, 복수의 클래스 마다 생성된 랜덤 포레스트 모델 각각은 트레이닝 픽셀에서의 합성 개구 레이더 영상의 특성 정보(특히, 재질, 거칠기 특성)와 다중분광영상의 RGB 대역의 픽셀값(색상 정보)을 사용하여 학습을 수행한다.
또한, 본원의 일 실시예에 따르면, 랜덤 포레스트 모델링을 위한 트리(Tree) 수는 랜덤 포레스트 모델의 학습 시간을 포함하는 성능을 고려하여 결정될 수 있으며, 상기 트리(Tree) 수는 예시적으로 32개로 결정될 수 있다.
영상 융합 장치(100)는, 학습된 상관 관계에 기초하여, 다중분광영상 및 합성 개구 레이더 영상을 융합하여 상기 합성 개구 레이더 영상을 컬러화할 수 있다.
구체적으로 영상 융합 장치(100)는, 학습된 상관 관계에 기초하여, 합성 개구 레이더 영상의 트레이닝 픽셀 이외의 픽셀(예를 들면, 전체 픽셀에서 트레이닝 픽셀을 제외한 픽셀)에서의 색상 정보를 예측할 수 있다.
또한, 영상 융합 장치(100)는, 예측된 색상 정보에 기초하여 합성 개구 레이더 영상을 컬러화할 수 있다. 또한, 상기 다중분광영상은 상기 제 1시점에 촬영된 것이고, 상기 합성 개구 레이더 영상은 상기 제 2시점에 촬영된 경우, 상기 예측된 색상 정보는 상기 다중분광영상과 합성 개구 레이더 영상의 상관 관계에 기초하여, 제 1시점의 색상 정보와 제 2 시점의 특성 정보를 통해, 예측된 제 2 시점의 색상 정보를 의미할 수 있다.
구체적으로, 본원의 일 실시예에 따르면, 합성 개구 레이더 영상의 전체 픽셀 중 미변화 픽셀인 트레이닝 픽셀에 대응하는 위치의 색상 정보(예를 들면, RGB 값)는 다중분광영상의 트레이닝 픽셀에 대응하는 위치의RGB 대역의 픽셀값으로 결정될 수 있으며, 합성 개구 레이더 영상의 전체 픽셀 중 트레이닝 픽셀이 아닌 영역의 색상 정보(RGB 값)은 학습된 상관 관계에 기초하여 예측된 색상 정보(RGB 값)으로 결정될 수 있다.
도 3a는 본원의 일 실시예에 따른 랜덤 포레스트 모델 기반의 합성 개구 레이더 영상 및 다중분광영상의 융합 결과와 종래의 영상 융합 기법 또는 다른 회귀 모델에 기반한 모델에 의한 융합 결과를 비교하여 나타낸 도면이다.
도 3a를 참조하면, (a)는 기준 다중분광영상, (b) 본원의 일 실시예에 따른 영상 융합 장치(100)에 의한 합성 개구 레이더 영상 및 다중분광영상의 융합 영상, (c)는 개선된 intensity-hue-saturation(IHS) 기법에 의한 융합 영상, (d)는 principal component analysis(PCA) 기법에 의한 융합 영상, (e)는 Gram-Schmidt(GS) 기법에 의한 융합 영상, (f)는 Ehlers 기법에 의한 융합 영상, (g)는 stochastic gradient boosting(SGB) 회귀 모델에 의한 융합 영상, (h)는 adaptive boosting(AdaBoost) 회귀 모델에 의한 융합 영상을 각각 의미할 수 있다. 도 3에 도시된 융합 영상 비교를 통하여 합성 개구 레이더 영상 및 다중분광영상의 융합 영상의 품질을 육안으로 확인할 수 있다.
도 3a를 참조하면, 본원의 일 실시예에 따른 영상 융합 장치(100)에 의한 합성 개구 레이더 영상 및 다중분광영상의 융합 영상이 단일 합성 개구 레이더 영상 또는 단일 다중분광영상에 의할 때 보다 더 많은 정보를 포함하고 있음을 확인할 수 있다. 특히, 본원에 의한 융합 영상은 합성 개구 레이더 영상의 특성 정보뿐만 아니라 다중분광영상의 색상 정보를 함께 반영할 수 있다.
구체적으로, (c)의 개선된 intensity-hue-saturation(IHS) 기법에 의한 융합 영상, (d)의 principal component analysis(PCA) 기법에 의한 융합 영상, (e)의 Gram-Schmidt(GS) 기법에 의한 융합 영상의 경우 색상 왜곡이 크게 나타나며, 스펙트럼 보존이 제대로 수행되지 않은 것을 확인할 수 있고, (f)의 Ehlers 기법에 의한 융합 영상의 경우, 다른 영상 융합 기법과 비교할 때 스펙트럼 보존은 비교적 잘 수행되지만, 융합 영상이 전반적으로 흐려져 세부적인 특성이 제대로 반영되지 않을 수 있다.
또한, (g)의 stochastic gradient boosting(SGB) 회귀 모델에 의한 융합 영상의 경우, 배경 영역의 색상은 잘 표현하지만 지면 또는 지상의 색상을 제대로 표현되지 않는 것을 확인할 수 있으며, (h)의 adaptive boosting(AdaBoost) 회귀 모델에 의한 융합 영상의 경우, 전체적으로 다소 붉은 색조로 왜곡될 수 있으며, 합성 개구 레이더 영상의 특성을 주로 반영한 부분은 녹색의 노이즈가 나타날 수 있다.
반면, (b)의 본원의 일 실시예에 따른 영상 융합 장치(100)에 의한 합성 개구 레이더 영상 및 다중분광영상의 융합 영상은 비교적 색상 왜곡이 적고, 다중분광영상의 스펙트럼 특성이 잘 유지되며, 합성 개구 레이더 영상의 특성 정보(특히, 재질 특성 또는 거칠기 특성)이 잘 반영되는 것을 알 수 있다.
도 3a을 참조하면, 융합 영상에 대한 육안 검사는 비교적 쉽고 직관적이나, 영상 융합 장치(100)의 실제 효과를 정확하게 평가하기 위해서는 통계적 수치 기반의 정량적 분석이 병행되어야 한다.
융합 영상을 정량적으로 평가하기 위한 통계적 기법과 관련하여, UIQI(universal image quality index, 범용 이미지 품질 계수)는, 영상 융합 장치(100)에 의해 생성된 합성 개구 레이더 영상 및 다중분광영상의 융합 영상과 다중분광영상 사이의 휘도 왜곡, 콘트라스트 왜곡 및 상관 손실의 조합을 이용하여 계산될 수 있다.
구체적으로, UIQI는 하기 식 2-1 내지 식 2-4를 통해 측정된다.
[식 2-1]
[식 2-2]
[식 2-3]
[식 2-4]
CC(correlation coefficient, 상관 계수)는 합성 개구 레이더 영상 및 다중분광영상의 융합 영상과 기준 다중분광영상의 상관 관계를 나타낼 수 있으며, 하기 식 3에 의해 결정될 수 있다.
[식 3]
상기 식 2-1 내지 식 3에서, μx, μy는 합성 개구 레이더 영상 및 다중분광영상의 융합 영상과 기준 다중분광영상의 평균값, σx, σy는 합성 개구 레이더 영상 및 다중분광영상의 융합 영상과 기준 다중분광영상의 표준 편차값, σxy는 두 영상의 공분산을 각각 의미할 수 있다.
상술한 UIQI와 CC는 [-1,1]의 범위를 가지며, 1에 가까울수록 더 나은 품질을 나타내는 것일 수 있다.
또한, 합성 개구 레이더 영상 및 다중분광영상의 융합 영상과 기준 다중분광영상의 공간적 품질(spatial quality)을 평가하기 위한 엔트로피 (Entropy)와 흐림 검출 누적 확률(cumulative probability of blur detection; CPBD)이 고려될 수 있다.
엔트로피는 영상에 포함된 평균 정보를 표시하고 융합 영상의 세부 정보를 반영할 수 있다. 일반적으로 융합 영상의 엔트로피가 클수록 영상에 포함된 정보가 풍부해지고 융합의 품질이 높은 것으로 평가될 수 있다. 엔트로피는 하기 식 4에 의해 계산될 수 있다.
[식 4]
여기서, P i 는 영상에서의 i번째 확률을 의미할 수 있다.
또한, 흐림 검출 누적 확률(CPBD)는, 상이한 콘트라스트에서 관찰자의 흐림 인식의 감도에 기초하여 계산될 수 있다. 구체적으로, 영상의 각 가장자리에서 흐림을 감지할 확률을 추정한 다음 최종 품질 평가 점수를 얻기 위해 영상 전체를 풀 오버(pooled over)할 수 있다. 콘트라스트 C 값이 주어졌다고 할 때, 흐림 검출 누적 확률(CPBD)은 하기 식 5-1 및 식 5-2에 의해 계산될 수 있다.
[식 5-1]
[식 5-2]
여기서, w(e i )는 측정된 가장자리 e i 의 폭, w JNB (e i )는 국부적인 콘트라스트 C 값에 의존하여 결정되는 눈에 보이는 번짐 폭, β는 최소 제곱합에 의해 획득되는 매개 변수, P(P BLUR )는, 주어진 P BLUR 에 대한 확률 분포 함수 값을 의미할 수 있으며, CPBD는 [0,1]의 범위를 가지고, 1에 가까울수록 더 좋은 영상 품질을 의미할 수 있다.
도 3b는 본원의 일 실시예에 따른 랜덤 포레스트 모델 기반의 합성 개구 레이더 영상 및 다중분광영상의 융합 결과와 종래의 영상 융합 기법 또는 다른 회귀 모델에 기반한 모델에 의한 융합 결과를 UIQI 및 CC 수치 측면에서 비교한 도표이다.
도 3b를 참조하면, 본원의 일 실시예에 따른 영상 융합 장치(100)에 의한 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 대한 UIQI 값은, 개선된 intensity-hue-saturation(IHS) 기법에 의한 융합 영상, principal component analysis(PCA) 기법에 의한 융합 영상, Gram-Schmidt(GS) 기법에 의한 융합 영상 및 Ehlers 기법에 의한 융합 영상보다 RGB 대역 모두에서 1에 가장 가까운 값(R 대역에서 0.7794, G 대역에서 0.7388, B 대역에서 0.7622)을 보이는 것을 확인할 수 있다.
또한, 도 3b를 참조하면, 본원의 일 실시예에 따른 영상 융합 장치(100)에 의한 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 대한 CC 값은, 개선된 intensity-hue-saturation(IHS) 기법에 의한 융합 영상, principal component analysis(PCA) 기법에 의한 융합 영상, Gram-Schmidt(GS) 기법에 의한 융합 영상 및 Ehlers 기법에 의한 융합 영상보다 RGB 대역 모두에서 1에 가장 가까운 값(R 대역에서 0.8178, G 대역에서 0.7794, B 대역에서 0.7622)을 보이는 것을 확인할 수 있다.
즉, 본원의 일 실시예에 따른 영상 융합 장치(100)에 의할 때, 종래의 영상 융합 기법에서보다 정량적으로 융합 영상의 품질이 향상되는 것을 확인할 수 있다.
도 4는 본원의 일 실시예에 따른 클래스의 수에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 결과를 분석하여 나타낸 도면이다.
최적 클래스의 수는 전술한 바와 같이 랜덤 포레스트 모델의 학습 시간을 포함하는 학습 성능 및 토지 피복 분포 특성(land cover distribution characteristics)과 연관된 정보를 고려하여 결정될 수 있으며, 본원의 일 실시예에 따르면, 이에 따라 최소 클래수의 수는 6으로, 최대 클래스의 수는 10으로 결정될 수 있다. 도 4는 6부터 10까지의 클래스의 수에 따라 합성 개구 레이더 영상 및 다중분광영상의 융합 영상의 UIQI, CC, Entropy, CPBD을 평가하고, 랜덤 포레스트 모델이 소요한 학습 시간을 나타낸 것일 수 있다.
도 4를 참조하면, 클래스의 수가 증가할수록, 학습 시간이 증가하나, 클래스의 수의 증가에 따른 성능(UIQI, CC, Entropy, CPBD 값)은 소폭 상승하거나 오히려 감소하는 경향을 보이는 것을 알 수 있다. 이는, 많은 수의 클래스의 수가 영상을 융합하는 과정에서 과부화를 일으킬 가능성이 있는 것으로 해석될 수 있으므로, 본원의 바람직한 실시예에서 최적 클래스의 수는 6개로 결정될 수 있다.
또한, 영상 융합 장치(100)는, 컬러화된 합성 개구 레이더 영상 및 다중분광영상을 기초로 촬영 대상 영역의 변화 검출을 수행할 수 있다. 본원의 일 실시예에 따르면, 다중분광영상은 제 1시점에 획득(촬영)된 영상일 수 있고, 컬러화된 합성 개구 레이더 영상은 상기 제 1시점과 상이한 제 2시점에 획득(촬영)된 합성 개구 레이더 영상을 상기 제 1시점에 획득된 다중분광영상에 기초하여 컬러화한 영상을 의미할 수 있다. 이 때, 상기 제 1 시점 및 상기 제 2 시점의 시간적 선후 관계는 실시예에 따라 달라질 수 있다.
즉, 상기 제 2 시점에 촬영된 다중분광영상이 구름이 존재하는 등의 대기 조건 또른 다른 불측의 원인에 의해 변화 검출에 활용되기 적합하게 촬영되지 못한 경우, 제 2시점에 촬영된 합성 개구 레이더 영상을 상기 제 1시점에 획득된 다중분광영상에 기초하여 컬러화한 영상으로 상기 제 2시점에 촬영된 다중분광영상을 대체하여 촬영 대상 영역의 변화 검출을 수행할 수 있다.
달리 말해, 종래의 영상 융합 기법에 의한 변화 검출 방법에 의하면, 합성 개구 레이더 영상과 다중분광영상의 이미징 메커니즘의 상이함을 극복할 수 없어, 시간적으로 서로 근접하여 촬영된 합성 개구 레이더 영상과 다중분광영상에 대한 융합만이 가능했기 때문에, 제 2 시점에 촬영된 다중분광영상이 대기 조건 또른 다른 불측의 원인에 의해 변화 검출에 활용되기 적합하게 촬영되지 못한 경우, 제 2 시점에 촬영된 합성 개구 레이더 영상을 확보하더라도 촬영 시점이 근접하지 않은 제 1 시점에 촬영된 다중분광영상과의 융합을 수행할 수 없었으나, 본원에 개시된 영상 융합 기법에 의하면 서로 다른 시점에 촬영된 합성 개구 레이더 영상과 다중분광영상 간의 영상 융합이 가능하며, 나아가 변화 검출 프로세스에 적용 가능한 효과가 있다.
본원의 일 실시예에 따르면, 영상 융합 장치(100)는, 촬영 대상 영역의 변화 검출을 수행하기에 앞서, 방사성 표준화(radiometric normalization) 기법으로 일반적으로 사용되는 히스토그램 매칭을 수행할 수 있다.
본원의 일 실시예에 따르면, 영상 융합 장치(100)는, 컬러화된 합성 개구 레이더 영상 및 다중분광영상을 기초로 픽셀 기반의 변화 검출 또는 객체 기반의 변화 검출 중 적어도 하나를 수행할 수 있다.
본원의 일 실시예에 따르면, 상기 픽셀 기반의 변화 검출은 영상 융합 장치(100)에 의해 컬러화된 합성 개구 레이더 영상과 다중분광영상을 비교하여 시간의 흐름에 따라 변화된 픽셀을 탐지하는 방식의 변화 검출 방법을 의미할 수 있다. 이와 관련하여, 이미지 차분 기법이 사용될 수 있으며, 구체적으로 상기 이미지 차분 기법은 두 영상(컬러화된 합성 개구 레이더 영상과 다중분광영상)을 공통된 좌표계에 정합하고 두 영상의 픽셀 값을 빼고, 변경된 픽셀과 변경되지 않은 픽셀을 구분하기 위한 임계 픽셀차를 설정하여, 변화된 픽셀을 검출할 수 있다. 본원의 일 실시예에 따르면, 상기 임계 픽셀차를 설정하기 위하여 입력 영상의 밝기 분포에 기초하여 일반적으로 사용되는 오츠 임계값(Otsu's threshold)이 고려될 수 있다.
다만, 상기 픽셀 기반의 변화 검출은 조각화 또는 불완전한 변화 검출 결과 도출 등의 한계를 가질 수 있다.
또한, 본원의 일 실시예에 따르면, 상기 객체 기반의 변화 검출은, 상기 픽셀 기반의 변화 검출의 결과로 획득된 변화된 픽셀을 형태학적 조작을 통해 변화된 객체로 구성하는 방식을 의미할 수 있다. 이를 위해, 영상 융합 장치(100)는 형태학적 폐쇄 처리, 빈 공간을 메우는 처리 및 형태학적 개방 처리를 순차적으로 수행할 수 있다. 이 때, 전술한 형태학적 폐쇄 처리 또는 형태학적 개방 처리를 수행하기 위한 사각형 구조 요소가 두 영상에 설정될 수 있고, 본원의 일 실시예에 따르면, 상기 사각형 구조 요소는 3x3 크기 또는 5x5 크기로 설정될 수 있다.
도 5는 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 기초한 변화 검출 결과를 나타낸 도면이다.
도 5를 참조하면, (a)는 촬영 대상 영역에서 실제로 변화된 영역을 표현한 이미지, (b)는 두 다중분광영상 간의 변화 검출 결과, (c) 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 영상과 다중분광영상 간의 변화 검출 결과, (d)는 두 합성 개구 레이더 영상 간의 변화 검출 결과를 각각 나타낸 것일 수 있다.
또한, 도 5a 전반에서 흰색 영역은 변화된 영역 또는 변화된 것으로 탐지된 영역, 검은색 영역은 불변 영역 또는 불변 영역으로 탐지된 영역, 빨간색 사각형은 (a) 내지 (d)의 변화 검출 결과를 명확하게 비교하기 위하여 (a) 내지 (d)에서 유의미하게 차이가 나는 영역을 표시한 것일 수 있다.
도 5를 참조하면, (c)의 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 영상과 다중분광영상 간의 변화 검출 결과는 어느 한 시점의 다중분광영상이 변화 검출에 사용되지 않았음에도 (b)의 두 다중분광영상 간의 변화 검출 결과와 유사한 결과를 도출하는 반면, (d)의 두 합성 개구 레이더 영상 간의 변화 검출 결과는 다수의 점 형태의 변화 검출 결과를 나타낼 뿐이며, (a) 내지 (c)의 변화 검출 결과에 비해 정확도가 떨어지는 것을 확인할 수 있다.
도 6은 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 기초한 변화 검출 결과를 통계적 지표를 통해 평가한 도표이다.
구체적으로, 도 6은 도 5의 (a)의 촬영 대상 영역에서 실제로 변화된 영역을 표현한 이미지를 통해 파악되는 진리 데이터를 기반으로 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 영상과 다중분광영상 간의 변화 검출 결과(1번째 행), 두 다중분광영상 간의 변화 검출 결과(2번째 행) 및 두 합성 개구 레이더 영상 간의 변화 검출 결과(3번째 행)를 정량적으로 비교한 도표이다.
도 6을 참조하면, 변화 검출 결과는 재현율(Recall), 정확률(Precision) 또는 F1 점수(F1 Score: F1)를 이용하여 평가될 수 있다. 재현율, 정확률 및 F1 점수는 하기 식 6-1 내지 식 6-3으로 계산될 수 있다.
[식6-1]
[식6-2]
F1점수는 재현율과 정확률의 조화 평균으로 계산될 수 있다.
[식6-3]
도 6을 참조하면, 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 영상과 다중분광영상 간의 변화 검출 결과(1번째 행)는 정확률 80.76%, 재현율 73.51% 및 F1 점수 76.96%를 나타낼 수 있다. 두 다중분광영상 간의 변화 검출 결과(2번째 행)는 정확률 90.805%, 재현율 69.425% 및 F1 점수 78.68%를 나타낼 수 있다. 두 합성 개구 레이더 영상 간의 변화 검출 결과(3번째 행)는 정확률 54.11%, 재현율 56.52% 및 F1 점수 59.29%를 나타낼 수 있다.
즉, 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 기초한 변화 검출 결과는, 합성 개구 레이더 영상만 활용한 경우보다 비약적인 성능(예측 정확도) 향상을 보이며, 다중분광영상만 활용한 경우의 성능과 유사한 수준의 변화 검출 정확도를 보임을 알 수 있다.
도 7은 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 장치의 개략적인 구성도이다.
도 7을 참조하면, 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 장치(100)(즉, 영상 융합 장치(100))는, 다중분광영상 처리부(110), 합성 개구부 레이더 영상 처리부(120), 트레이닝 픽셀 설정부(130), 학습부(140), 컬러화부(150) 및 변화 검출부(160)를 포함할 수 있다.
다중분광영상 처리부(110)는, 다중분광영상으로부터 색상 정보를 추출하고, 다중분광영상을 복수의 클래스로 분류할 수 있다.
합성 개구 레이더 영상 처리부(120)는, 합성 개구 레이더 영상으로부터 픽셀 정보 및 특성 정보를 추출할 수 있다.
트레이닝 픽셀 결정부(130)는, 다중분광영상 및 합성 개구 레이더 영상으로부터 트레이닝 픽셀을 결정할 수 있다.
학습부(140)는, 트레이닝 픽셀에 대응하는 다중분광영상의 색상 정보 및 합성 개구 레이더 영상의 특성 정보에 기초하여 다중분광영상과 합성 개구 레이더 영상의 상관 관계를 학습할 수 있다.
또한, 학습부(140)는, 합성 개구 레이더 영상 중 트레이닝 픽셀의 위치에 대응하는 픽셀의 특성 정보 및 다중분광영상 중 트레이닝 픽셀의 위치에 대응하는 픽셀의 색상 정보를 입력으로 하는 랜덤 포레스트(Random Forest) 모델을 이용하여 다중분광영상과 합성 개구 레이더 영상의 상관 관계를 학습할 수 있다.
컬러화부(150)는, 학습된 상관 관계에 기초하여, 다중분광영상 및 합성 개구 레이더 영상을 융합하여 합성 개구 레이더 영상을 컬러화할 수 있다.
또한, 컬러화부(150)는, 학습된 상관 관계에 기초하여, 합성 개구 레이더 영상의 트레이닝 픽셀 이외의 픽셀(예를 들면, 전체 픽셀에서 트레이닝 픽셀을 제외한 픽셀)에서의 색상 정보를 예측할 수 있다.
또한, 컬러화부(150)는, 예측된 색상 정보에 기초하여 합성 개구 레이더 영상을 컬러화할 수 있다.
변화 검출부(160)는, 컬러화된 합성 개구 레이더 영상 및 다중분광영상을 기초로 촬영 대상 영역의 변화 검출을 수행할 수 있다.
도 8은 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 방법의 동작흐름도이다.
도 8에 도시된 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 방법은 앞서 설명된 영상 융합 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 영상 융합 장치(100)에 대하여 설명된 내용은 도 8에도 동일하게 적용될 수 있다.
도 8을 참조하면, 단계 S810에서 다중분광영상 처리부(110)는, 다중분광영상을 처리할 수 있다.
구체적으로, 단계 S810에서 다중분광영상 처리부(110)는, 다중분광영상 으로부터 RGB 대역의 픽셀값을 추출할 수 있다.
또한, 단계 S810에서 다중분광영상 처리부(110)는, 다중분광영상을 복수의 클래스로 분류할 수 있다. 이 때, 다중분광영상 처리부(110)는, K 평균 클러스터링 알고리즘을 기 설정된 반복 횟수만큼 수행하여 다중분광영상을 복수의 클래스로 분류하는 것일 수 있다.
다음으로, 단계 S820에서 합성 개구 레이더 영상 처리부(120)는, 합성 개구 레이더 영상을 처리할 수 있다.
다음으로, 단계 S830에서 트레이닝 픽셀 설정부(130)는, 다중분광영상 및 합성 개구 레이더 영상으로부터 트레이닝 픽셀을 결정할 수 있다.
구체적으로, 단계 S830에서 트레이닝 픽셀 설정부(130)는, 합성 개구 레이더 영상 및 다중분광영상의 픽셀값을 차분할 수 있다. 또한, 트레이닝 픽셀 설정부(130)는 픽셀값의 차분 결과에 기초하여 미변화 픽셀을 트레이닝 픽셀로 결정할 수 있다.
다음으로, 단계 S840에서 학습부(140)는, 트레이닝 픽셀에 대응하는 다중분광영상의 색상 정보 및 합성 개구 레이더 영상의 특성 정보에 기초하여 다중분광영상과 합성 개구 레이더 영상의 상관 관계를 학습할 수 있다.
본원의 일 실시예에 따르면, 단계 S840에서 학습부(140)는, 합성 개구 레이더 영상 중 트레이닝 픽셀의 위치에 대응하는 픽셀의 특성 정보 및 다중분광영상 중 트레이닝 픽셀의 위치에 대응하는 픽셀의 색상 정보를 입력으로 하는 랜덤 포레스트 모델을 이용하여, 다중분광영상과 합성 개구 레이더 영상의 상관 관계를 학습할 수 있다.
다음으로, 단계 S850에서 컬러화부(150)는, 학습된 상관 관계에 기초하여, 다중분광영상 및 합성 개구 레이더 영상을 융합하여 합성 개구 레이더 영상을 컬러화할 수 있다.
구체적으로, 단계 S850에서 컬러화부(150)는, 학습된 상관 관계에 기초하여, 합성 개구 레이더 영상의 트레이닝 픽셀 이외의 픽셀에서의 색상 정보를 예측할 수 있다. 또한, 컬러화부(150)는, 예측된 색상 정보에 기초하여 합성 개구 레이더 영상을 컬러화할 수 있다.
상술한 설명에서, 단계 S810 내지 S850은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 9는 본원의 일 실시예에 따른 합성 개구 레이더 영상을 처리하는 방법의 동작흐름도이다.
도 9에 도시된 본원의 일 실시예에 따른 합성 개구 레이더 영상을 처리하는 방법은 앞서 설명된 영상 융합 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 영상 융합 장치(100)에 대하여 설명된 내용은 도 9에도 동일하게 적용될 수 있다.
도 9를 참조하면, 단계 S910에서 합성 개구 레이더 영상 처리부(120)는, 합성 개구 레이더 영상으로부터 픽셀 정보를 추출할 수 있다.
다음으로, 단계 S920에서 합성 개구 레이더 영상 처리부(120)는, 합성 개구 레이더 영상의 각 픽셀에서의 GLCM(gray level co-occurrence matrix)를 생성할 수 있다.
다음으로, 단계 S930에서 합성 개구 레이더 영상 처리부(120)는, GLCM으로부터 상기 합성 개구 레이더 영상의 특성 정보를 추출할 수 있다.
상술한 설명에서, 단계 S910 내지 S930은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 10은 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 기초한 변화 검출 방법의 동작흐름도이다.
도 10에 도시된 본원의 일 실시예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 기초한 변화 검출 방법은 앞서 설명된 영상 융합 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 영상 융합 장치(100)에 대하여 설명된 내용은 도 10에도 동일하게 적용될 수 있다.
도 10을 참조하면, 단계 S1010에서 영상 융합 장치(100)는, 전술한 합성 개구 레이더 영상 및 다중분광영상의 융합 방법을 이용하여 합성 개구 레이더 영상을 컬러화할 수 있다.
다음으로, 단계 S1020에서 변화 검출부(160)는, 컬러화된 합성 개구 레이더 영상 및 다중분광영상을 기초로 촬영 대상 영역의 변화 검출을 수행할 수 있다.
상술한 설명에서, 단계 S1010 내지 S1020은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시 예에 따른 합성 개구 레이더 영상 및 다중분광영상의 융합 방법 또는 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 기초한 변화 검출 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 합성 개구 레이더 영상 및 다중분광영상의 융합 방법 또는 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 기초한 변화 검출 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
10: 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 기초한 변화 검출 시스템
100: 합성 개구 레이더 영상 및 다중분광영상의 융합 장치
110: 다중분광영상 처리부
120: 합성 개구부 레이더 영상 처리부
130: 트레이닝 픽셀 설정부
140: 학습부
150: 컬러화부
160: 변화 검출부
200: 합성 개구 레이더
300: 다중분광영상 촬영 장치
20: 네트워크
100: 합성 개구 레이더 영상 및 다중분광영상의 융합 장치
110: 다중분광영상 처리부
120: 합성 개구부 레이더 영상 처리부
130: 트레이닝 픽셀 설정부
140: 학습부
150: 컬러화부
160: 변화 검출부
200: 합성 개구 레이더
300: 다중분광영상 촬영 장치
20: 네트워크
Claims (15)
- 합성 개구 레이더 영상 및 다중분광영상의 융합 방법에 있어서,
다중분광영상을 처리하는 단계;
합성 개구 레이더 영상을 처리하는 단계;
상기 다중분광영상 및 상기 합성 개구 레이더 영상으로부터 트레이닝 픽셀을 결정하는 단계;
상기 트레이닝 픽셀에 대응하는 다중분광영상의 색상 정보 및 합성 개구 레이더 영상의 특성 정보에 기초하여 다중분광영상과 합성 개구 레이더 영상의 상관 관계를 학습하는 단계; 및
학습된 상관 관계에 기초하여, 상기 다중분광영상 및 상기 합성 개구 레이더 영상을 융합하여 상기 합성 개구 레이더 영상을 컬러화하는 단계,
를 포함하고,
상기 트레이닝 픽셀을 결정하는 단계는,
합성 개구 레이더 영상 및 다중분광영상의 픽셀값을 차분하는 단계; 및
픽셀값의 차분 결과에 기초하여 미변화 픽셀을 상기 트레이닝 픽셀로 결정하는 단계,
를 포함하고,
상기 합성 개구 레이더 영상을 컬러화하는 단계는,
상기 학습된 상관 관계에 기초하여, 상기 합성 개구 레이더 영상의 상기 트레이닝 픽셀 이외의 픽셀에서의 색상 정보를 예측하고, 상기 예측된 색상 정보에 기초하여 상기 합성 개구 레이더 영상을 컬러화하는 것인, 합성 개구 레이더 영상 및 다중분광영상의 융합 방법. - 제 1항에 있어서,
상기 상관 관계를 학습하는 단계는,
상기 합성 개구 레이더 영상 중 상기 트레이닝 픽셀의 위치에 대응하는 픽셀의 특성 정보 및 상기 다중분광영상 중 상기 트레이닝 픽셀의 위치에 대응하는 픽셀의 색상 정보를 입력으로 하는 랜덤 포레스트 모델을 이용하여, 다중분광영상과 합성 개구 레이더 영상의 상관 관계를 학습하는 것인, 합성 개구 레이더 영상 및 다중분광영상의 융합 방법. - 제 2항에 있어서,
상기 다중분광영상을 처리하는 단계는,
상기 다중분광영상으로부터 RGB 대역의 픽셀값을 추출하는 단계; 및
상기 다중분광영상을 복수의 클래스로 분류하는 단계,
를 포함하는 것인, 합성 개구 레이더 영상 및 다중분광영상의 융합 방법. - 제 3항에 있어서,
상기 랜덤 포레스트 모델은 상기 복수의 클래스마다 생성되고,
상기 상관 관계를 학습하는 단계는,
복수의 클래스마다 생성된 랜덤 포레스트 모델 각각을 이용하여 수행되는 것인, 합성 개구 레이더 영상 및 다중분광영상의 융합 방법. - 제 3항에 있어서,
상기 다중분광영상을 복수의 클래스로 분류하는 단계는,
K 평균 클러스터링 알고리즘을 기 설정된 반복 횟수만큼 수행하여 상기 다중분광영상을 복수의 클래스로 분류하는 것인, 합성 개구 레이더 영상 및 다중분광영상의 융합 방법. - 제 2항에 있어서,
상기 합성 개구 레이더 영상을 처리하는 단계는,
상기 합성 개구 레이더 영상으로부터 픽셀 정보를 추출하는 단계;
상기 합성 개구 레이더 영상의 각 픽셀에서의 GLCM(gray level co-occurrence matrix)를 생성하는 단계; 및
상기 GLCM으로부터 상기 합성 개구 레이더 영상의 상기 특성 정보를 추출하는 단계,
를 포함하는 것인, 합성 개구 레이더 영상 및 다중분광영상의 융합 방법. - 삭제
- 삭제
- 제 1항에 있어서,
상기 다중분광영상과 상기 합성 개구 레이더 영상은 서로 다른 시점(time)에 획득된 것인, 합성 개구 레이더 영상 및 다중분광영상의 융합 방법. - 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 기초한 변화 검출 방법에 있어서,
제1항의 합성 개구 레이더 영상 및 다중분광영상의 융합 방법을 이용하여 상기 합성 개구 레이더 영상을 컬러화하는 단계; 및
상기 컬러화된 합성 개구 레이더 영상 및 상기 다중분광영상을 기초로 촬영 대상 영역의 변화 검출을 수행하는 단계,
를 포함하는, 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 기초한 변화 검출 방법. - 제10항에 있어서,
상기 다중분광영상과 상기 합성 개구 레이더 영상은 서로 다른 시점(time)에 획득된 것인, 합성 개구 레이더 영상 및 다중분광영상의 융합 영상에 기초한 변화 검출 방법. - 합성 개구 레이더 영상 및 다중분광영상의 융합 장치에 있어서,
다중분광영상으로부터 색상 정보를 추출하고, 상기 다중분광영상을 복수의 클래스로 분류하는 다중분광영상 처리부;
합성 개구 레이더 영상으로부터 픽셀 정보 및 특성 정보를 추출하는 합성 개구 레이더 영상 처리부;
상기 다중분광영상 및 상기 합성 개구 레이더 영상으로부터 트레이닝 픽셀을 결정하는 트레이닝 픽셀 설정부;
상기 트레이닝 픽셀에 대응하는 다중분광영상의 상기 색상 정보 및 합성 개구 레이더 영상의 상기 특성 정보에 기초하여 다중분광영상과 합성 개구 레이더 영상의 상관 관계를 학습하는 학습부; 및
학습된 상관 관계에 기초하여, 상기 다중분광영상 및 상기 합성 개구 레이더 영상을 융합하여 상기 합성 개구 레이더 영상을 컬러화하는 컬러화부,
를 포함하고,
상기 트레이닝 픽셀 설정부는,
합성 개구 레이더 영상 및 다중분광영상의 픽셀값을 차분하고, 픽셀값의 차분 결과에 기초하여 미변화 픽셀을 상기 트레이닝 픽셀로 결정하고,
상기 컬러화부는,
상기 학습된 상관 관계에 기초하여, 상기 합성 개구 레이더 영상의 상기 트레이닝 픽셀 이외의 픽셀에서의 색상 정보를 예측하고, 상기 예측된 색상 정보에 기초하여 상기 합성 개구 레이더 영상을 컬러화하는 것인, 합성 개구 레이더 영상 및 다중분광영상의 융합 장치. - 제 12항에 있어서,
컬러화된 합성 개구 레이더 영상 및 상기 다중분광영상을 기초로 촬영 대상 영역의 변화 검출을 수행하는 변화 검출부,
를 더 포함하는 것인, 합성 개구 레이더 영상 및 다중분광영상의 융합 장치. - 제 12항에 있어서,
상기 학습부는,
상기 합성 개구 레이더 영상 중 상기 트레이닝 픽셀의 위치에 대응하는 픽셀의 특성 정보 및 상기 다중분광영상 중 상기 트레이닝 픽셀의 위치에 대응하는 픽셀의 색상 정보를 입력으로 하는 랜덤 포레스트 모델을 이용하여, 다중분광영상과 합성 개구 레이더 영상의 상관 관계를 학습하는 것인, 합성 개구 레이더 영상 및 다중분광영상의 융합 장치. - 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190052506A KR102170260B1 (ko) | 2019-05-03 | 2019-05-03 | 합성 개구 레이더 영상 및 다중분광영상의 융합 장치, 방법 및 그를 이용한 변화 검출 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190052506A KR102170260B1 (ko) | 2019-05-03 | 2019-05-03 | 합성 개구 레이더 영상 및 다중분광영상의 융합 장치, 방법 및 그를 이용한 변화 검출 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102170260B1 true KR102170260B1 (ko) | 2020-10-26 |
Family
ID=73006181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190052506A KR102170260B1 (ko) | 2019-05-03 | 2019-05-03 | 합성 개구 레이더 영상 및 다중분광영상의 융합 장치, 방법 및 그를 이용한 변화 검출 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102170260B1 (ko) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102273655B1 (ko) * | 2020-12-24 | 2021-07-06 | 국방기술품질원 | 적대적 생성 신경망 알고리즘을 활용한 초분광 고속 카메라 영상 생성 방법 |
| CN113642629A (zh) * | 2021-08-09 | 2021-11-12 | 厦门大学 | 一种基于随机森林提高谱学分析可信度的可视化方法及装置 |
| KR20220067351A (ko) * | 2020-11-17 | 2022-05-24 | 한국항공우주연구원 | Sar 영상에서의 객체 변화 탐지 방법 및 sar 영상에서의 객체 변화 탐지 시스템 |
| KR20230060111A (ko) * | 2021-10-27 | 2023-05-04 | 한국항공우주연구원 | 딥러닝을 이용한 광학 위성영상 다중 대역 이미지 생성 시스템 및 그 방법 |
| CN116109829A (zh) * | 2023-04-11 | 2023-05-12 | 耕宇牧星(北京)空间科技有限公司 | 一种基于融合网络的珊瑚礁水域图像分割方法 |
| KR20230082327A (ko) * | 2021-12-01 | 2023-06-08 | 한국환경연구원 | 인공지능 기반의 위성 레이다를 활용한 태양광패널 모니터링 시스템 및 방법 |
| CN117173587A (zh) * | 2023-08-23 | 2023-12-05 | 哈尔滨工程大学 | 一种基于异构图像深度转换的特征细化融合变化检测方法 |
| KR102656376B1 (ko) * | 2023-08-18 | 2024-04-11 | (주)유에스티21 | 인공위성 영상 이미지 분석을 통한 리튬 광산 모니터링 시스템 및 그 방법 |
-
2019
- 2019-05-03 KR KR1020190052506A patent/KR102170260B1/ko active IP Right Grant
Non-Patent Citations (4)
| Title |
|---|
| Dae Kyo Seo ET AL:"Learning-Based Colorization of Grayscale Aerial Images Using Random Forest Regression", Appl. Sci., Aug. 2018(2018.08.31.) 1부.* * |
| Hongsheng Zhang ET AL:"Urban land cover mapping using random forest combined with optical and SAR data", 2012 IEEE International Geoscience and Remote Sensing Symposium, 22 July 2012(2012.07.22.) 1부.* * |
| Israa Jameel Muhsin ET AL:"Augment the Spatial Resolution of Multispectral Image Using PCA Fusion Method and Classified It's Region Using Different Techniques", 2015 by IJETT Journal(2015.08.31.) 1부.* * |
| Yu Zeng ET AL:"Change detection approach to SAR and optical image integration", Int. Arch. Photogramm. Remote Sens. 2008, XXXVII Pt B7, pp.1077-1084(2008.07.03.) 1부.* * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220067351A (ko) * | 2020-11-17 | 2022-05-24 | 한국항공우주연구원 | Sar 영상에서의 객체 변화 탐지 방법 및 sar 영상에서의 객체 변화 탐지 시스템 |
| KR102468927B1 (ko) | 2020-11-17 | 2022-11-21 | 한국항공우주연구원 | Sar 영상에서의 객체 변화 탐지 방법 및 sar 영상에서의 객체 변화 탐지 시스템 |
| KR102273655B1 (ko) * | 2020-12-24 | 2021-07-06 | 국방기술품질원 | 적대적 생성 신경망 알고리즘을 활용한 초분광 고속 카메라 영상 생성 방법 |
| CN113642629A (zh) * | 2021-08-09 | 2021-11-12 | 厦门大学 | 一种基于随机森林提高谱学分析可信度的可视化方法及装置 |
| CN113642629B (zh) * | 2021-08-09 | 2023-12-08 | 厦门大学 | 一种基于随机森林提高谱学分析可信度的可视化方法及装置 |
| KR20230060111A (ko) * | 2021-10-27 | 2023-05-04 | 한국항공우주연구원 | 딥러닝을 이용한 광학 위성영상 다중 대역 이미지 생성 시스템 및 그 방법 |
| KR102553797B1 (ko) | 2021-10-27 | 2023-07-12 | 한국항공우주연구원 | 딥러닝을 이용한 광학 위성영상 다중 대역 이미지 생성 시스템 및 그 방법 |
| KR20230082327A (ko) * | 2021-12-01 | 2023-06-08 | 한국환경연구원 | 인공지능 기반의 위성 레이다를 활용한 태양광패널 모니터링 시스템 및 방법 |
| KR102612681B1 (ko) | 2021-12-01 | 2023-12-13 | 한국환경연구원 | 인공지능 기반의 위성 레이다를 활용한 태양광패널 모니터링 시스템 및 방법 |
| CN116109829A (zh) * | 2023-04-11 | 2023-05-12 | 耕宇牧星(北京)空间科技有限公司 | 一种基于融合网络的珊瑚礁水域图像分割方法 |
| KR102656376B1 (ko) * | 2023-08-18 | 2024-04-11 | (주)유에스티21 | 인공위성 영상 이미지 분석을 통한 리튬 광산 모니터링 시스템 및 그 방법 |
| CN117173587A (zh) * | 2023-08-23 | 2023-12-05 | 哈尔滨工程大学 | 一种基于异构图像深度转换的特征细化融合变化检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102170260B1 (ko) | 합성 개구 레이더 영상 및 다중분광영상의 융합 장치, 방법 및 그를 이용한 변화 검출 방법 | |
| Gao et al. | A comparison of the performance of pixel-based and object-based classifications over images with various spatial resolutions | |
| Jung et al. | A framework for land cover classification using discrete return LiDAR data: Adopting pseudo-waveform and hierarchical segmentation | |
| JP6200826B2 (ja) | 林相解析装置、林相解析方法及びプログラム | |
| US20050286770A1 (en) | Endmember spectrum database construction method, endmember spectrum database construction apparatus and endmember spectrum database construction program | |
| US20110200249A1 (en) | Surface detection in images based on spatial data | |
| KR101918007B1 (ko) | 다중 편광레이더 영상과 전정색 영상의 융합방법 및 장치 | |
| CN112347895A (zh) | 一种基于边界优化神经网络的舰船遥感目标检测方法 | |
| Zhang et al. | Extraction of tree crowns damaged by Dendrolimus tabulaeformis Tsai et Liu via spectral-spatial classification using UAV-based hyperspectral images | |
| Xin et al. | Image recognition of crop diseases and insect pests based on deep learning | |
| Li et al. | GIS-based detection of grain boundaries | |
| CN110310246A (zh) | 一种基于三线阵影像的甘蔗种植区遥感信息提取方法 | |
| CN108492288B (zh) | 基于随机森林的多尺度分层采样的高分卫星影像变化检测方法 | |
| Wang et al. | Ship detection in multispectral remote sensing images via saliency analysis | |
| Rangzan et al. | Supervised cross-fusion method: a new triplet approach to fuse thermal, radar, and optical satellite data for land use classification | |
| CN112106346A (zh) | 图像处理方法、设备、无人机、***和存储介质 | |
| JP6334281B2 (ja) | 林相解析装置、林相解析方法及びプログラム | |
| Bouhennache et al. | Extraction of urban land features from TM Landsat image using the land features index and Tasseled cap transformation | |
| US20160267382A1 (en) | Methods and devices for analysis of digital color images and methods of applying color image analysis | |
| Erener et al. | A methodology for land use change detection of high resolution pan images based on texture analysis | |
| Khoshboresh-Masouleh et al. | Robust building footprint extraction from big multi-sensor data using deep competition network | |
| Teo et al. | Object-based land cover classification using airborne lidar and different spectral images | |
| Siok et al. | A simulation approach to the spectral quality of multispectral images enhancement | |
| Yousif et al. | Fusion of SAR and optical data for unsupervised change detection: A case study in Beijing | |
| CN109190506A (zh) | 一种基于核稀疏和空间约束的高光谱目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |