KR20190016722A - 위성 영상의 노이즈 검출 및 영상 복원 방법과 그 장치 - Google Patents

위성 영상의 노이즈 검출 및 영상 복원 방법과 그 장치 Download PDF

Info

Publication number
KR20190016722A
KR20190016722A KR1020170101004A KR20170101004A KR20190016722A KR 20190016722 A KR20190016722 A KR 20190016722A KR 1020170101004 A KR1020170101004 A KR 1020170101004A KR 20170101004 A KR20170101004 A KR 20170101004A KR 20190016722 A KR20190016722 A KR 20190016722A
Authority
KR
South Korea
Prior art keywords
image
noise
images
pixel
channel
Prior art date
Application number
KR1020170101004A
Other languages
English (en)
Inventor
김태정
안도섭
정일구
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170101004A priority Critical patent/KR20190016722A/ko
Priority to US15/830,885 priority patent/US20190050966A1/en
Publication of KR20190016722A publication Critical patent/KR20190016722A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

영상 복원 방법이 개시된다.
본 발명의 일 실시예에 따른 영상 복원 방법은, 복수의 상이한 채널들을 이용하여 동일 오브젝트에 대한 영상들을 획득하는 단계; 상기 멀티스펙트럼 영상들 중 노이즈가 포함된 노이즈 영상을 식별하는 단계; 상기 멀티스펙트럼 영상들 중 상기 노이즈 영상의 복원에 필요한 참조 영상들을 결정하는 단계; 상기 노이즈 영상 및 상기 참조 영상들 간의 관계를 이용하여 상기 노이즈 영상의 노이즈 영역을 검출하는 단계; 및 상기 참조 영상들의 화소를 이용하여 상기 검출된 노이즈 영역을 복원하는 단계를 포함할 수 있다.

Description

위성 영상의 노이즈 검출 및 영상 복원 방법과 그 장치{METHOD AND DEVICE FOR DETECTING A NOISE OF SATELLITE IMAGE AND RESTORING THE IMAGE}
본 발명은 노이즈가 발생한 위성 영상을 복원하는 방법에 관한 것이다. 보다 구체적으로는, 서로 다른 파장을 가지는 복수의 채널을 통해 획득한 위성 영상을 이용하여 노이즈가 발생한 위성 영상을 복원하는 방법에 관한 것이다.
IT 기술의 발달로 뉴스와 신문뿐만 아니라 인터넷 또는 스마트폰을 이용하여 언제 어디서든 기상 정보 및 위성 데이터를 실시간으로 이용할 수 있게 되었다. 기상 영상 및 위성 영상은 공공기관 및 다양한 IT 산업 분야에서 활용되고 있을 뿐만 아니라, 일반 사용자들에게도 지도나 기상 예측 등의 형태로 서비스 되고 있다. 그러나, 위성으로부터 수신한 영상 데이터는 관측 지역의 환경, 구름의 이동 등 다양한 이유로 인해 영상에 노이즈가 발생할 수 있다.
이에 따라, 정확한 일기 예측 또는 사용자에게 고품질의 위성 영상을 제공하기 위하여 영상에 발생한 노이즈를 효율적으로 제거하는 방법이 요청되고 있다.
본 발명은 서로 다른 시간에 서로 다른 파장을 이용하는 복수의 채널을 통해 획득한 복수의 위성 영상들을 이용하여 노이즈가 발생한 위성 영상의 노이즈 영역을 검출하는 방법 및 장치를 제공한다.
본 발명은 서로 다른 시간에 서로 다른 파장을 이용하는 복수의 채널을 통해 획득한 복수의 위성 영상들을 이용하여 노이즈가 발생한 위성 영상의 노이즈 영역을 복원하는 방법 및 장치를 제공한다.
본 발명의 일 실시예에 따른 영상 복원 방법은, 복수의 상이한 채널들을 이용하여 동일 오브젝트에 대한 멀티스펙트럼 영상들을 획득하는 단계; 상기 멀티스펙트럼 영상들 중 노이즈가 포함된 노이즈 영상을 식별하는 단계; 상기 멀티스펙트럼 영상들 중 상기 노이즈 영상의 복원에 필요한 참조 영상들을 결정하는 단계; 상기 노이즈 영상 및 상기 참조 영상들 간의 관계를 이용하여 상기 노이즈 영상의 노이즈 영역을 검출하는 단계; 및 상기 참조 영상들의 화소를 이용하여 상기 검출된 노이즈 영역을 복원하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 상기 참조 영상을 결정하는 단계는, 상기 노이즈 영상의 채널 및 상기 노이즈 영상을 획득한 시간을 고려하여 참조 영상들을 결정할 수 있다.
본 발명의 일 실시예에 따른 상기 노이즈 영역을 검출하는 단계는, (i) 상기 노이즈 영상 및 상기 노이즈 영상과 상이한 채널을 이용하여 획득된 제1 참조 영상 간의 관계 및 (ii) 상기 노이즈 영상과 상이한 시간에 획득된 제2 참조 영상과 상기 노이즈 영상과 상이한 시간에 상이한 채널을 이용하여 획득된 제 3 참조 영상 간의 관계를 고려하여 상기 노이즈 영상에서 노이즈 영역을 검출할 수 있다.
본 발명의 일 실시예에 따른 상기 제1 참조 영상과 상기 제3 참조 영상은, 동일한 채널을 이용하여 상이한 획득되고, 상기 제2 참조 영상과 상기 제3 참조 영상은, 동일한 시간에 획득될 수 있다.
본 발명의 일 실시예에 따른 상기 노이즈 영역을 복원하는 단계는, 상기 참조 영상들을 이용하여 예측 화소의 화소값을 결정하는 단계; 상기 제1 참조 영상에서 상기 노이즈 영역에 대응하는 참조 화소를 결정하는 단계; 및 상기 예측 화소의 화소값 및 상기 참조 화소의 화소값을 이용하여 상기 노이즈 영역을 복원하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 상기 예측 화소의 화소값을 결정하는 단계는, 상기 제1 참조 영상 및 상기 제3 참조 영상의 동일한 위치에서의 화소 간 움직임을 이용하여 움직임 벡터를 결정하는 단계; 및 상기 제2 참조 영상, 상기 제3 참조 영상 및 상기 움직임 벡터를 이용하여 상기 예측 화소의 화소값을 결정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 복원 장치에 있어서, 프로세서를 포함하고, 상기 프로세서는, 복수의 상이한 채널들을 이용하여 동일 오브젝트에 대한 멀티스펙트럼 영상들을 획득하고, 상기 멀티스펙트럼 영상들 중 노이즈가 포함된 노이즈 영상을 식별하고, 상기 멀티스펙트럼 영상들 중 상기 노이즈 영상의 복원에 필요한 참조 영상들을 결정하고, 상기 노이즈 영상 및 상기 참조 영상들 간의 관계를 이용하여 상기 노이즈 영상의 노이즈 영역을 검출하고, 상기 참조 영상들의 화소를 이용하여 상기 검출된 노이즈 영역을 복원할 수 있다.
본 발명의 일 실시예에 따른 상기 프로세서는, 상기 노이즈 영상의 채널 및 상기 노이즈 영상을 획득한 시간을 고려하여 참조 영상들을 결정할 수 있다.
본 발명의 일 실시예에 따른 상기 프로세서는, (i) 상기 노이즈 영상 및 상기 노이즈 영상과 상이한 채널을 이용하여 획득된 제1 참조 영상 간의 관계 및 (ii) 상기 노이즈 영상과 상이한 시간에 획득된 제2 참조 영상과 상기 노이즈 영상과 상이한 시간에 상이한 채널을 이용하여 획득된 제 3 참조 영상 간의 관계를 고려하여 상기 노이즈 영상에서 노이즈 영역을 검출할 수 있다.
본 발명의 일 실시예에 따른 상기 제1 참조 영상과 상기 제3 참조 영상은, 동일한 채널을 이용하여 상이한 획득되고, 상기 제2 참조 영상과 상기 제3 참조 영상은, 동일한 시간에 획득될 수 있다.
본 발명의 일 실시예에 따른 상기 프로세서는, 상기 참조 영상들을 이용하여 예측 화소의 화소값을 결정하고, 상기 제1 참조 영상에서 상기 노이즈 영역에 대응하는 참조 화소를 결정하고, 상기 예측 화소의 화소값 및 상기 참조 화소의 화소값을 이용하여 상기 노이즈 영역을 복원할 수 있다.
본 발명의 일 실시예에 따른 상기 프로세서는, 상기 제1 참조 영상 및 상기 제3 참조 영상의 동일한 위치에서의 화소 간 움직임을 이용하여 움직임 벡터를 결정하고, 상기 제2 참조 영상, 상기 제3 참조 영상 및 상기 움직임 벡터를 이용하여 상기 예측 화소의 화소값을 결정할 수 있다.
본 발명의 일 실시예에 따르면, 서로 다른 시간에 서로 다른 파장을 이용하는 복수의 채널을 통해 획득한 복수의 위성 영상들을 이용하여 노이즈가 발생한 위성 영상의 노이즈 영역을 검출하는 방법 및 장치를 제공할 수 있다.
본 발명의 일 실시예에 따르면, 서로 다른 시간에 서로 다른 파장을 이용하는 복수의 채널을 통해 획득한 복수의 위성 영상들을 이용하여 노이즈가 발생한 위성 영상의 노이즈 영역을 복원하는 방법 및 장치를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 위성으로부터 수신한 영상 중 노이즈 영상을 복원하는 장치를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 위성에서 수신한 영상들을 시간 및 채널에 따라 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 복원 방법을 나타내는 플로우 차트이다.
도 4는 본 발명의 일 실시예에 따른 노이즈 영역을 복원하는 방법을 나타내는 플로우 차트이다.
도 5는 본 발명의 일 실시예에 따른 노이즈 영상 및 참조 영상을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 움직임 벡터를 결정하는 방법을 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 위성으로부터 수신한 영상 중 노이즈 영상을 복원하는 장치를 도시한 도면이다.
본 발명의 일 실시예에 따른 위성(101)은 복수의 서로 다른 채널을 이용하여 동일한 오브젝트에 대하여 멀티스펙트럼 영상들을 획득할 수 있다. 이 때, 복수의 서로 다른 채널은 오브젝트에 대한 영상을 획득함에 있어서 복수의 서로 다른 파장을 이용하는 채널들일 수 있다.
본 발명의 일 실시예에 따른 영상 복원 장치(100)는 위성(101)이 복수의 서로 다른 채널을 이용하여 동일한 오브젝트에 대하여 획득한 멀티스펙트럼 영상들을 수신할 수 있다. 그리고, 영상 복원 장치(100)의 프로세서는 위성(101)로부터 수신한 멀티스펙트럼 영상들 중 노이즈 영상을 식별하고, 식별한 노이즈 영상에서 노이즈 영역을 검출할 수 있다. 또한, 검출한 노이즈 영상을 복원할 수 있다.
도 2는 본 발명의 일 실시예에 따른 위성에서 수신한 영상들을 시간 및 채널에 따라 도시한 도면이다.
도 2를 참고하면, 본 발명의 일 실시예에 따른 위성(101)은 서로 다른 파장을 이용하는 복수의 서로 다른 채널(Ch 0 내지 Ch N)을 이용하여 시간(t)에 동일한 오브젝트에 대한 멀티스펙트럼 영상들을 획득할 수 있다.
본 발명의 일 실시예에 따른 영상 복원 장치(100)의 프로세서는 위성(101)이 촬영한 멀티스펙트럼 영상들 중 노이즈가 존재하는 노이즈 영상을 식별할 수 있다. 그리고, 노이즈 영상의 획득에 이용된 채널 및 획득 시간을 고려하여 노이즈 영상의 노이즈 영역을 검출하고, 노이즈 영상을 복원할 수 있다.
예를 들어, 노이즈 영상이 시간(t)에 채널(Ch1)을 이용하여 획득한 영상인 경우, 프로세서는 시간(t)에 채널(Ch1)이 아닌 다른 채널을 이용하여 획득한 참조 영상, 시간(t)가 아닌 다른 시간에 채널(Ch1)을 이용하여 획득한 참조 영상, 시간(t)가 아닌 다른 시간에 채널(Ch1)이 아닌 채널을 통해 획득한 참조 영상을 이용하여 노이즈 영상의 노이즈 영역을 검출하고, 노이즈 영상을 복원할 수 있다.
이하, 노이즈 영상의 획득에 이용된 채널을 노이즈 채널, 참조 영상의 획득에 이용된 채널 중 노이즈 채널과 다른 채널을 참조 채널이라 한다.
도 3은 본 발명의 일 실시예에 따른 영상 복원 방법을 나타내는 플로우 차트이다.
단계(300)에서, 영상 복원 장치(100)의 프로세서는 위성(101)이 서로 다른 파장을 이용하는 서로 다른 복수의 채널을 이용하여 동일한 오브젝트에 대하여 획득한 멀티스펙트럼 영상들을 획득할 수 있다.
단계(301)에서, 영상 복원 장치(100)의 프로세서는 위성(101)로부터 획득한 멀티스펙트럼 영상들 중 노이즈가 발생한 노이즈 영역을 식별할 수 있다.
단계(302)에서, 영상 복원 장치(100)의 프로세서는 노이즈 영상의 획득에 이용된 채널 및 노이즈 영상을 획득한 시간을 고려하여 노이즈 영상의 노이즈 영역을 검출하고, 노이즈 영상을 복원하기 위한 참조 영상들을 결정할 수 있다.
보다 구체적으로, 프로세서는 멀티스펙트럼 영상들 중 참조 채널을 이용하여 노이즈 영상과 동일한 시간에 획득된 영상, 노이즈 채널을 이용하여 노이즈 영상과 다른 시간에 획득된 영상 및 참조 채널을 이용하여 노이즈 영상과 다른 시간에 획득된 영상을 참조 영상들로 결정할 수 있다.
여기서, 참조 채널은 노이즈 채널과는 다른 채널로서, 노이즈 채널의 주변 채널들을 이용하여 획득한 영상들과 노이즈 영상 간의 유사성을 검사한 결과, 노이즈 영상과 유사성이 가장 높은 영상의 획득에 이용된 채널일 수 있다.
유사성 검사의 일례로, 프로세서는 수학식 1과 같이 노이즈 채널의 주변 채널을 이용하여 획득한 멀티스펙트럼 영상들과 노이즈 영상 간의 MSE(Mean Square Error)를 계산하여 유사성 검사를 수행할 수 있다.
Figure pat00001
여기서 Reft는 참조 채널을 통해 시간(t)에 획득한 노이즈 영상의 화소값이고, It는 노이즈 채널을 통해 시간(t)에 획득한 노이즈 영상의 화소값이다. 그리고 NIt는 노이즈 채널의 주변 채널들을 이용하여 시간(t)에 획득한 영상의 화소값이다. 또한, x, y는 영상에서 화소의 위치를 나타내기 위한 값이다.
프로세서는 노이즈 영상과 노이즈 채널의 주변 채널들을 이용하여 획득한 멀티스펙트럼 영상 간의 MSE를 계산하고, 최소의 MSE를 가지는 영상을 노이즈 영상과 유사성이 가장 높은 참조 영상으로 결정할 수 있다. 그리고, 프로세서는 최소의 MSE를 가지는 참조 영상의 획득에 이용된 채널을 참조 채널로 결정할 수 있다. 다만, MSE를 이용한 유사성 검사는 본 발명의 일례일 뿐이고, 본 발명의 유사성 검사는 이에 한정되지 않는다.
단계(303)에서, 영상 복원 장치(100)의 프로세서는 결정된 참조 영상들과 노이즈 영상 간의 관계를 이용하여 노이즈 영상의 노이즈 영역을 검출할 수 있다.
보다 구체적으로, 프로세서는 노이즈 채널을 이용하여 노이즈 영상과 다른 시간에 획득된 참조 영상과 참조 채널을 이용하여 노이즈 영상과 다른 시간에 획득된 참조 영상을 비교하여 차분을 결정할 수 있다. 그리고, 프로세서는 결정된 차분과 노이즈 영상과 참조 채널을 이용하여 노이즈 영상과 동일한 시간에 획득된 참조 영상 간의 차분을 비교하여 노이즈 영상의 노이즈 영역을 검출할 수 있다.
단계(304)에서, 영상 복원 장치(100)의 프로세서는 결정된 참조 영상들의 화소를 이용하여 노이즈 영상의 노이즈 영역을 복원할 수 있다.
보다 구체적으로, 프로세서는 참조 채널을 이용하여 획득된 참조 영상들의 화소 움직임을 비교하여 움직임 벡터를 결정할 수 있다. 그리고, 프로세서는 결정된 움직임 벡터 및 노이즈 영상과 다른 시간에 획득된 참조 영상들을 이용하여 예측 화소를 결정할 수 있다. 또한, 프로세서는 결정된 예측 화소의 화소값 및 노이즈 영상과 동일한 시간에 획득된 참조 영상의 참조 화소에 대한 화소값을 이용하여 노이즈 영상의 노이즈 영역을 복원할 수 있다.
도 4는 본 발명의 일 실시예에 따른 노이즈 영역을 복원하는 방법을 나타내는 플로우 차트이다.
단계(400)에서, 영상 복원 장치(100)의 프로세서는 참조 채널을 이용하여 획득한 참조 영상들을 이용하여 움직임 벡터를 결정할 수 있다.
보다 구체적으로, 프로세서는 노이즈 영상의 획득 시간과 동일한 시간에 참조 채널을 이용하여 획득한 참조 영상 및 노이즈 영상의 획득 시간과 다른 시간에 참조 채널을 이용하여 획득한 참조 영상의 동일한 위치에 대한 화소 간 움직임 탐색을 통해서 얻어진 BMP에 대한 움직임 벡터를 결정할 수 있다.
단계(401)에서, 영상 복원 장치(100)의 프로세서는 움직임 벡터 및 노이즈 채널의 획득 시간과 다른 시간에 획득한 참조 영상들을 이용하여 예측 화소의 화소값을 결정할 수 있다.
보다 구체적으로, 프로세서는 노이즈 영상의 획득 시간과 다른 시간에 노이즈 채널을 이용하여 획득한 참조 영상에 움직임 벡터를 적용한 화소값 및 노이즈 영상의 획득 시간과 다른 시간에 참조 채널을 이용하여 획득한 참조 영상에 움직임 벡터를 적용한 화소값을 이용하여 예측 화소의 화소값을 결정할 수 있다.
단계(402)에서, 영상 복원 장치(100)의 프로세서는 노이즈 영상의 획득 시간과 동일한 시간에 참조 채널을 이용하여 획득한 참조 영상에서 노이즈 영상의 노이즈 영역에 대응하는 화소를 참조 화소로 결정할 수 있다.
단계(403)에서, 영상 복원 장치(100)의 프로세서는 결정된 참조 화소의 화소값에 결정된 예측 화소의 화소값을 더함으로써, 노이즈 영역을 복원할 수 있다.
도 5는 본 발명의 일 실시예에 따른 노이즈 영상 및 참조 영상을 도시한 도면이다.
본 발명의 일 실시예에 따른 노이즈 영상(500)은 위성(101)이 시간(t)에 노이즈 채널을 이용하여 획득한 영상일 수 있다. 그리고, 참조 영상(501)은 위성(101)이 시간(t)에 참조 채널을 이용하여 획득한 영상이고, 참조 영상(502)은 위성(101)이 시간(t-T)에 노이즈 채널을 이용하여 획득한 영상일 수 있다. 또한, 참조 영상(503)은 위성(101)이 시간(t-T)에 참조 채널을 이용하여 획득한 영상일 수 있다.
본 발명의 일 실시예에 따른 영상 복원 장치(100)의 프로세서는 참조 영상(502 내지 503)을 이용하여 노이즈 영상(500)의 노이즈 영역을 검출하기 위한 임계값을 설정할 수 있다.
보다 구체적으로, 프로세서는 수학식 2를 이용하여 참조 영상(502)의 화소와 참조 영상(503)의 화소 간의 차분에 대한 절대치 값들의 최대값 및 최소값을 계산할 수 있다.
Figure pat00002
여기서, It-T는 참조 영상(502)의 화소값이고, Reft -T는 참조 영상(503)의 화소값이다.
그리고, 프로세서는 참조 영상(502)의 화소와 참조 영상(503)의 화소 간의 차분에 대한 절대치 값들의 최대값, 최소값 및 수학식 3을 이용하여 노이즈 영역을 검출하기 위한 임계값을 설정할 수 있다.
Figure pat00003
여기서 th는 노이즈 영역을 검출하기 위한 임계값이고, Max는 참조 영상(502)의 화소와 참조 영상(503)의 화소 간의 차분에 대한 절대치 값들의 최대값이다. 그리고, Mean은 참조 영상(502)의 화소와 참조 영상(503)의 화소 간의 차분에 대한 절대치 값들의 평균값이다. 여기서, 수학식 3을 통해 설정된 임계값은 일례일 뿐이고, 본 발명에서 임계값을 설정하는 방법은 이에 한정되지 않는다.
영상 복원 장치(100)의 프로세서는 노이즈 영상(500), 참조 영상(501) 및 설정된 임계값을 이용하여 노이즈 영상(500)의 노이즈 영역을 검출할 수 있다.
보다 구체적으로, 프로세서는 수학식 4를 이용하여 노이즈 영상(500)의 노이즈 영역을 검출할 수 있다.
Figure pat00004
여기서 It는 노이즈 영상(500)의 화소값이고, Reft는 참조 영상(501)의 화소값이다. 프로세서는 노이즈 영상(500)의 화소값과 참조 영상(501)의 화소값 간의 차분값을 계산하고, 계산된 차분값이 참조 영상(502 내지 503)을 이용하여 설정한 임계값보다 큰 영역을 노이즈 영역으로 결정할 수 있다.
도 6은 본 발명의 일 실시예에 따른 움직임 벡터를 결정하는 방법을 도시한 도면이다.
본 발명의 일 실시예에 따른 영상 복원 장치(100)의 프로세서는 참조 영상(501 내지 503)의 화소를 이용하여 노이즈 영상(500)에서 검출된 노이즈 영역을 복원할 수 있다.
먼저, 프로세서는 참조 채널을 이용하여 시간(t)에 획득된 참조 영상(501)의 화소와 이에 대응하는, 참조 채널을 이용하여 시간(t-T)에 획득된 참조 영상(503)의 화소 간 움직임 탐색을 이용하여 결정된 BMP(Best Matching Point)에 대한 움직임 벡터를 결정할 수 있다.
보다 구체적으로, 프로세서는 수학식 5를 이용하여 search area 내에서 참조 영상(501)과 참조 영상(503) 간이 차이가 가장 작은 위치를 계산함으로써 움직임 벡터를 결정할 수 있다.
Figure pat00005
여기서, dx 및 dy는 움직임 벡터이다.
그리고, 프로세서는 결정된 움직임 벡터와 참조 영상(502 내지 503)을 이용하여 노이즈 영역을 복원하는데 이용될 예측 화소의 화소값을 결정할 수 있다.
보다 구체적으로, 프로세서는 수학식 6을 이용하여 예측 화소의 화소값을 결정할 수 있다.
Figure pat00006
여기서, b는 예측 화소의 화소값이다.
마지막으로, 프로세서는 참조 영상(501)에서 노이즈 영상(500)의 노이즈 영역에 대응되는 참조 화소를 결정하고, 수학식 7을 이용하여 노이즈 영상(500)의 노이즈 영역을 복원할 수 있다.
Figure pat00007
여기서, Reft는 참조 화소의 화소값이고, b는 예측 화소의 화소값이다. 그리고, Resotred_It는 복원된 노이즈 영상의 화소값이다.
한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100: 영상 복원 장치
101: 위성

Claims (12)

  1. 복수의 상이한 채널들을 이용하여 동일 오브젝트에 대한 멀티스펙트럼 영상들을 획득하는 단계;
    상기 멀티스펙트럼 영상들 중 노이즈가 포함된 노이즈 영상을 식별하는 단계;
    상기 멀티스펙트럼 영상들 중 상기 노이즈 영상의 복원에 필요한 참조 영상들을 결정하는 단계;
    상기 노이즈 영상 및 상기 참조 영상들 간의 관계를 이용하여 상기 노이즈 영상의 노이즈 영역을 검출하는 단계; 및
    상기 참조 영상들의 화소를 이용하여 상기 검출된 노이즈 영역을 복원하는 단계
    를 포함하는 영상 복원 방법.
  2. 제1항에 있어서,
    상기 참조 영상을 결정하는 단계는,
    상기 노이즈 영상의 채널 및 상기 노이즈 영상을 획득한 시간을 고려하여 참조 영상들을 결정하는
    영상 복원 방법.
  3. 제1항에 있어서,
    상기 노이즈 영역을 검출하는 단계는,
    (i) 상기 노이즈 영상 및 상기 노이즈 영상과 상이한 채널을 이용하여 획득된 제1 참조 영상 간의 관계 및 (ii) 상기 노이즈 영상과 상이한 시간에 획득된 제2 참조 영상과 상기 노이즈 영상과 상이한 시간에 상이한 채널을 이용하여 획득된 제 3 참조 영상 간의 관계를 고려하여 상기 노이즈 영상에서 노이즈 영역을 검출하는
    영상 복원 방법.
  4. 제3항에 있어서,
    상기 제1 참조 영상과 상기 제3 참조 영상은,
    동일한 채널을 이용하여 상이한 획득되고,
    상기 제2 참조 영상과 상기 제3 참조 영상은,
    동일한 시간에 획득되는
    영상 복원 방법.
  5. 제3항에 있어서,
    상기 노이즈 영역을 복원하는 단계는,
    상기 참조 영상들을 이용하여 예측 화소의 화소값을 결정하는 단계;
    상기 제1 참조 영상에서 상기 노이즈 영역에 대응하는 참조 화소를 결정하는 단계; 및
    상기 예측 화소의 화소값 및 상기 참조 화소의 화소값을 이용하여 상기 노이즈 영역을 복원하는 단계
    를 포함하는 영상 복원 방법.
  6. 제5항에 있어서,
    상기 예측 화소의 화소값을 결정하는 단계는,
    상기 제1 참조 영상 및 상기 제3 참조 영상의 동일한 위치에서의 화소 간 움직임을 이용하여 움직임 벡터를 결정하는 단계; 및
    상기 제2 참조 영상, 상기 제3 참조 영상 및 상기 움직임 벡터를 이용하여 상기 예측 화소의 화소값을 결정하는 단계
    를 포함하는 영상 복원 방법.
  7. 영상 복원 장치에 있어서,
    프로세서를 포함하고,
    상기 프로세서는,
    복수의 상이한 채널들을 이용하여 동일 오브젝트에 대한 멀티스펙트럼 영상들을 획득하고,
    상기 멀티스펙트럼 영상들 중 노이즈가 포함된 노이즈 영상을 식별하고,
    상기 멀티스펙트럼 영상들 중 상기 노이즈 영상의 복원에 필요한 참조 영상들을 결정하고,
    상기 노이즈 영상 및 상기 참조 영상들 간의 관계를 이용하여 상기 노이즈 영상의 노이즈 영역을 검출하고,
    상기 참조 영상들의 화소를 이용하여 상기 검출된 노이즈 영역을 복원하는
    영상 복원 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 노이즈 영상의 채널 및 상기 노이즈 영상을 획득한 시간을 고려하여 참조 영상들을 결정하는
    영상 복원 장치.
  9. 제7항에 있어서,
    상기 프로세서는,
    (i) 상기 노이즈 영상 및 상기 노이즈 영상과 상이한 채널을 이용하여 획득된 제1 참조 영상 간의 관계 및 (ii) 상기 노이즈 영상과 상이한 시간에 획득된 제2 참조 영상과 상기 노이즈 영상과 상이한 시간에 상이한 채널을 이용하여 획득된 제3 참조 영상 간의 관계를 고려하여 상기 노이즈 영상에서 노이즈 영역을 검출하는
    영상 복원 장치.
  10. 제9항에 있어서,
    상기 제1 참조 영상과 상기 제3 참조 영상은,
    동일한 채널을 이용하여 상이한 획득되고,
    상기 제2 참조 영상과 상기 제3 참조 영상은,
    동일한 시간에 획득되는
    영상 복원 장치.
  11. 제9항에 있어서,
    상기 프로세서는,
    상기 참조 영상들을 이용하여 예측 화소의 화소값을 결정하고,
    상기 제1 참조 영상에서 상기 노이즈 영역에 대응하는 참조 화소를 결정하고,
    상기 예측 화소의 화소값 및 상기 참조 화소의 화소값을 이용하여 상기 노이즈 영역을 복원하는
    영상 복원 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 제1 참조 영상 및 상기 제3 참조 영상의 동일한 위치에서의 화소 간 움직임을 이용하여 움직임 벡터를 결정하고,
    상기 제2 참조 영상, 상기 제3 참조 영상 및 상기 움직임 벡터를 이용하여 상기 예측 화소의 화소값을 결정하는
    영상 복원 장치.
KR1020170101004A 2017-08-09 2017-08-09 위성 영상의 노이즈 검출 및 영상 복원 방법과 그 장치 KR20190016722A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170101004A KR20190016722A (ko) 2017-08-09 2017-08-09 위성 영상의 노이즈 검출 및 영상 복원 방법과 그 장치
US15/830,885 US20190050966A1 (en) 2017-08-09 2017-12-04 Method and apparatus for detecting noise of satellite image and restoring image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170101004A KR20190016722A (ko) 2017-08-09 2017-08-09 위성 영상의 노이즈 검출 및 영상 복원 방법과 그 장치

Publications (1)

Publication Number Publication Date
KR20190016722A true KR20190016722A (ko) 2019-02-19

Family

ID=65275289

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170101004A KR20190016722A (ko) 2017-08-09 2017-08-09 위성 영상의 노이즈 검출 및 영상 복원 방법과 그 장치

Country Status (2)

Country Link
US (1) US20190050966A1 (ko)
KR (1) KR20190016722A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230078377A (ko) * 2021-11-26 2023-06-02 한국항공우주연구원 위성 영상 편집 방법, 위성 영상 편집 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210017185A (ko) 2019-08-07 2021-02-17 한국전자통신연구원 심층 신경망을 기반으로 영상의 압축 포아송 잡음을 제거하는 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010081010A2 (en) * 2009-01-09 2010-07-15 New York University Methods, computer-accessible medium and systems for facilitating dark flash photography
US8638395B2 (en) * 2009-06-05 2014-01-28 Cisco Technology, Inc. Consolidating prior temporally-matched frames in 3D-based video denoising

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230078377A (ko) * 2021-11-26 2023-06-02 한국항공우주연구원 위성 영상 편집 방법, 위성 영상 편집 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램

Also Published As

Publication number Publication date
US20190050966A1 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
KR101399804B1 (ko) 회전 불변형 특징 디스크립터를 이용한 추적 및 인식을 위한 방법 및 장치
CN111681273B (zh) 图像分割方法、装置、电子设备及可读存储介质
US11392792B2 (en) Method and apparatus for generating vehicle damage information
US8861884B1 (en) Training classifiers for deblurring images
KR20180105876A (ko) 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치
EP2299703B1 (en) System and method for producing high definition video from low definition video
CN107886048A (zh) 目标跟踪方法及***、存储介质及电子终端
US20160173736A1 (en) Method and System for Reconstructing Sampled Signals
US11049256B2 (en) Image processing apparatus, image processing method, and storage medium
CN109284673B (zh) 对象跟踪方法及装置、电子设备及存储介质
CN102348047A (zh) 用于视频信号的适应性噪声测量的方法和装置
US20180089537A1 (en) Learning apparatus, image identification apparatus, learning method, image identification method, and storage medium
US20180047271A1 (en) Fire detection method, fire detection apparatus and electronic equipment
US11170512B2 (en) Image processing apparatus and method, and image processing system
CN111723634B (zh) 一种图像检测方法、装置、电子设备及存储介质
KR20210099450A (ko) 딥러닝을 이용한 원거리 소형 드론 탐지 방법
US20210132214A1 (en) Synthetic aperture radar image analysis system, synthetic aperture radar image analysis method, and synthetic aperture radar image analysis program
KR20190016722A (ko) 위성 영상의 노이즈 검출 및 영상 복원 방법과 그 장치
US20200184622A1 (en) Degradation detection device, degradation detection method, and computer-readable recording medium
CN110992393B (zh) 一种基于视觉的目标运动跟踪方法
Alam et al. Metrics for evaluating the performance of joint-transform-correlation-based target recognition and tracking algorithms
CN110969199A (zh) 一种图像分类的方法、装置和存储介质
US20180314893A1 (en) Information processing device, video image monitoring system, information processing method, and recording medium
CN111929688B (zh) 一种用于确定雷达回波预测帧序列的方法与设备
CN113849314A (zh) 一种数据处理模型部署方法及装置