KR101285810B1 - 6-탭 ｆｉｒ 필터를 이용한 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법 - Google Patents

6-탭 ｆｉｒ 필터를 이용한 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법 Download PDF

Info

Publication number
KR101285810B1
KR101285810B1 KR1020110146474A KR20110146474A KR101285810B1 KR 101285810 B1 KR101285810 B1 KR 101285810B1 KR 1020110146474 A KR1020110146474 A KR 1020110146474A KR 20110146474 A KR20110146474 A KR 20110146474A KR 101285810 B1 KR101285810 B1 KR 101285810B1
Authority
KR
South Korea
Prior art keywords
image
subpixel
target
images
point
Prior art date
Application number
KR1020110146474A
Other languages
English (en)
Other versions
KR20130077646A (ko
Inventor
권순찬
유지상
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020110146474A priority Critical patent/KR101285810B1/ko
Publication of KR20130077646A publication Critical patent/KR20130077646A/ko
Application granted granted Critical
Publication of KR101285810B1 publication Critical patent/KR101285810B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Systems (AREA)

Abstract

연속적인 시간의 저해상도 영상을 입력받아, 6-Tap FIR 필터를 이용한 부화소 단위 움직임 추정을 통하여 고해상도 영상으로 복원하는 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법에 관한 것으로서, (a) 연속적인 시간의 저해상도 영상을 입력받되, 저해상도 영상은 목표 영상과 목표 영상의 전후 시간 영상으로 구성되는 단계; (b) 저해상도 영상들에 보간법을 적용하여 부화소를 구하여, 저해상도 영상들의 화소와 부화소가 포함된 영상(이하 부화소 영상)을 구하는 단계; (c) 목표 영상의 부화소 영상(이하 목표 부화소 영상)과 전후 시간 영상(이하 전후 부화소 영상)들 각각에 대하여, 최적의 블록정합을 탐색하여 움직임 벡터를 구하는 단계; 및, (d) 목표 부화소 영상의 각 화소(이하 목표점)에 대하여, 움직임 벡터에 의해 목표점에 정합되는 전후 부화소 영상의 화소(이하 정합점)를 찾고, 목표점을 정합점으로 보간하는 단계를 포함하는 구성을 마련한다.
상기와 같은 초해상도 영상 복원 방법에 의하여, 부화소 정밀도의 움직임 추정을 통하여 연속적인 저해상도 영상으로부터 보다 정확한 고주파성분을 복원할 수 있다.

Description

6-탭 ＦＩＲ 필터를 이용한 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법{ A Super-Resolution method by Motion Estimation with Sub-pixel Accuracy using 6-Tap FIR Filter }
본 발명은 연속적인 시간의 저해상도 영상(프레임)을 입력받아, 6-Tap FIR(finite impulse response) 필터를 이용한 부화소 단위 움직임 추정을 통하여 고해상도 영상으로 복원하는 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법에 관한 것이다.
일반적으로, 영상을 확대하기 위해 기존 화소들 사이에 적절한 값을 삽입하는 기술을 영상 보간법(interpolation)이라 한다. 근래, 디지털 카메라 같은 디지털 영상 획득 매체의 개발로 고해상도 영상 보간의 중요성은 다양한 분야에서 점점 커지고 있다. 예를 들어 의료 분야에서 고해상도의 의료 영상은 의사들에게 있어 매우 중요하다. 이 분야에서 빈번히 사용되는 컴퓨터 패턴 인식의 수행 능력은 입력 영상의 해상도에 크게 좌우되기 때문이다.
영상 보간은 비월주사 방식의 영상을 순차주사 방식으로 전환하는 디-인터레이싱(de-interlacing)과 여러 장의 저해상도 영상들로부터 고해상도의 영상을 복원하는 초해상도(super-resolution) 기법과도 밀접한 관계가 있다. 디지털 영상 매체에 의해 획득된 영상은 고해상도 영상이 저주파 대역필터를 통과한 후, 다운 샘플링 된 영상으로 모델링 될 수 있다. 이 과정을 거치면서 획득된 영상은 앨리어싱(aliasing) 현상에 의해 많은 고주파 성분의 정보가 손실된다. 따라서 이러한 고주파 성분을 효과적으로 복원하는 것이 영상 보간에서 가장 중요한 기술이다.
전통적인 영상 보간법은 저해상도 영상 화소의 가중치 합(weighted-sum)에 기반을 두고 있으며, 그 중 대표적인 방법으로 최단입점(nearest neighborhood) 보간법, 이중선형(bi-linear) 보간법, 고등차수(bi-cubic) 보간법 등이 있다. 이러한 방법들은 선형 필터의 개념으로 해석될 수 있다. 즉 저해상도 영상은 필터의 입력 신호가 되고 이 영상에 곱해지는 가중치들은 필터 계수가 되며, 전체적인 영상의 확대 과정은 저해상도의 입력 영상을 업 샘플링한 후 필터를 적용하는 것으로 볼 수 있다. 따라서 필터 계수가 되는 가중치들의 주파수 특성을 확인함으로써 해당 보간법의 성능을 분석할 수 있다. 이러한 관점에서 볼 때 가중치 기반 방법들은 대부분 저주파 통과 필터 특성을 가지고 있으므로 앨리어싱에 의해 손상된 고주파 성분을 효과적으로 복원할 수 없다.
이러한 문제를 개선하기 위해, 연속된 다수의 프레임을 이용하여 단일 영상을 사용한 경우보다 정확도가 높은 고주파 성분을 복원할 수 있다.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 연속적인 시간의 저해상도 영상(프레임)을 입력받아, 6-Tap FIR(finite impulse response) 필터를 이용한 부화소 단위 움직임 추정을 통하여 고해상도 영상으로 복원하는 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법을 제공하는 것이다.
즉, 본 발명의 목적은 목표 영상의 앞, 뒤의 다수 프레임에서, 목표 영상 내 고주파 성분을 부화소(sub-pixel) 단위 움직임 추정을 통해 인접한 다른 영상들에서 찾아 고주파 성분 보간 시 이용하는 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법을 제공하는 것이다.
이때, 보다 정확한 움직임 추정이 결과 영상의 화질을 결정하기 때문에, 정수단위가 아닌 부화소 정밀도의 움직임 추정이 필요하고, 이를 위해, 입력 영상들의 부화소를 구하기 위해 H.264/AVC의 6-tap FIR 필터를 사용한다. 이 후 부화소 정밀도의 움직임 추정을 적용하여 목표영상에 정합시킨 후 D. Shepard에 의해 제안된 2차원 보간법을 이용해 목표영상의 빈공간을 보간하게 된다.
상기 목적을 달성하기 위해 본 발명은 연속적인 시간의 저해상도 영상을 입력받아, 부화소 단위 움직임 추정을 통하여 고해상도 영상으로 복원하는 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법에 관한 것으로서, (a) 연속적인 시간의 저해상도 영상을 입력받되, 상기 저해상도 영상은 목표 영상과 상기 목표 영상의 전후 시간 영상으로 구성되는 단계; (b) 상기 저해상도 영상들에 보간법을 적용하여 부화소를 구하여, 상기 저해상도 영상들의 화소와 상기 부화소가 포함된 영상(이하 부화소 영상)을 구하는 단계; (c) 상기 목표 영상의 부화소 영상(이하 목표 부화소 영상)과 상기 전후 시간 영상(이하 전후 부화소 영상)들 각각에 대하여, 최적의 블록정합을 탐색하여 움직임 벡터를 구하는 단계; 및, (d) 상기 목표 부화소 영상의 각 화소(이하 목표점)에 대하여, 상기 움직임 벡터에 의해 상기 목표점에 정합되는 상기 전후 부화소 영상의 화소(이하 정합점)를 찾고, 상기 목표점을 상기 정합점으로 보간하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법에 있어서, 상기 전후 부화소 영상은 상기 목표 영상의 연속적인 이전 시간 영상 2개와 이후 시간 영상 2개로 구성되는 것을 특징으로 한다.
또, 본 발명은 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법에 있어서, 상기 (b)단계에서, 상기 부화소 중 1/2 부화소는 6탭(tap) FIR(finite impulse response) 필터를 적용하고, 1/4 부화소는 상기 1/2 부화소에 이중선형(bi-linear) 보간법을 적용하여 구하는 것을 특징으로 한다.
또, 본 발명은 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법에 있어서, 상기 (c)단계에서, 상기 최적의 블록정합은 상기 목표 부화소 영상과 상기 전후 부화소 영상 간에 블록단위로 SAD(sum of absolute difference) 연산을 하여, 상기 SAD가 최소인 블록을 최적의 블록으로 선택하는 것을 특징으로 한다.
또, 본 발명은 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법에 있어서, 상기 블록단위는 2*2인 것을 특징으로 한다.
또, 본 발명은 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법에 있어서, 상기 최적 블록을 선택하기 위해, 전역 탐색 방식 또는 나선형 탐색 방식으로 정합블록을 탐색하는 것을 특징으로 한다.
또, 본 발명은 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법에 있어서, 상기 (d)단계에서, 상기 목표점은 상기 목표점과 정합점 사이의 거리에 의한 가중치에 의해 상기 정합점들을 보간하는 것을 특징으로 한다.
또, 본 발명은 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법에 있어서, 상기 (d)단계에서, 상기 목표점은 [수식 1]에 의해 상기 정합점들을 보간하는 것을 특징으로 한다.
[수식 1]
Figure 112011105199573-pat00001

또한, 본 발명은 상기 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
상술한 바와 같이, 본 발명에 따른 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법에 의하면, 부화소 정밀도의 움직임 추정을 통하여 연속적인 저해상도 영상으로부터 보다 정확한 고주파성분을 복원할 수 있는 효과가 얻어진다.
특히, 실험 결과 기존 제시된 최단입점(nearest neighborhood) 보간법, 이중선형(bi-linear) 보간법, 고등차수(bi-cubic) 보간법을 사용한 결과 영상보다 주관적 및 객관적으로 약간 더 우수한 것을 확인할 수 있다.
도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법을 설명하는 흐름도이다.
도 3은 본 발명의 일실시예에 따라 저해상도 영상이 만들어지는 과정을 설명하는 도면이다.
도 4는 본 발명에 따른 ADC 과정에서 발생하는 앨리어싱의 일례를 도시한 것이다.
도 4는 본 발명에 따른 ADC 과정에서 발생하는 앨리어싱의 일례를 도시한 것이다.
도 5는 본 발명에 따른 정수 단위 또는 부화소 단위로 화소가 이동하는 일례를 도시한 것이다.
도 6은 본 발명에 따른 1/2 화소 보간시의 6-tap FIR 필터 적용한 일례를 도시한 것이다.
도 7은 본 발명에 따른 전역 탐색 방식의 일례를 도시한 것이다.
도 8은 본 발명에 따른 나선형 탐색 방식의 일례를 도시한 것이다.
도 9는 본 발명에 따른 움직임 추정에 따른 영상간 위치관계와 보간 대상점의 위치의 일례를 도시한 것이다.
도 10은 본 발명에 따른 데이터 점 4개, 8개, 12개를 사용한 경우의 PSNR 측정결과의 일례를 도시한 것이다.
도 11은 본 발명에 따른 영상외곽의 격자현상 제거 전 및, 제거 후의 일례를 도시한 것이다.
도 12 내지 도 15는 본 발명에 따라 "Foreman (9번째 프레임)", "Car (8번째 프레임)", "Mother-daughter (6번째 프레임)"에 대한 원본영상, 최단입점, 이중선형, 고등차수, 및 본 발명의 고해상도 방법을 적용한 영상의 일례를 도시한 것이다.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.
도 1에서 보는 바와 같이, 본 발명에 따른 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법은 저해상도 영상(또는 프레임)(10)을 입력받아 상기 프레임(또는 영상)에 대하여 부화소 단위의 움직임 추정을 하고 고해상도 영상으로 복원하는 컴퓨터 단말(20) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 초해상도 영상 복원 방법은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 프로그램 시스템(30)과 같이 동작할 수 있다.
한편, 다른 실시예로서, 초해상도 영상 복원 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 연속적인 프레임으로 구성된 저해상도 영상을 고해상도 영상으로 복원 등만을 전용으로 처리하는 전용 컴퓨터 단말(20)로 개발될 수도 있다. 이를 초해상도 영상 복원 장치라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.
저해상도 영상(10)은 연속적인 시간상에서 다수의 프레임으로 구성된 영상이다. 예를 들어, 현재 프레임이 t시간에서의 프레임이면, 이전 프레임은 t-1, t-2, t-3 등의 시간에서의 프레임이고, 이후 프레임은 t+1, t+2, t+3, ... 등의 시간에서의 프레임이다. 이들 프레임을 전후 프레임이라고 부르기로 한다. 영상은 시간적으로 연속된 다수의 프레임으로 구성된다. 즉, 영상은 ..., t-3, t-2, t-1, t, t+1, t+2, t+3, ... 시간 대의 프레임으로 구성된다. 이때, 현재 프레임, 즉, 관심 대상인 프레임을 목표 프레임이라고도 부르기로 한다. 또한, 영상은 다수의 프레임으로 구성되나, 이하에서, 특별히 구별의 필요성이 없으면, 프레임과 영상을 혼용하기로 한다.
다음으로, 본 발명의 일실시예에 따른 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법을 도 2를 참조하여 설명한다.
도 2에서 보는 바와 같이, 본 발명의 일실시예에 따른 회전불변 질감특성 추출 방법은 (a) 시간상 일련의 저해상도 영상을 입력받는 단계(S10); (b) 저행상도 영상들에 보간법을 적용하여 부화소가 포함된 부화소 영상을 구는 단계(S20); (c) 목표 영상의 부화소 영상과 전후 시간 영상에 대해 최적의 블록정합을 탐색하여 움직임 벡터를 구는 단계(S30); 및, (d) 목표 부화소 영상의 목표점에 정합되는 전후 부화소 영상의 정합점으로 목표점을 보는 단계(S40)로 구성된다.
보다 구체적으로, 본 발명의 일실시예에서는 우선 초해상도 방법을 적용하고자 하는 영상(또는 목표 영상, 목표 프레임)을 기준으로 하여 전, 후 각 2장의 프레임(이하 전후 프레임 또는 전후 영상, 전후 시간 영상)을 포함하여 총 다섯 장의 저해상도 영상을 입력으로 한다(S10). 이 다섯 장의 영상에 부화소(sub-pixel)를 구하기 위해 6-tap FIR(finite impulse response) 필터를 적용한다(S20). 그 후 1/4 화소 단위에서의 움직임 추정으로(S30) 목표 영상의 고주파 부분에 해당하는 부분을 다른 저해상도 영상에서 찾아, 이 점들을 이용하여 목표영상의 해상도를 증가시키게 된다(S40).
본 발명의 일실시예에 따른 초해상도 영상 복원 방법을 구체적으로 설명하기 전에, 초해상도 영상을 복원하는 원리를 도 3 내지 도 5를 참조하여 보다 구체적으로 설명한다.
본 발명에서 저해상도 영상은 [수학식 1]과 같은 관측모델을 갖는다고 가정한다.
[수학식 1]
Figure 112011105199573-pat00002
여기서 yk는 k번째의 저해상도 영상, D는 다운샘플링 행렬, xk와 nk는 각각 k번째 고해상도 영상과 해당 영상에 더해지는 잡음이다. 본 발명에서는 도 3으로 나타내어진 [수학식 1]의 관측모델을 역으로 하여 목표영상인 xk를 복원하는 과정과 그 결과를 보인다.
사람이 육안으로 보는 영상은 연속적인 아날로그 신호이다. 영상신호를 컴퓨터 처리가 가능한 디지털 신호로 변환하기 위해서는 음성신호와 같이 신호를 디지털화 하는 과정이 필요하다. 이 과정에서 도 4와 같이 이미지 센서 등과 같은 디지털 기기의 성능적 제한으로 저해상도 영상이 되는 과정에서 샘플링 간격으로 인한 필연적인 앨리어싱(aliasing)이 발생한다. 이로 인해 원 영상신호의 고주파 성분이 손실된다.
동영상에서 현재의 프레임을 f(t)라하고, 바로 전의 프레임을 f(t-1)이라고 가정하면 장면의 전환부분이 아닌 경우 두영상은 서로 근소한 차이만을 가질 것이다. 도 5는 프레임간 존재하는 객체의 움직임을 나타낸다. 도 5에서 왼쪽 열은 f(t-1) 프레임, 오른쪽 열은 f(t) 프레임을 나타낸다.
도 5(a)의 경우는 프레임 간 객체의 이동이 샘플링 간격인 정수단위로 이동한 경우를 나타낸다. 이 경우 디지털화 된 영상은 f(t-1)과 f(t)의 해당 객체가 같은 윤곽선 정보를 가지게 된다. 도 5(b)의 경우는 프레임 간 객체가 샘플링 간격보다 적은 부화소(sub-pixel) 단위로 이동한 경우이다. 이 경우 첫 번째 경우와 달리 두 영상은 같은 객체에 대하여 서로 다른 윤곽선 정보를 가지게 된다.
첫 번째 경우처럼 복수의 영상이 서로 같은 고주파 성분을 가지고 있다면, 해당 영상들로는 초해상도(super-resolution) 기법 적용이 불가능하다. 그러나 두 번째 경우는 서로 다른 고주파 정보를 모아서 초해상도 기법을 적용할 수 있다. 따라서 본 발명에서는 부화소 단위로 이동한 두 번째 경우를 이용하여 고주파 성분을 복원하게 된다.
다음으로, 본 발명의 일실시예에 따른 초해상도 영상 복원 방법을 구체적으로 설명한다. 이하에서, 연속적인 시간의 저해상도 영상을 입력받고, 입력받은 저해상도 영상을 대상으로 초해상도 영상으로 복원한다. 이때, 상기 저해상도 영상은 목표 영상과 상기 목표 영상의 전후 시간 영상으로 구성된다. 특히, 이하의 실시예에서, 본 발명의 방법을 적용하고자 하는 영상(목표 영상)을 기준으로 하여 전, 후 각 2장의 프레임(이하 전후 시간 영상)을 포함하여 총 다섯 장의 저해상도 영상을 입력으로 한다. 즉, 상기 전후 부화소 영상은 상기 목표 영상의 연속적인 이전 시간 영상 2개와 이후 시간 영상 2개로 구성된다.
먼저, 저해상도 영상들에 보간법을 적용하여 부화소를 구하여, 상기 저해상도 영상들의 화소와 상기 부화소가 포함된 영상(이하 부화소 영상)을 구한다(S20). 특히, 상기 부화소 중 1/2 부화소는 6탭(tap) FIR(finite impulse response) 필터를 적용하고, 1/4 부화소는 상기 1/2 부화소에 이중선형(bi-linear) 보간법을 적용하여 구한다.
즉, 앞서 언급한 부화소(sub-pixel) 단위의 움직임 정보를 얻기 위해서는 우선 입력 영상들의 부화소를 찾아야 한다. 본 발명의 일실시예에서는 입력 영상들마다 [수학식 2]의 H.264/AVC 의 6-tap FIR(finite impulse response) 필터를 적용하여 부화소를 찾는다.
[수학식 2]
Figure 112011105199573-pat00003
여기서 b와 h는 각각 1/2 화소 단위의 화소값을 의미하고, A,C,G,M,R,T,E,F,H,I,J는 각각 정수단위의 원본 화소값을 의미한다. 각 정수단위의 화소에 곱해지는 숫자는 가중치를 나타낸다.
[수학식 2]의 이해를 돕기 위해 도 6을 가지고 설명한다. 먼저 가로 방향과 세로 방향의 원본 화소에 가중치를 주어 b와 h를 구하게 된다. 1/4 화소는 1/2 화소를 구한 다음 여기에 이중선형(bi-linear) 보간법을 적용하여 얻게 된다.
상기와 같이, 1/4 화소, 1/2 화소 등 부화소를 구하고, 상기 부화소와 원 영상의 화소들로 구성된 영상(또는 프레임)을 부화소 영상이라고 부르기로 한다. 부화소 영상은 저해상도 영상별로 각각 구한다. 즉, 앞서의 일례에서 5개의 저해상도 영상을 이용하므로, 부화소 영상도 모두 5개가 구해진다. 이때, 목표 영상에 대한 부화소 영상을 목표 부화소 영상이라고 부르기로 하고, 전후 시간 영상에 대한 부화소 영상을 전후 부화소 영상이라고 부르기로 한다.
다음으로, 상기 목표 영상의 부화소 영상(이하 목표 부화소 영상)과 상기 전후 시간 영상(이하 전후 부화소 영상)들 각각에 대하여, 최적의 블록정합을 탐색하여 움직임 벡터를 구한다(S30). 특히, 상기 최적의 블록정합은 상기 목표 부화소 영상과 상기 전후 부화소 영상 간에 블록단위로 SAD(sum of absolute difference) 연산을 하여, 상기 SAD가 최소인 블록을 최적의 블록으로 선택한다.
1/2 와 1/4 화소를 모두 구한 후 2*2 블록 단위의 움직임 추정을 하게 된다. 우선 SAD(sum of absolute difference) 연산을 통해 최적 정합블록을 선택한다. 도 7과 도 8은 각각 다른 최적 블록의 탐색 방법을 나타낸다. 도 7은 전역 탐색(full search) 방식을 나타내며 만약 64*64 크기의 탐색 블록(search block)을 사용한다고 하면, 64*64개의 SAD 값이 필요하다. 하나의 SAD 값을 산출하기 위해 [수학식 3]을 사용한다.
[수학식 3]
Figure 112011105199573-pat00004
여기서 SAD(i, j) 는 (i, j) 위치의 SAD 값이다. 본 발명의 일실시예에서는 64*64의 탐색 블록을 사용하므로 i, j 는 각각 0~63의 값을 가진다. Bt 와 Bt-1 은 각각 t와 t-1 시각에서의 프레임의 2*2 크기의 매크로 블록(macro block)을 나타낸다. 따라서 x, y 는 0~1의 값을 가진다. 특히, Bt -1은 (i, j) 위치에서의 매크로 블록이다.
여기서 i와 j는 탐색영역(search range)로, Bt를 탐색영역(search range)의 중심으로 하여 64*64의 크기를 가지는 정사각형이다. [수학식 3]에서 Bt는 기준 영상에서의 ‘고정된’2*2 블록, Bt -1은 탐색영역(search range)의 (0, 0)부터 (63, 63)까지 한 픽셀 단위로 이동하며 총 64*64개의 SAD 값을 구해내는 2*2의 매크로 블록이다. [수학식 3]에서는 Bt가 고정되어있다는 것을 전제로 한 것이다. 결국, i와 j는 탐색영역(search range), x와 y는 움직이는 블록 및 고정된 블록내의 좌표 (여기서는 x, y 모두 0~1의 값을 가짐)가 된다.
본 발명의 일실시예에서는 이전 두 프레임과 이후 두 프레임을 사용하므로 Bt-2, Bt-1, Bt+1, Bt+2 로 각각의 SAD 식을 갖는다. 즉 목표 영상의 Bt 의 위치를 고정한 상태에서 기타 저해상도 영상의 매크로 블록(macro block)을 탐색 블록 내에서 움직이며 SAD값을 채우는 것이다. 이렇게 64*64의 SAD 값을 모두 구한 뒤, 최소값을 찾아내 그 방향으로 영상이 천이되었다고 가정하여 움직임 벡터를 구하게 된다.
탐색 방식에는 크게 두 가지가 있는데, 대표적으로 도 7에 나타낸 전역 탐색은 시간을 많이 소모하므로, 본 발명의 일실시예에서는 도 8과 같이 고정 블록을 중심으로 일정 범위의 가까운 곳을 탐색하는 나선형 탐색(spiral search)을 사용한다.
도 8(a)는 나선형 탐색 방식을 택했을 경우 2*2 블록의 좌측 상단 점을 기준점으로 하여 이동시의 좌표 변화를 나타낸 것이다. 도 8(b)는 나선형 탐색에서 탐색 범위의 단위를 나타낸 것으로 보통 가로 방향과 세로 방향으로 한 번씩 움직일 때 1킥(kick)을 탐색했다고 정한다.
상기와 같이 탐색된 블록을 이용하여, 상기 목표 영상을 기준으로 나머지 4개의 저해상도 입력 영상들에 대하여 1/4 화소 단위의 움직임 추정을 한다. 이 과정을 통하여 목표 저해상도 영상과 나머지 저해상도 영상들 간의 위치관계를 움직임 벡터를 통해 도 9(a)와 같이 얻을 수 있다.
도 9(a)에서 원 모양의 화소는 목표 영상의 원본 화소를, 사각형과 다이아몬드 모양의 화소는 각각 나머지 저해상도 영상의 움직임 벡터를 바탕으로 한 상대 위치를 나타낸다. 도 9(b)에서 표시된 부분은 보간해야 할 대상 점들을 나타낸다.
이때, 목표 영상의 원본 화소(또는 보간해야 할 점)를 목표점이라 하고, 움직임 벡터에 의한 상대 위치, 즉, 전후 영상에서의 상대 위치(또는 대응되는 위치)의 화소를 정합점이라고 부르기로 한다. 정합점은 움직임 벡터에 의해 목표점 위치와 대응되는 위치이다.
다음으로, 상기 목표 부화소 영상의 각 화소(이하 목표점)에 대하여, 상기 움직임 벡터에 의해 상기 목표점에 정합되는 상기 전후 부화소 영상의 화소(이하 정합점)를 찾고, 상기 목표점을 상기 정합점으로 보간한다(S40). 특히, 상기 목표점은 상기 목표점과 정합점 사이의 거리에 의한 가중치에 의해 상기 정합점들을 보간한다.
상기 목표 영상의 해상도를 보간하고자 할 때 부족한 고주파 성분을 인접한 다른 프레임에서 보충한다. 그러나 도 9(a)처럼 단순히 다른 저해상도 영상들과 정합(registration)만 완료된 상태에서는 목표 보간점의 화소 값으로 사용할 수 없다. 정합된 화소 데이터를 참고로 하여 목표 보간점의 화소 값을 구하는 과정이 필요하다. 우선 목표 보간점을 기준으로 하여 가장 가까운 점들 중 몇 개를 선택할 것인지를 정해야 한다.
화소간의 거리를 구하는 기준은 [수학식 4]와 같이 유클리드 거리(Euclidian distance)를 사용한다.
[수학식 4]
Figure 112011105199573-pat00005
여기서 (x-xi) 는 가로방향의 움직임을, (y-yi)는 세로방향의 움직임을 나타낸다.
목표점의 보간에 사용되는 데이터의 수는 결과 영상에 영향을 준다. 그 수가 너무 적으면 고주파성분을 보간하기에 정보가 부족하고, 반대로 그 수가 너무 많다면 결과적으로 구하고자 하는 성분과는 관계가 적은 점을 참고하게 되어 오히려 보간법의 정확도를 떨어뜨린다.
정합된 화소 값들을 목표점으로 보간하는 데에는 여러 방법이 있는데, 본 논문에서는 [수학식 5]와 같이 D. Shepard에 의해 제시된 보간법을 사용한다.
[수학식 5]
Figure 112011105199573-pat00006
[수학식 5]는 2차원 공간에서 해당위치를 기준으로 하여 불규칙적으로 퍼져있는 점들과의 거리에 의한 가중치를 이용한 보간법이다. [수학식 5]에서 f1(P) 는 목표 보간점(또는 목표점)의 값, di는 각 목표 보간점과 정합점과의 거리, zi 는 해당 데이터 점의 값을 나타낸다. u는 보간 식의 계수로서 이 수치에 따라 결과 영상의 평탄함이 다르게 나타난다. 만약 수집된 정합점 중 목표 보간점과의 거리가 0인 경우, 해당 값을 그대로 목표 보간점에 대입한다. N은 목표점에 사용하는 정합점의 개수이다.
다음으로, 본 발명의 효과를 도 10 내지 도 17을 참조하여 보다 구체적으로 설명한다.
본 발명의 일실시예의 성능을 실험하기 위해 사용된 실험 영상은 352*288 크기의 'Foreman', 'Car', 'Mother-daughter' 영상이다. 실험은 원본 영상을 176*144 크기의 영상으로 다운 샘플링 한 후 각 실험 영상의 최초 10장의 프레임을 최단입점(nearest neighborhood), 이중선형(bi-linear), 고등차수(bi-cubic) 보간법과 본 발명을 사용하여 다시 원래 해상도로 복원 후 주관적, 객관적 결과를 비교하는 것으로 진행한다.
객관적인 성능 비교를 위해 각 결과들의 원본과의 PSNR을 측정한 결과를 도 10(a), 도 10(b), 도 10(c)에 각각 나타내었다. 각 도의 표의 두 번째 행의 열은 [수학식 5]에서 계수 u의 값을 나타낸다. 각 표의 3행부터 실험에 사용된 영상의 장면(sequence) 번호를 나타내며, 각 장면을 이루고 있는 행에 순서대로 제안된 기법, 이중선형, 고등차수, 최단입점 보간법을 사용한 결과를 나타내었다. 도 10(a)부터 도 10(c)까지를 참고하면 계수 u가 작을수록, 사용한 데이터 점의 수가 많을수록 PSNR 수치가 상승하는 것을 확인할 수 있다. 기존 보간법들과 제안된 기법간의 PSNR 차이는 도 10(a)부터 도 10(c)까지 그 정도의 차이는 있으나, 실험 한 모든 조건에서 다른 보간법 보다 PSNR 수치가 높다는 것을 확인할 수 있다.
도 11(a)는 6-tap FIR(finite impulse response) 필터 보간 과정에서 영상의 최외곽에서 나타나는 격자현상을 붉은 사각형으로 나타낸다. 대부분의 영상에서 관심 영역은 외곽보다는 중앙 혹은 그 외의 영역에 위치하기 때문에 외곽 격자현상의 제거와 움직임 추정시간의 단축을 위해 영상 최외곽 부분의 보간에는 이중선형 보간법을 적용하여 이 현상을 제거한 결과를 도 11(b)에 나타내었다.
도 12부터 도 17은 실험에 사용된 각 영상의 주관적 화질 비교 결과를 보여준다. 각 실험에 사용된 영상마다 열 장의 프레임 중에서 PSNR 수치가 가장 우수한 프레임을 한 장씩 선택하였다. 도 12, 도 14, 도 16은 결과 영상 전체 부분을 나타낸다. 도 12, 도 14, 도 16에서는 고등차수 보간법과 제안된 기법의 성능 차이를 쉽게 비교하기가 어렵다.
따라서 도 13, 도 15, 도 17에 결과 영상을 부분적으로 6배 확대하여 보였다. 최단입점 보간법을 사용한 결과는 단순히 원본 정수 화소값을 복사하여 목표 보간점에 그대로 대입하였기 때문에 고주파성분이 다른 결과들에 비해 두드러지게 손상되는 것을 확인할 수 있다. 이중선형 보간법의 경우, 최단입점 보간법에서 나타난 계단현상을 상당부분 감소시킬 수 있지만 객체의 윤곽선이 원본에 비해 흐려져 역시 결과적으로 고주파성분이 많이 손실된다. 각 영상에서 고등차수 보간법을 사용한 결과는 이중선형 보간법을 사용한 결과보다 윤곽선이 흐려지는 고주파 성분 손실이 비교적 덜 발생하지만, 각 그림의 사각형으로 표시된 부분에 나타낸 것과 같이 윤곽선상에 격자현상 혹은 블록현상이 발생함을 알 수 있다. 본 발명에 의한 초해상도 영상 복원 방법이 이중선형 보간법과 고등차수 보간법에서 나타나는 결점을 상당히 보완해 주는 것을 도 13, 도 15, 도 17에서 확인할 수 있다.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 저해상도 영상 20 : 컴퓨터 단말
30 : 프로그램 시스템

Claims (9)

  1. 연속적인 시간의 영상(이하 저해상도 영상)을 입력받아, 부화소 단위 움직임 추정을 통하여, 상기 저해상도 영상보다 해상도가 높은 영상(이하 고해상도 영상)으로 복원하는 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법에 있어서,
    (a) 연속적인 시간의 저해상도 영상을 입력받되, 상기 저해상도 영상은 목표 영상과 상기 목표 영상의 전후 시간 영상으로 구성되는 단계;
    (b) 상기 저해상도 영상들에 보간법을 적용하여 부화소를 구하여, 상기 저해상도 영상들의 화소와 상기 부화소가 포함된 영상(이하 부화소 영상)을 구하는 단계;
    (c) 상기 목표 영상의 부화소 영상(이하 목표 부화소 영상)과 상기 전후 시간 영상(이하 전후 부화소 영상)들 각각에 대하여, 최적의 블록정합을 탐색하여 움직임 벡터를 구하는 단계; 및,
    (d) 상기 목표 부화소 영상의 각 화소(이하 목표점)에 대하여, 상기 움직임 벡터에 의해 상기 목표점에 정합되는 상기 전후 부화소 영상의 화소(이하 정합점)를 찾고, 상기 목표점을 상기 정합점으로 보간하는 단계를 포함하는 것을 특징으로 하는 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법.
  2. 제1항에 있어서,
    상기 전후 부화소 영상은 상기 목표 영상의 이전 시간의 연속적인 영상 2개와, 상기 목표 영상의 이후 시간의 연속적인 영상 2개로 구성되는 것을 특징으로 하는 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법.
  3. 제1항에 있어서,
    상기 (b)단계에서, 상기 부화소 중 1/2 부화소는 6탭(tap) FIR(finite impulse response) 필터를 적용하고, 1/4 부화소는 상기 1/2 부화소에 이중선형(bi-linear) 보간법을 적용하여 구하는 것을 특징으로 하는 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법.
  4. 제1항에 있어서,
    상기 (c)단계에서, 상기 최적의 블록정합은 상기 목표 부화소 영상과 상기 전후 부화소 영상 간에 블록단위로 SAD(sum of absolute difference) 연산을 하여, 상기 SAD가 최소인 블록을 최적의 블록으로 선택하는 것을 특징으로 하는 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법.
  5. 제4항에 있어서,

    상기 블록단위는 2*2인 것을 특징으로 하는 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법.
  6. 제4항에 있어서,
    상기 최적 블록을 선택하기 위해, 전역 탐색 방식 또는 나선형 탐색 방식으로 정합블록을 탐색하는 것을 특징으로 하는 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법.
  7. 제1항에 있어서,
    상기 (d)단계에서, 상기 목표점은 상기 목표점과 정합점 사이의 거리에 의한 가중치에 의해 상기 정합점들을 보간하는 것을 특징으로 하는 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법.
  8. 제7항에 있어서,
    상기 (d)단계에서, 상기 목표점은 [수식 1]에 의해 상기 정합점들을 보간하는 것을 특징으로 하는 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법.
    [수식 1]
    Figure 112013022319544-pat00007

    단, P는 목표점,
    f1(P)는 목표점 P를 보간한 값(이하 목표 보간점의 값),
    f1()는 보간 함수,
    Di는 각 정합점,
    di는 목표점 P와 각 정합점 Di 간의 거리,
    zi는 해당 정합점 Di의 값,
    u는 보간 식의 계수,
    N은 목표점에 사용하는 정합점의 개수,
    i는 정합점의 인덱스.
  9. 제1항 내지 제8항 중 어느 한 항의 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020110146474A 2011-12-29 2011-12-29 6-탭 ｆｉｒ 필터를 이용한 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법 KR101285810B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110146474A KR101285810B1 (ko) 2011-12-29 2011-12-29 6-탭 ｆｉｒ 필터를 이용한 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110146474A KR101285810B1 (ko) 2011-12-29 2011-12-29 6-탭 ｆｉｒ 필터를 이용한 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법

Publications (2)

Publication Number Publication Date
KR20130077646A KR20130077646A (ko) 2013-07-09
KR101285810B1 true KR101285810B1 (ko) 2013-07-12

Family

ID=48990845

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110146474A KR101285810B1 (ko) 2011-12-29 2011-12-29 6-탭 ｆｉｒ 필터를 이용한 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법

Country Status (1)

Country Link
KR (1) KR101285810B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101538313B1 (ko) * 2012-12-21 2015-07-22 서울시립대학교 산학협력단 블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101394164B1 (ko) * 2013-01-17 2014-05-16 국방과학연구소 영상추적기를 위한 초해상도 기반의 고정밀 영상추적방법 및 이를 이용한 고정밀 영상추적장치
CN112042199B (zh) * 2018-02-14 2024-06-25 华为技术有限公司 自适应插值滤波器
CN109658361B (zh) * 2018-12-27 2022-12-06 辽宁工程技术大学 一种顾及运动估计误差的运动场景超分辨率重建方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100197373B1 (ko) 1995-11-29 1999-06-15 전주범 물체별 부호화 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100197373B1 (ko) 1995-11-29 1999-06-15 전주범 물체별 부호화 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101538313B1 (ko) * 2012-12-21 2015-07-22 서울시립대학교 산학협력단 블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치

Also Published As

Publication number Publication date
KR20130077646A (ko) 2013-07-09

Similar Documents

Publication Publication Date Title
KR100362038B1 (ko) 화상움직임을추정하는계산상효율적인방법
JP4214409B2 (ja) 高解像度カラー画像生成方法、高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム
KR20140135968A (ko) 초해상도화를 수행하는 방법 및 장치
US8098962B2 (en) Signal processing method, apparatus, and program
JP2000188680A (ja) 高解像度画像の生成方法及びシステム
JPH11355778A (ja) 動きフィ―ルド推定方法
KR20140116406A (ko) 저해상도 입력 데이터 구조의 초고해상도 버전을 생성하기 위한 방법 및 장치
KR20100139030A (ko) 이미지들의 수퍼 해상도를 위한 방법 및 장치
WO2011148760A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
TWI681672B (zh) 圖像處理方法、設備及系統
KR101285810B1 (ko) 6-탭 ｆｉｒ 필터를 이용한 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법
JP4714038B2 (ja) 画像の高解像度化方法及び装置
Jeong et al. Multi-frame example-based super-resolution using locally directional self-similarity
JP5566199B2 (ja) 画像処理装置およびその制御方法、並びにプログラム
Salvador et al. Patch-based spatio-temporal super-resolution for video with non-rigid motion
US20130155272A1 (en) Image processing device, imaging device, and image processing method
KR101059649B1 (ko) 적응적 보간 필터를 이용한 부호화 장치, 그 방법 및 복호화 장치
JP5546342B2 (ja) 画像処理装置
Sadaka et al. Super-resolution using a wavelet-based adaptive wiener filter
de Jesus et al. Super-resolution in a nutshell
KR101428531B1 (ko) 움직임 벡터의 정규화 및 윤곽선의 패턴 분석을 이용한 복수 영상 기반 초해상도 영상 생성 방법
Callicó et al. Low-cost super-resolution algorithms implementation over a HW/SW video compression platform
Patil et al. Color super resolution image reconstruction
Moses et al. A survey on adaptive image interpolation based on quantitative measures
Jha et al. An adaptive distance-based edge preserving interpolation algorithm for natural images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160704

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180627

Year of fee payment: 6