KR101805623B1 - 영상 고주파 정보 추정 및 안정화를 통한 고해상도 영상 생성 방법 및 장치 - Google Patents

영상 고주파 정보 추정 및 안정화를 통한 고해상도 영상 생성 방법 및 장치 Download PDF

Info

Publication number
KR101805623B1
KR101805623B1 KR1020110057976A KR20110057976A KR101805623B1 KR 101805623 B1 KR101805623 B1 KR 101805623B1 KR 1020110057976 A KR1020110057976 A KR 1020110057976A KR 20110057976 A KR20110057976 A KR 20110057976A KR 101805623 B1 KR101805623 B1 KR 101805623B1
Authority
KR
South Korea
Prior art keywords
image
frequency component
edge
high frequency
shooting
Prior art date
Application number
KR1020110057976A
Other languages
English (en)
Other versions
KR20120138476A (ko
Inventor
박종현
박세혁
강문기
유두식
지승훈
권지용
김재현
Original Assignee
삼성전자주식회사
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 연세대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020110057976A priority Critical patent/KR101805623B1/ko
Priority to US13/524,682 priority patent/US8929662B2/en
Publication of KR20120138476A publication Critical patent/KR20120138476A/ko
Application granted granted Critical
Publication of KR101805623B1 publication Critical patent/KR101805623B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은, 영상의 고주파 성분을 추정하여 안정화하고, 영상의 고주파 성분을 이용하여 고해상도 영상을 생성하는 방법 및 그 장치를 개시한다.
본 발명은, 입력 영상 중에서, 슈팅 현상이 발생하는 고주파 영역인 슈팅 영역을 결정하여, 슈팅 영역과 나머지 영역별로 다른 열화 모델을 이용하여 영상의 고주파 성분을 추정하고, 입력 영상의 에지 방향에 평행하도록 결정된 에지 블러 커널을 이용하여 에지 영역의 고주파 성분을 안정화하는 영상 고주파 정보 추정 및 안정화 방법을 개시한다.

Description

영상 고주파 정보 추정 및 안정화를 통한 고해상도 영상 생성 방법 및 장치{Method and apparatus for generating superresolution image using prediction and stabilization of high-frequency information of image}
본 발명은, 열화된 영상의 고주파 성분을 복원하는 영상 복원 기법에 관한 것이다.
영상 시스템은 일반적으로 캠코더 또는 디지털 카메라 등을 포함한다. 영상 시스템은 영상 처리 모듈을 내장하여, 센서로부터 획득된 영상의 화질을 더욱 개선시키기 위한 과정들을 추가로 수행하기도 한다.
영상 시스템에서 화질이 열화되는 요인 중에서, 획득된 영상의 선명도를 떨어뜨리는 블러 현상이 대표적이다. 카메라 초점이 불일치하는 경우, 장시간 카메라 센서에 노출된 경우, 카메라 움직임이 발생한 경우 등에 획득된 영상에서, 블러 현상이 발생될 수 있다.
따라서 영상 화질을 개선하기 위해서, 블러 현상을 제거하는 기술이 널리 이용된다. 블러 제거 기술은 영상 시스템의 영상 처리 모듈에 채택되어, 센서를 통해 획득된 영상의 블러 현상을 제거하는데 사용된다.
소비자들의 고해상도 영상에 대한 요구가 증대하고 있기 때문에, 최근 영상 시스템은 센서의 해상도를 증가시키기 위한 시도를 하고 있다. 센서의 해상도가 높아지면, 센서의 분해능이 증가하여 저해상도 영상 센서에서 표현하지 못했던 영상의 디테일 정보가 표현된 영상이 획득될 수 있다.
하지만 영상 시스템에서 일반적으로 발생하는 블러 현상은, 고해상도 영상 센서로 표현 가능한 영상의 디테일 정보도 훼손한다. 따라서 고화질의 고해상도 영상을 획득하기 위해서는, 영상의　블러 현상을 효과적으로 제거할 필요가 있다.
본 발명은, 영상의 고주파 성분을 추정하여 안정화하고, 영상의 고주파 성분을 이용하여 고해상도 영상을 생성하는 방법 및 그 장치를 개시한다.
본 발명의 일 실시예에 따른 영상 고주파 정보 추정 방법은, 입력 영상 중에서, 슈팅 현상이 발생하는 고주파 영역인 슈팅 영역을 결정하는 단계; 제 1 열화 모델을 이용하여, 상기 입력 영상 중에서 상기 슈팅 영역을 제외한 영역의 고주파 성분을 결정하는 단계; 및 제 2 열화 모델을 이용하여, 상기 슈팅 영역의 고주파 성분을 결정하는 단계를 포함한다.
본 발명의 일 실시예에 따른 영상 고주파 정보 안정화 방법은, 입력 영상의 방향성을 추정하여 에지 영역 및 에지 방향을 검출하는 단계; 상기 에지 방향에 평행하게 상기 에지 영역의 고주파 성분을 안정화하기 위한 에지 블러 커널을 결정하는 단계; 및 상기 에지 블러 커널을 이용하여 상기 입력 영역의 고주파 성분을 안정화하는 단계를 포함한다.
본 발명의 일 실시예에 따른 영상 고주파 정보 추정 안정화 방법은, 입력 영상 중에서, 슈팅 현상이 발생하는 고주파 영역인 슈팅 영역을 결정하는 단계; 제 1 열화 모델을 이용하여 상기 입력 영상 중에서 상기 슈팅 영역을 제외한 영역의 고주파 성분을 결정하고, 제 2 열화 모델을 이용하여 상기 슈팅 영역의 고주파 성분을 결정하여, 상기 입력 영상의 고주파 성분을 추정하는 단계; 상기 입력 영상의 에지 방향에 평행하게 에지 영역의 에지 영역의 고주파 성분을 안정화하기 위한 에지 블러 커널을 결정하는 단계; 상기 에지 블러 커널을 이용하여 상기 에지 영역의 상기 에지 방향을 고려하여 상기 입력 영상의 고주파 성분을 안정화하는 단계; 및 상기 입력 영상에 상기 안정화된 고주파 성분을 합성하여 복원 영상을 생성하는 단계를 포함한다.
본 발명의 일 실시예에 따른 고해상도 영상 생성 방법은, 둘 이상의 입력 영상들을 수신하는 단계; 상기 입력 영상들마다, 슈팅 현상이 발생하는 고주파 영역인 슈팅 영역을 결정하는 단계; 상기 입력 영상들마다, 제 1 열화 모델을 이용하여 상기 슈팅 영역을 제외한 영역의 고주파 성분을 결정하고, 제 2 열화 모델을 이용하여 상기 슈팅 영역의 고주파 성분을 결정하는 단계; 상기 초기 복원 영상의 에지 방향에 평행하게 에지 영역의 고주파 성분을 안정화하기 위한 에지 블러 커널을 결정하는 단계; 상기 에지 블러 커널을 이용하여 상기 입력 영상들마다 고주파 성분을 안정화하는 단계; 및 상기 입력 영상들마다 상기 안정화된 고주파 성분을 이용하여, 상기 초기 복원 영상에 대한 고해상도 영상을 생성하는 단계를 포함한다.
본 발명의 일 실시예에 따른 영상 고주파 정보 추정 장치는, 입력 영상 중에서, 슈팅 현상이 발생하는 고주파 영역인 슈팅 영역을 결정하는 슈팅 영역 결정부; 제 1 열화 모델을 이용하여, 상기 입력 영상 중에서 상기 슈팅 영역을 제외한 영역의 고주파 성분을 결정하는 슈팅 영역 고주파 성분 결정부; 및 제 2 열화 모델을 이용하여, 상기 슈팅 영역의 고주파 성분을 결정하는 비슈팅 영역 고주파 성분 결정부를 포함한다.
본 발명의 일 실시예에 따른 영상 고주파 정보 안정화 장치는, 입력 영상의 방향성을 추정하여 에지 영역 및 에지 방향을 검출하는 에지 검출부; 상기 에지 방향에 평행하게 상기 에지 영역의 고주파 성분을 안정화하기 위한 에지 블러 커널을 결정하는 에지 블러 커널 결정부; 및 상기 에지 블러 커널을 이용하여 상기 입력 영상의 고주파 성분을 안정화하는 고주파 성분 안정화부를 포함한다.
본 발명의 일 실시예에 따른 영상 고주파 정보 추정 안정화 장치는, 입력 영상 중에서, 슈팅 현상이 발생하는 고주파 영역인 슈팅 영역을 결정하는 슈팅 영역 결정부; 제 1 열화 모델을 이용하여 상기 입력 영상 중에서 상기 슈팅 영역을 제외한 영역의 고주파 성분을 결정하고, 제 2 열화 모델을 이용하여 상기 슈팅 영역의 고주파 성분을 결정하여, 상기 입력 영상의 고주파 성분을 추정하는 고주파 성분 추정부; 상기 입력 영상의 에지 방향에 평행하게 고주파 성분을 안정화하기 위한 에지 블러 커널을 결정하는 에지 블러 커널 결정부; 상기 에지 블러 커널을 이용하여 상기 입력 영상의 고주파 성분을 안정화하는 고주파 성분 안정화부; 및 상기 입력 영상에 상기 안정화된 고주파 성분을 합성하여 복원 영상을 생성하는 복원 영상 생성부를 포함한다.
본 발명의 일 실시예에 따른 영상 고해상도 정보 추정 안정화 장치는, 둘 이상의 입력 영상들을 수신하는 영상 입력부; 입력 영상 중에서, 슈팅 현상이 발생하는 고주파 영역인 슈팅 영역을 결정하는 슈팅 영역 결정부; 제 1 열화 모델을 이용하여 상기 입력 영상 중에서 상기 슈팅 영역을 제외한 영역의 고주파 성분을 결정하고, 제 2 열화 모델을 이용하여 상기 슈팅 영역의 고주파 성분을 결정하여, 상기 입력 영상의 고주파 성분을 추정하는 고주파 성분 추정부; 상기 초기 복원 영상의 에지 방향에 평행하게 고주파 성분을 안정화하기 위한 에지 블러 커널을 결정하는 에지 블러 커널 결정부; 상기 에지 블러 커널을 이용하여 상기 입력 영상들마다 고주파 성분을 안정화하는 고주파 성분 안정화부; 및 상기 입력 영상들마다 안정화된 고주파 성분을 상기 입력 영상에 합성하여, 상기 입력 영상의 고해상도 영상을 생성하는 고해상도 영상 생성부를 포함한다.
본 발명은, 일 실시예에 따른 영상 고주파 정보 추정 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
본 발명은, 일 실시예에 따른 영상 고주파 정보 안정화 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다
본 발명은, 일 실시예에 따른 영상 고주파 정보 추정 및 안정화 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
본 발명은, 일 실시예에 따른 고해상도 영상 생성 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
도 1 은 일 실시예에 따른 영상 고주파 정보 추정 장치의 블록도를 도시한다.
도 2 는 일 실시예에 따른 영상 고주파 정보 안정화 장치의 블록도를 도시한다.
도 3 은 일 실시예에 따른 영상 고주파 정보 추정 안정화 장치의 블록도를 도시한다.
도 4 는 일 실시예에 따른 고해상도 영상 생성 장치의 블록도를 도시한다.
도 5 는 반복법을 이용한 영상 복원의 개요도를 도시한다.
도 6 은 일 실시예에 따른 영상 고주파 정보 추정 안정화 장치의 반복법을 이용한 동작 개요도를 도시한다.
도 7 은 일 실시예에 따른 고해상도 영상 생성 장치의 반복법을 이용한 동작 개요도를 도시한다.
도 8 은 영상 고주파 성분 추정 과정에서 발생할 수 있는 슈팅 현상을 도시한다.
도 9 는 일 실시예에 따라 슈팅 현상의 발생 영역 및 슈팅 현상을 고려하여 결정된 열화 모델의 일례를 도시한다.
도 10 은 일 실시예에 따라 에지 영역 및 에지 방향을 고려하여 결정된 블러 커널의 일례를 도시한다.
도 11 은 일 실시예에 따른 영상 고주파 정보 추정 방법의 흐름도를 도시한다.
도 12 는 일 실시예에 따른 영상 고주파 정보 안정화 방법의 흐름도를 도시한다.
도 13 은 일 실시예에 따른 영상 고주파 정보 추정 안정화 방법의 흐름도를 도시한다.
도 14 는 일 실시예에 따른 고해상도 영상 생성 방법의 흐름도를 도시한다.
이하, 도 1 내지 도 14를 참조하여, 본 발명의 일 실시예에 따라 영상 고주파 성분 복원 과정에서 발생할 수 있는 슈팅(Shooting) 현상을 최소화하기 위하여, 슈팅 영역에 적응적인 방식으로 입력 영상의 고주파 성분을 추정하는 기술을 개시한다.
또한, 본 발명의 일 실시예에 따라 영상 고주파 성분 복원 과정에서 추정된 고주파 성분 중에서, 에지 방향을 고려하여 고주파 성분을 안정화하는 영상 고주파 성분 안정화 기술이 개시된다. 일 실시예에 따른 영상 고주파 성분 안정화 기술은, 추정된 고주파 성분 중에서 에지 방향의 수직 방향의 고주파 성분을 보존할 수 있다.
또한, 일 실시예에 따른 영상 고주파 성분 추정과 일 실시예에 따른 영상 고주파 성분 안정화를 접목한 영상 고주파 성분 추정 안정화 기술이 개시된다. 또한, 복수 개의 입력 영상을 이용하여 입력 영상마다 일 실시예에 따른 영상 고주파 성분 추정 안정화를 수행한 결과를 합성하여 고해상도 영상을 생성하는 기술이 개시된다.
도 1 은 일 실시예에 따른 영상 고주파 정보 추정 장치(100)의 블록도를 도시한다.
본 발명의 일 실시예에 따른 영상 고주파 정보 추정 장치(100)는, 슈팅 영역 결정부(110), 슈팅 영역 고주파 성분 결정부(130) 및 비 슈팅 영역 고주파 성분 결정부(130)를 포함한다.
일 실시예에 따른 슈팅 영역 결정부(110)는, 입력 영상 중에서, 슈팅 현상이 발생하는 고주파 영역이 슈팅 영역을 결정한다. 일 실시예에 따른 슈팅 영역 고주파 성분 결정부(120)는, 입력 영상 중에서 슈팅 영역을 제외한 나머지 영역의 고주파 성분을 결정한다. 일 실시예에 따른 비 슈팅 영역 고주파 성분 결정부(130)는, 입력 영상 중에서 슈팅 영역의 고주파 성분을 결정한다.
일 실시예에 따른 영상 고주파 정보 추정 장치(100)는, 입력 영상의 고주파 성분을 추정하기 위해 열화 모델을 이용한다.
열화 모델이란, 영상의 고주파 성분을 훼손하는 블러링(blurring) 과정을 수식화한 형태이다. 열화 모델을 이용하여 원본 영상의 열화된 영상이 예측될 수 있다. 예를 들어, 열화 모델은, 영상 획득 과정에서 영상이 열화되는 과정을 수식화한 PSF(Point Spread Function)일 수 있다. 열화된 영상에 대해 PSF의 역함수가 적용되면 영상의 고주파 성분이 복원될 수 있다.
열화 모델에 의해 원본 영상에 블러 현상을 추가한 블러 영상은, 고주파 성분을 일부분 이상 잃을 수 있다. 일 실시예에 따른 영상 고주파 정보 추정 장치(100)는, 실제로 열화된 입력 영상과 열화 모델에 의해 열화된 블러 영상 간의 차이를 입력 영상의 고주파 성분이라고 결정함으로써, 입력 영상의 고주파 성분을 추정할 수 있다.
일 실시예에 따른 영상 고주파 정보 추정 장치(100)는, 고주파 성분에서 발생할 수 있는 슈팅 현상을 예상하고 최소화하기 위해, 슈팅 현상이 발생할 수 있는 영역을 고려하여 영상의 고주파 성분을 추정하고자 한다. 따라서, 일 실시예에 따른 영상 고주파 정보 추정 장치(100)는, 입력 영상 중에서 슈팅 영역과 비 슈팅 영역을 구별하여, 영역별로 고주파 성분을 결정할 수 있다. 이를 위해, 일 실시예에 따른 영상 고주파 정보 추정 장치(100)는, 슈팅 영역과 비 슈팅 영역별로 다른 열화 모델을 이용할 수 있다.
일 실시예에 따른 영상 고주파 정보 추정 장치(100)는, 실제 열화된 입력 영상과 이전 복원 영상을 이용하여 영상 고주파 성분을 추정할 수 있다. 초기 복원 영상은, 원본 영상이 열화 모델에 의해 열화된 블러 영상과 입력 영상을 기초로 복원된 영상일 수도 있다.
이전 복원 영상이 열화 모델에 의해 열화된 블러 영상과 실제 열화된 입력 영상 간의 차이 성분이, 현재 복원 영상의 고주파 성분으로 추정될 수 있다. 이전 복원 영상에 현재 복원 영상의 고주파 성분이 합성됨으로써 현재 복원 영상이 결정될 수 있다.
일 실시예에 따른 슈팅 영역 결정부(110)는, 입력 영상의 고주파 성분을 역으로 추정하기 위한 제 1 열화 모델을 결정할 수 있다. 일 실시예에 따른 제 1 열화 모델은, 입력 영상 및 초기 복원 영상의 블러 현상을 제거하기 위한 기본 열화 모델일 수 있다.
일 실시예에 따른 슈팅 영역 결정부(110)는, 제 1 열화 모델을 이용하여 입력 영상에 관한 초기 고주파 성분을 추정할 수 있다. 추정된 초기 고주파 성분은 입력 영상 또는 초기 복원 영상의 고주파 성분일 수 있다. 따라서 슈팅 영역 결정부(110)는, 입력 영상에 제 1 열화 모델을 적용함으로써 입력 영상의 초기 복원 영상을 생성할 수 있다.
슈팅 영역 결정부(110)는, 초기 복원 영상 중에서 슈팅 현상이 발생한 영역을 검출하여 슈팅 영역을 결정할 수 있다.
슈팅 현상은 영상의 고주파 성분이 과하게 복원되는 경우에 화소값이 지나치게 커지거나 작아지는 현상을 나타낸다. 영상에서 슈팅 현상이 발생하면 링잉 아티팩트(Ringing Artifact)가 발생할 수 있다. 일 실시예에 따른 슈팅 영역 결정부(110)는, 슈팅 현상이 억제될 필요성이 있는 영역인 슈팅 영역을 결정할 수 있다.
예를 들어 텍스처 영역 또는 노이즈 영역과 같이 넓은 대역폭의 비방향성 고주파 성분이 많은 영역에서는, 슈팅 현상 또는 링잉 아티팩트가 크게 눈에 띄지 않을 수 있다. 일정한 방향으로의 방향성이 뚜렷한 고주파 성분의 에지 영역은 고주파 성분이 과하게 복원되어 슈팅 현상 및 링잉 아티팩트가 발생한다면, 에지 영역이 정확하게 복원될 수 없다.
슈팅 영역 결정부(110)는, 슈팅 현상이 발생할 수 있는 영역을 예상하기 위해, 제 1 열화 모델을 이용하여 추정된 고주파 성분을 이용하여 생성된 초기 복원 영상을 이용할 수 있다.
슈팅 영역 결정부(110)는, 초기 복원 영상의 초기 복원 화소값들 중에서 현재 화소와 적어도 하나의 주변 화소들을 비교할 수 있다. 현재 화소의 초기 복원값이 주변 화소의 초기 복원값들의 범위를 벗어나면, 현재 화소가 슈팅 현상이 발생될 영역의 화소로 예측될 수 있다.
일 실시예에 따른 슈팅 영역 고주파 성분 결정부(120)는, 일 실시예에 따른 슈팅 영역 결정부(110)에 의해 결정된 슈팅 영역을 위한 제 2 열화 모델을 결정한다. 슈팅 영역 고주파 성분 결정부(120)는, 슈팅 현상이 발생할 수 있는 영역에서 슈팅 현상을 억제하기 위한 제 2 열화 모델을 결정할 수 있다.
예를 들어 슈팅 영역 고주파 성분 결정부(120)는, 기본 열화 모델보다 블러링 대상 영역의 대역폭이 좁은 열화 모델을, 슈팅 영역을 위한 제 2 열화 모델로 결정할 수 있다.
일 실시예에 따른 비 슈팅 영역 고주파 성분 결정부(130)는, 제 1 열화 모델을 이용하여 입력 영상 중에서 슈팅 영역 이외의 나머지 영역에 대한 고주파 성분을 결정할 수 있다.
비 슈팅 영역 고주파 성분 결정부(130)는, 초기 복원 영상 중에서 슈팅 영역의 화소에 대하여 제 1 열화 모델에 따른 블러링을 수행하여 열화된 화소를 획득할 수 있다. 비 슈팅 영역 고주파 성분 결정부(130)는, 제 1 열화 모델에 의해 열화된 화소와 해당 영역의 입력 영상 화소 간의 차이 성분을, 비 슈팅 영역에 대한 고주파 성분으로 결정할 수 있다.
유사한 방식으로 슈팅 영역 고주파 성분 결정부(120)도, 초기 복원 영상 중에서 슈팅 영역에 대해서, 제 2 열화 모델을 이용하여 열화된 화소와 해당 영역의 입력 영상 화소 간의 차이 성분을, 슈팅 영역에 대한 고주파 성분으로 결정할 수 있다.
따라서, 슈팅 영역에 대해서는, 제 2 열화 모델을 이용하여 슈팅 현상을 억제하며 고주파 성분이 추정될 수 있으며, 나머지 영역에 대해서는 기본 열화 모델인 제 1 열화 모델을 이용하여 훼손된 고주파 성분이 추정될 수 있다.
일 실시예에 따른 영상 고주파 정보 추정 장치(100)는, 반복법을 따라 연산 주기를 반복하면서, 현재 주기의 복원 영상을 결정하는 데 이전 주기에 결정된 복원 영상을 사용할 수 있다. 예를 들어 영상 고주파 정보 추정 장치(100)는, 이전 주기에 결정된 복원 영상에 현재 주기에 추정된 고주파 성분을 추가함으로써 현재 주기의 복원 영상을 결정할 수 있다. 이 경우, 영상 고주파 정보 추정 장치(100)는, 열화 모델이 적용된 블러 영상을 모델링하기 위해 이전 연산 주기에서 생성된 이전 복원 영상에 열화 모델을 적용할 수 있다.
도 2 는 일 실시예에 따른 영상 고주파 정보 안정화 장치(200)의 블록도를 도시한다.
일 실시예에 따른 고주파 정보 안정화 장치(200)는, 입력 영상의 고주파 성분을 안정화하는 동작을 수행한다. 특히 고주파 정보 안정화 장치(200)는, 블러 현상을 제거하기 위한 영상 처리 과정에서, 이전 단계에서 추정된 고주파 성분 중에서 에지 방향과 수직 방향인 고주파 성분이 훼손되는 현상을 방지하고자 한다. 이를 위해 일 실시예에 따른 고주파 정보 안정화 장치(200)는, 입력 영상 중에서 에지 방향을 고려하여 고주파 성분을 안정화한다.
일 실시예에 따른 고주파 정보 안정화 장치(200)는, 에지 검출부(210), 에지 블러 커널 결정부(220) 및 고주파 성분 안정화부(230) 를 포함한다. 일 실시예에 따른 에지 검출부(210)는, 입력 영상의 방향성을 추정하여 에지 영역 및 에지 방향을 검출한다. 일 실시예에 따른 에지 블러 커널 결정부(220)는, 입력 영상 중에서 검출된 에지 영역을 위한 에지 블러 커널을 결정한다. 일 실시예에 따른 에지 고주파 성분 안정화부(230)는, 에지 블러 커널 결정부(220)에 의해 결정된 에지 블러 커널을 이용하여 입력 영상의 고주파 성분을 안정화한다.
예를 들어 인접 화소들간의 2차원 공분산 관계는, 일렬로 배열된 화소들이 함께 증감하거나 반대로 증감하는지 여부를 나타낼 수 있다. 따라서, 에지 검출부(210)는, 입력 영상의 소정 영역의 화소들 간의 2차원 공분산 관계에 기초하여, 에지 영역과 에지 방향을 결정할 수도 있다.
일 실시예에 따른 에지 블러 커널 결정부(220)는, 에지 검출부(210)에서 검출된 에지 영역 및 에지 방향을 고려하여 에지 블러 커널을 결정할 수 있다.
일 실시예에 따른 블러 커널 결정부(220)는, 에지 검출부(210)에 의해 검출된 에지 방향에 평행하게 에지 영역의 고주파 성분을 안정화하기 위한 에지 블러 커널을 결정할 수 있다.
예를 들어, 에지 영역 이외의 나머지 영역을 위한 블러 커널은, 영상의 방향성을 고려하지 않는 비방향성 커널 또는 등방향 커널로 결정될 수 있다. 이에 반해 일 실시예에 따른 블러 커널 결정부(220)는, 에지 영역을 위한 에지 블러 커널로서, 커널이 적용되는 영역이 에지 방향에 평행하게 길고 에지 방향에 수직하는 방향으로 좁은 형태의 커널을 결정할 수 있다.
일 실시예에 따른 고주파 성분 안정화부(230)는, 에지 블러 커널 결정부(220)에 의해 결정된 에지 블러 커널을 이용하여, 입력 영상의 고주파 성분을 안정화한다.
에지 영역 및 에지 방향을 검출하기 위한 툴을 이용하여 에지 블러 커널이 결정될 수도 있다. 예를 들어, 에지 검출부(210)는, 영상의 수평 방향의 그래디언트(gradient) 성분 및 수직 방향의 그래디언트 성분을 포함하는 공분산 매트릭스를 이용하여, 영상의 에지 방향을 결정할 수 있다. 에지 블러 커널 결정부(220)는, 에지 검출부(210)에서 이용된 공분산 매트릭스에 기초하여, 에지 방향에 따라 평행하게 긴축을 가지며, 에지 방향에 수직하는 방향으로 짧은 축을 가지는 타원 형태로 에지 블러 커널을 결정할 수도 있다.
일 실시예에 따른 고주파 정보 안정화 장치(200)는, 영상의 고주파 성분을 안정화하기 위해, 초기 복원 영상에 대해 추정된 고주파 성분을 입력받고, 추정된 고주파 성분 중에서 에지의 고주파 성분에 대하여 에지 방향의 수직으로 발생할 수 있는 블러 현상을 제거하는 동작을 추가로 수행할 수 있다.
이 경우, 영상의 고주파 성분 추정 기법에서 이용된 열화 모델을 위한 기본 블러 커널을 에지 영역을 제외한 나머지 영역을 위한 블러 커널로 이용될 수도 있다. 하지만, 일 실시예에 따른 영상 고주파 성분 안정화 장치(200)는, 에지 영역에 대해서는, 열화 모델을 위한 기본 블러 커널과는 무관하게 에지 블러 커널을 결정할 수 있다. 즉, 에지 블러 커널 결정부(220)는, 열화 모델을 위한 기본 블러 커널과 독립적으로, 커널이 적용되는 영역이 에지 방향에 평행하게 길고 에지 방향에 수직하는 방향으로 좁은 형태로 에지 블러 커널을 결정할 수 있다.
따라서, 영상 고주파 정보 안정화 장치(200)는, 에지 블러 커널 결정부(220)에 의해 결정된 에지 방향을 고려한 에지 블러 커널을 이용하여, 에지 영역에서는 에지 방향을 가로지르는 방향으로 블러 커널이 적용되지 않도록 하고, 에지와 평행하는 방향으로 고주파 성분을 안정화하는 효과를 극대화하여, 에지 성분이 보존되도록 영상의 고주파 성분을 복원할 수 있다.
일 실시예에 따른 영상 고주파 정보 안정화 장치(200)는, 반복법을 따라 연산 주기를 반복하면서, 현재 주기의 복원 영상을 결정하는 데에 이전 주기에 결정된 복원 영상을 사용할 수 있다. 예를 들어 영상 고주파 정보 안정화 장치(200)는, 이전 주기의 복원 영상에, 현재 주기에 복원된 고주파 성분을 추가함으로써, 현재 주기의 복원 영상을 결정할 수 있다. 이 경우, 영상 고주파 정보 안정화 장치(200)는, 열화 모델이 적용된 블러 영상을 모델링하기 위해 이전 연산 주기에서 복원된 이전 복원 영상에 열화 모델을 적용할 수 있다.
도 3 은 일 실시예에 따른 영상 고주파 정보 추정 안정화 장치(300)의 블록도를 도시한다.
일 실시예에 따른 영상 고주파 정보 추정 안정화 장치(300)는, 슈팅 영역 결정부(310), 고주파 성분 추정부(320), 에지 블러 커널 결정부(330), 고주파 성분 안정화부(340) 및 복원 영상 생성부(350)를 포함한다.
일 실시예에 따른 영상 고주파 정보 추정 안정화 장치(300)는, 열화 모델을 이용하여 슈팅 영역과 일반 영역별로 고주파 성분을 추정하고, 추정된 고주파 성분에 대하여 영상의 고주파 성분을 안정화한다. 영상 고주파 정보 추정 안정화 장치(300)는, 복원된 고주파 성분을 초기 영상에 합성함으로써 영상의 고주파 성분이 복원된 복원 영상을 생성할 수 있다.
일 실시예에 따른 슈팅 영역 결정부(310)는, 입력 영상 또는 초기 복원 영상 중에서 슈팅 영역을 결정할 수 있다. 슈팅 영역 결정부(310)는, 영상 고주파 정보를 추정하기 위한 제 1 열화 모델을 결정하고, 제 1 열화 모델을 이용하여 결정된 영상 고주파 성분 중에서 슈팅 영역을 검출할 수 있다.
일 실시예에 따른 고주파 성분 추정부(320)는, 열화 모델 결정부(310)에 의해 결정된 제 1 열화 모델 및 제 2 열화 모델을 이용하여, 영상의 고주파 성분을 추정한다.
고주파 성분 추정부(320)는, 입력 영상 중에서 슈팅 영역 이외의 나머지 영역에 대해서는, 제 1 열화 모델을 적용하여 획득된 고주파 성분을, 고주파 성분으로서 결정할 수 있다. 고주파 성분 추정부(320)는, 슈팅 영역에 대하여 제 2 열화 모델을 적용하여 획득된 고주파 성분을, 슈팅 영역의 추정된 고주파 성분으로서 결정할 수 있다.
일 실시예에 따른 에지 블러 커널 결정부(330)는, 입력 영상의 에지 성분을 고려하여, 에지 방향에 평행하게 고주파 성분을 안정화하기 위한 에지 블러 커널을 결정한다.
일 실시예에 따른 기본 열화 모델에 기반한 블러 커널은, 에지 영역 이외의 영역에 적용될 수 있다. 이에 반해 일 실시예에 따른 에지 블러 커널은 에지 영역에 적용되는 커널이다.
일 실시예에 따른 에지 블러 커널 결정부(330)는, 제 1 열화 모델 또는 제 2 열화 모델을 이용하여 에지 영역 이외의 영역을 위한 블러 커널을 결정할 수도 있다. 예를 들어 블러 커널은 제 1 열화 모델 또는 제 2 열화 모델의 전치 행렬에 해당하는 커널로 결정될 수 있다.
하지만 에지 블러 커널 결정부(330)는, 에지 영역을 고려한 에지 블러 커널을, 열화 모델과는 독립적으로 결정할 수 있다. 에지 블러 커널 결정부(330)는, 입력 영상의 방향성을 추정하여 에지 영역 및 에지 방향을 검출하고, 추정된 고주파 성분에 대해 에지 방향에 수직한 방향으로 고주파 성분을 안정화하기 위한 에지 블러 커널을 결정할 수 있다.
예를 들어 일 실시예에 따른 에지 블러 커널은, 커널이 적용되는 영역이 에지 방향에 평행하게 길고 에지 방향에 수직하는 방향으로 짧은 형태의 커널로 결정될 수 있다.
일 실시에에 따른 고주파 성분 안정화부(340)는, 에지 블러 커널 결정부(330)에 의해 결정된 블러 커널 또는 에지 블러 커널을 이용하여, 입력 영상의 고주파 성분을 안정화한다. 일 실시예에 따른 에지 블러 커널을 이용하여 에지 영역의 고주파 성분의 훼손을 최소화하며 고주파 정보를 안정화할 수 있다. 또한 제 1 열화 모델 또는 제 2 열화 모델을 기초로 결정된 블러 커널을 이용하더라도 에지 영역 이외의 나머지 영역의 고주파 성분을 안정화할 수 있다.
일 실시예에 따른 복원 영상 생성부(350)는, 고주파 성분 안정화부(340)에 의해 복원된 고주파 성분을 초기 복원 영상에 합성하여 복원 영상을 생성한다.
따라서, 일 실시예에 따른 영상 고주파 정보 추정 안정화 장치(300)는, 슈팅 영역과 나머지 영역에 대한 열화 모델을 별도로 결정하여 슈팅 현상이 최소화된 고주파 성분을 추정하고, 에지 영역의 에지 방향을 고려한 에지 블러 커널을 이용하여 에지 성분이 보존되도록 고주파 성분을 안정화할 수 있다. 또한, 에지 영역과 그 이외의 영역에 대한 블러 커널이 별도로 결정되어 고주파 성분이 안정화될 수도 있다.
일 실시예에 따른 영상 고주파 정보 추정 안정화 장치(300)는, 일 실시예에 따라 비디오 등 영상 시퀀스의 입력 영상에 대해, 슈팅 현상이 최소화되도록 고주파 성분을 추정하면서, 추정된 고주파 성분 중에서 에지 성분이 보전되도록 고주파 성분을 안정화함으로써, 열화된 입력 영상의 고주파 성분을 복원할 수도 있다.
일 실시예에 따른 영상 고주파 정보 추정 안정화 장치(300)는, 반복법을 따라 연산 주기를 반복하면서 이전 주기에 결정된 복원 영상에, 현재 주기에 복원된 고주파 성분을 추가함으로써, 현재 주기의 복원 영상을 결정할 수 있다. 이 경우, 영상 고주파 정보 추정 복원 장치(300)는, 제 1 열화 모델 또는 제 2 열화 모델이 적용된 블러 영상을 모델링하기 위해 이전 연산 주기에서 복원된 이전 복원 영상에 열화 모델을 적용할 수 있다.
도 4 는 일 실시예에 따른 고해상도 영상 생성 장치(400)의 블록도를 도시한다.
일 실시예에 따른 고해상도 영상 생성 장치(400)는, 영상 입력부(410), 슈팅 영역 결정부(420), 고주파 성분 추정부(430), 에지 블러 커널 결정부(440), 고주파 성분 안정화부(450) 및 고해상도 영상 생성부(460)를 포함한다.
일 실시예에 따른 고해상도 영상 생성 장치(400)는, 열화 모델을 결정하고, 둘 이상의 입력 영상들마다 열화 모델을 이용하여 고주파 성분을 추정한다. 또한, 일 실시예에 따른 고해상도 영상 생성 장치(400)는, 입력 영상마다 추정된 고주파 성분에 대하여 영상의 고주파 성분을 복원하고, 복원된 입력 영상별 고주파 성분을 모두 초기 복원 영상에 합성함으로써 입력 영상의 고해상도 영상을 생성할 수 있다. 슈팅 영역 결정부(420), 고주파 성분 추정부(430), 에지 블러 커널 결정부(440) 및 고주파 성분 안정화부(450)는, 각각 입력 영상마다 해당 동작을 수행할 수 있다.
일 실시예에 따른 영상 입력부(410)는, 둘 이상의 입력 영상들을 수신한다.
일 실시예에 따른 슈팅 영역 결정부(420)는, 입력 영상마다 입력 영상에 대한 슈팅 영역을 결정할 수 있다. 슈팅 영역 결정부(420)는 입력 영상의 고주파 정보를 추정하기 위한 제 1 열화 모델을 결정하고, 제 1 열화 모델을 이용하여 생성된 초기 복원 영상 중에서 슈팅 영역을 결정할 수 있다. 일 실시예에 따른 고주파 성분 추정부(430)는, 열화 모델 결정부(420)에 의해 결정된 제 1 열화 모델 및 제 2 열화 모델을 이용하여, 입력 영상 별로 고주파 성분을 추정한다.
고주파 성분 추정부(430)는, 입력 영상마다 슈팅 영역 이외의 나머지 영역에 대해서, 제 1 열화 모델을 적용하여 획득된 고주파 성분을, 비 슈팅 영역에 대하여 추정된 고주파 성분으로 결정할 수 있다.
고주파 성분 추정부(430)는, 입력 영상마다 슈팅 영역을 위한 제 2 열화 모델을 결정할 수 있다. 고주파 성분 추정부(430)는, 입력 영상마다 슈팅 영역에 제 2 열화 모델을 적용하여 획득된 고주파 성분을, 슈팅 영역의 추정된 고주파 성분으로 결정할 수 있다.
일 실시예에 따른 에지 블러 커널 결정부(440)는, 입력 영상마다, 영상의 고주파 성분을 안정화하기 위한 블러 커널을 결정하기 위하여, 영상의 에지 방향에 평행하게 고주파 성분을 안정화하기 위한 에지 블러 커널을 결정한다. 일 실시예에 따른 에지 블러 커널 결정부(440)는, 에지 영역 이외의 영역을 위한 블러 커널은 제 1 열화 모델 또는 제 2 열화 모델을 이용하여 결정될 수 있다. 예를 들어 블러 커널은 제 1 열화 모델 또는 제 2 열화 모델을 위한 커널로 결정될 수 있다.
에지 블러 커널 결정부(440)는, 에지 블러 커널을, 열화 모델과는 독립적으로, 에지 방향을 고려하도록 결정할 수 있다. 에지 블러 커널 결정부(440)는, 현재 입력 영상의 방향성을 추정하여 에지 영역 및 에지 방향을 검출하고, 에지 방향에 평행하게 고주파 성분을 안정화하기 위한 에지 블러 커널을 결정할 수 있다.
예를 들어 에지 블러 커널은, 커널이 적용되는 영역이 에지 방향에 평행하게 길고 에지 방향에 수직하는 방향으로 좁은 형태의 커널로 결정될 수 있다.
일 실시에에 따른 고주파 성분 안정화부(450)는, 에지 블러 커널 결정부(440)에 의해 결정된 에지 블러 커널을 이용하여, 입력 영상마다 고주파 성분을 안정화한다. 입력 영상마다 에지 블러 커널을 이용하여 에지 영역의 고주파가 안정화될 수 있으며, 기본 블러 커널이 이용되는 경우에는 에지 영역 이외의 나머지 영역의 고주파 성분이 안정화될 수 있다.
즉, 열화 모델 결정부(420), 고주파 성분 추정부(430), 블러 커널 결정부(440) 및 고주파 성분 안정화부(450)를 통해, 슈팅 영역과 나머지 영역에 대하여 별도로 결정된 열화 모델을 이용하여, 슈팅 현상이 최소화된 고주파 성분이 추정되고, 에지 영역과 에지 방향을 고려하여 결정된 블러 커널을 이용하여 에지가 보존되도록 고주파 성분이 안정화될 수 있다.
일 실시예에 따른 고해상도 영상 생성부(460)는, 현재 입력 영상을 포함하여 둘 이상의 영상 별로 고주파 성분 안정화부(450)에 의해 안정화된 고주파 성분을 이용하여, 입력 영상들에 대한 고해상도 영상을 생성한다.
고해상도 영상 생성부(460)는, 고주파 성분이 안정화된 입력 영상들의 수에 기초하여, 입력 영상의 확대 영상을 생성할 수 있다. 고해상도 영상 생성부(460)는, 입력 영상 별로 안정화된 고주파 성분을 입력 영상들의 확대 영상에 합성하여, 영상의 고해상도 영상을 생성할 수 있다. 입력 영상마다 안정화된 고주파 성분들은, 입력 영상들의 확대 영상들의 위치 정합을 고려하여 합성될 수 있다.
일 실시예에 따른 고해상도 영상 생성 장치(400)는, 반복법을 따라 연산 주기를 반복하면서 이전 주기에 결정된 복원 영상에, 현재 주기에 복원된 고주파 성분을 추가함으로써, 현재 주기의 복원 영상을 결정할 수 있다. 이 경우, 고해상도 영상 생성 장치(400)는 열화 모델이 적용된 블러 영상을 모델링하기 위해 이전 연산 주기에서 복원된 이전 복원 영상에 열화 모델을 적용할 수 있다.
도 5 는 반복법을 이용한 영상 복원 시스템(500)의 개요도를 도시한다.
일반적인 영상 복원 시스템(500)은, 원본 영상이 열화되고 잡음이 추가된 입력 영상을 위해 고주파 성분을 복원한다. 입력 영상의 모델링은 수학식 1과 같다.
Figure 112011045244500-pat00001
여기서 y는 입력 영상, x는 원본 영상, H가 열화 모델을 나타내는 PSF이며, n은 잡음을 나타낸다.
영상 복원 시스템(500)은, 수학식 1로부터 원본 영상 x를 결정하기 위해, 반복법을 이용한다. 영상의 고주파 추정 과정 및 고주파 안정화 과정을 통해 획득한 고주파 성분이 반복적으로 영상에 합성됨으로써, 원본 영상의 고주파 성분이 복원된 출력 영상(530)이 결정된다.
즉, 반복법에 이용한 영상 복원을 위해 출력 영상(530)은 지연기(560)를 통해 다음 연산을 위한 중간 복원 영상(620)이 되어, 입력될 수 있다. 다시, 입력 영상(510)과 중간 복원 영상(520)을 이용하여 획득된 고주파 성분을 중간 복원 영상(520)에 추가(570)한 결과, 출력 영상(530)이 생성된다.
반복법에 따라 원본 영상 x에 대한 복원 영상 xk, xk +1을 결정하는 동작은 아래 수학식 2로 표현될 수 있다.
Figure 112011045244500-pat00002
k는 반복 단계를 나타내므로, xk 는 중간 복원 영상(520)는, xk +1은 출력될 복원 영상(530)을 나타낸다. β는 반복법의 단계값을 나타낸다. 여기서 (y-Hxk) 성분이 영상의 고주파 추정 단계에 상응하고, HT가 영상의 고주파 안정화 단계에 상응한다.
열화 모델의 전치 행렬(HT)을 추정된 고주파 성분 (y-Hxk)에 적용한 결과(HT(y-Hxk))가 중간 복원 영상 xk (520)에 합산됨으로써, 출력될 복원 영상 xk +1 (530)이 결정될 수 있다.
이 때, 고주파 추정 및 안정화부(550)는 입력 영상(510)의 열화 모델 H을 기반으로 결정된 블러 함수(540)를 기반으로 입력 영상(510)의 고주파 성분을 추정하고, 열화 모델 H을 이용한 고주파 성분을 안정화하므로, 고주파 성분의 추정 및 안정화 과정에서 열화 모델 H가 공통적으로 이용된다.
도 6 은 일 실시예에 따른 영상 고주파 정보 추정 안정화 장치의 반복법을 이용한 동작 개요도를 도시한다.
영상 고주파 정보 추정 안정화 장치(600)는, 영상 고주파 정보 추정 안정화 장치(300)에 반복법을 적용하여, 출력될 복원 영상(630)이 지연기(680)를 통해 중간 복원 영상(620)이 되어, 입력 영상(610)의 고주파 추정 및 고주파 복원 과정이 수행될 수 있다.
일 실시예에 따른 영상 고주파 정보 추정 안정화 장치(600)가 반복법에 따라 복원 영상을 결정하는 동작은, 아래 수학식 3와 같이 표현될 수 있다.
[수학식 3]
xk +1 = xk + βHT edge(y-Hoptxk)
수학식 3에서, Hopt는 일 실시예에 따라 영역별로 결정되는 슈팅 현상을 억제하도록 결정된 제 2 열화 모델 및 제 1 열화 모델을 포함한다. HT edge는 일 실시예에 따라 영역별로 결정되는 에지 영역을 위한 에지 블러 커널 및 일반 영역을 위한 블러 커널을 포함한다. HT edge(y-Hoptxk)가 입력 영상에 대해 복원될 고주파 성분을 나타낸다. 반복법에 따라, k회차에 결정된 복원 영상 xk에 고주파 성분 HT edge(y-Hoptxk)이 다시 합산됨으로써, (k+1)회차의 복원 영상 xk +1이 결정될 수 있다.
고주파 추정부(650)는, 입력 영상(610) 또는 중간 복원 영상(620)을 기초로 링잉 아티팩트에 적응적인 블러 함수(640)를 결정할 수 있다. 일 실시예에 따른 링잉 아티팩트에 적응적인 블러 함수(640)는 일 실시예에 따른 슈팅 영역을 위한 제 2 열화 모델에 상응할 수 있다.
일 실시예에 따른 링잉 아티팩트에 적응적인 블러 함수(640)는, 링잉 아티팩트가 예상되는 영역과 나머지 영역에 대해 별개로 결정된 블러 함수를 포함할 수 있다. 링잉 아티팩트에 적응적인 블러 함수(640)를 이용하여, 링잉 아티팩트가 예상되는 영역과 나머지 영역에 대한 고주파 성분이 추정될 수 있다.
고주파 안정화부(670)는, 입력 영상(610) 또는 중간 복원 영상(620)을 기초로 에지 적응적인 블러 함수(660)를 결정할 수 있다. 일 실시예에 따른 에지 적응적인 블러 함수(660)의 전치 행렬에 해당하는 함수, 일 실시예에 따라 에지 영역을 위하여 에지 방향을 고려한 블러 커널에 상응할 수 있다.
일 실시예에 따른 에지 적응적인 블러 함수(660)는, 에지 영역과 나머지 영역에 대해 별개로 결정된 블러 함수를 포함할 수 있다. 에지 적응적인 블러 함수(660)의 전치 행렬에 해당하는 함수를 이용하여 에지 영역과 나머지 영역에 대한 고주파 성분이 안정화될 수 있다.
영상 고주파 정보 추정 안정화 장치(600)이 반복법에 이용하여 영상 복원을 수행하기 위해, 출력 영상(630)은 지연기(680)를 통해 다음 연산을 위한 중간 복원 영상(620)이 될 수 있다. 다시, 입력 영상(610)과 중간 복원 영상(620)은, 고주파 추정부(650)를 거쳐 링잉 아티팩트를 고려하여 분류된 영역별로 고주파 성분이 추정되고, 또한 고주파 안정화부(670)를 거쳐 에지 성분을 고려하여 분류된 영역별로 고주파 성분이 복원된 결과, 출력 영상(630)이 생성될 수 있다.
도 7 은 일 실시예에 따른 고해상도 영상 생성 장치의 반복법을 이용한 동작 개요도를 도시한다.
고해상도 영상 생성 장치(700)는, 고해상도 영상 생성 장치(400)의 다른 실시예일 수 있다. 고해상도 영상 생성 장치(400)는 임의의 개수의 둘 이상의 입력 영상들을 이용하여 고해상도 영상을 생성할 수 있지만, 설명의 편의를 위해 고해상도 영상 생성 장치(700)가 3개의 입력 영상들(702, 704, 706)을 이용하여 고해상도 영상(790)을 출력하는 실시예가 상술된다.
입력 영상들(702, 704, 706)마다, 링잉 아티팩트를 고려하여 분류된 영역별로 고주파 성분이 추정되고, 에지 성분을 고려하여 분류된 영역별로 고주파 성분이 안정화될 수 있다.
즉, 이전에 복원된 중간 영상(710)을 이용하여 링잉 아티팩트 적응적 블러 함수(710)와 에지 적응적 블러 함수(720)가 결정될 수 있다. 고주파 추정부(715)는, 링잉 아티팩트 적응적 블러 함수(710)을 이용하여, 제 1 입력 영상(702)을 링잉 아티팩트 영역과 나머지 영역으로 분류하고, 영역별로 제 1 고주파 성분을 추정할 수 있다. 고주파 안정화부(725)는, 에지 적응적 블러함수(720)를 이용하여, 제 1 입력 영상(702)을 에지 영역과 나머지 영역으로 분류하고, 영역별로 제 1 고주파 성분을 안정화할 수 있다.
유사한 방식으로, 고주파 추정부(715)는, 제 2 입력 영상(704)에 대하여, 링잉 아티팩트 적응적 블러 함수(710)을 이용하여, 링잉 아티팩트 영역과 나머지 영역의 영역별로 제 2 고주파 성분을 추정할 수 있다. 고주파 안정화부(725)는, 에지 적응적 블러함수(720)를 이용하여, 제 2 입력 영상(704)에 대하여, 에지 영역과 나머지 영역의 영역별로 제 2 고주파 성분을 복원할 수 있다.
마찬가지로, 고주파 추정부(715)는, 제 3 입력 영상(706)에 대하여, 링잉 아티팩트 적응적 블러 함수(710)을 이용하여, 링잉 아티팩트 영역과 나머지 영역의 영역별로 제 3 고주파 성분을 추정할 수 있다. 고주파 안정화부(725)는, 에지 적응적 블러함수(720)를 이용하여, 제 3 입력 영상(706)에 대하여, 에지 영역과 나머지 영역의 영역별로 제 3 고주파 성분을 안정화할 수 있다.
고해상도 영상 생성 장치(700)는, 제 1, 2, 3 입력 영상(702, 704, 706)별로 복원된 제 1, 2, 3 고주파 성분을 중간 복원 영상(710)과 합성(770)하여, 출력될 고해상도 영상(790)을 구성할 수 있다.
고해상도 영상 생성 장치(700)도, 반복법을 이용하여 영상의 고주파 성분을 복원하고 고해상도 영상을 생성하기 위해, 지연기(780)를 통해 현재 생성된 고해상도 영상(790)을 지연시켜, 다음 고해상도 영상을 생성하기 위한 중간 영상(710)으로 이용할 수 있다.
또한, 고주파 추정부(715) 및 고주파 안정화부(725)에 의해 추정되고 안정화된 제 1, 2, 3 고주파 성분은 제 1, 2, 3 입력 영상(702, 704, 706)의 확대 영상의 부화소 단위의 고주파 성분일 수 있다. 따라서 고해상도 영상 생성 장치(700)는 제 1, 2, 3 입력 영상(702, 704, 706)에 비해 확대된 사이즈의 고해상도 영상을 생성할 수 있다.
일 실시예에 따른 고해상도 영생 생성 장치(700)가 반복법에 따라 복원 영상을 결정하는 동작은, 아래 수학식 4와 같이 표현될 수 있다.
[수학식 4]
xk +1 = xk + β∑iWT edge ,i(yi-Wopt , ixk)
수학식 4에서, Wopt ,i는 일 실시예에 따라 슈팅 현상을 억제하도록 결정된 제 2 열화 모델과 현재 입력 영상과 다른 입력 영상 간의 위치 정합 관계를 포함하는, 확장된 형태의 열화 모델을 나타낸다. WT edge ,i는 일 실시예에 따라 에지 방향을 고려하여 블러 현상을 제거하면서 고주파 성분을 안정화하도록 결정된 고주파 안정화 커널과 현재 입력 영상과 다른 입력 영상 간의 위치 정합 관계가 포함된, 보다 확장된 형태의 고주파 안정화 모델을 나타낸다.
WT edge ,i(yi-Wopt , ixk)가 입력 영상별로 복원될 고주파 성분을 나타낸다. i가 입력 영상의 개수를 나타내므로, 수학식 4에 따르면 입력 영상마다 고주파 성분을 추정하고, 추정된 고주파 성분을 안정화하면서 에지 부분의 고주파 성분은 에지 방향을 고려하여 안정화하여, 입력 영상별로 결정된 안정화된 고주파 성분을 현재 픽셀값에 합산함으로써, 고해상도 영상을 결정할 수 있다.
또한 반복법에 따라, k회차에 결정된 고해상도 영상 xk에 입력 영상별로 고주파 성분 WT edge ,i(yi-Wopt , ixk)이 다시 합산됨으로써, (k+1)회차의 고해상도 영상 xk +1이 결정될 수 있다.
따라서 다수의 입력 영상들에 대해, 입력 영상별로, 일 실시예에 따라 링잉 아티팩트가 최소화되도록 고주파 성분을 추정하고, 에지 방향에 따라 고주파 성분을 안정화하고, 입력 영상별로 결정된 안정화된 고주파 성분을 입력 영상들의 위치 정합 관계에 따라 합성함으로써, 고해상도 영상이 획득될 수 있다.
도 8 은 고주파 성분의 추정 과정에서 슈팅 현상의 발생이 예상되는 영역을 도시한다.
그래프(800)은, 실제 열화된 입력 영상 y(850)와 제 1 열화 모델을 통하여 예측된 블러 영상 Hx(860) 중에서 연속하는 화소들의 화소값을 도시한다.
영상 복원 기법은, 열화 모델링에 따른 블러를 모든 영역에서 동일하게 적용하여 고주파 성분을 구한다.
열화된 입력 영상 y(850)와 제 1 열화 모델을 통하여 예측된 블러 영상 Hx(860)과의 차이가, 입력 영상 y 및 원본 영상 x의 고주파 성분으로 추정된다. 이렇게 열화 모델을 기반으로 추정된 고주파 성분 값은, 입력 영상 y 에서 훼손된 고주파 성분 및 에지 성분을 복원하기 위해 이용될 수 있다.
열화 모델을 기반으로 추정된 고주파 성분으로 인해, 고주파 영역(830)은 디테일 정보가 향상될 수 있다. 하지만 복원된 에지의 경계 영역(810, 830)에서, 추정된 고주파 성분이 과도한 경우 슈팅 현상이 발생하여 링잉 아티펙트가 발생 할 수도 있다.
도 9 는 일 실시예에 따라 슈팅 효과의 발생 영역 및 슈팅 효과를 고려하여 결정된 열화 모델의 일례를 도시한다.
일 실시예에 따른 영상 고주파 정보 추정 장치(100), 일 실시예에 따른 영상 고주파 정보 추정 안정화 장치(300) 및 일 실시예에 따른 고해상도 영상 생성 장치(400)는, 일 실시예에 따른 고주파 성분 추정 기법에 기초하여, 고주파 성분의 슈팅 현상으로 인한 링잉 아티팩트를 영역별로 억제하기 위해, 슈팅 현상이 발생할 것으로 예상되는 영역과 나머지 영역을 구별하여, 영역별로 다른 열화 모델을 이용하여 고주파 성분을 추정할 수 있다.
일 실시예에 따른 고주파 성분 추정 기법은, 슈팅 현상이 발생할 것으로 예상되는 영역은 슈팅 영역으로 결정될 수 있다. 일 실시예에 따라 검출된 슈팅 영역을 위한 제 2 열화 모델은, 나머지 영역을 위한 제 1 열화 모델에 비하여 고주파 성분이 과도하게 추정되지 않도록 설계될 수 있다.
그래프(900)는, 실제 열화된 입력 영상 y(950), 제 1 열화 모델을 이용하여 예측된 블러 영상 Hx(960) 중에서 에지 경계 영역에 위치한 연속하는 화소들의 화소값을 도시한다.
예를 들어, 입력 영상의 현재 화소(950)을 중심으로 왼쪽 화소들은 에지 경계 영역에 위치하며, 오른쪽 화소들은 에지 내부 영역에 위치한다. 일 실시예에 따른 영상 고주파 성분 추정 기법은, 에지 경계 영역을 슈팅 영역으로 결정할 수 있다.
따라서 일 실시예에 따른 영상 고주파 성분 추정 기법에 기초하여, 에지 경계 영역을 위한 열화 모델로서, 슈팅 현상을 억제하기 위한 제 2 열화 모델(910)이 결정되고, 에지 내부 영역을 위한 열화 모델로서, 고주파 성분을 효과적으로 추정하기 위한 제 1 열화 모델(930)이 결정될 수 있다.
일 실시예에 따른 영상 고주파 성분 추정 기법은, 제 2 열화 모델(910)을 이용하여 추정된 고주파 성분의 슈팅 현상을 억제하기 위하여, 제 1 열화 모델(930)의 열화 영역(930)에 비해, 제 2 열화 모델(910)의 열화 영역(950)이 협소하도록 결정할 수 있다.
일 실시예에 따른 고주파 성분 추정 방식은, 슈팅 영역과 나머지 영역을 구별하여 별개의 열화 모델을 결정하여 링잉 아티팩트를 억제하면서 디테일 정보가 향상되도록 고주파 성분을 추정할 수 있다. 따라서, 슈팅 영역을 결정하는 과정이 필요하다.
일 실시예에 따른 고주파 성분 추정 방식은, 제 1 열화 모델에 따라 고주파 성분이 복원된 초기 복원 영상의 화소값들을 이용하여, 슈팅 영역을 결정할 수 있다.
예를 들어, 일 실시예에 따른 고주파 성분 추정 방식은 초기 복원 영상의 현재 화소와 주변 화소들을 비교하여, 현재 화소값이 주변 화소값들의 범위를 벗어난다면, 현재 화소를 슈팅 현상이 발생할 수 있는 영역으로 예상할 수 있다.
주변 화소들의 화소값 범위의 최소값 xmin 및 최대값 xmax은 수학식 5에 따라 결정될 수 있다.
[수학식 5]
xmin = min{xn, mean{xn}}
xmax = max{xn, mean{xn}}
xmin 및 xmax는 각각 주변 화소 그룹의 최소값 및 최대값을 나타낸다. xn은 현재 화소의 소정 범위의 주변 화소들의 그룹의 화소값들을 나타낸다. 예를 들어, 현재 화소와 현재 화소의 상하좌우 방향에 위치한 4개의 주변 화소값들을 포함하는 주변 화소 그룹 중에서 xmin 및 xmax가 정의될 수도 있다.
mean{xn}은 주변 화소 그룹의 화소값들의 평균값, 즉 주변 화소 그룹의 평균 화소값을 나타낸다. 주변 화소 그룹의 화소값들 xn과 평균 화소값 mean{xn}을 비교함으로써, 잡음의 영향을 피할 수 있다.
수학식 6는, 일 실시예에 따른 고주파 성분 추정 방식에 기초하여, 영역별로 열화 모델을 결정하는 과정의 일례를 표현한다.
Figure 112011045244500-pat00003
수학식 6에서, xrest는 고주파 성분 추정을 통해 복원된 초기 복원 예측값이고, Hopt는 각각의 화소에서 결정된 열화 모델을 나타낸다. Hmodel은 일반 영역을 위한 제 1 열화 모델, Hsmall은 슈팅 영역을 위한 제 2 열화 모델을 나타낸다.
수학식 6에 따르면, 일 실시예에 따른 영상 고주파 성분 추정 방식은, 초기 복원 예측값인 xrest가 주변 화소 그룹의 화소값 범위인 xmin 및 xmax의 범위 내에 위치하면 슈팅 현상이 발생하지 않는 일반 영역의 화소로 결정하여, 현재 화소에 대한 열화 모델로서 제 1 열화 모델을 결정할 수 있다. 하지만 xrest가 xmin 및 xmax의 범위를 벗어나, xmin 이상이거나 xmax 이하라면, 슈팅 현상이 발생할 수 있는 영역으로 판단하여, 현재 화소를 위한 열화 모델로서 슈팅 영역을 위한 제 2 열화 모델을 결정할 수 있다.
일 실시예에 따른 영상 고주파 성분 추정 방식에 기초하여, 초기 복원 영상의 화소마다, 해당 영역에 따라 차별적으로 열화 모델이 결정되어, 초기 복원 영상에 대한 열화 모델이 Hopt로 지칭될 수 있다. 최종적으로 초기 복원 영상의 각각의 화소에서 추정된 고주파 성분은 y - Hoptx로 표현될 수 있다.
수학식 5 및 6 에 따른 슈팅 영역의 결정 방식 및 열화 모델 결정 방식은, 일 실시예에 따른 영상 고주파 성분 추정 방식을 구현하기 위한 다양한 실시예들 중에 하나일 뿐이므로, 본 발명의 원리는 이에 한정되지 않음을 유의하여야 한다.
도 10 은 일 실시예에 따라 에지 영역 및 에지 방향을 고려하여 결정된 블러 커널의 일례를 도시한다.
일 실시예에 따른 영상 고주파 성분 안정화 방식은, 입력 영상의 고주파 성분을 안정화시켜 추정된 고주파 성분의 발산을 방지하면서 최적의 고주파 성분을 결정할 수 있게 한다. 고주파 성분의 안정화 및 복원에 사용되는 블러 커널은, 블러링 커널의 전치행렬에 해당하는 함수가 된다.
블러링 커널은 일반적으로 등방향 커널이 이용된다. 이 경우, 블러 커널의 가중치는, 블러 현상이 제거될 대상인 현재 화소로부터의 거리에 따라 일정한 값으로 결정될 수 있다.
하지만, 현재 화소가 에지 경계에 위치한다면, 등방향 커널인 블러 커널에 의해 에지 방향에 평행하게 커널이 적용되고, 에지 방향의 수직 방향으로도 커널이 적용될 수 있다. 에지 방향의 수직 방향으로 커널이 적용되는 경우, 에지 영역에서 복원될 고주파 성분과 평탄 영영에서 복원될 고주파 성분의 평균값이 산출되어 현재 화소에 대해 복원될 고주파 성분으로 결정되므로, 결과적으로 에지 영역의 고주파 성분이 훼손될 수 있다.
따라서 일 실시예에 따른 영상 고주파 정보 안정화 장치(200), 일 실시예에 따른 영상 고주파 정보 추정 안정화 장치(300) 및 일 실시예에 따른 고해상도 영상 생성 장치(400)는, 일 실시예에 따른 영상 고주파 성분 안정화 기법에 기초하여, 에지 영역과 에지 영역이 아닌 일반 영역을 구별하여 블러 커널을 결정한다. 일 실시예에 따른 영상 고주파 성분 안정화 기법은, 에지 영역에서는 에지 방향을 고려한 블러 커널을 이용하여 에지 성분의 훼손을 방지하고, 일반 영역에서는 일반 블러 커널을 이용하여 안정화를 수행함으로써, 에지 성분을 보존하며 영상의 고주파 성분을 복원할 수 있다.
일 실시예에 따른 영상 고주파 성분 안정화 기법은, 에지 영역과 에지 방향을 검출하고, 에지 방향에 기초하여 블러 커널을 결정할 수 있다. 화소들의 공분산 관계에 기초하여 에지 영역과 에지 방향이 검출될 수 있다.
일 실시예에 따른 영상 고주파 성분 안정화 기법은, 화소들의 공분산 관계에 기초하여, 에지 영역 및 에지 방향을 검출하고 에지 방향을 고려하여 블러 커널을 결정하여, 영상 고주파 성분을 복원할 수 있다. 이하 수학식 7 내지 9를 참조하여 에지 영역을 위해 공분산 매트릭스를 이용한 블러 커널의 결정 방식이 예시된다.
Figure 112011045244500-pat00004
수학식 7에서 gh 및 gv 는 각각 영상의 수평 방향의 그래디언트 성분 및 수직 방향의 그래디언트 성분을 나타낸다. 따라서, 매트릭스 CM은 영상의 수직 방향 및 수평 방향의 2차원 그래디언트를 결정하기 위한 공분산 매트릭스이다.
Figure 112011045244500-pat00005
Figure 112011045244500-pat00006
수학식 8 및 9에 따르면, 현재 픽셀 (x, y)에 대해 공분산 매트릭스를 적용하여 타원 방정식이 결정될 수 있다. 일 실시예에 따른 영상 고주파 성분 복원 기법은, 공분산 매트릭스를 이용하여 결정된 타원 방정식을 이용하여 블러 커널(1000)을 결정할 수 있다.
공분산 매트릭스 CM의 성분 A, B, C, D가 타원형 커널(1000)의 장축(1010)의 길이 a와 단축(1020)의 길이 b를 결정할 수 있다. 즉, 현재 화소의 공분산 관계에 기초하여, 수학식 9의 타원 방정식에 따른 블러 커널(1000)은, 장축(1010)과 단축(1020)의 길이가 유사한 등방향 커널이 될 수도 있으며, 장축(1010)이 단축(1020)에 비해 긴 비등방향 커널이 될 수도 있다.
에지 경계 영상(1030)은 현재 화소(1050)가 에지 경계 상에 위치하는 경우를 도시한다. 현재 화소(1050)에 대한 블러 커널이 공분산 매트릭스 CM를 이용하여 결정되는 경우, 현재 화소(1050)와 주변 화소들 간의 공분산 관계에 기초하여, 타원의 장축이 에지 방향(1040)에 평행하고, 타원의 단축이 에지 방향(1040)에 수직하는 타원형태의 에지 블러 커널(1060)이 형성될 수 있다.
이상 수학식 8 및 9를 참조하여 기술한 공분산 매트릭스 및 타원 방정식에 따라 결정되는 블러 커널(1000)은 일 실시예에 따른 영상 고주파 성분 추정 복원 방식을 구현하기 위한 다양한 실시예들 중에 하나일 뿐이므로, 본 발명의 원리는 이에 한정되지 않음을 유의하여야 한다.
또한, 일 실시예에 따른 영상 고주파 정보 추정 안정화 장치(300) 및 일 실시예에 따른 고해상도 영상 생성 장치(400)는, 일 실시예에 따른 영상 고주파 성분 추정 기법에 기초하여 추정된 고주파 성분에 대해 블러 커널을 적용하여 영상 고주파 성분을 복원할 수 있다.
일반적으로 영상 고주파 성분의 추정에 기초한 영상 복원 방식에서, 고주파 성분의 추정을 위해 이용된 열화 모델의 전치 행렬에 해당하는 커널을, 추정된 고주파 성분에 적용함으로써, 영상의 고주파 성분이 복원된다.
아래 수학식 10은, 고주파 성분 복원을 위한 블러 커널 Hmodel T로서, 고주파 성분의 추정을 위한 열화 모델 Hopt의 전치 행렬을 이용하여, 고주파 성분이 복원될 수 있다.
[수학식 10]
Hmodel T(y - Hopt xk)
즉, 일반적인 영상 복원 방식에서는, 고주파 성분의 추정을 위한 열화 모델 Hopt과 고주파 성분 복원을 위한 블러 커널 Hmodel T이 서로 전치 행렬 관계이다.
하지만, 고주파 성분의 추정을 위해 이용된 열화 모델 Hopt이 등방향 커널인 경우, 고주파 성분 안정화를 위한 블러 커널 Hmodel T도 등방향 커널로 결정된다. 에지 영역과 같이 일정한 방향으로 고주파 성분이 강한 영역에 등방향 블러 커널이 적용된다면, 일정한 방향으로 강한 고주파 성분이 제대로 복원될 수 없다.
따라서, 일 실시예에 따른 영상 고주파 정보 추정 안정화 장치(300) 및 일 실시예에 따른 고해상도 영상 생성 장치(400)는, 일 실시예에 따른 영상 고주파 성분 추정 안정화 방식에 따라, 에지 영역과 일반 영역을 구별하여, 에지 영역의 에지 성분이 훼손되지 않도록 에지 블러 커널을 별도로 결정할 수 있다.
일 실시예에 따른 영상 고주파 성분 추정 안정화 방식은, 에지 영역이 아닌 영역에서는 고주파 성분 추정 과정에서 이용된 열화 모델에 기초하여 블러 커널을 결정할 수 있다. 예를 들어, 열화 모델의 전치 행렬에 해당하는 블러 커널이, 에지 영역이 아닌 영역을 위한 블러 커널로 결정될 수 있다.
일 실시예에 따른 영상 고주파 성분 추정 안정화 방식은, 에지 영역에서는 고주파 성분 추정 과정에서 이용된 열화 모델과 무관하게, 에지 방향에 기초한 블러 커널이 결정될 수 있다.
아래 수학식 11은, 일 실시예에 따른 영상 고주파 성분 추정 안정화 방식에 기초하여, 고주파 성분의 추정을 위한 열화 모델 Hopt와 독립적으로, 에지 영역의 고주파 성분 안정화를 위한 에지 블러 커널 HEKernel T을 이용하여 복원된 고주파 성분을 나타낸다.
[수학식 11]
HEKernel T (y - Hopt xk)
전술한 바와 같이 일 실시예에 따른 에지 블러 커널 HEKernel T는 에지 방향에 평행하게 장축을 갖고 에지 방향에 수직하게 단축을 갖는 타원형의 커널을 포함할 수 있다.
따라서, 일 실시예에 따른 영상 고주파 성분 안정화 기법 및 일 실시예에 따른 영상 고주파 성분 추정 안정화 기법은, 에지 방향에 평행하게는 일반적인 블러 효과를 제공하는 블러 커널을 적용하면서, 에지 방향에 수직하게는 에지 성분의 고주파 성분이 보존될 수 있는 형태의 블러 커널을 이용하므로, 추정된 고주파 성분 중에서 에지 성분의 고주파 성분의 훼손을 최소화할 수 있다.
일 실시예에 따른 영상 고주파 정보 추정 장치(100), 일 실시예에 따른 영상 고주파 정보 안정화 장치(200), 일 실시예에 따른 영상 고주파 정보 추정 안정화 장치(300) 및 일 실시예에 따른 고해상도 영상 생성 장치(400) 등은, 캠코더나 디지털 카메라 등의 이미지 획득 장치에 탑재되어, 센서에서 발생한 영상 신호의 블러 현상을 제거하면서 에지 영역의 고주파 성분을 안정화하여, 고화질의 영상을 얻을 수 있게 한다.
또한, 일 실시예에 따른 영상 고주파 정보 추정 장치(100)의 영상 고주파 정보 추정 기법, 일 실시예에 따른 영상 고주파 정보 안정화 장치(200)의 영상 고주파 정보 안정화 기법, 일 실시예에 따른 영상 고주파 정보 추정 안정화 장치(300)의 영상 고주파 정보 추정 안정화 기법, 일 실시예에 따른 고해상도 영상 생성 장치(400)의 고해상도 영상 생성 기법 등을 구현하기 위한 모듈이, 이미지 획득 장치의 영상 신호 처리 모듈에 탑재될 수도 있다.
또한, 일 실시예에 따른 영상 고주파 정보 추정 장치(100), 일 실시예에 따른 영상 고주파 정보 안정화 장치(200), 일 실시예에 따른 영상 고주파 정보 추정 안정화 장치(300) 및 일 실시예에 따른 고해상도 영상 생성 장치(400) 등은, 이미 획득된 영상을 이용하여 디스플레이하는 재생단계 직전에 적용될 수도 있다.
예를 들어 캠코더를 이용하여 비디오 시퀀스가 획득되고, 디지털 카메라를 이용하여 정지 영상이 획득될 수 있다. 획득된 영상들은 모니터나 TV와 같은 디스플레이 장치에서 재생될 수 있다. 캠코더나 디지털 카메라를 이용하여 획득된 영상에 블러 현상이 이미 존재한다면, 디스플레이 장치에서 재생된 영상의 화질도 저하될 수 있다.
따라서, 일 실시예에 따른 영상 고주파 정보 추정 장치(100), 일 실시예에 따른 영상 고주파 정보 안정화 장치(200), 일 실시예에 따른 영상 고주파 정보 추정 안정화 장치(300) 또는 일 실시예에 따른 고해상도 영상 생성 장치(400)가, 디스플레이 장치에 탑재되어, 재생 영상의 화질을 향상시킬 수 있다.
또한, 일 실시예에 따른 영상 고주파 정보 추정 기법, 일 실시예에 따른 영상 고주파 정보 안정화 기법, 일 실시예에 따른 영상 고주파 정보 추정 안정화 기법, 및 일 실시예에 따른 고해상도 영상 생성 기법을 구현하는 모듈이, 디스플레이 장치에 탑재되거나, 디스플레이 장치의 화질 개선 모듈에 추가됨으로써, 디스플레이 장치가 재생하는 영상의 화질을 개선시킬 수 있다.
도 11 은 일 실시예에 따른 영상 고주파 정보 추정 방법의 흐름도를 도시한다. 일 실시예에 따른 영상 고주파 정보 추정 방법은 이미지 프로세서와 연동하여 작동될 수 있다.
단계 1110에서, 입력 영상 중에서, 슈팅 현상이 발생하는 고주파 영역인 슈팅 영역이 결정된다. 입력 영상의 고주파 정보를 역으로 추정하기 위한 제 1 열화 모델이 결정되고, 제 1 열화 모델을 이용하여 복원된 초기 복원 영상 중에서 슈팅 현상이 발생하기 쉬운 슈팅 영역이 결정될 수 있다.
단계 1120에서, 제 1 열화 모델을 이용하여, 입력 영상 중에서 슈팅 영역을 제외한 영역의 고주파 성분이 결정된다. 단계 1130에서, 제 2 열화 모델을 이용하여, 슈팅 영역의 고주파 성분이 결정된다.
실시예에 따른 영상 고주파 정보 추정 방법이 반복법을 기반으로 구현되는 경우, 반복법에 따라 이전 연산 주기에서 복원된 이전 복원 영상에 열화 모델이 적용될 수 있다.
슈팅 영역의 슈팅 현상을 억제하기 위하여, 제 1 열화 모델과 별개로 제 2 열화 모델이 결정될 수 있다. 제 1 열화 모델을 이용하여 추정된 고주파 성분을 이용하여 입력 영상의 고주파 성분이 복원된 초기 복원 영상의 화소들을 이용하여, 슈팅 영역과 제 2 열화 모델이 결정될 수 있다.
따라서, 제 1 열화 모델과 제 2 열화 모델을 이용하여, 슈팅 영역과 나머지 일반 영역의 영역 별로 입력 영상의 고주파 정보가 추정될 수 있다.
도 12 는 일 실시예에 따른 영상 고주파 정보 안정화 방법의 흐름도를 도시한다. 일 실시예에 따른 영상 고주파 정보 안정화 방법은 이미지 프로세서와 연동하여 구현될 수도 있다.
단계 1210에서, 초기 복원 영상의 방향성을 추정하여 에지 영역 및 에지 방향이 검출된다. 실시예에 따른 영상 고주파 정보 안정화 방법이 반복법을 기반으로 구현되는 경우, 반복법에 따라 이전 연산 주기에서 복원된 이전 복원 영상에 열화 모델이 적용될 수 있다.
단계 1220에서, 에지 방향에 평행하게 에지의 고주파 성분을 복원하기 위한 에지 블러 커널이 결정된다. 에지 블러 커널로서, 커널이 적용되는 영역이 에지 방향에 평행하게 길고, 에지 방향에 수직하는 방향으로 좁은 형태의 커널이 결정될 수 있다. 에지 영역이 아닌 일반 영역에서는 등방향의 블러 커널이 결정될 수도 있다.
단계 1230에서, 에지 블러 커널을 이용하여 입력 영상의 고주파 성분이 안정화된다. 일 실시예에 따른 영상 고주파 정보 안정화 방법은, 열화 모델을 이용한 추정된 고주파 성분을 안정화하기 위한 블러 커널을 결정할 수 있다. 일 실시예에 따른 영상 고주파 정보 안정화 방법은, 열화 모델과 독립적으로, 에지 방향에 평행하게 길고 수직하는 방향으로 좁은 형태의 에지 블러 커널을 결정할 수 있다.
도 13 은 일 실시예에 따른 영상 고주파 정보 추정 안정화 방법의 흐름도를 도시한다. 일 실시예에 따른 영상 고주파 정보 추정 안정화 방법은 이미지 프로세서와 연동하여 구현될 수도 있다.
단계 1310에서, 입력 영상 중에서 슈팅 영역이 결정된다. 입력 영상의 고주파 정보를 추정하기 위한 제 1 열화 모델이 결정되고, 제 1 열화 모델을 통해 복원된 초기 복원 영상 중에서 슈팅 영역이 결정될 수 있다.
단계 1320에서, 제 1 열화 모델을 이용하여 입력 영상 중에서 비 슈팅 영역의 고주파 성분을 결정하고, 제 2 열화 모델을 이용하여 슈팅 영역의 고주파 성분을 결정함으로써, 입력 영상의 고주파 성분이 추정된다. 실시예에 따른 영상 고주파 정보 추정 안정화 방법이 반복법을 기반으로 구현되는 경우, 반복법에 따라 이전 연산 주기에서 복원된 이전 복원 영상에 제 1 열화 모델 또는 제 2 열화 모델이 적용될 수 있다.
초기 복원 영상 중에서, 슈팅 영역과 슈팅 영역 이외의 나머지 영역을 구별하여 고주파 성분이 결정될 수 있다. 비 슈팅 영역에 대해 제 1 열화 모델을 적용하여 획득된 고주파 성분이, 비 슈팅 영역의 고주파 성분으로 결정되고, 슈팅 영역에 대하여 제 2 열화 모델을 적용하여 획득된 고주파 성분이 슈팅 영역의 고주파 성분으로 결정될 수 있다.
따라서 슈팅이 발생할 수 있는 슈팅 영역에서 제 2 열화 모델을 이용하여 슈팅 현상이 억제됨으로써, 입력 영상에 대해 추정된 고주파 성분에서 슈팅 현상이 최소화될 수 있다.
단계 1330에서, 고주파 성분 안정화를 위한 블러 커널을 결정하기 위해, 초기 복원 영상의 에지 방향에 평행하게 고주파 성분을 안정화하기 위한 에지 블러 커널이 결정된다. 에지 영역의 에지 방향을 고려하여 에지 블러 커널이 결정될 수 있다.
제 1 열화 모델 또는 제 2 열화 모델에 기초하여, 에지 영역 이외의 나머지 영역을 위한 블러 커널이 결정될 수도 있다. 일 실시예에 따라 에지 영역의 에지 방향을 고려하여 결정된 에지 블러 커널은, 제 1 열화 모델 또는 제 2 열화 모델과 독립적으로, 에지 방향에 평행하게 길고 수직하는 방향으로 좁은 형태의 커널이 결정될 수 있다.
단계 1340에서, 에지 블러 커널을 이용하여 입력 영상의 고주파 성분이 안정화된다. 에지 블러 커널을 이용하여 에지 영역에서 에지 성분이 보존되면서 비 에지 영역에서는 영상의 고주파 성분이 안정화될 수 있다.
단계 1350에서, 초기 복원 영상에 복원된 고주파 성분이 합성되어, 영상의 고주파 성분이 향상된 복원 영상이 생성될 수 있다.
도 14 는 일 실시예에 따른 고해상도 영상 생성 방법의 흐름도를 도시한다.
일 실시예에 따른 고해상도 영상 생성 방법은, 이미지 프로세서와 연동하여 구현될 수도 있다.
단계 1410에서, 둘 이상의 입력 영상들이 수신된다. 또한, 원본 영상에 열화 모델이 적용된 블러 영상을 모델링하기 위해 이전 연산 주기에서 복원된 이전 복원 영상에 열화 모델이 적용될 수 있다. 이전 복원 영상은 입력 영상들의 수에 비례하여 확대된 영상일 수 있다.
단계 1420에서, 입력 영상마다 초기 복원 영상에 기초하여 슈팅 영역이 결정된다. 현재 입력 영상의 고주파 정보를 추정하기 위한 제 1 열화 모델이 결정되고, 제 1 열화 모델에 의해 생성된 초기 복원 영상 중에서, 슈팅 현상이 발생하는 영역이 검출될 수 있다.
단계 1430에서, 입력 영상들마다, 제 1 열화 모델을 이용하여 비 슈팅 영역의 고주파 성분이 결정되고, 제 2 열화 모델을 이용하여 슈팅 영역의 고주파 성분이 결정됨으로써, 영상 고주파 성분이 추정된다.
단계 1440에서, 입력 영상마다, 초기 복원 영상으로부터 에지 영역이 검출되어, 에지 영역을 위한 에지 블러 커널이 결정된다. 에지 블러 커널을 이용하여, 초기 복원 영상 중에서 에지 성분을 훼손하지 않도록 에지 방향과 평행하게 고주파 성분을 안정화할 수 있다.
단계 1450에서, 에지 블러 커널을 이용하여 입력 영상마다 고주파 성분이 안정화된다. 단계 1460에서, 입력 영상마다 안정화된 고주파 성분을 이용하여, 입력 영상들에 대한 고해상도 영상이 생성된다. 고해상도 영상은, 둘 이상의 입력 영상들의 개수에 기초하여 입력 영상이 확대된 영상일 수 있다. 둘 이상의 입력 영상들의 위치 정합을 고려하여, 입력 영상마다 안정화된 고주파 성분이 합성될 수 있다.
따라서, 일 실시예에 따른 영상 고주파 성분 추정 기법 및 일 실시예에 따른 영상 고주파 성분 안정화 기법에 따라, 슈팅 현상 또는 링잉 아티팩트의 발생을 억제하면서, 에지 성분의 고주파 성분을 보존하도록 복원된 고주파 성분이 생성될 수 있다. 또한, 입력 영상들마다 고주파 성분이 생성되어, 확대 영상의 부화소 성분을 복원할 수 있으므로, 입력 영상이 확대되면서 고주파 성분이 향상된 고해상도 영상이 생성될 수 있다.
이상, 도 1 내지 14을 참조하여, 본 발명의 일 실시예에 따라 영상 고주파 성분 복원 과정에서 발생할 수 있는 슈팅 현상 또는 링잉 아티팩트를 최소화하기 위한 영상 고주파 성분 추정 기술, 에지 방향을 고려하여 고주파 성분을 안정화하는 영상 고주파 성분 안정화 기술, 일 실시예에 따른 영상 고주파 성분 추정과 일 실시예에 따른 영상 고주파 성분 안정화를 접목한 영상 고주파 성분 추정 안정화 기술, 복수 개의 입력 영상을 이용하여 입력 영상마다 일 실시예에 따른 영상 고주파 성분 추정 안정화를 수행한 결과가 합성되는 고해상도 영상 생성 기술 등의 다양한 구현례들이 개시되었다. 하지만 전술된 사용례들은 본 발명의 원리를 설명하기 위한 실시예일 뿐이므로, 도 1 내지 14에서 개시된 형태에만 국한되는 것은 아니다.
본 발명에서 개시된 블록도들은 본 발명의 원리들을 구현하기 위한 회로를 개념적으로 표현한 형태라고 당업자에게 해석될 수 있을 것이다. 유사하게, 임의의 흐름 차트, 흐름도, 상태 전이도, 의사코드 등은 컴퓨터 판독가능 매체에서 실질적으로 표현되어, 컴퓨터 또는 프로세서가 명시적으로 도시되든지 아니든지 간에 이러한 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것이 당업자에게 인식될 것이다. 따라서, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
도면들에 도시된 다양한 요소들의 기능들은 적절한 소프트웨어와 관련되어 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 이런 기능은 단일 전용 프로세서, 단일 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 또한, 용어 "프로세서" 또는 "제어부"의 명시적 이용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되지 말아야 하며, 제한 없이, 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비휘발성 저장장치를 묵시적으로 포함할 수 있다.
본 명세서의 청구항들에서, 특정 기능을 수행하기 위한 수단으로서 표현된 요소는 특정 기능을 수행하는 임의의 방식을 포괄하고, 이러한 요소는 특정 기능을 수행하는 회로 요소들의 조합, 또는 특정 기능을 수행하기 위한 소프트웨어를 수행하기 위해 적합한 회로와 결합된, 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함할 수 있다.
본 명세서에서 본 발명의 원리들의 '일 실시예'와 이런 표현의 다양한 변형들의 지칭은 이 실시예와 관련되어 특정 특징, 구조, 특성 등이 본 발명의 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 표현 '일 실시예에서'와, 본 명세서 전체를 통해 개시된 임의의 다른 변형례들은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.
본 명세서에서, 'A와 B 중 적어도 하나'의 경우에서 '~중 적어도 하나'의 표현은, 첫 번째 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 양쪽 옵션들 (A와 B)의 선택을 포괄하기 위해 사용된다. 추가적인 예로 'A, B, 및 C 중 적어도 하나'의 경우는, 첫 번째 열거된 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 세 번째 열거된 옵션 (C)의 선택만, 또는 첫 번째와 두 번째 열거된 옵션들 (A와 B)의 선택만, 또는 두 번째와 세 번째 열거된 옵션 (B와 C)의 선택만, 또는 모든 3개의 옵션들의 선택(A와 B와 C)이 포괄할 수 있다. 더 많은 항목들이 열거되는 경우에도 당업자에게 명백하게 확장 해석될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (27)

  1. 이미지 프로세서를 이용하여 영상의 고주파 정보를 추정하는 방법에 있어서,
    입력 영상 중에서, 슈팅 현상이 발생하는 고주파 영역인 슈팅 영역을 결정하는 단계;
    제 1 열화 모델을 이용하여, 상기 입력 영상 중에서 상기 슈팅 영역을 제외한 영역의 고주파 성분을 결정하는 단계; 및
    제 2 열화 모델을 이용하여, 상기 슈팅 영역의 고주파 성분을 결정하는 단계를 포함하고,
    상기 제1열화 모델과 상기 제2열화 모델은 서로 다른 열화 모델인 것을 특징으로 하는 영상 고주파 정보 추정 방법.
  2. 제 1 항에 있어서, 상기 슈팅 영역 결정 단계는,
    상기 입력 영상의 고주파 성분을 역으로 추정하기 위한 상기 제 1 열화 모델을 결정하는 단계;
    상기 입력 영상에 상기 제 1 열화 모델을 적용하여, 상기 입력 영상의 초기 복원 영상을 생성하는 단계; 및
    상기 초기 복원 영상 중에서 슈팅 현상이 발생한 영역을 검출하여, 상기 슈팅 영역을 결정하는 단계를 포함하는 것을 특징으로 하는 영상 고주파 정보 추정 방법.
  3. 제 2 항에 있어서, 상기 제 2 열화 모델을 이용한 고주파 성분 결정 단계는,
    상기 슈팅 영역의 슈팅 현상을 억제하기 위한 제 2 열화 모델을 결정하는 단계; 및
    상기 제 2 열화 모델을 상기 슈팅 영역에 적용하여, 상기 슈팅 영역에 대한 고주파 성분을 결정하는 단계를 포함하는 것을 특징으로 하는 영상 고주파 정보 추정 방법.
  4. 제 2 항에 있어서, 상기 제 1 열화 모델을 이용한 고주파 성분 결정 단계는,
    상기 초기 복원 영상의 화소에 대하여 상기 제 1 열화 모델에 따른 블러링을 수행하여 열화된 화소를 획득하는 단계; 및
    상기 열화된 화소와 상기 입력 영상 화소 간의 차이 성분을, 상기 고주파 성분으로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 고주파 정보 추정 방법.
  5. 제 3 항에 있어서, 상기 슈팅 영역에 대한 고주파 성분 결정 단계는,
    상기 초기 복원 영상 중 상기 슈팅 영역의 화소에 대하여 상기 제 2 열화 모델에 따른 블러링을 수행하여 열화된 화소를 획득하는 단계; 및
    상기 열화된 화소와 상기 입력 영상 화소 간의 차이 성분을, 상기 슈팅 영역에 대한 고주파 성분으로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 고주파 정보 추정 방법.
  6. 제 2 항에 있어서, 상기 슈팅 영역 결정 단계는,
    상기 초기 복원 영상 중에서, 현재 화소 및 적어도 하나의 주변 화소들을 비교하는 단계; 및
    상기 비교 결과에 기초하여, 상기 현재 화소의 초기 복원값이 상기 주변 화소의 초기 복원값들의 범위를 벗어나면, 상기 화소에서 슈팅 현상이 발생하는 것으로 예측하고 상기 현재 화소를 상기 슈팅 영역으로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 고주파 정보 추정 방법.
  7. 제 1 항에 있어서, 상기 영상 고주파 정보 추정 방법은,
    반복법에 따라 이전 연산 주기에서 복원된 이전 복원 영상에 기초하여, 상기 제 1 열화 모델 및 상기 제 2 열화 모델을 결정하고 현재 연산 주기에서의 고주파 성분을 결정하는 단계를 더 포함하는 것을 특징으로 하는 영상 고주파 정보 추정 방법.
  8. 이미지 프로세서를 이용하여 영상의 고주파 정보를 안정화하는 방법에 있어서,
    입력 영상의 방향성을 추정하여 에지 영역 및 에지 방향을 검출하는 단계;
    상기 에지 방향에 평행하게 상기 에지 영역의 고주파 정보를 안정화하기 위한 에지 블러 커널을 결정하는 단계; 및
    상기 에지 블러 커널을 이용하여 상기 입력 영상의 고주파 성분을 안정화하는 단계를 포함하는 것을 특징으로 하는 영상 고주파 정보 안정화 방법.
  9. 제 8 항에 있어서, 상기 에지 블러 커널 결정 단계는,
    상기 커널이 적용되는 영역이 상기 에지 방향에 평행하게 길고, 상기 에지 방향에 수직하는 방향으로 좁은 형태의 커널로, 상기 에지 블러 커널을 결정하는 단계를 포함하는 것을 특징으로 하는 영상 고주파 정보 안정화 방법.
  10. 제 8 항에 있어서, 상기 에지 영역 및 에지 방향 검출 단계는,
    초기 복원 영상의 소정 영역의 화소들 간의 2차원 공분산 관계에 기초하여, 함께 증감하는 화소들이 연속적으로 배열되는 상기 에지 영역 및 상기 에지 방향을 결정하는 단계를 포함하는 것을 특징으로 하는 영상 고주파 정보 안정화 방법.
  11. 제 8 항에 있어서,
    상기 에지 영역 및 상기 에지 방향 결정 단계는, 초기 복원 영상에 대한 수평 방향의 그래디언트(gradient) 성분 및 수직 방향의 그래디언트 성분을 포함하는 공분산 매트릭스를 이용하여 상기 에지 방향을 결정하는 단계를 포함하고,
    상기 에지 블러 커널 결정 단계는, 상기 공분산 매트릭스에 기초하여, 상기 에지 방향에 따라 평행하게 긴축을 가지며, 상기 에지 방향에 수직하는 방향으로 짧은 축을 가지는 타원 형태로 상기 에지 블러 커널을 결정하는 단계를 포함하는 것을 특징으로 하는 영상 고주파 정보 안정화 방법.
  12. 제 8 항에 있어서, 상기 에지 블러 커널 결정 단계는,
    열화 모델과 독립적으로, 상기 커널이 적용되는 영역이 상기 검출된 에지 방향에 평행하게 길고 상기 에지 방향에 수직하는 방향으로 좁은 형태의 커널로 상기 에지 블러 커널을 결정하는 단계를 포함하는 것을 특징으로 하는 영상 고주파 정보 안정화 방법.
  13. 제 8 항에 있어서, 상기 영상 고주파 정보 안정화 방법은,
    반복법에 따라, 이전 연산 주기에서 결정된 이전 복원 영상에 기초하여, 블러 커널 및 상기 에지 블러 커널을 결정하고, 상기 블러 커널 및 상기 에지 블러 커널을 이용하여 상기 이전 복원 영상의 고주파 성분이 안정화된 현재 복원 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 영상 고주파 정보 안정화 방법.
  14. 이미지 프로세서를 이용하여 영상의 고주파 정보를 추정하여 안정화하는 방법에 있어서,
    입력 영상 중에서, 슈팅 현상이 발생하는 고주파 영역인 슈팅 영역을 결정하는 단계;
    제 1 열화 모델을 이용하여 상기 입력 영상 중에서 상기 슈팅 영역을 제외한 영역의 고주파 성분을 결정하고, 제 2 열화 모델을 이용하여 상기 슈팅 영역의 고주파 성분을 결정하여, 슈팅 현상이 발생하는 상기 입력 영상의 고주파 성분을 추정하는 단계;
    상기 입력 영상의 에지 방향에 평행하게 에지 영역의 고주파 성분을 안정화하기 위한 에지 블러 커널을 결정하는 단계;
    상기 에지 블러 커널을 이용하여 상기 에지 영역의 상기 에지 방향을 고려하여 상기 입력 영상의 고주파 성분을 안정화하는 단계; 및
    상기 입력 영상에 상기 안정화된 고주파 성분을 합성하여 복원 영상을 생성하는 단계를 포함하고,
    상기 제1열화 모델과 상기 제2열화 모델은 서로 다른 열화 모델인 것을 특징으로 하는 영상 고주파 정보 추정 및 안정화 방법.
  15. 제 14 항에 있어서, 상기 슈팅 영역 결정 단계는,
    상기 입력 영상의 고주파 성분을 역으로 추정하기 위한 상기 제 1 열화 모델을 결정하는 단계; 및
    상기 입력 영상에 상기 제 1 열화 모델을 적용하여 상기 입력 영상의 초기 복원 영상을 생성하고, 상기 초기 복원 영상 중에서 슈팅 현상이 발생한 영역을 검출하여, 상기 슈팅 영역을 결정하는 단계를 포함하고,
    상기 입력 영상 고주파 성분 추정 단계는,
    상기 초기 복원 영상 중에서, 상기 슈팅 영역 이외의 나머지 영역에 대해서, 상기 제 1 열화 모델을 상기 슈팅 영역을 제외한 영역에 적용하여 상기 슈팅 영역에 대한 고주파 성분을 결정하는 단계; 및
    상기 슈팅 영역의 슈팅 현상을 억제하기 위한 제 2 열화 모델을 결정하고, 상기 제 2 열화 모델을 상기 슈팅 영역에 적용하여 상기 슈팅 영역에 대한 고주파 성분을 결정하는 단계를 포함하는 것을 특징으로 하는 영상 고주파 정보 추정 및 안정화 방법.
  16. 제 14 항에 있어서, 상기 에지 블러 커널 결정 단계는,
    상기 제 1 열화 모델 또는 제 2 열화 모델과 독립적으로, 상기 에지 블러 커널을, 상기 커널이 적용되는 영역이 상기 에지 방향에 평행하게 길고 상기 에지 방향에 수직하는 방향으로 좁은 형태의 커널로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 고주파 정보 추정 및 안정화 방법.
  17. 제 14 항에 있어서, 상기 영상 고주파 정보 추정 및 안정화 방법은,
    반복법에 따라 이전 연산 주기에서 고주파 성분이 추정되어 안정화된 이전 복원 영상에 기초하여, 현재 연산 주기를 위한 상기 제 1 열화 모델, 상기 제 2 열화 모델, 상기 에지 블러 커널을 결정하고, 상기 이전 복원 영상의 고해상도 성분이 안정화된 현재 복원 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 영상 고주파 정보 추정 및 안정화 방법.
  18. 이미지 프로세서를 이용하여 영상의 고주파 정보를 추정하는 장치에 있어서,
    입력 영상 중에서, 슈팅 현상이 발생하는 고주파 영역인 슈팅 영역을 결정하는 슈팅 영역 결정부;
    제 1 열화 모델을 이용하여, 상기 입력 영상 중에서 상기 슈팅 영역을 제외한 영역의 고주파 성분을 결정하는 슈팅 영역 고주파 성분 결정부; 및
    제 2 열화 모델을 이용하여, 상기 슈팅 영역의 고주파 성분을 결정하는 비슈팅 영역 고주파 성분 결정부를 포함하고,
    상기 제1열화 모델과 상기 제2열화 모델은 서로 다른 열화 모델인 것을 특징으로 하는 영상 고주파 정보 추정 장치.
  19. 이미지 프로세서를 이용하여 영상의 고주파 정보를 안정화하는 장치에 있어서,
    입력 영상의 방향성을 추정하여 에지 영역 및 에지 방향을 검출하는 에지 검출부;
    상기 에지 방향에 평행하게 상기 에지 영역의 고주파 성분을 안정화하기 위한 에지 블러 커널을 결정하는 에지 블러 커널 결정부; 및
    상기 에지 블러 커널을 이용하여 상기 입력 영상의 고주파 성분을 안정화하는 고주파 성분 안정화부를 포함하는 것을 특징으로 하는 영상 고주파 정보 안정화 장치.
  20. 이미지 프로세서를 이용하여 영상의 고주파 정보를 추정하여 안정화하는 장치에 있어서,
    입력 영상 중에서, 슈팅 현상이 발생하는 고주파 영역인 슈팅 영역을 결정하는 슈팅 영역 결정부;
    제 1 열화 모델을 이용하여 상기 입력 영상 중에서 상기 슈팅 영역을 제외한 영역의 고주파 성분을 결정하고, 제 2 열화 모델을 이용하여 상기 슈팅 영역의 고주파 성분을 결정하여, 상기 입력 영상의 고주파 성분을 추정하는 고주파 성분 추정부;
    상기 입력 영상의 에지 방향에 평행하게 에지 영역의 고주파 성분을 안정화하기 위한 에지 블러 커널을 결정하는 에지 블러 커널 결정부;
    상기 에지 블러 커널을 이용하여 상기 입력 영상의 고주파 성분을 안정화하는 고주파 성분 안정화부; 및
    상기 입력 영상에 상기 안정화된 고주파 성분을 합성하여 복원 영상을 생성하는 복원 영상 생성부를 포함하고,
    상기 제1열화 모델과 상기 제2열화 모델은 서로 다른 열화 모델인 것을 특징으로 하는 영상 고주파 정보 추정 안정화 장치.
  21. 이미지 프로세서를 이용하여 영상의 고해상도 영상을 생성하는 방법에 있어서,
    둘 이상의 입력 영상들을 수신하는 단계;
    상기 입력 영상들마다, 슈팅 현상이 발생하는 고주파 영역인 슈팅 영역을 결정하는 단계;
    상기 입력 영상들마다, 제 1 열화 모델을 이용하여 상기 슈팅 영역을 제외한 영역의 고주파 성분을 결정하고, 제 2 열화 모델을 이용하여 상기 슈팅 영역의 고주파 성분을 결정하는 단계;
    초기 복원 영상의 에지 방향에 평행하게 에지 영역의 고주파 성분을 안정화하기 위한 에지 블러 커널을 결정하는 단계;
    상기 에지 블러 커널을 이용하여 상기 입력 영상들마다 고주파 성분을 안정화하는 단계; 및
    상기 입력 영상들마다 상기 안정화된 고주파 성분을 이용하여, 상기 초기 복원 영상에 대한 고해상도 영상을 생성하는 단계를 포함하고,
    상기 제1열화 모델과 상기 제2열화 모델은 서로 다른 열화 모델인 것을 특징으로 하는 고해상도 영상 생성 방법.
  22. 제 21 항에 있어서, 상기 고해상도 영상 생성 단계는,
    상기 고주파 성분이 복원된 입력 영상들의 수에 기초하여, 입력 영상의 확대 영상을 생성하는 단계; 및
    상기 둘 이상의 입력 영상 별로 안정화된 고주파 성분을 초기 복원 영상에 반복적으로 합성하여, 상기 입력 영상의 고해상도 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 고해상도 영상 생성 방법.
  23. 이미지 프로세서를 이용하여 고해상도 영상을 생성하는 장치에 있어서,
    둘 이상의 입력 영상들을 수신하는 영상 입력부;
    입력 영상 중에서, 슈팅 현상이 발생하는 고주파 영역인 슈팅 영역을 결정하는 슈팅 영역 결정부;
    제 1 열화 모델을 이용하여 상기 입력 영상 중에서 상기 슈팅 영역을 제외한 영역의 고주파 성분을 결정하고, 제 2 열화 모델을 이용하여 상기 슈팅 영역의 고주파 성분을 결정하여, 상기 입력 영상의 고주파 성분을 추정하는 고주파 성분 추정부;
    초기 복원 영상의 에지 방향에 평행하게 에지 영역의 고주파 성분을 안정화하기 위한 에지 블러 커널을 결정하는 에지 블러 커널 결정부;
    상기 에지 블러 커널을 이용하여 상기 입력 영상들마다 고주파 성분을 안정화하는 고주파 성분 안정화부; 및
    상기 입력 영상들마다 안정화된 고주파 성분을 상기 입력 영상에 합성하여, 상기 입력 영상의 고해상도 영상을 생성하는 고해상도 영상 생성부를 포함하고,
    상기 제1열화 모델과 상기 제2열화 모델은 서로 다른 열화 모델인 것을 특징으로 하는 고해상도 영상 생성 장치.
  24. 제 1 항 내지 제 7 항 중 어느 한 항의 영상 고주파 정보 추정 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  25. 제 8 항 내지 제 13 항 중 어느 한 항의 영상 고주파 정보 안정화 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  26. 제 14 항 내지 제 18 항 중 어느 한 항의 영상의 고주파 정보 추정 및 안정화 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  27. 제 21 항 내지 제 22 항 중 어느 한 항의 고해상도 영상 생성 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020110057976A 2011-06-15 2011-06-15 영상 고주파 정보 추정 및 안정화를 통한 고해상도 영상 생성 방법 및 장치 KR101805623B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110057976A KR101805623B1 (ko) 2011-06-15 2011-06-15 영상 고주파 정보 추정 및 안정화를 통한 고해상도 영상 생성 방법 및 장치
US13/524,682 US8929662B2 (en) 2011-06-15 2012-06-15 Method and apparatus for generating super-resolution image using prediction and stabilization of high-frequency information of image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110057976A KR101805623B1 (ko) 2011-06-15 2011-06-15 영상 고주파 정보 추정 및 안정화를 통한 고해상도 영상 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120138476A KR20120138476A (ko) 2012-12-26
KR101805623B1 true KR101805623B1 (ko) 2017-12-07

Family

ID=47353717

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110057976A KR101805623B1 (ko) 2011-06-15 2011-06-15 영상 고주파 정보 추정 및 안정화를 통한 고해상도 영상 생성 방법 및 장치

Country Status (2)

Country Link
US (1) US8929662B2 (ko)
KR (1) KR101805623B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104517273B (zh) * 2013-09-26 2017-11-21 浙江大华技术股份有限公司 一种图像超分辨率处理方法及装置
CN104657734B (zh) * 2015-03-05 2018-10-30 东方网力科技股份有限公司 一种道路交通标志检测方法及装置
US10007970B2 (en) 2015-05-15 2018-06-26 Samsung Electronics Co., Ltd. Image up-sampling with relative edge growth rate priors
US9911178B2 (en) 2015-05-22 2018-03-06 Samsung Electronics Co., Ltd. System and method for content-adaptive super-resolution via cross-scale self-learning
KR102351083B1 (ko) 2017-08-30 2022-01-13 삼성전자주식회사 디스플레이 장치 및 그 영상 처리 방법
US10755135B2 (en) * 2018-09-23 2020-08-25 Paulo Eduardo Xavier da Silveira Computational imaging device and method for improved corner detection
US11615510B2 (en) 2020-10-21 2023-03-28 Samsung Electronics Co., Ltd. Kernel-aware super resolution

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006222493A (ja) * 2005-02-08 2006-08-24 Seiko Epson Corp 複数の低解像度画像を用いた高解像度画像の生成
JP2007201533A (ja) * 2006-01-23 2007-08-09 Toshiba Corp ボケ変換装置及び方法
JP2010057157A (ja) * 2008-07-29 2010-03-11 Ricoh Co Ltd 画像処理装置、ノイズ低減方法、プログラム、記憶媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495536A (en) * 1991-05-08 1996-02-27 Sandia Corporation Image processing system and method for recognizing and removing shadows from the image of a monitored scene
US5273040A (en) * 1991-11-14 1993-12-28 Picker International, Inc. Measurement of vetricle volumes with cardiac MRI
US6323855B1 (en) * 1998-12-10 2001-11-27 Eastman Kodak Company Sharpening edge features in digital image providing high frequency edge enhancement
JP2005527051A (ja) * 2002-05-24 2005-09-08 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 鮮鋭化されたエッジを計算するユニットおよび方法
JP4214409B2 (ja) * 2003-01-31 2009-01-28 国立大学法人東京工業大学 高解像度カラー画像生成方法、高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム
US7715658B2 (en) * 2005-08-03 2010-05-11 Samsung Electronics Co., Ltd. Apparatus and method for super-resolution enhancement processing
TWI372365B (en) * 2006-09-06 2012-09-11 Realtek Semiconductor Corp Method and apparatus for directional edge enhancement
JP4542164B2 (ja) * 2008-03-18 2010-09-08 アドバンスド・マスク・インスペクション・テクノロジー株式会社 パターン検査装置、パターン検査方法及びプログラム
US8249377B1 (en) * 2008-06-08 2012-08-21 Hewlett-Packard Development Company, L.P. Blurred digital image deblurring
JP5272581B2 (ja) * 2008-08-25 2013-08-28 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US8594447B2 (en) * 2011-12-23 2013-11-26 The United States Of America, As Represented By The Secretary Of The Navy Method of estimating blur kernel from edge profiles in a blurry image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006222493A (ja) * 2005-02-08 2006-08-24 Seiko Epson Corp 複数の低解像度画像を用いた高解像度画像の生成
JP2007201533A (ja) * 2006-01-23 2007-08-09 Toshiba Corp ボケ変換装置及び方法
JP2010057157A (ja) * 2008-07-29 2010-03-11 Ricoh Co Ltd 画像処理装置、ノイズ低減方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
US20120321200A1 (en) 2012-12-20
KR20120138476A (ko) 2012-12-26
US8929662B2 (en) 2015-01-06

Similar Documents

Publication Publication Date Title
KR101805623B1 (ko) 영상 고주파 정보 추정 및 안정화를 통한 고해상도 영상 생성 방법 및 장치
US8379120B2 (en) Image deblurring using a combined differential image
US8768069B2 (en) Image enhancement apparatus and method
KR101703790B1 (ko) 흐린 이미지에 기초하여 선명한 이미지를 생성하는 이미지 생성 방법 및 이미지 생성 장치
EP2489007B1 (en) Image deblurring using a spatial image prior
KR100990791B1 (ko) 영상의 블러 제거 방법 및 블러 제거 방법이 기록된 기록매체
US8428390B2 (en) Generating sharp images, panoramas, and videos from motion-blurred videos
KR100739753B1 (ko) 양방향 시간적 잡음 제거 방법 및 장치
US9589328B2 (en) Globally dominant point spread function estimation
US9002129B2 (en) Method and device for reducing temporal noise for image
JP2008146643A (ja) 動きでぶれた画像における動きのぶれを低減する方法、動きでぶれた画像における動きのぶれを低減するための装置、および動きでぶれた画像における動きのぶれを低減するコンピュータ・プログラムを具現するコンピュータ読み取り可能な媒体
JP5430234B2 (ja) 画像処理装置、画像処理方法、プログラム、記録媒体及び集積回路
JP2013508811A5 (ko)
US20120314093A1 (en) Image processing apparatus and method, program, and recording medium
US8340471B2 (en) Parameter control processing apparatus and image processing apparatus
KR20130104259A (ko) 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치
KR20150037369A (ko) 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치
US9036695B2 (en) Motion-compensated temporal filtering based on variable filter parameters
Lee et al. Video deblurring algorithm using accurate blur kernel estimation and residual deconvolution based on a blurred-unblurred frame pair
KR101033243B1 (ko) 객체 추적 방법 및 장치
KR20090013522A (ko) 링잉 아티펙트없는 블러 제거 방법
JP4224882B2 (ja) データ処理装置およびデータ処理方法
WO2010007777A1 (ja) 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路
Huebner et al. Blind deconvolution algorithms for the restoration of atmospherically degraded imagery: a comparative analysis
Huebner et al. Software-based mitigation of image degradation due to atmospheric turbulence

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right