KR100987584B1 - 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템및 방법 - Google Patents

고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템및 방법 Download PDF

Info

Publication number
KR100987584B1
KR100987584B1 KR1020080094662A KR20080094662A KR100987584B1 KR 100987584 B1 KR100987584 B1 KR 100987584B1 KR 1020080094662 A KR1020080094662 A KR 1020080094662A KR 20080094662 A KR20080094662 A KR 20080094662A KR 100987584 B1 KR100987584 B1 KR 100987584B1
Authority
KR
South Korea
Prior art keywords
video
high resolution
frame
resolution video
low
Prior art date
Application number
KR1020080094662A
Other languages
English (en)
Other versions
KR20100035342A (ko
Inventor
송병철
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020080094662A priority Critical patent/KR100987584B1/ko
Publication of KR20100035342A publication Critical patent/KR20100035342A/ko
Application granted granted Critical
Publication of KR100987584B1 publication Critical patent/KR100987584B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템 및 방법이 개시된다. 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템은 고해상도 동영상을 저해상도 동영상으로 변환하는 축소 변환부; 상기 고해상도 동영상을 저장하고 프레임 단위로 분할하여 상기 축소 변환부로 전송하는 고해상도 프레임부; 상기 저해상도 동영상을 동일한 의미를 가지는 최소 단위 프레임 그룹들로 구분하고, 각각의 상기 프레임 그룹에서 대표 프레임을 추출하며, 상기 고해상도 프레임부에 저장된 상기 고해상도 동영상에서 상기 대표 프레임에 대응하는 고해상도 대표 프레임을 검색하는 프레임 그룹 추출부; 및 상기 저해상도 동영상과 상기 고해상도 대표 프레임이 저장되는 저장 매체를 포함한다.
해상도, 화질, 프레임, 저장, 동영상.

Description

고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템 및 방법{MOVIE CHANGE SYSTEM AND METHOD FOR EFFICIENT SAVE OF HIGH-RESOLUTION MOVIE}
본 발명의 일실시예들은 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템 및 방법에 관한 것으로, 특히 영상 신호처리 적인 방법으로 저장 시간을 수 배 이상 늘리는 시스템 및 방법에 관한 것이다.
DTV를 비롯한 정보 기기에서 동영상을 일시 저장하고, 재생하는 기능 즉, time-shift 기능이 점점 보편화되고 있으며, TV와 연동하는 이런 기능을 PVR (personal video recording)이라고도 한다.
상기 DTV에 PVR 기능이 구현되는 방식은 저장 매체인 HDD의 위치에 따라 내장형과 외장형으로 구분될 수 있으며, 일반적으로 원본 정보(raw data)가 아닌 압축된 스트림을 상기 저장 매체에 저장하며, 일례로 250GB HDD를 내장한 PVR에서 HD 스트리밍(high definition streaming)을 저장하는 경우 대략 20여 시간 동안 재생할 수 있는 영상 정보를 저장할 수 있다.
그라나, 상기 저장 매체에 저장되는 영상 정보의 재생 가능 시간의 제한은 소비자에게 상당히 부담으로 작용할 수 있다. 이때, HDD의 용량을 증가하여 재생 가능 시간을 증가할 수는 있으나 HDD의 용량을 증가하면 가격이 상승하게 되며, 내장형인 경우는 HDD의 용량 증가도 어려운 실정이다.
상기 저장 매체에 저장되는 영상 정보의 재생 가능 시간의 제한을 해결하기 위한 방법으로 HD 스트리밍을 다운 컨버전(down conversion)하여 SD로 변환 후 SD 부호화기(encoder)로 압축하여 저장하고, 영상 출력 시에는 업 컨버전(up conversion)하여 HD로 복호화하여 재생하는 스케일링(scaling) 방법이 개발되었다.
상기 스케일링 방법은 HD 스트리밍을 SD로 저장하였다가 재생함으로써 저장 시간을 늘리는 장점이 있으나, HD 스트리밍을 SD로 변환함에 따라 삭제되는 고해상도 정보로 인해 저장된 SD를 HD로 변환하여 재생하더라도 화질 열화가 발생하게 된다는 문제점이 있었다.
따라서, 저장 시간을 증가시키면서 화질의 열화를 방지할 수 있는 영상 정보 변경 방법 및 시스템이 필요한 실정이다.
본 발명의 일실시예들은 고해상도 동영상을 압축하지 않거나 압축하여 저장할 때, 저장 공간을 절약하기 위해 영상을 저해상도로 축소하여 저장하고, 필요 시 복원된 저해상도 영상을 원 고해상도 동영상으로 화질 열화 없이 스케일링할 수 있는 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템 및 방법을 제공한다.
본 발명의 일실시예에 따른 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템은 고해상도 동영상을 저해상도 동영상으로 변환하는 축소 변환부; 상기 고해상도 동영상을 저장하고 프레임 단위로 분할하여 상기 축소 변환부로 전송하는 고해상도 프레임부; 상기 저해상도 동영상을 동일한 의미를 가지는 최소 단위 프레임 그룹들로 구분하고, 각각의 상기 프레임 그룹에서 대표 프레임을 추출하며, 상기 고해상도 프레임부에 저장된 상기 고해상도 동영상에서 상기 대표 프레임에 대응하는 고해상도 대표 프레임을 검색하는 프레임 그룹 추출부; 및 상기 저해상도 동영상과 상기 고해상도 대표 프레임이 저장되는 저장 매체를 포함한다.
또한, 본 발명의 일실시예에 따른 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템은 저해상도 동영상과 고해상도 대표 프레임이 저장되는 저장 매체; 상기 저해상도 동영상을 저 화질 고해상도 동영상으로 변환하는 확대 변환부; 상기 저 화질 고해상도 동영상과 상기 고해상도 대표 프레임을 기초로 고화질 정보 를 복원하는 고화질 정보 생성부; 상기 저 화질 고해상도 동영상에 상기 고화질 정보를 추가하여 고 화질 고해상도 동영상을 합성하는 고화질 동영상 합성부를 포함한다.
그리고, 본 발명의 일실시예에 따른 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템은 저해상도 동영상과 고해상도 대표 프레임이 저장되는 저장 매체; 상기 저해상도 동영상을 저 화질 고해상도 동영상으로 변환하는 확대 변환부; 상기 고해상도 대표 프레임에 대응하는 상기 저 화질 고해상도 동영상의 프레임과, 상기 고해상도 대표 프레임을 기초로 상기 저 화질 고해상도 동영상의 프레임들을 보정하여 고 화질 고해상도 동영상을 합성하는 고화질 동영상 합성부를 포함한다.
또한, 본 발명의 일실시예에 따른 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템은 저해상도 동영상과 고해상도 대표 프레임이 저장되는 저장 매체; 상기 저해상도 동영상을 저 화질 고해상도 동영상으로 변환하는 확대 변환부; 상기 저 화질 고해상도 동영상 프레임에서 특정 정보량보다 많은 정보가 포함된 적어도 하나의 저 화질 정보 영역을 추출하고, 상기 고해상도 대표 프레임에서 특정 정보량보다 많은 정보가 포함된 적어도 하나의 고 화질 정보 영역을 추출하는 고화질 정보 생성부; 상기 저 화질 정보 영역과 대응하는 상기 고 화질 정보 영역을 매칭하여 고 화질 고해상도 동영상을 합성하는 고화질 동영상 합성부를 포함한다.
본 발명의 일실시예들은 고해상도 동영상을 압축하지 않거나 압축하여 저장 할 때, 저장 공간을 절약하기 위해 영상을 저해상도로 축소하여 저장하고, 필요 시 복원된 저해상도 영상을 원 고해상도 동영상으로 화질 열화 없이 스케일링할 수 있다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예들을 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템의 개괄적인 모습을 도시한 도면이다.
도 1에 도시된 바와 같이, 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템은 고해상도 프레임부(101)가 고해상도(High Resolution: HR) 동영상을 저장하고 프레임 단위로 분할하여 전송하면, 축소 변환부(102)가 수신한 고해상도 동영상을 저해상도(Low Resolution: LR) 동영상으로 변환하여 저장 매체(104)에 저장하고, 프레임 그룹 추출부(103)가 상기 저해상도 동영상을 동일한 의미를 가지는 최소 단위 프레임 그룹들로 구분하고, 각각의 상기 프레임 그룹에서 대표 프레임을 추출하며, 고해상도 프레임부(101)에 저장된 상기 고해상도 동영상에서 상기 대표 프레임에 대응하는 고해상도 대표 프레임을 검색하여 저장 매체(104)에 저장한다. 이때, 동영상에서 상기 동일한 의미를 가지는 최소 단위 프레임 그룹을 샷(shot)이라 설정하며, 상기 샷을 대표하는 대표 프레임을 키 프레임(key frame)(KF)이라 할 수 있다. 또한, 상기 샷의 첫 프레임을 상기 샷의 키 프레임(KF)으로 설정할 수 있다.
또한, 확대 변환부(105)는 저장 매체(104)에 저장된 상기 저해상도 동영상의 해상도를 증가시켜 저 화질 고해상도 동영상으로 변환하고, 고화질 정보 생성부(106)는 상기 저 화질 고해상도 동영상과 상기 고해상도 대표 프레임을 기초로 고화질 정보를 복원하여 고화질 데이터베이스(107)에 저장하며, 고화질 동영상 합성부(108)가 상기 저 화질 고해상도 동영상에 고화질 데이터베이스(107)에 저장된 상기 고화질 정보를 추가하여 고 화질 고해상도 동영상을 합성한다.
본 발명의 일실시예에 따른 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템에서 동영상의 용량을 축소하여 저장하는 방법은 고해상도 프레임부(101), 축소 변환부(102), 프레임 그룹 추출부(103) 및 저장 매체(104)를 사용할 수 있다.
먼저, 고해상도 프레임부(101)는 최소한 하나의 고해상도 프레임을 저장할 수 있는 공간이며, 고해상도 동영상을 입력받으면 상기 고해상도 동영상을 프레임 단위로 분할하여 저장하고, 일정 시간이 경과하면, 저장된 고해상도 동영상의 고해상도 프레임을 축소 변환부(102)로 전송한다.
다음으로, 축소 변환부(102)는 상기 고해상도 프레임에 소정의 다운 스케일러(down-scaler)를 사용하여 저해상도로 스케일링(scaling)할 수 있으며, 상기 스케일링으로 형성된 저해상도 동영상을 저장 매체(104)에 저장할 수 있다. 이때, 축소 변환부(102)가 사용하는 다운 스케일러는 종류에 제한을 받지 않을 수 있다. 또한, 저장 매체(104)는 HDD, 플래쉬 메모리, DRAM, SRAM, SSD 등 다양한 매체를 사용할 수 있다.
이후, 프레임 그룹 추출부(103)는 축소 변환부(102)에서 생성된 저해상도 동영상을 사용하여, 샷 변화 감지(shot change detection)를 수행할 수 있다.
이때, 프레임 그룹 추출부(103)는 성능과 연산량 등을 고려하여 적합한 샷 변화 감지 기법을 채택하여 사용할 수 있다. 일례로 인접 프레임 차이(frame difference)나 인접한 프레임의 히스토그램 차이(histogram difference)의 급격한 변화량을 확인하여 검출하는 기법을 사용할 수 있으며, 상기 기법 외에도 실시간으로 샷 변화를 검출할 수 있는 기법은 모두 사용할 수 있다.
마지막으로, 프레임 그룹 추출부(103)는 샷 변화가 검출되면 해당 샷의 첫 프레임을 키 프레임(KF)으로 선정한다. 이때, 프레임 그룹 추출부(103)는 고해상도 프레임부(101)에 상기 키 프레임에 대한 정보를 전송하여, 고해상도 프레임부(101)에 저장된 고해상도 동영상 중에서 상기 키 프레임에 대응하는 키 프레임의 고해상도 버전(HRK)을 저장 매체(104)에 저장할 수 있다. 이때, 저장 매체는 상기 키 프레임의 고해상도 버전(HRK)을 상기 저해상도 동영상과 함께 저장할 수 있다.
도 2는 프레임 그룹 추출부(103)에서 저해상도 동영상에 샷 변화 감지 기법을 사용한 상태의 일례이다.
상기 저해상도 동영상은 도 2에 도시된 바와 같이 적어도 하나의 샷(210,220)으로 구분될 수 있으며 샷(210,220)은 복수의 프레임(211,213,221)을 포함할 수 있다. 또한, 샷(210, 220)의 첫 번째 프레임이 키 프레임(211,221)으로 선정될 수 있다.
또한, 상기 저해상도 동영상에 대응하여 상기 고해상도 동영상도 동일 프레임들이 포함되는 샷(210,220)으로 구분될 수 있으며, 상기 고해상도 동영상에서 키 프레임(211,221)에 대응하는 프레임을 고해상도 키 프레임(HRK)(212, 222)으로 선정할 수 있다. 이때, N번째 샷의 고해상도 키 프레임은 HRK (N)이라고 표기할 수 있다.
또한, 도 2를 참고하면 저장 매체(104)에 저장되는 프레임 (211,212,213,221,222)은 저장되지 않는 프레임(213)과 다른 색으로 표시하였다. 즉, 저해상도 동영상의 모든 프레임들과 고해상도 키 프레임만이 저장 매체(104)에 저장될 수 있다.
또한, 저장매체(104)에 프레임(211,212,213,221,222)이 저장될 경우에는 저해상도와 고해상도 간의 일관성(coherence)을 유지하기 위하여 상기 저해상도 동영상의 프레임들과 고해상도 키 프레임이 어느 샷에 속하는지에 대한 정보(index)가 함께 저장될 수 있다. 일례로, HRK (N)을 저장할 때는 N이란 index를 함께 저장할 수 있다.
또한, 샷 변화 감지 기법의 연산량이 부담이 될 경우는 균일하게 키 프레임을 정하는 방법을 사용할 수도 있다. 일례로, 0.5초에 1 프레임 혹은 1초에 1 프레임, 이런 식으로 정해진 시간 단위로 KF를 추출할 수 있다.
본 발명의 일실시예에 따른 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템에서 용량이 축소되어 저장된 동영상을 확대하여 고화질 고해상도 동영상으로 복원하는 방법은 저장 매체(104), 확대 변환부(105), 고화질 정보 생성부(106), 고화질 데이터베이스(107) 및 고화질 동영상 합성부 (108)를 사용할 수 있다.
먼저, 확대 변환부(105)는 저장 매체(104)에 저장된 상기 저해상도 동영상의 프레임들에 소정의 보간(interpolation) 방법을 사용하여 원하는 고해상도로 변환한다. 일례로, 쌍선 보간(bilinear interpolation), 입체 B스프라인(cubic B-spline), 입체 컨버루션(cubic convolution)같은 선형 스케일러(linear scaler)를 사용하여 변환할 수 있다. 이때, 변환되어 스케일 업(Scale-up)된 저해상도 프레임을 저 화질 고해상도 프레임(LRU)이라 할 수 있다.
상기 저 화질 고해상도 프레임(LRU)은 스케일 업을 함으로써 공간적 해상도는 상기 고해상도 프레임과 동일하지만, 고 주파수 성분 복원이 되질 않아 화질은 낮은 상황의 프레임이라 할 수 있다.
이때, 확대 변환부(105)는 변환하는 상기 저해상도 동영상의 프레임이 키 프레임(KF)이면, 해당 저 화질 고해상도 프레임(LRU)과 그에 대응하는 고해상도 키 프레임(HRK)을 함께 고 화질 정보 생성부(106)로 전송할 수 있다.
다음으로, 고 화질 정보 생성부(106)는 입력받은 저 화질 고해상도 프레임(LRU)과 그에 대응하는 고해상도 키 프레임(HRK)을 사용하여 고 화질의 고해상도 동영상을 합성하기 위한 고 화질 정보를 생성하여 고 화질 데이터베이스(107)에 저장한다.
마지막으로, 고화질 동영상 합성부(108)가 상기 저 화질 고해상도 프레임(LRU)에 고화질 데이터베이스(107)에 저장된 상기 고화질 정보를 추가하여 고 화질 고해상도 동영상을 합성한다.
이때, 고화질 동영상 합성부(108)가 상기 고 화질 고해상도 동영상을 합성하는 방법으로는 고해상도 키 프레임(HRK)자체를 참고 정보(reference data)로 사용하는 방법과, 고해상도 키 프레임(HRK)의 고주파 성분을 상기 참고 정보로 사용하는 방법 및 입력 영상 내 에지(edge)나 문자(texture)와 같이 정보가 많은 부분만을 사용하는 방법이 포함될 수 있다.
이와 같이, 고화질 동영상 합성부(108)가 상기 고 화질 고해상도 동영상을 합성하는 방법에 대해서는 도 3 내지 도 5의 일례를 통해 더욱 자세히 설명한다.
도 3은 고해상도 키 프레임 자체를 참고 정보로 사용하여 상기 고 화질 고해상도 프레임을 합성하는 과정의 일례이다.
상기 고해상도 키 프레임(HRK)자체를 참고 정보로 사용하는 방법을 사용할 경우에는 별도의 상기 고화질 정보를 필요로 하지 않으므로, 고 화질 정보 생성부(106)는 입력받은 저 화질 고해상도 프레임(LRU)과 그에 대응하는 고해상도 키 프 레임(HRK)을 바로 고 화질 데이터베이스(107)에 저장하여 해당 샷의 나머지 저해상도 프레임들에 대응하는 고해상도 프레임들을 합성하는데 사용할 수 있다.
일례로 도 3에 도시된 바와 같이 N 번째 샷에 대해서는 LRU (1).....LRU (n+1) 과 HRS (1).....HRS (n+1)로 구성된 데이터베이스가 형성될 수 있다. 이때, LRU (1)(301)은 해당 샷의 첫 번째 저 화질 고해상도 프레임(LRU)을 의미하고, HRK (N)은 해당 샷의 첫 고해상도 프레임이므로 변화나 합성 없이 고 화질 동영상 합성부(HR synthesizer)(108)를 통해 그대로 출력될 수 있다. 따라서, HRK (N)은 HRS (1)(302)로 표시할 수 있다. 이때, S는 HR synthesis를 의미하며, (1)은 해당 shot의 첫 고해상도 프레임을 의미한다.
이때, 고화질 동영상 합성부(108)는 N 번째 샷 내의 n번째 LRU 프레임(303, 305, 307)과 HRK (N)(302), LRU (1)(301)의 세 프레임을 이용하여 고해상도 프레임인 HRS (n)(304, 306, 308)을 합성할 수 있다.
따라서, HRS (n)은 상기 세 가지의 함수
Figure 112008067778399-pat00001
로 표기할 수 있다.
도 4는 상기 도 3에서 합성된 상기 고 화질 고해상도 프레임을 사용하여 상기 고화질 고해상도 동영상을 합성하는 과정의 일례이다.
고화질 동영상 합성부(108)가 상기 도 3에서 합성된 상기 고 화질 고해상도 프레임을 사용하여 상기 고화질 고해상도 동영상을 합성하는 과정은 총 3단계로 구성될 수 있다.
먼저, 고화질 동영상 합성부(108)는 소정의 블록 단위로 저해상도 동영상들 간 움직임을 추정하여 움직임 벡터 (MV)를 구한다. 일례로 LRU (n)(410)과 LRU (1)(420)간에 소정의 블록 단위(411)의 위치 변화를 사용하여 소정의 블록 단위(411)의 움직임을 추정한다. 이때, 고화질 동영상 합성부(108)는 전역 탐색이나 고속 움직임 추정 등 다양한 방법 중 하나를 선택하여 사용할 수 있다.
상기 고화질 고해상도 동영상을 합성하는 과정은 블록 단위로 이루어지며, 합성 처리 블록의 크기를 L x L이라 하면, L x L 블록은 움직임 탐색 블록 크기와 일치할 수 있다. 이때, 상기 탐색 블록의 크기는 4x4, 8x8 등 다양한 크기를 사용할 수 있다.
다음으로, 고화질 동영상 합성부(108)는 대응하는 고 주파수 성분 영역을 추출한다. 이때, HRK (N)(430) 내에서 움직임 벡터에 대응하는 LRU (1)영역(421)과 동일한 위치의 영역(431)이 추출될 수 있다.
이때, 추출되는 HRK (N)의 영역(431)은 상기 움직임 탐색 블록의 크기보다 크거나 같아야 한다. 즉, HRK (N)의 영역(431)의 크기는 움직임 벡터(MV)에 대응하는 HRK (N)영역 내 L x L을 포함하는 M x M 영역이 될 수 있다. 이때, M은 L보다 크거나 같다.
마지막으로 고화질 동영상 합성부(108)는 HRK (N)(430)에서 추출된 M x M 크기의 영역(431)에 기반하여 LRU (n)(410)의 해당 L x L 크기의 영역(411)에 대응하는 HR 정보를 합성한다. 구체적으로는 HRK (N)(430)에서 추출된 M x M 크기 영역(431)에 움직임 벡터(MV)와 정합되는 L x L 크기의 영역(441)을 추출할 수 있다.
그러나 여기에는 몇 가지 변수가 있다. 확대 변환부(105)에서 저해상도 동영상을 저 화질 고해상도 동영상으로 변환하는 과정에서 저해상도 동영상과 고해상도 동영상 간 서브 픽셀(sub-pixel)단위의 부적합한 변환(mismatch)이 존재할 수도 있고, 상기 저해상도 동영상에서 블록 간 움직임 추정 자체가 부정확할 수도 있다.
따라서, LRU (n)(410)의 각 L x L블록에 대해 대응하는 HRK (N)(430)의 M x M 영역을 탐색 영역으로 한 서브 픽셀 움직임 추정을 실행할 수 있다. 이때, 이미 고 화질 고해상도 동영상으로 합성된 주변 화소들과의 평탄도(smoothness)를 고려한 움직임 추정이 필요하다.
고화질 동영상 합성부(108)는 후보 블록과 주변에 이미 합성 완료된 블록들 간에 조화를 고려하여 매칭한다. 일례로 L x L이 4 x 4라고 할 경우 좌측과 상단의 블록에 포함된 에지 화소들 간의 차이를 구하고 그 차이가 작은 블록을 선정할 수 있다. 이때, 하기 수학식 1의 값이 최소가 되는 블록을 선정할 수 있다.
Figure 112008067778399-pat00002
이때, SAD (Sum of Absolute Difference)는 정합되는 블록간의 절대 차의 합이다. 즉, 식 (1)이 최소가 되게 하는 HRK (N)의 탐색 영역 내 L x L 블록이 최종 후보로 선정될 수 있다.
고해상도 키 프레임(HRK)의 고주파 성분을 상기 참고 정보로 사용하는 방법은 상기 저 화질 고해상도 동영상(LRU)에 존재하는 저 주파수 성분은 그대로 이용하고, 고 화질 데이터베이스(107)로부터 고 주파수 성분만 얻어서 추가하는 방식이다.
이때, 고 화질 정보 생성부(106)는 각각의 키 프레임(KF)에 대해 상기 저 화질 고해상도 동영상(LRU)에 존재하지 않은 고 주파수 성분을 상기 고해상도 키 프레 임(HRK)로부터 구할 수 있다. 구체적으로 고 화질 정보 생성부(106)는 각각의 키 프레임(KF)에 대응하는 상기 저 화질 고해상도 동영상(LRU)과 상기 고 주파수 성분을 고해상도 키 프레임(HRK)으로부터 고 주파수 (High Frequency: HF) 성분을 추출할 수 있다.
이때, 고 화질 정보 생성부(106)는 상기 고해상도 키 프레임(HRK)을 HPF (high pass filtering)하거나 BPF (Band Pass Filtering)을 할 수도 있고, 상기 고해상도 키 프레임(HRK)에서 상기 저 화질 고해상도 동영상(LRU)을 빼서 고 주파수 성분만 갖는 프레임(HRK(HF))을 얻을 수도 있다. 이때, 고 화질 정보 생성부(106)는 얻어진 고 주파수 성분만 갖는 프레임 HRK(HF)를 대응하는 상기 저 화질 고해상도 동영상(LRU)과 함께 프레임 단위로 고 화질 데이터베이스(107)에 저장할 수 있다.
이때, 고화질 동영상 합성부(108)는 고 화질 데이터베이스(107)에 저장되어 있는 각 샷에 대응하는 고 주파수 성분만 갖는 프레임 HRK(HF)를 대응하는 상기 저 화질 고해상도 동영상(LRU)을 이용하여 키 프레임 이후의 저해상도 프레임들을 고해상도 프레임으로 합성할 수 있다.
먼저, 고화질 동영상 합성부(108)는 소정의 블록 단위로 저해상도 동영상들 간 움직임을 추정하여 움직임 벡터 (MV)를 구한다. 일례로 LRU (n)과 LRU (1) 간에 소정의 블록 단위의 위치 변화를 사용하여 소정의 블록 단위의 움직임을 추정한다. 이때, 고화질 동영상 합성부(108)는 전역 탐색이나 고속 움직임 추정 등 다양한 방법 중 하나를 선택하여 사용할 수 있다.
다음으로, 고화질 동영상 합성부(108)는 대응하는 고 주파수 성분 영역을 추출한다. 이때, 고 주파수 성분만 갖는 프레임 HRK(HF) 내에서 움직임 벡터에 대응하는 LRU (1)영역과 동일한 위치의 영역이 추출될 수 있다.
마지막으로 고화질 동영상 합성부(108)는 고 주파수 성분만 갖는 프레임 HRK(HF)에서 추출된 M x M 크기의 영역에서 최적의 L x L 고 주파수 영역을 찾는다. 즉, LRU (n)의 현재 L x L 영역에 적합한 고 주파수 성분 블록을 합성한다. 구체적으로는 고 주파수 성분만 갖는 프레임 HRK(HF)의 M x M 영역에서 정확하게 서브 픽셀 움직임 벡터(MV)와 정합되는 L x L 영역을 추출한다.
이때, 고화질 동영상 합성부(108)는 서브 픽셀 움직임 추정을 수행할 때, 탐색 중인 각 L x L 후보 블록과 LRU (n)의 현재 L x L 블록을 더하여 후보 합성 블록을 생성하고, 그 후보 블록과 주변의 이미 합성 완료된 블록들 간에 조화를 고려하여 상기 수학식 1을 이용하여 매칭한다. 즉, 상기 수학식 1을 최소로 하는 고 주파수 성분을 찾는 것이다.
도 5는 입력 영상 내 정보가 많은 부분을 추출하는 상태의 일례이다.
상기 입력 영상 내 정보가 많은 부분만을 사용하여 상기 고 화질 고해상도 프레임을 합성하는 방법은 상기 입력 영상 내 에지(edge)나 문자(texture)와 같이 정보가 많은 부분이나 보간(interpolation)이 잘 되지 않는 부분에 대한 정보만을 고화질 데이터베이스(107)에 저장함으로써 고화질 데이터베이스(107)에 저장되는 정보량을 감소하고, 그에 따라 고 화질 동영상 생성부(108)가 사용하는 정보량이 감소하여 고 화질 동영상 생성부(108)의 연산량을 감소하는 방법이다.
먼저, 고 화질 정보 생성부(106)는 각 샷의 키 프레임에 대응하는 해당 샷의 첫 고해상도 프레임 HRK (N)에서 소벨 연산자(Sobel operator)나 케니 에지 검색자(Canny edge detector)등을 활용하여 에지를 추출한다. 구체적으로 고 화질 정보 생성부(106)는 해당 샷의 첫 고해상도 프레임 HRK (N)(510)에서 에지 에너지가 특정 값 이상인 영역을 도 5에 도시된 바와 같이 블록 단위(511, 512, 513, 514, 515, 516)로 추출하며, 같은 위치의 저 화질 고해상도 프레임 LRU (1)(520)의 영역(521, 522, 523, 524, 525, 526)들도 함께 추출한다.
도 5를 참고하면 HRK (N)(510)과 LRU (1) (520)에서 T개의 영역이 추출되었으며, 상기 영역들의 크기는 각각 w x w, W x W라고 할 수 있다. 이때, 일반적으로 w보 다 W가 크거나 같다. 또한, 경우에 따라 후보 블록들은 적당히 오버랩(overlap)될 수도 있다.
이때, 고 화질 정보 생성부(106)는 블록 단위(511, 512, 513, 514, 515, 516)와 영역(521, 522, 523, 524, 525, 526)만을 고화질 데이터베이스(107)에 저장할 수 있다.
또한, 고 화질 정보 생성부(106)는 고 주파수 성분만 갖는 프레임 HRK(HF) (N)에서 바로 고 주파수 에너지가 큰 영역을 차례로 추출할 수도 있다.
이때, 고화질 동영상 합성부(108)는 고 화질 데이터베이스(107)에 저장되어 있는 블록 단위(511, 512, 513, 514, 515, 516)와 영역(521, 522, 523, 524, 525, 526)을 이용하여 키 프레임 이후의 저해상도 프레임들을 고해상도 프레임으로 합성할 수 있다.
먼저, 고화질 동영상 합성부(108)는 저 화질 고해상도 프레임 LRU (n) 에 대해서도 소벨 연산자(Sobel operator)나 케니 에지 검색자(Canny edge detector)등을 활용하여 에지를 추출하고 에지 에너지가 많은 영역을 L x L 블록 단위로 추출한다.
그 다음에 고화질 동영상 합성부(108)는 선별된 각 L x L 블록별로 고화질 데이터베이스(107) 내의 T개의 탐색 후보 영역과 비교를 한다. 이때, 비교를 하는 방식은 움직임 추정 시 사용하는 블록 매칭이나 히스토그램 매칭 등 다양한 방법이 사용될 수 있다.
그리고, 고화질 동영상 합성부(108)는 이런 매칭 방법들을 사용하여 LRU (n) 내 L x L 블록과 유사한 LRU (n) 내 w x w 블록들을 찾는다. 구체적으로는 대응되는 HRK (N) 내 블록들을 이용하여 LRU (n) 내 L x L블록에 적합한 고해상도 블록을 찾는다.
그 다음에 고화질 동영상 합성부(108)는 상기 수학식 1을 사용하여 전역 탐색 방법이나 고속 탐색 기법 등을 활용하여 고해상도 블록을 얻는다.
마지막으로 고화질 동영상 합성부(108)는 에지 에너지가 적어서 상기 방법이 적용되지 않는 영역들에 확대 변환부(105)에서 변환된 저 화질 고해상도 영상을 합성하여 고 화질 동영상으로 변환할 수 있다.
상기 서술한 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템 및 방법은 동영상을 압축하지 않고 저장하는 경우에 대한 것이나 동영상을 압축으로 저장하는 경우에도 압축/복원 과정을 제외하고는 상기 서술한 모든 과정을 그대로 적용할 수 있다.
즉, 저 화질 고해상도 프레임(LRU)과 그에 대응하는 고해상도 키 프레임(HRK)들이 압축 형태로 저장되었다가 재생되는 경우에는 저장매체에서 재생할 때 해당 기술의 디코더(decoder)를 통과시킨 후 상기 방법을 적용할 수 있다.
이때, 저 화질 고해상도 프레임(LRU)과 그에 대응하는 고해상도 키 프레 임(HRK)들은 MPEG2, MPEG4, H. 264, VC1 등 종래 압축 기술은 물론 임의의 동영상 압축 기법으로 압축하여 저장할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템은 저장된 저해상도 영상을 고해상도 동영상으로 변환 시 고 화질 참고 정보로 입력된 고해상도 동영상 자체를 채용하여 화질을 향상할 수 있으며, 상기 고 화질 참고 정보로 각 샷의 키 프레임을 채택하여 화질 개선 효과를 극대화할 수 있다.
본 발명에 따른 고해상도 동영상의 효율적 저장을 위한 동영상 변경 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 시스템이 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 시스템은 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따른 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템의 개괄적인 모습을 도시한 도면이다.
도 2는 프레임 그룹 추출부에서 저해상도 동영상에 샷 변화 감지 기법을 사용한 상태의 일례이다.
도 3은 고해상도 키 프레임 자체를 참고 정보로 사용하여 상기 고 화질 고해상도 프레임을 합성하는 과정의 일례이다.
도 4는 상기 도 3에서 합성된 상기 고 화질 고해상도 프레임을 사용하여 상기 고화질 고해상도 동영상을 합성하는 과정의 일례이다.
도 5는 입력 영상 내 정보가 많은 부분을 추출하는 상태의 일례이다.

Claims (5)

  1. 고해상도 동영상을 저해상도 동영상으로 변환하는 축소 변환부;
    상기 고해상도 동영상을 저장하고 프레임 단위로 분할하여 상기 축소 변환부로 전송하는 고해상도 프레임부;
    상기 저해상도 동영상을 동일한 의미를 가지는 최소 단위 프레임 그룹들로 구분하고, 각각의 상기 프레임 그룹에서 대표 프레임을 추출하며, 상기 고해상도 프레임부에 저장된 상기 고해상도 동영상에서 상기 대표 프레임에 대응하는 고해상도 대표 프레임을 검색하는 프레임 그룹 추출부; 및
    상기 저해상도 동영상과 상기 고해상도 대표 프레임이 저장되는 저장 매체
    를 포함하는 고해상도 동영상의 효율적 저장을 위한 동영상 축소 시스템.
  2. 저해상도 동영상과 고해상도 대표 프레임이 저장되는 저장 매체;
    상기 저해상도 동영상을 저 화질 고해상도 동영상으로 변환하는 확대 변환부;
    상기 저 화질 고해상도 동영상과 상기 고해상도 대표 프레임을 기초로 고화질 정보를 복원하는 고화질 정보 생성부; 및,
    상기 저 화질 고해상도 동영상에 상기 고화질 정보를 추가하여 고 화질 고해상도 동영상을 합성하는 고화질 동영상 합성부
    를 포함하는 고해상도 동영상의 효율적 저장을 위한 동영상 확대 시스템.
  3. 제2항에 있어서,
    상기 고화질 정보 생성부는,
    상기 저 화질 고해상도 동영상에서 기 설정된 소정의 블록 단위로 움직임을 추정하여 움직임 벡터를 계산하는 움직임 벡터 계산부;
    상기 저 화질 고해상도 동영상에서 상기 움직임 벡터에 대응하는 저 화질 영역을 확인하는 저화질 영역 확인부;
    상기 고해상도 대표 프레임에서 상기 저 화질 영역과 동일한 위치의 고 화질 영역을 추출하는 고화질 영역 추출부; 및
    상기 고 화질 영역에서 상기 움직임 벡터와 정합되는 고 주파수 성분 영역을 추출하여 상기 고화질 정보를 생성하는 것
    을 특징으로 하는 고해상도 동영상의 효율적 저장을 위한 동영상 확대 시스템.
  4. 저해상도 동영상과 고해상도 대표 프레임이 저장되는 저장 매체;
    상기 저해상도 동영상을 저 화질 고해상도 동영상으로 변환하는 확대 변환부; 및,
    상기 고해상도 대표 프레임에 대응하는 상기 저 화질 고해상도 동영상의 프레임과, 상기 고해상도 대표 프레임을 기초로 상기 저 화질 고해상도 동영상의 프레임들을 보정하여 고 화질 고해상도 동영상을 합성하는 고화질 동영상 합성부
    를 포함하는 고해상도 동영상의 효율적 저장을 위한 동영상 확대 시스템.
  5. 저해상도 동영상과 고해상도 대표 프레임이 저장되는 저장 매체;
    상기 저해상도 동영상을 저 화질 고해상도 동영상으로 변환하는 확대 변환부;
    상기 고해상도 대표 프레임에서 에지 에너지가 기 설정된 특정 값보다 큰 적어도 하나의 고 화질 정보 영역을 추출하고, 상기 저 화질 고해상도 동영상 프레임에서 상기 추출된 고화질 정보 영역과 같은 위치의 저 화질 정보 영역을 추출하는 고화질 정보 생성부; 및,
    상기 저 화질 정보 영역과 대응하는 상기 고 화질 정보 영역을 매칭하여 고 화질 고해상도 동영상을 합성하는 고화질 동영상 합성부
    를 포함하는 고해상도 동영상의 효율적 저장을 위한 동영상 확대 시스템.
KR1020080094662A 2008-09-26 2008-09-26 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템및 방법 KR100987584B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080094662A KR100987584B1 (ko) 2008-09-26 2008-09-26 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080094662A KR100987584B1 (ko) 2008-09-26 2008-09-26 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템및 방법

Publications (2)

Publication Number Publication Date
KR20100035342A KR20100035342A (ko) 2010-04-05
KR100987584B1 true KR100987584B1 (ko) 2010-10-12

Family

ID=42213240

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080094662A KR100987584B1 (ko) 2008-09-26 2008-09-26 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템및 방법

Country Status (1)

Country Link
KR (1) KR100987584B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102136848B1 (ko) * 2013-07-15 2020-07-22 삼성전자 주식회사 영상 처리 장치, 영상 처리 시스템 및 영상 처리 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040070304A (ko) * 2002-01-10 2004-08-06 코닌클리케 필립스 일렉트로닉스 엔.브이. 표준 화질의 호환 매체 상에 고화질 자료를 설치하는시스템 및 방법
KR20050084219A (ko) * 2002-12-10 2005-08-26 코닌클리케 필립스 일렉트로닉스 엔.브이. Ｍｐｅｇ-2 ｍｐ＠ｍｌ 압축된 비디오로부터 고화질 비디오효과를 생성하기 위한 시스템 및 방법
JP2006352778A (ja) 2005-06-20 2006-12-28 Funai Electric Co Ltd 再生システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040070304A (ko) * 2002-01-10 2004-08-06 코닌클리케 필립스 일렉트로닉스 엔.브이. 표준 화질의 호환 매체 상에 고화질 자료를 설치하는시스템 및 방법
KR20050084219A (ko) * 2002-12-10 2005-08-26 코닌클리케 필립스 일렉트로닉스 엔.브이. Ｍｐｅｇ-2 ｍｐ＠ｍｌ 압축된 비디오로부터 고화질 비디오효과를 생성하기 위한 시스템 및 방법
JP2006352778A (ja) 2005-06-20 2006-12-28 Funai Electric Co Ltd 再生システム

Also Published As

Publication number Publication date
KR20100035342A (ko) 2010-04-05

Similar Documents

Publication Publication Date Title
Liu et al. Image compression with edge-based inpainting
TWI455588B (zh) 以雙向、局部及全域移動評估為基礎之框率轉換
JP5555706B2 (ja) 高解像度映像獲得装置およびその方法
US8634471B2 (en) Moving image encoding apparatus, control method thereof and computer-readable storage medium
US6501794B1 (en) System and related methods for analyzing compressed media content
US7957610B2 (en) Image processing method and image processing device for enhancing the resolution of a picture by using multiple input low-resolution pictures
JP5727873B2 (ja) 動きベクトル検出装置、符号化装置、及びこれらのプログラム
JP2006174415A (ja) 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
JP5238220B2 (ja) 解像度変換装置、方法およびプログラム
US20040091171A1 (en) Mosaic construction from a video sequence
JP2009147807A (ja) 画像処理装置
CN113597764B (zh) 视频解码方法、***和存储介质
JP5947092B2 (ja) 画像処理方法、画像処理装置、集積回路およびプログラム
KR101883265B1 (ko) 패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 방법들 및 장치
US10425656B2 (en) Method of inter-frame prediction for video encoding and decoding
JP5313326B2 (ja) 画像復号装置、方法およびプログラム、並びに、画像符号化装置、方法およびプログラム
US9948859B2 (en) Video image alignment for video stabilization
US9706220B2 (en) Video encoding method and decoding method and apparatuses
KR101805625B1 (ko) 영상 스케일링을 통한 영상 레이트 변환 방법 및 그 장치
JP6102938B2 (ja) 画像処理装置、及び、画像処理方法
CN114531596A (zh) 图像处理方法和装置
KR100987584B1 (ko) 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템및 방법
Pérez et al. Real-time stereo matching using memory-efficient Belief Propagation for high-definition 3D telepresence systems
JP2005250561A (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
US20230110665A1 (en) Image processing apparatus and method, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130913

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140818

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151001

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160912

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee