KR100809354B1

KR100809354B1 - 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법

Info

Publication number: KR100809354B1
Application number: KR20070011197A
Authority: KR
Inventors: 백아론; 박두식
Original assignee: 삼성전자주식회사
Priority date: 2007-02-02
Filing date: 2007-02-02
Publication date: 2008-03-05
Also published as: CN101237579A; US8457205B2; EP1968326A2; JP5128976B2; CN101237579B; JP2008193691A; EP1968326A3; US20080187048A1

Abstract

본 발명은 비디오 디코더에서 복원된 프레임 및 모션 정보를 이용하여 프레임율을 업컨버팅하는 장치 및 방법에 관한 것이다.

본 발명의 일 실시예에 따른, 비디오 디코더에서 복원된 모션 정보 및 복원된 프레임을 이용하여 보간 프레임을 생성함으로써 상기 복원된 프레임의 프레임율을 업컨버팅 하는 장치는, 상기 복원된 프레임에서 현재 블록의 모션 벡터 및 상기 현재 블록의 주변 블록의 모션 벡터들을 이용하여 상기 현재 블록의 모션 벡터를 필터링함으로써 상기 보간 프레임을 위한 모션 벡터를 리샘플링하는 모션 벡터 리샘플링부와, 상기 리샘플링된 모션 벡터에 의하여 상기 복원된 프레임을 모션 보상함으로써 상기 보간 프레임을 생성하는 모션 보상부와, 프레임의 시간적 순서에 따라 상기 복원된 프레임 및 상기 보간 프레임 중에서 하나를 선택하여 출력하는 스위치로 이루어진다.

비디오 코딩, 모션 벡터, 모션 보상, 모션 벡터 리샘플링

Description

복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법{Apparatus and method for up-converting frame-rate of decoded frames}

도 1은 프레임율 업샘플링의 개념을 간략히 보여주는 도면.

도 2는 본 발명의 일 실시예에 따른 프레임율 업컨버팅 장치의 구성을 도시하는 블록도.

도 3은 H.264에 따른 다양한 크기를 갖는 가변 블록들의 예를 보여주는 도면.

도 4는 다중 프레임 참조의 개념을 보여주는 도면.

도 5는 본 발명의 일 실시예에 따른 디코더의 구성을 보여주는 블록도.

도 6은 본 발명의 일 실시예에 따른 모션 벡터 리샘플링부의 구성을 보다 자세히 도시하는 블록도.

도 7은 블록 크기 규준화의 일 예를 보여주는 도면.

도 8은 규준화된 블록 크기보다 큰 블록을 규준화된 블록 크기로 분할하는 예를 보여주는 도면.

도 9는 벡터 메디안 연산의 평가를 위하여 사용되는 블록들을 선택하는 예를 보여주는 도면.

도 10은 본 발명의 일 실시예에 따른 필터링 과정 중 가중치를 할당하는 예 를 보여주는 도면.

도 11은 평가를 위한 블록들의 종류 및 크기에 따라 서로 다른 가중치가 설정되는 예를 보여주는 도면.

도 12는 고정된 커널 크기가 사용하는 예를 보여주는 도면.

도 13은 본 발명의 일 실시예에 따른 검증 기법을 보여주는 그래프.

(도면의 주요부분에 대한 부호 설명)

100 : 프레임율 업컨버팅 장치 200 : 디코더

210 : 엔트로피 복호화부 220 : 역 양자화부

230 : 역변환부 240 : 버퍼

235 : 가산기 250, 400 : 모션 보상부

300 : 모션 벡터 리샘플링부 310 : 모션 벡터 정규화부

320 : 블록 크기 규준화부 330 : 모션 벡터 계산부

340 : 모션 벡터 검증부 350 : 모션 벡터 삽입부

500 : 스위치

본 발명은 비디오 코딩 기술에 관한 것으로, 보다 상세하게는 비디오 디코더에서 복원된 프레임 및 모션 정보를 이용하여 프레임율을 업컨버팅하는 장치 및 방법에 관한 것이다.

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 특성을 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송 시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 시각적 중복을 제거함으로써 데이터를 압축할 수 있다. 일반적인 비디오 코딩 방법에 있어서, 비디오 데이터의 시간적 중복은 모션 보상에 근거한 시간적 필터링(temporal filtering)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다.

비디오 데이터의 중복을 제거한 결과는 다시 양자화 과정을 통하여 소정의 양자화 스텝에 따라서 손실 부호화된다. 상기 양자화된 결과는 최종적으로 엔트로피 부호화(entropy coding)를 통하여 최종적으로 무손실 부호화된다.

이러한 비디오 데이터의 압축 기법은 디지털 TV, DVD 플레이어 등과 같이 고용량의 데이터 처리가 가능한 기기로부터, 휴대폰, PDA(Personal Digital Assistant), 디지털　캠코더　등과　같이 상대적으로 저용량의 데이터의 처리만이 가능한 모바일 기기에 이르기까지 다양한 기기들에 채택되어 있다.

일반적으로, 이러한 모바일 기기는, 데이터 저장 공간, 네트워크 통신 대역폭, 연산 처리 능력 등이 충분하지 못하기 때문에, 사용되는 비디오 데이터의 해상도나 프레임율 등도 상대적으로 낮기 마련이다. 그런데, 휴대용 기기의 LCD(Liquid Crystal Display) 패널 상에서 재생되는 낮은 프레임율의 비디오 영상은 사용자에게 다소 부자연스럽게 보일 수 있다.

이러한 문제점을 해결하기 위하여, 코딩된 비디오가 갖는 프레임율을 업컨버팅(up-converting)하는 기법이 제안되었다. 이러한 프레임율 업컨버팅이란 소정의 프레임율로 코딩된 비디오의 프레임율을 향상시키는 작업을 의미한다. 예를 들어, 도 1에 도시하는 바와 같이, 원래 프레임(코딩된 비디오에서의 프레임)의 프레임율이 15Hz라고 할 때, 각 프레임 사이에 새로운 보간 프레임(interpolated frame)을 추가하면 총 30Hz의 프레임율을 갖는 비디오 프레임을 얻을 수 있다. 이 때, 원래의 프레임으로부터 보간 프레임을 어떻게 구하는가가 중요한 문제이다. 그런데, 만약 인코더에서와 같이 별도의 모션 추정 과정을 통하여 보간 프레임을 구한다면 상당한 계산량이 요구되기 때문에 모바일 기기에서의 비디오 재생에는 적합하지 않다.

따라서, 별도의 모션 추정 과정 없이, 코딩된 비디오에 이미 포함되어 있는 모션 벡터를 활용하여, 프레임율 업컨버전을 구현할 필요성이 있다.

본 발명이 이루고자 하는 기술적 과제는, 디코딩된 모션 벡터로부터 실제 모션에 가까운 모션 벡터를 리샘플링하여, 프레임율 업컨버전을 효율적으로 달성할 수 있는 기술을 제공하고자 하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기한 기술적 과제를 달성하기 위하여, 비디오 디코더에서 복원된 모션 정보 및 복원된 프레임을 이용하여 보간 프레임을 생성함으로써 상기 복원된 프레임의 프레임율을 업컨버팅 하는 장치로서, 상기 복원된 프레임에서 현재 블록의 모션 벡터 및 상기 현재 블록의 주변 블록의 모션 벡터들을 이용하여 상기 현재 블록의 모션 벡터를 필터링함으로써 상기 보간 프레임을 위한 모션 벡터를 리샘플링하는 모션 벡터 리샘플링부; 상기 리샘플링된 모션 벡터에 의하여 상기 복원된 프레임을 모션 보상함으로써 상기 보간 프레임을 생성하는 모션 보상부; 및 프레임의 시간적 순서에 따라 상기 복원된 프레임 및 상기 보간 프레임 중에서 하나를 선택하여 출력하는 스위치를 포함한다.

상기한 기술적 과제를 달성하기 위하여, 비디오 디코더에서 복원된 모션 정보 및 복원된 프레임을 이용하여 보간 프레임을 생성함으로써 상기 복원된 프레임의 프레임율을 업컨버팅 하는 방법으로서, 상기 복원된 프레임에서 현재 블록의 모션 벡터 및 상기 현재 블록의 주변 블록의 모션 벡터들을 이용하여 상기 현재 블록 의 모션 벡터를 필터링함으로써 상기 보간 프레임을 위한 모션 벡터를 리샘플링하는 단계; 상기 리샘플링된 모션 벡터에 의하여 상기 복원된 프레임을 모션 보상함으로써 상기 보간 프레임을 생성하는 단계; 및 프레임의 시간적 순서에 따라 상기 복원된 프레임 및 상기 보간 프레임 중에서 하나를 선택하여 출력하는 단계를 포함한다.

이하 첨부된 도면들을 참조하여 본 발명의 일 실시예를 상세히 설명한다.

도 2는 본 발명의 일 실시예에 따른 프레임율 업컨버팅 장치(100)의 구성을 도시하는 블록도이다. 업컨버팅 장치(100)는 디코더(200), 모션 벡터 리샘플링부(300), 모션 보상부(400) 및 스위치(500)를 포함하여 구성될 수 있다.

디코더(200)는 인코딩된 비디오 스트림(이하 단순히 인코딩된 스트림이라고 함)으로부터 프레임 및 모션 정보를 복원한다. 본 발명에서 모션 정보에는 각 블록에 할당된 모션 벡터들이 적어도 포함되며, 블록의 종류, 블록 파티션 정보, 참조 프레임 오프셋 등이 더 포함될 수 있다. 블록의 종류는 해당 블록이 시간적 예측을 통하여 얻은 블록(이하 예측 블록이라고 함)인지, 시간적 예측 없어 얻은 블록(이하 인트라 블록이라고 함)인지를 나타낸다. 블록 파티션 정보는 H.264에서 사용하는 가변 크기의 블록 매칭 기법에 따른 해당 블록의 크기에 관한 정보이다. 도 3을 참조하면, 모션 벡터가 할당되는 블록은 16×16, 16×8, 8×16, 8×8, 8×4, 4×8 및 4×4 등 다양한 픽셀 크기를 가질 수 있다.

도 4는 다중 프레임 참조의 개념을 보여주는 도면이다. H.264 표준에서는 현재 프레임(41)의 블록들은 각각 현재 프레임(41)보다 앞서는 서로 다른 프레임 들(42)을 참조하는 것을 허용하고 있다. 이 때, 현재 프레임(41)과의 거리에 따라 4개의 프레임(42)들의 참조 프레임 오프셋은 각각 4에서 1까지의 값이 된다(거리가 멀수록 오프셋이 크다). 현재 프레임(41)에는 모션 벡터를 필요로 하는 예측 코딩 블록(predictive-coding block), 모션 벡터를 필요로 하지 않는 인트라 코딩　블록(intra-coding block)　등이　될　수　있다. 따라서, 현재 프레임(41)의 모든 블록들이 모션 벡터를 갖는 것은 아니다.

도 5는 본 발명의 일 실시예에 따른 디코더(200)의 구성을 보여주는 블록도이다.

엔트로피 복호화부(210)는 무손실 복호화를 수행하여, 인코딩된 스트림으로부터 모션 정보와, 코딩된 잔차(coded residual)를 추출한다. 상기 무손실 복호화에는 가변 길이 복호화, 산술 복호화, 허프만 복호화 등 다양한 복호화 기법이 이용될 수 있다. 상기 추출된 잔차는 역 양자화부(220)에 제공되고, 상기 모션 정보는 모션 보상부(250)에 제공된다.

역 양자화부(220)는 엔트로피 복호화부(210)로부터 제공되는 잔차를 역 양자화한다. 이러한 역 양자화 과정은 양자화 과정에서 사용된 것과 동일한 양자화 테이블을 이용하여 양자화 과정에서 생성된 인덱스로부터 그에 매칭되는 값을 복원하는 과정이다.

역 변환부(230)는 상기 역 양자화된 결과에 대하여 역 변환을 수행한다. 이러한 역 변환은 인코더 단에서의 변환 과정의 역으로 수행되며, 구체적으로 역 DCT 변환, 역 웨이브렛 변환 등이 사용될 수 있다. 상기 역 변환의 결과, 즉 복원된 잔 차 신호는 가산기(235)에 제공된다.

모션 보상부(250)는 엔트로피 복호화부(210)로부터 제공되는 모션 정보를 이용하여, 상기 현재 프레임에 대한 참조 프레임(이미 복원되어 버퍼(240)에 저장되어 있음)을 모션 보상함으로써 예측 신호를 생성한다.

가산기(235)는 역 변환부(230)로부터 제공되는 복원된 잔차와 상기 생성된 예측 신호를 가산하여 현재 프레임을 복원한다. 복원된 현재 프레임은 버퍼(240)에 일시 저장되었다가 다른 프레임의 복원을 위하여 이용될 수 있다.

다시 도 2를 참조하면, 디코더(200)의 엔트로피 복호화부(210)로부터 제공되는 모션 정보는 모션 벡터 리샘플링부(300)에 제공되고, 디코더(200)에서 복원된 프레임은 모션 보상부(400) 및 스위치(500)에 제공된다.

모션 벡터 리샘플링부(300)는 디코더(200)로부터 제공되는 모션 정보를 이용하여, 보간 프레임의 생성을 위한 모션 벡터를 리샘플링하고, 리샘플링된 모션 벡터를 모션 보상부(400)에 제공한다. 본 발명의 일 실시예에 따른 모션 벡터 리샘플링부(300)의 보다 상세한 동작에 대해서는 도 6을 참조하여 후술하기로 한다.

모션 보상부(400)는 리샘플링된 모션 벡터(및 기타 모션 정보)를 입력으로 하여 미리 복원된 프레임을 모션 보상함으로써 보간 프레임을 생성한다.

스위치(500)는 프레임율 업컨버전을 실행하기 위하여, 시간적 순서(temporal order)에 따라 디코더(200)로부터 제공되는 복원된 프레임 및 모션 보상부(400)로부터 제공되는 보간 프레임 중에서 하나를 선택하여 출력한다. 디코더(200), 모션 벡터 리샘플링부(300) 또는 모션 보상부(400)에는 다중 프레임들의 모션 정보를 저 장하는 데 사용되는 버퍼가 포함되어 있을 수 있다.

도 6은 도 2의 모션 벡터 리샘플링부(300)의 구성을 보다 자세히 도시하는 블록도이다. 모션 벡터 리샘플링부(300)는 모션 벡터 정규화부(motion vector normalizer; 310), 블록 크기 규준화부(block size regularizer; 320), 모션 벡터 계산부(motion vector calculator; 330), 모션 벡터 검증부(motion vector verifier; 340) 및 모션 벡터 삽입부(motion vector filler; 350)를 포함하여 구성될 수 있다.

일반적으로, 비디오 인코더에서는, 최소 코드 크기를 위하여 최소의 모션 보상된 잔차 값을 생성하는 모션 벡터를 찾는 방법을 사용하므로 이렇게 구한 모션 벡터는 실제 객체의 모션과는 상이할 수 있기 때문이다. 또한, 모션 벡터는 선행하는 서로 다른 참조 프레임들을 참조할 수 있기 때문에 모션 벡터의 크기를 정규화하는 것이 중요하다.

모션 벡터 정규화부(310) 디코더(200)로부터 제공된 모션 벡터가 갖는 참조 거리(현재 프레임과 참조 프레임 간의 시간적 거리)에 따라 모션 벡터를 정규화한다. 예를 들어, 모션 벡터 정규화부(310)는 상기 모션 벡터를 참조　프레임　오프셋(reference frame offset)으로 나누는 연산에 의하여 상기 모션 벡터를 정규화할 수 있다. 상기 참조 프레임 오프셋은 추후 모션 벡터 계산에서 사용될 수 있도록 버퍼(미도시됨)에 저장될 수 있다.

블록 크기 규준화부(320)는 모션 벡터가 할당되는 다양한 크기를 갖는 블록들을 일정 크기 이상의 블록들로 규준화한다. 상기 규준화란 소정의 블록 크기보다 작은 블록들을 상기 블록 크기의 대표 블록으로 병합하는 것을 뜻한다. 물론, 디코더(200)로부터 제공된 모션 벡터가 할당되는 블록의 크기가 상기 블록 크기 이하의 고정 크기로 되어 있다면 본 과정은 생략되어도 무방할 것이다.

H.264와 같은 향상된 비디오 코딩((Advanced Video Coding) 기법에서는, 최소의 코딩 크기를 달성하기 위하여 도 3과 같이, 블록 크기가 가변하는 가변 블록 크기 모션 보상을 채택한다. 예를 들어, H.264 표준에서는, 매크로블록은 16×16 픽셀들로 정의되지만, 각 매크로블록은 도 3에서 보는 바와 같이, 16×16에서부터 4×4까지의 다양한 블록 크기로 파티션(partitioning)될 수 있도록 되어 있다.

그런데, 모션 벡터 리샘플링 후 모션 보상을 수행하기 위하여는, 동일한 크기의 블록들에 할당된 모션 벡터들을 구하는 것이 바람직하며, 또한 리샘플링된 모션 벡터들이 실제 비디오상의 객체(object)들의 실제 모션(true motion)을 반영하는 것이 매우 중요하다.

도 7은 블록 크기 규준화의 일 예이다. 좌측의 규준화전 블록들은 블록 크기가 상당히 다양하다. 여기서, 최소 블록들(F, G, H, I)이 4×4 픽셀을 갖고 가장 큰 블록(L)은 16×16 픽셀을 갖는다. 그러나, 우측의 규준화된 블록들은 일정 이상(8×8 이상)의 블록 크기를 갖는다.

도 7에서 규준화된 블록 크기(예: 8×8)보다 작은 블록들은 상기 규준화된 블록 크기를 갖는 하나의 대표 블록으로 규준화된다. 이는, 작은 블록 크기 모션 벡터들은 참조되는 픽셀들의 수가 더 작기 때문에, 큰 블록 크기 모션 벡터들보다 실제 모션을 잘 반영하지 못한다는 사실에 기인한다. 예를 들어, 규준화전 블록 A, B는 하나의 대표 블록 O로, 블록 D, E는 하나의 대표 블록 Q로, 블록 F, G, H, I는 하나의 대표 블록 R로 각각 규준화된다.

복수의 블록들이 갖는 모션 벡터들로부터 규준화된 블록(대표 블록)에 부여되는 단일의 모션 벡터를 구하기 위한 연산은 여러 가지가 있을 수 있지만, 일 예로서 벡터 메디안(vector median) 연산이 이용될 수 있다. 벡터 메디안 연산에 관한 보다 구체적인 설명은 모션 벡터 계산부(330)의 동작 설명에서 하기로 한다. 다만, 대표 블록 O나 Q는 포함된 블록이 2개이므로 벡터 메디안을 계산할 수가 없다. 이 때에는 해당 대표 블록에 포함되는 블록들의 모션 벡터들 중 작은 크기를 갖는 모션 벡터를 대표 블록의 모션 벡터로 선택할 수 있다. 왜냐하면, 모션 벡터의 크기가 작을수록 실제 모션에 근접할 가능성이 높다고 볼 수 있기 때문이다.

한편, 8×8 크기를 넘는 블록들(K, J, M, N, L)은 별도의 블록 크기의 변경이 이루어지지 않아도 무방하다. 추후 모션 보상부(400)에서 8×8의 일정한 크기를 갖는 블록에 대한 모션 보상이 필요하다고 하면, 이들 블록들(K, J, M, N, L)은 언제든지 8×8 크기의 블록으로 변환될 수 있기 때문이다. 도 8에 도시하는 바와 같이, 16×16 크기의 블록(L)은 4개의 8×8 크기의 블록으로 분할되고 분할된 블록마다 모션 벡터가 할당될 수 있다. 당연하게도, 분할된 블록들에 할당되는 모션 벡터는 블록 L의 원래 모션 벡터와 동일하다.

모션 벡터 계산부(330)는 규준화된 현재 블록의 모션 벡터와 그 주변 블록의 모션 벡터를 참조하여, 상기 현재 블록의 모션 벡터를 계산한다. 상기 모션 벡터 계산이란 공간적 또는 시간적 영역에서 이웃하는 모션 벡터들을 참조하여 실제 모 션에 근접하는 모션 벡터를 구하기 위한 필터링 연산을 의미한다.

상기 모션 벡터 계산 과정은 필터링 연산에 관여되는 블록들(이하, 평가(evaluation)를 위한 블록들이라고 함)을 선택하는 단계와, 블록의 종류에 따라 상기 블록들 각각에 가중치를 할당하는 단계와, 상기 가중치를 반영한 소정의 연산을 통하여 최적의 모션 벡터를 구하는 단계로 이루어질 수 있다.

먼저, 평가를 위한 블록들을 선택하는 단계를 도 9를 참조하여 설명한다. 현재 필터링이 적용될 블록(이하, 현재 블록)은 "X"로 표시되어 있다. 본 발명의 일 실시예에 있어서, 평가를 위한 블록들은 상기 현재 블록과 상기 현재 블록의 주변 블록(이하, 주변 블록)을 포함한다. 본 발명의 다른 실시예에 있어서는, 현재 보간 프레임뿐만 아니라 그 이전의 보간 프레임을 고려할 수도 있다. 도 9의 예에서는, 현재 보간 프레임의 현재 블록, 현재 블록의 주변 블록뿐만 아니라, 이전 보간 프레임 중 현재 블록과 대응되는 위치의 블록(이하, 이전 블록)도, 평가를 위한 블록들에 속하는 것으로 나타나 있다.

상기 현재 블록, 주변 블록들의 모션 벡터들은 소정의 연산(예: 벡터 메디안)을 통하여 필터링된 모션 벡터가 될 가능성이 있는 후보 모션 벡터들이다. 이전 블록들은 상기 연산에서 평가를 위해서만 사용되고 후보 모션 벡터로 선택되지는 않을 수 있다. 물론, 이는 하나의 예에 불과하고, 이전 블록도 후보 모션 벡터에 포함시킬 수도 있음은 물론이다.

도 9의 현재 보간 프레임에서 후보 모션 벡터를 제공하는 영역은 커널(kernel)이라고 정의할 수 있다. 도 9의 실시예에서는, 현재 블록의 크기에 따라 주변 블록도 달라지므로 커널의 크기도 달라진다는 것을 알 수 있다.

필터링 과정 중 가중치를 할당하는 단계는 다음 도 10을 참조하여 설명한다. 본 발명의 필터링 단계에서는 규준화된 블록 크기를 초과하는 크기의 블록을 규준화된 블록의 크기로 분할하지 않는 대신, 상기 블록의 크기에 따라 가중치를 적용하는 방식을 채택한다. 왜냐하면, 예를 들어 16×16 블록의 경우 4개의 규준화된 블록으로 분할될 수 있는데, 이 때, 분할된 블록의 모션 벡터들은 모두 동일하므로, 벡터 메디안과 같은 연산을 적용하면 상기 분할된 블록의 모션 벡터가 필터링된 모션 벡터로 선택될 가능성이 높아지기 때문이다. 따라서, 주변 블록 또는 이전 블록까지 고려하여 실제 모션에 가까운 모션 벡터를 찾고자 하는 필터링 단계의 목적이 퇴색될 수 있다.

다만, 큰 블록의 모션 벡터는 작은 블록의 모션 벡터에 비하여 상대적으로 중요한 것은 사실이므로, 본 발명에서는 블록의 크기에 따라 서로 다른 가중치를 벡터 메디안 연산에 적용한다. 다음의 도 10은 평가를 위한 블록들의 크기 및 종류 및 크기에 따라 서로 다른 가중치가 설정됨을 보여준다. 도 10을 참조하면, 인트라 코딩된 블록은 모션 벡터를 갖지 않으므로 가중치는 0이 되고, 예측 코딩된 블록은 블록의 크기에 따라 가중치가 커진다는 것을 알 수 있다. 물론, 구체적인 가중치의 값은 당업자의 입장에서 얼마든지 다르게 선택할 수 있다.

도 11은 평가를 위한 블록들의 종류 및 크기에 따라 서로 다른 가중치가 설정되는 예를 보여주는 도면이다. 도 11에서 P는 예측 코딩된 블록을, I는 인트라 코딩된 블록을 각각 나타낸다.

현재의 보간 프레임에는, 예측 코딩된 블록들의 수에 따라 주변 블록들이 최대 12개까지 존재할 수 있다. 현재 블록의 크기가 16×16인 예에서는, 현재 보간 프레임에서 7개(블록 I는 당연히 제외됨)의 후보 모션 벡터들이 존재한다. 다만, 평가를 위한 블록은 상기 7개의 후보 모션 벡터들에 이전 보간 프레임에서의 2개의 모션 벡터들이 추가로 포함될 수 있다.

이상과 같이 평가를 위한 모든 블록들에 대하여 가중치가 설정되었다고 하면, 필터링 과정 중 마지막 단계인 최적의 모션 벡터를 소정의 연산을 통하여 구하는 단계가 수행된다. 상기 연산의 예로서, 벡터 메디안 연산이 사용될 수 있다.

총 N개의 평가를 위한 블록이 존재하고, 이 중에서 M(N보다 작거나 같은 값)개의 후보 모션 벡터를 갖는 블록이 존재한다고 가정하자. 이 때 벡터 메디안 연산이란, 각각의 후보 모션 벡터들에 대하여 나머지 N-1개의 모션 벡터들과의 차이(모션 벡터 편차)를 구하고, 상기 구한 차이의 합계를 구하여, 상기 합계가 최소가 되는 후보 모션 벡터를 출력하는 연산을 의미한다. 일반적으로, 벡터 메디안 연산에서는 가중치가 적용되지 않지만, 본 발명의 일 실시예에 따른 벡터 메디안 연산에서는 다음의 수학식 1에서와 같이, 다양한 가중치를 적용될 수 있다. 여기서, N_C는 후보 모션 벡터의 세트를 의미하고, N_E는 평가에만 사용되는 모션 벡터 세트를 의미한다. N_E는 존재하지 않을 수도 있다.

수학식 1에서,

는 후보 모션 벡터를,

는 상기 후보 모션 벡터를 포함하여 평가에 사용되는 모션 벡터들을,

은 벡터 메디안 연산의 결과, 즉 현재 블록의 필터링된 모션 벡터를 각각 나타내며, 첨자 x, y는 각각 x 방향 및 y 방향을 나타낸다. 그리고,

,

및

는 다양한 가중치들을 나타낸다.

이 중

는 도 10 내지 도 11에서와 같이, 블록의 종류 및 크기를 고려하여 가중치이다. 나머지

,

및

는 선택적으로 적용이 가능하다.

먼저,

은 해당 블록이 참조하는 프레임과의 참조 거리(참조 프레임 오프셋)이 커짐에 따라 작아지도록 설정되는 가중치이다. 이 가중치는 참조 거리가 클수록 실제 모션과는 상이할 가능성이 크다는 점을 고려한 것이다.

다음으로,

는 해당 블록이 속하는 프레임이 속하는 시간적 위치(temporal position)에 따라 설정되는 가중치이다. 도 9의 예에서와 같이, 현재 보간 프레임에 속하는 블록뿐만 아니라 적어도 하나 이상의 이전 보간 프레임에 속하는 블록도 필터링 연산에 관여한다고 할 때, 현재 보간 프레임의 시간적 위치로부터 멀어질수록 낮은 가중치가 설정되는 것이다.

마지막으로,

는 어떤 블록이 커널에서 차지하는 위치에 따라 설정되는 가중치이다.

는 상기 블록이 커널의 중앙에서부터 멀어질수록 작아지도록 설정되는 것이 바람직하다.

상기

,

및

는 예를 들어, 가우시안 분포(Gaussian distribution)를 따르도록 설정될 수 있다.

한편, 도 9에서는 현재 블록의 크기에 따라 커널의 크기도 변경되는 예를 설명하였지만, 상기 커널 크기를 고정하는 것도 가능하다. 도 12는 이와 같이, 고정된 커널 크기를 적용하는 예를 보여준다. 도 12를 참조하면, 커널 크기는 현재 블록의 크기와 무관하게 24×24 크기로 고정되어 있다. 다만, 블록의 종류 및 크기에 따른 가중치(

)는 도 10과 마찬가지로 적용된다. 본 실시예에서는, 디코더(200)로부터 제공된 단일의 블록(예: 16×16, 8×16, 16×8, 8×8 블록)에 대해서도 서로 다른 모션 벡터들이 할당될 수 있다. 도 12에서 각 케이스 별로, 모션 벡터 필터링이 적용되는 영역은 각각 11 내지 14로 표시되어 있다.

모션 벡터 검증부(340)는 모션 벡터 계산부(330)에서 필터링된 모션 벡터가 유효한 것인지 여부를 검증한다. 상기 필터링된 모션 벡터의 신뢰도는 주로 벡터 메디안의 크기에 달려 있다. 도 13은 본 발명의 일 실시예에 따른 검증 기법을 보여주는 그래프이다. 여기서 사용되는 검증 함수는 예컨대, 선형 함수로 간단히 정의될 수 있다. 모션 벡터 검증부(340)는 특정 메디안 세트의 크기에서 메디안 합 계(median sum)가 검증 함수보다 작을 때 유효한 것으로 판단한다. 상기 메디안 합계란, 예를 들어 수학식 1과 같이 구해지는 벡터 메디안 연산의 합계, 즉 벡터 메디안 연산의 결과를 의미한다. 또한, 메디안 세트의 크기란 수학식 1과 같이, 모션 벡터 메디안 연산과정에서 평가를 위하여 사용되는 모션 벡터들의 수(또는 블록들의 수)를 의미한다. 수학식 1에서 메디안 세트 크기는 N_C의 크기와 N_E의 크기와 같다.

도 13은 벡터 메디안 연산을 검증하는 예를 보여주는 도면이다. 도 13에서 검증 함수는 선형 함수로 되어 있지만 다른 임의의 함수를 선택하여도 무방하다. 가로 축은 현재 및 이전 모션 필드에서 예측 코딩된 모션 벡터들의 수, 즉 벡터 메디안 평가에 사용되는 메디안 세트의 크기를 나타낸다. 세로 축은 벡터 메디안 합계를 나타낸다. 벡터 메디안 합계는 특정 메디안 셋의 크기에서 검증 함수를 넘지 않은 경우에만 유효하다.

모션 벡터 삽입부(350)는 모션 벡터 검증부(340)에서 무효한 것으로 판단된 모션 벡터를 갖는 블록에 대하여 모션 벡터를 결정하고 상기 블록에 결정된 모션 벡터로 무효한 모션 벡터를 대체하는 역할을 수행한다. 이와 같이 무효한 모션 벡터를 갖는 블록에 대하여 모션 벡터를 결정하는 방법으로는, 유효화된 모션 벡터들만을 연산하여 소정 크기(예 3×3의 커널)의 벡터 메디안 연산을 수행하는 방법을 생각할 수 있다.

지금까지 도 2, 5 및 6의 각 구성요소들은 메모리 상의 소정 영역에서 수행 되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드, 프로그램과 같은 소프트웨어(software)나, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소들은 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.

또한, 각 구성요소들은 특정된 논리적 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 상기 구성요소들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다. 예컨대, 잇달아 도시되어 있는 두 개의 구성요소들은 사실 실질적으로 동시에 수행되는 것도 가능하고 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.

본 발명에 따르면, 신속하고 효율적으로 프레임율을 업컨버전할 수 있는 장점이 있으며, 특히, 낮은 연산 능력, 제한된 메모리 자원 또는 저전력 조건을 갖는 기기들에 적합하게 사용될 수 있다.

Claims

비디오 디코더에서 복원된 모션 정보 및 복원된 프레임을 이용하여 보간 프레임을 생성함으로써 상기 복원된 프레임의 프레임율을 업컨버팅 하는 장치로서,

상기 복원된 프레임에서 현재 블록의 모션 벡터 및 상기 현재 블록의 주변 블록의 모션 벡터들을 이용하여 상기 현재 블록의 모션 벡터를 필터링함으로써 상기 보간 프레임을 위한 모션 벡터를 리샘플링하는 모션 벡터 리샘플링부;

상기 리샘플링된 모션 벡터에 의하여 상기 복원된 프레임을 모션 보상함으로써 상기 보간 프레임을 생성하는 모션 보상부; 및

프레임의 시간적 순서에 따라 상기 복원된 프레임 및 상기 보간 프레임 중에서 하나를 선택하여 출력하는 스위치를 포함하는 프레임율 업컨버팅 장치.
제1항에 있어서, 상기 모션 벡터 리샘플링부는

상기 복원된 프레임에서 현재 블록의 모션 벡터 및 상기 현재 블록의 주변 블록의 모션 벡터들을 이용하여 상기 현재 블록의 모션 벡터를 필터링하는 모션 벡터 계산부; 및

상기 필터링된 모션 벡터의 유효성을 검증하는 모션 벡터 검증부를 포함하는 프레임율 업컨버팅 장치.
제2항에 있어서, 상기 모션 벡터 리샘플링부는

상기 모션 정보에 포함된 모션 벡터를 참조 프레임 오프셋에 의하여 정규화하는 모션 벡터 정규화부를 더 포함하는 프레임율 업컨버팅 장치.
제3항에 있어서, 상기 모션 벡터 리샘플링부는

상기 정규화된 모션 벡터를 갖는 블록을 소정의 블록 크기로 규준화하는 블록 크기 규준화부를 더 포함하는 프레임율 업컨버팅 장치.
제4항에 있어서, 상기 블록 크기 규준화부는

상기 블록 크기보다 작은 블록들을 상기 블록 크기의 대표 블록으로 병합하는 프레임율 업컨버팅 장치.
제2항에 있어서, 상기 모션 벡터 리샘플링부는

상기 유효성을 검증한 결과, 유효하지 않은 것으로 판단되는 블록의 모션 벡터를 주변의 유효한 모션 벡터를 이용하여 결정된 모션 벡터로 대체하는 모션 벡터 삽입부를 더 포함하는 프레임율 업컨버팅 장치.
제2항에 있어서, 상기 모션 벡터 계산부는

상기 현재 블록의 모션 벡터 및 상기 주변 블록의 모션 벡터를 입력으로 하여, 벡터 메디안 연산을 계산함으로써 상기 현재 블록의 모션 벡터를 필터링하는 프레임율 업컨버팅 장치.
제7항에 있어서, 상기 모션 벡터 계산부는

상기 벡터 메디안 연산에 있어, 상기 현재 블록의 크기 및 주변 블록의 크기에 따른 가중치를 적용하는 프레임율 업컨버팅 장치.
제8항에 있어서, 상기 모션 벡터 계산부는

상기 벡터 메디안 연산에 있어, 상기 현재 블록 및 주변 블록이 이루는 커널 내에의 위치에 따른 가중치를 적용하는 프레임율 업컨버팅 장치.
제9항에 있어서, 상기 모션 벡터 계산부는

상기 벡터 메디안 연산에 있어, 상기 현재 블록의 참조 프레임 오프셋 및 상기 주변 블록의 오프셋에 따른 가중치를 적용하는 프레임 업컨버팅 장치.
제7항에 있어서, 상기 모션 벡터 검증부는

특정 메디안 세트의 크기에서, 메디안 합계(median sum)가 소정의 검증 함수보다 작을 때 상기 현재 블록의 필터링된 모션 벡터를 유효한 것으로 판단하는 프레임 업컨버팅 장치.
비디오 디코더에서 복원된 모션 정보 및 복원된 프레임을 이용하여 보간 프레임을 생성함으로써 상기 복원된 프레임의 프레임율을 업컨버팅 하는 방법으로서,

상기 복원된 프레임에서 현재 블록의 모션 벡터 및 상기 현재 블록의 주변 블록의 모션 벡터들을 이용하여 상기 현재 블록의 모션 벡터를 필터링함으로써 상기 보간 프레임을 위한 모션 벡터를 리샘플링하는 단계;

상기 리샘플링된 모션 벡터에 의하여 상기 복원된 프레임을 모션 보상함으로써 상기 보간 프레임을 생성하는 단계; 및

프레임의 시간적 순서에 따라 상기 복원된 프레임 및 상기 보간 프레임 중에서 하나를 선택하여 출력하는 단계를 포함하는 프레임율 업컨버팅 방법.
제12항에 있어서, 상기 리샘플링하는 단계는

상기 복원된 프레임에서 현재 블록의 모션 벡터 및 상기 현재 블록의 주변 블록의 모션 벡터들을 이용하여 상기 현재 블록의 모션 벡터를 필터링하는 단계; 및

상기 필터링된 모션 벡터의 유효성을 검증하는 단계를 포함하는 프레임율 업컨버팅 방법.
제13항에 있어서, 리샘플링하는 단계는

상기 모션 정보에 포함된 모션 벡터를 참조 프레임 오프셋에 의하여 정규화하는 단계를 더 포함하는 프레임율 업컨버팅 방법.
제14항에 있어서, 상기 리샘플링하는 단계는

상기 정규화된 모션 벡터를 갖는 블록을 소정의 블록 크기로 규준화하는 단계를 더 포함하는 프레임율 업컨버팅 방법.
제15항에 있어서, 상기 규준화하는 단계는

상기 블록 크기보다 작은 블록들을 상기 블록 크기의 대표 블록으로 병합하는 단계를 포함하는 프레임율 업컨버팅 방법.
제13항에 있어서, 상기 리샘플링하는 단계는

상기 유효성을 검증한 결과, 유효하지 않은 것으로 판단되는 블록의 모션 벡터를 주변의 유효한 모션 벡터를 이용하여 결정된 모션 벡터로 대체하는 단계를 더 포함하는 프레임율 업컨버팅 방법.
제13항에 있어서, 필터링하는 단계는

상기 현재 블록의 모션 벡터 및 상기 주변 블록의 모션 벡터를 입력으로 하여, 벡터 메디안 연산을 계산함으로써 상기 현재 블록의 모션 벡터를 필터링하는 단계를 포함하는 프레임율 업컨버팅 방법.
제18항에 있어서, 필터링하는 단계는

상기 벡터 메디안 연산에 있어, 상기 현재 블록의 크기 및 주변 블록의 크기에 따른 가중치를 적용하는 단계를 포함하는 프레임율 업컨버팅 방법.
제19항에 있어서, 필터링하는 단계는

상기 벡터 메디안 연산에 있어, 상기 현재 블록 및 주변 블록이 이루는 커널 내에의 위치에 따른 가중치를 적용하는 단계를 포함하는 프레임율 업컨버팅 방법.
제20항에 있어서, 필터링하는 단계는

상기 벡터 메디안 연산에 있어, 상기 현재 블록의 참조 프레임 오프셋 및 상기 주변 블록의 오프셋에 따른 가중치를 적용하는 단계를 포함하는 프레임 업컨버팅 방법.
제18항에 있어서, 상기 검증하는 단계는

특정 메디안 세트의 크기에서, 메디안 합계(median sum)가 소정의 검증 함수보다 작을 때 상기 현재 블록의 필터링된 모션 벡터를 유효한 것으로 판단하는 단계를 포함하는 프레임 업컨버팅 방법.