KR100531322B1 - 포맷 변환 장치 및 그 방법 - Google Patents

Abstract

본 발명은 디지털 영상의 공간 해상도를 변환하는 장치 및 그 방법에 관한 것이다. 특히 본 발명은 입력 영상의 크기가 출력 영상의 사이즈보다 작아 업 컨버젼하는 경우 두 입력 화소 사이에 매핑될 다수개의 출력 화소를 한 클럭 사이클에서 동시에 보간하여 생성함으로써, 포맷 변환 시간을 단축하는 효과가 있다.

Description

포맷 변환 장치 및 그 방법{Apparatus for conversing format and method for the same}

본 발명은 디지털 영상의 공간 해상도를 변환하는 장치 및 그 방법에 관한 것이다.

영상의 공간 해상도를 표현하는 포맷에는 QCIF, QVGA, SIF, CIF, NTSC, PAL, 480P, 720P, 1080I 등의 다양한 포맷이 존재한다. 따라서, 다양한 입력을 고정된 해상도의 디스플레이 디바이스에 맞게 출력하기 위해서는 공간 해상도 변환이 필수적이다.

일반적으로 영상의 공간 해상도 변환을 구현하는데는 출력 영상의 좌표를 입력 영상의 좌표에 재 매핑(Re-mapping)하는 인버스 매핑(Inverse Mapping) 방법이 사용되어진다.

도 1에는 이러한 인버스 매핑 방법의 예를 보이고 있다.

이때, 입력 영상과 출력 영상의 사이즈가 다를 경우 입력 영상 좌표에 매핑되어지는 출력 영상 좌표는 하나의 입력 영상 좌표에 매핑되어지지 않으므로 주변 입력 영상 좌표의 화소값들을 이용하여 출력 영상의 좌표의 화소값을 결정하는 방법이 필요하다.

이를 위해 입력 영상 좌표에 매핑되어지는 출력 화소의 좌표를 구하는 방법을 재샘플링(Re-sampling)이라 한다. 그리고, 주변 입력 영상 좌표의 화소들을 이용하여 상기 재샘플링에 의해 구해진 출력 영상의 좌표의 화소값을 결정하는 방법을 보간(Interpolation)이라 한다.

상기 보간 방법에 따라 필요한 주변 입력 영상 화소의 수가 결정되어진다.

도 2 내지 도 4는 종래의 공간 해상도를 변환하는 포맷 변환 장치의 일 예를 보인 것으로서, 미국 특허 US 5,835,160에 기술되어 있다.

상기된 미국 특허 US 5,835,160은 도 2에 도시한 DDA(Digital Differential Analyzers)를 사용하여 공간 해상도를 변환한다.

즉, 매 출력 화소마다 증가분(11-BIT RATIO REGISTER)과 이전 누적값(12-BIT STATUS REGISTER)을 더하고, 이렇게 더해진 누적값을 사용하여 공간 해상도를 변환한다. 이때, 도 3에서와 같이 누적값의 정수 부분을 사용하여 입력 샘플을 쉬프팅한다. 그리고, 소수 부분은 입력 샘플들 사이에서 출력 화소가 재샘플링되어야 할 위치를 나타낸다. 즉, 소수 부분은 도 1에서 Sx 또는, Sy를 나타낸다. 또한, 보간 필터의 계수는 소수점 2자리를 사용하여 선택된다.

이때, 영상의 공간 해상도 변환은 입력 레이트를 출력 레이트로 변환하는데, 그 처리 시간은 입력과 출력 레이트 중 큰 레이트만큼 소요되어진다. 즉, 입력 영상의 사이즈보다 출력 영상의 사이즈가 작을 때 수행되는 다운 컨버젼(Down Conversion)시에는 입력 레이트만큼의 처리 시간이 필요하다. 반대로 입력 영상의 사이즈보다 출력 영상의 사이즈가 클 때 수행되는 업 컨버젼(Up Conversion)시에는 출력 레이트만큼의 처리 시간이 필요하다.

따라서, 상기된 미국 특허 US 5,835,160의 경우 업 컨버젼시 출력 레이트만크의 처리 시간이 필요하다. 이는 한 클럭 사이클 동안 하나의 출력 화소가 보간되어 출력되기 때문이다.

본 발명의 목적은 업 컨버젼시 처리 시간을 단축하는 포맷 변환 장치 및 그 방법을 제공함에 있다.

본 발명의 다른 목적은 업 컨버젼시 처리 시간을 입력 레이트와 같게 하거나 출력 레이트보다 작게 하는 포맷 변환 장치 및 그 방법에 관한 것이다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 포맷 변환 장치는, 입/출력 영상 사이즈를 입력받아 포맷 정보를 검출하고, 검출된 포맷 정보를 근거로 두 입력 화소 사이에 매핑될 출력 화소들의 위치 값을 계산하여 동시에 출력하는 영상 재샘플링부; 그리고 다수개의 보간부로 구성되고, 상기 각 보간부는 상기 영상 재샘플링부에서 출력되는 해당 출력 화소의 위치 값으로부터 보간 필터의 계수를 생성하고, 생성된 계수와 입력 화소를 이용하여 상기 출력 화소 위치의 화소를 보간하여 생성하는 것을 특징으로 한다.

상기 영상 재샘플링부는 한 클럭 사이클마다 입력 화소를 이동시키면서 두 입력 화소 사이에 매핑될 출력 화소들의 위치 값을 동시에 출력하는 것을 특징으로 한다.

상기 영상 재샘플링부는 두 입력 화소 사이에 매핑될 출력 화소의 수가 상기 다수개의 보간부의 수보다 많다면 현 클럭 사이클에서 입력을 이동시키지 않고 상기 보간부의 수만큼 출력 화소의 위치값들을 출력한 후 다음 클럭 사이클에서 입력 화소를 이동시키면서 나머지 출력 화소의 위치 값들을 출력하는 것을 특징으로 한다.

상기 영상 재샘플링부는 현 입력 화소의 위치를 기준으로 매핑할 출력 화소 위치까지의 거리를 해당 출력 화소의 위치 값으로 출력하는 것을 특징으로 한다.

본 발명에 따른 포맷 변환 방법은,

(a) 입/출력 영상 사이즈를 입력받아 포맷 정보를 검출하고, 검출된 포맷 정보를 근거로 두 입력 화소 사이에 매핑될 출력 화소들의 위치값을 계산하여 동시에 출력하고 입력 화소를 이동시키는 단계; 그리고

(b) 상기 (a) 단계에서 출력되는 해당 출력 화소의 위치 값으로부터 보간 필터의 계수를 생성하고, 생성된 계수와 입력 화소를 이용하여 상기 출력 화소 위치의 화소를 보간하는 과정을 상기 (a) 단계에서 출력되는 출력 화소 위치값들의 수만큼 병렬로 동시에 수행하여 두 입력 화소 사이에 매핑될 출력 화소들을 한 클럭 사이클에서 생성하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하며, 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.

일반적으로 업 컨버젼일 경우 보간될 출력 화소는 두 개의 입력 화소 사이에 위치한다.

이때 입/출력 영상의 사이즈 정보를 이용하면 공간 해상도 변환 전에 보간될 출력 화소들의 위치를 미리 알 수 있다.

따라서, 본 발명에서는 한 클럭 사이클 동안 두 입력 화소 사이에 매핑될 다수개의 출력 화소를 동시에 보간하여 생성함으로써, 공간 해상도 변환 시간을 단축할 수 있다. 즉, 매 클럭 사이클마다 입력 화소를 이동시키면서 두 입력 화소에 위치하는 다수개의 출력 화소를 동시에 보간함으로써, 처리 시간을 단축할 수 있다. 상기 처리 시간은 입력 레이트와 같거나 출력 레이트보다 작다.

도 5는 1:3으로 업 컨버젼하는 예를 보인 것으로서, 입/출력 영상 사이즈를 알면 두 입력 화소 사이에 매핑될 출력 화소의 수 및 그 위치를 알 수 있다. 도 5의 경우 두 입력 화소 사이에 매핑될 출력 화소는 2개이다. 즉 두 입력 화소 사이에서 보간될 화소가 2개임을 의미한다. 따라서, 입력 화소가 이동할 때마다 2개의 출력 화소가 동시에 보간되어 발생된다.

그리고 상기 두 보간될 출력 화소의 위치 값은 s1, s2이다. 상기 s1은 두 입력 화소 사이의 거리를 1로 정규화했을 때 기준 입력 화소 f(n-1)의 위치로부터 재샘플링 위치 x1까지의 거리 값이고, s2는 재샘플링 위치 x2까지의 거리 값이다.

도 6은 본 발명에 따른 포맷 변환 장치의 일 예를 보인 것으로서, 영상 재샘플링부(110)와 다수개의 보간부(210~230)로 구성된다. 본 발명에서는 보간부의 수를 3개로 하고 있으나 이는 설계자에 의해 달라지므로 상기된 예로 한정되지 않는다.

상기 영상 재샘플링부(110)는 매 클럭마다 입력 화소를 이동시키고, 동시에 입력 화소가 이동될 때마다 두 입력 화소 사이에 매핑될 다수개의 출력 화소 위치를 다수개의 보간부(210~230)로 각각 출력한다.

상기 각 보간부는 입력되는 출력 화소 위치 값으로부터 보간 필터의 계수를 생성하는 계수 발생기와, 생성된 계수와 입력 화소를 이용하여 해당 위치의 출력 화소를 보간하는 보간 필터로 구성된다.

상기 계수 발생기는 리니어, 큐빅, 보간 필터와 같은 폴리-페이즈(poly phase) 필터의 계수를 상기 영상 재샘플링부(110)에서 출력되는 화소 위치 값(fractional point ; s)를 이용하여 생성한다.

또한, 상기 계수 발생기는 출력 화소의 위치 값을 어드레스로 하여 이미 저장되어 있는 계수들의 페어 중 하나를 룩업(Look up)하는 방식으로 구현되어질 수 있다.

이와 같이 구성된 본 발명에서 영상 재샘플링부(110)는 입/출력 영상 사이즈를 입력받아 포맷 변환비를 검출하고, 검출된 포맷 변환비에 따라 두 개의 입력 화소 사이에 매핑될 출력 화소들의 위치값을 계산한다. 예를 들어 포맷 변환비가 도 5와 같이 1:3이라면 두 개의 입력 화소 사이에 매핑될 출력 화소들의 위치 값 s1, s2가 계산된다. 각 출력 화소들의 위치 값은 각 보간부로 동시에 출력된다.

즉, 제 1 출력 화소 위치 값 s1은 제 1 보간부(210)로, 제 2 출력 화소 위치 값 s2는 제 2 보간부(220)로 동시에 출력된다.

상기 제 1 보간부(210)의 계수 발생기는 상기 출력 화소 위치 값 s1으로부터 필터 계수를 생성한다.

이때 본 발명에서는 리니어 보간을 한다고 예를 들면, 상기 계수 발생기는 화소 위치 값 s1으로부터 2개의 계수 C0(=1-s1),C1(=s1)을 생성한다. 상기 계수들은 화소 위치 값 s1을 이용한 계산에 의해 생성할 수도 있고, 미리 각 계수들을 룩업 테이블을 구성한 후 상기 위치 값 s1을 어드레스로 하여 저장되어 있는 계수들의 페어 중 하나를 읽어 와 생성할 수도 있다. 상기 제 1 보간부(210)의 계수 발생기에서 발생된 계수들은 보간 필터로 출력된다. 상기 보간 필터는 계수들 C0,C1을 이용하여 상기 출력 화소 위치 s1의 출력 화소 x1를 생성한다. 리니어 보간을 예로 든다면 상기 출력 화소 x1은 다음의 수학식 1과 같이 보간되어 생성된다.

x1=f(n-1)*C0 + f(n)*C1

마찬가지로, 출력 화소 위치 값 s2를 입력받는 제 2 보간부(220)의 계수 발생기는 출력 화소 위치 값 s2를 이용하여 필터 계수 C0,C1을 생성한 후 보간 필터로 출력한다. 상기 보간 필터는 상기 수학식 1과 같이 각 계수와 입력 화소를 곱한 후 더하여 출력 화소 위치 s2의 출력 화소 x2를 생성한다.

이와 같이 본 발명은 영상 재샘플링부(110)에서 입력 화소는 매 클럭 사이클마다 이동되고, 입력 화소가 이동될 때마다 다수개의 출력 화소 위치가 동시에 다수개의 보간부로 각각 출력되어 다수개의 출력 화소가 동시에 보간되어 생성된다.

이때, 상기 두 입력 화소 사이에 매핑될 출력 화소의 수가 구현되어진 보간부의 수보다 많다면 입력을 이동시키지 않고 다음 클럭 사이클에 나머지 출력 화소 위치 값을 출력한다. 예를 들어, 두 입력 화소 사이에 매핑될 출력 화소의 수가 5인데, 보간부는 도 6과 같이 세 개만 구성되어 있다면 한 클럭 사이클에 3개의 출력 화소 위치 값을 출력하고 이때 입력 화소는 이동시키지 않는다. 그리고 다음 클럭 사이클에서 입력 화소를 이동시키면서 다시 2개의 출력 화소 위치 값을 출력한다.

한편, 본 발명에서 사용되는 용어(terminology)들은 본 발명에서의 기능을 고려하여 정의 내려진 용어들로써 이는 당분야에 종사하는 기술자의 의도 또는 관례 등에 따라 달라질 수 있으므로 그 정의는 본 발명의 전반에 걸친 내용을 토대로 내려져야 할 것이다.

또한, 본 발명에서는 본 발명의 바람직한 실시예를 통해 본 발명을 설명했으므로 본 발명의 기술적인 난이도 측면을 고려할 때, 당분야에 통상적인 기술을 가진 사람이면 용이하게 본 발명에 대한 또 다른 실시예와 다른 변형을 가할 수 있다. 따라서 상술한 설명에서 사상을 인용한 실시예와 변형은 모두 본 발명의 청구 범위에 모두 귀속됨은 명백하다.

이상에서와 같이 본 발명에 따른 포맷 변환 장치 및 방법에 의하면, 업 컨버젼시 두 입력 화소 사이에 매핑될 다수개의 출력 화소를 한 클럭 사이클에서 동시에 보간하여 생성함으로써, 포맷 변환 시간을 단축하는 효과가 있다. 특히 향상된 작업 처리량(Throughput)으로 처리 시간이 단축되므로, 하나의 포맷 변환기로 한 출력 수직 동기 구간(VSYN) 동안 2개의 입력 영상을 처리하는데 사용되어질 수 있다. 즉, 하나의 포맷 변환기만을 사용하여 주/부화면을 처리할 수 있는 장점을 가진다. 또한, 1개의 입력 영상만을 처리할 때는 동작 속도를 낮게 함으로써, 저전력으로 처리할 수 있는 장점을 가진다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.

따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

도 1은 입력 화소 그리드에서 재샘플링 출력 화소의 예를 보인 일반적인 도면

도 2는 종래의 포맷 변환 장치의 일 실시예를 보인 도면

도 3은 도 2의 DDA 제어부의 상세 블록도

도 4는 도 3의 상태 레지스터의 상세 도면

도 5는 1:3 업 컨버젼시 입력 화소 그리드에서 출력 화소의 위치 예를 보인 도면

도 6은 본 발명에 따른 포맷 변환 장치의 일 실시예를 보인 구성 블록도

도면의 주요부분에 대한 부호의 설명

110 : 영상 재샘플링부 210~230 : 보간부

Claims (8)

1. 입력 영상의 사이즈가 출력 영상의 사이즈보다 작아 업 컨버젼하는 포맷 변환 장치에 있어서,

   입/출력 영상 사이즈를 입력받아 포맷 정보를 검출하고, 검출된 포맷 정보를 근거로 두 입력 화소 사이에 매핑될 출력 화소들의 위치 값을 계산하여 동시에 출력하는 영상 재샘플링부; 그리고

   다수개의 보간부로 구성되고, 상기 각 보간부는 상기 영상 재샘플링부에서 출력되는 해당 출력 화소의 위치 값으로부터 보간 필터의 계수를 생성하고, 생성된 계수와 입력 화소를 이용하여 상기 출력 화소 위치의 화소를 보간하여 생성하는 것을 특징으로 하는 포맷 변환 장치.
2. 제 1 항에 있어서, 상기 영상 재샘플링부는

   한 클럭 사이클마다 입력 화소를 이동시키면서 두 입력 화소 사이에 매핑될 출력 화소들의 위치 값을 동시에 출력하는 것을 특징으로 하는 포맷 변환 장치.
3. 제 2 항에 있어서, 상기 영상 재샘플링부는

   상기 두 입력 화소 사이에 매핑될 출력 화소의 수가 상기 다수개의 보간부의 수보다 많다면 현 클럭 사이클에서 입력을 이동시키지 않고 상기 보간부의 수만큼 출력 화소의 위치값들을 출력한 후 다음 클럭 사이클에서 입력 화소를 이동시키면서 나머지 출력 화소의 위치 값들을 출력하는 것을 특징으로 하는 포맷 변환 장치.
4. 제 2 항에 있어서, 상기 영상 재샘플링부는

   현 입력 화소의 위치를 기준으로 매핑할 출력 화소 위치까지의 거리를 해당 출력 화소의 위치 값으로 출력하는 것을 특징으로 하는 포맷 변환 장치.
5. 제 2 항에 있어서, 상기 각 보간부는

   입력되는 출력 화소 위치 값으로부터 보간 필터의 계수를 생성하는 계수 발생기와,

   생성된 계수와 입력 화소를 이용하여 해당 위치의 출력 화소를 보간하는 보간 필터로 구성되는 것을 특징으로 하는 포맷 변환 장치.
6. 제 5 항에 있어서, 상기 계수 발생기는

   상기 출력 화소의 위치값에 따른 계수들을 미리 룩업 테이블화한 후 상기 영상 재샘플링부에서 출력되는 출력 화소의 위치값을 어드레스로 하여 상기 룩업 테이블에서 해당 계수를 읽어 와 생성하는 것을 특징으로 하는 포맷 변환 장치.
7. 입력 영상의 사이즈가 출력 영상의 사이즈보다 작아 업 컨버젼하는 포맷 변환 방법에 있어서,

   (a) 입/출력 영상 사이즈를 입력받아 포맷 정보를 검출하고, 검출된 포맷 정보를 근거로 두 입력 화소 사이에 매핑될 출력 화소들의 위치값을 계산하여 동시에 출력하고 입력 화소를 이동시키는 단계; 그리고

   (b) 상기 (a) 단계에서 출력되는 해당 출력 화소의 위치 값으로부터 보간 필터의 계수를 생성하고, 생성된 계수와 입력 화소를 이용하여 상기 출력 화소 위치의 화소를 보간하는 과정을 상기 (a) 단계에서 출력되는 출력 화소 위치값들의 수만큼 병렬로 동시에 수행하여 두 입력 화소 사이에 매핑될 출력 화소들을 한 클럭 사이클에서 생성하는 단계를 포함하여 이루어지는 것을 특징으로 하는 포맷 변환 방법.
8. 제 7 항에 있어서, 상기 (a) 단계는

   현 입력 화소의 위치를 기준으로 매핑할 출력 화소 위치까지의 거리를 해당 출력 화소의 위치 값으로 출력하는 것을 특징으로 하는 포맷 변환 방법.