KR100522171B1 - 임의 형상 프레임 생성기 및 그를 이용한 임의 형상프레임 생성 방법 - Google Patents
임의 형상 프레임 생성기 및 그를 이용한 임의 형상프레임 생성 방법 Download PDFInfo
- Publication number
- KR100522171B1 KR100522171B1 KR10-2002-0075752A KR20020075752A KR100522171B1 KR 100522171 B1 KR100522171 B1 KR 100522171B1 KR 20020075752 A KR20020075752 A KR 20020075752A KR 100522171 B1 KR100522171 B1 KR 100522171B1
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- vop
- arbitrary shape
- frames
- frame buffer
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 임의 형상을 처리하는 영상 복호화 시스템에서 형상 정보와 텍스처(texture) 정보를 갖는 두 프레임 사이에 새로운 프레임을 삽입하는 장치에 관한 것이다. 임의 형상 프레임은 보통 이미지 사이즈가 서로 다른데, 이러한 경우 전, 후 프레임 중 사이즈가 큰 프레임에 맞추어 작은 사이즈의 프레임을 갱신하므로써 새로운 프레임의 삽입 처리에 편리하도록 한다. 작은 사이즈의 프레임을 갱신하는 방법으로는 데이터 처리가 간편한 형상 정보를 이용한 프레임 매칭을 통해 두 프레임 간의 차이를 최소화하는 매칭 포인트를 찾고, 그 매칭 좌표를 이용하여 형상 정보와 텍스처 정보 모두에 대해 작은 사이즈의 프레임을 이동시킨 후 큰 사이즈의 프레임에 맞추기 위해 나머지 부분은 이미지 외곽 픽셀 값으로 패딩(padding)한다. 패딩으로는 수평 방향 패딩을 먼저 수행하고 수직 방향 패딩을 수행한다. 새로운 프레임은 크기가 같게 확장된 전, 후 프레임에 대해 선형 보간시키는 방법으로 삽입한다. 또한, 임의 형상 영상은 배경 영상과 합쳐져 재생될 수 있도록 배경 영상 화면 내의 임의 형상 영상의 위치 정보를 갖는데, 삽입되는 프레임의 위치 정보는 전, 후 프레임의 위치 정보를 선형 보간법으로 구하여 사용함으로써 배경 영상과 합쳐진 동영상에서 자연스러운 화면전환을 볼 수 있게 된다.
Description
본 발명은 임의 형상을 처리하는 영상 복호화 시스템에 관한 것으로, 더욱 상세하게는 형상 정보와 텍스처(texture) 정보를 갖는 크기가 다른 두 프레임 사이에 새로운 프레임을 삽입하기 위한 임의 형상 프레임 생성기 및 그를 이용한 임의 형상 프레임 생성 방법에 관한 것이다.
최근 객체 기반의 영상 부호화 기술에 관한 연구가 활발히 진행되고 있는데, 객체 기반 영상의 경우 임의 형상 영상으로써 영상의 크기가 시간에 따라 고정되어 있지 않으며, 임의 형상 구현을 위해 영상 텍스처 정보와 함께 형상 정보가 추가되어 있다. 전송 미디어의 전송 효율을 향상시키기 위하여 되도록 적은 량의 정보를 보내고, 이를 효율적으로 이용하여 보다 좋은 화질의 영상을 얻고자 하는 것은 임의 형상에 대해서도 마찬가지이다. 그러므로 임의 형상 복호화 시스템에서 화면 삽입은 보다 자연스러운 동영상의 화면 전환 처리를 이끌어 낼 수 있으며, 또한 영상 부호화 시스템에서 전송 채널의 용량에 맞추어 결과 스트림의 량을 제어하면 프레임 스킵(frame skip)으로 처리되어 전송된 프레임에 대해 복호기 측에서 비교적 자연스럽게 스킵 처리된 화면을 생성할 수 있다.
멀티미디어 환경에서의 비디오 데이터 처리에 있어 효율적인 저장, 전송, 조작을 위해 MPEG 4 영상(video)이 표준으로 사용되고 있다. MPEG 4는 효율적인 영상 데이터 압축, 영상 객체 처리, 공간 해상도 및 시간적 신축성 등 다양한 사용의 예에 부합하는 표준을 목표로 하고 있다. 이를 위해 기본적으로 콘텍스트 기반 영상 데이터 표현(context based visual data representation) 접근 방법을 사용한다. 이는 화면을 여러 개의 영상객체(VO : Video Object)들의 집합으로 표현하며, 하나의 영상객체는 형상, 움직임, 텍스처 정보를 갖는다. MPEG 4 부호화 복호화 단위는 단위 시간에서의 영상객체(VO) 즉, 영상객체플레인(Video Object Plane; 이하, VOP라 함)이며, VOP는 임의 형상을 가질 수 있어서 하나의 영상객체(VO)에 대해 시간에 따른 VOP의 크기는 가변적이다. MPEG 4 인코더(encoder)의 구조는 도 1과 같다.
형상 코딩(Shape Coding) 블록(1)이 VOP의 형상 정보를 부호화한다. 그 동작은 VOP의 형상 정보를 읽어 매크로 블록(macro block; MB, 16x16 픽셀) 별로 해당 블록의 형상 정보가 모두 '0'인 경우 즉, 화면에서 투명(transparent)하게 처리될 매크로 블록인 경우와 '255'(pixel depth가 8bit인 경우)인 경우 즉, 불투명(opaque)하게 처리될 매크로 블록인 경우 등으로 분리한 후 형상 정보를 부호화한다. 형상 코딩 블록(1)에 의해 각 매크로 블록(MB) 별로 부여된 투명, 불투명 등의 형상 특성은 움직임 추정(Motion Estimation) 블록(2), 움직임 비교(Motion Compensation) 블록(3), 텍스처 코딩(Texture Coding) 블록(4)으로 보내져 투명 블록(transparent block)에 대해서는 움직임 및 텍스처 코딩을 하지 않도록 한다.
도 1의 텍스처 코딩 블록(4)은 VOP의 Y, U, V 정보를 부호화하는데, 화면 내 부호화 방법과 화면 간 부호화 방법을 사용한다. 화면 내 부호화 방법을 사용하는 경우에는 VOP의 Y, U, V 정보에 대해 DCT(discret consine transform)을 취한 후 이를 양자화(quantization)하고, 이 결과를 VLC(variable length coding)하여 결과로 내보낸다. 화면 간 부호화 방법을 사용하는 경우에는 이전 영상을 참조하여 현재 영상과의 차이만을 내보낸다. 도 1에서 이미 부호화된 후 복원된(Previous reconstructed) VOP(5)에 저장되어 있는 이전 영상을 참조하여 움직임 추정 블록(2)은 매크로 블록 별로 이전 영상 영역 중 해당 매크로 블록과 가장 차이가 적은 영역을 가리키는 움직임 벡터(motion vector)를 구하고, 움직임 비교 블록(3)은 이전 영상과 움직임 벡터를 이용하여 예측 VOP를 완성하게 된다. 화면 간 부호에서 텍스처 코딩 블록(4)은 예측 VOP와 현재 VOP의 차이를 입력으로 받아 부호화한 후 그 결과를 내보낸다. 도면 부호 6은 형상 정보, 움직임 정보 및 텍스처 정보를 다중화하기 위한 멀티플렉서(MUX)이며, 도면 부호 7은 멀티플렉서(6)의 출력버퍼이다.
특히, 임의 형상 VOP의 실현을 위해 형상과 알파 맵 코딩(shape and alpha map coding)이 사용되는데, 영상의 텍스처 정보에 덧붙여 그 해당 화면의 형상 정보를 표현하기 위해 알파 맵(alpha map)이 사용된다. 알파 맵은 바이너리 알파(binary alpha)와 그레이 스케일 알파(gray scale alpha)로 나눌 수 있으며, 전자는 형상 정보를 '0', '255' (픽셀의 해상도가 8 비트인 경우)의 두 레벨로 표현하는 반면, 그레이 스케일 알파는 픽셀(pixel)의 해상도(resolution)로 표현할 수 있는 모든 레벨 값을 가질 수 있어서 투과도를 표현한다. 임의 형상의 VOP는 도 2와 같다.
VOP의 좌측 상단 기준점(도 2에 도시된 사각형(A 부분)의 우측 상단 꼭지점)은 임의 형상 객체를 모두 포함하되, 해당 객체를 가장 적은 개수의 매크로 블록(MB: macro block : 16x16 픽셀)들로 포함할 수 있는 수평, 수직의 짝수 번째 픽셀이 되며, 우측 하단은 임의 객체의 우측 및 하단의 최대값(right max, bottom max)으로 한다. 도 2에서 굵은 선의 사각형(A)이 임의 형상 VOP가 된다. 결과적으로 임의 형상 VOP는 도 2와 같이 결정된 너비(width), 길이(height) 크기인 Y(휘도), 알파(알파 맵)와 너비/2, 길이/2 크기인(4:2:0 포맷인 경우) U, V(색 신호)로 표현된다. 임의 형상 VOP의 예는 도 3a 및 도 3b와 같다.
도 3a는 형상과 텍스처를 모두 포함한 영상객체플레인(VOP)이며, 도 3b는 형상 부분(알파 맵)을 표현한 것으로, 픽셀의 해상도가 8 비트인 경우 해당 픽셀의 알파 맵 값이 '255'(불투명)인 부분은 검정색으로 '0'(투명)은 흰색으로 표현된 것이다.
객체 기반의 디지털 영상 압축 및 복원에서는 특정 시간에서의 객체 영상을 나타내는 VOP의 크기 즉, 프레임의 크기가 시간에 따라 일정하지 않다. 따라서 복호기에서 화면 삽입의 필요성이 있는 경우 서로 다른 크기를 갖는 두 임의 형상 영상을 통해 새로운 프레임을 생성하는 기술이 필요하다.
따라서 본 발명은 처리가 간단한 형상 정보를 이용한 간단한 프레임 매칭을 통해 전, 후 프레임의 크기가 같도록 프레임을 갱신하고, 같은 사이즈로 갱신된 전, 후 프레임을 이용하여 간단한 선형 보간법으로 삽임 프레임을 생성하므로써 상기한 단점을 해소할 수 있는 임의 형상 프레임 생성기 및 그를 이용한 임의 형상 프레임 생성 방법을 제공하는 데 그 목적이 있다.
상기한 목적을 달성하기 위한 본 발명은 형상 정보와 텍스처 정보를 갖는 크기가 다른 두 프레임 사이에 새로운 프레임을 삽입하기 위한 임의 형상 프레임 생성기에 있어서, 복원된 임의 형상 VOP를 출력하는 임의 형상 복호기와, 상기 임의 형상 복호기로부터 출력되는 복원된 임의 형상 VOP를 저장하는 전 프레임 버퍼 및 후 프레임 버퍼와, 상기 전 프레임 버퍼 및 후 프레임 버퍼에 저장된 VOP를 입력받으며, 두 프레임의 크기가 다를 경우 상기 VOP의 형상 정보를 이용한 프레임 매칭을 통해 두 프레임의 매칭 포인트를 찾아내고, 상기 매칭 포인트와 모드 값, 갱신에 필요한 두 프레임 중 최대 너비, 최대 길이를 출력하는 임의 형상 프레임 매칭기와, 상기 임의 형상 프레임 매칭기로부터 데이터를 입력받으며, 모드에 따라 상기 전 프레임 버퍼 및 후 프레임 버퍼에 저장된 VOP를 갱신하여 출력하는 임의 형상 프레임 갱신기와, 상기 임의 형상 프레임 갱신기로부터 출력되는 갱신된 VOP를 저장하는 임시 버퍼와, 상기 전 프레임 버퍼 및 후 프레임 버퍼에 저장된 데이터를 선형 보간하여 새로운 프레임을 생성하는 프레임 생성기를 포함하는 것을 특징으로 한다.
또한, 상기한 목적을 달성하기 위한 본 발명은 형상 정보와 텍스처 정보를 갖는 크기가 다른 두 프레임 사이에 새로운 프레임을 삽입하기 위한 임의 형상 프레임 생성 방법에 있어서, 임의 형상 복호기에서 복원된 임의 형상 VOP가 전 프레임 버퍼 및 후 프레임 버퍼에 저장되는 단계, 상기 전 프레임 버퍼 및 후 프레임 버퍼에 저장된 VOP가 임의 형상 프레임 매칭기로 입력되는 단계, 두 프레임의 크기가 다를 경우 상기 형상 프레임 매칭기가 상기 VOP의 형상 정보를 이용한 프레임 매칭을 통해 두 프레임의 매칭 포인트를 찾아내고, 상기 매칭 포인트와 모드 값, 갱신에 필요한 두 프레임 중 최대 너비, 최대 길이를 임의 형상 프레임 갱신기로 출력하는 단계와, 상기 임의 형상 프레임 갱신기가 모드에 따라 상기 전 프레임 버퍼 및 후 프레임 버퍼에 저장된 VOP를 갱신하여 임시 버퍼에 저장하는 단계와, 프레임 생성기가 상기 전 프레임 버퍼 및 후 프레임 버퍼에 저장된 데이터를 선형 보간하여 새로운 프레임을 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 전 프레임 버퍼에는 T-1 시간의 프레임이 저장되고, 상기 후 프레임 버퍼에는 T 시간의 프레임이 저장되며, 상기 VOP는 형상 정보, 텍스처 정보, 배경 화면 내의 위치 정보를 포함하는 것을 특징으로 한다.
상기 프레임 매칭은 VOP(T-1)의 VOP 크기를 X(T-1)(수평방향 픽셀수, 짧은 너비), Y(T-1)(수직방향 픽셀수, 짧은 길이)라 하고, VOP(T)의 VOP 크기를 X(T)(긴 너비), Y(T)(긴 길이)라 할 경우, 상기 VOP(T-1)와 VOP(T)의 x에서 x + X(T-1)까지, y에서 y+Y(T-1) (x : 0~X(T)-X(T-1), y : 0 ~ Y(T)-Y(T-1))의 알파 맵의 차이를 구하는 단계와, 상기 알파 맵의 차이를 가장 작게 하는 매칭 포인트 x, y를 구하는 단계를 통해 이루어지는 것을 특징으로 한다.
상기 프레임 매칭은 VOP(T-1)의 VOP 크기를 X(T-1)(수평방향 픽셀수, 긴 너비), Y(T-1)(수직방향 픽셀수, 긴 길이)라 하고, VOP(T)의 VOP 크기를 X(T)(짧은 너비), Y(T)(짧은 길이)라 할 경우, 상기 VOP(T)와 VOP(T-1)의 x에서 x + X(T)까지, y에서 y+Y(T) (x : 0~X(T-1)-X(T), y : 0 ~ Y(T-1)-Y(T))의 알파 맵의 차이를 구하는 단계와, 상기 알파 맵의 차이를 가장 작게 하는 매칭 포인트 x, y를 구하는 단계를 통해 이루어지는 것을 특징으로 한다.
상기 임시 버퍼에 저장된 갱신된 VOP를 상기 전 프레임 버퍼 및 후 프레임 버퍼에 저장하는 단계를 더 포함하는 것을 특징으로 한다.
임의 형상 영상의 프레임은 고정 화면 크기를 가지지 못하기 때문에 프레임 삽입에 있어 기존과는 다른 방법이 사용되어야 한다. 본 발명은 비교적 처리가 간단한 형상 정보를 이용한 프레임 매칭을 통해 전, 후 프레임의 크기를 같게 맞추어 삽입할 프레임을 간단한 방법으로 생성할 수 있는 기술을 제안한다.
본 발명에서는 알파 맵을 이용한 프레임 매칭 알고리즘을 제안하였고, 이를 적은 버퍼를 사용하여 빠른 시간 내에 생성하는 방법을 구현하였다. 본 발명은 임의 영상을 실시간에 복원하는 응용 분야에 활용될 것으로 기대된다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하면 다음과 같다.
도 4는 본 발명에 따른 임의 형상 프레임 생성기의 구성도이다.
임의 형상 복호기(101)에서 복원된 임의 형상 VOP 즉, 프레임을 전 프레임 버퍼(105), 후 프레임 버퍼(104)에 저장한다. 전 프레임 버퍼(105)에는 T-1 시간의 프레임이 저장되고, 후 프레임 버퍼(104)에는 T 시간의 프레임이 저장된다. 보통의 임의 형상 복호기의 결과에서 처럼 버퍼에 저장되는 VOP에는 형상 정보, 텍스처 정보가 모두 포함되어 현재의 임의 형상 VOP의 배경 화면 내의 위치 정보(horizontal spatial reference, vertical spatial reference)가 모두 포함됨을 가정한다.
전 프레임 버퍼(105) 및 후 프레임 버퍼(104)에 저장된 VOP는 임의 형상 프레임 매칭기(102)로 입력되는데, 만약 두 프레임의 크기가 다를 경우 VOP의 형상 정보 즉, 알파 맵을 이용한 프레임 매칭을 통해 두 프레임의 매칭 포인트를 찾아내고, 임의 형상 프레임 갱신기(103)로 매칭 포인트와 뒤에서 설명할 모드 값, 갱신에 필요한 두 프레임 중 최대 너비, 최대 길이를 출력한다.
임의 형상 프레임 매칭기(102)의 매칭 포인트 추출 동작은 도 5와 같다. 예를 들어, 시간 T-1의 VOP의 알파 맵이 도 5의 A(짧은 너비, 짧은 길이)와 같고, 시간 T의 VOP의 알파 맵이 B(긴 너비, 긴 길이)와 같을 경우, 그 사이에 프레임을 삽입하려면 자연스러운 화면 전환을 위해 두 VOP의 평균적 움직임을 표현해야 하는데, 임의 형상 VOP의 경우 알파 맵 데이터를 이용하여 이를 비교적 간단하게 얻어낼 수 있다. 알파 맵 데이터의 경우 '255', '0'으로 표현 가능하며, 이를 간단히 '1', '0'으로 매핑시켜 두 프레임을 매칭시킬 경우 그 연산이 상당히 간단해진다. 그레이 스케일 알파인 경우 '0'인 경우와 그렇지 않은 경우를 '0', '1'로 분리하는 전처리를 통해 같은 방법을 이용할 수 있다.
프레임 매칭 방법은 도 5의 C와 같은 단계로 실시한다. VOP(T-1)의 VOP 크기를 X(T-1)(수평방향 픽셀수, 짧은 너비), Y(T-1)(수직방향 픽셀수, 짧은 길이)라 하고, VOP(T)의 VOP 크기를 X(T)(긴 너비), Y(T)(긴 길이)라 할 경우, VOP(T-1)와 VOP(T)의 x에서 x + X(T-1)까지, y에서 y+Y(T-1) (x : 0~X(T)-X(T-1), y : 0 ~ Y(T)-Y(T-1))의 알파 맵의 차이를 구하여 그 차이를 가장 작게 하는 매칭 포인트 (x, y)를 구한다. 단, 여기서 4:2:0 포맷이 주로 사용되므로 U, V에 적용할 x/2, y/2를 정수로 만들기 위하여 x, y는 짝수에 대해서만 수행한다. 만약 이를 하드웨어로 구할 경우 두 VOP의 알파 맵의 픽셀별 논리곱(AND)과 이의 합으로 구현 가능하므로 간단하게 구현할 수 있다. 위의 설명과 같이 후 프레임이 수평, 수직으로 모두 큰 경우를 모드 1로 한다.
상기 예와는 다르게 VOP(T-1)가 VOP(T)에 비해 너비, 길이가 더 클 경우 즉, VOP(T-1)의 VOP 크기를 X(T-1)(수평방향 픽셀수, 긴 너비), Y(T-1)(수직방향 픽셀수, 긴 길이)라 하고, VOP(T)의 VOP 크기를 X(T)(짧은 너비), Y(T)(짧은 길이)라 할 경우, 위 경우와 반대로 VOP(T)와 VOP(T-1)의 x에서 x + X(T)까지, y에서 y+Y(T) (x : 0~X(T-1)-X(T), y : 0 ~ Y(T-1)-Y(T))의 알파 맵 차이를 구하여 그 차이를 가장 작게 하는 매칭 포인트 x, y를 찾을 수 있다. 전 프레임이 모두 수평, 수직 방향으로 모두 큰 경우를 모드 2로 한다.
또한, 만약 두 프레임에서 수평, 수직 방향으로 모두 더 큰 프레임이 존재하지 않을 경우는 도 6과 같이 처리한다. 도 6과 같이 위치를 옮기며 두 프레임이 겹쳐지는 영역 즉, 도 6의 C에서 반투명한 사각형 영역(D)에 대해 두 프레임의 형상 정보 차이를 모두 합산하여 그 결과가 가장 작은 위치를 매칭 포인트로 한다. 즉, VOP1(l_너비, s_길이), VOP2(s_너비, l_길이)의 두 VOP에 대해서 VOP1을 수직 방향으로 y : 0~ (l_길이-s_길이), VOP2를 수평 방향으로 x : 0 ~ (1_너비-s_너비)로 이동시키며, 겹쳐지는 사각형 부분 즉, 그림 C의 반투명한 사각형 영역(D)에 대해 차이를 구하여 최소가 되는 x, y를 구한다. VOP1 타입 즉, 긴 너비, 짧은 길이 타입이 전 프레임인 경우를 모드 3으로 하고, 후 프레임인 경우를 모드 4로 한다.
임의 형상 프레임 갱신기(103)는 임의 형상 프레임 매칭기(102)로부터 모드 정보, 두 VOP 중 최대 VOP 너비, 최대 VOP 길이, 매칭 포인터 x, y를 입력으로 받고 모드에 따라 전 프레임 버퍼(105) 및 후 프레임 버퍼(104)의 데이터를 이용하여 VOP를 갱신한 후 갱신된 VOP를 임시 버퍼(107)에 저장한다. 임시 버퍼(107)에 저장된 결과는 필요에 따라 전, 후 프레임 버퍼(105 및 104)에 저장된다. 임의 형상 프레임 갱신기(103)의 동작 예는 도 7과 같다.
모드 1: 전 프레임이 후 프레임보다 작을 경우
임의 형상 프레임 갱신기(103)는 임시 버퍼(107)에 전 프레임의 데이타를 매칭 포인트 만큼 보정 위치시키고, 후 프레임 사이즈 즉, 최대 VOP 너비, 최대 VOP 길이에 맞추기 위해 패딩 처리한다. 패딩은 일반적인 최 외곽의 픽셀 값들을 이용한다. 알파, Y(휘도) 성분에 대해서는 x, y로 보정하고 최대 너비, 최대 길이로 패딩하고, U, V에 대해서는 x/2, y/2로 보정하고 최대 너비/2, 최대 길이/2로 패딩한다. 임시 버퍼(107)의 값을 전 프레임 버퍼(105)에 기록한다. 결과적으로 갱신된 전 프레임의 크기는 후 프레임의 크기와 같아 쉽게 처리할 수 있는 상태가 된다.
모드 2: 전 프레임이 후 프레임보다 클 경우
임의 형상 프레임 갱신기(103)는 임시 버퍼(107)에 후 프레임의 데이타를 매칭 포인트 만큼 보정 위치시키고, 전 프레임 사이즈 즉, 최대 VOP 너비, 최대 VOP 길이에 맞추기 위해 패딩 처리한다. 임시 버퍼(107)의 값을 후 프레임 버퍼(104)에 기록한다.
모드 3: 전 프레임이 후 프레임에 비해 너비가 넓고 길이가 짧은 형태인 경우
최대 너비는 전 프레임의 너비가 되고 최대 길이는 후 프레임의 길이가 된다. 모드 3에서는 전, 후 프레임을 모두 최대 너비, 최대 길이로 갱신하여 크기를 맞추어 준다. 먼저, 임시 버퍼(107)에 전 프레임 버퍼(105)의 데이터를 매칭 포인트의 y 성분을 이용하여 보정하고 최대 길이에 맞추어 상, 하로 패딩한 다음 이를 전 프레임 버퍼(105)에 저장한다. 전 프레임 처리가 끝나면 후 프레임을 임시 버퍼(107)에 매칭 포인트의 x 성분을 이용하여 보정하고 최대 너비에 맞추어 좌, 우로 패딩하고, 이를 후 프레임 버퍼(104)에 저장한다.
모드 4: 전 프레임이 후 프레임에 비해 너비가 좁고 길이가 긴 형태인 경우
최대 너비는 후 프레임의 너비가 되고, 최대 길이는 전 프레임의 길이가 된다. 먼저, 임시 버퍼(107)에 전 프레임 버퍼(105)의 데이터를 매칭 포인트의 x 성분을 이용하여 보정하고 최대 너비에 맞추기 위해 좌, 우로 패딩한 후 전 프레임 버퍼(105)에 저장한다. 전 프레임 처리가 끝나면 후 프레임 버퍼(104)의 데이터를 임시 버퍼(107)에 매칭 포인트의 y 성분을 이용하여 보정하고 최대 길이에 맞추어 상, 하로 패딩하고, 이를 후 프레임 버퍼(104)에 저장한다.
프레임 생성기(106)는 임의 형상 프레임 갱신기(103)에 의해 전, 후 프레임의 동일한 크기로 새롭게 저장되어 있는 전 프레임 버퍼(105) 및 후 프레임 버퍼(104)의 데이터를 선형 보간(linear interpolation)하여 새로운 프레임을 생성한다. 또 새로운 프레임의 배경 화면 내의 위치 정보는 임의 형상 프레임 매칭기(102)로부터의 모드 정보(상기 모드 1 내지 모드 4)와 매칭 포인트 정보(x, y)를 받아 이를 이용하여 다음과 같이 설정한다.
모드 1인 경우 전 프레임의 (horizontal spatial reference - x), (vertical spatial reference - y)와 후 프레임의 horizontal spatial reference, vertical spatial reference의 평균값을 사용한다.
모드 2인 경우 전 프레임의 horizontal spatial reference, vertical spatial reference와 전 프레임의 (horizontal spatial reference - x), (vertical spatial reference - y)의 평균값을 사용한다.
모드 3인 경우 전 프레임의 horizontal spatial reference, (vertical spatial reference - y)와 후 프레임의 (horizontal spatial reference - x), vertical spatial reference의 평균값을 사용한다
모드 4인 경우 전 프레임의 (horizontal spatial reference - x), vertical spatial reference - y와 후 프레임의 horizontal spatial reference, (vertical spatial reference - y)의 평균값을 사용한다.
상술한 바와 같이 본 발명은 처리가 간단한 형상 정보를 이용하고 간단한 프레임 매칭을 통해 전, 후 프레임의 크기가 같도록 프레임을 갱신한다. 같은 사이즈로 갱신된 전, 후 프레임을 이용하여 간단한 선형 보간법으로 삽임 프레임을 생성한다.
또한, 삽입 영상의 배경 영상 내의 객체 영상의 위치에 전, 후 프레임의 위치 정보를 고려하여 설정함으로써 배경 영상 내의 삽입 영상의 자연스러운 화면 전환을 실현할 수 있다.
형상 정보('0', '1'의 두 레벨 값으로 매핑 가능)를 이용하여 본 발명의 프레임 매칭기를 하드웨어로 구현할 경우 형상 정보의 특성상 구현이 용이하여 실시간 구현이 필요한 응용 분야에 활용할 수 있다.
도 1은 MPEG 4 영상객체플레인(VOP) 인코더의 구성도.
도 2는 임의 형상 VOP의 추출을 설명하기 위한 예시도.
도 3a 및 도 3b는 임의 형상 VOP와 그 VOP의 알파 맵을 설명하기 위한 예시도.
도 4는 본 발명의 임의 형상 프레임 생성기의 구성도.
도 5 및 도 6은 도 4의 임의 형상 프레임 매칭기의 동작을 설명하기 위한 예시도.
도 7은 도 4의 임의 형상 프레임 갱신기의 동작을 설명하기 위한 예시도.
<도면의 주요 부분에 대한 부호의 설명>
1: 형상 코딩 블록 2: 움직임 추정 블록
3: 움직임 비교 블록 4: 텍스처 코딩 블록
5: 복원된 VOP 6: 멀티플렉서
7: 버퍼 101: 임의 형상 영상 복호기
102: 임의 형상 프레임 매칭기 103: 임의 형상 프레임 갱신기
104: 후 프레임 버퍼 105: 전 프레임 버퍼
106: 프레임 생성기 107: 임시 버퍼
Claims (8)
- 형상 정보와 텍스처 정보를 갖는 크기가 다른 두 프레임 사이에 새로운 프레임을 삽입하기 위한 임의 형상 프레임 생성기에 있어서,복원된 임의 형상 VOP를 출력하는 임의 형상 복호기와,상기 임의 형상 복호기로부터 출력되는 복원된 임의 형상 VOP를 저장하는 전 프레임 버퍼 및 후 프레임 버퍼와,상기 전 프레임 버퍼 및 후 프레임 버퍼에 저장된 VOP를 입력받으며, 두 프레임의 크기가 다를 경우 상기 VOP의 형상 정보를 이용한 프레임 매칭을 통해 두 프레임의 매칭 포인트를 찾아내고, 상기 매칭 포인트와 모드 값, 갱신에 필요한 두 프레임 중 최대 너비, 최대 길이를 출력하는 임의 형상 프레임 매칭기와,상기 임의 형상 프레임 매칭기로부터 데이터를 입력받으며, 모드에 따라 상기 전 프레임 버퍼 및 후 프레임 버퍼에 저장된 VOP를 갱신하여 출력하는 임의 형상 프레임 갱신기와,상기 임의 형상 프레임 갱신기로부터 출력되는 갱신된 VOP를 저장하는 임시 버퍼와,상기 전 프레임 버퍼 및 후 프레임 버퍼에 저장된 데이터를 선형 보간하여 새로운 프레임을 생성하는 프레임 생성기를 포함하는 것을 특징으로 하는 임의 형상 프레임 생성기.
- 형상 정보와 텍스처 정보를 갖는 크기가 다른 두 프레임 사이에 새로운 프레임을 삽입하기 위한 임의 형상 프레임 생성 방법에 있어서,임의 형상 복호기에서 복원된 임의 형상 VOP가 전 프레임 버퍼 및 후 프레임 버퍼에 저장되는 단계,상기 전 프레임 버퍼 및 후 프레임 버퍼에 저장된 VOP가 임의 형상 프레임 매칭기로 입력되는 단계,두 프레임의 크기가 다를 경우 상기 형상 프레임 매칭기가 상기 VOP의 형상 정보를 이용한 프레임 매칭을 통해 두 프레임의 매칭 포인트를 찾아내고, 상기 매칭 포인트와 모드 값, 갱신에 필요한 두 프레임 중 최대 너비, 최대 길이를 임의 형상 프레임 갱신기로 출력하는 단계와,상기 임의 형상 프레임 갱신기가 모드에 따라 상기 전 프레임 버퍼 및 후 프레임 버퍼에 저장된 VOP를 갱신하여 임시 버퍼에 저장하는 단계와,프레임 생성기가 상기 전 프레임 버퍼 및 후 프레임 버퍼에 저장된 데이터를 선형 보간하여 새로운 프레임을 생성하는 단계를 포함하는 것을 특징으로 하는 임의 형상 프레임 생성 방법.
- 제 2 항에 있어서, 상기 전 프레임 버퍼에는 T-1 시간의 프레임이 저장되고, 상기 후 프레임 버퍼에는 T 시간의 프레임이 저장되는 것을 특징으로 하는 임의 형상 프레임 생성 방법.
- 제 2 항에 있어서, 상기 VOP는 형상 정보, 텍스처 정보, 배경 화면 내의 위치 정보를 포함하는 것을 특징으로 하는 임의 형상 프레임 생성 방법.
- 제 2 항에 있어서, 상기 프레임 매칭은 VOP(T-1)의 VOP 크기를 X(T-1)(수평방향 픽셀수, 짧은 너비), Y(T-1)(수직방향 픽셀수, 짧은 길이)라 하고, VOP(T)의 VOP 크기를 X(T)(긴 너비), Y(T)(긴 길이)라 할 경우,상기 VOP(T-1)와 VOP(T)의 x에서 x + X(T-1)까지, y에서 y+Y(T-1) (x : 0~X(T)-X(T-1), y : 0 ~ Y(T)-Y(T-1))의 알파 맵의 차이를 구하는 단계와,상기 알파 맵의 차이를 가장 작게 하는 매칭 포인트 x, y를 구하는 단계를 통해 이루어지는 것을 특징으로 하는 임의 형상 프레임 생성 방법.
- 제 5 항에 있어서, 상기 x, y는 짝수인 것을 특징으로 하는 임의 형상 프레임 생성 방법.
- 제 2 항에 있어서, 상기 프레임 매칭은 VOP(T-1)의 VOP 크기를 X(T-1)(수평방향 픽셀수, 긴 너비), Y(T-1)(수직방향 픽셀수, 긴 길이)라 하고, VOP(T)의 VOP 크기를 X(T)(짧은 너비), Y(T)(짧은 길이)라 할 경우,상기 VOP(T)와 VOP(T-1)의 x에서 x + X(T)까지, y에서 y+Y(T) (x : 0~X(T-1)-X(T), y : 0 ~ Y(T-1)-Y(T))의 알파 맵의 차이를 구하는 단계와,상기 알파 맵의 차이를 가장 작게 하는 매칭 포인트 x, y를 구하는 단계를 통해 이루어지는 것을 특징으로 하는 임의 형상 프레임 생성 방법.
- 제 2 항에 있어서, 상기 임시 버퍼에 저장된 갱신된 VOP를 상기 전 프레임 버퍼 및 후 프레임 버퍼에 저장하는 단계를 더 포함하는 것을 특징으로 하는 임의 형상 프레임 생성 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2002-0075752A KR100522171B1 (ko) | 2002-12-02 | 2002-12-02 | 임의 형상 프레임 생성기 및 그를 이용한 임의 형상프레임 생성 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2002-0075752A KR100522171B1 (ko) | 2002-12-02 | 2002-12-02 | 임의 형상 프레임 생성기 및 그를 이용한 임의 형상프레임 생성 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20040048006A KR20040048006A (ko) | 2004-06-07 |
KR100522171B1 true KR100522171B1 (ko) | 2005-10-18 |
Family
ID=37342937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR10-2002-0075752A KR100522171B1 (ko) | 2002-12-02 | 2002-12-02 | 임의 형상 프레임 생성기 및 그를 이용한 임의 형상프레임 생성 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100522171B1 (ko) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101228111B1 (ko) | 2006-11-01 | 2013-02-01 | 삼성전자주식회사 | 움직임 보상을 위한 더블 레지스터 어레이 버퍼 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08336115A (ja) * | 1995-06-08 | 1996-12-17 | Nippon Telegr & Teleph Corp <Ntt> | フレーム内挿方法 |
JPH11331829A (ja) * | 1998-05-19 | 1999-11-30 | Nippon Telegr & Teleph Corp <Ntt> | 特徴点追跡方法及び装置、並びに特徴点追跡プログラムを記録した記録媒体 |
KR20000050501A (ko) * | 1999-01-11 | 2000-08-05 | 구자홍 | 유효범위 조건 탬플리트 매칭을 이용한 얼굴 영역 추출방법 |
KR20020062557A (ko) * | 2001-01-20 | 2002-07-26 | 삼성전자 주식회사 | 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법 |
-
2002
- 2002-12-02 KR KR10-2002-0075752A patent/KR100522171B1/ko not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08336115A (ja) * | 1995-06-08 | 1996-12-17 | Nippon Telegr & Teleph Corp <Ntt> | フレーム内挿方法 |
JPH11331829A (ja) * | 1998-05-19 | 1999-11-30 | Nippon Telegr & Teleph Corp <Ntt> | 特徴点追跡方法及び装置、並びに特徴点追跡プログラムを記録した記録媒体 |
KR20000050501A (ko) * | 1999-01-11 | 2000-08-05 | 구자홍 | 유효범위 조건 탬플리트 매칭을 이용한 얼굴 영역 추출방법 |
KR20020062557A (ko) * | 2001-01-20 | 2002-07-26 | 삼성전자 주식회사 | 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR20040048006A (ko) | 2004-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6950556B2 (en) | Video coding and video decoding apparatus | |
US6577679B1 (en) | Method and apparatus for transcoding coded picture signals from object-based coding to block-based coding | |
US6339616B1 (en) | Method and apparatus for compression and decompression of still and motion video data based on adaptive pixel-by-pixel processing and adaptive variable length coding | |
US7167521B2 (en) | Video encoding apparatus and video decoding apparatus | |
EP1528813B1 (en) | Improved video coding using adaptive coding of block parameters for coded/uncoded blocks | |
CN1058596C (zh) | 对编码图象信号译码时实行半象素移动补偿的方法 | |
JPH08214318A (ja) | ビデオ画像のシーケンスを符号化するための領域ベースアプローチに対する方法及び装置 | |
JP2003533101A (ja) | 予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングするトランスコーディング方法およびトランスコーダ | |
US6307967B1 (en) | Video coding and video decoding apparatus | |
CN1126408A (zh) | 用于并行解码数字视频信号的装置 | |
KR19990030024A (ko) | 적응적 비월주사 모양정보 부호화/복호화 장치 및 방법 | |
Brady et al. | Shape compression of moving objects using context-based arithmetic encoding | |
KR20020047031A (ko) | 효율적인 화상 처리 방법 및 장치 | |
KR100522171B1 (ko) | 임의 형상 프레임 생성기 및 그를 이용한 임의 형상프레임 생성 방법 | |
KR20060059769A (ko) | 영상신호의 엔코딩시에 베이스 레이어 픽처의 벡터를이용하기 위한 미세정보를 코딩하는 방법과 그 미세정보를이용하는 디코딩 방법 | |
JPH11313211A (ja) | 2値形状信号符号化/復号化装置 | |
KR100798386B1 (ko) | 영상 압축방법과 신장방법 및 그 장치 | |
US7426311B1 (en) | Object-based coding and decoding apparatuses and methods for image signals | |
KR100535632B1 (ko) | 적응적으로 보더링하는 모양정보 부호화/복호화 장치 및 방법 | |
CN114449285A (zh) | 视频编解码方法及相关设备 | |
KR19990027349A (ko) | 영상정보 변환방법 | |
JPS6242558B2 (ko) | ||
JPH05284370A (ja) | 画像データ符号化方法及びその装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20081001 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |