KR19990026862A

KR19990026862A - 형태 부호화를 위한 보더 화소 예측 장치 및 방법

Info

Publication number: KR19990026862A
Application number: KR1019970049176A
Authority: KR
Inventors: 조성렬
Original assignee: 전주범; 대우전자 주식회사
Priority date: 1997-09-26
Filing date: 1997-09-26
Publication date: 1999-04-15
Also published as: JPH11112974A; GB9808958D0; GB2329785A; GB2329785B; US6058213A; KR100238889B1

Abstract

본 발명은 윤곽선 정보들을 포함하는 인트라 또는 인터 프레임의 N×N 블록내 각 경계 화소값들의 확률 부호화를 위한 예측 화소값들로 된 보더 영역을 갖는 Q×Q 확장 블록내의 예측 화소값들을 생성할 수 있도록 한 개선된 보더 화소 예측 기법에 관한 것으로, 이를 위하여 본 발명은, 윤곽선 정보 또는 차분 윤곽선 정보를 포함하는 현재 프레임 신호를 신호를 기설정된 다수의 N×N 블록으로 분할하고; 분할된 현재 N×N 블록의 각 화소들을 체크하여 Q×Q 확장 블록의 예측 보더 영역내 예측 화소값의 산출을 필요로 하는 참조 경계 화소인지의 여부를 체크하며; 현재 화소가 참조 경계 화소일 때, 참조 경계 화소들에 인접하는 기설정된 n개의 주변 화소값들중 예측하고자 하는 예측 화소에 인접하는 기설정된 m개의 각 인접 화소값들에 대해 가중치를 적응적으로 할당하는 가중 평균 기법을 이용하여 그에 대응하는 예측 보더 영역내 예측 화소값을 산출하고; 기저장된 N×N 블록의 경계 부분 화소값들을 이용하여 참조 보더 영역을 형성하고, 상기 산출된 예측 화소값들을 이용하여 예측 보더 영역을 형성하며, 형성된 참조 보더 영역 및 예측 보더 영역에 의거하여 현재 N×N 블록을 Q×Q 확장 블록으로 재구성하는 기술수단을 포함한다.

Description

형태 부호화를 위한 보더 화소 예측 장치 및 방법

본 발명은 영상신호를 저전송율로 압축 부호화하는 물체 기반 부호화 기법에 관한 것으로, 더욱 상세하게는 물체 기반 부호화에서 물체의 형태를 부호화하는 데 적합한 개선된 보더 화소 예측 장치 및 방법에 관한 것이다.

이 기술분야에 잘 알려진 바와 같이, 이산화된 영상신호의 전송은 아나로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 프레임으로 구성된 영상신호가 디지탈 형태로 표현될 때, 특히 고품질 텔레비젼(HDTV)의 경우 상당한 양의 전송 데이터가 발생하게 된다. 그러나, 종래의 전송 채널의 사용가능한 주파수 영역이 제한되어 있으므로, 많은 양의 디지탈 데이터를 전송하기 위해서는 전송하고자 하는 데이터를 압축하여 그 전송량을 줄일 필요가 있다.

따라서, 송신측의 부호화 시스템에서는 영상신호를 전송할 때 그 전송되는 데이터량을 줄이기 위하여 영상신호가 갖는 공간적, 시간적인 상관성을 이용하여 압축 부호화한 다음 전송채널을 통해 압축 부호화된 영상신호를 수신측의 복호화 시스템에 전송하게 된다.

한편, 영상신호를 부호화하는데 주로 이용되는 다양한 압축 기법으로서는, 확률적 부호화 기법과 시간적, 공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.

상기한 부호화 기법중의 하나인 대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장 부호화)등을 이용한다. 여기에서, 움직임보상 DPCM 은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이러한 방법은, 예를 들어 Staffan Ericsson 의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, NO.12 (1985년, 12월), 또는 Ninomiy와 Ohtsuka의 A motion Compensated Interframe Coding Scheme for Television Pictures,IEEE Transactions on Communication, COM-30, NO.1 (1982년, 1월)에 기재되어 있다.

보다 상세하게, 움직임보상 DPCM 에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로 부터 예측하는 것이다. 여기에서, 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다. 여기에서, 물체의 화소 변위는, 잘 알려진 바와같이, 소정크기(예를들면, 8×8 크기)의 블록단위로 현재 프레임의 블록을 이전 프레임의 블록들과 비교하여 최적 정합블록을 결정하여 입력되는 현재 프레임에 대해 블록 전체에 대한 프레임간 변위 벡터(프레임간에 블록이 이동한 정도)를 추정하는 블록단위 움직임 추정기법과 각 화소단위로 현재 프레임의 화소값을 이전 프레임의 화소값들로 부터 추정하여 보상하는 화소단위 움직임 추정기법 등을 통해 그 움직임을 추정할 수 있을 것이다.

따라서, 송신측에서는 영상신호를 전송할 때 상술한 바와같은 부호화 기법을 통해 블록단위 또는 화소단위로 영상신호가 갖는 공간적, 시간적인 상관성을 고려해 압축 부호화하여 출력측의 버퍼에 차례로 저장하게 되며, 이와같이 저장된 부호화된 영상데이터는 채널의 요구에 부응하여 소망하는 비트 레이트로 전송채널을 통해 수신측의 복호화 시스템에 전송될 것이다.

즉, 송신측의 부호화 시스템에서는 이산 코사인 변환(DCT)등의 변환부호화를 이용하여 영상신호의 공간적인 중복성을 제거하고, 또한 움직임 추정,예측등을 통한 차분부호화를 이용하여 영상신호의 시간적인 중복성을 제거함으로서, 영상신호를 효율적으로 압축하게 된다.

통상적으로, 상술한 바와같은 DPCM/DCT 하이브리드 부호화 기법은 목표 비트레이트가 Mbps 급이고, 그 응용분야로서 CD-ROM, 컴퓨터, 가전제품(디지탈 VCR 등), 방송(HDTV) 등이 될 수 있으며, 세계 표준화기구에 의해 표준안이 이미 완성된, 영상내의 블록단위 움직임의 통계적 특성만을 주로 고려하는, 고전송율의 부호화에 관한 MPEG1,2 및 H.261 부호화 알고리즘 등에 주로 관련된다.

한편, 최근들어 PC 의 급격한 성능 향상과 보급 확산, 디지탈 전송기술의 발전, 고화질 디스플레이 장치의 실현, 메모리 디바이스의 발달 등으로 가전제품을 비롯한 각종 기기들이 방대한 데이터를 가진 영상 정보를 처리하고 제공할 수 있는 기술중심으로 재편되고 있는 실정이며, 이러한 요구를 충족시키기 위하여 비트레이트가 kbps 급인 기존의 저속 전송로(예를들면, PSTN, LAN, 이동 네트워크 등)를 통한 오디오-비디오 데이터의 전송과 한정된 용량의 저장장치로의 저장을 위해 고압축율을 갖는 새로운 부호화 기술을 필요로 하고 있다.

그러나, 상술한 바와같은 기존의 동영상 부호화 기법들은 이동 물체의 모양과 전역 움직임(global motion)등과는 관계없이 전체 영상에서 지역적인 블록 움직임에 근거하고 있다. 따라서, 기존의 동영상 부호화 기법들은 저전송율에서 블록별 이동 보상 부호화를 적용하는 경우 블록화 현상, 모서리 떨림 현상, 반점 현상 등과 같은 화질 저하가 최종 복원되는 재생 영상에 나타나게 된다. 또한, 저전송율의 영상 전송을 위해 해상도를 유지하려면 영상 데이터의 고 압축율이 필요한데, 상기한 기존의 DCT 변환에 기초한 하이브리드 부호화 기법으로는 그 구현이 불가능하다.

따라서, 현재로서는 기존의 DCT 변환에 기초한 부호화 기법에 대해 추가 압축 실현을 위한 부호화 기법의 표준이 필요한 실정이며, 이러한 시대적인 필요 욕구에 따라 최근 인간의 시각 특성에 바탕을 두고 주관적 화질을 중요시하는 MPEG4 의 표준안 제정을 위한 저전송율 동영상 부호화 기법에 대한 연구가 도처에서 활발히 진행되고 있다.

이러한 필요 충족을 위해 현재 연구되고 있는 실현 가능한 유력한 저전송율 동영상 부호화 기법들로서는, 예를들면, 기존의 부호화 기법을 향상시키고자 하는 파형 기반 부호화(Wave-Based Coding), 모델 기반 부호화(Model-Based Coding)의 일종에 속하는 동영상 물체 기반 부호화(Object-Based Coding), 영상을 복수개의 부블록으로 분할하여 부호화하는 분할 기반 부호화 (Segmentation-Based Coding), 영상의 자기유사성을 이용하는 프렉탈 부호화(Fractal Coding) 등이 있다. 여기에서, 본 발명은 동영상 물체 기반 부호화 기법에 관련된다고 볼 수 있다.

본 발명에 관련되는 동영상 물체 기반 부호화 기법으로는 물체 지향 해석 및 합성 부호화 기법(object - oriented analysis - synthesis coding technique)이 있으며, 이러한 기법은 Michael Hotter, Object - Oriented Analysis - Synthesis Coding Based on Moving Two - Dimentional Objects, Signal Processing : Image Communication 2, pp.409-428(December, 1990)에 개시되어 있다.

상기한 물체 지향 해석 및 합성 부호화 기법에 따르면, 입력 비디오 신호는 임의의 물체들로 나누어지고, 각 물체의 움직임, 윤곽 및 화소 데이터는 그들 상호간의 데이터 특성상 성질이 전혀 다른 정보이므로 그 부호화 방법이 서로 독립적, 즉 서로 다른 부호화 채널을 통해 각각 처리된다. 따라서, 각각 별개의 부호화 채널을 통해 부호화된 정보들은, 예를들면 멀티플렉서 등을 통해 다중화되어 전송기로 보내질 것이다. 여기에서, 본 발명은 윤곽, 즉 물체의 형태 정보를 인트라 모드 또는 인터 모드로 부호화하는 기법에 관련된다.

한편, 물체의 형태 정보를 부호화하는 기존의 방법에 있어서, 현재 프레임의 형태(즉, 윤곽선)와 이전 프레임의 형태간의 예측 부호화를 수행하는 인트라 모드 또는 현재 프레임의 형태를 부호화하는 인터 모드시에 얻어지는 근사화된 형태 정보(즉, 윤곽 화소값)에 대해 준비된 코드 테이블(즉, 기설정된 인접 화소값들로 된 참조 블록을 기초로하여 구성한 확률 테이블)을 이용하여 확률 적응을 수행하였으며, 이러한 확률 적응 결과로써 얻어지는 각 심볼(즉, 윤곽 화소값)들에 대한 확률값들을 산술 부호화(arithmetic coding)하여 전송채널로 전송한다.

즉, 상기한 종래기술에서는, 인트라 부호화 모드의 경우 한 화소단위로 부호화하고자 하는 현재 화소값을 부호화할 때, 현재 화소에 인접하는 이미 부호화된 소정범위의 화소값들을 이용하여 이들에 의한 확률값으로 부호화를 수행, 즉 일예로서 도 2a에 도시된 바와같이, 부호화하고자 하는 현재 화소가 굵은 실선으로 도시되어 참조부호 A로써 표시된 화소라고 가정할 때 이전에 이미 부호화된 현재 프레임내 a1 - a10 의 인접 화소들을 이용하여 이들에 의한 확률값으로 부호화를 수행하고 있다.

또한, 상기한 종래기술에서는, 인터 부호화 모드의 경우 현재 프레임의 인접 화소값들과 이전 프레임의 인접하는 화소값들을 이용하여 이들에 의한 확률값으로 부호화를 수행, 즉 일예로서 도 2b 및 도 2c에 각각 도시된 바와같이, 부호화하고자 하는 현재 화소가 굵은 실선으로 도시되어 참조부호 A로써 표시된 화소라고 가정할 때 이전에 이미 부호화된 현재 프레임내 b1 - b4 의 인접 화소들 및 이전 프레임내 b5 - b8 의 인접 화소들을 이용하여 이들에 의한 확률값으로 부호화를 수행하고 있다. 이때, 도 2b는 현재 프레임내 인접하는 화소들의 일예를 도시한 것이고, 도 2c는 이전 프레임내 인접하는 4방향 화소들의 일예를 도시한 것이다.

즉, 종래기술에서는 상술한 바와같이 인트라 부호화 모드 또는 인터 부호화 모드시에 한 화소단위로 확률분포를 이용하는 부호화를 수행한다.

한편, 상술한 바와같이 인트라 부호화 모드 혹은 인터 부호화 모드시에 부호화하고자 하는 현재 화소에 인접하는 이미 부호화된 소정범위(또는 소정위치)의 화소값들을 이용하여 이들에 의한 확률값으로 부호화를 수행하는 경우에 있어서, N×N 블록(예를들면, 16×16 블록)내의 경계 화소값들에 대한 확률 부호화를 위해서는 확장된 영역의 화소값을 필요로 하게 된다.

따라서, 종래에는 일예로서 도 5에 도시된 바와같이 N×N 블록(A)을 4변으로 두 화소씩 확장한 보더 영역(B)을 갖는 Q×Q 확장 블록(예를들면, 20×20 확장 블록) 또는 N×N 블록(A)을 4변으로 한 화소씩 확장한 보더 영역(B′)을 갖는 P×P 확장 블록(예를들면, 16×16 확장 블록)으로 재구성하도록 하는 기법을 채용하고 있다. 여기에서, 4변으로 두 화소씩을 확장한 보더 영역(B)을 갖는 확장 블록은 인트라 부호화 모드를 위한 것이고, 4변으로 한 화소씩을 확장한 보더 영역(B′)을 갖는 확장 블록은 인터 부호화 모드를 위한 것이다.

이때, Q×Q 또는 P×P 확장 블록내의 보더 영역(B 및 B′)내의 제 1 보더 그룹(B1)의 각 화소값들(즉, 현재 부호화하고자 하는 N×N 블록의 상측 및 좌측 보더 영역의 화소값들)은 현재 프레임 또는 이전 프레임의 이미 부호화된 이전 N×N 블록의 대응 화소값들로 채워지고, 아직 존재하지 않는(즉, 부호화되지 않은) 제 2 보더 그룹(B2)의 각 화소값들(즉, 현재 부호화하고자 하는 N×N 블록의 우측 및 하측 보더 영역의 화소값들)은 모두 제로(0)값으로 채워진다.

그러나, 아직 부호화되지 않은 보더 영역의 예측 화소값들을 모두 제로(0)값으로 채우는 기법을 이용하는 상술한 바와같은 종래 방법의 경우, 하나의 현재 화소에 대해 인접하는 화소들을 이용하여 그들에 의한 확률값으로 부호화를 수행한다는 점을 고려할 때 비효율적인 모델링(즉, 획일적인 제로값 삽입에 기인하는 모델링)으로 인해 그 부호화 효율이 현저하게 저하할 수밖에 없다는 문제를 갖는다.

따라서, 본 발명은 상기한 점에 착안하여 안출한 것으로, 윤곽선 정보들을 포함하는 인트라 또는 인터 프레임의 N×N 블록내 각 경계 화소값들의 확률 부호화를 위한 예측 화소값들로 된 보더 영역을 갖는 Q×Q 확장 블록내의 예측 화소값들을 생성할 수 있는 개선된 보더 화소 예측 장치를 제공하는 데 그 목적이 있다.

본 발명의 다른 목적은 윤곽선 정보들을 포함하는 인트라 또는 인터 프레임의 N×N 블록내 각 경계 화소값들의 확률 부호화를 위한 예측 화소값들로 된 보더 영역을 갖는 Q×Q 확장 블록내의 예측 화소값들을 생성할 수 있는 개선된 보더 화소 예측 방법을 제공하는 데 있다.

상기 목적을 달성하기 위한 일관점에 본 발명은, 부호화하고자 하는 영상신호에서 추출한 윤곽선 정보 또는 현재 프레임내 현재 윤곽선과 이전 프레임내 이전 윤곽선간의 차분 윤곽선 정보를 포함하는 현재 프레임내 N×N 블록의 각 화소값들을 인접하는 주변 화소값들을 이용하여 그들에 의한 확률값으로 부호화를 수행할 때 필요로하는 인접하는 이전 N×N 블록의 경계부분에 상응하는 참조 보더 영역 및 미래 N×N 블록측의 예측 보더 영역을 갖는 Q×Q 확장 블록을 생성하는 보더 화소 예측 장치에 있어서, 상기 윤곽선 정보 또는 차분 윤곽선 정보를 포함하는 현재 프레임 신호를 저장하는 프레임 메모리; 상기 프레임 메모리로부터 제공되는 상기 현재 프레임 신호를 기설정된 다수의 N×N 블록으로 분할하는 영역 절단 블록; 상기 영역 절단 블록으로부터 제공되는 현재 N×N 블록의 각 화소들을 체크하여 상기 Q×Q 확장 블록의 예측 보더 영역내 예측 화소값의 산출을 필요로 하는 참조 경계 화소인지의 여부를 체크하며, 그 체크결과에 의거하여 그에 상응하는 예측 제어신호를 발생하는 예측 결정 블록; 상기 참조 경계 화소들에 인접하는 기설정된 n개의 주변 화소값들을 저장하며, 상기 발생된 예측 제어신호에 응답하여, 현재 화소가 상기 참조 경계 화소일 때 기저장된 n개의 주변 화소값들중 예측하고자 하는 예측 화소에 인접하는 기설정된 m개의 각 인접 화소값들에 대해 가중치를 적응적으로 할당하는 가중 평균 기법을 이용하여 그에 대응하는 상기 예측 보더 영역내 상기 예측 화소값을 산출하는 화소 예측 블록; 상기 현재 프레임내 이미 부호화된 이전 N×N 블록의 화소값들을 저장하는 메모리 블록; 및 상기 저장된 이전 N×N 블록의 경계 부분 화소값들을 이용하여 상기 참조 보더 영역을 형성하고, 상기 화소 예측 블록으로부터 제공되는 예측 화소값들을 이용하여 상기 예측 보더 영역을 형성하며, 상기 형성된 참조 보더 영역 및 예측 보더 영역에 의거하여 상기 현재 N×N 블록을 상기 Q×Q 확장 블록으로 재구성하는 블록으로 이루어진 형태 부호화를 위한 보더 화소 예측 장치를 제공한다.

상기 목적을 달성하기 위한 다른 관점에 따른 본 발명은, 부호화하고자 하는 영상신호에서 추출한 윤곽선 정보 또는 현재 프레임내 현재 윤곽선과 이전 프레임내 이전 윤곽선간의 차분 윤곽선 정보를 포함하는 현재 프레임내 N×N 블록의 각 화소값들을 인접하는 주변 화소값들을 이용하여 그들에 의한 확률값으로 부호화를 수행할 때 필요로하는 인접하는 이전 N×N 블록의 경계부분에 상응하는 참조 보더 영역 및 미래 N×N 블록측의 예측 보더 영역을 갖는 Q×Q 확장 블록을 생성하는 보더 화소 예측 방법에 있어서, 상기 윤곽선 정보 또는 차분 윤곽선 정보를 포함하는 현재 프레임 신호를 신호를 기설정된 다수의 N×N 블록으로 분할하는 제 1 과정; 분할된 현재 N×N 블록의 각 화소들을 체크하여 상기 Q×Q 확장 블록의 예측 보더 영역내 예측 화소값의 산출을 필요로 하는 참조 경계 화소인지의 여부를 체크하는 제 2 과정; 상기 체크결과 현재 화소가 상기 참조 경계 화소일 때, 상기 참조 경계 화소들에 인접하는 기설정된 n개의 주변 화소값들중 예측하고자 하는 예측 화소에 인접하는 기설정된 m개의 각 인접 화소값들에 대해 가중치를 적응적으로 할당하는 가중 평균 기법을 이용하여 그에 대응하는 상기 예측 보더 영역내 상기 예측 화소값을 산출하는 제 3 과정; 상기 현재 N×N 블록의 모든 참조 경계 화소들에 각각 대응하는 예측 화소값들이 산출될 때까지 상기 제 2 및 제 3 과정을 반복 수행하는 제 4 과정; 및 기저장된 N×N 블록의 경계 부분 화소값들을 이용하여 상기 참조 보더 영역을 형성하고, 상기 산출된 예측 화소값들을 이용하여 상기 예측 보더 영역을 형성하며, 상기 형성된 참조 보더 영역 및 예측 보더 영역에 의거하여 상기 현재 N×N 블록을 상기 Q×Q 확장 블록으로 재구성하는 제 5 과정으로 이루어진 형태 부호화를 위한 보더 화소 예측 방법을 제공한다.

도 1은 본 발명의 바람직한 실시예에 따른 개선된 보더 화소 예측 장치의 블록구성도,

도 2는 한 화소 단위로 확률 부호화를 수행할 때 인접하는 주변 화소값들을 참조하는 경우의 일예를 도시한 것으로, 5a는 인트라 모드 부호화의 경우를, 5b는 인터 모드 부호화의 경우를 각각 도시한 도면,

도 3은 인트라 부호화 모드일 때 본 발명에 따라 N×N 블록에 예측 화소값으로 이루어지는 보더 영역을 포함하여 재구성한 Q×Q 재구성 블록의 일예를 도시한 도면,

도 4는 인터 부호화 모드일 때 본 발명에 따라 N×N 블록에 예측 화소값으로 이루어지는 보더 영역을 포함하여 재구성한 P×P 재구성 블록의 일예를 도시한 도면,

도 5는 종래방법에 따라 N×N 블록에 보더 영역을 포함하여 재구성한 Q×Q 및 P×P 재구성 블록의 일예를 도시한 도면.

* 도면의 주요부분에 대한 부호의 설명

102,109 : 프레임 메모리 104 : 영역 절단 블록

106 : 예측 결정 블록 108 : 화소 예측 블록

110,114 : 메모리 블록 112 : 재구성 블록

본 발명의 상기 및 기타 목적과 여러가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로 부터 더욱 명확하게 될 것이다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

먼저, 본 발명의 가장 특징적인 기술요지는, 전술한 종래기술에서와 같이 윤곽 정보에 대해 인접하는 주변 화소값들을 이용하여 한 화소씩 확률 부호화를 수행할 때 필요로 하는 확장 영역, 즉 일예로서 도 3 및 도 4에 도시된 보더 영역(B 및 B′)에서 특히 아직 부호화되지 않은 영역측에 형성되는 예측 보더 영역(B2)의 예측 화소값들을 효과적으로 생성한다는 것으로, 이를 위하여 본 발명에서는 인접하는 주변 화소값들을 이용하여 예측 화소값을 산출하며, 또한 예측 화소값을 산출할 때 예측 화소에 가까울수록 화소간의 상관성이 높아지는 영상 특성을 고려하여 예측 화소측에 가까운 인접 화소들에 더 큰 가중치를 부여하는 기법을 채용한다는 것으로, 이러한 기술수단을 통해 본 발명에서 목적으로 하는 부호화의 효율증진을 도모할 수 있다.

도 1은 본 발명의 바람직한 실시예에 따른 개선된 보더 화소 예측 장치의 블록구성도를 나타낸다.

동도면에 도시된 바와같이, 본 발명의 보더 화소 예측 장치는 프레임 메모리(102), 영역 절단 블록(104), 예측 결정 블록(106), 화소 예측 블록(108), 제 1 메모리 블록 (110), 재구성 블록(112) 및 제 2 메모리 블록(114)을 포함한다.

도 1을 참조하면, 프레임 메모리(102)에는 도시 생략된 형태 검출수단을 통해 추출된 형태 정보(즉, 윤곽선 정보)가 프레임 단위로 저장되는 데, 이때 저장되는 윤곽선 정보는 부호화 모드가 인트라 모드일 때 한 프레임에 대한 전체 윤곽선 정보가 될 것이고, 인터 모드일 때 현재 프레임과 재구성된 이전 프레임간의 움직임 보상을 통해 얻어지는 에러신호, 즉 차분 윤곽선 정보가 될 것이다.

먼저, 영역 절단 블록(104)에서는 상기한 프레임 메모리(102)로부터 제공되는 윤곽선을 포함하는 프레임 신호를 다수의 N×N 블록(예를들면, 16×16 블록)으로 분할하며, 이와같이 분할되는 N×N 블록은 라인 L11을 통해 예측 결정 블록(106), 화소 예측 블록(108) 및 재구성 블록(112)으로 적응적으로 제공된다.

다음에, 예측 결정 블록(106)에서는 라인 L11을 통해 영역 절단 블록(104)으로부터 제공되는 N×N 블록의 화소들을 체크하여 보더 영역(예를들면, 도 3 및 도 4의 B 영역)내의 예측 보더 영역(예를들면, 도 3 및 도 4의 B2 영역) 형성을 위한 예측 화소값의 산출을 필요로 하는 화소인지의 여부를 판단, 즉 현재 입력되는 화소가 N×N 블록의 우측 및 좌측의 경계부분에 속하는 화소인지의 여부를 판단하며, 그 판단결과에 의거하여 예측 화소 산출을 위한 예측 제어신호를 라인 L13 상에 발생하여 다음단의 화소 예측 블록(108)으로 제공한다. 이때, 라인 L13 상의 예측 제어신호로서는, 예를들면 하이 또는 로우 레벨을 갖는 논리신호를 이용할 수 있을 것이다.

여기에서, 예측 화소값의 산출을 필요로 하는 N×N 블록의 우측 및 좌측의 경계부분에 속하는 각 화소는, 인트라 부호화 모드인 경우 일예로서 도 3에 도시된 바와같이 우측 및 좌측 경계부분의 두 화소씩이 될 수 있고, 인터 부호화 모드인 경우 일예로서 도 4에 도시된 바와같이 우측 및 좌측 경계부분의 각 하나의 경계 화소가 될 수 있다.

한편, 화소 예측 블록(108)은 라인 L11을 통해 영역 절단 블록(104)으로부터 제공되는 N×N 블록의 화소값들을 기설정된 주기로 갱신해 가면서 일시적으로 저장하는 제 1 메모리 블록(110)을 구비하는 데, 예를들어 라인 L13 상의 예측 제어신호가 하이 레벨일 때 예측 화소값을 산출하도록 셋팅되어 있다고 가정할 때, 예측 제어신호가 로우 레벨이면 라인 L11을 통해 입력되는 화소값들을 제 1 메모리 블록(110)에 순차적으로 저장하고, 예측 제어신호가 하이 레벨이면 제 1 메모리 블록(110)에 기저장된 인접하는 주변 화소값들을 이용하여 현재 화소(즉, 예측 보더 영역(B2)내의 예측 화소를 필요로 하는 화소)의 부호화를 위한 모델링에 필요한 예측 화소값을 산출한다.

즉, 현재 모드가 인트라 부호화 모드인 경우, 현재 N×N 블록(A)내 현재 화소가 일예로서 도 3에 도시된 x 화소이고 이 x 화소의 확률 부호화를 위해 참조하는 인접 화소 블록이 동도면에서 굵은 실선으로 표시된 pb 라고 가정할 때, a1 - a5 화소는 현재 N×N 블록(A)내의 인접 화소이고, a7 - a9 화소는 이미 부호화된 인접 N×N 블록의 경계 화소이며, P1 - P2 화소는 예측을 통해 새롭게 생성해야 할 화소이다. 즉, 동도면에서, 현재 N×N 블록(A)의 상측 및 좌측에 형성되는 화장된 참조 보더 영역(B1)내의 각 화소들은 이미 부호화된 인접 N×N 블록의 대응 화소값들이고, 우측 및 하측에 형성되는 확장된 예측 보더 영역(B2)내의 각 화소들은 인접하는 주변 화소값들에 의거하여 예측해야 할 화소들이다.

따라서, 현재 N×N 블록(A)내 x 화소의 확률 부호화를 위해 필요한 예측 보더 영역(B2)내의 예측 화소 P1 및 P2 의 화소값들을 산출해야만 하는 데, 본 발명에 따라 화소 예측 블록(108)에서는 예측해야 할 화소 P1 및 P2 에 수평 방향으로 인접하는 현재 N×N 블록내의 4화소, 즉 a3 - a6 화소값들에 근거하는 다음의 수학식과 같은 가중 평균 기법을 이용하여 예측 화소 P1 및 P2 의 각 화소값을 산출한다.

상기한 수학식에서 Pi 는 예측하고자하는 i 위치의 예측 화소이고, Ci 는 현재 N×N 블록내 i 위치의 인접 화소이며, Wi 는 i 위치의 인접 화소에 부여하는 가중치이다.

즉, 도 3에서 예측 화소 P1 의 화소값은 a3 - a6 의 화소값으로 예측하는 데, 이때 예측 화소(P1)에 가까울수록 화소간의 상관성이 높아지는 영상 특성을 고려하여 예측 화소(P1)측에 가까운 인접 화소들에 더 큰 가중치를 부여, 즉 인접 화소에 대한 가중치는 a3 ＞ a4 ＞ a5 ＞ a6 의 순서로 부여된다.

상기와 마찬가지로, 예측 화소 P2 의 화소값은 P1 - a5 의 화소값으로 예측하는 데, 인접 화소 또는 예측 화소에 대한 가중치는 P1＞ a3 ＞ a4 ＞ a5 의 순서로 부여된다.

따라서, 예측 화소 P1은 인접 화소 a3 와 보다 높은 상관성을 갖는 예측 화소가 될 것이고, 예측 화소 P2는 인접 예측 화소 P1 와 보다 높은 상관성을 갖는 예측 화소가 될 것이며, 화소 예측 블록(108)에서는 이러한 가중 평균 기법을 통해 도 3의 예측 보더 영역(B2)내의 예측 화소값들을 각각 산출하며, 이와같이 산출되는 예측 보더 영역(B2)내의 예측 화소값들은 라인 L15를 통해 다음단의 재구성 블록(112)으로 제공된다.

다른한편, 현재 모드가 인터 부호화 모드인 경우, 현재 N×N 블록(A)내 현재 화소가 일예로서 도 4에 도시된 x 화소이고 이 x 화소의 확률 부호화를 위해 참조하는 인접 화소 블록이 동도면에서 굵은 실선으로 표시된 pb 라고 가정할 때, a1 - a5 화소는 현재 N×N 블록(A)내의 인접 화소이고, P 화소는 예측을 통해 새롭게 생성해야 할 화소이다. 즉, 동도면에서, 현재 N×N 블록(A)의 상측 및 좌측에 형성되는 화장된 참조 보더 영역(B1)내의 각 화소들은 이미 부호화된 인접 N×N 블록의 대응 화소값들이고, 우측 및 하측에 형성되는 확장된 예측 보더 영역(B2)내의 각 화소들은 인접하는 주변 화소값들에 의거하여 예측해야 할 화소들이다.

이때, 현재 N×N 블록(A)내 x 화소의 확률 부호화를 위해 필요한 예측 보더 영역(B2)내의 예측 화소 P 의 화소값을 산출해야만 하는 데, 본 발명에 따라 화소 예측 블록(108)에서는 예측해야 할 화소 P 에 수평 방향으로 인접하는 현재 N×N 블록내의 4화소, 즉 x - a3 화소값들에 근거하는 상기한 수학식과 같은 가중 평균 기법을 이용하여 예측 화소 P 의 화소값을 산출한다.

따라서, 예측 화소 P 는 인접 화소 x 간와 보다 높은 상관성을 갖는 예측 화소가 될 것이고, 화소 예측 블록(108)에서는 이러한 가중 평균 기법을 통해 도 4의 예측 보더 영역(B2)내 예측 화소값들을 각각 산출하며, 이와같이 산출되는 예측 보더 영역(B2)내의 예측 화소값들은 라인 L15를 통해 다음단의 재구성 블록(112)으로 제공된다.

한편, 재구성 블록(112)에서는 라인 L11을 통해 전술한 영역 절단 블록(104)으로부터 제공되는 현재 N×N 블록(A)의 각 화소값들과 라인 L15를 통해 상술한 화소 예측 블록(108)으로부터 제공되는 예측 화소값들을 이용하여 보더 영역(B)을 갖는 확장 블록으로 재구성, 즉 현재 모드가 인트라 부호화 모드일 때 현재 N×N 블록(예를들면, 16×16 블록)을 일예로서 도 3에 도시된 바와같은 Q×Q 확장 블록(예를들면, 20×20 블록)으로 재구성하고, 또한 현재 모드가 인터 부호화 모드일 때 현재 N×N 블록(예를들면, 16×16 블록)을 일예로서 도 4에 도시된 바와같은 P×P 확장 블록(예를들면, 18×18 블록)으로 재구성하며, 여기에서 재구성되는 현재 N×N 블록에 대응하는 Q×Q 또는 P×P 확장 블록은 도시 생략된 모델 적응 및 부호화기로 전달된다.

이때, 재구성되는 확장 블록에서 참조 보더 영역(B1)내의 화소들은 이미 부호화된 인접하는 이전 N×N 블록의 경계 화소들이고, 예측 보더 영역(B2)내의 화소들은 본 발명에 따른 가중 평균 기법을 이용하여 산출한 예측 화소값들이며, 이때, 재구성 블록(112)에서 확장 블록을 생성할 때 필요로하는 현재 N×N 블록에 인접하는 이전 N×N 블록의 경계 화소들은 제 2 메모리 블록(114)로부터 제공된다. 즉, 제 2 메모리 블록(114)에는 이미 부호화된 이전 N×N 블록의 화소값들이 기저장되어 있다.

따라서, 도시 생략된 모델 적응 및 부호화기에서는 준비된 코드 테이블을 이용하여 각 화소들에 대한 확률값을 결정하고, 이 결정된 확률값들을 예를들면 JPEG(Joint Photographic Experts Group)의 2진 산술코드(binary arithmetic code)를 사용하여 부호화한 다음 부호화된 확률값들은 원격지 수신기로의 전송을 위해 전송채널로 전송하게 될 것이다.

이상 설명한 바와같이 본 발명에 따르면, 물체 기반 부호화를 위한 인트라 모드 또는 인터 모드시에 영상신호에서 검출한 윤곽선을 확률 부호화하는 데 있어서, 인접하는 주변 화소값들을 이용하는 한 화소씩 확률 부호화를 수행하는 데 필요로 하는 아직 부호화되지 않은 확장 영역측에 형성되는 예측 보더 영역의 예측 화소값들을 생성할 때, 예측 화소측에 가까운 인접 화소들에 더 큰 가중치를 부여하는 가중 평균 기법을 예측 보더 영역의 예측 화소값을 산출함으로써, 확률분포를 이용한 윤곽선 부호화의 효율을 대폭적으로 증진시킬 수 있다.

Claims

부호화하고자 하는 영상신호에서 추출한 윤곽선 정보 또는 현재 프레임내 현재 윤곽선과 이전 프레임내 이전 윤곽선간의 차분 윤곽선 정보를 포함하는 현재 프레임내 N×N 블록의 각 화소값들을 인접하는 주변 화소값들을 이용하여 그들에 의한 확률값으로 부호화를 수행할 때 필요로하는 인접하는 이전 N×N 블록의 경계부분에 상응하는 참조 보더 영역 및 미래 N×N 블록측의 예측 보더 영역을 갖는 Q×Q 확장 블록을 생성하는 보더 화소 예측 장치에 있어서,

상기 윤곽선 정보 또는 차분 윤곽선 정보를 포함하는 현재 프레임 신호를 저장하는 프레임 메모리;

상기 프레임 메모리로부터 제공되는 상기 현재 프레임 신호를 기설정된 다수의 N×N 블록으로 분할하는 영역 절단 블록;

상기 영역 절단 블록으로부터 제공되는 현재 N×N 블록의 각 화소들을 체크하여 상기 Q×Q 확장 블록의 예측 보더 영역내 예측 화소값의 산출을 필요로 하는 참조 경계 화소인지의 여부를 체크하며, 그 체크결과에 의거하여 그에 상응하는 예측 제어신호를 발생하는 예측 결정 블록;

상기 참조 경계 화소들에 인접하는 기설정된 n개의 주변 화소값들을 저장하며, 상기 발생된 예측 제어신호에 응답하여, 현재 화소가 상기 참조 경계 화소일 때 기저장된 n개의 주변 화소값들중 예측하고자 하는 예측 화소에 인접하는 기설정된 m개의 각 인접 화소값들에 대해 가중치를 적응적으로 할당하는 가중 평균 기법을 이용하여 그에 대응하는 상기 예측 보더 영역내 상기 예측 화소값을 산출하는 화소 예측 블록;

상기 현재 프레임내 이미 부호화된 이전 N×N 블록의 화소값들을 저장하는 메모리 블록; 및

상기 저장된 이전 N×N 블록의 경계 부분 화소값들을 이용하여 상기 참조 보더 영역을 형성하고, 상기 화소 예측 블록으로부터 제공되는 예측 화소값들을 이용하여 상기 예측 보더 영역을 형성하며, 상기 형성된 참조 보더 영역 및 예측 보더 영역에 의거하여 상기 현재 N×N 블록을 상기 Q×Q 확장 블록으로 재구성하는 블록으로 이루어진 형태 부호화를 위한 보더 화소 예측 장치.
제 1 항에 있어서, 상기 현재 N×N 블록이 16×16 블록이고, 상기 Q×Q 확장 블록은 20×20 블록 또는 18×18 블록인 것을 특징으로 하는 형태 부호화를 위한 보더 화소 예측 장치.
제 2 항에 있어서, 상기 참조 경계 화소는, 상기 현재 N×N 블록의 우측 및 하측 경계부분에 인접하는 각 두 화소인 것을 특징으로 하는 형태 부호화를 위한 보더 화소 예측 장치.
제 2 항 또는 제 3 항에 있어서, 상기 예측 제어신호는, 하이 또는 로우 레벨을 갖는 논리신호인 것을 특징으로 하는 형태 부호화를 위한 보더 화소 예측 장치.
제 1 항에 있어서, 상기 기설정된 m개의 인접 화소들에 대한 가중치는, 상기 예측 화소에 근접한 화소일수록 상대적으로 크게 할당되는 것을 특징으로 하는 형태 부호화를 위한 보더 화소 예측 장치.
제 5 항에 있어서, 상기 예측 화소에 기설정된 m개의 인접 화소들은, 상기 예측 화소의 수평 또는 수직 방향으로 인접하는 4화소인 것을 특징으로 하는 형태 부호화를 위한 보더 화소 예측 장치.
부호화하고자 하는 영상신호에서 추출한 윤곽선 정보 또는 현재 프레임내 현재 윤곽선과 이전 프레임내 이전 윤곽선간의 차분 윤곽선 정보를 포함하는 현재 프레임내 N×N 블록의 각 화소값들을 인접하는 주변 화소값들을 이용하여 그들에 의한 확률값으로 부호화를 수행할 때 필요로하는 인접하는 이전 N×N 블록의 경계부분에 상응하는 참조 보더 영역 및 미래 N×N 블록측의 예측 보더 영역을 갖는 Q×Q 확장 블록을 생성하는 보더 화소 예측 방법에 있어서,

상기 윤곽선 정보 또는 차분 윤곽선 정보를 포함하는 현재 프레임 신호를 기설정된 다수의 N×N 블록으로 분할하는 제 1 과정;

분할된 현재 N×N 블록의 각 화소들을 체크하여 상기 Q×Q 확장 블록의 예측 보더 영역내 예측 화소값의 산출을 필요로 하는 참조 경계 화소인지의 여부를 체크하는 제 2 과정;

상기 체크결과 현재 화소가 상기 참조 경계 화소일 때, 상기 참조 경계 화소들에 인접하는 기설정된 n개의 주변 화소값들중 예측하고자 하는 예측 화소에 인접하는 기설정된 m개의 각 인접 화소값들에 대해 가중치를 적응적으로 할당하는 가중 평균 기법을 이용하여 그에 대응하는 상기 예측 보더 영역내 상기 예측 화소값을 산출하는 제 3 과정;

상기 현재 N×N 블록의 모든 참조 경계 화소들에 각각 대응하는 예측 화소값들이 산출될 때까지 상기 제 2 및 제 3 과정을 반복 수행하는 제 4 과정; 및

기저장된 N×N 블록의 경계 부분 화소값들을 이용하여 상기 참조 보더 영역을 형성하고, 상기 산출된 예측 화소값들을 이용하여 상기 예측 보더 영역을 형성하며, 상기 형성된 참조 보더 영역 및 예측 보더 영역에 의거하여 상기 현재 N×N 블록을 상기 Q×Q 확장 블록으로 재구성하는 제 5 과정으로 이루어진 형태 부호화를 위한 보더 화소 예측 방법.
제 7 항에 있어서, 상기 현재 N×N 블록이 16×16 블록이고, 상기 Q×Q 확장 블록은 20×20 블록 또는 18×18 블록인 것을 특징으로 하는 형태 부호화를 위한 보더 화소 예측 방법.
제 7 항 또는 제 8 항에 있어서, 상기 참조 경계 화소는, 상기 현재 N×N 블록의 우측 및 하측 경계부분에 인접하는 각 두 화소인 것을 특징으로 하는 형태 부호화를 위한 보더 화소 예측 방법.
제 7 항에 있어서, 상기 기설정된 m개의 인접 화소들에 대한 가중치는, 상기 예측 화소에 근접한 화소일수록 상대적으로 크게 할당되는 것을 특징으로 하는 형태 부호화를 위한 보더 화소 예측 방법.