KR19990013990A - 이미지 압축 - Google Patents

Abstract

패딩에 앞서서 패리티 필드들을 분리하는 인터레이스 비디오(interlaced video)용의 패딩 방법이 개시되어 있다. 이에 따르면, 패딩 중에 패리티들의 혼합이 방지된다.

Description

이미지 압축

본 발명은 전자 이미지 방법 및 장치에 관한 것으로, 특히, 압축 이미지에 의한 디지털 통신 및 기억 시스템에 관한 것이다.

비디오 통신 (텔레비전, 원격 회의, 인터네트 등)은 통상 실시간 시청 또는 기억을 위하여 전송 채널을 통하여 오디오와 함께 비디오 프레임(화상, 이미지)의 스트림을 전송한다. 그러나, 전송 채널은 빈번히 불량한 잡음을 부가하며 제한된 대역폭을 갖는다. 따라서, 압축에 의한 디지털 비디오 전송이 널리 이용되고 있다. 특히, 디지털 비디오의 압축에 대한 각종 규격이 등장했는데, 거기에는 이하에 더 설명할 H.261, MPEG-1, 및 MPEG-2를 위시하여 개발 중인 H.263 및 MPEG-4가 포함되어 있다. 유사한 오디오 압축 방법들도 있다.

Tekalp의 Digital Video Processing (1995년, Prentice Hall 발간), Clarke의 Compression of Still Images and Video (1995년, Academic Press 발간), 및 Schafer 등의 Digital Video Coding Standards and Their Role in Video Communications (1995년, 83 Proc. IEEE 907) 에는, H.261, MPEG-1, 및 MPEG-2 규격 이외에 H.263 권고 및 MPEG-4의 소망하는 기능의 지시에 대한 서술들을 포함하여, 각종 압축 방법의 개요들이 포함되어 있다. 이들 문헌 및 다른 모든 인용 문헌들이 참고로 반영되어 있다.

H.261 압축은 프레임간 예측(interframe prediction)을 이용하여 시간 용장도(temporal redundancy)를 감소시키고 높은 공간 주파수 차단과 함께 블록 레벨에서의 이산 코사인 변환(DCT : discrete cosine transform)을 이용하여 공간 용장도(spatial redundancy)를 감소시킨다. H.261은 64 Kbps(초당 킬로비트) 내지 2 Mbps(초당 메가비트)의 배수의 전송 레이트에서의 이용에 권고된다.

H.263 권고는 H.261과 유사하기는 하나, 약 22 Kbps의 비트 레이트에서 이용되고(트위스티드 페어 전화선 호환) 하프-픽셀 정확도로 움직임 추정을 하고(H.261에서 소용되는 루프 필터링에 대한 필요성을 제거함) 중복 움직임 보상을 하여 보다 조밀한 움직임 필드(움직임 벡터 세트)를 얻는데, 그 대가로, 보다 많은 계산을 하고 16×16 매크로블록에 의한 움직임 보상과 8×8 블록에 의한 움직임 보상 간의 적응 스위칭(adaptive switching)을 행한다.

MPEG-1과 MPEG-2도 H.261과 같이 시간 추정의 이용 후에 블록 레벨에서의 2차원 DCT 변환을 이용하지만, 이들은 움직임 보상 추정, 보간, 및 프레임 내 코딩의 다양한 조합을 더 이용한다. MPEG-1은 비디오 CD를 대상으로 하고 약 360 픽셀 × 240 라인의 프레임들에서 약 1-1.5 Mbps 레이트에서 그리고 초당 24-30 프레임으로 잘 동작한다. MPEG-1은 I 프레임들을 내부프레임(intraframe)으로 하고 P 프레임들은 이전의 I 또는 P 프레임들로부터 움직임 보상 추정을 이용하여 코딩하고 B 프레임들은 인접한 I 및 P 프레임들로부터 움직임 보상 쌍방향 추정/보간을 이용하여 코딩하는 식으로 I, P, 및 B 프레임들을 정의한다.

MPEG-2는 디지털 텔레비전(720 픽셀 × 480 라인)을 대상으로 하고 I, P 및 B 프레임들에 확장성(scalability)을 부가한 MPEG-1형 움직임 보상에 의해 약 10 Mbps까지의 비트 레이트를 이용한다(보다 낮은 해상의 이미지를 전송하기 위해 보다 낮은 비트 레이트를 추출할 수 있다).

그러나, 전술한 MPEG 압축 방법들은 블록키니스(blockiness)와 같은 다수의 허용하기 어려운 인위 잡상(artifacts) 및 매우 낮은 비트 레이트에서 동작할 때는 부자연스러운 대상 움직임을 초래한다. 이 기술들은 블록 레벨의 신호에서의 통계적 의존성만을 이용하고 비디오 스트림의 의미 내용을 고려하지 않기 때문에, 매우 낮은 비트 레이트(높은 양자화 팩터) 조건에서 블록 경계들에 인위 잡상이 도입된다. 통상 이들 블록 경계들은 움직이는 대상의 물리적 경계에 대응하지 않으며, 따라서, 시각적으로 성가신 인위 잡상이 생긴다. 제한된 대역폭으로 인해 프레임 레이트가 매끄러운 움직임에 필요한 프레임 레이트 아래로 떨어질 경우 부자연스러운 움직임이 생긴다.

MPEG-4는 10 Kbps 내지 1 Mbps의 전송 레이트에 적용되는 것으로서, 확장성, 내용-베이스의 조작, 에러가 생기기 쉬운 환경에서의 내성, 멀티미디어 데이터 액세스 툴, 향상된 코딩 효율, 그래픽과 비디오 모드를 인코딩할 수 있는 능력, 및 향상된 랜덤 액세스와 같은 기능들을 갖는 내용-베이스의 코딩 방법을 이용하고자 하는 것이다. 동시 코딩되는 대상의 수 및/또는 품질이 변화될 수 있다면 비디오 코딩 방식이 내용 확장성이 있는(content scalable) 것으로 간주된다. 대상 확장성(object scalability)은 동시 코딩되는 대상의 수를 제어하는 것을 말하고, 품질 확장성(quality scalability)은 코딩되는 대상의 공간적 및/또는 시간적 해상도를 제어하는 것을 말한다. 확장성은 제한된 대역폭의 전송 채널들 및 또한 대역폭이 동적(dynamic)인 채널들에 걸쳐서 동작하는 비디오 코딩 방법들의 중요한 특징이다. 예를 들면, 내용 확장성이 있는 비디오 코더는 장면(scene) 내의 중요한 대상들만을 고품질로 인코딩하고 전송함으로써 제한된 대역폭에도 불구하고 성능을 최적화할 수 있는 능력을 갖는다. 그런 다음 이 코더는 남아 있는 대상들을 드롭하거나 또는 훨씬 낮은 품질로 남은 대상들을 코딩하거나 어느 쪽이든 선택할 수 있다. 채널의 대역폭이 증가하면, 코더는 불량하게 코딩된 대상들의 품질을 향상시키거나 분실된 대상들을 복원하기 위한 부가적인 비트들을 전송할 수 있다.

임의 형상의 대상들을 개별적으로 코딩함으로써, MPEG-4는 압축된 영역에서 그러한 대상들을 비트 스트림 레벨에서 조작하는 것을 가능케 한다. 이 기능은 앞서 기존의 코딩 규격들에 의해서는 불가능했던 능력인 서브프레임 또는 대상 레벨에서의 편집 및 합성을 가능케 함으로써 비디오 포스트-프로덕션 응용에서 각별히 유익할 것이다. 이들 능력들은 또한 멀티미디어 제작 툴에서 큰 자산이 될 것이다.

임의 형상의 대상들을 코딩하기 위해 MPEG-4에 의해 채택된 방법은 MPEG-1 및 2에 의해 채택된 전형적인 블록-베이스의 코딩 방식의 변형이다.

MPEG-1 및 2에서는 장면의 움직임은 블록 매칭(block matching)을 수행함으로써 추정되고, 텍스처 정보(내부프레임 또는 예측 에러)는 블록-베이스의 DCT 코딩에 의해 코딩된다.

MPEG-4에서는 움직임 추정 기술은 블록 매칭 알고리즘의 변형이다. 이 알고리즘에서는, 장면은 고정된 위치 및 사이즈의 블록들로 분할된다. 완전히 대상 안에 놓인 블록들에 대하여, 블록 매칭 기술을 이용하여 움직임 추정이 수행된다. 대상의 경계에 있는 블록들의 효과적인 움직임 추정을 수행하기 위하여, 블록 매칭 기술은 다각형 매칭 방법으로 변형된다. 1997년 4월 MPEG-4 검증 모델의 도 3 및 도 4와 섹션 3.3.3.1을 참조하기 바란다. 이 방법에서는, 경계 블록들에 대한 최선의 매칭 블록을 계산함에 있어서 현재의 대상 형상 안에 놓인 픽셀들만이 이용된다. 또한, 반복 및 확장 패딩(Repetitive and Extended padding) 기술을 이용하여 이전 기준 대상을 패딩하여 보다 효과적인 검색 영역을 제공한다. 상기 검증 모델의 도 5 내지 도 7과 섹션 3.3.1 및 3.3.2를 참조하기 바란다.

내부 프레임들로서 코딩된 매크로블록들 및 그것들의 보상된 움직임은 블록 DCT를 이용하여 코딩된다. 대상의 경계에 있는 블록들에 대해서는 DCT 코딩 전에 패딩이 수행된다. 내부 및 예측 에러들에 대해서 상이한 패딩 방식이 적용된다. 두 경우 모두에서, 패딩은 매크로블록 베이스로 수행된다. 움직임 추정 및 보상에 이용된 동일한 반복 및 확장 패딩이 내부 코딩에 적용되지만, 움직임 보상된 매크로블록들은 영(zero)으로 채워진다.

최근에는 MPEG-4에서 순행(progressive) 비디오 데이터로부터 격행(interlaced) 비디오 데이터로 새로운 MPEG-4 기능들을 확장하려는 노력이 있어 왔다. 여기에는 다음과 같은 장점들이 있다: 첫째, 대부분의 비디오 데이터가 인터레이스 형식으로 기록, 조작, 및 방송된다. 둘째, 코딩 루프에서 인터레이스 형식을 다룰 수 있음으로 해서 비용이 많이 들고 차선적인 격순격 변환(interlaced to progressive to interlaced conversions)이 불필요하게 된다. 마지막으로, 오늘날 대부분의 특별한 노력들(크로마 키잉(chroma keying), 알파 블랜딩(alpha blending), 회전, 변환 등)이 인터레이스 비디오에 대해 행해진다. 따라서, MPEG-4는 유사한 방식으로 동작할 것으로 기대된다.

비디오 데이터를 인터레이스 형식으로 코딩할 때의 효율을 향상시키기 위하여 MPEG-4에서 현재 채택된 코딩 툴들은 직사각형 형상 대상에 대하여 매크로블록 베이스의 (1) 필드/프레임 DCT 및 (2) 필드/프레임 움직임 추정 및 보상이다. 그들의 효율은 인터레이스 데이터의 필드 내에 존재하는 보다 높은 상관성을 활용하는 데 있다.

그러나, 인터레이스 형식을 위한 보다 효과적인 코딩이 문제이다.

JPEG, H.261, MPEG-1, 및 MPEG-2 압축 및 디코딩의 하드웨어와 소프트웨어 구현이 존재한다. 또한, 적절한 소프트웨어를 실행시키는, Ultrasparc 또는 TMS320C6x와 같은 프로그래머블 마이크로프로세서 또는 디지털 신호 처리기는 제안된 MPEG-4를 위한 대부분의 압축 및 디코딩을 처리할 수 있고, 효율이 좀 떨어지는 프로세서들은 그보다 낮은 비트레이트의 압축 및 압축 해제를 처리할 수 있다.

본 발명은 인터레이스 필드 내의 개별적인 패딩에 의해 임의 형상의 대상에 대하여 인터레이스 형식에 의한 비디오 코딩 및 디코딩을 제공한다.

이는 필드 상관성을 유지하는 장점을 갖는다.

본 발명은 또한 랜덤 액세스 메모리에 디지털 저장을 하는 시간 경과 감시를 포함한, 보안을 위한 고정 카메라 감시 및 비디오 전화와 같이, 이런 코딩에 응용되는 비디오 시스템을 제공한다.

도 1 내지 도 2의 (c)는 양호한 실시예의 필드 패딩을 도시하는 도면.

도 3 내지 도 4는 움직임 추정 패딩을 도시하는 도면.

도 5 내지 도 7은 반복 패딩을 도시하는 도면.

도면의 주요 부분에 대한 부호의 설명

MPEG-4에서의 패딩

양호한 실시예들을 이해하기 위하여, 먼저 현재의 MPEG-4를 생각해 보자. MPEG-4의 경우 비디오 대상(VO : video object)은 사용자가 액세스하여 조작(자르기, 붙이기, ....)할 수 있는 비트스트림 내의 엔티티들에 해당한다. 어느 주어진 시간에서의 비디오 대상의 예들을 비디오 대상 평면(VOP : video object plane)이라고 부른다. 인코더는 VOP들과 함께 (합성층 신택스를 이용한) 합성 정보를 송신하여 각각의 VOP가 언제 어디에 표시되어야 하는지를 나타낸다. 디코더 측에서는 사용자는 그 합성 정보와 대화(interact)함으로써 표시된 장면의 합성을 변경할 수 있게 된다.

VOP 단위로 움직임 예측을 수행하기 위해서는, VOP 경계의 블록들의 움직임 추정은 블록 매칭에서 다각형 매칭으로 수정되어야 한다. 더욱이, 기준 VOP에 대해서는 특별한 패딩 기술, 즉 매크로블록 베이스의 반복 패딩이 요구된다. 다음 절에서 이들 기술에 대해 상세히 설명한다.

VOP들은 직사각형이라기보다는 임의 형상들을 갖고, 그 형상들은 시간에 따라서 변화하기 때문에, 검증 모델에서 움직임 보상의 일관성을 확실히 하기 위하여 몇 가지 약정이 필요하다.

모든 VOP들을 조회하기 위하여 절대(프레임) 좌표계가 사용된다. 각각의 특정한 시간 예들에서, 도 3에 도시된 바와 같이 해당 VOP의 형상을 포함하는 경계를 정하는 직사각형이 정의된다. 그 절대 좌표계에서 경계 박스(bounding box)의 좌상단 모퉁이가 VOP 공간 기준으로 인코딩된다.

따라서, VOP 내의 특정 피처(feature), 예를 들면, 매크로블록의 움직임 벡터는 절대 좌표계에서 그 피처의 변위(displacement)를 말한다. 상이한 시간 예에서 VOP 경계 박스들의 정렬은 행해지지 않는다.

움직임 추정 및 보상 모드 외에, 2개의 부가적인 모드들이 지원된다. 즉, 무제한(unrestricted) 모드와 진보(advanced) 모드들이 지원된다. 3개 모드 모두에서, 움직임 벡터 검색 범위는 [-2^f_code+3, 2^f_code+3- 0.5] 까지이고, 여기서 0 = f_code = 7이다. 이 모드는 주로 VOP의 경계 박스 내에 움직임 벡터들을 제한함으로써 무제한 움직임과는 상이하다. 진보 모드는 하나의 매크로블록 내의 다수의 움직임 벡터들 및 중복된 움직임 보상을 허용한다. 3개 모드 모두에서, 움직임 추정 및 보상 모두에 VOP의 매크로블록-베이스의 패딩이 필요하다.

VOP의 매크로블록-베이스의 패딩

이 절은 매크로블록-베이스의 패딩 처리를 설명한다. 이 처리는 도 P1에 도시된 바와 같이, 매크로블록이 재구성되자마자 그 매크로블록을 디코더가 패딩할 수 있게 한다. 그 후, 패딩된 VOP는 움직임 보상에 이용된다. 인코더에서는, 움직임 보상 전에 움직임 추정을 위하여 기준 VOP가 유사한 방식으로 패딩된다.

패딩 처리는 다음과 같다. 프레임 메모리(도 P1 참조)는 먼저 휘도와 색차 성분들을 위해서 128로 초기화된다. 경계 블록들은 다음 절에서 설명되는 반복 패딩을 이용하여 패딩된다. 휘도 성분은 16×16 블록에 대하여 패딩되고, 색차 성분들은 8×8 블록에 대하여 패딩된다. 크로마 블록들의 패딩을 위하여, 16×16 알파 블록이 데시메이트된다(decimated). 큰 움직임의 VOP에 대처하기 위하여, 패딩은, 완전히 VOP의 바깥쪽이지만 경계 블록들의 바로 다음에 있는 블록들로 더 확장된다. 이들 블록들은, 도 5에 도시된 바와 같이 (패딩된) 인접한 경계 블록들의 샘플들을 복제(replicate)함으로써 패딩된다.

만일 블록이 2개 이상의 경계 블록들 다음에 있으면, 이 블록은 다음의 약정에 따라서 결정되는 경계 블록들 중 하나의 경계에 있는 샘플들을 복제함으로써 패딩된다. 목표 블록의 하부에 있는 경계 블록을 0번이라 하고, 그 상부에 있는 것을 1번, 그 우측에 있는 것을 2번, 그리고 그 좌측에 있는 것을 3번이라 하자. 그러면 목표 블록은 최대의 번호를 갖는 경계 블록의 경계에 있는 샘플들을 복제함으로써 패딩된다.

움직임 추정/보상 전에 기준 VOP에 이미지 패딩 기술, 즉 반복 패딩이 적용된다. 원칙적으로, 이 패딩 기술은 VOP의 경계 픽셀들을 반복함으로써 VOP 바깥쪽의 영역을 채운다. 패딩은 재구성된 2진 형상에 대하여 수행되어야 한다는 점에 주의하자. 각 경계 픽셀은 VOP의 외부 쪽으로 반복된다. 만일 VOP의 픽셀 외부가 하나 이상의 경계 픽셀의 반복에 의해 커버될 수 있다면, 반복 값들의 평균이 취해진다. 다음 단계들은 이 처리의 정확한 정의를 제공한다.

(1) 블록의 각 수평 라인을 스캔한다. 블록은 16×16(휘도) 또는 8×8(색차)일 수 있다. 각 스캔 라인은 아마도 2종류의 연속 라인 세그먼트들로 이루어진다: 모든 픽셀들이 VOP의 바깥쪽에 있는 외부 세그먼트들과, 모든 픽셀들이 VOP의 안쪽에 있는 내부 세그먼트들.

(A) 만일 외부 세그먼트들이 없다면, 스캔 라인은 패딩되지 않는다.

(B) 그렇지 않다면, 특정 외부 세그먼트에 대해 2가지 경우가 있다:

(i) 그것은 내부 세그먼트와 스캔 라인의 말단 사이에 위치한다. 외부 세그먼트를 내부 세그먼트의 말단 픽셀로 채운다.

(ii) 그것은 2개의 상이한 내부 세그먼트들 사이에 위치한다. 외부 세그먼트를 이 외부 세그먼트에 인접한 내부 세그먼트들의 2개 말단 점들의 평균 값으로 채운다.

(2) 각 수직 스캔 라인에 (1)을 적용한다.

(3) 만일 (1)과 (2) 모두에 의해 제로 픽셀이 패딩될 수 있다면, 2개의 가능한 값들의 평균이 취해진다.

(4) 상기 단계들에서 패딩되지 않은 외부 픽셀들을 고려한다. 그들 각각에 대하여,

(i) 수평으로 스캔하여 동일한 수평 스캔 상의 가장 가까운 패딩된(그렇지만 외부의) 픽셀을 찾는다(만일 동점인 것(tie)이 있다면, 현재 픽셀의 좌측에 있는 것이 선택된다).

(ii) 수직으로 스캔하여 동일한 수직 스캔 상의 가장 가까운 패딩된(그렇지만 외부의) 픽셀을 찾는다(만일 동점인 것이 있다면, 현재 픽셀의 상부에 있는 것이 선택된다).

(iii) 패딩되지 않은 외부의 픽셀을 위에서 발견된 픽셀들의 평균으로 대체한다.

도 7은 상술한 단계들 각각을 도시한다.

DCT 코딩

움직임 보상 후의 잔여 데이터 및 내부 VOP들은 동일한 8×8 블록 DCT 방식을 이용하여 코딩된다. DCT는 휘도 및 색차 평면들 각각에 대하여 개별적으로 행해진다. VOP의 형상이 임의 형상인 경우, VOP의 임의 형상에 속하는 매크로블록들은 하기와 같이 취급된다. 임의 형상의 VOP에 속하는 매크로블록들에는 2종류가 있다: (1) VOP 형상 내부에 완전히 속하는 것들과, (2) 그 형상의 경계에 있는 것들. VOP의 내부에 완전히 속하는 매크로블록들은 H263에서 이용된 기술과 동일한 기술을 이용하여 코딩된다. VOP 형상의 경계에 있는 매크로블록들에 속하는 내부 8×8 블록들은 처음 절에서 서술한 바와 같이 먼저 패딩된다. 크로마 블록들의 패딩을 위하여, 16×16 알파 블록이 데시메이트된다. 잔여 블록들에 대해서는, 블록들 내의 VOP의 바깥쪽 영역이 영으로 패딩된다. 휘도 및 색차 8×8 블록들 각각에 대해서 개별적으로 이 8×8 블록 내의 휘도 또는 색차의 최초 알파 값들을 이용하여 패딩이 수행된다. 투명한 블록들은 스킵되고 따라서 코딩되지 않는다. 그 후, 이들 블록들은 내부 블록들과 동일한 방식으로 코딩된다. 임의 형상에 속하지 않지만 VOP의 경계 박스 내에 있는 매크로블록들은 전혀 코딩되지 않는다.

로우 패스 외삽(LPE : Low Pass Extrapolation) 패딩 기술

다음 블록 패딩 기술은 DCT를 수행하기 전에 완전히 대상 경계 내에 위치하지 않는 내부 블록들에 적용된다. LPE 패딩은 2개의 단계로 수행된다.

(1) 대상 경계 내의 블록 픽셀들의 평균 값을 대상 경계 외부의 각 픽셀에 할당한다.

(2) 블록의 좌상단 모퉁이에서 시작하여 한 줄 한 줄 우하단 픽셀까지 진행하여, 대상 경계 외부의 각 픽셀 f(i,j)에 다음 평균 연산을 적용한다.

f(i,j) = 1/4[f(i,j-1)+f(i-1,j)+f(i,j+1)+f(i+1,j)]

만일 필터링에 이용되는 4개의 픽셀들 중 하나 이상이 블록의 외부에 있다면, 대응하는 픽셀들은 평균 연산에 고려되지 않고, 인수 1/4이 그에 따라서 변형된다.

이 패딩 동작 후에 그 결과 블록은 DCT 코딩을 위해 준비된다.

적응 프레임/필드 DCT

인터레이스 비디오가 코딩되는 경우, 하나의 필드로부터의 데이터로 이루어진 8×8 휘도 블록들을 형성하도록 매크로블록의 라인들을 재정리함으로써 때때로 우수한 에너지 압축이 얻어질 수 있다. 필드 DCT 라인 순서가 이용되는 경우는,

여기서, pi,j는 8×8 DCT가 수행되기 바로 전의 공간 휘도 데이터(샘플들 또는 차이들)이다. 필드 DCT 순열(permutation)은 1의 값은 갖는 dct_type 비트에 의해 표시된다.

필드 DCT 코드가 이용되는 경우, 매크로블록의 공간 영역 내의 휘도 라인들(또는 휘도 에러)은 아래서 보는 바와 같이 프레임 DCT 오리엔테이션으로부터 필드 DCT 구성으로 순열 배치(permute)된다. 도면의 흑색 영역은 하부 필드를 나타낸다. 결과의 매크로블록들은 통상 변형, 양자화, 및 VLC 인코딩된다. 필드 DCT 매크로블록을 디코딩할 때, 모든 휘도 블록들이 IDCT로부터 얻어진 후에 역순열(inverse permutation)이 수행된다. 4:2:0 형식에서, 색차 데이터는 이 모드에 의해 영향을 받지 않는다.

인터레이스 필드 개별 패딩(interlace field separate padding) 양호한 실시예

(필드/프레임 DCT 및 필드/프레임 움직임 추정 및 보상과 같은 인터레이스 툴로 이용될 수 있는) 양호한 실시예 필드 패딩은 프레임 베이스이라기보다는 필드 베이스로 매크로블록 레벨에서 패딩을 수행한다. 양호한 실시예 필드 패딩은 전술한 바와 동일한 패딩 규칙을 이용하지만, 짝수 또는 홀수 라인들을 패딩하는 데 이용되는 픽셀들은 동일한 패리티 라인들에만 속하는 픽셀들의 평균으로 이루어진다. 도 1은 단지 2×2 픽셀들인 매크로블록들의 단순화된 경우의 필드 패딩을 도시한다. 특히, 도 1의 (a)는 라인들의 우측 끝에 표시된 인터레이싱(interlacing)을 위하여 홀수 패리티 라인들을 갖는 직교 평행선의 음영이 새겨진 VOP 픽셀들에 의한 프레임 베이스를 도시하고, 도 1의 (b)와 (c)는 각각 홀수 및 짝수 인터레이스 필드들을 도시한다. 도 7의 (a)에서 프레임 베이스로 2×2 매크로블록들을 채우기 위한 반복 패딩된 픽셀들은 흑색으로 도시되어 있고, 홀수 및 짝수 필드들 내의 대응하는 2×1 (매크로)블록들을 채우기 위한 양호한 실시예 필드 반복 패딩된 픽셀들은 각각 도 1의 (b)와 (c)에 흑색으로 도시되어 있다. 양호한 실시예 베이스 반복 패딩은 필드 상에서 행해지기 때문에, 반복적으로 패딩되는 전체 픽셀들의 수가 적어진다. 유사하게, 프레임 베이스의 (a)에서의 2×2 매크로블록들의 확장 패딩은 확장 패딩된 픽셀들을 결정한 픽셀들의 픽셀 패리티에 의하여 도시되어 있다. 즉, 확장 패딩된 픽셀 내의 1은 홀수 패리티 픽셀들만이 그 확장 패딩된 픽셀 값을 결정했음을 나타내고, 유사하게, 확장 패딩된 픽셀 내의 2는 짝수 패리티 픽셀들만이 그 확장 패딩된 픽셀 값을 결정했음을 나타낸다. 또, 확장 패딩된 픽셀 내의 12는 홀수 및 짝수 패리티 픽셀들 모두가 그 확장 패딩된 픽셀 값을 결정하는 데 이용되었음을 나타낸다. 물론, 필드 베이스에서의 2×1 (매크로)블록들의 확장 패딩은 필드와 동일한 패리티의 픽셀들만을 이용하며, 도 1의 (b)와 (c)는 이를 보여준다.

보통의 16×16 매크로블록들에 있어서, 양호한 실시예는 다음과 같이 진행한다: 먼저, 홀수 및 짝수 패리티 라인들을 2개의 16×8 블록들로 분리한다. 각 16×8 블록은 단일 패리티에 속하는 라인들만을 포함한다. 그런 다음, 각 16×8 블록에 대하여 개별적으로 패딩을 수행한다. 16×8 필드 패딩된 블록들을 이용하여 인터레이스 툴들이 수행된다. 그렇게 함으로써, 패딩된 픽셀들은 패리티 내의 상관성을 감소시키지 않게 되고, 픽셀이 인터레이스 툴들에 의해 최적으로 활용될 수 있게 된다. 특히, 도 2의 (a)는 우측 하부에 직교 평행선의 음영이 새겨진 대상 픽셀들을 도시하며, 1은 홀수 패리티 값, 2는 짝수 패리티 값, 12는 패딩된 픽셀들의 홀수-짝수 평균 값을 나타내는 것으로 하여 수평 및 수직 복제하는 반복 패딩 제1 단계들을 도시한다. 개방된 좌측 상부는 경계 수평 반복들이 1이고 경계 수직 반복들이 2이기 때문에 12 평균으로 채워질 것이다. 따라서, 만일 이 프레임 베이스가 별도의 홀수 및 짝수 패리티 필드들을 생성하는 데 사용된다면, 이 패딩은 각 필드 내의 패리티들을 혼합하게 될 것이다. 대조적으로, 도 2의 (b) 및 (c)는 양호한 실시예에서 패딩 외에 수평 및 수직 반복을 행하는 데 이용되는 대응하는 홀수 및 짝수 패리티 필드 16×16 블록들을 도시한다. 물론, 홀수 패리티 필드 패딩은 도 2의 (b)에 1들로 표시된 바와 같이 홀수 패리티 경계 픽셀 값들만을 이용하고, 유사하게, 짝수 패리티 필드 패딩은 도 2의 (c)에 2들로 표시된 바와 같이 짝수 패리티 경계 픽셀 값들만을 이용한다. 도 2의 (b)와 (c)에 도시된 바와 같이 수평 및 수직 반복들을 수행한 후에, 공백 픽셀들을 가장 가까운 수평 및 수직 픽셀들의 평균으로 채움으로써 반복 패딩이 종료된다.

양호한 확장 패딩은 다시 필드 내의 16×8 블록들을 이용하여 확장을 행하며, 이로써 필드 내의 상관성이 보존된다. 대조적으로, 도 2에서와 같이 프레임 베이스를 이용하는 확장 패딩은, 매크로블록 경계 픽셀들이 매크로블록의 좌측 상부에서 혼합되기 때문에, 단순히 패리티들을 혼합시킬 것이다.

변형예

양호한 실시예들은 인터레이스 형식 비디오의 필드들 상에서의 직접 패딩의 특징들을 하나 이상 유지하면서 다양한 방식으로 변형될 수 있다. 예를 들면, 매크로블록 사이즈가 가변될 수 있다.

본 발명에 따르면, 인터레이스 필드 내의 개별적인 패딩에 의해 임의 형상의 대상에 대하여 인터레이스 형식에 의한 비디오 코딩 및 디코딩이 제공되고, 필드 상관성을 유지되는 장점이 있다.

또한, 본 발명에 따르면, 랜덤 액세스 메모리에 디지털 저장을 하는 시간 경과 감시를 포함한, 보안을 위한 고정 카메라 감시 및 비디오 전화와 같이, 이런 코딩에 응용되는 비디오 시스템이 제공된다.

Claims (1)

1. 이미지를 인코딩하는 방법에 있어서,

   (a) 이미지를 패리티 필드(parity field)들로 분해시키는 단계; 및

   (b) 각각의 패리티 필드를 개별적으로 패딩(padding)하는 단계

   를 포함하는 것을 특징으로 하는 이미지 인코딩 방법.