KR100903712B1 - 부호화 데이터 출력 방법 및 장치, 재부호화 데이터 생성방법 및 장치, 부호화 데이터 복원 방법 및 장치, 부호화방법 및 장치, 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

부호화 데이터 출력 방법 및 장치, 재부호화 데이터 생성방법 및 장치, 부호화 데이터 복원 방법 및 장치, 부호화방법 및 장치, 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR100903712B1
KR100903712B1 KR20060134771A KR20060134771A KR100903712B1 KR 100903712 B1 KR100903712 B1 KR 100903712B1 KR 20060134771 A KR20060134771 A KR 20060134771A KR 20060134771 A KR20060134771 A KR 20060134771A KR 100903712 B1 KR100903712 B1 KR 100903712B1
Authority
KR
South Korea
Prior art keywords
encoded data
macroblock
predetermined
prediction mode
coded data
Prior art date
Application number
KR20060134771A
Other languages
English (en)
Other versions
KR20070069073A (ko
Inventor
도시유끼 이께다
게이이찌 조노
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20070069073A publication Critical patent/KR20070069073A/ko
Application granted granted Critical
Publication of KR100903712B1 publication Critical patent/KR100903712B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

부호화 데이터의 정보량의 누락율을 극력 억제하면서, 부호화 장치로부터 재부호화 장치에 전송되는 1매크로 블록 당의 부호화 데이터를 임의의 일정한 값 이하로 제한 가능한 부호화 데이터 선정 방법 및 그 장치를 제공한다. 매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 스텝과, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터를 선정하는 부호화 데이터 선정 스텝과, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 상기 부호화 데이터 선정 스텝에서 선정되지 않은 소정의 종류의 부호화 데이터보다도, 상기 부호화 데이터 선정 스텝에서 선정된 소정의 종류의 부호화 데이터에 대하여 우선적으로 비트수를 배분하는 비트수 배분 스텝을 구비한다.
부호화 데이터, 매크로 블록, 예측 모드, 화소, 부호화 데이터 선정 스텝, 비스트 배분 스텝

Description

부호화 데이터 출력 방법 및 장치, 재부호화 데이터 생성 방법 및 장치, 부호화 데이터 복원 방법 및 장치, 부호화 방법 및 장치, 및 컴퓨터 판독 가능한 기록 매체{METHOD AND DEVICE FOR OUTPUTTING ENCODED DATA, METHOD AND DEVICE FOR GENERATING RE-ENCODED DATA, METHOD AND DEVICE FOR DECODING ENCODED DATA, ENCODING METHOD AND APPARATUS, AND COMPUTER-READABLE RECORDING MEDIUM}
도 1은 매크로 블록의 4종류의 분할 양식을 도시하는 도면.
도 2는 서브 매크로 블록의 4종류의 분할 양식을 도시하는 도면.
도 3은 종래예에서의 매크로 블록당 부호화 데이터의 비트수를 설명하기 위한 표.
도 4는 본 발명의 실시예에 따른 부호화 데이터 다중화 기능을 갖는 화상 복호화 장치의 구성을 도시하는 블록도.
도 5는 도 4에 도시된 부호화 데이터 선정부에 의해 행해지는 부호화 데이터 선정 방법을 도시하는 플로우차트.
도 6은 본 발명의 실시예 1에서, 도 5에 도시한 부호화 데이터 선정 방법이 적용되지 않는 경우에 전송되는 움직임 벡터를 도시하는 도면.
도 7은 도 5에 도시된 부호화 데이터 선정 방법에서, 움직임 벡터가 선정되는 2차 서브 매크로 블록(즉, 움직임 보상 블록)이 포함해야 할 화소를 도시하는 도면.
도 8은 도 5에 도시된 부호화 데이터 선정 방법에서, 도 7에 도시된 화소를 포함하는 2차 서브 매크로 블록(즉, 움직임 보상 블록)을 도시하는 도면.
도 9는 본 발명의 실시예 1에서, 도 5에 도시된 부호화 데이터 선정 방법에 의해 선정되는 움직임 벡터를 도시하는 도면.
도 10은 본 발명의 실시예 1에서, 도 5에 도시된 부호화 데이터 선정 방법에 의해 움직임 벡터가 선정되는 2차 서브 매크로 블록(즉, 움직임 보상 블록)을 나타내는 표.
도 11은 본 발명의 실시예 1에서, 도 5에 도시된 부호화 데이터 선정 방법이 적용된 경우의 매크로 블록당 부호화 데이터의 비트수를 설명하기 위한 표.
도 12는 H.264에서의 다이렉트 모드를 설명하기 위한 도면.
도 13은 본 발명의 실시예에 따른 화상 재부호화 장치의 구성을 도시하는 블록도.
도 14는 도 13에 도시된 부호화 데이터 설정부에 의해 행해지는 부호화 데이터 설정 방법을 도시하는 플로우차트.
도 15는 본 발명의 실시예 2에서, 도 5에 도시된 부호화 데이터 선정 방법에 의해 선정되는 움직임 벡터를 도시하는 도면.
도 16은 본 발명의 실시예 2에서, 도 5에 도시된 부호화 데이터 선정 방법에 의해 움직임 벡터가 선정되는 2차 서브 매크로 블록(즉, 움직임 보상 블록)을 나타내는 표.
도 17은 본 발명의 실시예 2에서, 도 5에 도시된 부호화 데이터 선정 방법이 적용된 경우의 매크로 블록당 부호화 데이터의 비트수를 설명하기 위한 표.
<도면의 주요 부분에 대한 부호의 설명>
100 : 화상 복호화부
110 : 멀티플렉서
120 : 부호화 데이터 선정부
200 : 화상 부호화부
210 : 디멀티플렉서
207 : 예측 데이터 추정부
208 : 스위치
220 : 부호화 데이터 설정부
[비특허 문헌 1]
「SMPTE 319M-2000」(2000년 1월 20일에 SMPTE에 의해 인증됨)
[비특허 문헌 2]
「SMPTE 327M-2000」(2000년 1월 20일에 SMPTE에 의해 인증됨)
본 발명은 부호화 데이터 선정 방법 및 이에 대응한 부호화 데이터 설정 방 법 및 이들 장치에 관한 것이다. 또한, 본 발명은 부호화 데이터 선정 방법을 포함하는 재부호화 데이터 생성 방법 및 그에 대응한 장치에 관한 것이다. 또한, 본 발명은 부호화 데이터 설정 방법을 포함하는 재부호화 방법 및 그에 대응한 장치에 관한 것이다. 예를 들면, 부호화 데이터 선정 방법은, 복호화 장치가 출력하는 부호화 데이터의 일부를 선정하는 것이다.
MPEG-2 복호화 장치가 출력하는 MPEG-2 비트 스트림의 복호화 화상을 입력으로 하는 탠덤 접속의 MPEG―2 재부호화 장치에서, 비트 스트림 중의 부호화 데이터를 디코드 화상에 다중화하여 전송하는 기술이 있다(비특허 문헌 1 참조).
SMPTE 319M-2000 규격을 서포트하는 MPEG-2 재부호화 장치에서는, 디코드 화상으로부터 그에 다중화되어 있는 부호화 데이터를 분리하고, 분리된 부호화 데이터를 이용하여 재부호화함으로써, 재부호화에 의한 화질 열화를 극력 억제할 수 있다. 여기에서, 부호화 데이터는, 비트 스트림 중에 가변 길이 부호화된 부호어를, 원래의 수치로 되돌린 데이터이다.
SMPTE 319M-2000 규격에서는, 입력되는 디코드 화상의 크로미넌스의 LSB에 상기한 부호화 데이터를 중첩하는 것이 규격화되어 있으며, 1매크로 블록 분의 화상에서 256bit의 부호화 데이터를 전송할 수 있다.
MPEG-2의 부호화 데이터 규격인 비특허 문헌 2의 테이블 2를 참조하면, MPEG-2의 1매크로 블록당 부호화 데이터는 113bit이며, 상기한 1매크로 블록당 256bit의 대역으로 충분히 전송이 가능하였다.
그런데, H.264(ISO/IEC 14496~10)이 최근 주목받고 있다. 임의의 비트 레이트로 부호화된 H.264의 비트 스트림을, 원하는 비트 레이트를 갖는 H.264의 비트 스트림 또는 원하는 비트 레이트를 갖는 MPEG-2의 비트 스트림으로 변환하는 것이 필요한 경우가 있다. 이와 같은 경우 때문에, H.264 복호화 장치와 H.264 재부호화 장치 또는 MPEG-2 재부호화 장치를 탠덤 접속하고, 이들 사이에서, H.264의 비트 스트림의 디코드 화상을 전송할 필요가 있다. 또한, 재부호화에 의한 화질 열화를 극력 억제하기 위해서는, SMPTE 319M-2000과 마찬가지로, 부호화 데이터를 H.264의 비트 스트림의 디코드 화상에 다중하여 전송할 필요가 있다.
그런데, H.264의 1매크로 블록당 부호화 데이터는, 매크로 블록의 부호화 모드에 따라 상이하다.
부호화 모드는, 픽쳐내 부호화의 인트라 모드와 픽쳐간 부호화의 인터 모드로 분류된다.
또한, 매크로 블록의 사이즈는 16×16인데, 도 1의 (a)~(d)에 도시한 바와 같이, 인터 모드에서는, 매크로 블록은 4종류의 타입으로 분류된다. 도 1의 (a)에 도시한 바와 같이, 제1 매크로 블록 타입에서는, 16×16화소의 서브 매크로 블록 1개에 의해 1개의 매크로 블록이 구성된다. 도 1의 (b)에 도시한 바와 같이, 제2 매크로 블록 타입에서는, 16×8화소의 서브 매크로 블록 2개에 의해 1개의 매크로 블록이 구성된다. 도 1의 (c)에 도시한 바와 같이, 제3 매크로 블록 타입에서는, 8×16화소의 서브 매크로 블록 2개에 의해 1개의 매크로 블록이 구성된다. 도 1의 (d)에 도시한 바와 같이, 제4 매크로 블록 타입에서는, 8×8화소의 서브 매크로 블 록 4개에 의해 1개의 매크로 블록이 구성된다.
또한, 제4 매크로 타입에서의 각 서브 매크로 블록은, 4종류의 타입으로 분류된다. 도 2의 (a)에 도시한 바와 같이, 제1 서브 매크로 블록 타입에서는, 8×8화소의 2차 서브 매크로 블록 1개에 의해 1개의 서브 매크로 블록이 구성된다. 도 2의 (b)에 도시한 바와 같이, 제2 서브 매크로 블록 타입에서는, 8×4화소의 2차 서브 매크로 블록 2개에 의해 1개의 서브 매크로 블록이 구성된다. 도 2의 (c)에 도시한 바와 같이, 제3 서브 매크로 블록 타입에서는, 4×8화소의 2차 서브 매크로 블록 2개에 의해 1개의 서브 매크로 블록이 구성된다. 도 2의 (d)에 도시한 바와 같이, 제4 서브 매크로 블록 타입에서는, 4×4화소의 2차 서브 매크로 블록 4개에 의해 1개의 서브 매크로 블록이 구성된다.
도 1의 (a)에 도시한 바와 같이, 제1 매크로 블록 타입에서는, 1개의 매크로 블록에 1개 포함되는 16×16화소의 서브 매크로 블록은, 전방향 예측(F), 후방향 예측(B) 또는 쌍방향 예측(BI)된다. 또한, 1개의 서브 매크로 블록당 움직임 벡터는, 1방향에 대해서 1개이다. 그렇게 하면, 1개의 매크로 블록당 움직임 벡터는, 1개 또는 2개이다.
도 1의 (b)에 도시한 바와 같이, 제2 매크로 블록 타입에서는, 1개의 매크로 블록에 2개 포함되는 16×8화소의 서브 매크로 블록은, 각각 전방향 예측, 후방향 예측 또는 쌍방향 예측된다. 또한, 1개의 서브 매크로 블록당 움직임 벡터는, 1방향에 대해서 1개이다. 그렇게 하면, 1개의 매크로 블록당 움직임 벡터는, 2개, 3개 또는 4개이다.
도 1의 (c)에 도시한 바와 같이, 제3 매크로 블록 타입에서는, 1개의 매크로 블록에 2개 포함되는 8×16화소의 서브 매크로 블록은, 각각 전방향 예측, 후방향 예측 또는 쌍방향 예측된다. 또한, 1개의 서브 매크로 블록당 움직임 벡터는, 1방향에 대해서 1개이다. 그렇게 하면, 1개의 매크로 블록당 움직임 벡터는, 2개, 3개 또는 4개이다.
도 1의 (d)에 도시한 바와 같이, 제4 매크로 블록 타입에서는, 1개의 매크로 블록에 4개 포함되는 8×8화소의 서브 매크로 블록은, 각각 전방향 예측, 후방향 예측 또는 쌍방향 예측된다. 또한, 개개의 서브 매크로 블록에 포함되는 2차 서브 매크로 블록은, 움직임 예측 방향을 공통으로 하지만, 각각 별도로 움직임 예측된다. 또한, 1개의 서브 매크로 블록에 포함되는 개개의 2차 서브 매크로 블록당 움직임 벡터는, 1방향에 대해서 1개이다. 그렇게 하면, 1개의 매크로 블록에 포함되는 2차 서브 매크로 블록의 수는 최대 16개이며, 이들이 모두 쌍방향 예측될 경우에는, 1개의 매크로 블록당 움직임 벡터는 32개이다.
또한, 움직임 예측의 단위로 되는 서브 매크로 블록 또는 2차 서브 매크로 블록을 움직임 보상 블록이라고 한다.
매크로 블록당 부호화 데이터의 비트수는, 도 3에 도시된 바와 같이 된다. 간단히 설명하면, 좌측부터,
(1)인트라 모드:87비트
(2)인터 모드, 제1 매크로 블록 타입, 전방향 예측 또는 후방향 예측:52비트
(3)인터 모드, 제1 매크로 블록 타입, 쌍방향 예측:83비트
(4)인터 모드, 제2 또는 제3 매크로 블록 타입, 2개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측:83비트
(5)인터 모드, 제2 또는 제3 매크로 블록 타입, 1개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측, 다른 1개의 서브 매크로 블록이 쌍방향 예측:114비트
(6)인터 모드, 제2 또는 제3 매크로 블록 타입, 2개의 서브 매크로 블록이 쌍방향 예측:145비트
(7)인터 모드, 제1∼제4 매크로 블록 타입, P픽쳐에서 모든 움직임 보상 블록이 전방향 예측:최대 473비트:473비트
(8)인터 모드, 제4 매크로 블록 타입, 4개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측:473 비트
(9)인터 모드, 제4 매크로 블록 타입, 3개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측, 1개의 서브 매크로 블록이 쌍방향 예측:582비트
(10)인터 모드, 제4 매크로 블록 타입, 2개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측, 2개의 서브 매크로 블록이 쌍방향 예측:691비트
(11)인터 모드, 제4 매크로 블록 타입, 1개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측, 3개의 서브 매크로 블록이 쌍방향 예측:800비트
(12)인터 모드, 제4 매크로 블록 타입, 4개의 서브 매크로 블록이 쌍방향 예측:909비트
로 된다.
따라서, H.264의 1매크로 블록당 부호화 데이터는, 최대 1매크로 블록당 909bit나 있으며, SMPTE 319M-2000 규격으로 규정되어 있는 1매크로 블록당 256bit의 대역으로는 도저히 전송할 수 없다.
이 때문에, 재부호화에 의한 화질 열화를 극력 억제한 재부호화를 실현하기 위해서는, 1)전송 대역을 확대하거나, 2)종래의 전송 대역내에 효율적으로 데이터를 배치하거나 하는 것 중, 어느 쪽의 방법을 취하는 것이 필요하게 된다.
1)의 방법은 간이하지만, 그 이상의 데이터를 중첩하면, 화상에 가시화되는 특수한 패턴이 발생하는 등의 폐해가 생각된다. 또한, 현상의 시스템을 이용하고 있는 MPEG-2 재부호화 장치와의 호환성이 크게 무너지는 것도 생각된다.
따라서, 2)의 방법을 채용하지 않을 수 없다. 2)의 방법을 채용한 경우, 간편한 데이터 배치(즉, 「간편한 데이터 삭감))에서는, 본래의 「화질 열화를 극력 억제한다」고 하는 목적을 달성할 수 없게 될 가능성이 있다.
따라서, 본 발명은 부호화 데이터의 정보량의 누락율을 극력 억제하면서, 복호화 장치로부터 재부호화 장치에 전송되는 1매크로 블록당 부호화 데이터를 임의의 일정한 값(예를 들면 256bit) 이하로 제한 가능한 부호화 데이터 선정 방법 및 그 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 상기한 부호화 데이터 선정 방법 및 그 장치에 의해 선정된 부호화 데이터를 이용하여, 재부호화 장치에 의해 재부호화된 비트 스트림에 의해 나타내는 재부호화 화상의 품질 열화를 극력 억제하는 것을 가능하게 하는 부호화 데이터 설정 방법 및 그 장치를 제공하는 것을 목적으로 한다.
본 발명의 제1 관점에 따르면, 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 방법으로서, 매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 스텝과, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터를 선정하는 부호화 데이터 선정 스텝과, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 상기 부호화 데이터 선정 스텝에서 선정되지 않은 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 스텝에서 선정된 소정의 종류의 부호화 데이터에 대하여 우선적으로 비트수를 배분하는 비트수 배분 스텝을 포함하는 것을 특징으로 하는 부호화 데이터 출력 방법이 제공된다.
상기한 부호화 데이터 출력 방법에서, 상기 비트수 배분 스텝에서는, 상기 부호화 데이터 선정 스텝에서 선정되지 않은 소정의 종류의 부호화 데이터를 삭감하도록 해도 된다.
상기한 부호화 데이터 출력 방법에서, 상기 비트수 배분 스텝에서는, 상기 부호화 데이터 선정 스텝에서 선정된 소정의 종류의 부호화 데이터에, 상기 입력된 비트 스트림에서의 비트수와 동일 또는 그 이하의 비트수를 배분하도록 해도 된다.
상기한 부호화 데이터 출력 방법에서, 상기 소정의 예측 모드는, 매크로 블록을 구성하는 각 서브 매크로 블록을, 1 내지 복수의 2차 서브 매크로 블록으로 더욱 분할하고, 각 2차 서브 매크로 블록을 움직임 보상 블록으로 하는 모드이도록 해도 된다.
상기한 부호화 데이터 출력 방법에서, 상기 소정의 위치는 매크로 블록의 네 코너이도록 해도 된다.
상기한 부호화 데이터 출력 방법에서, 상기 소정의 위치는, 다른 매크로 블록의 상기 소정의 종류의 부호화 데이터가 누락되어 있는 경우에, 그 누락된 상기 소정의 종류의 부호화 데이터를 재생하기 위해서 이용되는 상기 소정의 종류의 부호화 데이터에 관련된 위치이도록 해도 된다.
상기한 부호화 데이터 출력 방법에서, 상기 소정의 종류의 부호화 데이터는, 적어도 움직임 벡터를 포함하도록 해도 된다.
상기한 부호화 데이터 출력 방법에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 스텝과, 상기 예측 방향 판단 스텝이 쌍방향이 아니라고 판단한 서브 매크로 블록에 대해서만, 상기 부호화 데이터 선정 스텝을 적용하도록 해도 된다.
상기한 부호화 데이터 출력 방법에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 스텝과, 상기 예측 방향 판단 스텝이 쌍방향이 아니라고 판단한 서브 매크로 블록에 대하여, 상기 부호화 데이터 선정 스텝을 적용하고, 상기 예측 방향 판단 스텝이 쌍방향이라고 판단한 서브 매크로 블록에 대하여, 상기 부호화 데이터 선정 스텝을 적용하거나 적용하지 않도록 해도 된다.
상기한 부호화 데이터 출력 방법에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 스텝과, 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 쌍방향의 예측 방향이 적용되는 서브 매크로 블록의 수가 소정값 이하인 경우에만, 해당 매크로 블록에 대하여, 상기 부호화 데이터 선정 스텝을 적용하도록 해도 된다.
상기한 부호화 데이터 출력 방법에서, 상기 부호화 데이터 선정 스텝에서는, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소를 포함하는 2차 서브 매크로 블록에 대응하는 소정의 종류의 부호화 데이터를 선정하도록 해도 된다.
상기한 부호화 데이터 출력 방법에서, 상기 소정의 종류 이외의 종류의 부호화 데이터에 대해서는, 비트수를 삭감하지 않도록 해도 된다.
본 발명의 제2 관점에 따르면, 상기한 부호화 데이터 출력 방법의 각 스텝과, 입력된 비트 스트림으로부터 베이스밴드 신호를 복호화하는 복호화 스텝과, 상기 베이스밴드 신호에, 입력된 비트 스트림에 대하여 상기 부호화 데이터 출력 방법을 적용하여 얻어진 부호화 데이터를 다중화하는 다중화 스텝을 포함하는 것을 특징으로 하는 재부호화 데이터 생성 방법이 제공된다.
본 발명의 제3 관점에 따르면, 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 방법에 의해 생성된 각 매크로 블록의 부호화 데이터에 기초하여, 부호화를 위한 각 매크 로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 방법으로서, 매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 스텝과, 상기 부호화 데이터 출력 방법에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터가 선정된 것을 판단하는 부호화 데이터 선정 판단 스텝과, 상기 부호화 데이터 출력 방법에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 상기 부호화 데이터 선정 스텝에서 선정되지 않은 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 스텝에서 선정된 소정의 종류의 부호화 데이터에 대하여, 우선적으로 비트수가 배분된 것을 판단하는 비트수 배분 판단 스텝과, 상기 비트수 배분 판단 스텝의 결과에 기초하여, 재부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 스텝을 포함하는 것을 특징으로 하는 부호화 데이터 복원 방법이 제공된다.
상기한 부호화 데이터 복원 방법에서, 상기 부호화 데이터 출력 방법에서 선정되지 않은 것이 상기 부호화 데이터 선정 판단 스텝에서 판단된 소정의 종류의 부호화 데이터가, 상기 부호화 데이터 출력 방법에서, 삭감된 것을, 상기 비트수 배분 판단 스텝에서, 판단하도록 해도 된다.
상기한 부호화 데이터 복원 방법에서, 상기 부호화 데이터 출력 방법에서 선정된 것이 상기 부호화 데이터 선정 판단 스텝에서 판단된 소정의 종류의 부호화 데이터에, 상기 부호화 데이터 출력 방법에서, 입력된 비트 스트림에서의 비트수와 동일 또는 그 이하의 비트수가 배분 삭감된 것을 상기 비트수 배분 판단 스텝에서, 판단하도록 해도 된다.
상기한 부호화 데이터 복원 방법에서, 상기 소정의 예측 모드는, 매크로 블록을 구성하는 각 서브 매크로 블록을, 1 내지 복수의 2차 서브 매크로 블록으로 더욱 분할하고, 각 2차 서브 매크로 블록을 움직임 보상 블록으로 하는 모드이도록 해도 된다.
상기한 부호화 데이터 복원 방법에서, 상기 소정의 위치는, 매크로 블록의 네 코너이도록 해도 된다.
상기한 부호화 데이터 복원 방법에서, 상기 소정의 위치는, 다른 매크로 블록의 상기 소정의 종류의 부호화 데이터가 누락되어 있는 경우에, 그 누락된 상기 소정의 종류의 부호화 데이터를 재생하기 위해서 이용되는 상기 소정의 종류의 부호화 데이터에 관련된 위치이도록 해도 된다.
상기한 부호화 데이터 복원 방법에서, 상기 소정의 종류의 부호화 데이터는, 적어도 움직임 벡터를 포함하도록 해도 된다.
상기한 부호화 데이터 복원 방법에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 스텝과, 상기 예측 방향 판단 스텝이 쌍방향이 아니라고 판단한 서브 매크로 블록에 대해서만, 상기 부호화 데이터 선정 판단 스텝을 적용하도록 해도 된다.
상기한 부호화 데이터 복원 방법에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 스텝과, 상기 예측 방향 판단 스텝이 쌍방향이 아니라고 판단한 서브 매크로 블록에 대하여, 상기 부호화 데이터 선정 판단 스텝을 적용하고, 상기 예측 방향 판단 스텝이 쌍방향이라고 판단한 서브 매크로 블록에 대하여, 상기 부호화 데이터 선정 판단 스텝을 적용하거나 적용하지 않도록 해도 된다.
상기한 부호화 데이터 복원 방법에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 스텝과, 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 쌍방향의 예측 방향이 적용되는 서브 매크로 블록의 수가 소정값 이하인 경우에만, 해당 매크로 블록에 대하여, 상기 부호화 데이터 선정 판단 스텝을 적용하도록 해도 된다.
상기한 부호화 데이터 복원 방법에서, 상기 부호화 데이터 선정 판단 스텝에서는, 상기 부호화 데이터 출력 방법에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소를 포함하는 2차 서브 매크로 블록에 대응하는 소정의 종류의 부호화 데이터가 선정된 것을 판단하도록 해도 된다.
상기한 부호화 데이터 복원 방법에서, 상기 부호화 데이터 출력 방법에서, 상기 소정의 종류 이외의 종류의 부호화 데이터에 대해서는 비트수가 삭감되지 않은 것에 기초하여, 부호화 데이터를 복원하도록 해도 된다.
본 발명의 제4 관점에 따르면, 상기한 부호화 데이터 복원 방법의 각 스텝 과, 상기 부호화 데이터 복원 방법에 의해 복원된 부호화 데이터를 이용하여, 입력된 베이스밴드 신호를 부호화하는 부호화 스텝을 포함하는 것을 특징으로 하는 부호화 방법이 제공된다.
<실시예>
이하, 도면을 참조하여 본 발명을 실시하기 위한 최량의 형태에 대하여 상세하게 설명한다.
[실시예 1]
도 4를 참조하면, 본 실시예에 따른 부호화 데이터 다중화 기능을 갖는 화상 복호화 장치는, 화상 복호화부(100), 멀티플렉서(110) 및 본 발명의 특징부인 부호화 데이터 선정부(120)를 구비한다.
화상 복호화부(100)는, 엔트로피 복호화부(101), 역양자화/역변환부(102), 화상 버퍼(103), 예측부(104)를 구비한다. 화상 복호화부(100)의 동작을 이하에서 설명한다.
엔트로피 복호화부(101)는, 입력되는 비트 스트림을 엔트로피 복호하여, 계수 정보, 예측 정보를 추출한다.
역양자화/역변환부(102)는, 엔트로피 복호화부(101)로부터 공급되는 계수 정보를 역양자화 및 역변환하여 예측 오차를 얻는다.
예측부(104)는, 엔트로피 복호화부(101)로부터 공급되는 예측 정보를 이용하여, 화상 버퍼(103)에 저장된 재구축 화상으로부터 예측 화상을 생성한다.
예측 화상에는, 역양자화/역변환부(102)로부터 공급되는 예측 오차가 더해져 재구축 화상으로 된다. 상기 재구축 화상은, 후의 복호를 위해서 화상 버퍼(103)에 저장된다.
화상 버퍼(103)에 저장된 재구축 화상은, 적절한 표시 타이밍에서, 멀티플렉서(110)을 통하여, 외부에 출력된다.
이상에서, 화상 복호화부(100)의 설명을 끝낸다.
계속해서, 멀티플렉서(110)의 동작을 설명한다.
멀티플렉서(110)는, 화상 복호화부(100)에 의해 복호된 영상 베이스밴드 신호에, 부호화 데이터 선정부(120)에서 추출하고 포맷팅된 부호화 데이터를 멀티플렉스하는 기능을 갖는다. 영상 베이스밴드 신호와 부호화 데이터는 동기하고 있다. 멀티플렉스 후의 포맷에 대해서는 SMPTE 319M-2000에서 규정되어 있으며, 중첩 위치는 휘도 10bit/크로마 10bit를 구비하는 영상 신호의 크로마 LSB이다.
이상에서, 멀티플렉서(110)의 설명을 끝낸다.
계속해서, 본 발명의 특징부인 부호화 데이터 선정부(120)를 설명한다.
부호화 데이터 선정부(120)에는, 화상 복호화 장치내의 엔트로피 복호화부(101)로부터 부호화 데이터가 공급된다.
도 5의 플로우차트를 참조하여, 부호화 데이터 선정부(120)의 동작을 설명한다.
스텝 S151에서는, mb_type이 인트라 모드인지의 여부를 판단한다. mb_type이 인트라 모드이면 스텝 S153, 그렇지 않으면 스텝 S152로 넘어간다.
스텝 S152에서는, mb_type이 트리 모드인지의 여부를 판단한다. 여기서, 트 리 모드란, 매크로 블록이 도 1의 (d)에 도시한 바와 같이 4개의 서브 매크로 블록으로 분할되고, 또한 각 서브 매크로 블록이 도 2의 (a)~(d)중 어느 하나에 도시하는 2차 서브 매크로 블록으로 분할되는 모드이다. mb_type이 트리 모드가 아니면 스텝 S154, mb_type이 트리 모드이면 스텝 S155로 넘어간다.
스텝 S153(인트라 모드)에서는, 엔트로피 복호화부(101)로부터 입력된 부호화 데이터는, 도 3에 도시한 바와 같이 1매크로 블록당 87bit이며, 256bit 이하이므로, 이들을 그대로 출력하는 부호화 데이터로 한다. 즉, 모든 부호화 데이터를 선정한다. 따라서, 인트라 모드에서는, 부호화 데이터의 정보는 누락되지 않는다. 선정 후에는, 처리를 종료한다(다음 매크로 블록의 부호화 데이터 선정에 대비한다).
스텝 S154(인터 모드이지만 트리 모드가 아닌 경우)(인터 16×16, 16×8, 또는 8×16)에서는, 도 3으로부터 알 수 있는 바와 같이,
·16×16모드의 부호화 데이터는 편방향 예측에서 52bit, 쌍방향 예측에서 83bit
·편방향 예측만인 16×8모드 혹은 8×16모드의 부호화 데이터는 83bit
·한쪽 방향이 편방향 예측, 다른 쪽이 쌍방향 예측인 16×8모드 혹은 8×16모드의 부호화 데이터는 114bit
·쌍방향 예측만의 16×8모드 혹은 8×16모드의 부호화 데이터는 145bit
로 1매크로 블록당 부호화 데이터를 표현할 수 있다. 이들 1매크로 블록당 부호화 데이터의 비트수는 256bit 이하이므로, 이 부호화 데이터를 그대로 출력하는 부호 화 데이터로 한다. 즉, 모든 부호화 데이터를 선정한다. 따라서, 인터 모드이지만 트리 모드가 아닌 모드에서는, 부호화 데이터의 정보는 누락되지 않는다. 선정 후에는, 처리를 종료한다(다음 매크로 블록의 부호화 데이터 선정에 대비한다).
스텝 S155(트리 모드)에서는, 부호화 데이터를 참조함으로써, 도 6의 (a)~(f)에 도시한 바와 같이, 매크로 블록을 6종류의 타입으로 분류한다.
도 6의 (a)에 도시한 타입은, P픽쳐 내의 매크로 블록의 타입이며, 모든(4개의) 서브 매크로 블록은 전방향 예측된다. 각 서브 매크로 블록은, 1~4개의 2차 서브 매크로 블록으로 분할되므로, 매크로 블록당 움직임 보상 블록의 수는 4~16으로 된다. 도 6의 (a)에는, 매크로 블록당 움직임 보상 블록의 수가 9인 경우의 예를 도시하고 있다. 또한, 움직임 보상 블록당 움직임 벡터의 수는 항상 1이다. 따라서, 도 6의 (a)에 도시한 타입에서는, 매크로 블록당 움직임 벡터의 최대수는 16이다. 도 3의 제7열에 도시한 바와 같이, 도 6의 (a)에 도시한 타입의 매크로 블록당 부호화 데이터는, 최대 473비트로 된다.
도 6의 (b)에 도시한 타입은, B픽쳐 내의 매크로 블록의 복수 타입 중의 1타입이며, 모든(4개의) 서브 매크로 블록은 전방향 예측 또는 후방향 예측된다. 각 서브 매크로 블록은, 1∼4개의 2차 서브 매크로 블록으로 분할되므로, 매크로 블록당 움직임 보상 블록의 수는 4∼16으로 된다. 도 6의 (b)에는, 매크로 블록당 움직임 보상 블록의 수가 9인 경우의 예를 도시하고 있다. 또한, 움직임 보상 블록당 움직임 벡터의 수는 항상 1이다. 따라서, 도 6의 (b)에 도시한 타입에서는, 매크로 블록당 움직임 벡터의 최대수는 16이다. 도 3의 제8열에 도시한 바와 같이, 도 6의 (b)에 도시한 타입의 매크로 블록당 부호화 데이터는, 최대 473비트로 된다.
도 6의 (c)에 도시한 타입은, B픽쳐 내의 매크로 블록의 복수 타입 중의 1타입이며, 3개의 서브 매크로 블록은 전방향 예측 또는 후방향 예측되고, 1개의 서브 매크로 블록은 쌍방향 예측된다. 각 서브 매크로 블록은, 1~4개의 2차 서브 매크로 블록으로 분할되므로, 매크로 블록당 움직임 보상 블록의 수는 5~20으로 된다. 도 6의 (c)에는, 매크로 블록당 움직임 보상 블록의 수가 9인 경우의 예를 도시하고 있다. 또한, 전방향 예측 또는 후방향 예측되는 움직임 보상 블록당 움직임 벡터의 수는 항상 1이며, 쌍방향 예측되는 움직임 보상 블록당 움직임 벡터의 수는 항상 2이다. 따라서, 도 6의 (c)에 도시한 타입에서는, 매크로 블록당 움직임 벡터의 최대수는 20이다. 도 3의 제9열에 도시한 바와 같이, 도 6의 (c)에 도시한 타입의 매크로 블록당 부호화 데이터는, 최대 582비트로 된다.
도 6의 (d)에 도시한 타입은, B픽쳐 내의 매크로 블록의 복수 타입 중의 1타입이며, 2개의 서브 매크로 블록은 전방향 예측 또는 후방향 예측되고, 2개의 서브 매크로 블록은 쌍방향 예측된다. 각 서브 매크로 블록은, 1∼4개의 2차 서브 매크로 블록으로 분할되므로, 매크로 블록당 움직임 보상 블록의 수는 6~24로 된다. 도 6의 (d)에는, 매크로 블록당 움직임 보상 블록의 수가 9인 경우의 예를 도시하고 있다. 또한, 전방향 예측 또는 후방향 예측되는 움직임 보상 블록당 움직임 벡터의 수는 항상 1이며, 쌍방향 예측되는 움직임 보상 블록당 움직임 벡터의 수는 항상 2이다. 따라서, 도 6의 (d)에 도시한 타입에서는, 매크로 블록당 움직임 벡 터의 최대수는 24이다. 도 3의 제10열에 도시한 바와 같이, 도 6의 (d)에 도시한 타입의 매크로 블록당 부호화 데이터는, 최대 691비트로 된다.
도 6의 (e)에 도시한 타입은, B픽쳐 내의 매크로 블록의 복수 타입 중의 1타입이며, 1개의 서브 매크로 블록은 전방향 예측 또는 후방향 예측되고, 3개의 서브 매크로 블록은 쌍방향 예측된다. 각 서브 매크로 블록은, 1∼4개의 2차 서브 매크로 블록으로 분할되기 때문에, 매크로 블록당 움직임 보상 블록의 수는 7~28로 된다. 도 6의 (e)에는, 매크로 블록당 움직임 보상 블록의 수가 9인 경우의 예를 도시하고 있다. 또한, 전방향 예측 또는 후방향 예측되는 움직임 보상 블록당 움직임 벡터의 수는 항상 1이며, 쌍방향 예측되는 움직임 보상 블록당 움직임 벡터의 수는 항상 2이다. 따라서, 도 6의 (e)에 도시한 타입에서는, 매크로 블록당 움직임 벡터의 최대수는 28이다. 도 3의 제11열에 도시한 바와 같이, 도 6의 (e)에 도시한 타입의 매크로 블록당 부호화 데이터는, 최대 800비트로 된다.
도 6의 (f)에 도시한 타입은, B픽쳐 내의 매크로 블록의 복수 타입 중의 1타입이며, 모든(4개의) 서브 매크로 블록은 쌍방향 예측된다. 각 서브 매크로 블록은 1~4개의 2차 서브 매크로 블록으로 분할되므로, 매크로 블록당 움직임 보상 블록의 수는 8~32로 된다. 도 6의 (f)에는, 매크로 블록당 움직임 보상 블록의 수가 9인 경우의 예를 도시하고 있다. 또한, 쌍방향 예측되는 움직임 보싱 블록당 움직임 벡터의 수는 항상 2이다. 따라서, 도 6의 (f)에 도시한 타입에서는, 매크로 블록당 움직임 벡터의 최대수는 32이다. 도 3의 제12열에 도시한 바와 같이, 도 6의 (f)에 도시한 타입의 매크로 블록당 부호화 데이터는 최대 909비트로 된다.
따라서, 도 6의 (a)~(f)에 도시한 6개의 어느 타입에서도, 도 3의 제7∼12열에 도시한 바와 같이, 1매크로 블록당 부호화 비트의 최대수는 256bit를 초과하게 된다.
따라서, 스텝 S155에서는, 트리 모드의 매크로 블록당 움직임 벡터의 수를 줄임으로써, 매크로 블록당 부호화 데이터의 비트수가 256bit 미만으로 되도록 한다.
전방향 예측 또는 후방향 예측의 서브 매크로 블록에서는, 서브 매크로 블록당 최대 4개의 움직임 벡터가 되지만, 본 실시예에서는 1개의 움직임 벡터에만 충분한 비트수를 할당하고, 그 밖의 움직임 벡터에는 비트수를 할당하지 않는다. 예를 들면, 움직임 벡터를 1개만 선정한다.
한편, 쌍방향 예측의 서브 매크로 블록에서는, 서브 매크로 블록당 최대 8개의 움직임 벡터가 되지만, 본 실시예에서는 모든 움직임 벡터에 비트수를 할당하지 않는다. 즉, 1개도 움직임 벡터를 선정하지 않는다.
또한, 도 7에 도시한 매크로 블록의 네 코너에 있는 화소를 포함하는 움직임 보상 블록에 관한 움직임 벡터를, 전방향 예측 또는 후방향 예측의 1개의 서브 매크로 블록에 대하여 선정되는 1개의 움직임 벡터로 한다. 즉, 예를 들면, 도 7에 도시한 4개의 서브 매크로 블록 중, 좌측 위의 서브 매크로 블록에 대하여 설명하면, 좌측 위의 매크로 블록에 관해서는, 도 8(a)에 도시한 바와 같이, 서브 매크로 블록이 1개의 8×8화소의 2차 서브 매크로 블록(즉, 움직임 보상 블록)으로만 구성되는 경우에는, 그 2차 서브 매크로 블록(즉, 움직임 보상 블록)에 관한 움직임 벡 터를 매크로 블록에 대하여 선정되는 1개의 움직임 벡터로 한다. 도 8(b)에 도시한 바와 같이, 서브 매크로 블록이 2개의 8×4화소의 2차 서브 매크로 블록(즉, 움직임 보상 블록)으로 구성되는 경우에는, 위의 2차 서브 매크로 블록(즉, 움직임 보상 블록)에 관한 움직임 벡터를 매크로 블록에 대하여 선정되는 1개의 움직임 벡터로 한다. 도 8(c)에 도시한 바와 같이, 서브 매크로 블록이 2개의 4×8화소의 2차 서브 매크로 블록(즉, 움직임 보상 블록)으로 구성되는 경우에는, 좌측의 2차 서브 매크로 블록(즉, 움직임 보상 블록)에 관한 움직임 벡터를 매크로 블록에 대하여 선정되는 1개의 움직임 벡터로 한다. 도 8(d)에 도시한 바와 같이, 서브 매크로 블록이 4개의 4×4화소의 2차 서브 매크로 블록(즉, 움직임 보상 블록)으로 구성되는 경우에는, 좌측 위의 2차 서브 매크로 블록(즉, 움직임 보상 블록)에 관한 움직임 벡터를 매크로 블록에 대하여 선정되는 1개의 움직임 벡터로 한다. 도 7에 도시한 4개의 서브 매크로 블록 중, 좌측 아래, 우측 위, 우측 아래의 서브 매크로 블록에 관한 모든 설명은 생략하지만, 예를 들면, 좌측 아래의 매크로 블록이 4개의 4×4화소의 2차 서브 매크로 블록(즉, 움직임 보상 블록)으로 구성되는 경우에는, 좌측 아래의 2차 서브 매크로 블록(즉, 움직임 보상 블록)에 관한 움직임 벡터를 좌측 아래의 매크로 블록에 대하여 선정되는 1개의 움직임 벡터로 한다.
어느 2차 서브 매크로 블록이, 도 7에 도시한 바와 같은 네 코너의 화소를 포함하는지는, 부호화 데이터에 기초하여 판단할 수 있다.
상기한 선정 방법을 따른 경우의 예를 도 9의 (a)∼(f)에 도시한다. 이들은, 각각 도 6의 (a)~(f)에 도시한 예에 대응한 것이다.
도 6의 (a)에 도시한 타입에서는, 모든(4개의) 서브 매크로 블록이 전방향 예측되므로, 도 9의 (a)에 도시한 바와 같이, 4개의 서브 매크로 블록 각각에 대해서 1개의 움직임 벡터가 선정된다. 따라서, 매크로 블록당 4개의 움직임 벡터가 선정된다. 또한, 선정되는 움직임 벡터는, 도 9의 (a)에 도시한 「×」로 나타내는 화소를 포함하는 2차 서브 매크로 블록(즉, 움직임 보상 블록)에 관한 움직임 벡터이다.
도 6의 (b)에 도시한 타입에서는, 모든(4개의) 서브 매크로 블록이 전방향 예측 또는 후방향 예측되므로, 도 9의 (b)에 도시한 바와 같이, 각 서브 매크로 블록에 대해서 1개의 움직임 벡터가 선정된다. 따라서, 매크로 블록당 4개의 움직임 벡터가 선정된다. 또한, 선정되는 움직임 벡터는, 도 9의 (b)에 도시한 「×」로 나타내는 화소를 포함하는 2차 서브 매크로 블록(즉, 움직임 보상 블록)에 관한 움직임 벡터이다.
도 6의 (c)에 도시한 타입에서는, 3개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측되고, 1개의 서브 매크로 블록이 쌍방향 예측되므로, 도 9의 (c)에 도시한 바와 같이, 3개의 전방향 예측 또는 후방향 예측되는 서브 매크로 블록 각각에 대해서 1개의 움직임 벡터가 선정되고, 1개의 쌍방향 예측되는 서브 매크로 블록에 대해서는 움직임 벡터가 폐기된다. 따라서, 매크로 블록당 3개의 움직임 벡터가 선정된다. 또한, 선정되는 움직임 벡터는, 도 9의 (c)에 도시한 「×」로 나타내는 화소를 포함하는 2차 서브 매크로 블록(즉, 움직임 보상 블록)에 관한 매크로 블록이다.
도 6의 (d)에 도시한 타입에서는, 2개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측되고, 2개의 서브 매크로 블록이 쌍방향 예측되므로, 도 9의 (d)에 도시한 바와 같이, 2개의 전방향 예측 또는 후방향 예측되는 서브 매크로 블록 각각에 대해서 1개의 움직임 벡터가 선정되고, 2개의 쌍방향 예측되는 서브 매크로 블록에 대해서는 움직임 벡터가 폐기된다. 따라서, 매크로 블록당 2개의 움직임 벡터가 선정된다. 또한, 선정되는 움직임 벡터는, 도 9의 (d)에 도시한 「×」로 나타내는 화소를 포함하는 2차 서브 매크로 블록(즉, 움직임 보상 블록)에 관한 매크로 블록이다.
도 6의 (e)에 도시한 타입에서는, 1개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측되고, 3개의 서브 매크로 블록이 쌍방향 예측되므로, 도 9의 (e)에 도시한 바와 같이, 1개의 전방향 예측 또는 후방향 예측되는 서브 매크로 블록에 대해서 1개의 움직임 벡터가 선정되고, 3개의 쌍방향 예측되는 서브 매크로 블록에 대해서는 움직임 벡터가 폐기된다. 따라서, 매크로 블록당 1개의 움직임 벡터가 선정된다. 또한, 선정되는 움직임 벡터는, 도 9의 (e)에 도시한 「×」로 나타내는 화소를 포함하는 2차 서브 매크로 블록(즉, 움직임 보상 블록)에 관한 매크로 블록이다.
도 6의 (f)에 도시한 타입에서는, 모든(4개의) 서브 매크로 블록이 쌍방향 예측되므로, 도 9의 (f)에 도시한 바와 같이, 4개의 쌍방향 예측되는 서브 매크로 블록에 대해서는 움직임 벡터가 폐기된다. 따라서, 매크로 블록당 선정되는 움직임 벡터는 없다.
도 9의 (a)~(f) 각각의 경우에, 각각의 움직임 보상 블록의 움직임 벡터가 선정되는지의 여부를 정리한 표를 도 10에 도시한다.
또한, 도 6의 (a), (b)와 도 9의 (a), (b)를 각각 비교하면 알 수 있는 바와 같이, 임의의 서브 매크로 블록(예를 들면, 도 6의 (a), (b)에 도시한 좌측 위의 서브 매크로 블록)이 1개의 8×8화소의 2차 서브 매크로 블록으로 구성되고, 또한 그 서브 매크로 블록이 전방향 예측 또는 후방향 예측되는 경우에는, 그 서브 매크로 블록에 대응하는 움직임 벡터의 수는 원래 1개이며, 이것이 반드시 선정되므로, 결국 그 서브 매크로 블록에 포함되는 1개의 8×8화소의 2차 서브 매크로 블록에 대응하는 움직임 벡터는 모두 선정되게 된다.
상기한 바로부터 알 수 있는 바와 같이, 트리 모드의 매크로 블록에 대해서는, 정보의 누락의 모습은 다음과 같다.
편방향 예측의 8×8화소의 2차 서브 매크로 블록(즉, 움직임 보상 블록)의 움직임 벡터는 선정된다.
또한, 편방향 예측의 8×8미만의 2차 서브 매크로 블록(즉, 움직임 보상 블록)(구체적으로는, 편방향 예측의 8×4화소의 2차 서브 매크로 블록, 편방향 예측의 4×8화소의 2차 서브 매크로 블록, 편방향 예측의 4×4화소의 2차 서브 매크로 블록)중의 매크로 블록의 네 코너의 화소(도 7에 도시한 화소)를 포함하는 2차 서브 매크로 블록의 움직임 벡터는 선정된다.
한편, 편방향 예측의 8×8미만의 2차 서브 매크로 블록(즉, 움직임 보상 블록)(구체적으로는, 편방향 예측의 8×4화소의 2차 서브 매크로 블록, 편방향 예측 의 4×8화소의 2차 서브 매크로 블록, 편방향 예측의 4×4화소의 2차 서브 매크로 블록)중의 매크로 블록의 네 코너의 화소(도 7에 도시한 화소)를 포함하지 않는 2차 서브 매크로 블록의 움직임 벡터는 폐기된다.
또한, 쌍방향 예측의 서브 매크로 블록에 포함되는 모든 2차 서브 매크로 블록(즉, 움직임 보상 블록)의 움직임 벡터는 폐기된다.
또한, 움직임 벡터 이외의 부호화 데이터는 모두 선정한다. 따라서, ref_idx는 모두 전송하는 것으로 했지만, 그렇지 않아도 된다.
이와 같은 선정 방법에 의해 움직임 벡터가 선정되면, 매크로 블록당 부호화 데이터의 비트수는, 도 11에 도시한 바와 같다. 간단히 설명하면, 좌측부터,
(1)인트라 모드:87비트
(2)인터 모드, 제1 매크로 블록 타입, 전방향 예측 또는 후방향 예측:52비트
(3)인터 모드, 제1 매크로 블록 타입, 쌍방향 예측:83비트
(4)인터 모드, 제2 또는 제3 매크로 블록 타입, 2개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측:83비트
(5)인터 모드, 제2 또는 제3 매크로 블록 타입, 1개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측, 다른 1개의 서브 매크로 블록이 쌍방향 예측:114비트
(6)인터 모드, 제2 또는 제3 매크로 블록 타입, 2개의 서브 매크로 블록이 쌍방향 예측:145비트
(7)인터 모드, 제1~제4 매크로 블록 타입, P픽쳐에서 모든 움직임 보상 블록 이 전방향 예측:161비트
(8)인터 모드, 제4 매크로 블록 타입, 4개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측:161비트
(9)인터 모드, 제4 매크로 블록 타입, 3개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측, 1개의 서브 매크로 블록이 쌍방향 예측:140비트
(10)인터 모드, 제4 매크로 블록 타입, 2개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측, 2개의 서브 매크로 블록이 쌍방향 예측:119비트
(11)인터 모드, 제4 매크로 블록 타입, 1개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측, 3개의 서브 매크로 블록이 쌍방향 예측:98비트
(12)인터 모드, 제4 매크로 블록 타입, 4개의 서브 매크로 블록이 쌍방향 예측:77비트
로 된다.
따라서, 매크로 블록이 어떤 타입이라도, 매크로 블록당 부호화 데이터의 비트수를 256 이하로 억제할 수 있다.
또한, 상기 (1)~(6)의 경우에는, 원래 매크로 블록당 부호화 데이터의 비트수는 256 이하이므로, 이들 경우에 행하는 스텝 S153 또는 S154에서는 비트수를 삭감하지 않으며, 따라서 매크로 블록당 부호화 데이터의 수는 도 3에 도시한 값과 동일하고, 상기 (7)~(12)의 경우에는, 원래 매크로 블록당 부호화 데이터의 비트수는 256을 초과하므로, 이들 경우에 행하는 스텝 S155에서는 비트수를 삭감하고 있으며, 따라서 매크로 블록당 부호화 데이터의 수는 도 3에 도시한 값으로부터 삭감 되어 있다.
상술한 선정 방법을 이용하여 움직임 벡터의 수에 제약을 둠으로써, 매크로 블록당 최대 비트량을 임의의 일정한 값(예를 들면 256bit) 이하로 제약할 수 있다. 단, 움직임 벡터의 선정이 적용되는 8×8미만의 사이즈의 2차 서브 매크로 블록(즉, 움직임 보상 블록)의 발생 빈도는 통계적으로 낮으므로, 부호화 데이터의 누락율은 작다. 따라서, 상술한 선정 방법을 이용한 부호화 데이터를 이용하여 화상의 재부호화를 행해도, 재부호화 화상의 품질 열화를 극력 억제할 수 있다.
본 실시예에서는,
·통계적으로 트리 모드의 발생 확률은 낮다,
·통계적으로 트리 모드 시에 8×8미만의 사이즈의 2차 서브 매크로 블록(즉, 움직임 보상 블록)의 발생 확률은 낮다,
·움직임 벡터의 개수가 많은 경향인 B픽쳐에서는, 동일 위치의 P픽쳐로부터 움직임 벡터를 재현할 수 있는 다이렉트 모드의 발생 확률이 높다
라고 하는 3개의 특성을 이용하여, 트리 모드의 각 서브 매크로 블록에서는, 도 7에 도시한 바와 같이 매크로 블록의 네 코너에 위치하는 움직임 벡터 1개를 서브 매크로 블록의 대표 움직임 벡터로서 선정한다. 도 12에 도시한 바와 같이, 매크로 블록의 네 코너에 위치하는 움직임 벡터는 H.264에서의 다이렉트 모드에서 이용되는 움직임 벡터이다(다이렉트 모드의 상세에 대해서는 H.264 권고 ISO/IEC 14496-10 8.4.1.2 Derivation process for luma motion vectors for B_Skip, B_Direct_16x16, and B_Direct_8x8을 참조). 다이렉트 모드에서는, 도 12에 도시 한 위치에 관한 움직임 벡터등에 기초하여, 움직임 벡터를 산출한다. 이 때문에, B픽쳐의 움직임 벡터가 선정되지 않고 누락되었다고 해도, 시간 축에서 인접하는 참조 픽쳐(도 12에서, 「참조 PICI)로 나타냄)의 움직임 벡터(선정되어 누락되지 않음)로부터 재현할 수 있게 된다.
도 4에 도시한 부호화 데이터 다중화 기능을 갖는 화상 복호화 장치로부터 출력되는 영상 베이스밴드 신호와 부호화 데이터와의 다중화 데이터를 입력으로 하는 화상 재부호화 장치를 도 13에 도시한다. 상술한 바와 같이, 트리 모드의 매크로 블록의 일부에서는, 부호화 데이터의 정보량(구체적으로는, 1이상의 움직임 벡터)이 누락되어 있다. 따라서, 이를 고려하여 재부호화 장치는 동작을 행해야 한다.
본 실시예에 따른 화상 재부호화 장치는, 디멀티플렉서(210), 화상 부호화부(200), 본 발명의 특징부인 부호화 데이터 설정부(220)를 구비한다.
디멀티플렉서(210)를 설명한다.
디멀티플렉서(210)는 멀티플렉서(110)의 반대의 조작을 한다. 즉, 디멀티플렉서(210)는 부호화 데이터가 중첩된 영상 베이스밴드 신호를 입력하고, 이들을 분리한다. 중첩된 부호화 데이터의 포맷에 대해서는 SMPTE 319M-2000으로 규정되어 있으며, 중첩 위치는 휘도 10bit/크로마 10bit로 구성되는 영상 신호의 크로마 LSB이다.
이상에서, 디멀티플렉서(210)의 설명을 끝낸다.
계속해서, 화상 부호화부(200)를 설명한다.
화상 부호화부(200)는, 매크로 블록 버퍼(MB 버퍼)(201), 변환/양자화부(202), 엔트로피 부호화부(203), 역양자화/역변환부(204), 화상 버퍼(205), 예측부(206), 예측 데이터 추정부(207), 스위치(208)를 구비한다.
MB 버퍼(201)는, 디멀티플렉서(210)로부터 공급되는 1매크로 블록분의 화상을 저장한다.
예측 데이터 추정부(207)는, 화상 버퍼(205)에 저장된 재구축 화상으로부터, MB 버퍼(201)에 저장된 입력 화상을 바람직하게 예측하는 예측 정보를 추정한다.
예측부(206)는, 스위치(208)를 통하여 공급되는 예측 정보를 이용하여, 화상 버퍼(205)에 저장된 재구축 화상으로부터 예측 화상을 생성한다.
MB 버퍼(201)로부터 저장된 화상으로부터 예측부(206)로부터 공급되는 예측 화상을 줄여, 예측 오차가 얻어진다.
변환/양자화부(202)에 의해, 상기 예측 오차는 변환 및 양자화되어, 그 출력인 계수 정보는, 엔트로피 부호화부(203) 및 역양자화/역변환부(204)에 공급된다.
엔트로피 부호화부(203)는, 공급되는 계수 정보 및 예측 정보를 엔트로피 부호화하고, 그 부호화 열을 비트 스트림으로 하여 외부에 출력한다.
역양자화/역변환부(204)는, 변환/양자화부(202)로부터 공급되는 계수 정보를 역양자화 및 역변환하여 예측 오차를 복원한다.
상기 예측 화상에는 역양자화/역변환부(204)로부터 공급되는 예측 오차가 더해져 재구축 화상으로 된다. 상기 재구축 화상은, 후의 부호화를 위해서 화상 버퍼(205)에 저장된다.
이상의 처리를 화상 전체의 매크로 블록에 적용함으로써, 비트 스트림이 얻어진다.
이상에서, 화상 부호화부(200)의 설명을 끝낸다.
계속해서, 본 발명의 특징부인 부호화 데이터 설정부(220)를 설명한다.
부호화 데이터 설정부(220)에는, 디멀티플렉서(210)로부터 부호화 데이터가 공급된다. 부호화 데이터 설정부(220)는, 입력되는 부호화 데이터에 따라 스위치(208)를 제어한다. 부호화 데이터의 정보량이 누락되어 있는 경우에는, 예측 데이터 추정부(207)의 예측 정보를 예측부(206)에 공급하고, 누락되지 않는 경우에는 디멀티플렉서(210)로부터 공급되는 부호화 데이터에 포함되는 예측 정보를 예측부(206)에 공급한다.
도 14의 플로우차트를 참조하여, 부호화 데이터 설정부(220) 및 스위치(208)의 동작을 설명한다.
스텝 S251에서는, mb_type이 인트라 모드인지의 여부를 판단한다. mb_type이 인트라 모드이면 스텝 S253, 그렇지 않으면 스텝 S252로 넘어간다.
스텝 S252에서는, mb_type이 트리 모드인지의 여부를 판단한다. mb_type이 트리 모드가 아니면 스텝 S254, mb_type이 트리 모드이면 스텝 S255로 넘어간다.
스텝 S253(인트라 모드)에서는, 부호화 데이터 다중화 기능을 갖는 화상 복호화 장치의 설명으로부터 알 수 있는 바와 같이, 인트라 모드의 부호화 데이터는, 원래 전송 대역의 256bit보다 적은 bit로 표현할 수 있기 때문에, 부호화 데이터 선정부(120)에 의해 정보량은 전혀 떨어져 있지 않다. 따라서, 스위치(208)를 부 호화 데이터 설정부(220)측으로 전환하여, 디멀티플렉서(210)로부터 공급되는 부호화 데이터에 포함되는 예측 정보를 예측부(208)에 공급하고, 처리를 종료한다.
스텝 S254(인터 모드이지만 트리 모드가 아닌 경우)(인터 16×16, 16×8, 또는 8×16)에서는, 부호화 데이터 다중화 기능을 갖는 화상 복호화 장치의 설명으로부터 알 수 있는 바와 같이, 원래 인터 모드이지만 트리 모드가 아닌 모드의 매크로 블록의 부호화 데이터는, 전송 대역의 256bit보다 적은 수의 bit로 표현할 수 있기 때문에, 부호화 데이터 선정부(120)에 의해 정보량은 전혀 떨어져 있지 않다. 따라서, 스위치(208)를 부호화 데이터 설정부(220)측으로 전환하여, 디멀티플렉서(210)로부터 공급되는 부호화 데이터에 포함되는 예측 정보를 예측부(208)에 공급하고, 처리를 종료한다.
트리 모드의 매크로 블록에 관한 정보의 누락의 모습은, 부호화 데이터 다중화 기능을 갖는 화상 복호화 장치를 설명할 때에 이미 진술하였다. 이에 따라, 스텝 S255(트리 모드)에서는, 정보(구체적으로는, 움직임 벡터)가 누락되어 있는 2차 서브 매크로 블록(즉, 움직임 보상 블록)에 대해서는, 예측 데이터 추정부(207)에서 추정된 움직임 벡터를 포함하는 예측 정보를 예측부(206)에 공급한다. 한편, 정보(구체적으로는, 움직임 벡터)가 부호화 데이터 선정부(120)에서 선정되어 있는(누락되어 있지 않는) 2차 서브 매크로 블록(즉, 움직임 보상 블록)에 대해서는, 디멀티플렉서(210)로부터 공급되는 부호화 데이터에 포함되는 예측 정보를 예측부(208)에 공급한다. 또한, 정보(구체적으로는, 움직임 벡터)가 누락되어 있는 2차 서브 매크로 블록(즉, 움직임 보상 블록)에 대해서, 다이렉트 모드에 의해 움직 임 벡터가 얻어지는 경우에는 그것을 이용한다. 또한, 움직임 벡터 이외의 부호화 데이터는 부호화 데이터 선정부(120)에서 선정되어 있으므로, 그들을 예측부(206)에 공급한다.
부호화 데이터 설정부(220)는, 부호화 데이터 선정부(120)와 마찬가지로, 보내진 부호화 데이터에 기초하여, 스텝 S255(트리 모드)에서는, 부호화 데이터를 참조함으로써, 각 매크로 블록이 도 6의 (a)~(f)에 도시한 6종류의 타입 중 어느 타입의 것인지를 판단한다. 또한, 부호화 데이터 설정부(220)는, 부호화 데이터 선정부(120)와 마찬가지로, 부호화 데이터를 참조함으로써, 각 서브 매크로 블록이 도 2의 (a)∼(d)에 도시한 분할 양식 중 어느 분할 양식에 의해 2차 서브 매크로 블록으로 분할되어 있는지를 판단한다. 그리고, 그들 판단에 기초하여, 어느 2차 서브 매크로 블록의 움직임 벡터가 부호화 데이터 선정부(120)에서 선정되고, 어느 2차 서브 매크로 블록의 움직임 벡터가 부호화 데이터 선정부(120)에서 폐기되었는지를 판단한다.
또한, 부호화 데이터 선정부(120)와 부호화 데이터 설정부(220) 사이에서, 매크로 블록당 256bit의 영역에서의 각 부호화 데이터의 배치를 미리 결정해 두고, 그 중에서, 움직임 벡터를 어떻게 배치할지를 미리 결정해 두면, 부호화 데이터 설정부(220)는, 부호화 데이터 선정부(120)로부터 보내진 어느 움직임 벡터가, 움직임 벡터가 선정되어 있는지가 판단된 어느 2차 서브 매크로 블록에 대응하는 것인지를 알 수 있다. 예를 들면, 각각의 경우에서의, 선정된 움직임 벡터를 전송하는 2차 서브 매크로 블록의 순서를 미리 결정해 두면, 부호화 데이터 설정부(220)는 부호화 데이터 선정부(120)로부터 보내진 어느 움직임 벡터가, 움직임 벡터가 선정되어 있는 것이 판단된 어느 2차 서브 매크로 블록에 대응하는 것인지를 알 수 있다.
또한, 매크로 블록당 부호화 데이터의 비트수를 256 이하로 하기 위해서는, 매크로 블록당 움직임 벡터의 수를 7 이하로 하면 되지만, 상술한 선정 방법에 의해 선정된 매크로 블록당 매크로 블록의 수가 6이하인 경우에는 비어 있는 영역을 이용하여, 선정된 매크로 블록을 복수회 전송하도록 해도 된다. 이러한 경우에도, 부호화 데이터 선정부(120)와 부호화 데이터 설정부(220) 사이에서, 움직임 벡터를 어떻게 배치할 것인지를 미리 결정해 둔다. 이와 같이 함에 의해, 예를 들면, 전송로에서의 에러 내성을 높일 수 있다.
또한, 스텝 S255에서는, 정보(구체적으로는, 움직임 벡터)가 누락되어 있는 2차 서브 매크로 블록(즉, 움직임 보상 블록)에 대해서는, 주위의 움직임 보상 블록에 관한 선정된 움직임 벡터에 기초하여, 그 2차 서브 매크로 블록에 관한 움직임 벡터를 보간해도 된다. 또한, 스텝 S255에서는, 정보(구체적으로는, 움직임 벡터)가 누락되어 있는 2차 서브 매크로 블록(즉, 움직임 보상 블록)에 대해서는, 주위의 움직임 보상 블록에 관한 선정된 움직임 벡터를, 그 2차 서브 매크로 블록에 관한 움직임 벡터를 추정할 때의 초기값으로 해도 된다. 이와 같이 함에 따라, 예측 데이터 추정부(207)에서, 정보(구체적으로는, 움직임 벡터)가 누락되어 있는 2차 서브 매크로 블록(즉, 움직임 보상 블록)에 관한 움직임 벡터를 추정할 필요가 없어져서, 연산량을 줄일 수 있다.
본 발명의 재부호화 장치에서는, 결손되어 있는 움직임 벡터를 예측 데이터 추정부(207)에 의해 보충하므로 화질 측면에서 큰 파탄이 없다. 또한, 부호화 데이터 다중화 기능을 갖는 화상 복호화 장치와 관련하여 설명한 바와 같이, 발생 확률이 낮은 모드에서만 움직임 벡터의 보충이 적용되므로, 전체 화질에 대한 영향은 극히 작다.
[실시예 2]
실시예 1에서 채용한 움직임 벡터의 선정 방법에서는, 쌍방향 예측의 서브 매크로 블록에 대해서는, 원래 1매크로 블록당 최대 8개의 매크로 블록이 있지만, 모든 움직임 벡터를 폐기하는(1개도 매크로 블록을 선정하지 않는) 것으로 하고 있다. 이에 의해, 매크로 블록당 부호화 데이터의 비트수를 최대 161로 할 수 있지만, 쌍방향 예측의 서브 매크로 블록이 1개 이상 있는 경우(도 11의 제9∼12열인 경우)에는, 매크로 블록당 256비트의 대역을 충분히 이용하고 있지 않다. 한편, 움직임 벡터가 재부호화 장치에 가능한 한 많이 전송된 쪽이, 재부호화 장치로부터 출력되는 비트 스트림으로부터 얻어지는 복원 화상의 화질이 높아질 가능성이 높아진다. 단, 1개의 전방향 또는 후방향 예측되는 서브 매크로 블록에 대해서 1개의 움직임 벡터를 선정하고, 3개의 쌍방향 예측되는 서브 매크로 블록 각각에 대해서, 2개의 움직임 벡터를 선정한 경우에는, 매크로 블록당 부호화 데이터의 비트수가 254로 되고, 이는 256 이하이지만, 4개의 쌍방향 예측되는 서브 매크로 블록 각각에 대해서, 2개의 움직임 벡터를 선정한 경우에는, 매크로 블록당 부호화 데이터의 비트수가 280이 되고, 이는 256을 초과한다.
따라서, 상술한 선정 방법을 기본으로 하여, 매크로 블록 내의 쌍방향 예측되는 매크로 블록의 수가 1~3인 경우에는, 쌍방향 예측되는 매크로 블록 각각에 관한 움직임 벡터를 추가하여 선정하는 방법을 실시예 2에서의 움직임 벡터 선정 방법으로서 채용한다.
이 제2 선정 방법을 따른 경우의 예를 도 15의 (a)~(f)에 도시한다. 이들은, 각각 도 6의 (a)~(f)에 도시한 예에 대응한 것이다.
도 6의 (a), (b) 및 (f)의 타입의 경우에 선정되는 움직임 벡터는, 제1 선정 방법에서는 도 9의 (a), (b) 및 (f)에 도시한 대로이며, 제2 선정 방법에서는 도 15의 (a), (b) 및 (f)에 도시한 대로인데, 양방의 선정 방법에서 공통이므로, 중복되는 설명을 생략한다.
도 6의 (c)에 도시한 타입에서는, 3개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측되고, 1개의 서브 매크로 블록이 쌍방향 예측되므로, 도 15의 (c)에 도시한 바와 같이, 3개의 전방향 예측 또는 후방향 예측되는 서브 매크로 블록 각각에 대해서 1개의 움직임 벡터가 선정되고, 1개의 쌍방향 예측되는 서브 매크로 블록에 대해서는 2개의 움직임 벡터가 선정된다. 따라서, 매크로 블록당 5개의 움직임 벡터가 선정된다. 또한, 선정되는 움직임 벡터는 도 15의 (c)에 도시한 「×」로 나타내는 화소를 포함하는 2차 서브 매크로 블록(즉, 움직임 보상 블록)에 관한 매크로 블록이다.
도 6의 (d)에 도시한 타입에서는, 2개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측되고, 2개의 서브 매크로 블록이 쌍방향 예측되므로, 도 15의 (d)에 도시한 바와 같이, 2개의 전방향 예측 또는 후방향 예측되는 서브 매크로 블록 각각에 대해서 1개의 움직임 벡터가 선정되고, 2개의 쌍방향 예측되는 서브 매크로 블록 각각에 대해서는 2개의 움직임 벡터가 선정된다. 따라서, 매크로 블록당 6개의 움직임 벡터가 선정된다. 또한, 선정되는 움직임 벡터는 도 15의 (d)에 도시한 「×」로 나타내는 화소를 포함하는 2차 서브 매크로 블록(즉, 움직임 보상 블록)에 관한 매크로 블록이다.
도 6의 (e)에 도시한 타입에서는, 1개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측되고, 3개의 서브 매크로 블록이 쌍방향 예측되므로, 도 15의 (e)에 도시한 바와 같이, 1개의 전방향 예측 또는 후방향 예측되는 서브 매크로 블록에 대해서 1개의 움직임 벡터가 선정되고, 3개의 쌍방향 예측되는 서브 매크로 블록 각각에 대해서는 2개의 움직임 벡터가 선정된다. 따라서, 매크로 블록당 7개의 움직임 벡터가 선정된다. 또한, 선정되는 움직임 벡터는 도 15의 (e)에 도시한 「×」로 나타내는 화소를 포함하는 2차 서브 매크로 블록(즉, 움직임 보상 블록)에 관한 매크로 블록이다.
도 15의 (a)~(f) 각각의 경우에, 각각의 움직임 보상 블록의 움직임 벡터가 선정되는지의 여부를 정리한 표를 도 16에 도시한다.
또한, 도 6의 (a), (b)와 도 15의 (a), (b)를 각각 비교하면 알 수 있는 바와 같이, 임의의 서브 매크로 블록(예를 들면, 도 6의 (a), (b)에 도시한 좌측 위의 서브 매크로 블록)이 1개의 8×8화소의 2차 서브 매크로 블록으로 구성되고, 또한 그 서브 매크로 블록이 전방향 예측 또는 후방향 예측되는 경우에는, 그 서브 매크로 블록에 대응하는 움직임 벡터의 수는 원래 1개이며, 이것이 반드시 선정되므로, 결국 그 매크로 블록에 포함되는 1개의 8×8화소의 2차 서브 매크로 블록에 대응하는 움직임 벡터는 모두 선정되게 된다.
또한, 도 6의 (c), (d), (e)와 도 15의 (c), (d), (e)를 각각 비교하면 알 수 있는 바와 같이, 임의의 서브 매크로 블록(예를 들면, 도 6의 (c), (d), (e)에 도시한 좌측 위의 서브 매크로 블록)이 1개의 8×8화소의 2차 서브 매크로 블록으로 구성되고, 또한 그 서브 매크로 블록이 쌍방향 예측되고, 또한 그 서브 매크로 블록을 포함하는 매크로 블록에 포함되는 4개의 서브 매크로 블록 중 쌍방향 예측되는 서브 매크로 블록의 수가 3이하인 경우에는, 상기 임의의 서브 매크로 블록에 대응하는 움직임 벡터의 수는 원래 2개이며, 이것이 반드시 선정되므로, 결국 그 임의의 매크로 블록에 포함되는 1개의 8×8화소의 2차 서브 매크로 블록에 대응하는 움직임 벡터는 모두 선정되게 된다.
상기한 바로부터 알 수 있는 바와 같이, 트리 모드의 매크로 블록에 대해서는, 정보의 누락의 모습은 다음과 같다.
편방향 예측의 8×8화소의 2차 서브 매크로 블록(즉, 움직임 보상 블록)의 움직임 벡터는 선정된다.
또한, 매크로 블록에 포함되는 쌍방향 예측의 서브 매크로 블록의 수가 1~3이면, 그 매크로 블록에 포함되는 쌍방향 예측의 8×8화소의 2차 서브 매크로 블록(즉, 움직임 보상 블록)의 움직임 벡터는 선정된다.
또한, 매크로 블록에 포함되는 쌍방향 예측의 서브 매크로 블록의 수가 1~3 이면, 그 매크로 블록에 포함되는 쌍방향 예측의 8×8미만의 2차 서브 매크로 블록(즉, 움직임 보상 블록)(구체적으로는, 편방향 예측의 8×4화소의 2차 서브 매크로 블록, 편방향 예측의 4×8화소의 2차 서브 매크로 블록, 편방향 예측의 4×4화소의 2차 서브 매크로 블록)중의 매크로 블록의 네 코너의 화소(도 7에 도시한 화소)를 포함하는 2차 서브 매크로 블록(즉, 움직임 보상 블록)의 움직임 벡터는 선정된다.
한편, 편방향 예측의 8×8미만의 2차 서브 매크로 블록(즉, 움직임 보상 블록)(구체적으로는, 편방향 예측의 8×4화소의 2차 서브 매크로 블록, 편방향 예측의 4×8화소의 2차 서브 매크로 블록, 편방향 예측의 4×4화소의 2차 서브 매크로 블록)중의 매크로 블록의 네 코너의 화소(도 7에 도시한 화소)를 포함하지 않는 2차 서브 매크로 블록의 움직임 벡터는 폐기된다.
또한, 매크로 블록에 포함되는 쌍방향 예측의 서브 매크로 블록의 수가 1~3이면, 그 매크로 블록에 포함되는 쌍방향 예측의 8×8미만의 2차 서브 매크로 블록(즉, 움직임 보상 블록)(구체적으로는, 편방향 예측의 8×4화소의 2차 서브 매크로 블록, 편방향 예측의 4×8화소의 2차 서브 매크로 블록, 편방향 예측의 4×4화소의 2차 서브 매크로 블록)중의 매크로 블록의 네 코너의 화소(도 7에 도시한 화소)를 포함하지 않는 2차 서브 매크로 블록의 움직임 벡터는 폐기된다.
또한, 매크로 블록에 포함되는 쌍방향 예측의 서브 매크로 블록의 수가 4이면, 그 매크로 블록에 포함되는 모든 2차 서브 매크로 블록(즉, 움직임 보상 블록)의 움직임 벡터는 폐기된다.
실시예 2를 실시예 1과 비교하여 설명하면, 실시예 1에서 선정되는 움직임 벡터의 전부는 실시예 2에서 선정된다. 이에 추가하여, 실시예 2에서는 매크로 블록에 포함되는 쌍방향 예측의 서브 매크로 블록의 수가 1~3이면, 그 매크로 블록에 포함되는 쌍방향 예측의 8×8화소의 2차 서브 매크로 블록(즉, 움직임 보상 블록)의 움직임 벡터는 선정된다. 매크로 블록에 포함되는 쌍방향 예측의 서브 매크로 블록의 수가 1~3이면, 그 매크로 블록에 포함되는 쌍방향 예측의 8×8미만의 2차 서브 매크로 블록(즉, 움직임 보상 블록)(구체적으로는, 편방향 예측의 8×4화소의 2차 서브 매크로 블록, 편방향 예측의 4×8화소의 2차 서브 매크로 블록, 편방향 예측의 4×4화소의 2차 서브 매크로 블록)중의 매크로 블록의 네 코너의 화소(도 7에 도시한 화소)를 포함하는 2차 서브 매크로 블록(즉, 움직임 보상 블록)의 움직임 벡터는 선정된다.
이와 같이 움직임 벡터가 선정되면, 매크로 블록당 부호화 데이터의 비트수는, 도 17에 도시된 바와 같다. 간단히 설명하면, 좌측부터,
(1)인트라 모드:87비트
(2)인터 모드, 제1 매크로 블록 타입, 전방향 예측 또는 후방향 예측:52비트
(3)인터 모드, 제1 매크로 블록 타입, 쌍방향 예측:83비트
(4)인터 모드, 제2 또는 제3 매크로 블록 타입, 2개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측:83비트
(5)인터 모드, 제2 또는 제3 매크로 블록 타입, 1개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측, 다른 1개의 서브 매크로 블록이 쌍방향 예측:114비 트
(6)인터 모드, 제2 또는 제3 매크로 블록 타입, 2개의 서브 매크로 블록이 쌍방향 예측:145비트
(7)인터 모드, 제1~제4 매크로 블록 타입, P픽쳐에서 모든 움직임 보상 블록이 전방향 예측:161비트
(8)인터 모드, 제4 매크로 블록 타입, 4개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측:161비트
(9)인터 모드, 제4 매크로 블록 타입, 3개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측, 1개의 서브, 매크로 블록이 쌍방향 예측:192비트
(10)인터 모드, 제4 매크로 블록 타입, 2개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측, 2개의 서브 매크로 블록이 쌍방향 예측:223비트
(11)인터 모드, 제4 매크로 블록 타입, 1개의 서브 매크로 블록이 전방향 예측 또는 후방향 예측, 3개의 서브 매크로 블록이 쌍방향 예측:254비트
(12)인터 모드, 제4 매크로 블록 타입, 4개의 서브 매크로 블록이 쌍방향 예측:77비트
로 된다.
따라서, 매크로 블록이 어떤 타입이라도, 매크로 블록당 부호화 데이터의 비트수를 256 이하로 억제할 수 있다.
또한, (12)의 경우에는, 움직임 벡터를 전혀 선정하지 않는 것으로 했지만, 4개의 서브 매크로 블록 중, 3개의 서브 매크로 블록을 선택하고, 선택된 서브 매 크로 블록에 대해서, (11)의 경우와 마찬가지로, 움직임 벡터를 선정해도 된다. 미리 결정된 위치에 있는 3개의 서브 매크로 블록을 선택해도 된다. 또한, 3개의 서브 매크로 블록을 선택하기 위해서는, 어느 1개의 서브 매크로 블록에 대해서 움직임 벡터를 폐기한 경우, 화질 열화가 최소로 억제되는지를 시산해도 된다. 또한, 각 움직임 보상 블록의 움직임 벡터의 크기, 움직임 보상 블록 간의 움직임 벡터의 차분, 움직임 보상 블록별 화상의 변화도 등에 기초하여, 화질 열화의 정도를 시산하도록 해도 된다.
또한, (12)의 경우에는, 4개의 서브 매크로 블록 중, 3개의 서브 매크로 블록을 선택하고, 선택된 서브 매크로 블록에 대해서, (11)의 경우와 마찬가지로, 움직임 벡터를 선정하고, 또한 하기의 방법에 의해, 선택되지 않은 서브 매크로 블록에 대해서, 움직임 벡터를 보내도록 해도 된다.
움직임 벡터의 각 성분에 대해서, 선택되지 않은 서브 매크로 블록의 도 7에 도시한 위치의 화소를 포함하는 2차 서브 매크로 블록의 움직임 벡터가 소정의 비트수로 나타낼 수 있는 범위에 들어가 있던 경우에는, 그 움직임 벡터를 그대로 보내고, 그렇지 않은 경우에는, 무효를 나타내는 값을 움직임 벡터 대신에 보낸다. 예를 들면, 소정의 비트수를 2로 하고 그 범위를 -0.25화소~0.25화소로 한다. 그리고, 실제의 움직임 벡터의 값이 -0.25화소, 0화소 또는 0.25화소인 경우에는, 예를 들면, 각각 그 값을 나타내는 「00」, 「01」, 「10」을 보내고, 실제의 움직임 벡터의 값이 그 범위를 초과하는 경우에는, 무효를 나타내는 「11」을 보낸다.
또한, 이러한 방법은 (12)의 경우에 한정되지 않고, 다른 경우에, 남은 비트 를 이용하기 위해서 이용해도 된다. 예를 들면, (10)의 경우에, 남은 33비트를 이용하여, 상기 방법에 의해 다른 움직임 보상 블록의 움직임 벡터를 보내도록 해도 된다. 또한, (12)의 경우에는, 4개의 쌍방향 예측되는 서브 매크로 블록 각각의 대표 벡터를 2개 선정하고, 매크로 블록당 8개의 매크로 블록을 선정하고, 매크로 블록을 통상보다 적은 비트수로 전송함으로써, 매크로 블록당 비트수를 256 이하로 두도록 해도 된다. 예를 들면, 통상이면, 1개의 움직임 벡터는 26비트로 나타내지만, 이를 24비트로 나타내도록 해도 된다. 그리고, 예측 데이터 추정부(207)에서, 24비트로 나타낸 움직임 벡터로부터 26비트 정도의 움직임 벡터를 추정해도 된다.
또한, 매크로 블록 내의 쌍방향 예측되는 매크로 블록의 수가 1∼3이 아니라, 1 또는 1∼2인 경우에, 쌍방향 예측되는 매크로 블록 각각에 관한 움직임 벡터를 추가하여 선정하도록 해도 된다.
또한, 도 4 및 도 13에 도시한 장치의 각 부분을 하드웨어에 의해 실현해도 되지만, 컴퓨터를 이들 부분으로서 기능시키기 위한 프로그램을 컴퓨터가 판독하여 실행함으로써 실현해도 된다.
또한, 소정의 조건이 만족되었을 때에 선정되고, 만족되지 않을 때에 폐기되는 부호화 데이터로서, 비트수가 많은 움직임 벡터를 예로 들어 설명했지만, 예를 들면, 움직임 벡터 이외의 부호화 데이터도 마찬가지의 조건에 기초하여, 움직임 벡터에 추가하거나 또는 움직임 벡터 대신에, 선정/비선정의 대상으로 되어도 된다.
또한, 임의의 부호화 데이터에 대해서는, 제1 소정의 조건(예를 들면, 실시 예 1의 조건)이 만족되었을 때에 선정되고, 만족되지 않을 때에 폐기되도록 하고, 임의의 다른 부호화 데이터에 대해서는, 제2 소정의 조건(예를 들면, 실시예 2의 조건)이 만족되었을 때에 선정되고, 만족되지 않을 때에 폐기되도록 해도 된다.
본 발명에 따른, 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 방법은, 매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 스텝과, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터를 선정하는 부호화 데이터 선정 스텝과, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 상기 부호화 데이터 선정 스텝에서 선정되지 않은 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 스텝에서 선정된 소정의 종류의 부호화 데이터에 대하여 우선적으로 비트수를 배분하는 비트수 배분 스텝을 포함하므로, 각 매크로 블록당 부호화 데이터의 비트수를 소정값 이하로 억제함과 함께, 소정의 예측 모드, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터 또는 이들 조합을 적절하게 설정함으로써, 부호화 데이터의 정보량의 누락율을 극력 억제하면서, 복호화 장치로부터 재부호화 장치에 전송되는 1매크로 블록당 부호화 데이터를 임의의 일정한 값 이하로 제한할 수 있게 된다.

Claims (112)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 방법으로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 스텝과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터를 선정하는 부호화 데이터 선정 스텝과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 상기 부호화 데이터 선정 스텝에서 선정되지 않은 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 스텝에서 선정된 소정의 종류의 부호화 데이터에 대하여 우선적으로 비트수를 배분하는 비트수 배분 스텝
    을 포함하며,
    상기 소정의 위치는, 매크로 블록의 네 코너이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 스텝과,
    상기 예측 방향 판단 스텝이 쌍방향이 아니라고 판단한 서브 매크로 블록에 대해서만, 상기 부호화 데이터 선정 스텝을 적용하는 것을 특징으로 하는 부호화 데이터 출력 방법.
  58. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 방법으로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 스텝과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터를 선정하는 부호화 데이터 선정 스텝과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 상기 부호화 데이터 선정 스텝에서 선정되지 않은 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 스텝에서 선정된 소정의 종류의 부호화 데이터에 대하여 우선적으로 비트수를 배분하는 비트수 배분 스텝
    을 포함하며,
    상기 소정의 위치는, 다른 매크로 블록의 상기 소정의 종류의 부호화 데이터가 누락되어 있는 경우에, 그 누락된 상기 소정의 종류의 부호화 데이터를 재생하기 위해서 이용되는 상기 소정의 종류의 부호화 데이터에 관련된 위치이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 스텝과,
    상기 예측 방향 판단 스텝이 쌍방향이 아니라고 판단한 서브 매크로 블록에 대해서만, 상기 부호화 데이터 선정 스텝을 적용하는 것을 특징으로 하는 부호화 데이터 출력 방법.
  59. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 방법으로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 스텝과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터를 선정하는 부호화 데이터 선정 스텝과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 상기 부호화 데이터 선정 스텝에서 선정되지 않은 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 스텝에서 선정된 소정의 종류의 부호화 데이터에 대하여 우선적으로 비트수를 배분하는 비트수 배분 스텝
    을 포함하며,
    상기 소정의 위치는, 매크로 블록의 네 코너이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 스텝과,
    상기 예측 방향 판단 스텝이 쌍방향이 아니라고 판단한 서브 매크로 블록에 대하여, 상기 부호화 데이터 선정 스텝을 적용하고, 상기 예측 방향 판단 스텝이 쌍방향이라고 판단한 서브 매크로 블록에 대하여, 상기 부호화 데이터 선정 스텝을 적용하거나 적용하지 않는 것을 특징으로 하는 부호화 데이터 출력 방법.
  60. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 방법으로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 스텝과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터를 선정하는 부호화 데이터 선정 스텝과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 상기 부호화 데이터 선정 스텝에서 선정되지 않은 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 스텝에서 선정된 소정의 종류의 부호화 데이터에 대하여 우선적으로 비트수를 배분하는 비트수 배분 스텝
    을 포함하며,
    상기 소정의 위치는, 다른 매크로 블록의 상기 소정의 종류의 부호화 데이터가 누락되어 있는 경우에, 그 누락된 상기 소정의 종류의 부호화 데이터를 재생하기 위해서 이용되는 상기 소정의 종류의 부호화 데이터에 관련된 위치이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 스텝과,
    상기 예측 방향 판단 스텝이 쌍방향이 아니라고 판단한 서브 매크로 블록에 대하여, 상기 부호화 데이터 선정 스텝을 적용하고, 상기 예측 방향 판단 스텝이 쌍방향이라고 판단한 서브 매크로 블록에 대하여, 상기 부호화 데이터 선정 스텝을 적용하거나 적용하지 않는 것을 특징으로 하는 부호화 데이터 출력 방법.
  61. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 방법으로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 스텝과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터를 선정하는 부호화 데이터 선정 스텝과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 상기 부호화 데이터 선정 스텝에서 선정되지 않은 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 스텝에서 선정된 소정의 종류의 부호화 데이터에 대하여 우선적으로 비트수를 배분하는 비트수 배분 스텝
    을 포함하며,
    상기 소정의 위치는, 매크로 블록의 네 코너이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 스텝과,
    소정의 예측 모드가 적용되는 매크로 블록에 포함되는 쌍방향의 예측 방향이 적용되는 서브 매크로 블록의 수가 소정값 이하인 경우에만, 상기 매크로 블록에 대하여, 상기 부호화 데이터 선정 스텝을 적용하는 것을 특징으로 하는 부호화 데이터 출력 방법.
  62. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 방법으로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 스텝과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터를 선정하는 부호화 데이터 선정 스텝과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 상기 부호화 데이터 선정 스텝에서 선정되지 않은 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 스텝에서 선정된 소정의 종류의 부호화 데이터에 대하여 우선적으로 비트수를 배분하는 비트수 배분 스텝
    을 포함하며,
    상기 소정의 위치는, 다른 매크로 블록의 상기 소정의 종류의 부호화 데이터가 누락되어 있는 경우에, 그 누락된 상기 소정의 종류의 부호화 데이터를 재생하기 위해서 이용되는 상기 소정의 종류의 부호화 데이터에 관련된 위치이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 스텝과,
    소정의 예측 모드가 적용되는 매크로 블록에 포함되는 쌍방향의 예측 방향이 적용되는 서브 매크로 블록의 수가 소정값 이하인 경우에만, 상기 매크로 블록에 대하여, 상기 부호화 데이터 선정 스텝을 적용하는 것을 특징으로 하는 부호화 데이터 출력 방법.
  63. 제57항 내지 제62항 중 어느 한 항에 있어서,
    상기 비트수 배분 스텝에서는, 상기 부호화 데이터 선정 스텝에서 선정되지 않은 소정의 종류의 부호화 데이터를 삭감하는 것을 특징으로 하는 부호화 데이터 출력 방법.
  64. 제57항 내지 제62항 중 어느 한 항에 있어서,
    상기 비트수 배분 스텝에서는, 상기 부호화 데이터 선정 스텝에서 선정된 소정의 종류의 부호화 데이터에, 상기 입력된 비트 스트림에서의 비트수와 동일 또는 그 이하의 비트수를 배분하는 것을 특징으로 하는 부호화 데이터 출력 방법.
  65. 제57항 내지 제62항 중 어느 한 항에 있어서,
    상기 소정의 예측 모드는, 매크로 블록을 구성하는 각 서브 매크로 블록을, 1 내지 복수의 2차 서브 매크로 블록으로 더욱 분할하고, 각 2차 서브 매크로 블록을 움직임 보상 블록으로 하는 모드인 것을 특징으로 하는 부호화 데이터 출력 방법.
  66. 제57항 내지 제62항 중 어느 한 항에 있어서,
    상기 소정의 종류의 부호화 데이터는, 적어도 움직임 벡터를 포함하는 것을 특징으로 하는 부호화 데이터 출력 방법.
  67. 제57항 내지 제62항 중 어느 한 항에 있어서,
    상기 부호화 데이터 선정 스텝에서는, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소를 포함하는 2차 서브 매크로 블록에 대응하는 소정의 종류의 부호화 데이터를 선정하는 것을 특징으로 하는 부호화 데이터 출력 방법.
  68. 제57항 내지 제62항 중 어느 한 항에 있어서,
    상기 소정의 종류 이외의 종류의 부호화 데이터에 대해서는, 비트수를 삭감하지 않는 것을 특징으로 하는 부호화 데이터 출력 방법.
  69. 제57항 내지 제62항 중 어느 한 항의 부호화 데이터 출력 방법의 각 스텝과,
    입력된 비트 스트림으로부터 베이스밴드 신호를 복호화하는 복호화 스텝과,
    상기 베이스밴드 신호에, 입력된 비트 스트림에 대하여 상기 부호화 데이터 출력 방법을 적용하여 얻어진 부호화 데이터를 다중화하는 다중화 스텝
    을 포함하는 것을 특징으로 하는 재부호화 데이터 생성 방법.
  70. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 방법에 의해 생성된 각 매크로 블록의 부호화 데이터에 기초하여, 부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 방법으로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 스텝과,
    상기 부호화 데이터 출력 방법에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터가 선정되었는지 여부를 판단하는 부호화 데이터 선정 판단 스텝과,
    상기 부호화 데이터 선정 판단 스텝에서 선정되지 않은 것으로 판단된 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 판단 스텝에서 선정된 것으로 판단된 소정의 종류의 부호화 데이터에 대하여, 우선적으로 비트수가 배분된 것을 판단하는 비트수 배분 판단 스텝과,
    상기 비트수 배분 판단 스텝의 결과에 기초하여, 재부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 스텝
    을 포함하며,
    상기 소정의 위치는, 매크로 블록의 네 코너이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 스텝과,
    상기 예측 방향 판단 스텝이 쌍방향이 아니라고 판단한 서브 매크로 블록에 대해서만, 상기 부호화 데이터 선정 판단 스텝을 적용하는 것을 특징으로 하는 부호화 데이터 복원 방법.
  71. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 방법에 의해 생성된 각 매크로 블록의 부호화 데이터에 기초하여, 부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 방법으로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 스텝과,
    상기 부호화 데이터 출력 방법에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터가 선정되었는지 여부를 판단하는 부호화 데이터 선정 판단 스텝과,
    상기 부호화 데이터 선정 판단 스텝에서 선정되지 않은 것으로 판단된 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 판단 스텝에서 선정된 것으로 판단된 소정의 종류의 부호화 데이터에 대하여, 우선적으로 비트수가 배분된 것을 판단하는 비트수 배분 판단 스텝과,
    상기 비트수 배분 판단 스텝의 결과에 기초하여, 재부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 스텝
    을 포함하며,
    상기 소정의 위치는, 다른 매크로 블록의 상기 소정의 종류의 부호화 데이터가 누락되어 있는 경우에, 그 누락된 상기 소정의 종류의 부호화 데이터를 재생하기 위해서 이용되는 상기 소정의 종류의 부호화 데이터에 관련된 위치이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 스텝과,
    상기 예측 방향 판단 스텝이 쌍방향이 아니라고 판단한 서브 매크로 블록에 대해서만, 상기 부호화 데이터 선정 판단 스텝을 적용하는 것을 특징으로 하는 부호화 데이터 복원 방법.
  72. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 방법에 의해 생성된 각 매크로 블록의 부호화 데이터에 기초하여, 부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 방법으로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 스텝과,
    상기 부호화 데이터 출력 방법에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터가 선정되었는지 여부를 판단하는 부호화 데이터 선정 판단 스텝과,
    상기 부호화 데이터 선정 판단 스텝에서 선정되지 않은 것으로 판단된 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 판단 스텝에서 선정된 것으로 판단된 소정의 종류의 부호화 데이터에 대하여, 우선적으로 비트수가 배분된 것을 판단하는 비트수 배분 판단 스텝과,
    상기 비트수 배분 판단 스텝의 결과에 기초하여, 재부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 스텝
    을 포함하며,
    상기 소정의 위치는, 매크로 블록의 네 코너이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 스텝과,
    상기 예측 방향 판단 스텝이 쌍방향이 아니라고 판단한 서브 매크로 블록에 대하여, 상기 부호화 데이터 선정 판단 스텝을 적용하고, 상기 예측 방향 판단 스텝이 쌍방향이라고 판단한 서브 매크로 블록에 대하여, 상기 부호화 데이터 선정 판단 스텝을 적용하거나 적용하지 않는 것을 특징으로 하는 부호화 데이터 복원 방법.
  73. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 방법에 의해 생성된 각 매크로 블록의 부호화 데이터에 기초하여, 부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 방법으로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 스텝과,
    상기 부호화 데이터 출력 방법에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터가 선정되었는지 여부를 판단하는 부호화 데이터 선정 판단 스텝과,
    상기 부호화 데이터 선정 판단 스텝에서 선정되지 않은 것으로 판단된 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 판단 스텝에서 선정된 것으로 판단된 소정의 종류의 부호화 데이터에 대하여, 우선적으로 비트수가 배분된 것을 판단하는 비트수 배분 판단 스텝과,
    상기 비트수 배분 판단 스텝의 결과에 기초하여, 재부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 스텝
    을 포함하며,
    상기 소정의 위치는, 다른 매크로 블록의 상기 소정의 종류의 부호화 데이터가 누락되어 있는 경우에, 그 누락된 상기 소정의 종류의 부호화 데이터를 재생하기 위해서 이용되는 상기 소정의 종류의 부호화 데이터에 관련된 위치이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 스텝과,
    상기 예측 방향 판단 스텝이 쌍방향이 아니라고 판단한 서브 매크로 블록에 대하여, 상기 부호화 데이터 선정 판단 스텝을 적용하고, 상기 예측 방향 판단 스텝이 쌍방향이라고 판단한 서브 매크로 블록에 대하여, 상기 부호화 데이터 선정 판단 스텝을 적용하거나 적용하지 않는 것을 특징으로 하는 부호화 데이터 복원 방법.
  74. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 방법에 의해 생성된 각 매크로 블록의 부호화 데이터에 기초하여, 부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 방법으로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 스텝과,
    상기 부호화 데이터 출력 방법에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터가 선정되었는지 여부를 판단하는 부호화 데이터 선정 판단 스텝과,
    상기 부호화 데이터 선정 판단 스텝에서 선정되지 않은 것으로 판단된 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 판단 스텝에서 선정된 것으로 판단된 소정의 종류의 부호화 데이터에 대하여, 우선적으로 비트수가 배분된 것을 판단하는 비트수 배분 판단 스텝과,
    상기 비트수 배분 판단 스텝의 결과에 기초하여, 재부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 스텝
    을 포함하며,
    상기 소정의 위치는, 매크로 블록의 네 코너이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 스텝과,
    소정의 예측 모드가 적용되는 매크로 블록에 포함되는 쌍방향의 예측 방향이 적용되는 서브 매크로 블록의 수가 소정값 이하인 경우에만, 상기 매크로 블록에 대하여, 상기 부호화 데이터 선정 판단 스텝을 적용하는 것을 특징으로 하는 부호화 데이터 복원 방법.
  75. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 방법에 의해 생성된 각 매크로 블록의 부호화 데이터에 기초하여, 부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 방법으로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 스텝과,
    상기 부호화 데이터 출력 방법에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터가 선정되었는지 여부를 판단하는 부호화 데이터 선정 판단 스텝과,
    상기 부호화 데이터 선정 판단 스텝에서 선정되지 않은 것으로 판단된 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 판단 스텝에서 선정된 것으로 판단된 소정의 종류의 부호화 데이터에 대하여, 우선적으로 비트수가 배분된 것을 판단하는 비트수 배분 판단 스텝과,
    상기 비트수 배분 판단 스텝의 결과에 기초하여, 재부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 스텝
    을 포함하며,
    상기 소정의 위치는, 다른 매크로 블록의 상기 소정의 종류의 부호화 데이터가 누락되어 있는 경우에, 그 누락된 상기 소정의 종류의 부호화 데이터를 재생하기 위해서 이용되는 상기 소정의 종류의 부호화 데이터에 관련된 위치이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 스텝과,
    소정의 예측 모드가 적용되는 매크로 블록에 포함되는 쌍방향의 예측 방향이 적용되는 서브 매크로 블록의 수가 소정값 이하인 경우에만, 상기 매크로 블록에 대하여, 상기 부호화 데이터 선정 판단 스텝을 적용하는 것을 특징으로 하는 부호화 데이터 복원 방법.
  76. 제70항 내지 제75항 중 어느 한 항에 있어서,
    상기 비트수 배분 판단 스텝에서는, 상기 부호화 데이터 선정 판단 스텝에서 선정되지 않은 것으로 판단된 소정의 종류의 부호화 데이터가, 상기 부호화 데이터 출력 방법에서 삭감되었는지 여부를, 판단하는 것을 특징으로 하는 부호화 데이터 복원 방법.
  77. 제70항 내지 제75항 중 어느 한 항에 있어서,
    상기 비트수 배분 판단 스텝에서는, 상기 부호화 데이터 선정 판단 스텝에서 선정된 것으로 판단된 소정의 종류의 부호화 데이터에, 상기 부호화 데이터 출력 방법에서, 입력된 비트 스트림에서의 비트수와 동일 또는 그 이하의 비트수가 배분 또는 삭감되었는지 여부를, 판단하는 것을 특징으로 하는 부호화 데이터 복원 방법.
  78. 제70항 내지 제75항 중 어느 한 항에 있어서,
    상기 소정의 예측 모드는, 매크로 블록을 구성하는 각 서브 매크로 블록을, 1 내지 복수의 2차 서브 매크로 블록으로 더욱 분할하고, 각 2차 서브 매크로 블록을 움직임 보상 블록으로 하는 모드인 것을 특징으로 하는 부호화 데이터 복원 방법.
  79. 제70항 내지 제75항 중 어느 한 항에 있어서,
    상기 소정의 종류의 부호화 데이터는, 적어도 움직임 벡터를 포함하는 것을 특징으로 하는 부호화 데이터 복원 방법.
  80. 제70항 내지 제75항 중 어느 한 항에 있어서,
    상기 부호화 데이터 선정 판단 스텝에서는, 상기 부호화 데이터 출력 방법에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소를 포함하는 2차 서브 매크로 블록에 대응하는 소정의 종류의 부호화 데이터가 선정된 것을 판단하는 것을 특징으로 하는 부호화 데이터 복원 방법.
  81. 제70항 내지 제75항 중 어느 한 항에 있어서,
    상기 부호화 데이터 출력 방법에서, 상기 소정의 종류 이외의 종류의 부호화 데이터에 대해서는, 비트수가 삭감되지 않은 것에 기초하여, 부호화 데이터를 복원하는 것을 특징으로 하는 부호화 데이터 복원 방법.
  82. 제70항 내지 제75항 중 어느 한 항의 부호화 데이터 복원 방법의 각 스텝과,
    상기 부호화 데이터 복원 방법에 의해 복원된 부호화 데이터를 이용하여, 입력된 베이스밴드 신호를 부호화하는 부호화 스텝
    을 포함하는 것을 특징으로 하는 부호화 방법.
  83. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 장치로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 수단과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터를 선정하는 부호화 데이터 선정 수단과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 상기 부호화 데이터 선정 수단에서 선정되지 않은 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 수단에서 선정된 소정의 종류의 부호화 데이터에 대하여 우선적으로 비트수를 배분하는 비트수 배분 수단
    을 구비하며,
    상기 소정의 위치는, 매크로 블록의 네 코너이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 수단과,
    상기 예측 방향 판단 수단이 쌍방향이 아니라고 판단한 서브 매크로 블록에 대해서만, 상기 부호화 데이터 선정 수단을 적용하는 것을 특징으로 하는 부호화 데이터 출력 장치.
  84. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 장치로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 수단과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터를 선정하는 부호화 데이터 선정 수단과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 상기 부호화 데이터 선정 수단에서 선정되지 않은 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 수단에서 선정된 소정의 종류의 부호화 데이터에 대하여 우선적으로 비트수를 배분하는 비트수 배분 수단
    을 구비하며,
    상기 소정의 위치는, 다른 매크로 블록의 상기 소정의 종류의 부호화 데이터가 누락되어 있는 경우에, 그 누락된 상기 소정의 종류의 부호화 데이터를 재생하기 위해서 이용되는 상기 소정의 종류의 부호화 데이터에 관련된 위치이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 수단과,
    상기 예측 방향 판단 수단이 쌍방향이 아니라고 판단한 서브 매크로 블록에 대해서만, 상기 부호화 데이터 선정 수단을 적용하는 것을 특징으로 하는 부호화 데이터 출력 장치.
  85. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 장치로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 수단과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터를 선정하는 부호화 데이터 선정 수단과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 상기 부호화 데이터 선정 수단에서 선정되지 않은 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 수단에서 선정된 소정의 종류의 부호화 데이터에 대하여 우선적으로 비트수를 배분하는 비트수 배분 수단
    을 구비하며,
    상기 소정의 위치는, 매크로 블록의 네 코너이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 수단과,
    상기 예측 방향 판단 수단이 쌍방향이 아니라고 판단한 서브 매크로 블록에 대하여, 상기 부호화 데이터 선정 수단을 적용하고, 상기 예측 방향 판단 수단이 쌍방향이라고 판단한 서브 매크로 블록에 대하여, 상기 부호화 데이터 선정 수단을 적용하거나 적용하지 않는 것을 특징으로 하는 부호화 데이터 출력 장치.
  86. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 장치로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 수단과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터를 선정하는 부호화 데이터 선정 수단과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 상기 부호화 데이터 선정 수단에서 선정되지 않은 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 수단에서 선정된 소정의 종류의 부호화 데이터에 대하여 우선적으로 비트수를 배분하는 비트수 배분 수단
    을 구비하며,
    상기 소정의 위치는, 다른 매크로 블록의 상기 소정의 종류의 부호화 데이터가 누락되어 있는 경우에, 그 누락된 상기 소정의 종류의 부호화 데이터를 재생하기 위해서 이용되는 상기 소정의 종류의 부호화 데이터에 관련된 위치이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 수단과,
    상기 예측 방향 판단 수단이 쌍방향이 아니라고 판단한 서브 매크로 블록에 대하여, 상기 부호화 데이터 선정 수단을 적용하고, 상기 예측 방향 판단 수단이 쌍방향이라고 판단한 서브 매크로 블록에 대하여, 상기 부호화 데이터 선정 수단을 적용하거나 적용하지 않는 것을 특징으로 하는 부호화 데이터 출력 장치.
  87. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 장치로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 수단과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터를 선정하는 부호화 데이터 선정 수단과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 상기 부호화 데이터 선정 수단에서 선정되지 않은 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 수단에서 선정된 소정의 종류의 부호화 데이터에 대하여 우선적으로 비트수를 배분하는 비트수 배분 수단
    을 구비하며,
    상기 소정의 위치는, 매크로 블록의 네 코너이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 수단과,
    소정의 예측 모드가 적용되는 매크로 블록에 포함되는 쌍방향의 예측 방향이 적용되는 서브 매크로 블록의 수가 소정값 이하인 경우에만, 상기 매크로 블록에 대하여, 상기 부호화 데이터 선정 수단을 적용하는 것을 특징으로 하는 부호화 데이터 출력 장치.
  88. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 장치로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 수단과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터를 선정하는 부호화 데이터 선정 수단과,
    상기 소정의 예측 모드가 적용되는 매크로 블록에서, 상기 부호화 데이터 선정 수단에서 선정되지 않은 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 수단에서 선정된 소정의 종류의 부호화 데이터에 대하여 우선적으로 비트수를 배분하는 비트수 배분 수단
    을 구비하며,
    상기 소정의 위치는, 다른 매크로 블록의 상기 소정의 종류의 부호화 데이터가 누락되어 있는 경우에, 그 누락된 상기 소정의 종류의 부호화 데이터를 재생하기 위해서 이용되는 상기 소정의 종류의 부호화 데이터에 관련된 위치이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 수단과,
    소정의 예측 모드가 적용되는 매크로 블록에 포함되는 쌍방향의 예측 방향이 적용되는 서브 매크로 블록의 수가 소정값 이하인 경우에만, 상기 매크로 블록에 대하여, 상기 부호화 데이터 선정 수단을 적용하는 것을 특징으로 하는 부호화 데이터 출력 장치.
  89. 제83항 내지 제88항 중 어느 한 항에 있어서,
    상기 비트수 배분 수단은, 상기 부호화 데이터 선정 수단에서 선정되지 않은 소정의 종류의 부호화 데이터를 삭감하는 것을 특징으로 하는 부호화 데이터 출력 장치.
  90. 제83항 내지 제88항 중 어느 한 항에 있어서,
    상기 비트수 배분 수단은, 상기 부호화 데이터 선정 수단에서 선정된 소정의 종류의 부호화 데이터에, 상기 입력된 비트 스트림에서의 비트수와 동일 또는 그 이하의 비트수를 배분하는 것을 특징으로 하는 부호화 데이터 출력 장치.
  91. 제83항 내지 제88항 중 어느 한 항에 있어서,
    상기 소정의 예측 모드는, 매크로 블록을 구성하는 각 서브 매크로 블록을, 1 내지 복수의 2차 서브 매크로 블록으로 더욱 분할하고, 각 2차 서브 매크로 블록을 움직임 보상 블록으로 하는 모드인 것을 특징으로 하는 부호화 데이터 출력 장치.
  92. 제83항 내지 제88항 중 어느 한 항에 있어서,
    상기 소정의 종류의 부호화 데이터는, 적어도 움직임 벡터를 포함하는 것을 특징으로 하는 부호화 데이터 출력 장치.
  93. 제83항 내지 제88항 중 어느 한 항에 있어서,
    상기 부호화 데이터 선정 수단은, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소를 포함하는 2차 서브 매크로 블록에 대응하는 소정의 종류의 부호화 데이터를 선정하는 것을 특징으로 하는 부호화 데이터 출력 장치.
  94. 제83항 내지 제88항 중 어느 한 항에 있어서,
    상기 소정의 종류 이외의 종류의 부호화 데이터에 대해서는, 비트수를 삭감하지 않는 것을 특징으로 하는 부호화 데이터 출력 장치.
  95. 제83항 내지 제88항 중 어느 한 항의 부호화 데이터 출력 장치의 각 수단과,
    입력된 비트 스트림으로부터 베이스밴드 신호를 복호화하는 복호화 수단과,
    상기 베이스밴드 신호에, 입력된 비트 스트림에 대하여 상기 부호화 데이터 출력 장치를 통하여 얻어진 부호화 데이터를 다중화하는 다중화 수단
    을 구비하는 것을 특징으로 하는 재부호화 데이터 생성 장치.
  96. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 장치에 의해 생성된 각 매크로 블록의 부호화 데이터에 기초하여, 부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 장치로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 수단과,
    상기 부호화 데이터 출력 장치에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터가, 선정되었는지 여부를 판단하는 부호화 데이터 선정 판단 수단과,
    상기 부호화 데이터 선정 판단 수단에서 선정되지 않은 것으로 판단된 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 판단 수단에서 선정된 것으로 판단된 소정의 종류의 부호화 데이터에 대하여, 우선적으로 비트수가 배분된 것을 판단하는 비트수 배분 판단 수단과,
    상기 비트수 배분 판단 수단의 결과에 기초하여, 재부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 수단
    을 구비하며,
    상기 소정의 위치는, 매크로 블록의 네 코너이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 수단과,
    상기 예측 방향 판단 수단이 쌍방향이 아니라고 판단한 서브 매크로 블록에 대해서만, 상기 부호화 데이터 선정 판단 수단을 적용하는 것을 특징으로 하는 부호화 데이터 복원 장치.
  97. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 장치에 의해 생성된 각 매크로 블록의 부호화 데이터에 기초하여, 부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 장치로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 수단과,
    상기 부호화 데이터 출력 장치에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터가, 선정되었는지 여부를 판단하는 부호화 데이터 선정 판단 수단과,
    상기 부호화 데이터 선정 판단 수단에서 선정되지 않은 것으로 판단된 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 판단 수단에서 선정된 것으로 판단된 소정의 종류의 부호화 데이터에 대하여, 우선적으로 비트수가 배분된 것을 판단하는 비트수 배분 판단 수단과,
    상기 비트수 배분 판단 수단의 결과에 기초하여, 재부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 수단
    을 구비하며,
    상기 소정의 위치는, 다른 매크로 블록의 상기 소정의 종류의 부호화 데이터가 누락되어 있는 경우에, 그 누락된 상기 소정의 종류의 부호화 데이터를 재생하기 위해서 이용되는 상기 소정의 종류의 부호화 데이터에 관련된 위치이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 수단과,
    상기 예측 방향 판단 수단이 쌍방향이 아니라고 판단한 서브 매크로 블록에 대해서만, 상기 부호화 데이터 선정 판단 수단을 적용하는 것을 특징으로 하는 부호화 데이터 복원 장치.
  98. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 장치에 의해 생성된 각 매크로 블록의 부호화 데이터에 기초하여, 부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 장치로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 수단과,
    상기 부호화 데이터 출력 장치에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터가, 선정되었는지 여부를 판단하는 부호화 데이터 선정 판단 수단과,
    상기 부호화 데이터 선정 판단 수단에서 선정되지 않은 것으로 판단된 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 판단 수단에서 선정된 것으로 판단된 소정의 종류의 부호화 데이터에 대하여, 우선적으로 비트수가 배분된 것을 판단하는 비트수 배분 판단 수단과,
    상기 비트수 배분 판단 수단의 결과에 기초하여, 재부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 수단
    을 구비하며,
    상기 소정의 위치는, 매크로 블록의 네 코너이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 수단과,
    상기 예측 방향 판단 수단이 쌍방향이 아니라고 판단한 서브 매크로 블록에 대하여, 상기 부호화 데이터 선정 판단 수단을 적용하고, 상기 예측 방향 판단 수단이 쌍방향이라고 판단한 서브 매크로 블록에 대하여, 상기 부호화 데이터 선정 판단 수단을 적용하거나 적용하지 않는 것을 특징으로 하는 부호화 데이터 복원 장치.
  99. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 장치에 의해 생성된 각 매크로 블록의 부호화 데이터에 기초하여, 부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 장치로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 수단과,
    상기 부호화 데이터 출력 장치에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터가, 선정되었는지 여부를 판단하는 부호화 데이터 선정 판단 수단과,
    상기 부호화 데이터 선정 판단 수단에서 선정되지 않은 것으로 판단된 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 판단 수단에서 선정된 것으로 판단된 소정의 종류의 부호화 데이터에 대하여, 우선적으로 비트수가 배분된 것을 판단하는 비트수 배분 판단 수단과,
    상기 비트수 배분 판단 수단의 결과에 기초하여, 재부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 수단
    을 구비하며,
    상기 소정의 위치는, 다른 매크로 블록의 상기 소정의 종류의 부호화 데이터가 누락되어 있는 경우에, 그 누락된 상기 소정의 종류의 부호화 데이터를 재생하기 위해서 이용되는 상기 소정의 종류의 부호화 데이터에 관련된 위치이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 수단과,
    상기 예측 방향 판단 수단이 쌍방향이 아니라고 판단한 서브 매크로 블록에 대하여, 상기 부호화 데이터 선정 판단 수단을 적용하고, 상기 예측 방향 판단 수단이 쌍방향이라고 판단한 서브 매크로 블록에 대하여, 상기 부호화 데이터 선정 판단 수단을 적용하거나 적용하지 않는 것을 특징으로 하는 부호화 데이터 복원 장치.
  100. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 장치에 의해 생성된 각 매크로 블록의 부호화 데이터에 기초하여, 부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 장치로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 수단과,
    상기 부호화 데이터 출력 장치에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터가, 선정되었는지 여부를 판단하는 부호화 데이터 선정 판단 수단과,
    상기 부호화 데이터 선정 판단 수단에서 선정되지 않은 것으로 판단된 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 판단 수단에서 선정된 것으로 판단된 소정의 종류의 부호화 데이터에 대하여, 우선적으로 비트수가 배분된 것을 판단하는 비트수 배분 판단 수단과,
    상기 비트수 배분 판단 수단의 결과에 기초하여, 재부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 수단
    을 구비하며,
    상기 소정의 위치는, 매크로 블록의 네 코너이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 수단과,
    소정의 예측 모드가 적용되는 매크로 블록에 포함되는 쌍방향의 예측 방향이 적용되는 서브 매크로 블록의 수가 소정값 이하인 경우에만, 상기 매크로 블록에 대하여, 상기 부호화 데이터 선정 판단 수단을 적용하는 것을 특징으로 하는 부호화 데이터 복원 장치.
  101. 입력된 비트 스트림에 대응하는 각 매크로 블록의 부호화 데이터를 소정의 비트수 이하로 출력하는 부호화 데이터 출력 장치에 의해 생성된 각 매크로 블록의 부호화 데이터에 기초하여, 부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 장치로서,
    매크로 블록에 적용되는 예측 모드가 소정의 예측 모드인지의 여부를 판단하는 예측 모드 판단 수단과,
    상기 부호화 데이터 출력 장치에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소에 대응하는 소정의 종류의 부호화 데이터가, 선정되었는지 여부를 판단하는 부호화 데이터 선정 판단 수단과,
    상기 부호화 데이터 선정 판단 수단에서 선정되지 않은 것으로 판단된 소정의 종류의 부호화 데이터보다, 상기 부호화 데이터 선정 판단 수단에서 선정된 것으로 판단된 소정의 종류의 부호화 데이터에 대하여, 우선적으로 비트수가 배분된 것을 판단하는 비트수 배분 판단 수단과,
    상기 비트수 배분 판단 수단의 결과에 기초하여, 재부호화를 위한 각 매크로 블록의 부호화 데이터를 복원하는 부호화 데이터 복원 수단
    을 구비하며,
    상기 소정의 위치는, 다른 매크로 블록의 상기 소정의 종류의 부호화 데이터가 누락되어 있는 경우에, 그 누락된 상기 소정의 종류의 부호화 데이터를 재생하기 위해서 이용되는 상기 소정의 종류의 부호화 데이터에 관련된 위치이며,
    상기 소정의 예측 모드가 적용되는 매크로 블록에 포함되는 각 서브 매크로 블록에 적용되는 예측 방향이 쌍방향인지의 여부를 판단하는 예측 방향 판단 수단과,
    소정의 예측 모드가 적용되는 매크로 블록에 포함되는 쌍방향의 예측 방향이 적용되는 서브 매크로 블록의 수가 소정값 이하인 경우에만, 상기 매크로 블록에 대하여, 상기 부호화 데이터 선정 판단 수단을 적용하는 것을 특징으로 하는 부호화 데이터 복원 장치.
  102. 제96항 내지 제101항 중 어느 한 항에 있어서,
    상기 비트수 배분 판단 수단에서는, 상기 부호화 데이터 선정 판단 수단에서 선정되지 않은 것으로 판단된 소정의 종류의 부호화 데이터가, 상기 부호화 데이터 출력 장치에서, 삭감되었는지 여부를 판단하는 것을 특징으로 하는 부호화 데이터 복원 장치.
  103. 제96항 내지 제101항 중 어느 한 항에 있어서,
    상기 비트수 배분 판단 수단에서는, 상기 부호화 데이터 선정 판단 수단에서 선정된 것으로 판단된 소정의 종류의 부호화 데이터에, 상기 부호화 데이터 출력 장치에서, 입력된 비트 스트림에서의 비트수와 동일 또는 그 이하의 비트수가 배분 또는 삭감되었는지 여부를 판단하는 것을 특징으로 하는 부호화 데이터 복원 장치.
  104. 제96항 내지 제101항 중 어느 한 항에 있어서,
    상기 소정의 예측 모드는, 매크로 블록을 구성하는 각 서브 매크로 블록을, 1 내지 복수의 2차 서브 매크로 블록으로 더욱 분할하고, 각 2차 서브 매크로 블록을 움직임 보상 블록으로 하는 모드인 것을 특징으로 하는 부호화 데이터 복원 장치.
  105. 제96항 내지 제101항 중 어느 한 항에 있어서,
    상기 소정의 종류의 부호화 데이터는, 적어도 움직임 벡터를 포함하는 것을 특징으로 하는 부호화 데이터 복원 장치.
  106. 제96항 내지 제101항 중 어느 한 항에 있어서,
    상기 부호화 데이터 선정 판단 수단은, 상기 부호화 데이터 출력 장치에서, 상기 소정의 예측 모드가 적용되는 매크로 블록에서, 매크로 블록 내의 소정의 위치의 화소를 포함하는 2차 서브 매크로 블록에 대응하는 소정의 종류의 부호화 데이터가 선정된 것을 판단하는 것을 특징으로 하는 부호화 데이터 복원 장치.
  107. 제96항 내지 제101항 중 어느 한 항에 있어서,
    상기 부호화 데이터 출력 장치에서, 상기 소정의 종류 이외의 종류의 부호화 데이터에 대해서는 비트수가 삭감되지 않은 것에 기초하여, 부호화 데이터를 복원하는 것을 특징으로 하는 부호화 데이터 복원 장치.
  108. 제96항 내지 제101항 중 어느 한 항의 부호화 데이터 복원 장치의 각 수단과,
    상기 부호화 데이터 복원 장치에 의해 복원된 부호화 데이터를 이용하여, 입력된 베이스밴드 신호를 부호화하는 부호화 수단을 구비하는 것을 특징으로 하는 부호화 장치.
  109. 제57항 내지 제62항 중 어느 한 항의 방법을 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
  110. 제69항의 방법을 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
  111. 제70항 내지 제75항 중 어느 한 항의 방법을 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
  112. 제82항의 방법을 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR20060134771A 2005-12-27 2006-12-27 부호화 데이터 출력 방법 및 장치, 재부호화 데이터 생성방법 및 장치, 부호화 데이터 복원 방법 및 장치, 부호화방법 및 장치, 및 컴퓨터 판독 가능한 기록 매체 KR100903712B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2005-00375404 2005-12-27
JP2005375404A JP4666255B2 (ja) 2005-12-27 2005-12-27 符号化データ選定、符号化データ設定、再符号化データ生成及び再符号化の方法及び装置

Publications (2)

Publication Number Publication Date
KR20070069073A KR20070069073A (ko) 2007-07-02
KR100903712B1 true KR100903712B1 (ko) 2009-06-19

Family

ID=38193693

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20060134771A KR100903712B1 (ko) 2005-12-27 2006-12-27 부호화 데이터 출력 방법 및 장치, 재부호화 데이터 생성방법 및 장치, 부호화 데이터 복원 방법 및 장치, 부호화방법 및 장치, 및 컴퓨터 판독 가능한 기록 매체

Country Status (10)

Country Link
US (1) US8254463B2 (ko)
EP (1) EP1833256B1 (ko)
JP (1) JP4666255B2 (ko)
KR (1) KR100903712B1 (ko)
CN (1) CN101014132B (ko)
AU (1) AU2006252282B2 (ko)
CA (1) CA2572515C (ko)
MY (1) MY145659A (ko)
SG (2) SG133582A1 (ko)
TW (1) TWI364989B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4739295B2 (ja) * 2007-08-27 2011-08-03 日本電信電話株式会社 映像信号生成装置、映像信号生成方法、映像信号生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
TWI433545B (zh) 2007-10-30 2014-04-01 Nippon Telegraph & Telephone 影像編碼裝置及影像解碼裝置
US9549190B2 (en) 2009-10-01 2017-01-17 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding image using variable-size macroblocks
WO2011040796A2 (ko) * 2009-10-01 2011-04-07 에스케이텔레콤 주식회사 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치
KR101484280B1 (ko) * 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
JP2011146980A (ja) * 2010-01-15 2011-07-28 Sony Corp 画像処理装置および方法
US9082278B2 (en) * 2010-03-19 2015-07-14 University-Industry Cooperation Group Of Kyung Hee University Surveillance system
RS57475B1 (sr) 2010-08-17 2018-09-28 Samsung Electronics Co Ltd Dekodiranje video zapisa upotrebom jedinice za transformaciju sa promenljivom strukturom stabla
WO2012096146A1 (ja) * 2011-01-13 2012-07-19 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
ES2882882T3 (es) 2011-01-13 2021-12-03 Nec Corp Dispositivo, método y programa de descodificación de video
SI2744204T1 (sl) * 2011-09-14 2019-02-28 Samsung Electronics Co., Ltd., Postopek dekodiranja enote za napovedovanje (PU) na podlagi njene velikosti
US9894355B2 (en) * 2012-01-19 2018-02-13 Sony Corporation Image processing apparatus and method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0106977A2 (en) * 1982-09-30 1984-05-02 International Business Machines Corporation Method and apparatus for electrochemically treating a substrate
US20020181595A1 (en) 1998-02-27 2002-12-05 Koji Obata Picture signal processing system, decoder, picture signal processing method, and decoding method
WO2004080050A2 (en) * 2003-03-03 2004-09-16 Koninklijke Philips Electronics N.V. Video encoding
EP1515564A2 (en) 2003-08-14 2005-03-16 Intervideo, Inc. Systems and methods for adaptively filtering DCT coefficients in a video encoder

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE515535C2 (sv) 1996-10-25 2001-08-27 Ericsson Telefon Ab L M En transkoder
US5828848A (en) * 1996-10-31 1998-10-27 Sensormatic Electronics Corporation Method and apparatus for compression and decompression of video data streams
EP2369847B1 (en) 1997-02-13 2016-04-20 Mitsubishi Denki Kabushiki Kaisha Moving picture decoding method
KR100535631B1 (ko) * 1997-09-29 2006-07-10 주식회사 팬택앤큐리텔 적응적 비월주사 모양정보 부호화/복호화 장치및 방법
JP3817951B2 (ja) * 1999-02-09 2006-09-06 ソニー株式会社 ストリーム伝送装置および方法、並びに記録媒体
KR100571687B1 (ko) 1999-02-09 2006-04-18 소니 가부시끼 가이샤 코딩 시스템 및 방법, 부호화 장치 및 방법, 복호화 장치및 방법, 기록 장치 및 방법, 및 재생 장치 및 방법
JP2002016913A (ja) * 2000-06-28 2002-01-18 Yamaha Corp トランスコーディング方法およびトランスコーディング装置
JP4228537B2 (ja) * 2000-11-29 2009-02-25 日本ビクター株式会社 画像信号復号・符号化装置
US6700935B2 (en) 2002-02-08 2004-03-02 Sony Electronics, Inc. Stream based bitrate transcoder for MPEG coded video
CN1843038B (zh) * 2003-08-26 2010-09-22 汤姆森特许公司 用于解码混合内部-相互编码块的方法和装置
KR100846780B1 (ko) * 2003-11-10 2008-07-16 삼성전자주식회사 움직임 벡터 추정 방법 및 장치
US7391809B2 (en) 2003-12-30 2008-06-24 Microsoft Corporation Scalable video transcoding
US8369402B2 (en) 2004-06-17 2013-02-05 Canon Kabushiki Kaisha Apparatus and method for prediction modes selection based on image formation
CN1306821C (zh) * 2004-07-30 2007-03-21 联合信源数字音视频技术(北京)有限公司 一种视频图像中运动矢量预测生成的方法及其装置
US7822117B1 (en) * 2005-09-30 2010-10-26 Ambarella, Inc. Video encoder rate control using bit usage measuring and allocating by macroblock classes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0106977A2 (en) * 1982-09-30 1984-05-02 International Business Machines Corporation Method and apparatus for electrochemically treating a substrate
US20020181595A1 (en) 1998-02-27 2002-12-05 Koji Obata Picture signal processing system, decoder, picture signal processing method, and decoding method
WO2004080050A2 (en) * 2003-03-03 2004-09-16 Koninklijke Philips Electronics N.V. Video encoding
WO2004080050A3 (en) 2003-03-03 2004-12-29 Koninkl Philips Electronics Nv Video encoding
EP1515564A2 (en) 2003-08-14 2005-03-16 Intervideo, Inc. Systems and methods for adaptively filtering DCT coefficients in a video encoder

Also Published As

Publication number Publication date
US20070147503A1 (en) 2007-06-28
TWI364989B (en) 2012-05-21
TW200803522A (en) 2008-01-01
US8254463B2 (en) 2012-08-28
EP1833256A1 (en) 2007-09-12
SG153866A1 (en) 2009-07-29
CN101014132A (zh) 2007-08-08
CN101014132B (zh) 2012-01-11
EP1833256B1 (en) 2017-06-14
CA2572515A1 (en) 2007-06-27
MY145659A (en) 2012-03-15
AU2006252282A1 (en) 2007-07-12
CA2572515C (en) 2013-12-10
KR20070069073A (ko) 2007-07-02
SG133582A1 (en) 2007-07-30
AU2006252282B2 (en) 2011-07-07
JP4666255B2 (ja) 2011-04-06
JP2007180776A (ja) 2007-07-12

Similar Documents

Publication Publication Date Title
KR100903712B1 (ko) 부호화 데이터 출력 방법 및 장치, 재부호화 데이터 생성방법 및 장치, 부호화 데이터 복원 방법 및 장치, 부호화방법 및 장치, 및 컴퓨터 판독 가능한 기록 매체
JP4991699B2 (ja) ビデオ信号のスケーラブルなエンコーディング方法およびデコーディング方法
JP5504336B2 (ja) スケーラブルビデオ符号化方法、符号器及びコンピュータプログラム
KR102105497B1 (ko) 텔레비전 장치, 휴대 전화기, 재생 장치, 카메라 및 화상 처리 방법,
JP4964595B2 (ja) 画像復号装置及び方法
KR101435095B1 (ko) 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램을 기록한 컴퓨터 판독 가능한 정보 기록 매체
KR101608426B1 (ko) 영상의 인트라 예측 부호화/복호화 방법 및 그 장치
JP4908180B2 (ja) 動画像符号化装置
KR101689997B1 (ko) 영상 복호 장치, 및 영상 복호 방법
JP2013524669A (ja) 高効率な動画像符号化のためのスーパーブロック
WO2012096146A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
JP5768180B2 (ja) 画像復号方法及び画像復号装置
JPWO2009008177A1 (ja) トランスコーダ、トランスコード方法、デコーダ、およびデコード方法
WO2011122659A1 (ja) 符号化装置および復号装置
JP6874844B2 (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラム
JP2005303487A (ja) 動画像復号装置及び動画像復号プログラム
KR20160053848A (ko) 영상의 인트라 예측 부호화/복호화 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130524

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140522

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150518

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160517

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170522

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180517

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190515

Year of fee payment: 11