KR20070103374A - 화상 부호화 장치 및 화상 복호화 장치 - Google Patents

Abstract

본 발명은 복호화에서의 부하를 줄일 수 있는 화상 부호화 장치를 제공한다. 복호화될 RAU가 오픈 GOP 타입 RAU이면, 본 발명은: BI-화상을 생성하도록 부호화될 화상을 부호화하는, 움직임 추정 유닛(401), 움직임 보상 유닛(402) 등; 스트림(STR)의 RAU에서 디스플레이 순서로 선두 I-화상의 바로 앞에 BI-화상이 위치하는지 위치하지 않는지를 나타내는 RAU 맵(MIa)을 생성하는 BI 정보 생성 유닛(413); 및 스트림(STR)의 RAU에 RAU 맵(MIa)을 기록하는 가변 길이 부호화 유닛(411)을 포함한다.

Description

화상 부호화 장치 및 화상 복호화 장치{PICTURE CODING APPARATUS AND PICTURE DECODING APPARATUS}

본 발명은 동화상을 부호화하는 화상 부호화 장치, 이 화상 부호화 장치를 사용하는 이미지 부호화 방법에 의해 생성된 스트림, 및 이 스트림을 복호화하는 화상 복호화 장치에 관한 것이다.

최근, 오디오, 비디오 및 화소값을 종합적으로 취급하는 멀티미디어 시대의 도래와 함께, 존재하는 정보 매체, 예를 들면, 사람들에게 정보를 전달하는 신문, 잡지, 텔레비전, 라디오, 전화 등이 멀티미디어 범위에 포함되게 되었다. 일반적으로, 멀티미디어는 문자뿐만 아니라, 그래픽 심볼, 오디오 및 특히 화상 등이 서로 관련 있는 표현을 말한다. 그러나, 상기한 존재하는 정보 매체를 멀티미디어의 범위에 포함하기 위해서는 이러한 정보를 디지털 형태로 표현하는 것이 필요하다.

그러나, 상기한 각 정보 매체에 의해 운반되는 정보량이 디지털 정보량으로서 평가되는 경우, 문자의 경우에 1개의 문자에 대한 정보량이 1 내지 2 바이트이지만, 음성에 필요한 정보량은 초당 64Kbits이고(전화 품질), 동화상(현재의 텔레비전 수신 품질)은 초당 100Mbits 이상이 필요하다. 따라서, 상기 정보 매체를 통해서 막대한 정보량을 직접 디지털 형태로 취급하는 것은 현실적이지 못하다. 예를 들어, 64Kbits/sec 내지 1.5Mbits/sec의 전송 속도를 제공하는 ISDN(Integrated Services Digital Network)을 통해 비디오폰이 이미 실용화되었지만, 텔레비전 카메라에 의해 캡처된 화상을 전송하는 것은 불가능하다.

따라서, 정보 압축 기술이 필요하고, 예를 들어, 비디오폰의 경우에, ITU-T(International Telecommunication Union-Telecommunication Standardization Sector)에 의해 추천된 H.261 및 H.263 표준을 따른 비디오 압축 기술이 채용되었다. MPEG-1 표준을 따른 정보 압축 기술에 의해, 화상 정보뿐만 아니라 오디오 정보도 통상의 음악용 CD(Compact Disk)에 저장될 수 있다.

여기서, MPEG(Moving Picture Experts Group)은 동화상 신호 압축의 국제 표준이며, MPEG-1은 1.5Mbit/s까지 비디오 신호를 압축하는 표준으로서, 즉, 텔레비전 신호에 포함된 정보를 대략 백분의 일 비율까지 압축한다. MPEG-1 표준에 의해 목표된 품질은 전송률이 주로 대략 1.5Mbits/sec인 중간 정도의 품질이었다. 따라서, 더 높은 화상 품질의 요구를 만족시키기 위해 표준화된 MPEG-2는 2 내지 15Mbits/sec 전송률의 동화상 신호 전송으로 텔레비전 방송 품질을 실현한다.

현재 상황에서, MPEG-1 및 MPEG-2의 압축률을 크게 초과하고, 객체 기반으로 부호화/복호화 조작을 가능하게 하여 멀티미디어 시대에 요구되는 새로운 기능을 실현하는 MPEG-4가, MPEG-1와 MPEG-2를 담당한 작업 그룹(ISO/IEC JTC1/SC29/WG11)에 의해 표준화되었다. 처음에, MPEG-4의 표준화 과정에서의 목적은 낮은 비트 레이트 부호화를 표준화하는 것이었다. 그러나, 그 목적은 현재, 인터레이스된 화상 등에 대해서도 높은 비트 레이트 부호화를 포함하는 보다 범용적인 부호화를 표준 화하는 것으로 확장되었다. 또한, ISO/IEC 및 ITU-T의 협력하에, 차세대 이미지 부호화 방법으로서, 더 높은 압축률의 MPEG-4 AVC(Advanced Video Coding)의 표준화가 개발되었고, 현재 SMPTE(Society of Motion Picture and Television Engineers)가 VC-1(텔레비전용으로 제안된 SMPTE 표준: VC-1 Compressed Video Bitstream Format and Decoding Process, Final Committee Draft 1 Revision 6, 2005.7.13)의 표준화를 시도하고 있다. VC-1의 목표는 MPEG-2 및 MPEG-4 표준의 방법에 기초하여 부호화 도구 등을 확장하는 것이다. VC-1은, BD(Blu-ray disc) 및 HD(High Definition) DVD와 같은, 차세대 광디스크 주변 장치로서 사용되어질 것으로 기대된다.

일반적으로, 동화상의 부호화에서는, 공간적 및 시간적 방향들의 중복성을 제거하여 정보량의 압축이 행하여진다. 따라서, 시간적 중복성을 줄이는 것을 목적으로 하는 화상간 예측 부호화는, 선행하거나 후행하는 화소들을 참조하여 블록 단위로 움직임 추정 및 예측된 화상 생성을 한 후, 얻어진 예측된 화상과 부호화될 현재 화상 사이의 차이값을 부호화한다. 여기서 "화상"은 단일 화면을 나타내며, 프로그레시브 화상에서는 프레임을 나타내며, 반면에 인터레이스된 화상에서는 프레임이나 필드를 나타낸다. 여기서 인터레이스된 화상은 단일 프레임이 시간적으로 상이한 2개의 필드로 구성되는 화상이다. 인터레이스된 화상을 부호화 및 복호화하는 방법으로서 3가지 방법이 가능한데: 단일 프레임을 하나의 프레임으로서, 두 개의 필드로서 혹은 프레임 내의 블록에 따른 프레임/필드 구조로서 처리하는 것이다.

참조 화상 없이 화상내 예측 부호화되는 화상을 "I-화상"이라 한다. 단일 화상을 참조하여 화상간 예측 부호화되는 화상을 "P-화상"이라 한다. 동시에 두 개의 화상을 참조하여 화상간 예측 부호화되는 화상을 "B-화상"이라 한다. B-화상은, 부호화될 현재 화상의 디스플레이 시간이 전후인 화상들 중에서 임의로 선택된 두 개의 화상을 임의의 조합으로 참조할 수 있다. 그러나 이러한 I-화상, P-화상, 및 B-화상을 부호화 혹은 복호화하는 조건으로서, 참조 화상들이 미리 부호화 혹은 복호화되어야할 필요가 있다.

도 1A 및 1B는 종래의 MPEG-2 스트림의 구조를 도시하는 도면이다. 도 1B에서 도시된 바와 같이, MPEG-2 표준에 따른 스트림은 계층 시스템을 가진다. 스트림은 복수의 GOP(Group of Pictures)로 구성된다. 부호화 프로세싱에 사용되는 기본 유닛으로서 GOP를 사용하여서, 동화상 편집 및 랜덤 액세스를 하는 것이 가능하다. 이는 GOP에서의 선두 화상이 랜덤 액세스 포인트라는 것을 의미한다. GOP는 각기 I-화상, P-화상 및 B-화상으로 된 복수의 화상으로 구성되어 있다. 스트림, GOP 및 화상은, 각 유닛들에 공통적으로 포함된 데이터인 헤더와 각 유닛 사이의 경계를 나타내는 동기 신호(sync)를 각각 포함한다.

도 2A 및 2B는 MPEG-2 표준에 따른 화상들의 예측 구조의 실시예들이다. 도 2A에서 음영 처리된 화상들은 그 밖의 화상들을 예측하기 위해 참조되는 참조 화상들이다. 도 2A에서 도시된 바와 같이, MPEG-2 표준에서 P-화상(화상(P0, P6, P9, P12, 혹은 P15))은, 디스플레이 시간이 P-화상의 바로 앞인 I-화상이나 P-화상 중에 한 화상으로부터 예측될 수 있다. B-화상(화상(B1, B2, B4, B5, B7, B8, B10, B11, B13, B14, B16, B17, B19, 혹은 B20))은, 디스플레이 시간이 B-화상의 바로 선행 혹은 후행하는 화상으로부터 예측될 수 있는데, 이는 I-화상이나 P-화상이 모두 사용될 수 있다. B-화상의 위치는 스트림에서 I-화상이나 P-화상의 바로 뒤에 배치된다. 따라서, 랜덤 액세스를 행할 경우, I-화상 다음의 모든 화상들은, I-화상으로부터 복호화가 시작될 경우, 복호화되고 디스플레이될 수 있다. 도 2B에서 도시된 바와 같이, GOP의 구조에 있어서, I3부터 B14까지의 화상들은 하나의 GOP로 간주되어질 수 있다.

도 3은 VC-1에 따른 스트림의 구조를 도시하는 도면이다. VC-1에 따른 스트림은 또한 MPEG-2 표준에 대해 설명된 바와 동일한 구조를 가진다. 그러나, 랜덤 액세스 포인트는, 엔트리 포인트 헤더(Entry Point HDR)가 더해지는 "엔트리 포인트"라 한다. 엔트리 포인트에서 다음 엔트리 포인트까지의 데이터는, MPEG-2 표준에 따른 하나의 GOP와 동등한 랜덤 액세스 유닛(RAU)이다. 이하, VC-1에 따른 RAU를 "랜덤 액세스 포인트(RAU)"라 한다. RAU는, RAU(엔트리 포인트 레벨의 유저 데이터)의 화상에 관한 유저 데이터를 저장할 수 있으며, 엔트리 포인트 헤더 바로 다음에 배치됨에 주의한다.

여기서, VC-1에 따른 화상의 타입이 설명된다. VC-1에서, I-화상, P-화상, 및 B-화상 또한 정의된다. 이들 I-화상, P-화상, 및 B-화상은 MPEG-2 표준에 대해 설명된 바와 동일한 예측 구조를 가진다. VC-1에서, 상기한 화상의 3가지 타입과는 별도로, 두 가지의 타입인, 스킵트-화상(Skipped-picture) 및 BI-화상이 더 정의된다. 스킵트-화상은 화소 데이터를 포함하지 않는 화상이며, 복호화 순서로 이전의 참조 화상과 동일한 화소 데이터를 가지는 P-화상으로서 다루어진다. 예를 들면, (1) 및 (2)의 예에서, 화상(S5)은 화상(P3)과 동일한 화상으로 간주되어서, 스트림 복호화의 동일한 동작이 (1) 및 (2) 모두에서 행하여진다.

(1) 디스플레이 순서: 화상(I0), 화상(B2), 화상(P1), 화상(B4), 화상(P3), 화상(B6), 화상(S5)(I를 포함하는 기호에 의해 나타내진 화상은 I-화상이고, P를 포함하는 기호에 의해 나타내진 화상은 P-화상이고, B를 포함하는 기호에 의해 나타내진 화상은 B-화상이고, S를 포함하는 기호에 의해 나타내진 화상은 스킵트-화상임에 주의한다. 예를 들면, 화상(S6)은 스킵트-화상이다. 화상의 기호에 붙은 숫자는 복호화 순서를 나타낸다.)

(2) 디스플레이 순서: 화상(I0), 화상(B2), 화상(P1), 화상(B4), 화상(P3), 화상(B6), 화상(P5)(P5는 P3과 동일한 화소 데이터를 가진다.)

스킵트-화상은 화상이 움직이지 않을 경우에 특히 유용하다. 예를 들면, RAU 중간에서 화상이 움직이지 않는 경우, 스킵트-화상은 화상이 움직이지 않는, 예를 들면, 화상(I0), 화상(P1), 화상(P2), 화상(P3), 화상(S4), 화상(S5), 화상(S6)...일 때에 부호화되는 데이터의 양을 줄이기 위해 사용된다.

또한, BI-화상은 B-화상 및 I-화상의 특성을 지니는 화상이다. 더 구체적으로, BI-화상은, 복호화 순서가 디스플레이 순서와 다르고(BI-화상 및 I-화상 혹은 P-화상의 재배열이 필요하다. 예를 들면, BI-화상은 디스플레이 순서로 RAU에서의 선두 내부-부호화된 화상(starting intra-coded picture)보다 선행하며 복호화 순서로 RAU의 선두 내부-부호화된 화상에 후행한다), 그 밖의 화상들에 대한 참조 화 상이 아닌, B-화상의 특성을 지닌다. 또한, BI-화상은, 모든 매크로블록들이 내부-부호화되고, 어떤 다른 화상들로부터도 예측되지 않는, I-화상의 특성을 지닌다.

다음으로, I-화상, P-화상, B-화상, 스킵트-화상, 및 BI-화상을 구별하는 방법이 설명되어진다. 기본적으로, 화상의 타입은 스트림의 화상 계층에 포함된 화상 타입에 의거하여 구별될 수 있다. 그러나, 화상 계층에 의해 나타내진 화상 타입은 프로파일에 의거하여 다음과 같이 정의된다.

예를 들면, 심플 프로파일에서, 화상 타입은 I-화상 및 P-화상으로 나타내진다. 메인 프로파일에서, 화상 타입은 I-화상, P-화상, 및 B-화상 혹은 BI-화상으로 나타내진다. 진보된 프로파일에서, 화상 타입은 I-화상, P-화상, B-화상, BI-화상 및 스킵트-화상으로 나타내진다.

여기, 심플 프로파일 및 메인 프로파일 모두에서, 화상 계층의 화상 타입을 사용하여 스킵트-화상을 구별하는 것이 불가능하기 때문에, 임의의 화상이 1byte 이하의 사이즈를 가지는 경우, 그 화상은 스킵트-화상으로 정의된다. 또한, 메인 프로파일에서, 하나의 화상 타입이 B-화상 혹은 BI-화상을 나타내기 때문에, 화상 타입에 의거하여, BI-화상으로부터 B-화상을 구별해내는 것이 불가능하다.

도 4는 종래의 이미지 부호화 방법을 실현하는 화상 부호화 장치를 도시하는 블록도이다.

화상 부호화 장치(800)는 입력된 화상 신호(Vin)에 대한 압축 부호화, 가변 길이 부호화 등을 행하여서, 화상 신호(Vin)를 비트스트림(스트림)(Str)으로 변환하여 출력되도록 한다. 화상 부호화 장치(800)는 움직임 추정 유닛(801), 움직임 보상 유닛(802), 차감기(803), 직교 변환 유닛(804), 양자화 유닛(805), 역 양자화 유닛(806), 역 직교 변환 유닛(807), 가산기(808), 화상 메모리(809), 스위치(810), 가변 길이 부호화 유닛(811), 및 예측 구조 결정 유닛(812)을 포함한다.

화상 신호(Vin)는 차감기(803)와 움직임 추정 유닛(801)으로 입력된다. 차감기(803)는 입력된 화상 신호(Vin) 및 예측된 화상 사이의 차분을 계산하고, 그 차분을 직교 변환 유닛(804)으로 출력한다. 직교 변환 유닛(804)은 그 차분을 주파수 계수로 변환하고, 주파수 계수를 양자화 유닛(805)으로 출력한다. 양자화 유닛(805)은 입력된 주파수 계수를 양자화하고, 결과인 양자화 값(Qc)을 가변 길이 부호화 유닛(811)으로 출력한다.

역 양자화 유닛(806)은 오리지널 주파수 계수를 복원하기 위해 양자화 값(Qc)을 역으로 양자화하고, 결과인 주파수 계수를 역 직교 변환 유닛(807)으로 출력한다. 역 직교 변환 유닛(807)은 화소 차분으로 변환되는 주파수 계수의 역 주파수 변환을 행하고, 화소 차분을 가산기(808)로 출력한다. 가산기(808)는 움직임 보상 유닛(802)으로부터 출력된 예측 화상과 화소 차분을 가산하고, 복호화된 화상을 생성한다. 스위치(810)는 복호화된 화상이 저장되도록 지시받았을 때 온이 되고, 복호화된 화상은 화상 메모리(809)에 저장된다.

한편, 화상 신호(Vin)가 매크로블록의 유닛으로 입력되는 움직임 추정 유닛(801)은, 화상 메모리(809)에 저장되는 복호화된 화상들(참조 화상들)을 검색하고, 화상 신호(Vin)에 의해 나타내진 매크로블록과 가장 유사한 이미지를 검출하고, 이미지의 위치를 나타내는 움직임 벡터(MV)를 결정한다.

움직임 보상 유닛(802)은, 결정된 움직임 벡터 등을 사용하여, 화상 메모리(809)에 저장된, 복호화된 화상으로부터 예측 화상으로서 가장 적합한 이미지를 검색한다.

예측 구조 결정 유닛(812)은 RAU 선두 화상(Uin)에 의거하여, 부호화될 화상이 RAU 선두 위치에 있는지를 결정한 후, 화상 타입(Pt)을 사용하여, 특별히 랜덤하게-액세스 가능한 화상(special randomly-accessible picture)으로서 화상을 부호화(화상내 부호화)하도록 움직임 추정 유닛(801) 및 움직임 보상 유닛(802)에게 명령하고, 또한 화상 타입(Pt)을 부호화하도록 가변 길이 부호화 유닛(811)에게 명령한다.

가변 길이 부호화 유닛(811)은, 스트림(Str)을 생성하기 위해 양자화 값(Qc), 화상 타입(Pt), 및 움직임 벡터(MV)의 가변 길이 부호화를 행한다.

도 5는 종래의 이미지 복호화 방법을 실현하는 화상 복호화 장치(900)를 도시하는 블록도이다. 도 4의 참조 번호들이 도 5의 동일한 유닛들에 할당되고, 이 유닛들은 도 4에서 종래의 이미지 부호화 방법을 실현하기 위한 화상 부호화 장치에 대해 설명된 바와 동일한 방식으로 작동하므로, 이 유닛들의 상세한 설명은 이하 기재하지 않는다.

가변 길이 복호화 유닛(901)은 스트림(Str)을 복호화하고, 양자화 값(Qc), 참조 화상 특정 정보(Ind), 화상 타입(Pt), 움직임 벡터(MV) 등을 출력한다. 화상 메모리(809)는 움직임 벡터(MV)를 얻고, 움직임 보상 유닛(802)은 화상 타입(Pt), 움직임 벡터(MV), 및 참조 화상 특정 정보(Ind)를 얻고, 역 양자화 유닛(806)은 양 자화 값(Qc)을 얻는다. 복호화는, 화상 메모리(809), 움직임 보상 유닛(802), 및 역 양자화 유닛(806), 역 직교 변환 유닛(807), 및 가산기(808)에 의해 행하여진다. 복호화의 동작은 종래의 부호화 방법을 실현하기 위한 화상 부호화 장치(800)를 도시하는 도 4의 블록도를 참조하여 설명되었다.

버퍼 메모리(902)는 가산기(808)로부터 출력된 복호화된 화상(Vout)을 저장하는 메모리이고, 디스플레이 유닛(903)은 버퍼 메모리(902)로부터 복호화된 화상을 얻고, 복호화된 화상(Vout)에 따른 화상을 디스플레이한다. 버퍼 메모리(809) 및 화상 메모리(902)는 동일한 메모리를 공유할 수 있음에 주의한다.

도 6은, 종래의 화상 복호화 장치(900)에 의해 행하여지는 고속 재생과 같은, 특별 재생을 하는 동안의 복호화를 도시하는 흐름도이다. 우선, 종래의 화상 복호화 장치(900)는, 스트림(Str)으로부터, 단계(S1001)에서 복호화될 화상의 헤더를 검출한다. 그 후 단계(S1002)에서, 종래의 화상 복호화 장치(900)는, 화상 계층에 포함된 헤더 내의 화상 타입에 의거하여, 선두 화상이 복호화될 필요가 있는지 없는지를 검사한다. 단계(S1003)에서, 종래의 화상 복호화 장치(900)는 단계(S1002)에서의 화상이 복호화 되기 위한 조사가 되었는지 되지 않았는지를 결정하고, 만약 복호화가 필요하다면, 프로세싱은 단계(S1004)로 나아가고, 반면에 화상이 복호화될 필요가 없다면, 프로세싱은 단계(S1005)로 나아간다. 마지막으로, 단계(S1005)에서, 종래의 화상 복호화 장치(900)는 프로세싱이, 스트림 혹은 RAU의 마지막 화상과 같은, 재생될 마지막 화상까지도 완료되었는지를 결정하고, 만약 처리될 화상들이 아직 남아있다면, 프로세싱은 단계(S1001)에서 단계(S1005)까지의 단계들을 반복하고, 만약 마지막 화상이 처리되면, 프로세싱은 완료된다.

그러나 상기한 종래의 화상 부호화 장치(800) 및 화상 복호화 장치(900)에서는, 스킵트-화상을 포함하는 스트림(Str)을 부호화하는 동안에, 그리고 특히 고속 재생과 같은 특별 재생 중에, 많은 양의 프로세싱 부하 문제가 존재한다. 또한, BI-화상을 포함하는 스트림(Str)의 복호화에서, 특히 전체 데이터의 중간에서부터 재생을 행하는 특별 재생에서(이하, 점핑 재생이라 한다), 상기한 바와 같이 많은 양의 프로세싱 부하가 요구된다는, 동일한 문제가 존재한다.

도 7은 상기한 종래의 화상 부호화 장치(800) 및 화상 복호화 장치(900)의 문제점을 도시하는 도면이다.

도 7의 (a)에서, 스킵트-화상을 포함하는 종래의 RAU의 구조가 도시된다. RAU는 복호화 순서로 4번째부터의 화상에서 이미지가 정지 상태인 24개의 화상을 포함하여서, 다섯 번째부터의 화상은 모두 스킵트-화상이다. 이러한 RAU가 세 배의 속도로 재생되면, 종래의 화상 복호화 장치(900)는 첫 번째, 네 번째, 일곱 번째, 열 번째, 열세 번째, 열여섯 번째, 열아홉 번째 및 스물두 번째 화상이 순차적으로 재생되도록 복호화를 시도한다. 그러나, 화상은 도 7의 (c)에서 도시된 바와 같이 오직 첫 번째 I-화상 및 네 번째 P-화상만이 실제로 복호화된다.

이는 즉, 종래의 스트림(Str)의 RAU에서, 화상 복호화 장치(900)는, 각 화상 계층이 그 화상의 화상 타입을 포함하기 때문에, 화상 타입을 얻기 위해 각 화상의 헤드(화상 계층)를 검색하지 않으면, 그 화상이 복호화될 화상인지 아닌지 결정할 수가 없음을 의미한다. 따라서, 도 7의 (b)에서 도시되는 바와 같이, 화상 복호화 장치(900)는 화상 타입을 얻기 위해 일곱 번째, 열 번째, 열세 번째, 열여섯 번째, 열아홉 번째 및 스물두 번째 스킵트-화상을 분석할 필요가 있다.

상기된 바와 같이, 종래의 RAU의 고속 재생에서, 종래의 화상 부호화 장치 및 화상 복호화 장치는, 복호화할 필요가 없는 화상들조차도 분석해야 하고, 결국 복호화에 많은 양의 데이터를 초래한다.

또한, BI-화상을 포함하는 RAU로부터 점핑 재생이 실행되면, 상기한 종래의 화상 부호화 장치(800) 및 화상 복호화 장치(900)는 복호화에 많은 양의 프로세싱을 요하게 된다.

이는 즉, 종래의 화상 부호화 장치(800)에서, 오픈 GOP 타입 RAU가 생성되면, 화상(이하, 재배열된 화상이라 한다)은 B-화상 혹은 BI-화상으로 부호화될 가능성이 있다. 재배열된 화상은, 복호화 순서로는 RAU의 첫 번째 화상으로서 위치하는 선두 I-화상보다 디스플레이 순서로 앞에 위치하지만, 복호화 순서로는 선두 I-화상보다 뒤에 위치함에 주의한다. 여기서, 오픈 GOP 타입 RAU로부터 점핑 재생이 행하여질 때, 만약 상기한 재배열된 화상이 B-화상이면, B-화상을 복호화하거나 디스플레이하는 것이 불가능한 경우가 있다. 그러나, 만약 재배열된 화상이 BI-화상이라면, BI-화상을 복호화하거나 디스플레이하는 것이 가능하다.

따라서, 종래의 화상 복호화 장치(900)는 스트림(Str) 내의 RAU에 포함된 각각의 재배열된 화상을 분석하여서, 재배열된 화상이 B-화상인지 BI-화상인지 결정한다. 만약 재배열된 화상이 B-화상이라면, 화상 복호화 장치(900)는 재배열된 화상을 복호화하지 않는다. 반면에, 만약 재배열된 화상이 BI-화상이라면, 화상 복호 화 장치(900)는 재배열된 화상을 복호화한다.

그러나, 재배열된 화상이 B-화상인지 BI-화상인지의 상기 결정은, 때때로 프로세싱의 지연을 초래하는 많은 양의 프로세싱을 요하게 된다.

따라서, 오픈 GOP 타입 RAU로부터 점핑 재생이 행하여질 경우, 임의의 구체적인 필요성이 없다면 종래의 화상 복호화 장치(900)는, 재배열된 화상이 B-화상이든 BI-화상이든 상관하지 않고, 재배열된 화상을 복호화하거나 디스플레이하지 않는다. 그 결과, 재배열된 화상이 BI-화상일 경우, 이러한 BI-화상을 효율적으로 재생하는 것이 불가능하였다.

그리하여, 본 발명은 상기한 문제점들을 제기하며, 본 발명의 목적은 복호화의 부하를 줄일 수 있는 화상 부호화 장치 및 화상 복호화 장치를 제공하는 것이다.

상기한 문제를 해결하기 위해서, 본 발명은 하나 이상의 화상들을 포함하는 각 액세스 유닛에서 각 화상을 부호화하는 것에 의하여 부호화된 화상 신호를 생성하는 화상 부호화 장치를 제공하며, 상기 화상 부호화 장치는: 액세스 유닛이 또 다른 액세스 유닛을 참조하여 부호화되는 것이 가능한 오픈 타입 액세스 유닛이면, 어떤 다른 화상도 참조하지 않고 독립적으로 복호화되는 것이 가능하고, 부호화된 화상 신호의 액세스 유닛에서 디스플레이 순서로 선두 화상의 앞에 위치하는 독립 화상을 생성하도록 부호화될 화상을 부호화하도록 동작 가능한 부호화 유닛; 부호화된 화상 신호의 액세스 유닛에 대해, 디스플레이 순서로 선두 화상 바로 앞에 독립 화상이 위치하는지 위치하지 않는지를 나타내는 보충 정보를 생성하도록 동작 가능한 정보 생성 유닛; 및 정보 생성 유닛에 의해 생성된 보충 정보를 부호화된 화상 신호의 액세스 유닛에 기록하도록 동작 가능한 기록 유닛을 포함한다.

RAU는 액세스 유닛으로서 보충 정보(RAU 맵)를 저장하기 때문에, 화상 복호화 장치는, 예를 들면, 점핑 재생을 할 동안에, BI-화상이 RAU의 복호화 순서로 선두 화상으로서, 디스플레이 순서로 선두 I-화상의 바로 앞에 위치하는지 아닌지를, RAU 맵을 참조하여서 쉽게 결정할 수 있다. 그 결과, 만약 BI-화상이 선두 화상 바로 앞에 위치하지 않으면, 화상 복호화 장치는, 복호화될 화상으로서, RAU에 포함된 화상들로부터 선두 I-화상 및 선두 I-화상 뒤에 위치한 화상들을 빠르게 추출할 수 있다. 또한, 만약 BI-화상이 선두 화상 바로 앞에 위치하면, 화상 복호화 장치는 RAU에 포함된 화상들로부터 복호화될 화상으로서 BI-화상을 또한 빠르게 추출할 수 있다.

따라서, 화상 복호화 장치는 통상적으로 RAU에 포함된 화상들의 각 화상 계층을 분석하거나, 그 계층의 화상이 B-화상 혹은 BI-화상인지 결정할 필요가 없어서, 복호화 프로세싱의 부하를 줄이는 것이 가능하다. 또한, BI-화상이 디스플레이 순서로 선두 I-화상 바로 앞에 위치하면, BI-화상은 쉽게 복호화되고 디스플레이될 수 있어서, BI-화상을 효율적으로 사용하는 것이 가능하다.

또한, 상기 정보 생성 유닛은, 독립 화상이 디스플레이 순서로 선두 화상 바로 앞에 위치하는지 아닌지를 나타내는 플래그(flag), 및 디스플레이 순서로 선두 화상 바로 앞에 위치하는 연속되는 독립 화상의 수를 포함하는 보충 정보를 생성할 수도 있다.

그에 따라, 보충 정보로서의 RAU 맵은 플래그 및 연속되는 화상들의 수를 포함하기 때문에, 화상 복호화 장치는, 스트림의 RAU에서 디스플레이 순서로 선두 화상 바로 앞에 위치하는 하나 이상의 연속되는 독립 화상들이 있는지 없는지를, RAU에 포함된 수 및 플래그를 참조하여 쉽게 결정할 수 있다. 그 결과, 하나 이상의 연속되는 독립 화상들이 존재한다고 결정되면, 화상 복호화 장치는, 복호화될 화상들로서, 액세스 유닛에 포함된 화상들로부터 하나 이상의 연속되는 BI-화상들 및 디스플레이 순서로 BI-화상 뒤에 위치하는 화상들을 빠르게 추출할 수 있다. 반면에, 하나 이상의 연속되는 독립 화상들이 존재하지 않는다고 결정되면, 화상 복호화 장치는 액세스 유닛에 포함된 화상들로부터 선두 I-화상 및 디스플레이 순서로 선두 I-화상 뒤에 위치하는 화상들을, 복호화되는 화상으로서 빠르게 추출할 수 있다.

또한, 상기 정보 생성 유닛은, 복호화 순서 혹은 디스플레이 순서로, 부호화된 화상 신호의 액세스 유닛에 포함된 각 화상의 화상 타입을 나타내는 보충 정보를 생성할 수도 있다.

보충 정보로서의 RAU 맵은 각 화상의 화상 타입을 포함하기 때문에, 화상 복호화 장치는 디스플레이 순서로 스트림의 RAU에서의 선두 화상보다 바로 앞에 위치하는 하나 이상의 연속되는 독립 화상들이 있는지 없는지를, RAU 맵이 나타내는 화상 타입을 참조하여 쉽게 결정할 수 있다. 그 결과, 하나 이상의 연속되는 독립 화상들이 존재한다고 결정되면, 화상 복호화 장치는 액세스 유닛에 포함된 화상들로부터 하나 이상의 연속되는 BI-화상들 및 디스플레이 순서로 BI-화상의 뒤에 위치하는 화상들을, 복호화되는 화상으로서 빠르게 추출할 수 있다. 반면에, 하나 이상의 연속되는 독립 화상들이 존재하지 않는다고 결정되면, 화상 복호화 장치는 액세스 유닛에 포함된 화상들로부터 선두 I-화상 및 디스플레이 순서로 선두 I-화상의 뒤에 위치하는 화상들을, 복호화되는 화상으로서 빠르게 추출할 수 있다.

또한, 상기 기록 유닛이, 복호화된 화상 신호의 액세스 유닛에 포함된 임의의 화상 앞의 위치에 보충 정보를 기록할 수도 있다.

그에 따라, 보충 정보로서 RAU 맵이 RAU의 임의의 화상 앞의 위치에 기록되기 때문에, 화상 복호화 장치는 RAU의 선두로부터 RAU의 데이터를 얻어서 RAU 맵을 쉽고 빠르게 검출할 수 있기 때문에, 복호화 프로세싱의 부하를 줄이는 것이 가능하다.

여기서, 상기 목적을 달성하기 위하여, 본 발명은, 각 액세스 유닛이 하나 이상의 화상들을 포함하는 부호화된 화상 신호를 복호화하는 화상 복호화 장치로서, 부호화된 화상 신호의 액세스 유닛은, 액세스 유닛에서 디스플레이 순서로 선두 화상 바로 앞에 독립 화상이 위치하는지 위치하지 않는지를 나타내는 보충 정보를 저장하고, 독립 화상은 선두 화상보다 디스플레이 순서로 앞에 위치하고 어떤 다른 화상도 참조하지 않고 독립적으로 복호화되는 것이 가능하며, 상기 화상 복호화 장치는: 액세스 유닛이, 또 다른 액세스 유닛을 참조하여 복호화되는 것이 가능한 오픈 타입 액세스 유닛인지 아닌지를 결정하도록 동작 가능한 타입 결정 유닛; 액세스 유닛이 오픈 타입 액세스 유닛이라고 상기 타입 결정 유닛이 결정하면, 상기 액세스 유닛으로부터 상기 보충 정보를 획득하도록 동작 가능한 정보 획득 유닛; 액세스 유닛으로부터, 상기 정보 획득 유닛에 의해 획득된 보충 정보를 참조하여 복호화될 화상을 추출하도록 동작 가능한 추출 유닛; 및 상기 추출 유닛에 의해 추출된 화상을 복호화하도록 동작 가능한 복호화 유닛을 포함한다.

그에 따라, 액세스 유닛으로서의 RAU가 오픈 GOP 타입 RAU일 경우, 화상 복호화 장치는 보충 정보로서 RAU 맵을 얻고, RAU 맵을 참조하여서, 화상 복호화 장치는 독립 화상으로서 BI-화상이, 복호화 순서로 첫 번째 화상으로서 위치하는 선두 I-화상보다, 디스플레이 순서로 바로 앞에 위치하는지 아닌지를 쉽게 결정할 수 있다. 그 결과, BI-화상이 선두 I-화상의 바로 앞에 위치하면, 화상 복호화 장치는 복호화될 화상으로서 BI-화상을 빠르게 추출할 수 있다. 반면에, BI-화상이 선두 I-화상의 바로 앞에 위치하지 않으면, 화상 복호화 장치는 BI-화상이 복호화될 화상이 아님을 빠르게 결정할 수 있다. 그 결과, 복호화 프로세싱의 부하를 줄이는 것이 가능해진다.

본 발명은 상기한 화상 부호화 장치 및 화상 복호화, 및 이미지 부호화 신호로뿐만 아니라 이미지 부호화 방법, 이미지 복호화 방법, 프로그램, 프로그램을 저장하는 저장 매체, 및 상기 장치들을 포함하는 집적 회로로도 실현될 수 있음에 주의한다.

본 발명의 이러한 및 그 밖의 목적, 이점 및 구성들이 본 발명의 구체적인 실시 형태들을 도시하는 첨부 도면을 참조한 다음의 설명으로부터 명확해질 것이 다. 도면에서:

도 1A 및 1B는 MPEG 2 스트림 구조를 도시하는 도면;

도 2A 및 2B는 MPEG 2 표준에서 사용되는 화상들 사이의 예측 구조의 실시예들을 도시하는 도면;

도 3은 종래의 VC-1 스트림의 구조를 도시하는 도면;

도 4는 종래의 화상 부호화 장치의 구조를 도시하는 블록도;

도 5는 종래의 화상 복호화 장치의 구조를 도시하는 블록도;

도 6은 종래의 화상 부호화 장치에 의해 행하여지는 동작들을 도시하는 흐름도;

도 7은 고속 재생을 할 동안에, 종래의 화상 부호화 장치에 의해 생성되는 스트림의 문제를 도시하는 도면;

도 8은 본 발명의 첫 번째 실시 형태에 따른 VC-1 스트림에 포함되는 RAU의 구조의 실시예를 도시하는 도면;

도 9A는 RAU 맵(MI)의 구문의 일 실시예를 도시하는 도면;

도 9B는 RAU 맵(MI)의 구문의 또 다른 예를 도시하는 도면;

도 9C는 RAU 맵(MI)의 구문의 또 다른 예를 도시하는 도면;

도 9D는 RAU 맵(MI)의 구문의 또 다른 예를 도시하는 도면;

도 10은 본 발명의 첫 번째 실시 형태에 따른 화상 복호화 장치의 구조를 도시하는 블록도;

도 11은 본 발명의 첫 번째 실시 형태에 따른 화상 복호화 장치에 의해 행하 여지는 동작들을 도시하는 흐름도;

도 12는 본 발명의 첫 번째 실시 형태에 따른 화상 복호화 장치에 의해 행하여지는 RAU 맵 분석 동작을 도시하는 흐름도;

도 13A는 본 발명의 첫 번째 실시 형태에 따른 화상 복호화 장치에 의해 고속으로 재생되는 RAU를 도시하는 도면;

도 13B는 도 13A에 따른 RAU 맵(MI)을 도시하는 도면;

도 13C는 본 발명의 첫 번째 실시 형태에 따른 화상 복호화 장치에 의해 행하여지는, 도 13A의 RAU를 구비하는 스트림(STR)을 고속으로 재생하는 동작을 도시하는 흐름도;

도 14는 첫 번째 실시 형태의 첫 번째 변형예에 따른 화상 복호화 장치에 의해 행하여지는 재생 방법을 도시하는 설명도;

도 15는 첫 번째 실시 형태의 첫 번째 변형예에 따른 화상 복호화 장치에 의해 행하여지는 재생 방법을 도시하는 흐름도;

도 16A는 첫 번째 실시 형태의 두 번째 변형예에 따른 완전 정지 화상 시퀀스(complete still picture sequence)를 포함하는 RAU를 도시하는 도면;

도 16B는 첫 번째 실시 형태의 두 번째 변형예에 따른 점차적으로-리프레시된 정지 화상 시퀀스(gradually-refreshed still picture sequence)를 포함하는 RAU를 도시하는 도면;

도 16C는 첫 번째 실시 형태의 두 번째 변형예에 따른 또 다른 점차적으로-리프레시된 정지 화상 시퀀스를 포함하는 RAU를 도시하는 도면;

도 17은 본 발명의 두 번째 실시 형태에 따른 화상 부호화 장치의 구조를 도시하는 블록도;

도 18은 본 발명의 두 번째 실시 형태에 따른 화상 부호화 장치에 의해 행하여지는 동작들을 도시하는 흐름도;

도 19A 및 19B는 B-스킵 화상의 예측 구조를 도시하는 도면;

도 20A는 본 발명의 세 번째 실시 형태에 따른 BI-화상을 사용하는 점핑 재생을 도시하는 설명도;

도 20B는 본 발명의 세 번째 실시 형태에 따른 BI-화상을 사용하는 또 다른 점핑 재생을 도시하는 설명도;

도 20C는 본 발명의 세 번째 실시 형태에 따른 BI-화상을 사용하는 또 다른 점핑 재생을 도시하는 설명도;

도 21은 본 발명의 세 번째 실시 형태에 따른 RAU 맵의 구문의 또 다른 실시예를 도시하는 도면;

도 22는 본 발명의 세 번째 실시 형태에 따른 화상 복호화 장치를 도시하는 블록도;

도 23은 본 발명의 세 번째 실시 형태에 따른 화상 복호화 장치(300)에 의해 행하여지는 동작들을 도시하는 흐름도;

도 24는 본 발명의 세 번째 실시 형태의 변형예에 따른 화상 복호화 장치에 의해 행하여지는 동작들을 도시하는 설명도;

도 25는 본 발명의 네 번째 실시 형태에 따른 화상 부호화 장치를 도시하는 블록도;

도 26은 본 발명의 네 번째 실시 형태에 따른 화상 부호화 장치에 의해 행하여지는 동작들을 도시하는 흐름도; 및

도 27A, 27B, 및 27C는 본 발명에 따른 이미지 복호화 방법 및 이미지 부호화 방법을 실현하는 프로그램을 저장하는 저장 매체를 도시하는 설명도.

다음은 도면을 참조하여 본 발명에 따른 실시 형태를 설명한다.

(첫 번째 실시 형태)

본 발명의 첫 번째 실시 형태에 따른 VC-1 스트림에서 RAU의 선두에 RAU 맵이 저장되고, 첫 번째 실시 형태에 따른 화상 복호화 장치가 RAU 맵을 분석하여서 RAU의 정지 화상 시퀀스를 특정한다.

도 8은 첫 번째 실시 형태에 따른 VC-1 스트림에 포함되는 RAU의 구조의 실시예를 도시하는 도면이다.

RAU 구조는 RAU의 선두에 위치하는 유저 데이터와 엔트리 포인트 헤더(Entry Point HDR), 그리고 유저 데이터를 따른 복수의 화상들을 포함한다. VC-1 표준에서, RAU는 엔트리 포인트 세그먼트(EPS)라고 함에 주의한다.

더 구체적으로, 첫 번째 실시 형태에 따른 RAU는 종래의 RAU와는 달리, 유저 데이터(엔트리 포인트 레벨에서의 유저 데이터)에 배열된 RAU 맵(MI)을 포함하고, RAU에 스킵트-화상이 존재하는지를 나타내고, 또한 RAU의 정지 화상 시퀀스를 특정한다.

따라서, RAU 맵(MI)을 참조하여서, 첫 번째 실시 형태에 따른 화상 복호화 장치는 RAU가 스킵트-화상을 포함하는지 포함하지 않는지를 조사할 수 있고, 정지 화상 시퀀스를 특정할 수 있어서, RAU의 각 화상 계층을 분석하지 않아도, 복호화될 필요가 없는 화상들을 특정하는 것이 가능하여서, 복호화될 데이터의 양을 줄이는 결과를 초래한다.

도 9A는 RAU 맵(MI)의 구문의 실시예를 도시하는 도면이다.

num_pic_in_RAU는 RAU의 화상 수를 나타낸다. frame_field_flag는 RAU의 각 화상이 필드 구조로 부호화되는지 혹은 프레임 구조로 부호화되는지를 나타낸다. pic_type은 각 화상의 화상 타입(스킵트-화상 타입 포함)을 나타낸다. 각 화상에 관한 정보는 복호화 순서로 나타내짐에 주의한다. 이는 즉, 각 RAU의 화상의 화상 타입(스킵트-화상 타입 포함)을 나타내는 것에 의하여, RAU 맵(MI)이 RAU의 정지 화상 시퀀스를 특정한다는 것을 의미한다. 여기서, 복수의 스킵트-화상의 시퀀스가 복호화 순서로 참조 화상(I-화상 혹은 P-화상)에 후행하는 경우, 첫 번째 실시 형태에서의 정지 화상 시퀀스는 참조 화상으로부터 마지막 스킵트-화상까지의 범위 및 위치를 의미한다.

예를 들면, RAU 맵(MI)은 RAU의 두 번째 화상부터 마지막 화상까지 모두 스킵트-화상임을 나타낸다. 위의 경우, RAU 맵(MI)의 pic_type을 참조하여, 화상 복호화 장치는 두 번째 및 그 이후의 화상들을 복호화하지 않고 선두 화상을 복호화하도록 결정하며 그 결과를 되풀이하여 디스플레이한다.

RAU 맵(MI)은, 각 화상에 대해, 프레임의 복호화가 상부 필드에서부터 시작 하는지 하부 필드에서부터 시작하는지 또는 디스플레이되는 중에 하나의 프레임이 몇 개의 필드들과 동등한가를 나타내는 3:2 풀다운(pulldown)에 관한 정보 등을 포함할 수 있음에 주의한다.

도 9B는 RAU 맵(MI)의 구문의 또 다른 실시예를 도시하는 도면이다.

VC-1 표준의 진보된 프로파일에서, 필드-구조의 프레임에 대한 첫 번째 필드 및 두 번째 필드의 화상 타입은 화상 계층에 포함된 필드-화상 타입에 의해 나타내진다. 필드-화상 타입(첫 번째 화상 및 두 번째 화상의 화상 타입)은, (I,I), (I,P), (P,I), (P,P), (B,B), (B,BI), (BI,B), 및 (BI,BI)의 8가지 패턴으로 정의된다. 따라서, 화상이 필드로 구성된 경우, 필드-화상 타입을 나타내는 것에 의해서, 프레임에 포함된 첫 번째 필드 및 두 번째 필드 모두의 화상 타입을 나타내는 것이 가능하다.

따라서, 화상이 필드로 구성된 경우, 도 9B에 도시된 RAU 맵(MI)의 구문은 화상의 필드-화상 타입을 또한 나타낸다. 더 구체적으로, num_frame_in_RAU는 RAU의 프레임 수를 나타낸다. field_coding_flag는 화상이 필드로 구성되는지 아닌지를 나타낸다. 화상이 필드로 구성되는 경우엔 화상의 필드-화상 타입은 field_type_flag에 의해 나타내어지고, 화상이 필드로 구성되지 않는 경우엔 화상의 화상 타입은 picture_type에 의해 나타내어진다.

즉, RAU 맵(MI)은, 도 9A에서 도시된 RAU 맵(MI)과 동일한 방식으로, 각 RAU의 모든 화상의 화상 타입을 나타내서, RAU의 정지 화상 시퀀스를 특정한다.

더욱이, RAU가 오직 I-화상 및 스킵트-화상만 포함하는 경우, 혹은 오직 I- 화상, P-화상, 및 스킵트-화상만 포함하는 경우엔 RAU의 일부 혹은 모든 부분이 정지 화상 시퀀스가 된다. 이 경우, 처리된 부분이 정지 화상 시퀀스인지 혹은 보통의 동화상 시퀀스(moving-picture sequence)인지에 따라, 화상 부호화 장치가 복호화 및 디스플레이 프로세싱을 변환하여서, RAU가 임의의 정지 화상 시퀀스를 포함하는지 포함하지 않는지에 관한 정보를 RAU 맵(MI)이 더 포함할 수도 있다.

도 9C는 RAU 맵(MI)의 구문의 또 다른 실시예를 도시하는 도면이다.

이 구문에서, motionless_flag는 RAU가 임의의 정지 화상 시퀀스를 포함하는지 포함하지 않는지를 나타내고, start_pic_num 및 end_pic_num은 RAU의 정지 화상 시퀀스를 특정한다. 더 구체적으로, motionless_flag가 1인 경우, RAU 맵(MI)은 RAU가 정지 화상 시퀀스를 포함하고 있음을 나타낸다. 또한, motionless_flag가 1인 경우, RAU 맵(MI)은, 정지 화상 시퀀스가 start_pic_num에 의해 나타내지는 I-화상 혹은 P-화상으로 시작하고, end_pic_num에 의해 나타내지는 스킵트-화상으로 끝남을 나타낸다.

RAU의 모든 부분이 정지 화상 시퀀스이거나 혹은 RAU가 특정 기간보다 더 계속되는 정지 화상 시퀀스를 포함하는 경우에만, motionless_flag가 1로 설정될 수 있음에 주의한다.

도 9D는 RAU 맵(MI)의 구문의 그 밖의 실시예를 도시하는 도면이다.

이 구문에서, number_of_pictures_in_EPS는 EPS에 포함된 화상의 수를 나타낸다. picture_structure는 화상이 필드인지 혹은 프레임인지를 나타내며, 혹은 디스플레이되는 중에 하나의 프레임이 몇 개의 필드와 동등한지를 나타낸다. picture_type은 화상이, 즉, I-화상, P-화상, B-화상, 스킵트-화상 등 어느 화상 타입에 속하는지를 나타낸다. 또한, stuffing_bits는 8bits의 정수 곱셈에 의해, stuffing_bits, picture_structure, 및 picture_type의 모든 비트를 정렬하는 데에 쓰인다. 또한, 이 구문에서, EPS에 포함된 각각의 화상에 관하여, stuffing_bits, picture_structure, 및 picture_type는 복호화 순서로 나타내진다.

이러한 RAU 맵(MI)은, 도 9A에서 도시된 RAU 맵(MI)과 동일한 방식으로, 각 RAU(EPS)의 화상의 화상 타입을 나타내서, RAU의 화상의 정지 화상 시퀀스를 특정한다.

RAU 맵(MI)은 각각의 화상에 관한 정보를 화상의 디스플레이 순서로 저장할 수도 있음에 주의한다. RAU 맵(MI)은 각각의 화상에 관한 정보가 복호화 순서로 저장될지 혹은 디스플레이 순서로 저장될지를 나타내는 정보를 더 저장할 수도 있음에 또한 주의한다.

RAU 맵(MI)은, 엔트리 포인트 계층과 다른 계층의 유저 데이터, 예를 들면, 선두 화상용 유저 데이터에 저장될 수도 있음에 또한 주의한다. RAU가 임의의 스킵트-화상을 포함하지 않는 경우, RAU 맵(MI)은 생성될 필요가 없음에 또한 주의한다. 이러한 경우, RAU 맵(MI)의 존재를 조사하여서, RAU가 스킵트-화상을 포함하는지 포함하지 않는지를 나타내는 것이 가능하다.

도 10은 첫 번째 실시 형태의 화상 복호화 장치(100)를 도시하는 블록도이다.

도 8에서 도시된 RAU를 포함하는 스트림(STR)을 복호화하는 첫 번째 실시 형 태의 화상 복호화 장치(100)는: 가변 길이 복호화 유닛(101), 화상 메모리(102), 움직임 보상 유닛(103), 역 양자화 유닛(104), 역 직교 변환 유닛(105), 버퍼 메모리(106), 디스플레이 유닛(107), 가산기(108), 스트림 추출 유닛(109), 및 정보 획득 유닛(110)을 포함한다.

이 화상 복호화 장치(100)는 종래의 화상 복호화 장치(900)와는 달리, 스트림 추출 유닛(109) 및 정보 획득 유닛(110)이 추가된다.

정보 획득 유닛(110)은 가변 길이 복호화 유닛(101)으로부터 RAU 맵(MI)을 얻고, 외부로부터, 고속 재생과 같은 특별 재생의 상세를 지시하는 재생 모드 신호(TM)를 또한 얻는다. 그 후, 정보 획득 유닛(110)은 재생 모드 신호(TM)에 의거하여 RAU 맵(MI)을 분석하고, 복호화될 화상을 결정(선택)한다. 정보 획득 유닛(110)은 결정 결과를 나타내는 복호화 화상 지시 신호(SP)를 스트림 추출 유닛(109)으로 출력한다.

예를 들면, RAU 맵(MI)이 도 9C에서 도시된 구문을 포함하는 경우, 정보 획득 유닛(110)은, motionless_flag에 의거하여, 재생될 RAU가 임의의 정지 화상 시퀀스를 포함하는지 포함하지 않는지를 결정한다. 그 후, RAU가 정지 화상 시퀀스를 포함하는 것으로 결정되면, 정보 획득 유닛(110)은, start_pic_num 및 end_pic_num에 의거하여, 정지 영역을 특정한다. 정지 화상 시퀀스를 특정한 후에, 정보 획득 유닛(110)은, 재생 모드 신호(TM)에 의해 나타내진 재생될 화상으로부터, 복호화될 화상으로서, 정지 화상 시퀀스에 포함되지 않는 화상만을 결정하고, 정보 획득 유닛(110)은 결정 결과를 복호화 화상 지시 신호(SP)로 출력한다. 그러나, 재생 모드 신호(TM)에 의해 나타내진 재생될 화상들이, 정지 화상 시퀀스의 화상을 포함하면, 정지 화상 시퀀스의 선두 화상이 복호화될 화상이 되는 것으로 결정된다.

또한, RAU 맵(MI)이 도 9D에서 도시된 구문을 포함하면, 정보 획득 유닛(110)은, RAU의 각 화상이 나타내는 picture_type에 의거하여, 정지 화상 시퀀스를 특정한다. 그 후, 정보 획득 유닛(110)은, 재생 모드 신호(TM)에 의해 나타내진 재생될 화상들로부터, 복호화될 화상으로서, 정지 화상 시퀀스에 포함되지 않는 화상들만을 결정하고, 정보 획득 유닛(110)은 결정 결과를 복호화 화상 지시 신호(SP)로 출력한다. 그러나, 상기한 바와 같이, 재생 모드 신호(TM)에 의해 나타내진 재생될 화상들이, 정지 화상 시퀀스의 화상을 포함하면, 정지 화상 시퀀스의 선두 화상은 복호화될 화상이 되는 것으로 결정된다.

스트림(STR)을 얻은 후에, 스트림 추출 유닛(109)은 우선, 각 RAU에 대해, RAU의 선두에 위치하는 부호화된 RAU 맵(MI)을 검출하고, RAU 맵(MI)을 가변 길이 복호화 유닛(101)으로 출력한다. RAU 맵(MI)에 의거하여 정보 획득 유닛(110)으로부터 출력된 복호화 화상 지시 신호(SP)를 얻은 후에, 스트림 추출 유닛(109)은, 스트림(STR)으로부터, 복호화 화상 지시 신호(SP)에 의해 나타내진 복호화될 화상들의 데이터를 추출하고, 그 데이터를 가변 길이 복호화 유닛(101)으로 출력한다.

가변 길이 복호화 유닛(101)은 스트림 추출 유닛(109)으로부터 부호화된 RAU 맵(MI)을 얻으면, 가변 길이 복호화 유닛(101)은 부호화된 RAU 맵(MI)에 가변 길이 복호화를 행하고, 복호화된 RAU 맵(MI)을 정보 획득 유닛(110)으로 출력한다. 또한, 가변 길이 복호화 유닛(101)은, 스트림 추출 유닛(109)으로부터 스트림(STR)에 포함된 화상들의 데이터를 얻으면, 가변 길이 복호화 유닛(101)은 그 데이터에 가변 길이 복호화를 행하고, 양자화 값(Qc), 참조 화상 특정 정보(Ind), 화상 타입(Pt), 및 움직임 벡터(MV)를 출력한다.

움직임 보상 유닛(103)은 움직임 벡터(MV)에 의해 나타내진 이미지를, 화상 메모리(102)에 저장되고 참조 화상 특정 정보(Ind)에 의해 나타내지는, 복호화된 화상(참조 화상)으로부터 검색하고, 그 이미지를 예측된 화상으로서 가산기(108)로 출력한다.

역 양자화 유닛(104)은 주파수 계수로 복원될 양자화 값(Qc)을 역으로 양자화하고, 주파수 계수를 역 직교 변환 유닛(105)으로 출력한다. 역 직교 변환 유닛(105)은 화소 차분으로 변환될 주파수 계수에 역 주파수 변환을 행하고, 화소 차분을 가산기(108)로 출력한다. 가산기(108)는 움직임 보상 유닛(103)으로부터 출력된 예측 화상과 화소 차분을 더하고, 복호화된 화상(Vout)을 생성한다. 그 후, 가산기(108)는 복호화된 화상(Vout)을 화상 메모리(102) 및 버퍼 메모리(106)에 저장한다. 디스플레이 유닛(107)은, 버퍼 메모리(106)로부터, 복호화된 화상(Vout)을 얻고, 복호화된 화상(Vout)에 대응하는 화상을 디스플레이한다. 화상 메모리(102) 및 버퍼 메모리(106)는 단일 메모리를 공유할 수도 있음에 주의한다.

스트림 추출 유닛(109)은 RAU에 포함된 모든 화상들의 데이터를 가변 길이 복호화 유닛(101)으로 출력할 수도 있음에 주의한다. 이 경우, 가변 길이 복호화 유닛(101)은, RAU에 포함된 모든 화상들로부터, 정보 획득 유닛(110)으로부터 출력된 복호화 화상 지시 신호(SP)에 의거하여, 복호화될 필요가 있는 화상들을 선택한 다. 그 후, 가변 길이 복호화 유닛(101)은 선택된 화상들의 데이터에 가변 길이 복호화를 행한다. 정보 획득 유닛(110)은, 고속 재생 및 역 재생과 같은, 특별 재생용으로만 복호화되는 화상을 특정할 수도 있음에 주의한다. 보통 재생의 경우, RAU 맵 분석 없이 모든 화상들을 복호화하도록 결정될 수도 있다.

도 11은 첫 번째 실시 형태에 따른 화상 복호화 장치(100)에 의해 행하여지는 동작들을 도시하는 흐름도이다.

화상 복호화 장치(100)는, 특별 재생을 시작하라는 지시를 받으면, 우선 RAU 맵(MI)이 엔트리 포인트 계층의 유저 데이터에 저장되는지 저장되지 않는지를 결정한다(단계(S100)). 바꾸어 말하면, 화상 복호화 장치(100)는 RAU 맵(MI)이 검출되는지 검출되지 않는지를 결정한다. 화상 복호화 장치(100)가 RAU 맵(MI)을 검출하면(단계(S100)에서 YES), 프로세싱은 단계(S102)로 진행하고, RAU 맵(MI)이 검출되지 않으면(단계(S100)에서 NO), 프로세싱은 곧바로 단계(S106)로 건너뛴다.

더 구체적으로, 화상 복호화 장치(100)는, RAU 맵(MI)을 검출하면(단계(S100)에서 YES), RAU 맵(MI)을 분석하고(단계(S102)), 분석 결과에 의거하여, 특별 재생을 할 동안에 재생될 RAU의 화상으로부터, 복호화될 화상을 결정(선택)한다(단계(S104)).

RAU의 특별 재생이 시작되면, 화상 복호화 장치(100)는 항상 단계(S100)에서 RAU 맵(MI)을 검출하고, 복호화될 RAU의 화상들을 특정함에 주의한다. 바꾸어 말하면, RAU의 특별 재생이 시작되면, 첫 번째 실시 형태에서의 화상 복호화 장치(100)는, 특별 재생을 할 동안에 재생되고 RAU에 포함되는 화상들로부터, RAU 맵(MI)에 의거하여, 스킵트-화상을 제외한 화상들을 복호화될 화상으로서 선택한다.

단계(S100)에서 RAU 맵(MI)이 검출되지 않은 경우, 혹은 복호화될 화상이 단계(S104)에서 특정된 후, 화상 복호화 장치(100)는 특별 재생을 할 동안에 재생되고 RAU에 포함되는 화상들 중에서, 화상의 헤더(시작 부호(start code))를 검출한다(단계(S106)).

다음으로, 화상 복호화 장치(100)는, 화상의 헤더가 단계(S106)에서 검출되었는지 검출되지 않았는지 및 단계(S104)에서 복호화되도록 특정된 화상들 중에서 특별 재생을 할 동안에 재생될 화상이 어느 것인지를 조사한다(단계(S108)). 여기서, 화상이 복호화되도록 특정된 화상 중에 존재한다고 결정되면(단계(S108)에서 YES), 화상 복호화 장치(100)는 그 화상을 복호화한다(단계(S110)).

화상이 단계(S104)에서 복호화되도록 특정된 화상 중에 존재하지 않는다고 결정된 경우, 혹은 단계(S110)에서 화상이 복호화된 후, 화상 복호화 장치(100)는 처리될 임의의 화상이 아직 존재하는지 존재하지 않는지를 조사한다(단계(S112)).

처리될 화상이 발견되지 않으면(단계(S112)에서 NO), 화상 복호화 장치(100)는 모든 동작을 완료하고, 처리될 화상이 아직 존재하면(단계(S112)에서 YES), 화상 복호화 장치(100)는 단계(S100)에서부터의 동작들을 반복한다. 예를 들면, 이전의 프로세싱에서의 단계(S100)에서 RAU 맵(MI)이 검출되고, 다음의 프로세싱이 동일한 RAU에 대해 단계(S100)로 진행한 경우, 화상 복호화 장치(100)는 단계(S100)에서 RAU 맵(MI)을 검출할 필요가 없고(단계(S100)에서 NO), 단계(S106)의 동작을 행한다. 즉, 특별 재생을 할 동안에 화상 복호화 장치(100)는 재생될 다음 화상의 헤더를 검출한다.

상기한 바와 같이, 첫 번째 실시 형태의 이미지 복호화 방법은 종래의 이미지 복호화 방법과 달리, 단계(S100)에서 단계(S104)까지의 동작들이 포함된다.

도 12는 첫 번째 실시 형태에 따른 화상 복호화 장치(100)에 의해 행하여지는, RAU 맵(MI)을 분석하는 동작을 도시하는 흐름도이다.

예를 들면, RAU 맵(MI)이 도 9D에서 도시된 구문을 포함하는 경우, 화상 복호화 장치(100)는 우선 RAU 맵(MI)을 분석하고, 특별 재생을 할 동안에 재생될, 그리고 RAU에 포함되는 화상들로부터, I-화상, P-화상, 및 스킵트-화상을 특정한다(단계(S120)).

다음으로, 특별 재생을 할 동안에 재생될 화상이 스킵트-화상인 경우, 스킵트-화상에 대응하는 화상으로서, 복호화 순서로 스킵트-화상의 바로 앞인 I-화상 혹은 P-화상의 복호화 결과를 사용하기로 화상 복호화 장치(100)가 결정한다(단계(S122)).

특별 재생이 아닌 보통 재생일지라도, RAU의 재생이 시작될 경우, RAU 맵(MI), 스킵트-화상 등을 참조하여 특정하는 것이 가능함에 주의한다.

RAU에 포함된 스킵트-화상이 디스플레이되면, 화상 복호화 장치(100)는, 스킵트-화상의 바로 앞에 위치하며 단계(S122)에서 특정된 I-화상 혹은 P-화상의 복호화 결과를 디스플레이한다.

여기서, 도 13A, 13B, 및 13C를 참조하여, 첫 번째 실시 형태에 따른 화상 복호화 장치에 의해 행하여지는 고속 재생의 동작들을 설명한다.

도 13A는 고속으로 재생되는 RAU를 도시하는 도면이다.

화상의 선두로부터 카운트된 첫 번째 화상이 I-화상이고, 두 번째 및 세 번째 화상은 B-화상이고, 네 번째 화상은 P-화상이다. 다섯 번째부터의 화상은 모두 스킵트-화상이다. 모든 화상이 프레임인 것에 주의한다.

도 13B는 도 13A에 대응하는 RAU 맵(MI)을 도시하는 도면이다. RAU 맵(MI)은 도 9A에서 도시된 구문을 포함한다. 여기서, 모든 화상은 프레임이기 때문에, 모든 화상에 대해 frame_field_flag는 1로 설정된다. 또한, pic_type은 각 화상에 대해, I-화상, P-화상, B-화상 혹은 스킵트-화상으로 설정된다. 도 13B에서, pic_type은 "I", "P", "B", 혹은 "스킵트"로 설정되지만, 실제로는, pic_type은 화상 타입을 나타내는 숫자 값으로 설정될 수도 있음에 주의한다.

도 13C는, 첫 번째 실시 형태에 따른 화상 복호화 장치(100)에 의해 행하여지는, 도 13A의 RAU를 포함하는 스트림(STR)의 고속 재생 동작을 도시하는 흐름도이다.

우선, 화상 복호화 장치(100)는 스트림(STR)에 포함된 도 13A의 RAU를 3배속 재생하는 것을 결정한다(단계(S130)). 3배속 재생은 보통의 고속 재생이며, 복호화 순서로 RAU의 스트림 구조가 I-화상, B-화상, B-화상, P-화상, B-화상, B-화상, P-화상, B-화상, B-화상, ...인 경우, 3배속 재생은 오직 I-화상 및 P-화상만을 재생하는 동일한 프로세싱임에 주의한다.

다음으로, 화상 복호화 장치(100)는, 도 13B에서 도시된 RAU 맵(MI) 분석 결과에 의거하여, 다섯 번째 화상부터 스물네 번째 화상까지 모두 스킵트-화상이고, 네 번째 화상부터 스물네 번째 화상까지의 범위는 정지 화상 시퀀스임을 결정한다. 그 후, 다섯 번째부터의 화상에 대해 디스플레이될 화상으로서 네 번째 화상의 복호화 결과가 사용되기 때문에, 화상 복호화 장치(100)는 오직 첫 번째 및 네 번째 화상만 복호화하기로 결정한다(단계(S132)). 이어서, 화상 복호화 장치(100)는 첫 번째 및 네 번째 화상을 복호화하고 디스플레이한다(단계(S134)). 더욱이, 화상 복호화 장치(100)는, 일곱 번째, 열 번째, 열세 번째, 열여섯 번째, 열아홉 번째, 및 스물두 번째 화상의 복호화 결과 대신에 네 번째 화상의 복호화 결과를 반복하여 디스플레이한다.

첫 번째 실시 형태에서는, VC-1 스트림의 각 RAU가 RAU 맵을 포함하고 화상 복호화 장치(100)가 스트림을 복호화한다고 기술하였지만, MPEG-4AVC 및 MPEG-2 표준 외에도, 스트림이 RAU 맵을 포함하는 한, 스트림을 부호화하는 어떠한 부호화 방법도 채용될 수 있음에 주의한다. 여기서, 스킵트-화상과 동일한 화상 타입이 정의되지 않는 부호화 방법이 채용된 경우일지라도, 화상의 타입이 스킵트-화상과 실제로 동일한 경우에 한하여, 그 화상을 RAU 맵의 스킵트-화상으로 간주하여서 다른 화상들과 그 화상을 구별할 수가 있다.

(첫 번째 변형예)

다음은, 첫 번째 실시 형태에 따른 화상 복호화 장치(100)에 의해 행하여지는 재생 방법의 첫 번째 변형예를 설명한다.

예를 들면, 복호화 시간 스탬프(DTS)에서부터 프레젠테이션 시간 스탬프(PTS)까지의 범위인 복호화 시간 내에 정지 화상 시퀀스에서의 선두 화상 복호화 가 완료되지 않은 경우가 있을 수 있다. 그래서, 첫 번째 실시 형태의 변형예에서, 선두 화상의 복호화가 PTS까지 완료되지 않게 되면, 선두 화상은 복호화가 완료된 후에 디스플레이된다.

도 14는 첫 번째 실시 형태의 첫 번째 변형예에 따른 화상 복호화 장치에 의하여 행하여지는 재생 방법을 도시하는 설명도이다.

DTS2는, 정지 화상 시퀀스에서 선두 화상(pic2)의 부호를 가지는 패킷(PES 패킷이라 불림)의 헤더에 포함된 복호화 시간 스탬프를 나타내는데, 바꾸어 말하면, DTS2는 선두 화상(pic2)을 복호화하는 시간을 나타낸다. PTS2는, 선두 화상(pic2)의 부호를 가지는 패킷의 헤더에 포함된 프레젠테이션 시간 스탬프를 나타내는데, 바꾸어 말하면, PTS2는 선두 화상(pic2)의 프레젠테이션(출력 혹은 디스플레이) 시간을 나타낸다. DTS1, PTS1 및 PTS3도 상기한 바와 동일한 방식으로 각각의 시간을 나타낸다.

예를 들면, 화상 복호화 장치(100)는, 도 14에서 도시된 바와 같이, DTS2에서 선두 화상(pic2)의 복호화를 시작한다. 그러나, 복호화 완료 시간이 PTS2 이후가 되는 경우가 있다. 그래서, 정지 화상 시퀀스의 선두 화상에 대한 복호화 완료 시간이 PTS2 이후인 경우, 첫 번째 실시 형태의 첫 번째 변형예에 따른 화상 복호화 장치(100)는, 복호화 완료 시간 바로 다음의 프레임-그리드 시간에서 프레젠테이션을 시작한다.

그래서, 부호화된 선두 화상에 포함된 복호화 시간 스탬프에서 복호화가 시작되었지만, 복호화가 프레젠테이션 시간 스탬프까지 완료되지 않은 경우, 첫 번째 실시 형태의 변형예에 따른 화상 복호화 장치(100)는, 프레젠테이션 시간 스탬프에 마진(margin)을 더하고, 마진이 더해진 프레젠테이션 시간 스탬프에 복호화된 선두 화상을 디스플레이한다.

도 15는 첫 번째 실시 형태의 첫 번째 변형예에 따른 화상 복호화 장치(100)에 의해 행하여지는 재생 방법을 도시하는 흐름도이다.

첫 번째 실시 형태의 첫 번째 변형예에 따른 화상 복호화 장치(100)는, 정지 화상 시퀀스에서의 선두 화상의 DTS에서 선두 화상 복호화를 시작한다(단계(S140)). 그 후, 화상 복호화 장치(100)는 선두 화상의 PTS까지 복호화가 완료되었는지 완료되지 않았는지를 결정한다(단계(S142)). 여기서, 복호화가 완료되었다는 결정이 나면(단계(S142)에서 YES), 화상 복호화 장치(100)는 복호화된 선두 화상을 PTS에서 디스플레이한다(단계(S144)). 반면에, 복호화가 완료되지 못했다는 결정이 나면(단계(S142)에서 NO), 화상 복호화 장치(100)는 복호화된 선두 화상을 PTS 이후의 시간에, 즉, 복호화를 완료한 바로 다음의 프레임-그리드 시간에 디스플레이를 한다(단계(S146)).

그리하여, 첫 번째 실시 형태의 변형예의 화상 복호화 장치(100)에 의해 행하여지는 재생 방법에 따르면, 정지 화상 시퀀스의 선두 화상 복호화가 지연되고, PTS까지 완료되지 못한 경우, 선두 화상의 디스플레이 시간도 또한 지연될 수 있어서, 선두 화상이 디스플레이되지 않는 경우와 비교하여, 정지 화상 시퀀스의 화상 품질을 향상시키는 것이 가능해진다.

(두 번째 변형예)

여기는, 첫 번째 실시 형태에 따른 화상 복호화 장치(100)에 의해 행하여지는 재생 방법의 두 번째 변형예이다.

두 번째 변형예에 따른 화상 복호화 장치(100)는 블루레이 디스크(BD)와 같은 애플리케이션에 사용되는 정지 화상 복호화의 부하를 줄일 수 있다.

스트림에 대해, 화상이 정지 상태인 시퀀스를 생성하는 방법이 두 종류가 있다. 한 방법은, 각각 동일한 복호화 결과를 제공하는 하나 이상의 화상들을 연속적으로 위치시키는 것이다. 다른 방법은, 모든 복호화 프로세싱에서 동일한 화상의 이미지 품질을 향상시키기 위해 선두 화상 이후의 화상을 이어서 위치시키는 것이다. 두 가지 방법들에 의해 생성된 시퀀스를 구별하기 위해, 전자는 완전 정지 화상 시퀀스(complete still picture sequence)라 하고, 후자는 점차적으로-리프레쉬된 정지 화상 시퀀스(gradually-refreshed still picture sequence)라 한다.

여기, 완전 정지 화상 시퀀스에서는, 시퀀스의 선두 화상을 복호화하여, 시퀀스에서 희망하는 어느 위치로부터라도 재생을 시작하는 것이 가능하다. 반면에, 점차적으로-리프레쉬된 정지 화상 시퀀스에서는, 오직 선두 화상만을 복호화하여, 시퀀스에서 임의의 희망하는 위치로부터 재생을 시작하는 것이 불가능한데, 그 이유는 시퀀스의 선두 화상 이후의 그 밖의 화상을 복호화한 결과와 다른 결과를 제공하도록 선두 화상이 복호화되기 때문이다. 따라서, 점차적으로-리프레쉬된 정지 화상 시퀀스의 중간의 화상으로부터 재생을 시작하면, 시퀀스의 선두 화상 및 선두 화상 이후의 화상을 순차적으로 복호화하여, 재생 시작 위치의 화상이 복호화된다. 상기한 바와 같이, 완전 정지 화상 시퀀스 및 점차적으로-리프레쉬된 정지 화상 시 퀀스는 특별 재생에 서로 다른 프로세싱이 필요한데, 예를 들면, 점핑 재생이 행하여지거나, 고속 재생이 보통 재생으로 변화하거나 하는 경우엔, 이러한 시퀀스들을 구별하는 것이 필요하다.

그래서 두 번째 변형예에 따른 RAU 맵은 RAU의 정지 화상들에 관한 시퀀스를 나타내고, 또한 시퀀스가 완전 정지 화상 시퀀스인지 점차적으로-리프레쉬된 정지 화상 시퀀스인지를 나타낸다. 그 후, 두 번째 변형예에 따른 화상 복호화 장치(100)는, 복호화 프로세싱을 행하기 위해, RAU 맵을 참조하여서 복호화될 화상을 쉽게 특정한다. 그 결과, 복호화 프로세싱의 부하를 줄이는 것이 가능해진다.

도 16A는 완전 정지 화상 시퀀스를 포함하는 RAU를 도시하는 도면이다.

예를 들면, 도 9D에서 도시된 바와 같이 RAU에 포함된 각 화상의 화상 타입을 나타내서, RAU 맵은 RAU가 완전 정지 화상 시퀀스의 구조를 가진다는 것을 나타낸다.

따라서, 이와 같은 RAU 맵을 참조하여서, 화상 복호화 장치(100)가 RAU의 완전 정지 화상 시퀀스에서 오직 선두 I-화상만을 복호화될 화상으로서 쉽게 특정할 수 있다.

도 16B는 점차적으로-리프레쉬된 정지 화상 시퀀스를 포함하는 RAU를 도시하는 도면이다.

예를 들면, RAU 맵은, 도 9D에서 도시된 바와 같이 RAU에 포함된 각 화상의 화상 타입을 나타내서, RAU가 점차적으로-리프레쉬된 정지 화상 시퀀스의 구조를 가진다는 것을 나타낸다. 도 16B에서 도시된 점차적으로-리프레쉬된 정지 화상 시 퀀스는, RAU의 선두에 I-화상 및 I-화상 이후의(다음의 화상들) 복수의 P-화상의 구조를 가진다. 이와 같은 점차적으로-리프레쉬된 정지 화상 시퀀스에서는, 항상 P-화상 이후 각각 순차적으로 복호화되고, 선두 I-화상의 복호화 결과인 화상의 이미지 품질이 향상된다. 이는 즉, 이와 같은 점차적으로-리프레쉬된 정지 화상 시퀀스가 RAU의 마지막 화상까지 정지 화상들의 이미지 품질을 향상시키는 데에 적합함을 의미한다.

따라서, RAU의 점차적으로-리프레쉬된 정지 화상 시퀀스에서 일부의 P-화상으로부터 재생이 시작되는 것을 목표하게 되면, 화상 복호화 장치(100)는 이와 같은 RAU 맵을 참조하여, 재생 시작 위치에서 I-화상과 P-화상의 사이의 각 P-화상 및 점차적으로-리프레쉬된 정지 화상 시퀀스의 선두 I-화상을, 복호화될 화상으로서 쉽게 특정할 수가 있다.

도 16C는 또 다른 점차적으로-리프레쉬된 정지 화상 시퀀스를 포함하는 RAU를 도시하는 도면이다.

예를 들면, RAU 맵은, 도 9D에서 도시된 바와 같이 RAU에 포함된 각 화상의 화상 타입을 나타내서, RAU가 점차적으로-리프레쉬된 정지 화상 시퀀스의 구조를 가진다는 것을 나타낸다. 도 16C에 도시된 점차적으로-리프레쉬된 정지 화상 시퀀스는, RAU의 선두에 I-화상, I-화상 이후의(다음의 화상들) 두 개의 P-화상, 및 복수의 스킵트-화상의 구조를 가진다. 이와 같은 점차적으로-리프레쉬된 정지 화상 시퀀스에서는, 항상 두 개의 P-화상이 순차적으로 복호화되고, 선두 I-화상의 복호화 결과인 화상의 이미지 품질이 개선되고, 그 후 이미지 품질은 스킵트-화상에 의 해 유지된다.

따라서, RAU의 점차적으로-리프레쉬된 정지 화상 시퀀스에서 일부의 P-화상으로부터 재생이 시작되는 것을 목표하게 되면, 화상 복호화 장치(100)는 이와 같은 RAU 맵을 참조하여, 점차적으로-리프레쉬된 정지 화상 시퀀스의 선두 I-화상 및 재생이 시작될 P-화상과 I-화상의 사이의 각 P-화상을 복호화될 화상으로서 쉽게 특정할 수가 있다. 또한, RAU의 점차적으로-리프레쉬된 정지 화상 시퀀스에서 일부의 스킵트-화상으로부터 재생이 시작되는 것을 목표하게 되면, 화상 복호화 장치(100)는 이와 같은 RAU 맵을 참조하여, 점차적으로-리프레쉬된 정지 화상 시퀀스에서 두 개의 P-화상 및 선두 I-화상을, 복호화될 화상으로서 쉽게 특정할 수가 있다.

두 번째 변형예에서, 상기 RAU 맵이 스트림에, 예를 들면, RAU의 선두에, 위치한다는 것을 설명하였지만, RAU 맵은 관리 정보 등의 시간 맵에 저장될 수도 있음에 주의한다.

두 번째 변형예에서, 점차적으로-리프레쉬된 정지 화상 시퀀스의 중간에서의 일부의 화상으로부터 재생을 시작하는 것이 목표되면, 선두 I-화상 및 재생이 시작되는 위치에서의 P-화상과 I-화상 사이의 각 P-화상이 복호화될 화상으로서 특정된다고 설명하였지만, 복호화될 화상으로서 모든 화상을 특정할 필요는 없음에 또한 주의한다. 특히, 복호화될 화상으로서, 오직 선두 I-화상만을, 혹은 오직 선두 I-화상 및 소정 수의 P-화상만을 특정하는 것이 가능하다. 이 경우, 재생 시작 위치의 화상의 오리지널 이미지 품질이 달성될 수 없어도, 재생의 프로세싱 부하를 줄 이는 것이 가능하다.

(두 번째 실시 형태)

도 17은 본 발명의 두 번째 실시 형태에 따른 화상 부호화 장치를 도시하는 블록도이다.

두 번째 실시 형태에 따른 화상 부호화 장치(200)는: 움직임 추정 유닛(201), 움직임 보상 유닛(202), 차감기(203), 직교 변환 유닛(204), 양자화 유닛(205), 역 양자화 유닛(206), 역 직교 변환 유닛(207), 가산기(208), 화상 메모리(209), 스위치(210), 가변 길이 부호화 유닛(211), 예측 구조 결정 유닛(212), 및 정보 생성 유닛(213)을 포함한다.

움직임 추정 유닛(201)은 매크로블록 유닛의 이미지 신호(Vin)를 얻는다. 그 후, 움직임 추정 유닛(201)은 화상 메모리(209)에 저장되는 복호화된 화상(참조 화상)을 검색하고, 화상 신호(Vin)에 의해 나타내진 매크로블록에 가장 유사한 이미지를 가지는 이미지를 검출한다. 움직임 추정 유닛(201)은, 이미지의 위치를 나타내는 움직임 벡터(MV)를 결정하고, 벡터(MV)를 출력한다. 움직임 추정 유닛(201)은, 움직임 벡터(MV)를 검출하는 데 사용된 복호화된 화상을 나타내는 참조 화상 특정 정보(Ind)를 출력한다.

움직임 보상 유닛(202)은, 참조 화상 특정 정보(Ind)에 의해 나타내지고 화상 메모리(209)에 저장된 복호화된 화상들로부터, 움직임 벡터(MV)에 의해 나타내진 이미지를 검색하고, 이 이미지를 예측된 화상으로서 출력한다.

화상 예측 구조 결정 유닛(212)은, RAU 선두 화상(Uin)에 의거하여, 부호화 될 화상이 RAU 선두 위치에 있는지를 결정한 후, 화상 타입(Pt)을 사용하여, 움직임 추정 유닛(801) 및 움직임 보상 유닛(802)이 랜덤하게-액세스 가능한 화상으로서 화상을 부호화(화상내 부호화)하도록 지시하고, 또한 가변 길이 부호화 유닛(811)이 화상 타입(Pt)을 부호화하도록 지시한다. 더 구체적으로, 예측 구조 결정 유닛(212)은, 화상 신호(Vin)에 포함되는 부호화될 각 화상에 대해, 화상 타입, 예를 들면, I-화상, P-화상, B-화상, 스킵트-화상 등을 특정한다.

차감기(203)는 화상 신호(Vin) 및 예측된 화상을 얻은 후, 화상 신호(Vin)와 예측 화상 사이의 차분을 계산하고, 차분을 직교 변환 유닛(204)으로 출력한다. 직교 변환 유닛(204)은 차분을 주파수 계수로 변환하고, 주파수 계수를 양자화 유닛(205)으로 출력한다. 양자화 유닛(205)은, 직교 변환 유닛(204)으로부터 입력된 주파수 계수를 양자화하고, 결과인 양자화 값(Qc)을 가변 길이 부호화 유닛(211)으로 출력한다.

역 양자화 유닛(206)은, 오리지널 주파수 계수를 복원하기 위해 양자화 값(Qc)을 역으로 양자화하고, 결과인 주파수 계수를 역 직교 변환 유닛(207)으로 출력한다. 역 직교 변환 유닛(207)은, 화소 차분으로 변환될 주파수 계수에 역-주파수 변환을 행하고, 그 화소 차분을 가산기(208)로 출력한다. 가산기(808)는, 움직임 보상 유닛(202)으로부터 출력된 예측된 화상과 화소 차분을 더하고, 복호화된 화상을 생성한다. 스위치(210)는, 복호화된 화상이 저장되도록 지시받으면, 온이 되고, 복호화된 화상은 화상 메모리(209)에 저장된다.

정보 생성 유닛(213)은, 예측 구조 결정 유닛(212)에 의해 결정된 화상 타 입(Pt)에 따라, 도 9A 내지 9D 중의 하나에서 도시된 바와 같이, RAU 맵(MI)을 생성하고, 생성된 RAU 맵(MI)을 가변 길이 부호화 유닛(211)으로 출력한다.

가변 길이 부호화 유닛(211)은, 스트림(STR)을 생성하도록, 양자화 값(Qc), 화상 타입(Pt), RAU 맵(MI), 움직임 벡터(MV) 등에 대한 가변 길이 부호화를 행한다.

상기한 바와 같이, 두 번째 실시 형태에 따른 화상 부호화 장치(200)는 종래의 화상 부호화 장치(800)와 달리, 정보 생성 유닛(213)이 포함된다.

도 18은 두 번째 실시 형태에 따른 화상 부호화 장치(200)에 의해 행하여지는 동작들을 도시하는 흐름도이다.

우선, 화상 부호화 장치(200)는, 예측 구조 결정 유닛(212)을 사용하여, 부호화될 화상이 RAU의 선두 화상인지 아닌지를 결정한다(단계(S200)). 여기서, 이 화상이 RAU의 선두 화상이라고 결정되면(단계(S200)에서 YES), 화상 부호화 장치(200)는, 가변 길이 부호화 유닛(211)을 사용하여, RAU 맵(MI)을 생성하기 위한 초기화 프로세싱을 행하고, 엔트리 포인트 계층의 유저 데이터에 RAU 맵(MI)을 저장할 영역을 얻는다(단계(S202)).

또한, 화상 부호화 장치(200)는, 예측 구조 결정 유닛(212)을 사용하여, 부호화될 화상이 스킵트-화상인지 아닌지를 결정한다(단계(S204)). 여기서, 이 화상이 스킵트-화상이 아니라고 결정되면(단계(S204)에서 NO), 화상 부호화 장치(200)는, 부호화될 화상의 화소 데이터를 부호화한다(단계(S206)).

그 후, 화상 부호화 장치(200)는, 정보 생성 유닛(213)에 의해, 단계(S204) 의 결정 결과에 의거하여, RAU 맵(MI)을 생성 및 업데이트한다(단계(S208)).

예를 들면, 화상 부호화 장치(200)는, 단계(S206)에서 부호화된 화상의 화상 타입, 화상이 필드인지 프레임인지를 나타내는 정보 등을 포함하기 위해, 도 9D에서 도시된 바와 같이 RAU 맵(MI)을 생성한다. 화상 부호화 장치(200)는, 정지 화상 시퀀스의 나타내는 것을 포함하기 위해, 도 9C에서 도시된 바와 같이 RAU 맵(MI)을 생성할 수도 있다.

다음으로, 화상 부호화 장치(200)는 단계(S204)에서 결정된 화상이 RAU의 마지막 화상인지 아닌지를 결정한다(단계(S210)). 바꾸어 말하면, 화상 부호화 장치(200)는, RAU에 포함된 모든 화상에 대해 프로세싱이 행하여졌는지 행하여지지 않았는지를 결정한다. 여기서, 이 화상이 마지막 화상이라고 결정되면(단계(S210)에서 YES), 화상 부호화 장치(200)는, 가변 길이 부호화 유닛(211)을 사용하여, RAU 맵(MI)을 특정 및 부호화하고, 단계(S202)에서 얻은 영역에 RAU 맵(MI)을 기록한다(단계(S212)).

그 후 화상 부호화 장치(200)는, 스트림(STR)에 포함된 화상 중에, 처리될 정지 화상이 존재하는지 존재하지 않는지를 결정한다(단계(S214)). 여기서, 처리될 정지 화상이 아직 존재한다고 결정되면(단계(S214)에서 YES), 화상 부호화 장치(200)는 단계(S200)에서부터의 동작들을 반복하고, 처리될 화상이 발견되지 않았다고 결정되면(단계(S214)에서 NO), 화상 부호화 장치(200)는 모든 부호화 동작을 완료한다.

RAU 맵(MI)에 관한 정보가 알려지지 않은 경우, 혹은 RAU에 포함된 화상들의 데이터를 버퍼링하기 위해 버퍼 메모리가 더하여진 경우, 단계(S202)를 건너뛰는 것이 가능함에 주의한다. 이 경우, 단계(S212)에서 RAU 맵(MI)에 대한 저장 영역을 얻고, RAU 맵(MI)은 엔트리 포인트 계층의 유저 데이터에 저장된다.

화상 부호화 장치(200)는 고정된 비트 레이트로 스킵트-화상을 포함하는 스트림(STR)을 생성할 수도 있음에 주의한다. 하나의 스킵트-화상을 부호화하기 위한 양은 대략 1byte이며, 고정된 비트 레이트로 화상 신호(Vin)를 부호화할 때, 패딩 데이터(padding data)를 삽입하여 스트림(STR)의 사이즈를 조정할 필요가 있다. 여기서, 패딩 데이터는 스킵트-화상에만 삽입될 수도 있다. 이에 따라, 화상의 데이터 조각에 삽입된 패딩 데이터를 프로세싱하기 위한 시간 소비 없이, 화상을 복호화하는 것이 가능해진다.

시퀀스 계층 및 엔트리 포인트 계층의 정보는, 특별 재생을 할 동안에 우선 판독될 필요가 있어서, 가능한 한 데이터의 사이즈를 많이 줄이는 것이 바람직함에 주의한다. 따라서, 시퀀스 계층과 엔트리 포인트 계층 사이에 패딩 데이터를 삽입하지 않기로 결정될 수도 있다.

두 번째 실시 형태에 따른 부호화 방법에 의해 생성된 스트림(STR)을, 오디오 데이터와 함께 멀티플렉싱하여 기록하는 것이 또한 가능하다. 멀티플렉싱 방법의 실시예는, MPEG-2 시스템의 전송 스트림 패킷이나 블루레이 디스크(BD)에서 정의된 패킷을 사용하는 방법과 같은, 각각의 패키지화된 매체 등에 대해 표준화된 방법이다.

더욱이, 심플 프로파일 및 메인 프로파일에서, 스킵트-화상은 화상 계층의 화상 타입에 의해 식별될 수 없다.

따라서, 각 화상에 대한 화상 계층의 화상 타입이 I-화상, P-화상, B-화상, 혹은 BI-화상일지라도, 두 번째 실시 형태에 따른 화상 부호화 장치(200)는, 화상의 사이즈에 의거하여, 스킵트-화상인지 아닌지를 조사할 수도 있고, 스킵트-화상이라면, 스킵트-화상이라는 것을 나타내기 위해 RAU 맵(MI)이 생성될 수도 있다. 이는 즉, 심플 프로파일 및 메인 프로파일에서도, 화상 부호화 장치(200)에 의해 생성된 스트림(STR)의 RAU 맵(MI)이 스킵트-화상을 포함하는 각 화상들의 화상 타입을 나타내는 것을 의미한다.

동일한 이유로, 메인 프로파일에서는, 화상 계층의 화상 타입에 의해 B-화상 및 BI-화상을 구별하는 것도 불가능하다.

따라서, 두 번째 실시 형태에 따른 화상 부호화 장치(200)는, 예측 구조 결정 유닛(212)에 의해 B-화상 및 BI-화상을 구별하여서 특정된 화상 타입(Pt)에 의거하여, RAU에 포함된 각 화상들의 화상 타입을 나타내는 RAU 맵(MI)을 생성한다. 이는 즉, 메인 프로파일에서도, 화상 부호화 장치(200)에 의해 생성된 스트림(STR)의 RAU 맵(MI)은 B-화상 및 BI-화상을 구별할 수 있음을 의미한다. B-화상과는 다르게, BI-화상은 독립적으로 복호화될 수 있어서, BI-화상 및 B-화상의 구별이, 특별 재생을 할 동안에 복호화되고 재생될 화상을 선택하는 유연성을 증가시키게 된다.

시퀀스 계층이 존재하는 경우, 예를 들면, 항상 엔트리 포인트 계층에 시퀀스 계층을 더하여서, RAU가 시퀀스 계층을 포함하는 것이 가능하다. 또한, 엔트리 포인트 계층의 유저 데이터는 RAU 맵(MI) 외의 정보를 더 포함할 수도 있다.

특별 재생에서는, 복호화될 화상을 특정하는 것과 이러한 화상에 효율적으로 접근하는 것이 중요하다. 따라서, RAU 맵(MI)은 각 화상에 관한 어드레스 정보를 나타낼 수도 있다. 여기서, 어드레스 정보는, RAU의 선두로부터 카운트된 바이트 위치에 관한 정보일 수도 있고, 혹은 부호화된 데이터가 전송 스트림 패킷 등에 의해 패킷화될 경우에 각 화상이 저장되는 패킷을 특정하는 정보일 수도 있다. 특별 재생을 할 동안에, 모든 화상에 대해서가 아니라, I-화상이나 P-화상과 같은 복호화될 화상에 대해서만 어드레스 정보가 더해질 수도 있음에 주의한다.

<변형예>

다음은, 두 번째 실시 형태에 따른 스킵트-화상의 변형예를 설명한다.

두 번째 실시 형태에서는, 복호화 순서로 스킵트-화상의 바로 앞인 참조 화상과 동일한 화소 데이터를 가지는 P-화상이 되도록 스킵트-화상이 생성된다. 이에 따라, 스킵트-화상은 B-화상 대신에 사용될 수 없다.

그리하여, 두 번째 실시 형태의 변형예는, 그 밖의 화상들로부터 예측되지 않는 B-화상으로서, 그리고 디스플레이 순서로 스킵트-화상의 바로 앞인 참조 화상과 동일한 화소 데이터를 가지는 화상으로서, 스킵트-화상을 생성한다(이하, B-스킵 화상이라 한다). 더 구체적으로, 두 번째 실시 형태의 변형예에서는, 새로이 B-스킵 화상을 도입하여서, MPEG-2 표준에서 일반적으로 사용되는, I-화상, B-화상, B-화상, P-화상, B-화상, B-화상, P-화상, B-화상, B-화상, ...과 같은 GOP 구조를 형성하는 것이 가능하여서, IP 재생(I-화상 및 P-화상만을 재생하는 특별 재생)이 화상 복호화 장치에서 쉽게 실현될 수 있다.

도 19A 및 19B는 B-스킵 화상이 사용되는 실시예를 도시한다. 도 19A 및 19B에서, "I2", "B0", "P5" 및 "B-스킵6" 등의 부호에 포함된 "I", "B", "P" 및 "B-스킵"은 각 화상의 화상 타입을 나타내고, 화상 타입에 붙여진 숫자는 디스플레이 순서를 나타냄에 주의한다. 도 19A에서, RAU의 화상들은 복호화 순서로 배열되고, 도 19B에서, RAU의 화상들은 디스플레이 순서로 배열되었음에 주의한다. 화상(B-스킵6) 및 화상(B-스킵7)은, 화상(P8)으로부터 예측되어지지 않고, 디스플레이 순서로 바로 앞의 참조 화상인 화상(P5)만으로 예측되어진다. 두 번째 실시 형태의 변형예에 따른 화상 부호화 장치(200)는, 도 19A 및 19B에서 도시된 RAU를 가지는 스트림(STR)을 생성한다.

여기서, 화상이 B-스킵 화상인지 아닌지는 RAU 맵(MI)의 화상 타입에 의해 나타내진다. 반면에, 화상이 B-스킵 화상일지라도, 이 화상의 화상 계층에 포함된 필드-화상 타입 혹은 화상 타입은 B-화상이다. 따라서, 이와 같은 스트림(STR)은 종래의 스트림과 호환성을 유지할 수 있어서, RAU 맵(MI)을 분석할 수 없는 종래의 복호기일지라도, B-스킵 화상을 B-화상으로서 다루어, 특별 재생을 할 수 있다.

화상 계층은 화상이 B-스킵 화상인지 아닌지를 나타낼 수도 있음에 주의한다. 디스플레이 순서로 B-스킵 화상의 바로 앞인 참조 화상과 동일한 화소 데이터를 가지는 화상으로서 B-스킵 화상을 생성하는 것도 가능하다. 이와 같은 경우, RAU 맵(MI)은, 디스플레이 순서로, B-스킵 화상이 B-스킵 화상의 바로 앞의 참조 화상으로부터 예측되었는지 혹은 B-스킵 화상의 바로 뒤의 참조 화상으로부터 예측 되었는지를 나타낼 수도 있다.

(세 번째 실시 형태)

세 번째 실시 형태에 따른 화상 복호화 장치는, BI-화상을 나타내는 RAU 맵을 참조하여서, 디스플레이 순서로, 오픈 GOP 타입 RAU의 선두 I-화상의 바로 앞에 위치하는 하나 이상의 BI-화상들이 존재하는지 존재하지 않는지를 결정한다. 하나 이상의 BI-화상들이 선두 I-화상의 바로 앞에 위치한다고 결정되면, 화상 복호화 장치는 BI-화상들의 첫 번째 화상부터 복호화를 시작한다.

여기, 세 번째 실시 형태에서, 선두 I-화상은, 복호화 순서로 RAU의 선두에 위치하고, 디스플레이 순서로 RAU의 첫 번째 I-화상으로서 위치하는 화상이다. 게다가, 재배열된 화상은, 복호화 순서로는 RAU의 선두 I-화상 뒤에 위치하는 화상이지만, 디스플레이 순서로는 선두 I-화상 앞에 위치한다. 또한, BI-화상은 B-화상 및 I-화상의 특성을 지니는 화상이다(BI-화상 및 I-화상 혹은 P-화상의 재배열이 필요함). 더 구체적으로, 디스플레이 순서로 BI-화상이 I-화상 혹은 P-화상보다 선행할지라도, BI-화상은 복호화 순서로 I-화상 혹은 P-화상보다 후행하고, 그 밖의 화상에 대한 참조 화상이 아니라는 B-화상의 특성을 지닌다. 게다가, BI-화상은, 모든 매크로블록이 내부-부호화되고 어떤 다른 화상들도 참조하지 않는 I-화상 특성을 지닌다. 더욱이, 진보된 프로파일 등에서는, 스트림(STR)의 BI-화상의 화상 계층은, 이 계층의 화상이 BI-화상임을 나타내는 화상 타입 정보를 포함할 수 있다.

다음은 세 번째 실시 형태를 더 자세하게 설명한다.

VC-1 및 MPEG-2 표준을 따른 RAU에는, 오픈 GOP 타입 및 클로즈드 GOP 타입이 존재한다. 오픈 GOP 타입 RAU는, 화상이 복호화 순서로 현재의 RAU 바로 앞에 위치하는 또 다른 RAU의 화상을 참조할 수도 있는 RAU이다. 반면에, 클로즈드 GOP 타입 RAU는, 화상이 동일한 RAU의 화상만을 참조하는 RAU이다. 스트림의 외부의 특별 재생을 위한 데이터 베이스 혹은 엔트리-포인트 레벨에 플래그를 사용하여, RAU가 오픈 GOP 타입인지 클로즈드 GOP 타입인지 결정하는 것이 가능함에 주의한다.

여기서, 오픈 GOP 타입 RAU의 선두부터 점핑 재생이 행하여질 경우, 복호화 순서로는 RAU의 선두 화상(I-화상) 뒤에 위치하지만 디스플레이 순서로는 선두 화상(I-화상) 앞에 위치하는 B-화상이 존재하면, B-화상은 현재의 RAU 바로 앞의 또 다른 RAU의 화상을 참조할 수 없어서, B-화상을 복호화하는 것이 불가능해진다. 따라서, B-화상은 점핑 재생을 할 동안에 복호화되지 않는다.

반면에, 오픈 GOP 타입 RAU의 선두부터 점핑 재생이 행하질 경우에도, 복호화 순서로는 RAU의 선두 화상(I-화상) 뒤에 위치하지만 디스플레이 순서로는 선두 화상(I-화상) 앞에 위치하는 BI-화상이 존재하면, BI-화상은 어떤 다른 화상들도 참조하지 않고 복호화되는 것이 가능하여서, BI-화상으로부터 재생을 시작하는 것이 가능하다.

다음은 BI-화상이 디스플레이 순서로 오픈 GOP 타입 RAU의 선두 I-화상 앞에 위치하는 실시예를 자세하게 설명한다.

도 20A는 BI-화상을 사용하는 점핑 재생을 도시하는 설명도이다.

예를 들면, 세 번째 실시 형태에 따른 화상 복호화 장치는, 도 20A에서 도시 된 바와 같이, 각 RAU의 디스플레이 순서로 선두 I-화상만을 복호화하고, 복호화된 화상을 디스플레이하여서, 고속 재생을 행한 후, 고속 재생을 보통 재생으로 변화시킨다. 더 구체적으로, 화상 복호화 장치는, 도 20A에서, 첫 번째부터 아홉 번째의 RAU의 각 선두 I-화상만을 복호화하여 고속 재생을 행하고, 열 번째의 RAU부터 고속 재생을 보통 재생으로 변화시킨다.

여기서, 열 번째 RAU가 오픈 GOP 타입 RAU일지라도, 복호화 순서로 첫 번째 화상인 I-화상보다 디스플레이 순서로 앞에 위치하는 화상들이 BI-화상들이라서, 화상 복호화 장치는 열 번째 RAU의 선두 화상(디스플레이 순서로 첫 번째 BI-화상)부터 재생을 시작할 수 있다.

상기한 바와 같이, 오픈 GOP 타입 RAU의 선두 I-화상 앞에 디스플레이되는 재배열된 화상을 BI-화상으로 설정하여서, 고속 재생으로부터 보통 재생으로의 매끄러운 변화를 실현하는 것이 가능해진다.

도 20B는 BI-화상을 사용하는 또 다른 점핑 재생을 도시하는 설명도이다.

예를 들면, 도 20B에서 도시된 바와 같이, RAU에서, B-화상 및 BI-화상이 디스플레이 순서로 선두 I-화상 앞에 순차적으로 위치한다.

여기서, B-화상은 현재의 RAU 바로 앞의 또 다른 RAU의 화상을 참조하기 때문에, 특별 재생(예를 들면, 점핑 재생)을 할 동안에 B-화상은 복호화되는 것이 불가능하여서, 화상 복호화 장치는 BI-화상으로부터 디스플레이를 시작해야한다고 결정할 수 있다.

도 20C는 BI-화상을 사용하는 또 다른 점핑 재생을 도시하는 설명도이다.

예를 들면, 도 20C에서 도시된 바와 같이, RAU에서, BI-화상 및 B-화상은 디스플레이 순서로 선두 I-화상 앞에 순차적으로 위치한다.

이 경우, BI-화상은 복호화되는 것이 확실히 가능하지만, BI-화상에 후행하는 B-화상은 복호화되지 않을 수 있다. 따라서, RAU가, 디스플레이 순서로, 첫 번째 화상으로서의 BI-화상 및 복호화 순서로 첫 번째 화상인 선두 I-화상 사이에 위치하는 B-화상을 가지면, 화상 복호화 장치는 I-화상으로부터 디스플레이를 시작해야한다고 결정할 수 있다.

세 번째 실시 형태에 따른 화상 복호화 장치는, 상기한 특별 재생을 매끄럽게 행하기 위해 RAU 맵(MIa)을 참조한다. RAU 맵(MIa)은, 첫 번째 실시 형태에 따라 도 8에 도시된 바와 같이, RAU의 유저 데이터에 저장된다.

세 번째 실시 형태에 따른 RAU 맵(MIa)의 구문은, 도 9D에서 도시된 첫 번째 실시 형태에 따른 구문의 구조와 동일함에 주의한다. 더 구체적으로, RAU 맵(MIa)은 number_of_pictures_in_EPS, picture_structure, 및 picture_type의 정보를 포함한다. picture_type은, 복호화 순서로 RAU의 각 화상이 어느 화상 타입(I-화상, P-화상, B-화상, 혹은 BI-화상)에 속하는지를 나타낸다.

즉, 세 번째 실시 형태에 따른 RAU 맵(MIa)은, RAU에서 복호화 순서로 각 화상의 화상 타입을 나타내서, 디스플레이 순서로 선두 I-화상의 바로 앞에 하나 이상의 연속되는 BI-화상들이 존재하는지 존재하지 않는지를 나타낸다.

따라서, 오픈 GOP 타입 RAU로부터 점핑 재생이 행하여지면, 세 번째 실시 형태에 따른 화상 복호화 장치는, RAU에 저장되는 RAU 맵(MIa)을 참조하여서, 어느 화상으로부터 재생이 시작되어야하는지를 쉽게 결정할 수 있다. 그 결과, 세 번째 실시 형태에 따른 화상 복호화 장치는 도 20A 내지 20C에서 도시된 바와 같이 점핑 재생을 매끄럽게 행할 수 있다.

세 번째 실시 형태에서는, RAU 맵(MIa)이 도 9D에서 도시된 바와 같이 복호화 순서로 화상에 관한 화상 타입 정보를 포함하지만, 디스플레이 순서로 화상에 관한 화상 타입 정보를 포함할 수도 있음에 주의한다. 더욱이, RAU 맵(MIa)에서 화상 등에 관한 화상 타입 정보는, 어떤 순서로 화상 타입 정보가 저장되는지를, 즉, 복호화 순서로인지 디스플레이 순서로인지를 나타내는 정보를 포함할 수 있다.

도 21은 세 번째 실시 형태에 따른 RAU 맵(MIa) 구문의 또 다른 실시예를 도시하는 도면이다.

이 RAU 맵(MIa)의 구문은, indepenent_decodable_flag를 사용하여, BI-화상이 디스플레이 순서로 RAU의 선두 I-화상 바로 앞에 위치하는지를 나타낸다. 또한, indepenent_decodable_flag가 1이면, 바꾸어 말하면, BI-화상이 디스플레이 순서로 선두 I-화상 바로 앞에 위치하는 경우, num_decodable_pictures를 사용하여 선두 I-화상 바로 앞에 위치하는 연속되는 BI-화상의 수를 나타낸다.

오픈 GOP 타입 RAU으로부터 점핑 재생이 행하여지면, 세 번째 실시 형태에 따른 화상 복호화 장치는 RAU에 저장된 RAU 맵(MIa)을 참조한다. 그 후, 화상 복호화 장치는 RAU 맵(MIa)에 포함된 indepenent_decodable_flag가 1인지 0인지를 결정한다. 만약 indepenent_decodable_flag가 1이라고 결정되면, 화상 복호화 장치는, 연속되는 화상의 숫자(연속되는 숫자(consecutive number))로서, RAU 맵(MIa)에 포 함된 num_decodable_pictures에 의해 나타내진 화상의 숫자를 더욱 특정하고, 디스플레이 순서로 선두 I-화상 바로 앞에 연속되는 숫자로 위치하는 BI-화상으로부터 재생을 행한다. 선두 I-화상 바로 앞에 오직 하나의 BI-화상이 존재하면, 화상 부호화 장치는 BI-화상으로부터 재생을 행한다. 반면에, 선두 I-화상 바로 앞에 복수의 연속되는 BI-화상이 존재하면, 화상 부호화 장치는 연속되는 BI-화상의 첫 번째 화상으로부터 재생을 행한다.

RAU 맵(MIa)은 엔트리 포인트 계층과는 다른 계층의 유저 데이터, 예를 들면, RAU의 선두 화상의 유저 데이터에 저장될 수 있음에 주의한다. RAU에 BI-화상이 존재하지 않으면, RAU 맵(MIa)을 만들 필요가 없음에 또한 주의한다. 이와 같은 경우, RAU 맵(MIa)의 존재는, RAU가 선두 I-화상 바로 앞에 임의의 BI-화상을 가지는지 가지지 않는지를 나타내는 데에 사용될 수 있다.

도 22는 세 번째 실시 형태에 따른 화상 복호화 장치(300)를 도시하는 블록도이다.

세 번째 실시 형태에 따른 화상 복호화 장치(300)는, 가변 길이 복호화 유닛(301), 화상 메모리(302), 움직임 보상 유닛(303), 역 양자화 유닛(304), 역 직교 변환 유닛(305), 및 버퍼 메모리(306), 디스플레이 유닛(307), 가산기(308), 스트림 추출 유닛(309), 및 BI 정보 획득 유닛(310)을 포함한다.

화상 복호화 장치(300)는 종래의 화상 복호화 장치(900)와 달리, 스트림 추출 유닛(309) 및 BI 정보 획득 유닛(310)이 추가된다.

BI 정보 획득 유닛(310)은, 가변 길이 복호화 유닛(301)으로부터, 복호화될 RAU가 오픈 GOP 타입인지 클로즈드 GOP 타입인지를 나타내는 그룹 타입 정보(GT)를 얻는다. 그룹 타입 정보(GT)가, RAU가 오픈 GOP 타입임을 나타내면, BI 정보 획득 유닛(310)은 복호화될 RAU의 RAU 맵(MIa)을 가변 길이 복호화 유닛(301)으로부터 더 얻는다. 또한, BI 정보 획득 유닛(310)은, 점핑 재생과 같은 특별 재생의 상세 정보를 나타내는 재생 모드 신호(TM)를 외부로부터 얻는다. 그 후, BI 정보 획득 유닛(310)은 재생 모드 신호(TM)에 의거하여 RAU 맵(MIa) 및 그룹 타입 정보(GT)를 분석하고, 복호화 및 디스플레이될 화상을 특정(선택)한다.

예를 들면, 복호화될 RAU의 그룹 타입 정보(GT)가, RAU가 클로즈드 GOP 타입임을 나타내면, BI 정보 획득 유닛(310)은 복호화될 RAU의 모든 화상들을, 복호화 및 디스플레이될 화상으로서 특정한다.

반면에, 복호화될 RAU의 그룹 타입 정보(GT)가, RAU가 오픈 GOP 타입임을 나타내면, BI 정보 획득 유닛(310)은 RAU 맵(MIa)에 의거하여 복호화 및 디스플레이될 화상을 특정한다.

예를 들면, RAU 맵(MIa)이 도 21에 도시된 구문을 가지면, BI 정보 획득 유닛(310)은, 디스플레이 순서로, 재생될 RAU의 선두 I-화상 바로 앞에 하나 이상의 연속되는 BI-화상들이 존재하는지 존재하지 않는지를 indepenent_decodable_flag에 의거하여 결정한다. 이러한 BI-화상이 존재한다고 결정되면, BI 정보 획득 유닛(310)은, num_decodable_pictures에 의거하여, 재생 시작 위치, 즉, 디스플레이 순서로 RAU의 첫 번째 BI-화상을 특정한다. 이러한 BI-화상이 존재하지 않는다고 결정되면, BI 정보 획득 유닛(310)은, 재생 시작 위치로서 RAU의 선두 I-화상을 특 정한다.

또한, RAU 맵(MIa)이 도 9D에서 도시된 구문을 가지면, BI 정보 획득 유닛(310)은, RAU의 각 화상의 picture_type에 의거하여, 디스플레이 순서로, 재생될 RAU의 선두 I-화상 바로 앞에 위치하는 하나 이상의 연속되는 BI-화상들이 존재하는지 존재하지 않는지를 결정한다. 이러한 BI-화상이 존재한다고 결정되면, BI 정보 획득 유닛(310)은, 디스플레이 순서로 RAU의 첫 번째 BI-화상을 재생 시작 위치로서 특정한다. 이러한 BI-화상이 존재하지 않는다고 결정되면, BI 정보 획득 유닛(310)은 RAU의 선두 I-화상을 재생 시작 위치로서 특정한다.

상기한 바와 같이 재생 시작 위치를 특정한 후, BI 정보 획득 유닛(310)은, 복호화 및 디스플레이될 화상으로서, 재생 모드 신호(TM)에 의해 나타내진 점핑 재생이 행하여지는 RAU의 화상들 중에서, 재생 시작 위치로부터 디스플레이 순서로 존재하는 화상들을 선택한다.

그 후, BI 정보 획득 유닛(310)은, 상기한 결과를 나타내는 복호화 화상 지시 신호(SP)를 스트림 추출 유닛(309)으로 출력한다.

스트림(STR)을 얻은 후, 스트림 추출 유닛(309)은 우선, 각 RAU에 대해, RAU의 선두에 위치하는 RAU 맵(MIa) 및 부호화된 엔트리 포인트 헤더를 검출하고, 그 데이터를 가변 길이 복호화 유닛(301)으로 출력한다. RAU 맵(MIa)에 의거하여 BI 정보 획득 유닛(310)으로부터 출력된 복호화 화상 지시 신호(SP)를 얻은 후, 스트림 추출 유닛(309)은, 스트림(STR)으로부터, 복호화 화상 지시 신호(SP)에 의해 나타내진 복호화될 화상의 데이터를 추출하고, 그 데이터를 가변 길이 복호화 유 닛(301)으로 출력한다.

가변 길이 복호화 유닛(301)이, 스트림 추출 유닛(309)으로부터 RAU 맵(MIa) 및 부호화된 엔트리 포인트 헤더를 얻으면, 가변 길이 복호화 유닛(301)은 부호화된 엔트리 포인트 헤더 및 RAU 맵(MIa)에 가변 길이 복호화를 행한다. 그 후, 가변 길이 복호화 유닛(301)은, 복호화된 엔트리 포인트 헤더에 저장된 그룹 타입 정보(GT)를 BI 정보 획득 유닛(310)으로 출력한다. 더욱이, 가변 길이 복호화 유닛(301)은, BI 정보 획득 유닛(310)으로부터의 요청에 응답하여 BI 정보 획득 유닛(310)으로, 복호화된 RAU 맵(MIa)을 출력한다. 또한, 가변 길이 복호화 유닛(301)이, 스트림 추출 유닛(309)으로부터, 스트림(STR)에 포함된 화상들의 데이터를 얻으면, 가변 길이 복호화 유닛(301)은 그 데이터에 가변 길이 복호화를 행하고, 양자화 값(Qc), 참조 화상 특정 정보(Ind), 화상 타입(Pt), 및 움직임 벡터(MV)를 출력한다.

움직임 보상 유닛(303)은, 화상 메모리(302)에 저장되고 참조 화상 특정 정보(Ind)에 의해 나타내진, 복호화된 화상(참조 화상)으로부터, 움직임 벡터(MV)에 의해 나타내진 이미지 영역을 검색하고, 예측된 이미지로서 그 이미지 영역을 가산기(308)로 출력한다.

역 양자화 유닛(304)은, 주파수 계수로 복원될 양자화 값(Qc)을 역으로 양자화하고, 주파수 계수를 역 직교 변환 유닛(305)으로 출력한다. 역 직교 변환 유닛(305)은, 화소 차분으로 변환될 주파수 계수에 역-주파수 변환을 행하고, 그 화소 차분을 가산기(308)로 출력한다. 가산기(308)는, 움직임 보상 유닛(303)으로부 터 출력된 예측된 화상과 화소 차분을 더하고, 복호화된 화상(Vout)을 생성한다. 그 후, 가산기(308)는 복호화된 화상(Vout)을 화상 메모리(302) 및 버퍼 메모리(306)에 저장한다. 디스플레이 유닛(307)은 버퍼 메모리(306)로부터 복호화된 화상(Vout)을 얻고, 복호화된 화상(Vout)에 대응하는 화상을 디스플레이한다. 화상 메모리(302) 및 버퍼 메모리(306)는 단일 메모리를 공유할 수도 있음에 주의한다.

스트림 추출 유닛(309)은 RAU에 포함된 모든 화상의 데이터를, 재생 모드 신호(TM), RAU 맵(MIa), 혹은 그룹 타입 정보(GT)에 의존하지 않고, 가변 길이 복호화 유닛(301)으로 출력할 수도 있음에 또한 주의한다. 이 경우, 가변 길이 복호화 유닛(301)은, BI 정보 획득 유닛(310)으로부터 출력된 복호화된 화상 지시 신호(SP)에 의거하여, RAU에 포함된 모든 화상들로부터 복호화 및 디스플레이될 화상을 선택한다. 그 후, 가변 길이 복호화 유닛(301)은 선택된 화상의 데이터에 가변 길이 복호화를 행한다. 정보 획득 유닛(310)은, 점핑 재생, 역 재생, 및 고속 재생으로부터 돌아오는 변화와 같은, 특별 재생용으로만 복호화되는 화상을 특정할 수도 있다. 보통 재생에 대해, 정보 획득 유닛(310)은, RAU 맵(MIa) 등을 분석하지 않고 복호화 및 디스플레이될 화상으로서 모든 화상을 특정할 수도 있음에 주의한다. 특히, 세 번째 실시 형태에서 설명한 바와 같이 특별 재생으로부터 보통 재생으로 변화하는 경우, 보통 재생이 시작되는 첫 번째 RAU의 RAU 맵(MIa)을 분석하는 것으로 충분하다.

도 23은, 세 번째 실시 형태에 따른 화상 복호화 장치(300)에 의해 행하여지는 동작들을 도시하는 흐름도이다.

우선, 화상 복호화 장치(300)는, 복호화될 RAU의 엔트리 포인트 헤더에 저장된 그룹 타입 정보(GT)에 의거하여, 복호화될 RAU가 오픈 GOP 타입인지 클로즈드 GOP 타입인지를 결정한다(단계(S300)).

여기서, RAU가 오픈 GOP 타입이라고 결정되면(단계(S300)에서 YES), 화상 복호화 장치(300)는, 복호화될 RAU에 저장된 RAU 맵(MIa)을 얻는다(단계(S302)).

그 후, 화상 복호화 장치(300)는, RAU 맵(MIa)에 의거하여, 디스플레이 순서로, 복호화될 RAU의 선두 I-화상 바로 앞에 위치하는 하나 이상의 연속되는 BI-화상들이 존재하는지 존재하지 않는지를 결정한다(단계(S304)).

이러한 BI-화상이 존재한다고 결정되면(단계(S304)에서 YES), 화상 복호화 장치(300)는, 복호화 및 디스플레이될 화상으로서, 이러한 연속되는 BI-화상 및 디스플레이 순서로 상기한 연속되는 BI-화상 뒤에 위치하는 화상들을 특정한다(단계(S306)). 이는 즉, 디스플레이 순서로 선두 I-화상의 바로 앞에 위치하는, 복수의 연속되는 BI-화상들이 아니라, 단일의 BI-화상만이 존재하면, 화상 복호화 장치(300)는, 복호화될 화상들로서, BI-화상 및 디스플레이 순서로 BI-화상 뒤에 위치하는 화상들을 특정한다.

또한, 디스플레이 순서로 선두 I-화상 바로 앞에 위치하는 복수의 연속되는 BI-화상들이 존재하면, 화상 복호화 장치(300)는, 복호화될 화상으로서, BI-화상 및 디스플레이 순서로 연속되는 BI-화상 뒤에 위치하는 화상들을 특정한다.

반면에, 이러한 BI-화상이 존재하지 않는다고 결정되면(단계(S308)에서 NO), 화상 복호화 장치(300)는, 복호화 및 디스플레이될 화상으로서, 복호화될 RAU에 포 함된 화상들 중에서, 선두 I-화상 및 디스플레이 순서로 선두 I-화상 뒤에 위치하는 화상들을 특정한다.

또한, 단계(S300)에서, 복호화될 RAU가 클로즈드 GOP 타입이라고 결정되면(단계(S300)에서 NO), 상기한 바와 동일한 방식으로, 화상 복호화 장치(300)는, 복호화 및 디스플레이될 화상으로서, 복호화될 RAU에 포함된 화상들 중에서, 선두 I-화상 디스플레이 순서로 선두 I-화상 뒤에 위치하는 화상들을 특정한다(단계(S308)). 이 경우, 화상 복호화 장치(300)는, 복호화 및 디스플레이될 화상으로서, 복호화될 RAU에 포함되는 모든 화상들을 결정한다.

그 후, 화상 복호화 장치(300)는, 단계(S306) 및 단계(S308)에서 특정된 화상을 복호화한다(단계(S310)).

복호화될 화상은, RAU가 오픈 GOP 타입 RAU인지 아닌지를 결정하는 프로세싱 단계(S300)를 생략하고, 항상 단계(S302)로부터의 프로세싱을 시작하여 RAU 맵을 분석한 결과에 의거하여 결정될 수도 있음에 주의한다.

그리하여, 세 번째 실시 형태에서, RAU로부터 점핑 재생과 같은 특별 재생이 행하여지면, 화상 복호화 장치(300)는, 복호화 순서로 첫 번째 화상인 선두 I-화상의 디스플레이 순서로 바로 앞에 위치하는 독립적인 BI-화상이 존재하는지 존재하지 않는지를, RAU 맵(MIa)을 참조하여 쉽게 결정할 수 있다. 그 결과, BI-화상이 선두 화상 바로 앞에 위치하지 않으면, 화상 복호화 장치(300)는, RAU에 포함된 화상들 중에서, 복호화될 화상으로서, 선두 I-화상 및 디스플레이 순서로 선두 I-화상 뒤에 위치하는 화상들을 빠르게 추출할 수 있다. 또한, BI-화상이 선두 화상 바 로 앞에 위치하면, 화상 복호화 장치(300)는, RAU에 포함된 화상들 중에서, 복호화될 화상으로서 BI-화상을 또한 빠르게 추출할 수 있다.

따라서, 세 번째 실시 형태에 따른 화상 복호화 장치(300)는, 복호화될 화상을 결정하기 위해 화상이 B-화상인지 BI-화상인지의 결정, 혹은 RAU에 포함된 화상의 각 화상 계층을 분석하는 것이 통상적으로 필요하지 않아서, 복호화 프로세싱의 부하를 줄이는 것이 가능하다. 또한, BI-화상이 디스플레이 순서로 선두 I-화상 바로 앞에 위치하면, BI-화상은 쉽게 복호화 및 디스플레이될 수 있어서, BI-화상을 효율적으로 사용하는 것이 가능하다.

세 번째 실시 형태에서, RAU 맵(MIa)이 디스플레이 순서로 선두 I-화상 앞에 위치하는 화상이 BI-화상인지 아닌지를 나타낸다고 설명하였지만, RAU 맵(MIa)을 제외한 그 밖의 방법이 동일한 내용을 나타내도록 사용될 수 있음에 주의한다. 예를 들면, 엔트리 포인트 계층의 플래그 정보, 관리 정보의 시간 맵, 혹은 VC-1 스트림의 유저 데이터가 사용될 수 있다.

<변형예>

여기서, 세 번째 실시 형태에 따른 화상 복호화 장치(300)의 변형예가 설명된다.

변형예에 따른 화상 복호화 장치(300)는 BI-화상을 사용하여 특별 재생의 기능을 향상시킬 수 있다.

도 24는 변형예에 따른 화상 복호화 장치(300)에 의해 행하여지는 동작들을 도시하는 설명도이다. 예를 들면, 도 24에서 도시된 바와 같이, 스트림은, 디스플 레이 순서로 두 개의 P-화상 사이 혹은 I-화상과 P-화상 사이에 위치하는 하나의 BI-화상 및 두 개의 B-화상을 가진다.

위의 경우에서, 변형예에 따른 화상 복호화 장치(300)는, 도 24의 (1)에서 도시된 바와 같이 I-화상 및 P-화상만을 복호화하여서 4배속 재생을 행할 수 있다. 또한, 변형예에 따른 화상 복호화 장치(300)는 도 24의 (2)에서 도시된 바와 같이 I-화상 및 P-화상 외에 BI-화상도 복호화하여서 2배속 재생을 행할 수 있다.

상기한 바와 같이, 변형예에 따른 화상 복호화 장치(300)는, BI-화상이 소정의 사이클로 위치하면, 스트림에 대한 특별 재생의 기능을 향상시킬 수 있다.

또한, 변형예에 따른 화상 복호화 장치(300)는, 예를 들면, 도 9D에서 도시된 구문을 가지는 RAU 맵(MIa)을 참조하여서, 복호화될 RAU에서 복호화 순서로 혹은 디스플레이 순서로 BI-화상이 어디에 위치하는지를 결정할 수 있다. 또한, 화상 복호화 장치(300)는 I-화상 및 P-화상이 어디에 위치하는지를 결정할 수 있다. 이는 즉, 변형예에 따른 화상 복호화 장치(300)가, 특별 재생을 할 동안에, RAU 맵(MIa) 등을 참조하여서 복호화 및 디스플레이될 화상을 빠르게 특정할 수 있음을 의미한다.

디스플레이될 B-화상이 선두 I-화상 앞에 존재하더라도, B-화상이 현재의 RAU 바로 앞의 또 다른 RAU의 화상을 참조하지 않는다면, 엔트리 포인트 레벨의 RAU 맵 혹은 플래그는, RAU가 클로즈드 GOP 타입 RAU임을 나타내는 것임에 주의한다.

세 번째 실시 형태의 변형예에서, RAU 맵(MIa)이 VC-1 스트림의 각 RAU에 저 장되고, 화상 복호화 장치(300)가 이 스트림을 복호화한다고 설명하였지만, RAU 맵(MIa)이 RAU에 저장되는 한, 부호화 방법은, VC-1을 제외한 MPEG-4AVC 및 MPEG-2와 같은 그 밖의 방법이 될 수도 있음에 또한 주의한다. 이러한 경우, VC-1의 BI-화상은, 매크로블록들이 모두 내부-부호화된 B-화상에 대응한다.

(네 번째 실시 형태)

도 25는 네 번째 실시 형태에 따른 화상 부호화 장치를 도시하는 블록도이다.

네 번째 실시 형태에 따른 화상 부호화 장치(400)는, 움직임 추정 유닛(401), 움직임 보상 유닛(402), 차감기(403), 직교 변환 유닛(404), 양자화 유닛(405), 역 양자화 유닛(406), 역 직교 변환 유닛(407), 가산기(408), 화상 메모리(409), 스위치(410), 가변 길이 부호화 유닛(411), 예측 구조 결정 유닛(412), 및 BI 정보 생성 유닛(413)을 포함한다.

움직임 추정 유닛(401)은 매크로블록의 유닛으로 화상 신호(Vin)를 얻는다. 그 후, 움직임 추정 유닛(401)은, 화상 메모리(409)에 저장된, 복호화된 화상들(참조 화상들)을 검색하고, 화상 신호(Vin)에 의해 나타내진 매크로블록과 가장 유사한 이미지를 가지는 이미지 영역을 검출한다. 움직임 추정 유닛(401)은, 이미지 영역의 위치를 나타내기 위한 움직임 벡터(MV)를 결정하고, 그 움직임 벡터(MV)를 출력한다. 움직임 추정 유닛(401)은, 움직임 벡터(MV)를 검출하는 데에 사용되는 복호화된 화상을 나타내기 위한 참조 화상 특정 정보(Ind)를 또한 출력한다.

움직임 보상 유닛(402)은, 화상 메모리(409)에 저장되고 참조 화상 특정 정 보(Ind)에 의해 나타내진, 복호화된 화상으로부터 움직임 벡터(MV)에 의해 나타내진 이미지 영역을 검색한 후, 검색된 화상을 예측 화상으로서 출력한다.

예측 구조 결정 유닛(412)은, RAU 선두 화상(Uin)에 의거하여, RAU 시작 위치에 부호화될 화상이 존재한다고 결정한 후, 이 화상을 특별 랜덤하게-액세스 가능한 화상(special randomly-accessible picture)으로서 부호화(화상내 부호화)하도록 움직임 추정 유닛(401) 및 움직임 보상 유닛(402)에게 지시하고, 또한 화상 타입(Pt)을 부호화하도록 가변 길이 부호화 유닛(411)에게 지시한다. 더 구체적으로, 예측 구조 결정 유닛(412)은, 화상 신호(Vin)에 포함된 부호화될 각 화상의 화상 타입(Pt), 예를 들면, I-화상, P-화상, B-화상, 혹은 BI-화상을 결정한다.

또한, 예측 구조 결정 유닛(412)은, 부호화될 RAU에 관한 그룹 타입 정보(GT)를 결정하고, 가변 길이 부호화 유닛(411)이 그룹 타입 정보(GT)를 부호화하도록 한다. 차감기(403)는 화상 신호(Vin) 및 예측된 화상을 얻은 후, 화상 신호(Vin)와 예측된 화상 사이의 차분을 계산하고, 그 차분을 직교 변환 유닛(404)으로 출력한다. 직교 변환 유닛(404)은 차분을 주파수 계수로 변환하고, 주파수 계수를 양자화 유닛(405)으로 출력한다. 양자화 유닛(405)은, 직교 변환 유닛(404)으로부터 입력된 주파수 계수를 양자화하고, 결과인 양자화 값(Qc)을 가변 길이 부호화 유닛(411)으로 출력한다.

역 양자화 유닛(406)은, 오리지널 주파수 계수를 복원하기 위해 양자화 값(Qc)을 역으로 양자화하고, 결과인 주파수 계수를 역 직교 변환 유닛(407)으로 출력한다. 역 직교 변환 유닛(407)은, 주파수 계수가 화소 차분으로 다시 변환되도 록 역-주파수 변환을 행하고, 이 화소 차분을 가산기(408)로 출력한다. 가산기(408)는, 움직임 보상 유닛(402)으로부터 출력된, 예측된 화상과 화소 차분을 더하고, 복호화된 화상을 생성한다. 스위치(410)는, 복호화된 화상이 저장되도록 지시받으면 온이 되고, 복호화된 화상은 화상 메모리(409)에 저장된다.

BI 정보 생성 유닛(413)은, 예측 구조 결정 유닛(412)에 의해 결정된 화상 타입(Pt)에 따라서, 도 9D 혹은 도 21에서 도시된 구문을 가지는 RAU 맵(MIa)을 생성하고, 생성된 RAU 맵(MIa)을 가변 길이 부호화 유닛(411)으로 출력한다.

가변 길이 부호화 유닛(411)은, 스트림(STR)을 생성하기 위해, 양자화 값(Qc), 화상 타입(Pt), RAU 맵(MIa), 움직임 벡터(MV) 등에 가변 길이 부호화를 행한다. 더 구체적으로, 가변 길이 부호화 유닛(411)은, BI 정보 생성 유닛(413)에 의해 생성된 RAU 맵(MIa)을, 도 8에서 도시된 바와 같이 임의의 화상들 앞에 위치하는 유저 데이터에 기록한다. 또한, 가변 길이 부호화 유닛(411)은, 그룹 타입 정보(GT)에 가변 길이 부호화를 적용하고, 부호화된 그룹 타입 정보(GT)를 RAU의 엔트리 포인트 헤더에 더한다.

상기한 바와 같이, 네 번째 실시 형태에 따른 화상 부호화 장치(400)는, 종래의 화상 부호화 장치(800)와 달리, BI 정보 생성 유닛(413)이 추가된다.

도 26은 네 번째 실시 형태에 따른 화상 부호화 장치(400)에 의해 행하여지는 동작들을 도시하는 흐름도이다.

우선, 화상 부호화 장치(400)는, 예측 구조 결정 유닛(412)을 사용하여, 부호화될 화상이 RAU의 선두 화상인지 아닌지를 결정한다(단계(S400)). 여기서, 화상 이 RAU의 선두 화상이라고 결정되면(단계(S400)에서 YES), 화상 부호화 장치(400)는, 가변 길이 부호화 유닛(411)을 사용하여, RAU 맵(MIa)을 생성하기 위한 초기화 프로세싱을 행하고, 엔트리 포인트 계층의 유저 데이터 내에 RAU 맵(MIa)을 저장하기 위한 영역을 얻는다(단계(S402)).

또한, 화상 부호화 장치(400)는, 예측 구조 결정 유닛(412)을 사용하여, 부호화될 화상이 BI-화상이 될 것인지 아닌지를 결정한다(단계(S404)). 여기서, 이 화상이 BI-화상이 될 것이라고 결정되면(단계(S404)에서 YES), 화상 부호화 장치(400)는, BI-화상으로서 부호화될 화상을 부호화한다(단계(S406)). 이는 즉, 부호화될 RAU가, 화상이 그 밖의 액세스 유닛의 화상을 참조하도록 허용되는 오픈 GOP 타입 RAU이면, 화상 부호화 장치(400)는 부호화될 화상을 부호화하여서, 어떤 다른 화상도 참조하지 않으며 디스플레이 순서로 스트림(STR)의 RAU에서의 선두 I-화상보다 앞에 위치하는, BI-화상을 생성한다. 반면에, 그 화상이 BI-화상이 되지 않을 것이라고 결정되면(단계(S404)에서 NO), 화상 부호화 장치(400)는, 다른 화상 타입의 화상으로서 부호화될 화상을 부호화한다(단계(S408)).

그 후, 화상 부호화 장치(400)는, BI 정보 생성 유닛(413)을 사용하여서, 단계(S404)의 결정 결과에 의거하여, RAU 맵(MIa)을 생성 및 업데이트한다(단계(S410)).

예를 들면, 화상 부호화 장치(400)는, 도 9D에서 도시된 바와 같은 구문을 가지는 RAU 맵(MIa)을 생성하므로, RAU 맵(MIa)은: 단계(S406) 혹은 단계(S408)에서 부호화된 화상에 관한 화상 타입 정보; 화상이 필드 구조로 부호화될지 프레임 구조로 부호화될지를 나타내는 정보 등을 포함할 수 있다. 또 다른 예로서, 화상 부호화 장치(400)는, 도 21에서 도시된 바와 같이 RAU 맵(MIa)을 생성하므로, RAU 맵(MIa)은, 디스플레이 순서로 선두 I-화상의 앞에 위치하는 하나 이상의 연속되는 BI-화상들이 존재하는지 존재하지 않는지를 나타내는 플래그와 이러한 BI-화상들의 수를 분명하게 나타낼 수 있다. 도 21에서 도시된 RAU 맵(MIa)을 생성하는 경우, RAU 맵은 RAU의 선두 I-화상의 부호화가 결정된 후에 완료될 수 있는데, 바꾸어 말하면, 디스플레이 순서로 선두 I-화상보다 선행하고, 복호화 순서로 선두 I-화상에 후행하는 모든 BI-화상들의 부호화가 결정된다.

다음으로, 화상 부호화 장치(400)는, 단계(S404)에서 결정된 화상이 RAU의 마지막 화상인지 아닌지를 결정한다(단계(S412)). 바꾸어 말하면, 화상 부호화 장치(400)는, RAU에 포함된 모든 화상들에 대해 프로세싱을 행하였는지 행하지 않았는지를 결정한다. 여기서, 화상이 마지막 화상이라고 결정되면(단계(S412)에서 YES), 화상 부호화 장치(400)는, 가변 길이 부호화 유닛(411)을 사용하여 RAU 맵(MIa)을 특정하여 부호화하고, 단계(S402)에서 얻은 영역에 RAU 맵(MIa)을 기록한다(단계(S414)).

그 후, 화상 부호화 장치(400)는, 스트림(STR)에 포함된 화상들 중에서, 처리될 화상이 아직 남아있는지 남아있지 않은지를 결정한다(단계(S416)). 여기서, 처리될 화상이 아직 남아있다고 결정되면(단계(S416)에서 YES), 화상 부호화 장치(400)는 단계(S400)부터의 동작들을 반복한다. 반면에, 처리될 화상이 발견되지 않았다고 결정되면(단계(S416)에서 NO), 화상 부호화 장치(400)는 모든 부호화 동 작들을 완료한다.

도 26의 동작들에서, RAU 맵 저장 영역은 이전에 얻지만, 예를 들면, RAU와 같은 데이터를 버퍼링하기에 충분한 메모리가 존재하면, RAU 맵 데이터 및 화상 데이터는 메모리에 저장될 수도 있고, 이 데이터가 RAU 맵이 결정된 후에 저장 매체에 기록될 수도 있음에 주의한다.

(다섯 번째 실시 형태)

또한, 상기 실시 형태들에서 설명된 화상 부호화 장치 및 화상 복호화 장치를 실현하기 위한 프로그램을 플렉서블 디스크(flexible disk)와 같은 기록 매체 상에 기록하여서, 독립적인 컴퓨터 시스템에 의해 상기 실시 형태들에서 설명된 프로세싱을 쉽게 구현하는 것이 가능하다.

도 27A, 27B, 및 27C는, 플렉서블 디스크와 같은 기록 매체에 기록된 프로그램을 사용하여, 상기 실시 형태들에서 설명된 화상 부호화 장치 및 화상 복호화 장치가 컴퓨터 시스템에 의해 실현되는 경우를 도시하는 설명도이다.

도 27B는 플렉서블 디스크의 외측 정면도, 플렉서블 디스크의 단면 구조 및 플렉서블 디스크 바디의 바디를 도시한다. 도 27A는, 기록 매체의 메인 바디인 플렉서블 디스크 바디의 물리적 포맷의 실시예를 도시한다. 플렉서블 디스크 바디(FD)는 케이스(F) 내에 구비되고, 복수의 트랙들(Tr)은 원주가 내부 원주를 향하여 동심원의 형상으로 이루어진 디스크의 표면에 형성되고, 각 트랙은 각도 방향으로 16 섹터(Se)로 분할된다. 따라서, 상기 프로그램을 저장하는 플렉서블 디스크에 있어서, 상기 프로그램은 플렉서블 디스크 바디(FD)에 할당된 영역에 기록된다.

또한, 도 27C는, 플렉서블 디스크 바디(FD)가 프로그램을 기록 및 재생하는 구조를 도시한다. 화상 부호화 장치 및 화상 복호화 장치를 실현하기 위한 상기 프로그램이 플렉서블 디스크 바디(FD) 상에 기록될 경우, 프로그램은 컴퓨터 시스템으로부터 플렉서블 디스크 드라이브(FDD)를 통해서 기록된다. 또한, 화상 부호화 장치 및 화상 복호화 장치에 의해 행하여지는 프로세싱이, 플렉서블 디스크의 프로그램 시스템 내에 구축될 경우, 프로그램은 플렉서블 디스크로부터 플렉서블 디스크 드라이브를 통해서 판독되고, 컴퓨터 시스템(Cs)으로 전송된다.

상기한 설명은 기록 매체로서 플렉서블 디스크를 사용한다고 설명하였지만, 그 대신에 광학 디스크를 사용하는 것도 가능함에 주의한다. 기록 매체는 상기한 바로 제한되지 않으며, IC 카드 혹은 ROM 카세트와 같은, 프로그램을 기록할 수 있는 어떠한 것이라도 될 수 있음에 또한 주의한다.

상기한 바와 같이, 본 발명에 따르면, 화상 부호화 장치는 RAU 맵을 RAU의 헤더에 더하고, 화상 복호화 장치는 상기한 더하여진 RAU 맵을 각 화상의 복호화 전에 참조하여서, 복호화 동작들을 줄이는 것이 가능하고, 특히 특별 재생 기능이 중요한 패키지화된 매체의 재생 품질을 향상시키는 것이 가능하다. 따라서, 본 발명은 매우 실용적인 가치를 가진다.

상기한 바와 같이, 본 발명은, 상기 실시 형태들 및 각 변형예들을 사용하여 설명되었지만, 본 발명은 상기한 바로 제한되지는 않는다. 이는 즉, 본 발명을 실현하기 위해서, 당업자가 상기 실시 형태들 및 변형예들을 결합하거나 혹은 본 발명을 그 밖의 종래의 기술과 결합하는 것이, 상기 결합이 사리에 맞는 한, 가능하 다는 것을 의미한다.

블록도들(예를 들면, 도 10 및 17)에서 도시된 각 기능 블록은, 전형적인 집적 회로인 고밀도 집적 회로(LSI)로 실현되었다. 이 기능 블록들은 개별적으로, 혹은 이들의 일부 또는 전부가 단일 칩에 집적될 수도 있다(예를 들면, 메모리를 제외한 기능 블록들은 단일 칩으로 집적될 수 있다.).

집적 회로는, 집적 정도에 따라서 IC, 시스템 LSI, 슈퍼 LSI 혹은 울트라 LSI로 칭할 수 있다.

집적 회로 기술은 LSI에 제한되지 않으며, 전용 회로 혹은 범용 프로세서로 구현될 수도 있다. 또한, LSI를 제조한 후에 프로그램이 가능한 FPGA(Field Programmable Gate Array), 혹은 LSI 내부의 회로 셀의 셋팅 및 연결을 재구성할 수 있는 재구성 가능 프로세서(reconfigurable processor)를 사용하는 것도 가능하다.

또한, 반도체 기술 혹은 그 파생 기술의 진보에 기인하여서 LSI를 대체하는 직접 회로 신기술이 나타나면, 물론, 동봉된 기능 블록들을 집적 회로로 구현하는 데에 이와 같은 기술들을 사용하는 것이 가능하다. 예를 들면, 상기 구현에 생명 공학, 유기 화학 기술 등이 적용될 수 있다.

기능 블록들 중에서, 부호화 및 복호화될 데이터를 저장하기 위한 유닛만이 칩에 집적되지 않지만, 다른 기능으로서 실현됨에 주의한다.

본 발명에 따른 화상 부호화 장치 및 화상 복호화 장치는, VC-1 스트림 등의 재생에서, 고속 재생과 같은 특별 재생 기능을 가지는 모든 장치에 적용될 수 있으며, 특별 재생 기능이 중요한 광 디스크 주변 장치에 특히 유용하다.

Claims (17)

1. 하나 이상의 화상들을 포함하는 각 액세스 유닛의 각 화상을 부호화함에 의해, 부호화된 화상 신호를 생성하는 화상 부호화 장치로서,

   상기 액세스 유닛이 또 다른 액세스 유닛을 참조하여 부호화되는 것이 가능한 오픈 타입 액세스 유닛이면, 어떤 다른 화상도 참조하지 않고 독립적으로 복호화되는 것이 가능하고, 상기 부호화된 화상 신호의 액세스 유닛에서, 복호화 순서로 첫 번째 화상으로서 위치하는 선두 화상보다 디스플레이 순서로 앞에 위치하는 독립 화상을 생성하도록 부호화될 화상을 부호화하도록 동작 가능한 부호화 유닛;

   상기 부호화된 화상 신호의 액세스 유닛에 대해, 상기 독립 화상이 디스플레이 순서로 상기 선두 화상 바로 앞에 위치하는지 여부를 나타내는 보충 정보를 생성하도록 동작 가능한 정보 생성 유닛; 및

   상기 정보 생성 유닛에 의해 생성된 상기 보충 정보를 상기 부호화된 화상 신호의 액세스 유닛에 기록하도록 동작 가능한 기록 유닛

   을 포함하는, 화상 부호화 장치.
2. 청구항 1에 있어서,

   상기 정보 생성 유닛이, 상기 독립 화상이 디스플레이 순서로 상기 선두 화상 바로 앞에 위치하는지 여부를 나타내는 플래그 및 디스플레이 순서로 상기 선두 화상 바로 앞에 위치하는 연속되는 상기 독립 화상들의 수를 포함하는 상기 보충 정보를 생성하도록 동작 가능한, 화상 부호화 장치.
3. 청구항 1에 있어서,

   상기 정보 생성 유닛이, 상기 부호화된 화상 신호의 액세스 유닛에 포함된 상기 각 화상의 화상 타입을 복호화 순서로 혹은 디스플레이 순서로 나타내는 보충 정보를 생성하도록 동작 가능한, 화상 부호화 장치.
4. 청구항 3에 있어서,

   상기 기록 유닛이, 상기 부호화된 화상 신호의 액세스 유닛에 포함된 임의의 화상의 앞 위치에 상기 보충 정보를 기록하도록 동작 가능한, 화상 부호화 장치.
5. 청구항 1에 있어서,

   상기 부호화 유닛이, 상기 독립 화상이 액세스 유닛에서 디스플레이 순서로 선두 내부-부호화된 화상보다 선행하고 액세스 유닛에서 복호화 순서로 선두 내부-부호화된 화상보다 후행하며 상기 독립 화상의 모든 매크로블록들이 내부-부호화되는 특성들을 지니는 독립 화상을 생성하도록 동작 가능하고, 상기 특성들을 나타내는 화상 타입의 정보를 상기 독립 화상에 추가하도록 동작 가능한, 화상 부호화 장치.
6. 각 액세스 유닛이 하나 이상의 화상들을 포함하는 부호화된 화상 신호를 복 호화하는 화상 복호화 장치로서,

   상기 부호화된 화상 신호의 액세스 유닛은, 상기 액세스 유닛에서 디스플레이 순서로 선두 화상 바로 앞에 독립 화상이 위치하는지 여부를 나타내는 보충 정보를 저장하고, 상기 독립 화상은 복호화 순서로 첫 번째 화상으로서 위치하는 선두 화상보다 디스플레이 순서로 앞에 위치하고 어떤 다른 화상도 참조하지 않고 독립적으로 복호화되는 것이 가능하며,

   상기 화상 복호화 장치는:

   상기 액세스 유닛이, 또 다른 액세스 유닛을 참조하여 복호화되는 것이 가능한 오픈 타입 액세스 유닛인지 아닌지를 결정하도록 동작 가능한 타입 결정 유닛;

   상기 타입 결정 유닛에서 상기 액세스 유닛이 오픈 타입 액세스 유닛이라고 결정하면, 상기 액세스 유닛으로부터 상기 보충 정보를 획득하도록 동작 가능한 정보 획득 유닛;

   상기 정보 획득 유닛에 의해 획득된 상기 보충 정보를 참조하여 상기 액세스 유닛으로부터 복호화될 화상을 추출하도록 동작 가능한 추출 유닛; 및

   상기 추출 유닛에 의해 추출된 화상을 복호화하도록 동작 가능한 복호화 유닛

   을 포함하는, 화상 복호화 장치.
7. 청구항 6에 있어서,

   상기 추출 유닛이,

   상기 보충 정보를 참조하여 디스플레이 순서로 상기 선두 화상 바로 앞에 상기 독립 화상이 위치하는지 여부를 결정하고,

   상기 결정에서, 상기 독립 화상이 디스플레이 순서로 상기 선두 화상 바로 앞에 위치한다고 결정되면, 상기 복호화될 화상으로서 상기 독립 화상을 추출하고, 상기 결정에서, 상기 독립 화상이 디스플레이 순서로 상기 선두 화상 바로 앞에 위치하지 않는다고 결정되면, 상기 복호화될 화상으로서 상기 독립 화상을 추출하지 않도록 동작 가능한, 화상 복호화 장치.
8. 청구항 7에 있어서,

   상기 보충 정보가, 상기 독립 화상이 디스플레이 순서로 상기 선두 화상 바로 앞에 위치하는지 여부를 나타내는 플래그, 및 디스플레이 순서로 상기 선두 화상 바로 앞에 위치하는 연속되는 독립 화상들의 수를 포함하고,

   상기 추출 유닛이,

   상기 보충 정보에 포함된 상기 플래그 및 상기 수를 참조하여 디스플레이 순서로 상기 선두 화상 바로 앞에 위치하는 하나 이상의 연속되는 독립 화상들이 존재하는지 여부를 결정하고;

   상기 결정에서, 상기 하나 이상의 연속되는 독립 화상들이 존재한다고 결정되면, 상기 액세스 유닛에 포함된 상기 화상들로부터, 상기 복호화될 화상들로서, 상기 하나 이상의 연속되는 독립 화상들 및 디스플레이 순서로 상기 독립 화상들 뒤에 위치하는 화상들을 추출하고;

   상기 결정에서, 상기 하나 이상의 연속되는 독립 화상들이 존재하지 않는다고 결정되면, 상기 액세스 유닛에 포함된 상기 화상들로부터, 상기 복호화될 화상들로서, 복호화 순서로 위치하는 선두 화상 및 디스플레이 순서로 상기 선두 화상 뒤에 위치하는 화상들을 추출하도록 동작 가능한, 화상 복호화 장치.
9. 청구항 7에 있어서,

   상기 보충 정보가, 상기 액세스 유닛에 포함된 상기 화상의 화상 타입을 복호화 순서로 혹은 디스플레이 순서로 나타내고,

   상기 추출 유닛이,

   상기 보충 정보에 의해 나타내진 상기 각 화상의 화상 타입을 참조하여 디스플레이 순서로 상기 선두 화상 바로 앞에 위치하는 하나 이상의 연속되는 독립 화상들이 존재하는지 존재하지 않는지를 결정하고;

   상기 결정에서, 상기 하나 이상의 연속되는 독립 화상들이 존재한다고 결정되면, 상기 액세스 유닛에 포함된 상기 화상들로부터, 상기 복호화될 화상들로서, 상기 하나 이상의 연속되는 독립 화상들 및 디스플레이 순서로 상기 독립 화상들 뒤에 위치하는 화상들을 추출하고;

   상기 결정에서, 상기 하나 이상의 연속되는 독립 화상들이 존재하지 않는다고 결정되면, 상기 액세스 유닛에 포함된 상기 화상들로부터, 상기 복호화될 화상들로서, 복호화 순서로 위치하는 선두 화상 및 디스플레이 순서로 상기 선두 화상 뒤에 위치하는 화상들을 추출하도록 동작 가능한, 화상 복호화 장치.
10. 각 액세스 유닛이 하나 이상의 화상들을 포함하는 부호화된 화상 신호로서,

    상기 부호화된 화상 신호의 액세스 유닛에서, 독립 화상이 복호화 순서로 첫 번째 화상으로서 위치하는 선두 화상보다 디스플레이 순서로 바로 앞에 위치하는지 여부를 나타내는 보충 정보를 포함하며, 상기 독립 화상은 복호화 순서로 상기 선두 화상 앞에 위치하고 어떤 다른 화상도 참조하지 않고 독립적으로 복호화되는 것이 가능한, 부호화된 화상 신호.
11. 청구항 10에 있어서,

    상기 보충 정보가 상기 액세스 유닛에서 임의의 화상의 앞 위치에 저장되는, 부호화된 화상 신호.
12. 하나 이상의 화상들을 포함하는 각 액세스 유닛의 각 화상을 부호화하여, 부호화된 화상 신호를 생성하는 화상 부호화 방법으로서,

    상기 액세스 유닛이 또 다른 액세스 유닛을 참조하여 부호화되는 것이 가능한 오픈 타입 액세스 유닛이면, 부호화될 화상을 부호화하여서, 상기 부호화된 화상 신호의 액세스 유닛에서, 복호화 순서로 첫 번째 화상으로서 위치하는 선두 화상보다 디스플레이 순서로 앞에 위치하고 어떤 다른 화상도 참조하지 않고 독립적으로 복호화되는 것이 가능한 독립 화상을 생성하는 단계;

    상기 부호화된 화상 신호의 액세스 유닛에 대해, 상기 독립 화상이 디스플레 이 순서로 상기 선두 화상 바로 앞에 위치하는지 여부를 나타내는 보충 정보를 생성하는 단계; 및

    상기 보충 정보를 생성하는 단계에서 생성된 상기 보충 정보를 상기 부호화된 화상 신호의 액세스 유닛에 기록하는 단계

    를 포함하는, 화상 부호화 방법.
13. 각 액세스 유닛이 하나 이상의 화상들을 포함하는 부호화된 화상 신호를 복호화하는 화상 복호화 방법으로서,

    상기 부호화된 화상 신호의 액세스 유닛은, 독립 화상이 상기 액세스 유닛에서 디스플레이 순서로 선두 화상 바로 앞에 위치하는지 여부를 나타내는 보충 정보를 저장하고, 상기 독립 화상은 복호화 순서로 첫 번째 화상으로서 위치하는 선두 화상보다 디스플레이 순서로 앞에 위치하고 어떤 다른 화상도 참조하지 않고 독립적으로 복호화되는 것이 가능하며,

    상기 화상 복호화 방법은:

    상기 액세스 유닛이, 또 다른 액세스 유닛을 참조하여 복호화되는 것이 가능한 오픈 타입 액세스 유닛인지 아닌지를 결정하는 단계;

    상기 결정에서, 상기 액세스 유닛이 오픈 타입 액세스 유닛이라고 결정되면, 상기 액세스 유닛으로부터 상기 보충 정보를 획득하는 단계;

    상기 획득하는 단계에서 획득된 상기 보충 정보를 참조하여 상기 액세스 유닛으로부터 복호화될 화상을 추출하는 단계; 및

    상기 추출하는 단계에서 추출된 상기 화상을 복호화하는 단계

    를 포함하는, 화상 복호화 방법.
14. 하나 이상의 연속되는 화상들을 포함하는 각 액세스 유닛의 각 화상을 부호화하여, 부호화된 화상 신호를 생성하는 프로그램으로서,

    상기 액세스 유닛이 또 다른 액세스 유닛을 참조하여 부호화되는 것이 가능한 오픈 타입 액세스 유닛이면, 부호화될 화상을 부호화하여서, 상기 부호화된 화상 신호의 액세스 유닛에서, 복호화 순서로 첫 번째 화상으로서 위치하는 선두 화상보다 디스플레이 순서로 앞에 위치하고 어떤 다른 화상도 참조하지 않고 독립적으로 복호화되는 것이 가능한 독립 화상을 생성하는 단계;

    상기 부호화된 화상 신호의 액세스 유닛에 대해, 상기 독립 화상이 디스플레이 순서로 상기 선두 화상 바로 앞에 위치하는지 여부를 나타내는 보충 정보를 생성하는 단계; 및

    상기 보충 정보를 생성하는 단계에서 생성된 상기 보충 정보를 상기 부호화된 화상 신호의 액세스 유닛에 기록하는 단계

    를 컴퓨터가 실행하도록 하는, 프로그램.
15. 각 액세스 유닛이 하나 이상의 화상들을 포함하는 부호화된 화상 신호를 복호화하는 프로그램으로서,

    상기 부호화된 화상 신호의 액세스 유닛은, 독립 화상이 상기 액세스 유닛에 서 디스플레이 순서로 선두 화상 바로 앞에 위치하는지 위치하지 않는지를 나타내는 보충 정보를 저장하고, 상기 독립 화상은 복호화 순서로 첫 번째 화상으로서 위치하는 선두 화상보다 디스플레이 순서로 앞에 위치하고 어떤 다른 화상도 참조하지 않고 독립적으로 복호화되는 것이 가능하며,

    상기 프로그램은:

    상기 액세스 유닛이, 또 다른 액세스 유닛을 참조하여 복호화되는 것이 가능한 오픈 타입 액세스 유닛인지 아닌지를 결정하는 단계;

    상기 결정에서, 상기 액세스 유닛이 오픈 타입 액세스 유닛이라고 결정되면, 상기 액세스 유닛으로부터 상기 보충 정보를 획득하는 단계;

    상기 획득하는 단계에서 획득된 상기 보충 정보를 참조하여, 상기 액세스 유닛으로부터 복호화될 화상을 추출하는 단계; 및

    상기 추출하는 단계에서 추출된 상기 화상을 복호화하는 단계

    를 컴퓨터가 실행하도록 하는, 프로그램.
16. 하나 이상의 화상들을 포함하는 각 액세스 유닛의 각 화상을 부호화함에 의해, 부호화된 화상 신호를 생성하는 집적회로로서,

    상기 액세스 유닛이 또 다른 액세스 유닛을 참조하여 부호화되는 것이 가능한 오픈 타입 액세스 유닛이면, 부호화된 화상 신호의 액세스 유닛에서, 복호화 순서로 첫 번째 화상으로서 위치하는 선두 화상보다 디스플레이 순서로 앞에 위치하고 어떤 다른 화상도 참조하지 않고 독립적으로 복호화되는 것이 가능한 독립 화상 을 생성하도록 부호화될 화상을 부호화하도록 동작 가능한 부호화 유닛;

    상기 부호화된 화상 신호의 액세스 유닛에 대해, 상기 독립 화상이 디스플레이 순서로 상기 선두 화상 바로 앞에 존재하는지 여부를 나타내는 보충 정보를 생성하도록 동작 가능한 정보 생성 유닛; 및

    상기 정보 생성 유닛에 의해 생성된 상기 보충 정보를 상기 부호화된 화상 신호의 액세스 유닛에 기록하도록 동작 가능한 기록 유닛

    을 포함하는, 집적회로.
17. 각 액세스 유닛이 하나 이상의 화상들을 포함하는 부호화된 화상 신호를 복호화하는 집적회로로서,

    상기 부호화된 화상 신호의 액세스 유닛은, 상기 액세스 유닛에서 독립 화상이 디스플레이 순서로 선두 화상 바로 앞에 위치하는지 여부를 나타내는 보충 정보를 저장하고, 상기 독립 화상은 복호화 순서로 첫 번째 화상으로서 위치하는 선두 화상보다 디스플레이 순서로 앞에 위치하고 어떤 다른 화상도 참조하지 않고 독립적으로 복호화되는 것이 가능하며,

    상기 집적회로는:

    상기 액세스 유닛이, 또 다른 액세스 유닛을 참조하여 복호화되는 것이 가능한 오픈 타입 액세스 유닛인지 아닌지를 결정하도록 동작 가능한 타입 결정 유닛;

    상기 타입 결정 유닛에서 상기 액세스 유닛이 오픈 타입 액세스 유닛이라고 결정하면, 상기 액세스 유닛으로부터 상기 보충 정보를 획득하도록 동작 가능한 정 보 획득 유닛;

    상기 정보 획득 유닛에 의해 획득된 상기 보충 정보를 참조하여, 상기 액세스 유닛으로부터 복호화될 화상을 추출하도록 동작 가능한 추출 유닛; 및

    상기 추출 유닛에 의해 추출된 화상을 복호화하도록 동작 가능한 복호화 유닛

    을 포함하는, 집적회로.

Images