KR100563754B1 - 이미지 신호를 다중화하는 방법 및 시스템, 이미지 신호를 역다중화하는 방법 및 시스템 및, 전송 매체 - Google Patents

Abstract

장면 기술자(SD), 오브젝트 기술자(OD)들 및 각 비트스트림들(ES)은 역다중화 회로에 의해 분리되고, 각 비트스트림(ES)들은 디코더들(207-1 내지 207-n)에 의해 디코딩된다. 디코더로들부터의 출력 데이터 내에서, 동일한 오브젝트 기술자(OD)와 연관된 출력 데이터(동일한 오브젝트를 구성하는 출력 데이터)는 믹서 회로(261)에 의해 혼합된다. 이어서, 혼합된 출력 데이터는 대응하는 노드가 공급되는 합성기 회로(252)의 오브젝트 합성기 회로(271-i)로 공급된다. 이때, 오브젝트 합성기 회로(271-i)는 한 이미지를 하나의 오브젝트에 대응시켜 텍스처 맵핑 을 실행한다.

다중화 회로, 역다중화 회로, 비트스트림, IDCT 회로, 디코더

Description

이미지 신호를 다중화하는 방법 및 시스템, 이미지 신호를 역다중화하는 방법 및 시스템 및, 전송 매체{Method and system for multiplexing image signal, method and system for demultiplexing image signal, and transmission medium}

본 발명은 이미지 신호 다중화 장치 및 방법, 이미지 신호 역다중화 장치 및 방법, 전송 매체에 관한 것으로, 특히, 광자기 디스크, 자기 테이프 등과 같은 기록 매체에 기록되거나 그러한 기록 매체로부터 재생되어 디스플레이 상에 표시되는 데이터 및 텔레비전 회의 시스템, 텔레비전 전화 시스템, 방송 설비, 멀티미디어 데이터 베이스 탐색 시스템 등과 같은 수신측 상에 표시되고, 편집되고 기록되는 전송 경로를 통해 전송측으로부터 수신측까지 전송된 데이터에 사용하기에 적절한 이미지 신호 다중화 장치 및 방법, 이미지 신호 역다중화 장치 및 방법, 전송 매체에 관한 것이다.

예로, 텔레비전 대화 시스템, 텔레비전 전화 시스템 등과 같은 동화상 신호를 원격 위치로 전송하는 시스템에서, 이미지 신호는 전송 경로를 효과적으로 활용하기 위해서 이미지 신호의 라인 상관 및 인트라 프레임 상관을 활용하여 압축 인코딩된다.

또한 최근 몇 년 동안, 컴퓨터들의 처리 성능이 개선됨에 따라, 컴퓨터를 사용하는 동화상 정보 단말기가 더욱더 널리 퍼지게 되었다. 그러한 시스템에서, 정보는 네트워크와 같은 전송 경로를 통해 원격 위치로 전송된다. 유사하게, 이 경우, 이미지 신호들, 오디오 신호들 및 전송될 데이터와 같은 신호들은 전송 경로를 효과적으로 활용하기 위해 전송을 위해 압축 인코딩된다.

단말기측에서, 단말기측에 전송된 압축 신호는 단말기에 구비되어 있는 디스플레이, 스피커 등에 출력되는 원래의 이미지 신호들, 오디오 신호들, 데이터 등을 복원하기 위해 소정의 방법에 기초하여 디코딩된다. 종래 기술에서, 전송된 이미지 신호 등은 주로 디스플레이 장치에 출력되었고, 반면에, 컴퓨터-기반 정보단말기에서는, 다수의 이미지 신호들, 오디오 신호들 및 데이터는 그들이 변환된 후에 2차원 또는 3차원 공간에 표시될 수 있다. 이러한 처리는 전송측에서 소정의 방법으로 2차원 및 3차원 공간 상의 정보를 기술하고, 예를 들어, 단말기에 대한 기술에 따라 표시하기 위해 이미지 신호들에 대해 소정의 변환 처리를 수행함으로써 실현될 수 있다.

이러한 공간 정보를 기술하는 대표적인 방법은, 예를 들어, VRML(Virtual Reality Modelling Language)이 있다. 이것은 ISO-IEC_JTC1/SC24로 표준화되어 있고, 그 최신 버전 VRML2.0은 ISI4772에 기술되어 있다. VRML은 3차원 공간을 기술하기 위한 언어로, 3차원 공간의 속성들, 형태 등을 기술하기 위한 데이터의 집합이 규정되어 있다. 이 데이터의 집합은 노드라고 일컬어진다. 3차원 공간을 기술하는 것은 이 미리 규정된 노드들이 어떻게 합성되는지를 기술하는 것을 포함한다. 하나의 노드에 대해, 칼라, 텍스처 등과 같은 속성들을 표시하는 데이터와 폴리곤 형태를 표시하는 데이터가 규정된다.

컴퓨터-기반 정보 단말기에서, 소정의 오브젝트는 상술된 VRML과 같은 기술에 따라 폴리곤 등을 사용하여 CG(컴퓨터 그래픽)에 의해 생성된다. VRML에서는, 또한 생성된 폴리곤들로 구성된 3차원 오브젝트에 텍스처를 맵팽하는 것이 가능하다. 맵핑될 텍스처가 정지 화상일 때는 텍스처(Texture)라고 하는 노드가 규정되고, 맵핑될 텍스처가 동화상일 때는 무비 텍스처(Movie Texture)라고 하는 노드가 규정되며, 맵핑될 텍스처에 관한 정보(파일명, 디스플레이 개시 및 종료 시간 등)가 그 노드에 기술된다.

여기서, 텍스처의 맵핑(이하, 적절히 텍스처 맵핑이라고 함)은 도 14를 참조하여 기술될 것이다. 먼저, 맵핑될 텍스처(이미지 신호) 및 그 투과도를 나타내는 신호(키 신호), 및 3차원 오브젝트 정보는 외부로부터 입력되어, 메모리들(151)의 그룹에서 소정의 저장 영역에 저장된다. 텍스처는 텍스처 메모리(152)에, 투과도를 나타내는 신호는 그레이 스케일 메모리(153)에, 3차원 오브젝트 정보는 3차원 정보 메모리(154)에 저장된다. 여기서, 3차원 오브젝트 정보는 폴리곤들의 형태에 관한 정보, 휘도에 관한 정보 등을 일컫는다.

렌더링 회로(155)는 메모리들(151)의 그룹에 기록된 소정의 3차원 오브젝트 정보에 기초하여 폴리곤들을 사용하여 3차원 오브젝트를 형성한다. 렌더링 회로(155)는 소정의 텍스처 및 3차원 오브젝트 정보에 기초하여 메모리(152)와 메모리(153)로부터 그 투과도를 나타내는 신호를 판독하고, 텍스처를 3차원 오브젝트에 맵핑한다. 투과도를 나타내는 신호는 대응 위치에서의 텍스처의 투과도를 나타내고, 따라서, 대응 위치에서의 텍스처가 맵핑되는 위치에서의 오브젝트의 투과도를 나타낸다. 렌더링 회로(155)는 텍스처가 맵핑된 오브젝트의 신호를 2차원 변환 회로(156)에 공급한다. 2차원 변환 회로(156)는 이어서 외부로부터 공급된 시점(view point) 정보에 기초하여, 3차원 오브젝트를 2차원 평면에 맵핑함으로써 생성된 2차원 이미지 신호로 변환한다. 2차원 이미지 신호로 변환된 3차원 오브젝트는 또한 외부로 출력된다. 텍스처는 정지 화상일 수도 있고 동화상일 수도 있다. 동화상의 경우, 맵팽될 동화상의 이미지 프레임이 변경될 때마다 상기 동작이 수행된다.

VRML은 또한 맵핑될 텍스처들에 대한 포맷들로서, 정지 화상들에 대한 고능률 코딩 방법인 JPEG(Joint Photographic Experts Group)과, 동화상 코딩 방법인 MPEG(Moving Picture Experts Group)과 같은 압축 이미지 포맷들을 지원한다. 이 경우, 텍스처(이미지)는 소정의 압축 방법에 기초한 디코딩 처리에 의해 디코딩되고, 디코딩된 이미지 신호는 메모리들의 그룹(151)에서 메모리(152)에 기록된다.

렌더링 회로(155)에서, 메모리(152)에 기록된 텍스처는, 이미지의 포맷이 무엇인지, 동화상인지 정지 화상인지 또는 그 내용과 무관하게 맵핑된다. 메모리에 저장된 하나의 텍스처는 어떤 하나의 폴리곤에 언제나 맵핑될 수 있으며, 따라서, 다수의 텍스처들은 단일 폴리곤에 맵핑될 수 없다.

이러한 3차원 정보 및 텍스처 정보가 전송 경로를 통해 전송될 때, 정보는 전송 경로를 효과적으로 활용하기 위해서 전송 전에 압축되어야 한다. 특히, 동화상이 3차원 오브젝트에 맵핑될 때, 그리고 다른 유사한 경우에, 전송 전에 동화상을 압축하는 것은 필수적이다.

예를 들어, 상술된 MPEG 방법은 ISO-IEC/JTC1/SC2/WG11에 기술되어 있고, 표준 계획으로서 제안되어 있으며, 움직임 보상 차동 펄스 코드 변조 및 DCT(이산 코사인 변환) 인코딩의 조합인 하이브리드 방법도 사용되고 있다. MPEG는 다양한 응용들과 기능들을 지원하기 위한 여러 프로파일들과 레벨들을 규정한다. 가장 기본적인 것은 메인 프로파일 메인 레벨(MP@ML)이다.
MPEG 방법의 MP@ML용 인코더의 예시적인 구성이 도 15를 참조하여 기술된다. 입력 이미지 신호는 먼저 프레임 메모리들(1)의 그룹에 입력되어, 소정의 순서로 저장된다. 인코딩될 이미지 데이터는 매크로블록 단위로 움직임 벡터 검출기 회로(2)에 입력된다. 움직임 벡터 검출기 회로(2)는 미리 설정된 소정의 시퀀스에 따라 I-화상, P-화상, B-화상으로서 각 프레임의 이미지 데이터를 처리한다. 순차적으로 입력된 각 프레임들의 이미지들이 I-화상으로 처리되어야 하는지, P-화상으로 처리되어야 하는지 또는 B-화상으로 처리되어야 하는지는 미리 결정되어 있다(예를 들어, I, B, P, B, P, ..., B, P의 순서로 처리된다).

움직임 벡터 검출기 회로(2)는 움직임 벡터를 검출하기 위해 미리 규정된 소정의 기준 프레임을 참조하여 움직임 보상을 수행한다. 움직임 보상(인터프레임 예측)은 전방 예측, 후방 예측, 양방향 예측의 3개의 모드들을 가진다. P-화상에 대한 예측 모드는 단지 전방 예측이며, 반면, B-화상들에 대한 예측 모드들은 3가지의 종류, 즉, 전방 예측, 후방 예측, 양방향 예측이다. 움직임 벡터 검출기 회로(2)는 예측 에러를 최소화하는 예측 모드를 선택하고, 선택된 예측 모드에 의해 예측 벡터를 생성한다.

이때, 예측 에러가, 예를 들어, 인코딩될 매크로블록의 변화와 비교되며, 매크로블록의 변화가 작을 때는 그 매크로블록에 대해 예측이 행해지지 않으며 대신 인트라프레임 인코딩가 수행되도록 한다. 이 경우, 예측 모드는 인트라-이미지 인코딩(인트라)이다. 움직임 벡터 및 예측 모드는 가변 길이 인코더 회로(6) 및 움직임 보상 회로(12)에 입력된다.

움직임 보상 회로(12)는 입력된 움직임 벡터에 기초하여, 예측된 이미지 데이터를 생성하며, 예측된 이미지 데이터를 계산 회로(3)에 입력한다. 계산 회로(3)는 인코딩될 매크로블록의 값과 예측 이미지의 값 사이의 차 데이터를 계산하고, 차 데이터를 DCT 회로(4)에 출력한다. 인트라-매크로블록에서, 계산 회로(3)는 인코딩될 매크로블록의 신호를 DCT 회로에 출력한다.

DCT 회로는 DCT 계수로 변환되는 입력 신호에 대한 DCT(이산 코사인 변환)를 수행한다. 이 DCT 계수는 전송 버퍼(7)에 저장된 데이터량(버퍼 저장량)에 대응하는 양자화 스텝으로 DCT 계수를 양자화하는 양자화 회로(5)에 입력되고, 양자화 데이터는 가변 길이 인코더 회로(6)에 입력된다.

가변 길이 인코더 회로(6)는 양자화 회로(5)로부터 공급된 양자화 데이터(I-화상에 관한 데이터)를, 양자화 회로(5)로부터 공급된 양자화 스텝(스케일)에 대응하는, 호프만 코드와 같은 가변 길이 코드로 변환하고, 가변 길이 코드를 전송 버퍼(7)에 출력한다. 가변 길이 인코더 회로(6)에는 또한 양자화 회로(5)로부터의 양자화 스텝(스케일), 움직임 벡터 검출기 회로(2)로부터의 예측 모드(인트라-이미지 예측, 전방 예측, 후방 예측, 양방향 예측을 나타내는 모드가 설정되어 있음), 및 움직임 벡터가 공급되며, 이들 모두는 또한 가변 길이 인코딩된다.

전송 버퍼(7)는 입력된 인코딩 데이터를 일시적으로 저장하며, 저장량에 대응하는 데이터를 양자화 회로(5)에 출력한다. 나머지 데이터량이 허용 가능한 상한값으로 증가할 때, 전송 버퍼(7)는 양자화 데이터의 데이터량을 감소시키기 위해 양자화 제어 신호를 통해 양자화 회로(5)의 양자화 스케일을 증가시킨다. 반대로, 나머지 데이터량이 허용 가능한 하한값으로 감소할 때, 전송 버퍼(7)는 양자화 데이터의 데이터량을 증가시키기 위해 양자화 제어 신호를 통해 양자화 회로(5)의 양자화 스케일을 감소시킨다. 이러한 방법으로, 전송 버퍼(7)는 오버플로우 및 언더플로우가 발생하는 것을 방지한다. 이어서, 전송 버퍼(7)에 저장된 인코딩 데이터는 소정 타이밍에서 판독되며, 비트스트림으로서 전송 경로에 출력된다. 한편, 양자화 회로(5)로부터 출력된 양자화 데이터는 역양자화 회로(8)에 입력되고, 양자화 회로(5)로부터 공급된 양자화 단계에 대응하여 역양자화된다. 역양자화 회로(8)로부터의 출력 데이터(역양자화에 의해 유도된 DCT 계수)는 IDCT(역 DCT) 회로(9)에 입력된다. IDCT 회로(9)는 입력된 DCT 계수에 역 DCT를 적용하고, 유도된 출력 데이터(차 데이터)는 계산 회로(10)에 공급된다. 계산 회로(10)는 움직임 보상 회로(12)로부터 예측 이미지 데이터 및 차 데이터를 가산하며, 그 결과로 생긴 출력 이미지 데이터는 프레임 메모리(FM)(11)에 저장된다. 인트라-매크로블록에서, 계산 회로(10)는 IDCT 회로(9)로부터의 출력 데이터를 그대로 프레임 메모리(11)에 공급한다.

다음에, MPEG의 MP@ML용 디코더의 예시적인 구성이 도 16을 참조하여 기술된다. 전송 경로를 통해 전송된 인코딩 이미지 데이터(비트스트림)가 수신기 회로(도시되지 않음)에 의해 수신되고, 재생 유닛에 의해 재생되고, 일시적으로 수신 버퍼(21)에 저장된 다음, 인코딩 데이터로서 가변 길이 디코더 회로(22)에 공급된다. 가변 길이 디코더 회로(22)는 수신 버퍼(21)로부터 공급된 인코딩 데이터를 가변 길이 디코딩하여, 움직임 보상 회로(27)에 움직임 벡터 및 예측 모드를 출력하고 역양자화 회로(23)에 양자화 스텝을 출력하며, 역양자화 회로(23)에 디코딩된 양자화 데이터를 출력한다.

역양자화 회로(23)는 가변 길이 디코더 회로(22)로부터 유사하게 공급된 양자화 스텝에 따라 가변 길이 디코더 회로(22)로부터 공급된 양자화 데이터를 역양자화하고, 출력 데이터(역양자화에 의해 유도된 DCT 계수)를 IDCT 회로(24)에 출력한다. 역양자화 회로(23)로부터 출력된 출력 데이터(DCT 계수)는 IDCT 회로(24)에서 역 DCT 처리가 행해지고, 출력 데이터(차 데이터)는 계산 회로(25)에 공급된다.

IDCT 회로(24)로부터 출력된 출력 데이터가 I-화상에 관한 데이터일 때, 그 출력 데이터는 이미지 데이터로서 계산 회로(25)로부터 출력되고, 이어서 계산 회로(25)에 입력된 이미지 데이터(P-화상 또는 B- 화상에 관한 데이터)에 대해 예측 이미지 데이터를 생성하기 위해 프레임 메모리들(26)의 그룹에 공급되고 저장된다. 이미지 데이터는 재생된 이미지로서 외부로 그대로 출력된다. 한편, IDT 회로(24)로부터 출력된 데이터가 P-화상 또는 B- 화상일 때, 움직임 보상 회로(27)는 가변 길이 디코더 회로(22)로부터 공급된 예측 모드와 움직임 벡터에 따라 프레임 메모리에 저장된 이미지 데이터로부터 예측 이미지 데이터를 생성하고, 예측 이미지 데이터를 계산 회로(25)에 출력한다. 계산 회로(25)는 IDCT 회로(24)로부터 입력된 출력 데이터(차 데이터)와 움직임 보상 회로(27)로부터 공급된 예측 이미지 데이터를 가산하여 출력 이미지 데이터를 유도한다. 한편, P-화상에서, 계산 회로(25)의 출력 데이터는 예측 이미지 데이터로서 프레임 메모리들(26)의 그룹에 저장되고, 다음 디코딩될 이미지 신호에 대한 기준 신호로서 사용된다.

MP@ML 이외의, 여러 프로파일들과 레벨들이 MPEG에 규정되어 있고, 이를 위해 여러 도구들이 제공되어 있다. 또한, 스케일러빌러티(scalabiity)는 그러한 도구들 중 하나이다. 또한, 상이한 이미지 크기들 및 프레임 레이트들에 대응하는 스케일러빌러티를 실현하기 위해 MPEG에는 스케일 가능한 인코딩 방법이 도입되어 있다. 예를 들어, 공간 스케일러빌러티에서, 더 작은 이미지 크기의 이미지 신호는 하위 계층의 비트스트림이 디코딩될 때만 디코딩되며, 더 큰 크기의 이미지 신호는 하위 계층 및 상위 계층의 비트스트림들이 디코딩될 때 디코딩된다.

공간 스케일러빌러티를 위한 인코더는 도 17을 참조하여 기술된다. 공간 스케일러빌러티에서, 하위 계층은 더 작은 이미지 크기의 이미지 신호에 대응하며, 상위 계층은 더 큰 이미지 크기의 이미지 신호에 대응한다.

하위 계층의 이미지 신호는 먼저 프레임 메모리들(1)의 그룹에 입력되며, MP@ML 과 유사한 방식으로 인코딩된다. 그러나, 계산 회로(10)의 출력 데이터는, 이미지 확대 회로(31)에 의해 상위 계층의 이미지 크기와 같은 이미지 크기로 확대된 후에, 프레임 메모리들(11)의 그룹에 공급되어, 하위 계층에 대한 예측 이미지 데이터로서 뿐만 아니라 상위 계층에 대한 예측된 이미지 데이터로 사용된다.

상위 계층의 이미지 신호는 프레임 메모리들(51)의 그룹에 먼저 입력된다. 움직임 벡터 검출기 회로(52)는 MP@ML과 유사한 방식으로 움직임 벡터 및 예측 모드를 결정한다. 움직임 보상 회로(62)는 움직임 벡터 검출기 회로(52)에 의해 결정된 움직임 벡터 및 예측 모드에 따라 예측된 이미지 데이터를 생성하고, 예측 이미지 데이터가 가중 회로(34)에 출력된다. 가중 회로(34)는 예측 이미지 데이터에 가중치 W를 승산하여, 가중된 예측 이미지 데이터를 계산 회로(33)에 출력한다.

계산 회로(10)의 출력 데이터(이미지 데이터)는, 상술된 바와 같이, 프레임 메모리들(11)의 그룹 및 이미지 확대 회로(31)에 입력된다. 이미지 확대 회로(31)는 계산 회로(10)에 의해 생성된 이미지 데이터를 확대하여 상위 계층의 이미지 크기와 동일한 크기를 생성하고, 확대된 이미지 데이터를 가중 회로(32)에 출력한다. 가중 회로(32)는 이미지 확대 회로(31)로부터의 출력 데이터에 가중치 (1-W)를 승산하고, 그 결과로 생긴 데이터를 가중된 예측 이미지 데이터로서 계산 회로(33)에 출력한다.

계산 회로(33)는 가중 회로(32)의 출력 데이터와 가중 회로(34)의 출력 데이터를 가산하고, 그 결과로 생긴 데이터를 예측 이미지 데이터로서 계산 회로(53)에 출력한다. 계산 회로(33)의 출력 데이터는 또한 계산 회로(60)에 입력되고, 역 DCT 회로(59)의 출력 데이터에 가산된 다음, 프레임 메모리들(61)의 그룹에 입력된다. 이어서, 출력 데이터는 인코딩될 이미지 데이터에 대한 예측 기준 데이터 프레임으로서 사용된다. 계산 회로(53)는 인코딩될 이미지 데이터와 계산 회로(33)의 출력 데이터(예측 이미지 데이터) 사이의 차를 계산하고, 이를 차 데이터로서 출력한다. 그러나, 인트라프레임 인코딩 매크로블록에서, 계산 회로(53)는 인코딩될 이미지 데이터를 그대로 DCT 회로(54)에 출력한다.

DCT 회로(54)는 DCT 계수를 생성하기 위해 계산 회로(53)의 출력 데이터에 DCT(이산 코사인 변환)처리를 적용하고, DCT 계수를 양자화 회로(55)에 출력한다. 양자화 회로(55)는, MP@ML에서와 같이, 전송 버퍼(57) 등에 저장된 데이터량에 의해 결정된 양자화 스케일에 따라 DCT 계수를 양자화하여, 양자화된 데이터를 가변 길이 인코더 회로(56)에 출력한다. 가변 길이 인코더 회로(56)는 양자화된 데이터(양자화된 DCT 계수)를 가변 길이 인코딩하여, 이것을 전송 버퍼(57)를 통해 상위 계층에 대한 비트스트림으로서 출력한다.

양자화 회로(55)의 출력 데이터는 또한 양자화 회로(55)에 사용된 양자화 스케일로 역양자화 회로(58)에 의해 역양자화된다. 역양자화 회로(8)의 출력 데이터(역양자화에 의해 유도된 DCT 계수)는 IDCT 회로(59)에 공급되어, IDCT 회로(59)에서 역 DCT 처리가 행해지고, 이어서, 계산 회로(60)에 입력된다. 계산 회로(60)는 계산 회로(33)의 출력 데이터와 역 DCT 회로(59)의 출력 데이터(차 데이터)를 가산하고, 프레임 메모리들(61)의 그룹에 출력 데이터를 입력한다.

가변 길이 인코더 회로(56)에는 또한 움직임 벡터 검출 회로(52)에 의해 검출된 움직임 벡터 및 예측 모드, 양자화 회로(55)에 사용된 양자화 스케일, 및 가중 회로들(34, 32)에서 사용된 가중치(W)가 공급되고, 이들 각각은 인코딩되어 인코딩 데이터로서 버퍼(57)에 공급된다. 인코딩 데이터는 비트스트림으로서 버퍼(57)를 통해 전송된다.

다음에, 공간 스케일러빌러티를 위한 디코더의 예가 도 18을 참조하여 기술된다. 하위 계층의 비트스트림은 수신 버퍼(21)에 입력된 후, MP@ML과 유사한 방식으로 디코딩된다. 계산 회로(25)의 출력 데이터는 외부로 출력되고, 또한 이미지 신호 확대 회로(81)에 의해 상위 계층의 이미지 신호와 동일한 이미지 크기로 확대된 후에, 후속하여 디코딩될 이미지 데이터에 대한 예측 이미지 데이터로서 뿐만 아니라 상위 계층에 대한 예측 이미지 데이터로서 사용하기 위해 프레임 메모리들(26)의 그룹에 저장된다.
상위 계층의 비트스트림은 수신 버퍼(71)를 통해 가변 길이 디코더 회로(72)에 공급되어, 가변 길이 코드가 디코딩된다. 이때, 양자화 스케일, 움직임 벡터, 예측 모드 및 가중 계수가 DCT 계수와 함께 디코딩된다. 가변 길이 디코더 회로(72)에 의해 디코딩된 양자화 데이터는 디코딩된 양자화 스케일을 사용하여 역양자화 회로(73)에서 역양자화되고, 이어서, DCT 계수(역양자화에 의해 유도된 DCT 계수)는 IDCT 회로(74)에 공급된다. 이어서, DCT 계수에는 IDCT 회로(74)에 의해 역 DCT 처리가 행해지고, 출력 데이터가 계산 회로(75)에 공급된다.

움직임 보상 회로(77)는 디코딩된 움직임 벡터와 예측 모드에 따라 예측 이미지 데이터를 생성하고, 예측 이미지 데이터를 가중 회로(84)에 입력한다. 가중 회로(84)는 움직임 보상 회로(77)의 출력 데이터에 디코딩된 가중치 W를 승산하고, 가중된 출력 데이터를 계산 회로(83)에 출력한다.

계산 회로(25)의 출력 데이터는 하위 계층에 대한 재생된 이미지 데이터로서 출력되고, 프레임 메모리들(26)의 그룹에 출력되고, 동시에 이미지 신호 확대 회로(81)에 의해 상위 계층의 이미지 크기와 동일한 이미지 크기로 확대되고, 가중 회로(28)에 출력된다. 가중 회로(82)는 디코딩된 가중치 W를 사용하여 (1-W)를 이미지 신호 확대 회로(81)의 출력 데이터에 승산하고, 가중된 출력 데이터를 계산 회로(83)에 출력한다.

계산 회로(83)는 가중 회로(84)의 출력 데이터와 가중 회로(82)의 출력 데이터를 가산하고, 가산 결과를 계산 회로(75)에 출력한다. 계산 회로(75)는 IDCT 회로(74)의 출력 데이터와 계산 회로(83)의 출력 데이터를 가산하고, 가산 결과를 상위 계층에 대한 재생 이미지로서 출력하며, 또한 디코딩될 이미지 데이터에 대한 예측 이미지 데이터로서 후에 사용하기 위해 프레임 메모리들(76)의 그룹에 공급한다.

지금까지 휘도 신호에 대한 처리가 설명되었지만, 색 차이(color difference) 신호들도 유사한 방식으로 처리된다. 그러나, 이 경우, 사용되는 움직임 벡터는, 수직 방향 및 수평 방향에서 휘도 신호에 대한 움직임 벡터를 2로 나누어 유도된 것이다. MPEG 방법이 상술되었지만, 다양한 다른 고능률 코딩 방법들이 동화상에 대해 표준화되어 있다. 예를 들어, ITU-T는 통신에 관련된 코딩 방법들에 대한 H.261 및 H262라고 하는 방법들을 규정한다. 이 H.261 및 H263 각각은 기본적으로 MPEG 방법과 유사한 DCT 변환 인코딩 및 움직임 보상 차동 펄스 코드 변조의 조합이어서, 헤더 정보와 같은 세부 사항들이 상이하더라도 유사한 인코더 및 디코더가 사용될 수도 있도록 한다.

또한, 상술된 MPEG 방법에서, MPEG4로 불리는 새로운 능률의 코딩 방법이 동화상 신호들에 대한 표준화 과정에 있다. MPEG4의 중요한 특징은 이미지가 오브젝트들의 단위로 인코딩되고(이미지는 인코딩을 위해 다수의 서브 이미지들로 분할된다) 처리된다는 것이. 디코딩측에서, 각 오브젝트의 이미지 신호들, 즉, 다수의 이미지 신호들이 단일 이미지를 재구성하기 위해 합성된다.

다수의 이미지를 단일 이미지로 합성하기 위한 이미지 합성 시스템은, 예를 들어, 크로마 키라고 하는 방법을 제공한다. 이것은 청색과 같은 특별한 일정 칼라의 배경 앞에서 소정의 오브젝트를 캡쳐하고, 청색 배경 이외의 다른 영역은 추출하고, 추출된 영역을 또다른 이미지에 합성하는 방법이다. 이 경우 추출된 영역을 나타내는 신호를 키 신호라고 한다.

다음에, 합성된 이미지를 인코딩하는 방법이 도 19를 참조하여 기술된다. 이미지 F1은 배경을 나타내고, F2는 전경을 나타낸다. 전경 F2는 특정 칼라의 배경 앞의 이미지를 캡쳐하고, 그 칼라의 배경 이외의 영역을 추출함으로써 생성된 이미지이다. 이 경우, 추출된 영역을 나타내는 신호는 키 신호 K1이다. 합성된 이미지 F3는 이 F1, F2, K1에 의해 합성된다. 이 이미지를 인코딩하기 위해, F3은 MPEG과 같은 코딩 방법에 따라 통상적으로 인코딩된다. 이 경우, 키 신호와 같은 정보가 손실되면, 배경 F1만 변경되고 전경 F2는 변경되지 않고 유지되는 것과 같은 이미지들의 재편집 및 재합성이 어려워진다.

한편, 도 20에 설명된 바와 같이, 이미지 F1, F2 및 키 신호 K1를 개별적으로 인코딩하고 각각의 비트스트림들을 다중화함으로써 이미지 F3의 비트스트림을 재구성하는 것이 가능하다.

도 21은, 도 20에 도시된 방식으로, 재구성된 비트스트림을 디코딩함으로써 합성 이미지 F3을 생성하는 방법을 도시한다. 비트스트림은 분해된 비트스트림 F1, F2, K1으로 역다중화되고, 이들 각각은 디코딩된 이미지 F1', F2' 및 디코딩된 키 신호 K1'을 생성하기 위해 디코딩된다. 이 경우, F1' 및 F2'는 디코딩된 합성 이미지 F3'을 생성하기 위해 키 신호 K1'에 따라 합성될 수 있다. 이 경우, 동일한 비트스트림 내에서 배경 F1만이 변경되고 전경 F2는 변경되지 않고 유지되는 것과 같은 재편집 및 재합성이 수행될 수 있다.

MPEG4에서, 상술된 바와 같이, 합성된 이미지들로 이루어지는 이미지 F1, F2와 같은 각각의 이미지 시퀀스들을 V0(비디오 오브젝트)라고 한다. 또한, 어떤 시간에서의 V0의 이미지 프레임을 V0P(비디오 오브젝트 플레인)라고 한다. V0P는 휘도 및 색 차이 신호들과 키 신호로 이루어진다. 이미지 프레임은 소정 시간에서의 이미지를 말하며, 이미지 시퀀스는 상이한 시간들에서의 이미지 프레임들의 집합을 말한다. 한편, 각 V0는 상이한 시간들에서의 V0P들의 집합이다. 각각의 V0들은 시간에 의존하여 상이한 크기 및 위치를 가진다. 즉, 심지어는 동일한 V0에 속하는 V0P들이 크기 및 위치가 다를 수도 있다.

도 22 및 도 23은, 상술한 바와 같이, 오브젝트 단위로 이미지를 인코딩 및 디코딩하는 인코더 및 디코더의 구성을 도시한다. 도 22는 인코더의 예를 도시한다. 입력 이미지 신호는 먼저 V0 구성 회로(101)에 입력된다. V0 구성 회로(101)는 입력 이미지를 각각의 오브젝트들로 분할하고, 각 오브젝트(V0)들을 나타내는 이미지 신호들을 출력한다. V0를 나타내는 각 이미지 신호는 이미지 신호와 키 신호로 구성된다. V0 구성 회로(101)로부터 출력된 이미지 신호들은 V0 구성 회로ㄷ들(102-0 내지 102-n) 각각에 의해 V0마다 출력된다. 예를 들어, VO0의 이미지 신호와 키 신호는 V0P 구성 회로(102-0)에 입력되고, V01의 이미지 신호와 키 신호는 V0P 구성 회로(102-1)에 입력되고, 후속하여, V0n의 이미지 신호와 키 신호는 유사한 방식으로 V0P 구성 회로(102-n)에 입력된다.

V0 구성 회로(101)에서, 예를 들어, 이미지 신호가 도 20에 도시된 바와 같이 크로마 키로부터 생성될 때, 그 V0는 각각의 이미지 신호와 키 신호로 구성된다. 키 신호가 없거나 잃어버린 이미지에 대해서, 그 이미지는 영역들로 분할되고, 소정의 영역이 추출되고, 키 신호가 생성되어 V0를 구성한다. V0P 구성 회로들(102-0 내지 102-n) 각각은 연관된 이미지 프레임으로부터 이미지 내의 오브젝트를 포함하는 최소의 직사각형 부분을 추출한다. 이 경우, 직사각형 부분의 화소들의 수는 수평 및 수직 방향으로 16의 배수이어야 한다. V0P 구성 회로들(102-0 내지 102-n) 각각은 상술된 직사각형으로부터 이미지 신호들(휘도 및 색 차이 신호들) 및 키 신호를 추출하고, 그들을 출력한다. 또한, 각 VOP의 크기를 나타내는 플래그(VOP 크기)와 절대 좌표에서의 V0P 위치를 나타내는 플래그(V0P POS)가 출력된다. V0P 구성 회로들(102-0 내지 102-n)의 출력 신호들은 각각 V0P 인코더 회로들(103-0 내지 103-n)에 입력되어 인코딩된다. V0P 인코더 회로들(103-0 내지 103-n)의 출력들은 다중화 회로(104)에 입력되고 비트스트림으로서 외부로 출력되는 단일 비트스트림으로 조립된다.

도 23은 디코더의 예를 도시한다. 다중화된 비트스트림은 역다중화 회로(111)에 의해 역다중화되어 각 V0들의 비트스트림들로 분해된다. 각 V0들의 비트스트림들은 각각 V0P 디코더 회로들(112-0 내지 112-n)에로 입력되어 디코딩된다. V0P 디코더 회로들(112-0 내지 112-n) 각각은 연관된 V0P의 이미지 신호들과 키 신호, 크기를 나타내는 플래그(V0P 크기), 절대 좌표에서의 위치를 나타내는 플래그(V0P POS)를 디코딩하여, 그들을 이미지 재구성 회로(113)에 입력한다. 이미지 재구성 회로(113)는 각 V0P들의 이미지 신호들, 키 신호들, 크기를 나타내는 플래그, 및 절대 좌표에서의 위치를 나타내는 플래그(V0P POS)를 사용하여 이미지를 합성하고, 재생된 이미지를 출력한다. 다음에, V0P 인코더 회로(103-0)(나머지 V0P 인코더 회로들(103-1 내지 103-n)은 유사한 방식으로 구성된다)가 도 24를 참조하여 기술된다. 각 V0P를 구성하는 이미지 신호들과 키 신호는 이미지 신호 인코더 회로(121)와 키 신호 인코더 회로(122)에 각각 입력된다. 이미지 신호 인코더 회로(121)는, 예를 들어, MPEG 방법과 H.263과 같은 방법에 따라 인코딩 처리를 수행한다. 키 신호 인코더 회로(122)는, 예를 들어, DPCM 등에 따라 인코딩 처리를 수행한다. 또한, 키 신호를 인코딩하기 위해, 차동 신호를 인코딩하기 위해 이미지 신호 인코더 회로(121)에 의해 검출된 움직임 벡터를 사용하여 움직임 보상이 수행되는 방법도 있다. 키 신호 인코딩에 의해 생성된 비트량은 소정 비트 레이트에 도달되도록 이미지 신호 인코더 회로(121)에 입력된다.

인코딩된 이미지 신호들(움직임 벡터 및 텍스처 정보)의 비트스트림과 키 신호의 비트스트림은 그들을 단일 비트스트림으로 다중화하는 다중화 회로(123)에 입력되고, 전송 버퍼(124)를 통해 다중화된 비트스트림을 출력한다.

도 25는 V0P 디코더 회로(112-0)의 구성을 도시한다(나머지 V0P 디코더 회로들(112-1 내지 112-n)은 유사한 방법으로 구성된다). 비트스트림은 먼저 역다중화 회로(131)에 입력되고, 이미지 신호 디코더 회로(132) 및 키 신호 디코더 회로(133)에 의해 각각 디코딩되는 이미지 신호들(움직임 벡터와 텍스처 정보)의 비트스트림 및 키 신호의 비트스트림으로 분해된다. 이 경우, 키 신호가 움직임 보상에 의해 인코딩될 때, 이미지 신호 디코더 회로(132)에 의해 디코딩된 움직임 벡터는 디코딩시 사용하기 위해 키 신호 디코더 회로(133)에 입력된다.

이미지를 V0P마다 인코딩하는 방법이 상술되었지만, 이러한 방법은 현재 ISO-IEC/JTC1/SC29/WG11에 MPEG4로서 표준화 과정에 있다. 상술된 것과 같은 각 V0P들에 대한 능률적인 인코딩 방법은 현재 잘 수립되어 있지 않고, 더구나 스케일러빌러티와 같은 기능들도 현재 수립되어 있지 않다.

이하, 오브젝트 단위로 이미지를 스케일 가능-인코딩하는 방법에 대한 설명이 이루어진다. 상술된 바와 같이, 렌더링 회로(155)는 포맷이 무엇인지, 동화상인지 정지 화상인지, 그리고 그 내용 어느 것과도 무관하게 메모리(152)에 저장된 텍스처를 맵핑한다. 메모리에 저장된 단지 하나의 텍스처는 언제나 하나의 폴리곤에 맵핑되고, 따라서 다수의 텍스처들은 하나의 화소에 맵팽될 수 없다. 많은 경우에, 이미지는 압축된 형태로 전송되고, 따라서 압축된 비트스트림은 단말기측에서 디코딩된 다음, 텍스처 맵핑을 위해 소정의 메모리에 저장된다.

종래 기술에서, 단지 하나의 이미지 신호는 비트스트림을 디코딩함으로써 언제나 생성된다. 예를 들어, MPEG의 MP@ML에 따라 비트스트림이 디코딩될 때, 단일 이미지 시퀀스가 디코딩된다. 또한, MPEG2의 스케일러빌러티에서, 하위 계층의 비트스트림이 디코딩될 때 저화질의 이미지가 생성되고, 하위 및 상위 계층들의 비트스트림들이 디코딩될 때 고화질의 이미지 신호가 생성된다. 이 경우, 결과적으로 하나의 이미지 시퀀스가 디코딩된다.

그러나, 오브젝트 단위로 이미지를 코딩하는 MPEG4와 같은 방법의 경우에는 다른 상황이 발생한다. 보다 구체적으로, 단일 오브젝트가 다수의 비트스트림들로 구성될 수도 있고, 이 경우, 다수의 이미지들이 각 비트스트림에 대해 생성될 수도 있다. 그러므로, VRML 등에서 기술된 3차원 오브젝트에 텍스처가 맵핑될 수 없다. 이 문제를 해결하는 방법으로서, 하나의 VRML 노드(폴리곤)가 하나의 이미지 오브젝트(V0)에 할당되는 것이 고려된다. 예를 들어, 도 21의 경우에, 배경 F'가 하나의 노드에 할당되고, 전경 F2' 및 키 신호 K1'가 하나의 노드에 할당되는 것을 생각할 수 있다. 그러나, 하나의 이미지 오브젝트가 다수의 비트스트림들로 구성되어 디코딩시 그로부터 다수의 이미지들이 생성될 때, 다음의 문제점이 발생한다. 이 문제는 도 26 내지 도 31을 참조하여 설명된다. 3-계층의 스케일 가능 인코딩을 예로 한다. 3-계층 스케일 가능 인코딩에서, 2개의 상위 계층들, 즉, 제 1 상위 계층(개선층(1), 이하, 상위 계층 1이라고 함) 및 제 2 상위 계층(개선층(2), 이하, 상위 계층 2라고 함)이 하위 계층(기본층)에 부가하여 존재한다. 제 1 상위 계층까지 디코딩하여 생성된 이미지와 비교하여, 제 2 상위 계층까지 디코딩하여 생성된 이미지는 개선된 화질을 가진다. 여기서, 개선된 화질은, 공간 스케일 가능 인코딩의 경우에는 공간 해상도, 시간적 스케일 가능 인코딩의 경우에는 프레임 레이트, SNR 스케일 가능 인코딩의 경우에는 이미지의 SNR(신호 대 노이즈비)과 관련된다.

오브젝트 단위로 이미지를 인코딩하는 MPEG4에서, 제 1 상위 계층과 제 2 상위 계층 사이의 관계는 다음과 같이 규정된다:

(1) 제 2 상위 계층은 제 1 상위 계층의 전체 영역을 포함하고, (2) 제 2 상위 계층은 제 1 상위 계층의 일부에 대응하고, (3) 제 2 상위 계층은 제 1 상위 계층보다 넓은 영역에 대응한다.
관계 (3)은 스케일 가능 인코딩이 3 이상의 계층들에 대해 수행될 때 존재한다. 이것은 제 1 상위 계층이 하위 계층의 영역의 일부에 대응하고, 또한 제 2 상위 계층이 하위 계층의 전체 영역을 포함하는 경우, 또는 제 1 상위 계층이 하위 계층의 영역의 일부에 대응하고, 또한 제 2 상위 계층이 제 1 상위 계층보다 넓은 영역에 대응하고, 하위 계층의 영역의 일부에 대응하는 경우이다. 관계 (3)에서, 제 1 상위 계층까지 디코딩할 때, 하위 계층 이미지의 일부에서만 화질이 개선되고, 제 2 상위 계층까지 디코딩할 때, 하위 계층 이미지의 전체 영역에 걸쳐 또는 더 넓은 영역에서 화질이 개선된다. 관계 (3)에서, V0P는 직사각형 형태 또는 임의의 형태를 가질 수도 있다.

도 26 내지 도 31은 3-계층의 공간 스케일 가능 인코딩의 예를 도시한다. 도 26은 관계 (1)에서의 공간 스케일러빌러티의 예를 도시하고, 여기서 V0P들은 모두 직사각형 형태이다. 도 27은 관계 (2)에서의 공간 스케일러빌러티의 예를 도시하고, 여기서, V0P는 직사각형 형태이다. 도 28은 관계 (3)에서의 공간 스케일러빌러티의 예를 도시하고, 여기서, 모든 층들의 V0P들은 직사각형 형태이다. 도 29는 관계 (3)에서 공간 스케일러빌러티의 예를 도시하고, 여기서, 제 1 상위 계층의 V0P는 임의의 형태이고, 하위 계층 및 제 2 상위 계층의 V0P들은 직사각형 형태이다. 도 30 및 도 31은 각각 관계 (1)에서의 공간 스케일러빌러티의 예를 도시하고, 여기서, V0P들은 각각 직사각형 및 임의의 형태이다.

여기서, 도 26에 도시된 바와 같이, 전체 이미지의 화질이 개선될 때, 최고의 화질을 갖는 이미지가 종래의 MPEG2와 같은 스케일 가능 인코딩의 경우에서와 같이 표시되면 된다. 그러나, 오브젝트 단위로 이미지를 코딩하는 MPEG4에서는 도 27 내지 도 29에 도시된 것과 같은 경우들이 존재할 수도 있다. 예를 들어, 도 27의 경우에, 하위 계층 및 상위 계층 1, 2에 대한 비트스트림들이 디코딩될 때, 하위 계층 및 상위 계층 1의 이미지들의 해상도들은 변환되고, 해상도 변환 후의 두 이미지 시퀀스들은 상위 계층 2의 디코딩된 이미지 시퀀스와 합성되어 전체 이미지를 재구성한다. 또한, 도 29의 경우에, 상위 계층 1 및 하위 계층만이 디코딩될 수도 있고, 또한, 상위 계층 1의 이미지는 단지 또다른 비트스트림으로부터 디코딩된 또다른 이미지 시퀀스와의 합성을 위해 출력된다.

상술된 바와 같이, 오브젝트 단위로 이미지를 코딩하는 것은, 단순히 하나의 오브젝트에 하나의 노드를 할당하는 방법이, 하나의 오브젝트에 대해 다수의 이미지들이 생성되는 경우에 이미지를 텍스처로서 오브젝트에 맵핑할 수 없도록 한다고 하는 문제를 함축한다.

본 발명은 상술된 상황을 감안하여 이루어지며, 하나의 오브젝트에 대해 다수의 이미지들이 생성될 때조차, 이미지를 텍스처로서 오브젝트에 맵핑하는 것을 보증하도록 의도된다.

본 발명의 이미지 신호 다중화 장치 및 방법, 및 전송 매체를 통해 전송될 이미지 신호들을 다중화하는 프로그램은, 소정의 오브젝트를 기술하고 상이한 품질을 갖는 다수 계층의 비트스트림들 중에서 소정 오브젝트를 구성하는 스트림들을 선택하기 위한 공간 구성 정보를 선택하고, 선택 수단에 의해 선택된 비트스트림들로 구성되는 오브젝트에 관한 정보를 생성하고, 다중화된 정보를 출력하기 위해, 선택된 공간 구성 정보, 선택된 비트스트림들, 및 오브젝트에 관한 생성된 정보를 다중화하도록 된다.
또한, 본 발명의 이미지 신호 다중화 장치 및 방법, 및 전송 매체를 통해 전송될 이미지 신호들을 다중화하는 프로그램을 전송하는 전송 매체는, 소정 오브젝트를 기술하는 공간 구성 정보, 상이한 품질들을 갖고 소정의 오브젝트를 구성하는 다수 계층의 비트스트림들, 및 상이한 비트스트림들 사이의 의존도 관계를 나타내는 적어도 의존도 정보를 포함하는 오브젝트에 관한 정보를 출력하고, 출력된 공간 구성 정보, 다수 계층의 비트스트림들, 및 오브젝트에 관한 정보를 다중화하여 다중화된 정보를 출력하도록 된다.

또한, 다중화된 이미지 신호를 각각의 신호들로 분리하는 이미지 신호 역다중화 장치 및 방법, 및 전송 매체를 통해 전송된 다중화 신호를 각각의 신호들로 분리하는 프로그램은, 오브젝트를 기술하는 공간 구성 정보, 상이한 품질들을 갖고 오브젝트를 구성하는 다수 계층의 비트스트림들, 및 오브젝트에 관한 정보가 다중화된 다중화 비트스트림으로부터, 오브젝트를 기술하는 공간 구성 정보, 오브젝트를 구성하는 다수 계층의 비트스트림들, 및 상기 오브젝트에 관한 정보로 각각 분리하고, 공간 구성 정보를 분석하고, 다수 계층의 비트스트림들을 디코딩하고, 디코딩된 출력 신호들 내의 동일한 오브젝트에 대응하는 출력 신호들을 혼합하고, 오브젝트에 관한 정보에 기초하여, 혼합된 출력 데이터와 분석된 출력 데이터로부터 이미지 신호를 재구성한다.

또한, 본 발명의 다중화 이미지 신호를 각각의 신호들로 분리하는 이미지 신호 역다중화 장치 및 방법, 및 전송 매체를 통해 전송된 다중화 이미지 신호를 각각의 이미지 신호로 분리하는 프로그램은, 오브젝트를 기술하는 공간 구성 정보, 상이한 품질들을 갖고 오브젝트를 구성하는 다수 계층의 비트스트림들, 및 상이한 비트스트림들 사이의 정보의 의존도 관계를 나타내는 의존도 정보가 다중화되어 전송된 다중화 비트스트림으로부터, 오브젝트를 기술하는 공간 구성 정보, 오브젝트를 구성하는 다수 계층의 비트스트림들, 및 오브젝트에 관한 정보를 분리하고, 소정의 오브젝트를 기술하는 공간 구성 정보, 및 선택 신호와 의존도 정보에 기초하여 오브젝트를 구성하는 다수 계층의 비트스트림들을 선택하도록 제어하고, 선택된 공간 구성 정보를 분석하고, 다수 계층의 비트스트림들을 디코딩하고, 디코딩된 출력 출력 신호들 내의 동일한 오브젝트에 대응하는 출력 신호들을 혼합하고, 오브젝트에 관한 정보에 기초하여, 분석된 출력 데이터와 혼합된 출력 신호로부터 이미지 신호를 재구성한다.

도 1은 본 발명에 따른 이미지 신호 다중화 장치 및 이미지 신호 역다중화 장치의 예시적인 구성을 도시하는 블록도.

도 2는 도 1의 다중화 회로(203)의 예시적인 구성을 도시하는 블록도.

도 3은 도 1의 역다중화 회로(205)의 예시적인 구성을 도시하는 블록도.

도 4는 이미지를 재구성하기 위한 각각의 신호들과 도 1의 재구성 회로(209) 사이의 대응 관계를 도시하는 도면.

도 5는 이미지를 재구성하기 위한 각각의 신호들과 도 1의 재구성 회로(209) 사이의 대응 관계를 도시하는 도면.

도 6은 도 5의 합성 회로(252)의 예시적인 구성을 도시하는 블록도.

도 7은 Object Descriptor의 구조를 도시하는 도면.

도 8은 ES_Descriptor의 구조를 도시하는 도면.

도 9는 ESConFigParams의 구조를 도시하는 도면.

도 10은 동화상에 대한 장면 기술자의 구조를 도시하는 도면.

도 11은 정지 화상에 대한 장면 기술자의 구조를 도시하는 도면.

도 12는 본 발명에 따른 이미지 신호 다중화 장치 및 이미지 신호 역다중화 장치의 다른 예시적인 구성들을 도시하는 블록도.

도 13은 ES_Descriptor의 구조를 도시하는 도면.

도 14는 종래의 오브젝트 합성 회로의 예시적인 구성을 도시하는 도면.

도 15는 종래의 이미지 신호 인코더의 예시적인 구성을 도시하는 도면.

도 16은 종래의 이미지 신호 디코더의 예시적인 구성을 도시하는 도면.

도 17은 종래의 이미지 신호 인코더의 또다른 예시적인 구성을 도시하는 도면.

도 18은 종래의 이미지 신호 디코더의 또다른 예시적인 구성을 도시하는 도면.

도 19는 종래의 이미지들의 합성을 설명하는 도면.

도 20은 이미지들이 어떻게 합성되는지를 설명하는 도면.

도 21은 이미지들이 어떻게 합성되는지를 설명하는 도면.

도 22는 종래의 이미지 신호 인코더의 다른 예시적인 구성을 도시하는 블록도.

도 23은 종래의 이미지 신호 디코더의 다른 예시적인 구성을 도시하는 블록도.

도 24는 도 22의 V0P 인코더 회로(103-0)의 예시적인 구성을 도시하는 블록도.

도 25는 도 23의 V0P 디코더 회로(112-0)의 예시적인 구성을 도시하는 블록도.

도 26은 이미지 오브젝트들을 설명하는 도면.

도 27은 이미지 오브젝트들을 설명하는 도면.

도 28은 이미지 오브젝트들을 설명하는 도면.

도 29는 이미지 오브젝트들을 설명하는 도면.

도 30은 이미지 오브젝트들을 설명하는 도면.

도 31은 이미지 오브젝트들을 설명하는 도면.

실시예

이후에는 첨부된 도면을 참조하여 본 발명의 일 실시예가 상세히 설명될 것이다.

먼저, 제 1 실시예에 따른 비트스트림 다중화 장치 및 역다중화 장치가 도 1을 참조하여 설명된다. 이하에서, 인코딩된 오디오 및 비디오 스트림들(기본 스트림(Elementary Stream, ES))이 소정의 저장 장치(202)에 미리 기록되어 있다고 가정하여 설명된다. 그러나, 이러한 비트스트림들은 저장 장치(22)를 통하는 대신에 비디오 및 오디오 인코더들로부터 다중화 회로(203)에 직접 입력될 수도 있다. 또한, 다음의 설명은 인코딩 및 디코딩 방법으로 MPEG4 방법이 사용된다고 가정하여 이루어지지만. 본 발명은 인코딩를 위해 이미지를 다수의 서브이미지들로 분할하는 한 유사한 방식으로 어떠한 방법들에도 적용될 수 있다.

저장 장치(202)에는 각각의 AV(오디오 및 비디오) 오브젝트들에 대응하는 비트스트림들(ES)(Elementary Stream); 각각의 비트스트림들을 디코딩하기 위해 요구되는 오브젝트 스트림 정보(OI); 및 2차원 및 3차원 장면들(전송될 이미지들에 의해 규정되는 가상 공간들)을 기술하는 장면 기술자들(Scene Descriptor)이 미리 기록되어 있다. 여기서, 오브젝트 스트림 정보(OI)는, 예를 들면, 디코딩을 위해 요구되는 버퍼 크기, 각 액세스 단위(프레임 또는 V0P)에 대한 시간 스탬프(stamp) 등을 포함한다. 이에 대한 상세한 설명은 추후 기술된다.

오브젝트 정보(OI)는 각 AV(오디오 및 비디오) 오브젝트에 대응하는 비트스트림(ES)에 대한 모든 정보를 기술한다. 오브젝트 기술자 발생기 회로(204)는 저장 장치(202)로부터 공급된 OI에 대응하는 오브젝트 기술자 OD(Object Descriptor)를 생성한다.

다중화 회로(203)는, 소정의 순서로, 저장 장치(202)에 기록된 장면 기술자들(SD) 및 비트스트림들(ES)과 오브젝트 기술자 발생기 회로(204)로부터 공급된 오브젝트 기술자(OD)들을 다중화하여 다중화된 비트스트림(FS)을 전송한다.

여기서, 각 오브젝트를 구성하는 비트스트림의 구조가 설명된다. 예를 들어, 도 21에 도시된 바와 같은 장면은 배경(F1')과 전경(F2')인 2개의 오브젝트들로 구성된다. 키 신호(K1') 및 전경(F2')은 단일 비트스트림(ES)을 형성된다. 그러므로, 도 21의 장면은 2개의 비디오 오브젝트들(V0)로 구성되고, 스케일 가능한 인코딩이 사용되지 않을 때, 각 V0는 단일 비트스트림(ES)으로 형성된다.

또한, 도 26 내지 도 29의 경우에서, 프레임은 단일 비디오 오브젝트(V0)로 형성된다. 그러나, 이 경우에는 스케일 가능한 인코딩이 실행되기 때문에, 하나의 V0는 3개의 비트스트림(ES)들로 형성된다. 도 26 내지 도 29는 3-계층의 스케일 가능한 인코딩의 예들을 도시하지만, 층들의 수는 임의적일 수도 있이다.

또한, 도 30 및 도 31에서는 배경(도 30) 및 전경 (도 31)인 2개의 비디오 오브젝트(V0)들로 장면이 구성되고, 각 V0는 3개의 비트스트림(ES)들로 형성된다.

사용자는 단말기로부터의 요청 신호를 전송하여, 어떤 비디오 오브젝트가 디스플레이되는지 또는 스케일 가능 인코딩의 경우에 어떤 계층이 디스플레이될지 임의로 설정할 수도 있다.

도 1에 도시된 실시예에서, 사용자는 도시되지 않은 외부 단말기로부터, 필요한 비디오 오브젝트들 및 비트스트림들을 특정하는 요청 신호(REQ)를 전송측에 전송한다. 요청 신호(REQ)는 스트림 제어 회로(201)에 공급된다. 각 비디오 오브젝트의 비트스트림들에 대한 오브젝트 스트림 정보(OI)는 저장 장치(202)에 기록된다. 상술된 바와 같이, 오브젝트 스트림 정보(OI)는, 예를 들면, 소정의 오브젝트가 얼마나 많은 비트스트림들로 이루어지는지를 나타내는 정보; 각 비트스트림을 디코딩하기 위해 필요한 정보; 버퍼 크기; 어느 비트스트림이 디코딩을 위해 부가적으로 필요한지 등과 같은 정보를 포함한다.

스트림 제어 회로(201)는 요청 신호(REQ)에 따라 저장 장치(202)로부터 공급된 오브젝트 스트림 정보(OI)를 참조하여 어느 비트스트림들이 전송될지를 결정하고, 스트림 요청 신호(SREQ)를 다중화 회로(203), 저장 장치(202) 및 오브젝트 기술자 발생기 회로(204)에 공급한다. 또한, 저장 장치(202)는 스트림 요청 신호(SREQ)에 따라 소정의 비트스트림들(ES) 및 장면 기술자(SD)를 판독하여, 이들을 다중화 회로(203)에 출력한다.

오브젝트 기술자 발생기 회로(204)는 스트림 요청 신호(SREQ)에 따라 저장 장치(202)에 기록된 각 오브젝트(V0)의 비트스트림들에 관한 오브젝트 스트림 정보(OI)를 판독하고, 스트림 요청 신호(SREQ)에 의해 요청된 비트스트림들에 관한 정보만을 오브젝트 기술자(OD)로서 추출한다. 오브젝트 기술자 발생기 회로(204)는 또한 비트스트림이 어느 오브젝트에 대응하는가를 나타내는 ID 번호(OD_ID)를 생성하고, ID 번호(OD_ID)를 오브젝트 기술자(OD)에 기록한다. 예를 들면, 도 26의 경우에, 소정의 오브젝트에 대해 하위 계층과 상위 계층 1만이 요청될 때, 오브젝트 기술자 발생기 회로(204)는 오브젝트 스트림 정보(OI)로부터 하위 계층 및 상위 계층 1에 대한 정보만을 추출하고, 추출된 정보를 오브젝트 기술자(OD)로서 할당하고, 그 오브젝트를 나타내는 ID 번호(OD_ID)를 생성하여, ID 번호(OD_ID)를 오브젝트 기술자(OD)에 기록한다. 다음에, 이러한 방식으로 생성된 오브젝트 기술자(OD)는 다중화 회로(203)에 저장된다. 오브젝트 기술자(OD) 및 오브젝트 스트림 정보(OI)의 구문(syntax)과 장면 기술자(SD)는 추후 더 상세히 설명된다.

다음에는 도 2를 참조하여 다중화 회로(203)의 동작이 설명된다. 다중화 회로(203)에는 스트림 요청 신호(SREQ)에 따라 전송될 비트스트림들(ES1 내지 ESn)이 공급된다. 각각의 비트스트림들(ES1 내지 ESn)은 스위치(231)에 공급된다. 또한, 장면 기술자(SD) 및 오브젝트 기술자(OD)들도 유사하게 스위치(231)에 공급된다. 다중화 회로(203)에는 또한 시작 코드 발생기 회로(232)가 제공되고, 시작 코드 발생기 회로(232)에서 발생된 시작 코드는 또한 스위치(231)에 공급된다. 스위치(231)는 소정의 순서로 접속을 교환하여 외부로 출력되는 다중화 비트스트림(FS)을 생성한다.

다중화 비트스트림(FS)으로서, 먼저, 시작 코드 발생기 회로(232)에서 발생된 시작 코드가 출력된다. 이어서, 스위치(231)의 접속이 교환되어 장면 기술자(SD)를 출력한다. 장면 기술자(SD)가 출력된 후에, 스위치(231)의 접속은 다시 오브젝트 기술자(OD)들을 출력하도록 교환된다. 오브젝트 기술자(OD)들의 수는 오브젝트들의 수와 같기 때문에, 연관된 오브젝트의 수와 같은 수의 오브젝트 기술자들이 출력된다. (도 2는 오브젝트들의 수가 3인 경우를 도시한다.) 오브젝트 기술자들(OD)이 출력된 후에, 스위치(231)의 접속은 다시 교환된다. 접속은 비트스트림들(ES1 내지 ESn) 각각을 출력하기 위한 소정의 데이터 크기들 각각에 대해 교환되어, 각각의 비트스트림들을 출력한다. 다중화 비트스트림(ES)은 도 1에 도시된 바와 같이 전송 경로를 통해 역다중화 회로(5)에 공급된다.

다음에는 도 3을 참조하여 역다중화 회로(205)가 상세히 설명된다. 먼저, 다중화된 비트스트림들(FS)이 스위치(241)에 공급된다. 스위치(241)는 먼저 시작 코드를 검출하여 그에 이어지는 각 데이터를 인식한다. 시작 코드를 검출한 후에, 스위치는 장면 기술자(SD)를 판독 및 출력한다. 다음에는, 스위치(241)의 접속이 변경되어 오브젝트 기술자(OD)들을 판독 및 출력한다. 오브젝트 기술자(OD)들의 수는 오브젝트들의 수와 같고, 순차적으로 판독된다. 모든 오브젝트 기술자(OD)들이 출력된 후에, 스위치(241)의 접속은 다시 변경되어, 소정의 접속들에 따라 각 비트스트림들(ES1 내지 ESn)을 판독 및 출력한다. 판독된 장면 기술자(SD)는, 도 1에 도시된 바와 같이, 분석을 위해 구문 분석 회로(파서(parser))(208)에 공급된다. 구문 분석된 장면 기술은 3차원 오브젝트 정보로서 재구성 회로(209)에 공급된다. 3차원 오브젝트 정보는 실제로 노드, 폴리곤 등에 관한 정보를 포함하지만, 다음의 설명에서는 적절하게 노드로 기재된다. 또한, 판독된 오브젝트 기술자(OD)들은, 도 1에 도시된 바와 같이, 분석을 위해 구문 분석 회로(파서)(206)에 공급된다. 구문 분석 회로(206)는 필요한 디코더들의 수와 종류를 식별하여, 필요한 디코더들(207-1 내지 207-n)에 각 비트스트림들(ES1 내지 ESn)을 공급한다. 또한, 각 비트스트림들 등을 디코딩하기 위해 필요한 버퍼량은 오브젝트 기술자(OD)들로부터 판독되어, 구문 분석 회로(206)로부터 각 디코더들(207-1 내지 207-n)에 출력된다. 디코더들(207-1 내지 207-n) 각각은 구문 분석 회로(206)로부터 공급된(즉, 오브젝트 기술자(OD)들을 통해 전송된) 버퍼 크기와 같은 초기화 정보에 기초하여 초기화된다. 구문 분석 회로(206)는 또한 비트스트림들(ES1 내지 ESn) 각각이 어느 오브젝트에 속하는지를 식별하기 위해 각 오브젝트 기술자(OD)들의 ID 번호(OD_ID)들을 판독한다. 이어서, 각 오브젝트 기술자(OD)들의 ID 번호(OD_ID)들은 구문 분석 회로(206)로부터 할당된 디코더들(207-1 내지 207-n)에 출력되어 오브젝트 기술자(OD)들에서 기술된 비트스트림들을 디코딩한다.

디코더들(207-1 내지 207-n) 각각은 인코딩에 대응하는 소정의 디코딩 방법에 기초하여 연관된 비트스트림을 디코딩하고, 비디오 또는 오디오 신호를 재구성 회로(209)로 출력한다. 디코더들(207-1 내지 207-n) 각각은 또한 그 이미지가 어느 오브젝트에 속하는지를 나타내기 위해 신호 ID 번호(OD_ID)를 재구성 회로(209)에 출력한다. 이미지 신호가 출력될 때, 디코더들(207-1 내지 207-n) 각각은 비트스트림으로부터 그 위치 및 크기를 나타내는 신호들(PS, SZ)을 디코딩하고, 그 신호들을 재구성 회로(209)에 출력한다. 또한, 이미지 신호가 출력될 때, 디코더들(207-1 내지 207-n) 각각은 또한 비트스트림으로부터 투과도(키 신호)를 나타내는 신호를 디코딩하고, 그 신호를 재구성 회로(209)에 출력한다.

다음에는, 이미지를 재구성하기 위한 각 신호들과 재구성 회로(209) 사이의 대응 관계가 도 4 및 도 5를 참조하여 설명된다. 도 4는 스케일 가능 인코딩이 실행되지 않은 예시적인 경우를 도시하고, 도 5는 스케일 가능 인코딩 실행되는 예시적인 경우를 도시한다.

도 4에서, 재구성 회로(209)는 합성기 회로(252)를 포함하여, 합성기 회로(252)에 의해 생성된 이미지 신호가 디스플레이를 위해 디스플레이(251)에 공급되도록 한다. 도 4에서는, 합성기 회로(252)와 디스플레이(251)가 재구성 회로(209)로서 설명되지만, 이는 합성기 회로(252)에서 구성되는 이미지가 디스플레이(251)상에 도시되는 방법을 나타내려는 것이다. 실제로, 디스플레이는 재구성 회로(20)에 포함되지 않는다.

도 4에서, 직사각형 이미지 시퀀스 및 CG에 의해 생성된 삼각형 피라미드가 디스플레이(251)의 화면 상에 디스플레이된다. 디코딩된 텍스처는 삼각형 피라미드의 오브젝트에 맵핑된다. 여기서, 텍스처는 동화상이나 정지 화상일 수도 있다.

도 4는 출력 화면에 대한 장면 기술자(SD)의 대응성을 도시한다. 장면 기술자(SD)에 대해, 예를 들면, VRML과 같은 기술자가 사용된다. 장면 기술자(SD)는 노드라고 하는 기술 그룹으로 구성된다. 부모(parent)(루트) 노드(SD0)는 각 오브젝트들이 전체 이미지 상에 위치를 정하는 방법을 기술하기 위해 제공된다. 자식(child) 노드인 노드(SD1)는 삼각형 피라미드에 관한 정보를 기술하기 위해 제공된다. 또한, 이미지가 맵핑되는 직사각형의 평면에 관한 정보는 루트 노드(SD0)의 자식 노드로서 위치되어 있는 노드(SD2)에 기술되어 있다. 도 4에서, 이미지 신호는 3개의 비디오 오브젝트(V0)들로 구성된다. 제 1 V0인 배경에 관한 정보는 노드(SD2)에서 기술된다. 또한, 제 2 V0로 태양을 맵핑하는 평면에 관한 정보는 노드(SD3)에서 기술된다. 또한, 제 3 V0로 사람이 맵핑된 평면에 관한 정보는 노드(SD4)에서 기술된다. DS3 및 SD4는 SD2의 자식 노드들이다.

따라서, 하나의 장면 기술자(SD)는 노드들(SD0 내지 SD4)로 구성된다. 노드들(SD0 내지 SD4) 각각은 하나의 3차원 또는 2차원 오브젝트에 대응한다. 도 4의 예에서, 노드(SD0)는 전체 장면의 오브젝트에 대응하고; 노드(SD1)는 삼각형 피라미드의 오브젝트에 대응하고; 노드(SD2)는 배경의 오브젝트에 대응하고; 노드(SD3)는 태양의 오브젝트에 대응하고; 노드(SD4)는 인간의 오브젝트에 대응한다. 텍스처가 각 노드에 맵핑될 때, 노드들 각각에 어느 비트스트림이 대응하는가를 나타내기 위해 플래그가 필요하다. 이 대응성을 식별하기 위해, 각 노드에는 대응하는 비트스트림의 디코더로부터 공급된 오브젝트 기술자의 ID 번호(OD_ID)가 기술되어 있다. 이것은 하나의 노드가 하나의 오브젝트 기술자(OD)에 대응하는 것을 허용한다. 이러한 방법으로, 하나의 비디오 오브젝트(V0)는 하나의 2차원 또는 3차원 오브젝트에 맵핑된다. 장면 기술자(SD)를 구성하는 노드(SD0 내지 SD4)들 각각은 구문 분석 회로(208)에 의해 분석되어 재구성 회로(209)의 합성기 회로(252)에 3차원 오브젝트 정보로서 공급된다. 각 디코더들(207-1 내지 207-4)에는 역다중화 회로(205)로부터의 비트스트림들(ES1 내지 ES4)이 공급되고, 구문 분석 회로(206)로부터의 대응하는 오브젝트 기술자(OD)들의 ID 번호(OD-ID)들이 공급된다. 디코더들(207-1 내지 207-4) 각각은, 연관된 비트스트림을 디코딩한 후에, 재구성 회로(209)의 합성기 회로(252)에 ID 번호(OD_ID)와 디코딩 신호(이미지 또는 오디오)를 공급하고, 부가적으로 이미지 신호에 대해, 이미지의 위치 및 크기를 나타내는 신호들(POS, SZ)과 키 신호를 디코딩 신호들로서 공급한다. 여기서, 이미지의 위치는 그 노드가 속하는 한 레벨 위의 부모 노드와의 상대적인 위치를 말한다.

다음에, 도 6은 합성기 회로(252)의 예시적인 구성예를 도시한다. 도 6에서, 도 14에 도시된 것에 대응하는 부분은 동일한 참조 번호로 나타낸다. 입력된 3차원 오브젝트 정보(노드들(SD0 내지 SD4) 및 각 폴리곤 정보를 포함함), 이미지 신호(텍스처)들, 키 신호(Key Signal)들, ID 번호(OD_ID)들, 및 위치와 크기를 나타내는 신호들(POS, PZ)은 각각 오브젝트 합성기 회로들(271-1 내지 271-n)에 공급된다. 하나의 노드(SDi)는 하나의 오브젝트 합성기 회로(271-i)에 대응한다. 오브젝트 합성기 회로(271-i)는 디코더(207-i)로부터 노드(SDi)에 나타내어진 ID 번호(OD_ID)를 갖는 디코딩 신호를 수신하고, 이미지 신호가 재구성될 때, 디코딩 신호를 2차원 또는 3차원 오브젝트에 맵핑한다. 상술된 바와 같이, ID 번호(OD_ID)와 디코딩된 신호가, 대응하는 오브젝트 합성기 회로(271-i)에 공급될 때, 디코딩된 각 신호가 어느 노드에 대응하는지를 찾을 필요가 있다. 그러므로, 재구성 회로(209)에 공급된 ID 번호(OD_ID)를 노드에 포함된 ID 번호(OD_ID)와 대조함으로써 대응 관계가 인식된다. 이어서, 디코딩된 신호는, 인식 결과에 기초하여, 대응하는 노드가 공급되는 오브젝트 합성기 회로(271-i)에 공급된다.

디코더(207-i)로부터 공급되는, 맵핑될 텍스처(이미지 신호), 그 투과도를 나타내는 신호(키 신호), 및 그 위치와 크기를 나타내는 신호들(V0P, SZ)은 메모리 그룹(151-i) 내의 소정의 영역에 저장된다. 유사하게, 구문 분석 회로(208)로부터 공급된 노드들(2차원 또는 3차원 오브젝트 정보)은 메모리 그룹(151-i) 내의 소정의 저장 영역에 저장된다. 텍스처(이미지 신호)는 텍스처 메모리(152-i)에 저장되고; 투과도를 나타내는 신호(키 신호)와 ID 번호(OD_ID)는 그레이 스케일 메모리(153-i)에 저장되고; 노드들은 3차원 정보 메모리(154-i)에 저장된다. ID 번호(OD_ID)는 공급되어 오브젝트를 식별하는데 사용된다. 위치와 크기를 나타내는 신호들(POS, SZ)이 메모리에 공급될 수도 있지만, 이들은 이 경우에, 예를 들면, 그레이 스케일 메모리(153-i)에 저장된다. 여기서, 3차원 오브젝트 정보는 폴리곤 형성 정보, 조도 정보 등을 말한다. 위치 및 크기를 나타내는 신호들은 메모리 그룹(151-i) 내의 소정의 위치들에 저장된다.

렌더링 회로(155-i)는 메모리(154-i)에 기록된 노드들에 기초하여 폴리곤들에 의해 2차원 또는 3차원 오브젝트를 형성한다. 렌더링 회로(155-i)는 메모리 (152-i) 및 메모리(153-i)로부터 소정의 텍스처 및 그 투과도를 나타내는 신호를 판독하여, 생성된 3차원 오브젝트에 텍스처를 맵핑한다. 투과도를 나타내는 신호는 대응하는 위치에서의 텍스처의 투과도를 나타내므로, 이는 대응하는 위치에서의 텍스처가 맵핑되는 위치에서의 오브젝트의 투과도를 나타낸다. 렌더링 회로(155-i)는 텍스처가 맵핑된 오브젝트를 나타내는 신호를 2차원 변환 회로(156)에 공급한다. 유사하게, 이미지의 위치(부모 노드에 대한 상대 위치) 및 크기를 나타내는 신호들은 메모리 그룹(151-i)(이 경우에는 그레이 스케일 메모리(153-i)) 내의 소정의 b 위치로부터 판독되어, 2차원 변환 회로(156)에 출력된다.

2차원 변환 회로(156)에는 그 수가 노드들의 수와 같은 오브젝트 합성기 회로들(271-1 내지 271-n)로부터 텍스처들이 맵핑된 2차원 또는 3차원 오브젝트들이 공급된다. 2차원 변환 회로(156)는 이미지의 위치 및 크기를 나타내는 신호들(POS, SZ)과 외부로부터 공급된 시점 정보에 기초하여 3차원 오브젝트를 2차원 평면에 맵핑하여, 3차원 오브젝트를 2차원 이미지 신호로 변환한다. 이어서, 2차원 이미지 신호로 변환된 3차원 오브젝트는 디스플레이(251)에 출력되어 디스플레이된다. 모든 오브젝트들이 2차원 오브젝트들일 때, 각 렌더링 회로들(155-1 내지 155-n)로부터의 출력 데이터는 이미지들의 위치와 크기 및 투과도(키 신호)를 나타내는 신호들에 따라 합성되어 출력된다. 이 경우에, 시점에 따른 변환은 수행되지 않는다.

다음에는, 도 5를 참조하여 스케일 가능 인코딩을 수행하는 예가 설명된다. 이 경우에, 재구성 회로(209)는 믹서 회로(261) 및 합성기 회로(252)로 구성되어, 믹서 회로(261) 및 합성기 회로(252)에 의해 생성된 이미지 신호가 디스플레이(251)에 공급되어 디스플레이된다. 도 4와 유사하게, 믹서 회로(261), 합성기 회로(252) 및 디스플레이(251)는 또한 도 5에서 재구성 회로(209)로서 도시되어 있으며, 이는 믹서 회로(261)와 합성기 회로(252)에 의해 구성된 이미지가 디스플레이(251) 상에 도시되는 방법을 나타내도록 의도된 것이다. 실제로, 디스플레이는 재구성 회로(209)에 포함되지 않는다. 또한, 도 5의 예에서, CG에 의해 생성된 삼각형 피라미드 및 직사각형 이미지 시퀀스가 디스플레이(251) 상에 디스플레이된다. 삼각형 파라미드의 오브젝트는 또한 디코딩된 텍스처와 맵핑된다. 여기서, 텍스처는 동화상이나 정지 화상 될 수 있다.

도 5는 출력 화면에 대한 장면 기술자(SD)의 대응성을 설명한다. 도 5에서, 각 오브젝트들이 전체 이미지에 걸쳐 위치 결정되는 방법을 기술하기 위해 부모 노드(SD0)가 제공된다. 자식 노드들로는, 삼각형 피라미드에 관한 정보를 기술하는 노드(SD1)와, 이미지가 맵핑되는 직사각형 평면에 관한 정보를 기술하는 노드(SD2)가 있다. 도 5에서 코드(SD2)에 의해 대응되는 이미지 신호는 도 4의 예와는 다르게, 단일 비디오 오브젝트(V0)로 구성된다. 그러나, 도 5에서, 노드(SD2)에 의해 대응된 이미지에는 3-계층 스케일 가능 인코딩이 행해지므로, V0는 3개의 비디오 오브젝트 계층들로 형성된다고 가정한다. 도 5는 3-계층 스케일 가능 인코딩의 예를 도시하지만, 층들의 수는 임의적인 것이다.

장면 기술자(SD)를 구성하는 각 노드들(SD0 내지 SD2)은 구문 분석 회로(208)에 의해 해석되고, 분석 결과는 합성기 회로(252)에 공급된다. 각 디코더들(207-1 내지 207-4)에는 역다중화 회로(205)로부터의 비트스트림들(ES1 내지 ESn) 뿐만 아니라 구문 분석 회로(206)로부터의 대응하는 오브젝트 기술자(OD)들의 ID 번호(OD_ID)들이 공급된다. 디코더들(207-1 내지 207-4) 각각은, 연관된 비트스트림을 디코딩한 후에, 믹서 회로(201)에 디코딩된 신호를 공급하고, 부가하여 이미지에 대해, 키 신호, 이미지의 위치와 크기를 나타내는 신호들(V0P, SZ), 및 스케일링 계수를 나타내는 신호(RF)를 공급한다. 여기서, 이미지의 위치는 동일한 비디오 오브젝트(V0)의 각 계층의 상대 위치를 말한다. 디코더들(207-1 내지 207-4) 각각은 ID 번호(OD_ID)를 합성기 회로(252)에 공급한다. 합성기 회로(252)의 구성은 도 6에 도시된 것과 유사하므로, 여기서는 설명이 생략된다. 상술된 바와 같이, ID 번호(OD_ID)와 디코딩된 신호가 대응하는 오브젝트 합성기 회로(271-i)에 공급될 때, 디코딩 신호가 어느 노드에 대응하는가를 찾을 필요가 있다. 그러므로, 재구성 회로(209)에 공급된 ID 번호(OD_ID)와 노드에 포함된 ID 번호(OD_ID)를 대조함으로써 대응 관계가 인식된다. 이어서, 디코딩된 신호는, 인식 결과에 기초하여, 대응하는 노드가 공급되는 오브젝트 합성기 회로(271-i)에 공급된다.

스케일 가능 인코딩에서, 각 계층들의 비트스트림들(V0L)은 동일한 비디오 오브젝트(V0)에 속하기 때문에, 동일한 ID 번호(OD_ID)를 갖는다. 하나의 V0는 하나의 노드에 대응하고, 그에 따라 합성기 회로(252)에서 하나의 텍스처 메모리(152-i)는 하나의 V0에 대응한다. 그러므로, 스케일 가능 인코딩에서, 각 계층들의 출력들(디코더들(207-2 내지 207-4)의 출력들)은 일단 믹서 회로(261)에 공급되어 단일 이미지 시퀀스로 합성된다.

믹서 회로(261)는 각 디코더들(207-2 내지 207-4)로부터 공급되는 이미지 신호들, 키 신호들, 스케일링 계수들을 나타내는 신호들, 및 연관된 이미지들의 위치들과 크기들을 나타내는 신호들에 기초하여 각 계층들의 이미지들을 미리 합성하고, 합성된 이미지를 합성기 회로(252)로 출력한다. 그러므로, 합성기 회로(252)는 하나의 이미지 시퀀스를 하나의 오브젝트에 대응시킬 수 있다.

예를 들어, 도 29에 도시된 스케일 가능 인코딩이 수행되어 하위 계층 및 상위 계층 1을 전송하고 이들을 디코딩할 때, 하위 계층의 이미지 신호의 해상도는 스케일링 계수를 나타내는 신호(RF)에 기초하여 변환된다. 다음에, 상위 계층 1의 디코딩 이미지가 키 신호에 따라 대응하는 위치에서 이 이미지와 합성된다.

믹서 회로(261)에 의해 합성된 이미지 시퀀스는 합성기 회로(252)에 공급된다. 합성기 회로(252)는 도 4와 유사한 방식으로 이미지를 구성하여, 최종 출력 이미지를 디스플레이(251)에 출력한다.

이러한 방식으로, 본 예에서는 하나의 오브젝트(비디오일 때는 비디오 오브젝트 V0)가 하나의 노드에 할당된다. 믹서 회로(261)는 렌더링 회로(155)에서 텍스처들 및 3차원 정보를 저장하기 위한 메모리 그룹(151) 이전 단에 제공된다. 믹서 회로(261)가 소정의 키 신호들에 따라 다수의 이미지들을 혼합한 후에, 혼합된 이미지는 텍스처 메모리에 기록된다. 이러한 방식으로, 상이한 해상도들을 갖는 다수의 이미지들로 구성된 이미지 신호가 텍스처에 맵핑될 수 있다.

또한, 상술된 바와 같이, 도 1의 예에서, 오브젝트에 대해 오브젝트를 형성하는 비트스트림들에 관한 시스템 정보를 기록하기 위한 기술자가 생성된다. 이 경우에, 기본적으로 디코딩되어야 하는 비트스트림들에 관한 정보만이 저장되고, 기술자에서 기술되는 비트스트림들은 모두 디코딩된다. 이러한 방식으로, 디코딩가능한 비트스트림들의 조합이 식별되고, 소정의 신호가 디코딩될 수 있다. 이 경우에, 전송측과 수신측 사이에서 일대일 대응 관계로 기술자가 생성되어 전송된다.

다음에, 도 7 내지 도 9는 오브젝트 기술자(OD)의 구조를 도시한다. 도 7은 오브젝트 기술자(OD)의 일반적인 구조(구문)를 도시한다.

NODeID는 연관된 오브젝트 기술자의 ID 번호를 나타내는 10-비트 플래그이다. 이는 상술된 OD_ID에 대응한다. streamCount는 오브젝트 기술자에 포함된 비트스트림들(ES)의 수를 나타내는 8-비트 플래그이다. 비트스트림(ES)들을 디코딩하는데 필요한 정보, 즉, 그 수가 streamCount의 값과 같은 ES_Descriptor가 전송된다. 또한, extentionFlag는 또 다른 기술자가 전송되는지의 여부를 나타내는 플래그이다. 이 값이 1일 때, 또 다른 기술자가 전송된다.

ES_Descriptor는 각 비트스트림에 관한 정보를 나타내는 기술자이다. 도 8은 ES_Descriptor의 구조(구문)를 나타낸다. ES_Number는 비트스트림을 식별하기 위한 ID 번호를 나타내는 5-비트 플래그이다. 또한, streamType은 비트스트림의 포맷(예를 들면, MPEG2 비디오 등)을 나타내는 8-비트 플래그이다. 또한, QoS_Descriptor는 전송시 네트워크에 대한 요청을 나타내는 8-비트 플래그이다.

ESConFigParams는 연관된 비트스트림을 디코딩하기 위해 필요한 정보가 디코딩되는 기술자이다. 그 구조(구문)는 도 9에 도시된다. ESConFigParam에 관한 상세한 내용은 MPEG4 시스템 VM에 설명되어 있다.

도 10은 동화상을 맵핑하기 위한 장면 기술자를 도시한다. SFObjectID는 맵핑될 텍스처의 오브젝트 기술자의 ID인 ID 번호(OD_ID)를 나타내는 플래그이다. 도 11은 정지 화상을 맵핑하기 위한 장면 기술자를 도시한다. SFObjectID는 맵핑되는 텍스처의 오브젝트 기술자의 ID 번호(OD_ID)를 나타내는 플래그이다. 도 10 및 도 11에 도시된 포맷들은 VRML의 노드 기술을 따른다.

다음에, 제 2 실시예에 따른 비트스트림 다중화 장치 및 역다중화 장치가 도 12에 도시되어 있다. 이 실시예에서, 오브젝트에 속하는 모든 비트스트림이 다중화되어 전송된다. 제 1 실시예에서, 수신측으로부터 요청된 비트스트림들만이 다중화되어 전송된다. 이 경우에, 오브젝트 기술자(OD)들은 전송될 비트스트림들에 따라 생성된다. 오브젝트 기술자(OD)들에서 기술된 모든 비트스트림들은 수신측에서 디코딩되기 때문에, 비트스트림들간의 정보의 의존도 관계를 특별히 전송할 필요가 없다.

제 2 실시예에서, 오브젝트 기술자(OD)들은 저장 장치(202)에 미리 저장되어있으므로, 오브젝트 기술자(OD)들에서 기술된 비트스트림들은 모두 전송측에서 다중화되어 전송된다. 이 경우에, 제 2 실시예의 오브젝트 기술자(OD)에는 비트스트림들간의 정보의 의존도 관계가 기술되어 있다는 점에서 제 1 실시예와 다르다. 다른 면에서, 제 2 실시예는 제 1 실시예와 유사하다.

다중화 회로(203)는 저장 장치(202)에 기록된 장면 기술자(SD), 오브젝트 기술자(OD)들, 및 비트스트림(ES)들의 그룹을 판독하고, 전송을 위해 소정의 순서로 이들을 다중화한다. 다중화 회로(203)의 구성과 전송 순서는 제 1 실시예와 유사하다. 다중화된 비트스트림(FS)은 전송 경로를 통해 역다중화 회로(205)에 공급된다.

사용자는 어느 오브젝트가 디스플레이될 것인지를 나타내기 위해 단말기로부터 요청 신호(REQ)를 입력한다. 요청 신호(REQ)는 역다중화 회로(205), 구문 분석 회로(206), 및 재구성 회로(209)에 공급된다. 구문 분석 회로(206)는 그에 전송된 각 오브젝트 기술자(OD)를 분석하고, 필요한 비트스트림들을 요청하기 위한 신호(SREQ)를 발생하여, 역다중화 회로(205)에 공급한다. 사용자가 소정의 비트스트림을 요청할 때, 오브젝트 기술자(OD)는 비트스트림을 디코딩하기 위해 필요한 또 다른 비트스트림이 존재하는지의 여부, 또는 어느 비트스트림이 필요한지를 기록한다.

역다중화 회로(205)는 필요한 비트스트림들을 요청하기 위한 신호(SREQ)와 사용자로부터의 요청 신호(REQ)에 따라 필요한 비트스트림들만을 디코더들(207-1 내지 207-n)에 공급하고, 필요한 오브젝트 기술자(OD)들을 구문 분석 회로(206)에 공급한다. 구문 분석 회로(206)는 오브젝트 기술자(OD)들을 분석하고, 사용자로부터의 요청 신호(REQ)와 오브젝트 기술자(OD)들에 기초하여 디코더들(207-1 내지 207-n)과 연관된 초기화 정보 및 ID 번호(OD_ID)들을 각 디코더들(207-1 내지 207-n)에 출력한다. 이어서, 제 1 실시예와 유사한 방식으로, 디코딩, 합성, 및 디스플레이가 수행된다.

따라서, 이 예에서, 특정 오브젝트에 대해 그 오브젝트를 구성하는 비트스트림들에 관한 시스템 정보를 기록하기 위해 기술자(오브젝트 기술자)가 생성된다. 이 경우에, 각 비트스트림을 디코딩하기 위해 필요한 비트스트림을 나타내는 플래그가 기술자에 기록되고, 소정의 비트스트림은 디코딩 가능한 비트스트림들의 조합을 식별하기 위해 기술자에 기술된 플래그에 따라 디코딩되므로, 소정의 신호를 디코딩하는 것이 가능해진다. 이 경우에, 기술자가 전송측에서 일단 생성된 후에, 기술자는 모든 수신자들에게 공통적으로 전송된다.

제 2 실시예에서, 오브젝트 기술자(OD)는 소정의 비트스트림을 디코딩하기 위해 필요한 또 다른 비트스트림을 식별하기 위한 정보를 기술한다는 점에서 제 1 실시예와 다르다. 이제는 제 2 실시예에서의 오브젝트 기술자(OD)에 대한 기술이 이루어진다. 오브젝트 기술자(OD)의 일반적인 구조는 도 7에 도시된 제 1 실시예와 유사하다.

도 13은 각 비트스트림에 관련된 정보를 기술하는 ES_Descriptor를 도시한다. isOtherStream은 연관된 비트스트림을 디코딩하기 위해 또 다른 비트스트림이 필요한지의 여부를 나타내는 1-비트 플래그이다. 이 값이 0이면, 연관된 비트스트림은 홀로 디코딩될 수 있다. isOtherStream의 값이 1이면, 연관된 비트스트림은 홀로 디코딩될 수 없다.

streamCount는 얼마나 많은 비트스트림이 부가적으로 필요한지를 나타내는 5-비트 플래그이다. ES_Number들의 필요한 수는 streamCount에 기초하여 전송된다. ES_Number는 디코딩을 위해 필요한 비트스트림을 식별하기 위한 ID이다. ES_Descriptor의 나머지 구조는 제 1 실시예와 유사하다. 또한, 각 비트스트림을 디코딩하기 위해 필요한 정보를 나타내는 ESConFigParams의 구조는 도 9에 도시된 제 1 실시예와 유사하다.

상술된 바와 같은 처리(다중화 및 역다중화)는 소프트웨어 프로그램으로 구현될 수 있고, 이러한 프로그램은 사용자에게 전송 (제공)될 수 있으며, 네트워크, 위성 등과 같은 통신 매체는 자기 디스크, CD-ROM, 고체 메모리 등과 같은 기록 매체 이외의 전송 매체로 사용될 수도 있다. 부가하여, 상기의 처리는 프로그램으로서 실현되는 것 이외에 하드웨어로 구현될 수 있음은 말할 필요도 없다.

본 발명의 요지에서 벗어나지 않고 다양한 수정예들 및 응용예들이 실행될 수 있다. 그러므로, 본 발명의 요지는 실시예에 제한되지 않는다.

본 발명에서 전송 매체를 통해 전송될 이미지 신호들을 다중화하기 위한 이미지 신호 다중화 장치와 방법, 및 프로그램은, 소정의 오브젝트를 기술하고 상이한 품질들을 갖는 다수 계층의 비트스트림들 중에서 소정의 오브젝트를 구성하는 스트림을 선택하기 위해 공간 구성 정보를 선택하고, 선택 수단에 의해 선택된 비트스트림들로 구성되는 오브젝트에 관한 정보를 생성하고, 또한 선택된 공간 구성 정보, 선택된 비트스트림들, 및 오브젝트에 관한 생성 정보를 다중화하여 다중화된 정보를 출력하도록 되어, 오브젝트 단위로 다수 계층의 스케일 가능한 비트스트림들과의 텍스처 맵핑을 적용하는 것을 가능하게 한다.

또한, 본 발명에서 전송 매체를 통해 전송될 이미지 신호들을 다중화하기 위한 프로그램을 전송하기 위한 이미지 신호 다중화 장치와 방법, 및 전송 매체는, 소정의 오브젝트를 기술하는 공간 구성 정보, 소정의 오브젝트를 구성하고 상이한 품질들을 갖는 다수 계층의 비트스트림들, 및 상이한 비트스트림들 사이의 의존도 관계를 나타내는 적어도 의존도 정보를 포함하는 오브젝트에 관한 정보를 출력하고, 출력된 공간 구성 정보, 다수 계층의 비트스트림들, 및 오브젝트에 관한 정보를 다중화하여 다중화된 정보를 출력하도록 되어, 다중화측이 역다중화측에 연결되지 않은 환경에서도 역다중화측에서 비트스트림들을 독립적으로 복원하여 사용하는 것이 가능해진다.

또한, 다중화된 이미지 신호를 각 신호들로 분리하기 위한 이미지 신호 역다중화 장치 및 방법과, 전송 매체를 통해 전송된 다중화 신호를 각 신호들로 분리하기 위한 프로그램은, 오브젝트를 기술하는 공간 구성 정보, 오브젝트를 구성하고 상이한 품질들을 갖는 다수 계층의 비트스트림들, 및 오브젝트에 관한 정보가 다중화된 다중화 비트스트림으로부터, 각각 오브젝트를 기술하는 공간 구성 정보, 오브젝트를 구성하는 다수 계층의 비트스트림들, 및 오브젝트에 관한 정보를 분리하고, 공간 구성 정보를 분석하고, 다수 계층의 비트스트림들을 디코딩하고, 디코딩된 출력 신호들 내의 동일한 오브젝트에 대응하는 출력 신호들을 혼합하고, 오브젝트에 관한 정보에 기초하여, 혼합된 출력 데이터와 분석된 출력 데이터로부터 이미지 신호를 재구성하도록 되어, 오브젝트 단위로 다수 계층의 스케일 가능한 비트스트림들이 텍스처 맵핑에 적용되도록 보장하는 것이 가능해진다.

또한, 다중화된 이미지 신호를 각 신호들로 분리하기 위한 이미지 신호 역다중화 장치 및 방법과, 전송 매체를 통해 전송된 다중화 이미지 신호를 본 발명에서의 각 이미지 신호로 분리하기 위한 프로그램은, 오브젝트를 기술하는 공간 구성 정보, 오브젝트를 구성하고 상이한 품질들을 갖는 다수 계층의 비트스트림들, 및 상이한 비트스트림 사이의 정보의 의존도 관계를 나타내는 의존도 정보가 다중화되어 전송된 다중화 비트스트림으로부터, 오브젝트를 기술하는 공간 구성 정보, 오브젝트를 구성하는 다수 계층의 비트스트림들, 및 오브젝트에 관한 정보를 분리하고, 선택 신호 및 의존도 정보에 기초하여, 소정의 오브젝트를 기술하는 공간 구성 정보와 그 오브젝트를 구성하는 다수 계층의 비트스트림들을 선택하는 것을 제어하고, 선택된 공간 구성 정보를 분석하고, 다수 계층의 비트스트림들을 디코딩하고, 디코딩된 출력 신호들 내의 동일한 오브젝트에 대응하는 출력 신호를 혼합하고, 오브젝트에 관한 정보에 기초하여, 분석된 출력 데이터와 혼합된 출력 신호로부터 이미지 신호를 재구성하도록 되어, 다중화측이 역다중화측에 접속되지 않은 환경에서도 역다중화측에서 비트스트림들을 독립적으로 복원하여 사용하는 것이 가능해진다.

본 발명은, 예를 들면, 자기광학 디스크, 자기 디스크 등과 같은 기록 매체에 데이터를 기록하고 그로부터 재생하는 정보 기록 장치, 정보 재생 장치 및 정보 기록/재생 장치, 및 오디오 데이터 및 비디오 데이터를 원격 위치들에 전송하는 텔레비전 전화기 시스템, 방송 장비, 멀티미디어 데이터베이스 탐색 시스템 등과 같은 시스템들에서 사용될 수 있다.

Claims (20)

1. 이미지 신호 다중화 장치에 있어서:

   소정의 오브젝트를 기술하는 공간 구성 정보를 선택하고, 상이한 품질들을 갖는 다수 계층의 비트스트림들 중에서 상기 소정의 오브젝트를 구성하는 스트림들을 선택하는 선택 수단;

   상기 선택 수단에 의해 선택된 상기 비트스트림들로 구성되는 상기 오브젝트에 관한 정보를 생성하는 생성 수단; 및

   상기 선택된 공간 구성 정보, 상기 선택된 비트스트림들, 및 상기 오브젝트에 대한 상기 생성된 정보를 다중화하여 다중화된 정보를 출력하는 다중화 수단을 포함하는 것을 특징으로 하는, 이미지 신호 다중화 장치.
2. 제 1 항에 있어서,

   상기 오브젝트에 관한 상기 정보는 상기 오브젝트를 기술하는 공간 구성 정보를 나타내는 플래그, 비트스트림들의 수를 나타내는 플래그, 및 상기 비트스트림들을 디코딩하기 위해 필요한 정보 중 적어도 하나를 포함하는 것을 특징으로 하는, 이미지 신호 다중화 장치.
3. 이미지 신호 다중화 방법에 있어서:

   소정의 오브젝트를 기술하는 공간 구성 정보를 선택하고, 상이한 품질들을 갖는 다수 계층의 비트스트림들 중에서 상기 소정의 오브젝트를 구성하는 스트림들을 선택하는 선택 단계;

   상기 선택 수단에 의해 선택된 상기 비트스트림들로 구성되는 상기 오브젝트에 관한 정보를 생성하는 생성 단계; 및

   상기 선택된 공간 구성 정보, 상기 선택된 비트스트림들, 및 상기 오브젝트에 대한 상기 생성된 정보를 다중화하여 다중화된 정보를 출력하는 다중화 단계를 포함하는 것을 특징으로 하는, 이미지 신호 다중화 방법.
4. 제 3 항에 있어서,

   상기 오브젝트에 관한 상기 정보는 상기 오브젝트를 기술하는 공간 구성 정보를 나타내는 플래그, 비트스트림들의 수를 나타내는 플래그, 및 비트스트림들을 디코딩하기 위해 필요한 정보 중 적어도 하나를 포함하는 것을 특징으로 하는, 이미지 신호 다중화 방법.
5. 이미지 신호들을 다중화하기 위한 프로그램을 전송하는 전송 매체에 있어서:

   소정의 오브젝트를 기술하는 공간 구성 정보를 선택하고, 상이한 품질들을 갖는 다수 계층의 비트스트림들 중에서 상기 소정의 오브젝트를 구성하는 스트림들을 선택하는 선택 단계;

   상기 선택 단계에 의해 선택된 상기 비트스트림들로 구성되는 상기 오브젝트에 관한 정보를 생성하는 생성 단계; 및

   상기 선택된 공간 구성 정보, 상기 선택된 비트스트림들, 및 상기 오브젝트에 대한 상기 생성된 정보를 다중화하여 다중화된 정보를 출력하는 다중화 단계를 포함하는 프로그램을 전송하는 것을 특징으로 하는, 전송 매체.
6. 이미지 신호 다중화 장치에 있어서:

   소정의 오브젝트를 기술하는 공간 구성 정보, 상이한 품질들을 갖고 상기 소정의 오브젝트를 구성하는 다수 계층의 비트스트림들, 및 상이한 비트스트림들 사이의 의존도 관계를 나타내는 적어도 의존도 정보를 포함하는 상기 오브젝트에 관한 정보를 출력하는 출력 수단; 및

   상기 출력된 공간 구성 정보, 상기 다수 계층의 비트스트림들, 및 상기 오브젝트에 관한 정보를 다중화하여 다중화된 정보를 출력하는 다중화 수단을 포함하는 것을 특징으로 하는, 이미지 신호 다중화 장치.
7. 제 6 항에 있어서,

   상기 오브젝트에 관한 상기 정보는 상기 오브젝트를 기술하는 공간 구성 정보를 나타내는 플래그, 비트스트림들의 수를 나타내는 플래그, 및 상기 비트스트림들을 디코딩하기 위해 필요한 정보 중 적어도 하나를 포함하고, 상기 의존도 정보는 상기 비트스트림을 식별하는 플래그와 상기 오브젝트를 복원하기 위해 또다른 비트스트림이 필요한지의 여부를 나타내는 플래그 중 적어도 하나인 것을 특징으로 하는, 이미지 신호 다중화 장치.
8. 이미지 신호 다중화 방법에 있어서:

   소정의 오브젝트를 기술하는 공간 구성 정보, 상이한 품질들을 갖고 상기 소정의 오브젝트를 구성하는 다수 계층의 비트스트림들, 및 상이한 비트스트림들 사이의 의존도 관계를 나타내는 적어도 의존도 정보를 포함하는 상기 오브젝트에 관한 정보를 출력하는 출력 단계; 및

   상기 출력된 공간 구성 정보, 상기 다수 계층의 비트스트림들, 및 상기 오브젝트에 관한 정보를 다중화하여 다중화된 정보를 출력하는 다중화 단계를 포함하는 것을 특징으로 하는, 이미지 신호 다중화 방법.
9. 제 8 항에 있어서,

   상기 오브젝트에 관한 상기 정보는 상기 오브젝트를 기술하는 공간 구성 정보를 나타내는 플래그, 비트스트림들의 수를 나타내는 플래그, 및 비트스트림들을 디코딩하기 위해 필요한 정보 중 적어도 하나를 포함하고, 상기 의존도 정보는 상기 비트스트림을 식별하는 플래그와 상기 오브젝트를 복원하기 위해 또다른 비트스트림이 필요한지의 여부를 나타내는 플래그 중 적어도 하나인 것을 특징으로 하는, 이미지 신호 다중화 방법.
10. 이미지 신호들을 다중화하기 위한 프로그램을 전송하는 전송 매체에 있어서,

    소정의 오브젝트를 기술하는 공간 구성 정보, 상이한 품질들을 갖고 상기 소정의 오브젝트를 구성하는 다수 계층의 비트스트림들, 및 상이한 비트스트림들 사이의 의존도 관계를 나타내는 적어도 의존도 정보를 포함하는 상기 오브젝트에 관한 정보를 출력하는 출력 단계; 및

    상기 출력된 공간 구성 정보, 상기 다수 계층의 비트스트림들, 및 상기 오브젝트에 관한 정보를 다중화하여 다중화된 정보를 출력하는 다중화 단계를 포함하는 프로그램을 전송하는 것을 특징으로 하는, 전송 매체.
11. 다중화된 이미지 신호를 각각의 신호들로 분리하는 이미지 신호 역다중화 장치에 있어서:

    오브젝트를 기술하는 공간 구성 정보, 상이한 품질들을 갖고 상기 오브젝트를 구성하는 다수 계층의 비트스트림들, 및 상기 오브젝트에 관한 정보가 다중화된 다중화 비트스트림으로부터, 상기 오브젝트를 기술하는 상기 공간 구성 정보, 상기 오브젝트를 구성하는 상기 다수 계층의 비트스트림들, 및 상기 오브젝트에 관한 상기 정보를 각각 분리하는 분리 수단, 상기 공간 구성 정보를 분석하는 분석 수단, 및 상기 다수 계층의 비트스트림들을 디코딩하는 디코딩 수단;

    상기 디코딩된 출력 신호들 내의 동일한 상기 오브젝트에 대응하는 출력 신호들을 혼합하는 혼합 수단; 및

    상기 오브젝트에 관한 상기 정보에 기초하여, 상기 분석된 출력 데이터와 상기 혼합된 출력 데이터로부터 이미지 신호를 재구성하는 재구성 수단을 포함하는 것을 특징으로 하는, 이미지 신호 역다중화 장치.
12. 제 11 항에 있어서,

    상기 오브젝트에 관한 상기 정보는 상기 오브젝트를 기술하는 공간 구성 정보를 나타내는 플래그, 비트스트림들의 수를 나타내는 플래그, 및 상기 비트스트림들을 디코딩하기 위해 필요한 정보 중 적어도 하나를 포함하는 것을 특징으로 하는, 이미지 신호 역다중화 장치.
13. 다중화된 이미지 신호를 각각의 신호들로 분리하는 이미지 신호 역다중화 방법에 있어서:

    오브젝트를 기술하는 공간 구성 정보, 상이한 품질들을 갖고 상기 오브젝트를 구성하는 다수 계층의 비트스트림들, 및 상기 오브젝트에 관한 정보가 다중화된 다중화 비트스트림으로부터, 상기 오브젝트를 기술하는 공간 구성 정보, 상기 오브젝트를 구성하는 상기 다수 계층의 비트스트림들, 및 상기 오브젝트에 관한 상기 정보를 각각 분리하는 분리 단계, 상기 공간 구성 정보를 분석하는 분석 단계, 및 상기 다수 계층의 비트스트림들을 디코딩하는 디코딩 단계;

    상기 디코딩된 출력 신호들 내의 동일한 상기 오브젝트에 대응하는 출력 신호를 혼합하는 혼합 단계; 및

    상기 오브젝트에 관한 상기 정보에 기초하여, 상기 분석된 출력 데이터와 상기 혼합된 출력 데이터로부터 이미지 신호를 재구성하는 재구성 단계를 포함하는 것을 특징으로 하는, 이미지 신호 역다중화 방법.
14. 제 13 항에 있어서,

    상기 오브젝트에 관한 상기 정보는 상기 오브젝트를 기술하는 공간 구성 정보를 나타내는 플래그, 비트스트림들의 수를 나타내는 플래그, 및 상기 비트스트림들을 디코딩하기 위해 필요한 정보 중 적어도 하나를 포함하는 것을 특징으로 하는, 이미지 신호 역다중화 방법.
15. 다중화된 이미지 신호를 각각의 신호들로 분리하기 위한 프로그램을 전송하는 전송 매체에 있어서:

    오브젝트를 기술하는 공간 구성 정보, 상이한 품질들을 갖고 상기 오브젝트를 구성하는 다수 계층의 비트스트림들, 및 상기 오브젝트에 관한 정보가 다중화된 다중화 비트스트림으로부터, 상기 오브젝트를 기술하는 공간 구성 정보, 상기 오브젝트를 구성하는 상기 다수 계층의 비트스트림들, 및 상기 오브젝트에 관한 상기 정보를 각각 분리하는 분리 단계, 상기 공간 구성 정보를 분석하는 분석 단계, 및 상기 다수 계층의 비트스트림들을 디코딩하는 디코딩 단계;

    상기 디코딩된 출력 신호들 내의 동일한 상기 오브젝트에 대응하는 출력 신호를 혼합하는 혼합 단계; 및

    상기 오브젝트에 관한 상기 정보에 기초하여, 상기 분석된 출력 데이터와 상기 혼합된 출력 신호로부터 이미지 신호를 재구성하는 재구성 단계를 포함하는 프로그램을 전송하는 것을 특징으로 하는, 전송 매체.
16. 다중화된 이미지 신호를 각각의 신호들로 분리하는 이미지 신호 역다중화 장치에 있어서:

    오브젝트를 기술하는 공간 구성 정보, 상이한 품질들을 갖고 상기 오브젝트를 구성하는 다수 계층의 비트스트림들, 및 상기 상이한 비트스트림들 사이의 정보의 의존도 관계를 나타내는 의존도 정보가 다중화되어 전송된 다중화 비트스트림으로부터, 상기 오브젝트를 기술하는 공간 구성 정보, 상기 오브젝트를 구성하는 상기 다수 계층의 비트스트림들, 및 상기 오브젝트에 관한 상기 정보를 분리하는 분리 수단;

    소정의 오브젝트를 기술하는 공간 구성 정보, 및 상기 의존도 정보에 기초하여 상기 오브젝트를 구성하는 상기다수 계층의 비트스트림들을 선택하도록 상기 분리 수단을 제어하는 제어 수단, 상기 선택된 공간 구성 정보를 분석하는 분석 수단, 및 상기 다수 계층의 비트스트림들을 디코딩하는 디코딩 수단;

    상기 디코딩된 출력 신호들 내의 동일한 상기 오브젝트에 대응하는 출력 신호들을 혼합하는 혼합 수단; 및

    상기 오브젝트에 관한 상기 정보에 기초하여, 상기 분석된 출력 데이터와 상기 혼합된 출력 신호로부터 이미지 신호를 재구성하는 재구성 수단을 포함하는 것을 특징으로 하는, 이미지 신호 역다중화 장치.
17. 제 16 항에 있어서,

    상기 오브젝트에 관한 상기 정보는 상기 오브젝트를 기술하는 공간 구성 정보를 나타내는 플래그, 비트스트림들의 수를 나타내는 플래그, 및 상기 비트스트림들을 디코딩하기 위해 필요한 정보 중 적어도 하나를 포함하고, 상기 의존도 정보는 상기 비트스트림을 식별하는 플래그와 상기 오브젝트를 복원하기 위해 또다른 비트스트림이 필요한지의 여부를 나타내는 플래그 중 적어도 하나인 것을 특징으로 하는, 이미지 신호 역다중화 장치.
18. 다중화된 이미지 신호를 각각의 신호들로 분리하는 이미지 신호 역다중화 방법에 있어서:

    오브젝트를 기술하는 공간 구성 정보, 상이한 품질들을 갖고 상기 오브젝트를 구성하는 다수 계층의 비트스트림들, 및 상기 상이한 비트스트림들 사이의 정보의 의존도 관계를 나타내는 의존도 정보가 다중화되어 전송된 다중화 비트스트림으로부터, 상기 오브젝트를 기술하는 공간 구성 정보, 상기 오브젝트를 구성하는 상기 다수 계층의 비트스트림들, 및 상기 오브젝트에 관한 상기 정보를 분리하는 분리 단계;

    소정의 오브젝트를 기술하는 공간 구성 정보, 및 상기 의존도 정보에 기초하여 상기 오브젝트를 구성하는 상기 다수 계층의 비트스트림들을 선택하도록 상기 분리 수단을 제어하는 제어 단계, 상기 선택된 공간 구성 정보를 분석하는 분석 단계, 및 상기 다수 계층의 비트스트림들을 디코딩하는 디코딩 단계;

    상기 디코딩된 출력 신호들 내의 동일한 상기 오브젝트에 대응하는 출력 신호들을 혼합하는 혼합 단계; 및

    상기 오브젝트에 관한 상기 정보에 기초하여, 상기 분석된 출력 데이터와 상기 혼합된 출력 신호로부터 이미지 신호를 재구성하는 재구성 단계를 포함하는 것을 특징으로 하는, 이미지 신호 역다중화 방법.
19. 제 18 항에 있어서,

    상기 오브젝트에 관한 상기 정보는 상기 오브젝트를 기술하는 공간 구성 정보를 나타내는 플래그, 비트스트림들의 수를 나타내는 플래그, 및 상기 비트스트림들을 디코딩하기 위해 필요한 정보 중 적어도 하나를 포함하고, 상기 의존도 정보는 상기 비트스트림을 식별하는 플래그와 상기 오브젝트를 복원하기 위해 또다른 비트스트림이 필요한지의 여부를 나타내는 플래그 중 적어도 하나인 것을 특징으로 하는, 이미지 신호 역다중화 방법.
20. 다중화된 이미지 신호를 각각의 신호들로 분리하기 위한 프로그램을 전송하는 전송 매체에 있어서:

    오브젝트를 기술하는 공간 구성 정보, 상이한 품질들을 갖고 상기 오브젝트를 구성하는 다수 계층의 비트스트림들, 및 상기 상이한 비트스트림들 사이의 정보의 의존도 관계를 나타내는 의존도 정보가 다중화되어 전송된 다중화 비트스트림으로부터, 상기 오브젝트를 기술하는 공간 구성 정보, 상기 오브젝트를 구성하는 상기 다수 계층의 비트스트림들, 및 상기 오브젝트에 관한 상기 정보를 분리하는 분리 단계;

    소정의 오브젝트를 기술하는 상기 공간 구성 정보, 및 상기 의존도 정보에 기초하여 상기 오브젝트를 구성하는 상기 다수 계층의 비트스트림들을 선택하도록 상기 분리 수단을 제어하는 제어 단계, 상기 선택된 공간 구성 정보를 분석하는 분석 단계, 및 상기 다수 계층의 비트스트림들을 디코딩하는 디코딩 단계;

    상기 디코딩된 출력 신호들 내의 동일한 상기 오브젝트에 대응하는 출력 신호들을 혼합하는 혼합 단계; 및

    상기 오브젝트에 관한 상기 정보에 기초하여, 상기 분석된 출력 데이터와 상기 혼합된 출력 신호로부터 이미지 신호를 재구성하는 재구성 단계를 포함하는 프로그램을 전송하는 것을 특징으로 하는, 전송 매체.

Images