JPH104539A - データ多重化方法及び多重データ再生装置 - Google Patents
データ多重化方法及び多重データ再生装置Info
- Publication number
- JPH104539A JPH104539A JP15654796A JP15654796A JPH104539A JP H104539 A JPH104539 A JP H104539A JP 15654796 A JP15654796 A JP 15654796A JP 15654796 A JP15654796 A JP 15654796A JP H104539 A JPH104539 A JP H104539A
- Authority
- JP
- Japan
- Prior art keywords
- data
- packet
- multiplexed
- object data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Time-Division Multiplex Systems (AREA)
Abstract
(57)【要約】
【課題】 オブジェクトごとに符号化し、スケーラビリ
ティをもつ画像、オーディオを伝送する際、スケーラビ
リティ、オブジェクトごとの編集が容易に可能で簡易に
構成可能な多重化装置、多重データ再生装置を実現す
る。 【解決手段】 複数のＮつの階層からなるスケーラビリ
ティを有するオブジェクトデータの集合に対して、第ｉ
階層（ｉ＝１．．Ｎ）に対応する画像オブジェクトデー
タ、オーディオオブジェクトデータ、デジタルオブジェ
クトデータを多重化し、第ｉのオブジェクトデータ（ｉ
＝１．．Ｎ）とし、第１のオブジェクトデータから第Ｎ
のオブジェクトデータまでのＮつのオブジェクトデータ
を更に多重化し、オブジェクトデータを得る。
ティをもつ画像、オーディオを伝送する際、スケーラビ
リティ、オブジェクトごとの編集が容易に可能で簡易に
構成可能な多重化装置、多重データ再生装置を実現す
る。 【解決手段】 複数のＮつの階層からなるスケーラビリ
ティを有するオブジェクトデータの集合に対して、第ｉ
階層（ｉ＝１．．Ｎ）に対応する画像オブジェクトデー
タ、オーディオオブジェクトデータ、デジタルオブジェ
クトデータを多重化し、第ｉのオブジェクトデータ（ｉ
＝１．．Ｎ）とし、第１のオブジェクトデータから第Ｎ
のオブジェクトデータまでのＮつのオブジェクトデータ
を更に多重化し、オブジェクトデータを得る。
Description
【０００１】
【発明の属する技術分野】本発明は、デジタル画像、デ
ジタルオーディオ、デジタルデータ等を多重して伝送す
るデータ多重化方法およびデータを再生するための多重
データ再生装置に関するものである。
ジタルオーディオ、デジタルデータ等を多重して伝送す
るデータ多重化方法およびデータを再生するための多重
データ再生装置に関するものである。
【０００２】
【従来の技術】従来のデジタル画像、デジタルオーディ
オ、デジタルデータの符号化方法、多重化方法として
は、国際規格であるＭＰＥＧ２(ISO/IEC JTC１/SC29 N8
0１,"ISO/IEC CD 13818-1:Information technology - G
eneric coding of moving pictures and associated au
dio ",1994.11)がある。
オ、デジタルデータの符号化方法、多重化方法として
は、国際規格であるＭＰＥＧ２(ISO/IEC JTC１/SC29 N8
0１,"ISO/IEC CD 13818-1:Information technology - G
eneric coding of moving pictures and associated au
dio ",1994.11)がある。
【０００３】ＭＰＥＧ２標準における映像信号符号化で
は、性能の異なる復号器への符号の同時伝送や、伝送時
における符号廃棄時の優先付けを実現するため、階層符
号化であるスケーラビリティを定義している。ＭＰＥＧ
２標準では、スケーラビリティとして、空間スケーラビ
リティ、時間スケーラビリティ、ＳＮＲスケーラビリテ
ィ、ハイブリッドスケーラビリティの４つが定義されて
いる。
は、性能の異なる復号器への符号の同時伝送や、伝送時
における符号廃棄時の優先付けを実現するため、階層符
号化であるスケーラビリティを定義している。ＭＰＥＧ
２標準では、スケーラビリティとして、空間スケーラビ
リティ、時間スケーラビリティ、ＳＮＲスケーラビリテ
ィ、ハイブリッドスケーラビリティの４つが定義されて
いる。
【０００４】図８は、ＭＰＥＧ２映像信号符号化におけ
る空間スケーラビリティの説明図である。図８におい
て、８１、８２、８３が空間スケーラビリティ高位レイ
ヤ画像、８４、８５、８６が空間スケーラビリティ基本
レイヤのアップサンプリング画像、８７、８８、８９が
空間スケーラビリティ高位レイヤ画像である。基本レイ
ヤは、低空間解像度の画像データであり、圧縮のための
画像の予測は基本レイヤ間のみで行う。このため、基本
レイヤの低空間解像度の画像は、基本レイヤ単独で復号
可能である。
る空間スケーラビリティの説明図である。図８におい
て、８１、８２、８３が空間スケーラビリティ高位レイ
ヤ画像、８４、８５、８６が空間スケーラビリティ基本
レイヤのアップサンプリング画像、８７、８８、８９が
空間スケーラビリティ高位レイヤ画像である。基本レイ
ヤは、低空間解像度の画像データであり、圧縮のための
画像の予測は基本レイヤ間のみで行う。このため、基本
レイヤの低空間解像度の画像は、基本レイヤ単独で復号
可能である。
【０００５】また、高位レイヤは、高空間解像度の画像
データで、復号には、基本レイヤと高位レイヤの両方を
用いる。すなわち、基本レイヤをアップサンプリグした
画像情報と隣接する高位レイヤの復元画像からの予測に
よって、高空間解像度の画像データの復号を行う。以上
のような画像データによって、高空間解像度の画像を復
号する復号器と低空間解像度の画像を復号する復号器の
２つの復号器への符号の同時伝送や、伝送時・復号時な
どにおける符号の優先度付けを行うことができる。
データで、復号には、基本レイヤと高位レイヤの両方を
用いる。すなわち、基本レイヤをアップサンプリグした
画像情報と隣接する高位レイヤの復元画像からの予測に
よって、高空間解像度の画像データの復号を行う。以上
のような画像データによって、高空間解像度の画像を復
号する復号器と低空間解像度の画像を復号する復号器の
２つの復号器への符号の同時伝送や、伝送時・復号時な
どにおける符号の優先度付けを行うことができる。
【０００６】ＭＰＥＧ２標準の映像符号化では、空間ス
ケーラビリティの他、低時間解像度の画像の基本レイヤ
画像と高時間解像度の画像の高位レイヤ画像を考え、高
位レイヤ画像は基本レイヤとの差分情報により復号を行
う時間スケーラビリティ、量子化ステップの大きい低Ｓ
ＮＲの画像である基本レイヤ画像と量子化ステップの小
さい高ＳＮＲの画像である高位レイヤ画像を考え、高位
レイヤ画像は基本レイヤとの差分情報により復号を行う
ＳＮＲスケーラビリティ、更に、空間スケーラビリテ
ィ、時間スケーラビリティ、ＳＮＲスケーラビリティを
組み合わせるハイブリッドスケーラビリティが定義され
ている。
ケーラビリティの他、低時間解像度の画像の基本レイヤ
画像と高時間解像度の画像の高位レイヤ画像を考え、高
位レイヤ画像は基本レイヤとの差分情報により復号を行
う時間スケーラビリティ、量子化ステップの大きい低Ｓ
ＮＲの画像である基本レイヤ画像と量子化ステップの小
さい高ＳＮＲの画像である高位レイヤ画像を考え、高位
レイヤ画像は基本レイヤとの差分情報により復号を行う
ＳＮＲスケーラビリティ、更に、空間スケーラビリテ
ィ、時間スケーラビリティ、ＳＮＲスケーラビリティを
組み合わせるハイブリッドスケーラビリティが定義され
ている。
【０００７】図９、１０はＭＰＥＧ２データ多重化方法
の説明図、図１１は、ＭＰＥＧ２データ多重化方法で多
重化したデータを復号する多重データ再生装置の構成図
である。図９において、（ａ）はＴＳパケット、（ｂ）
はＴＳパケットの構成、（ｃ）はＴＳパケットヘッダの
構成、（ｄ）はＰＡＴ、（ｅ）はＰＭＴである。次に、
図１０において、（ａ）はＰＥＳパケットの構成、
（ｂ）はＰＥＳパケットヘッダの構成である。更に、図
１１において、１１１は分離部で１１１１のバッファ、
１１１２のＣＰＵより構成される。また、１１２は同期
制御部、１１３は画像デコーダ、１１４はオーディオデ
コーダである。また、図１２はＭＰＥＧ２多重化データ
の多重データ再生装置の動作を示すフローチャートであ
る。
の説明図、図１１は、ＭＰＥＧ２データ多重化方法で多
重化したデータを復号する多重データ再生装置の構成図
である。図９において、（ａ）はＴＳパケット、（ｂ）
はＴＳパケットの構成、（ｃ）はＴＳパケットヘッダの
構成、（ｄ）はＰＡＴ、（ｅ）はＰＭＴである。次に、
図１０において、（ａ）はＰＥＳパケットの構成、
（ｂ）はＰＥＳパケットヘッダの構成である。更に、図
１１において、１１１は分離部で１１１１のバッファ、
１１１２のＣＰＵより構成される。また、１１２は同期
制御部、１１３は画像デコーダ、１１４はオーディオデ
コーダである。また、図１２はＭＰＥＧ２多重化データ
の多重データ再生装置の動作を示すフローチャートであ
る。
【０００８】以上のように構成された従来のＭＰＥＧ２
データ多重化方法及び多重データ再生装置について、以
下その動作を説明する。
データ多重化方法及び多重データ再生装置について、以
下その動作を説明する。
【０００９】画像データ、オーディオデータは、画像で
あれば、フレーム、オーディオであれば１０２４など一
定のサンプル数(ＭＰＥＧではオーディオの場合もこれ
をフレームと呼ぶ)ごとに圧縮符号化し、１フレームあ
るいは複数フレームをまとめてＰＥＳパケットと称する
パケットを作る。図１２がＰＥＳパケットのフォーマッ
トの概略である。ＰＥＳパケットにはヘッダがつくが、
ヘッダ中には後に続くデータエリアが画像データか、オ
ーディオデータか、あるいはその他のデータかを示すス
トリームＩＤ、あるいは画像とオーディオを同期して再
生するための時間情報であるＤＴＳ（デコーディングタ
イムスタンプ、デコード時間情報）、ＰＴＳ（プレゼン
テーションタイムスタンプ、提示時間情報）などを含ん
でいる。ＰＥＳパケットは後述する複数個の１８８バイ
トのＴＳパケットに分割して伝送する。
あれば、フレーム、オーディオであれば１０２４など一
定のサンプル数(ＭＰＥＧではオーディオの場合もこれ
をフレームと呼ぶ)ごとに圧縮符号化し、１フレームあ
るいは複数フレームをまとめてＰＥＳパケットと称する
パケットを作る。図１２がＰＥＳパケットのフォーマッ
トの概略である。ＰＥＳパケットにはヘッダがつくが、
ヘッダ中には後に続くデータエリアが画像データか、オ
ーディオデータか、あるいはその他のデータかを示すス
トリームＩＤ、あるいは画像とオーディオを同期して再
生するための時間情報であるＤＴＳ（デコーディングタ
イムスタンプ、デコード時間情報）、ＰＴＳ（プレゼン
テーションタイムスタンプ、提示時間情報）などを含ん
でいる。ＰＥＳパケットは後述する複数個の１８８バイ
トのＴＳパケットに分割して伝送する。
【００１０】図９がＴＳパケットのフォーマットの概略
である。ＴＳパケットにはそれぞれＰＩＤと呼ぶパケッ
ト固有の番号がついている。ＰＩＤはＴＳパケットごと
に異なるのではなく同じＰＥＳパケットは同じＰＩＤを
持つ。ＴＳパケットは、図９（ｂ）で示すようにヘッダ
に続きデータを送る。ＴＳパケットのＰＩＤは図９
（ｃ）のようにヘッダの一部として送る。ＴＳパケット
領域には図１０で示したＰＥＳパケットの他にＰＳＩと
呼ばれる番組選択の情報を送ることが可能である。図９
（ｄ）がＰＳＩの１つのであるプログラムアソシエーシ
ョンテーブルＰＡＴ、図９（ｅ）が同じくプログラムマ
ップテーブルＰＭＴの構造を示したものである。ＰＡＴ
はＰＩＤ=０が割り当てられており、プログラム番号
と、そのプログラム番号の中身を記述したＰＭＴのＰＩ
Ｄが記述してある。
である。ＴＳパケットにはそれぞれＰＩＤと呼ぶパケッ
ト固有の番号がついている。ＰＩＤはＴＳパケットごと
に異なるのではなく同じＰＥＳパケットは同じＰＩＤを
持つ。ＴＳパケットは、図９（ｂ）で示すようにヘッダ
に続きデータを送る。ＴＳパケットのＰＩＤは図９
（ｃ）のようにヘッダの一部として送る。ＴＳパケット
領域には図１０で示したＰＥＳパケットの他にＰＳＩと
呼ばれる番組選択の情報を送ることが可能である。図９
（ｄ）がＰＳＩの１つのであるプログラムアソシエーシ
ョンテーブルＰＡＴ、図９（ｅ）が同じくプログラムマ
ップテーブルＰＭＴの構造を示したものである。ＰＡＴ
はＰＩＤ=０が割り当てられており、プログラム番号
と、そのプログラム番号の中身を記述したＰＭＴのＰＩ
Ｄが記述してある。
【００１１】ＰＭＴには伝送するプログラムの番号を示
すプログラム番号、及び画像データＰＥＳ、オーディオ
データＰＥＳ、データＰＥＳパケットそれぞれのＰＩＤ
を多重して送る。また、前述したスケーラビリティの関
係の示すために、ＰＭＴにおいて、階層デスクリプタと
称する情報を画像ＰＩＤに付加し、各ＰＩＤに対応する
画像の属するスケーラビリティ、レイヤの情報を示すこ
とができる。
すプログラム番号、及び画像データＰＥＳ、オーディオ
データＰＥＳ、データＰＥＳパケットそれぞれのＰＩＤ
を多重して送る。また、前述したスケーラビリティの関
係の示すために、ＰＭＴにおいて、階層デスクリプタと
称する情報を画像ＰＩＤに付加し、各ＰＩＤに対応する
画像の属するスケーラビリティ、レイヤの情報を示すこ
とができる。
【００１２】図１１は、以上の多重化したデータを受信
してデータを再生する従来の多重データ再生装置の一例
である。受信した多重データはまずバッファ１１１２で
記憶する。ＣＰＵ１１１１は図１２で示したフローチャ
ートに基づいて動作し、最初に伝送されたデータからま
ず、ＰＩＤ＝０のＰＡＴを探す。そして、ＰＡＴの中か
ら外部から設定した所望のプログラム番号のＰＭＴのＰ
ＩＤを探す。次に、多重データ中からＰＡＴより取得し
たＰＭＴのＰＩＤを有するパケットを抽出する。ＰＭＴ
を抽出したら、そのＰＭＴから画像データＰＥＳ、オー
ディオデータＰＥＳ、データＰＥＳパケットを抽出す
る。
してデータを再生する従来の多重データ再生装置の一例
である。受信した多重データはまずバッファ１１１２で
記憶する。ＣＰＵ１１１１は図１２で示したフローチャ
ートに基づいて動作し、最初に伝送されたデータからま
ず、ＰＩＤ＝０のＰＡＴを探す。そして、ＰＡＴの中か
ら外部から設定した所望のプログラム番号のＰＭＴのＰ
ＩＤを探す。次に、多重データ中からＰＡＴより取得し
たＰＭＴのＰＩＤを有するパケットを抽出する。ＰＭＴ
を抽出したら、そのＰＭＴから画像データＰＥＳ、オー
ディオデータＰＥＳ、データＰＥＳパケットを抽出す
る。
【００１３】最後に、受信データのうちＴＳパケットの
ＰＩＤを見て、プログラムを再生するために必要なＴＳ
パケットを抽出する。ＰＩＤを記述するのをＰＡＴ１種
類にし、そのテーブル中にプログラム番号とＰＥＳのＰ
ＩＤを記述せずに、ＰＡＴ、ＰＭＴと２種類のテーブル
を用いる理由は、多数のプログラムを多重した場合、テ
ーブルが長くなってしまうことを避ける、プログラムの
内容が一部変わった場合、ＰＭＴの内容を変えるだけで
柔軟に対応できることなどがある。
ＰＩＤを見て、プログラムを再生するために必要なＴＳ
パケットを抽出する。ＰＩＤを記述するのをＰＡＴ１種
類にし、そのテーブル中にプログラム番号とＰＥＳのＰ
ＩＤを記述せずに、ＰＡＴ、ＰＭＴと２種類のテーブル
を用いる理由は、多数のプログラムを多重した場合、テ
ーブルが長くなってしまうことを避ける、プログラムの
内容が一部変わった場合、ＰＭＴの内容を変えるだけで
柔軟に対応できることなどがある。
【００１４】ＴＳパケットのうち、画像、オーディオの
パケットはそれぞれのデコーダ１１３、１１４に送る。
同期制御部１１２がＰＥＳパケット中に多重されたＰＴ
Ｓ、ＤＴＳなどの時間情報を抽出し、デコーダの同期再
生のタイミングを制御する。デコーダ１１３、１１４で
は同期制御部で示された時間に画像、オーディオを同期
して再生、表示する。
パケットはそれぞれのデコーダ１１３、１１４に送る。
同期制御部１１２がＰＥＳパケット中に多重されたＰＴ
Ｓ、ＤＴＳなどの時間情報を抽出し、デコーダの同期再
生のタイミングを制御する。デコーダ１１３、１１４で
は同期制御部で示された時間に画像、オーディオを同期
して再生、表示する。
【００１５】
【発明が解決しようとする課題】しかし、上記のような
構成では、以下のような問題があった。
構成では、以下のような問題があった。
【００１６】オブジェクト符号化におけるスケーラビリ
ティを持つ符号の多重化方法である。
ティを持つ符号の多重化方法である。
【００１７】画像符号化において、画像を構成するコン
ポーネント、すなわち、背景、人物、動いている物体な
ど、いわゆるオブジェクトごとに別々に符号化を行うオ
ブジェクト符号化方法が注目されている。オブジェクト
符号化では物体ごとに符号化するため、特定の物体など
を置き換える、取り除くなどといった編集やある物体を
検索することが簡単にできる。
ポーネント、すなわち、背景、人物、動いている物体な
ど、いわゆるオブジェクトごとに別々に符号化を行うオ
ブジェクト符号化方法が注目されている。オブジェクト
符号化では物体ごとに符号化するため、特定の物体など
を置き換える、取り除くなどといった編集やある物体を
検索することが簡単にできる。
【００１８】しかし、従来の多重化方法ではフレームと
いう概念しかないため、オブジェクト単位に扱えないと
いう欠点があった。従来の技術を拡張し、画像をオブジ
ェクトの集合としてとらえ、ＰＥＳパケットをオブジェ
クト単位に構成し、オブジェクト単位に別のＰＩＤを割
り当て、画像オブジェクト間の関係をＰＡＴ、ＰＭＴな
どのテーブルで記述する方法が考えられる。上記の方法
において、画像がスケーラビリティを持つ場合には、画
像のあるコンポーネントの基本レイヤの画像情報と高位
レイヤの画像情報をそれぞれオブジェクトと見なし、そ
れぞれＰＩＤを割り当て、基本レイヤのオブジェクトと
高位レイヤのオブジェクトをスケーラビリティの関係の
あるものとしてテーブルに記述するとすると、オブジェ
クト間の関係の記述が複雑になり、多重化装置、多重デ
ータ再生装置の構造が複雑になるという問題点がある。
いう概念しかないため、オブジェクト単位に扱えないと
いう欠点があった。従来の技術を拡張し、画像をオブジ
ェクトの集合としてとらえ、ＰＥＳパケットをオブジェ
クト単位に構成し、オブジェクト単位に別のＰＩＤを割
り当て、画像オブジェクト間の関係をＰＡＴ、ＰＭＴな
どのテーブルで記述する方法が考えられる。上記の方法
において、画像がスケーラビリティを持つ場合には、画
像のあるコンポーネントの基本レイヤの画像情報と高位
レイヤの画像情報をそれぞれオブジェクトと見なし、そ
れぞれＰＩＤを割り当て、基本レイヤのオブジェクトと
高位レイヤのオブジェクトをスケーラビリティの関係の
あるものとしてテーブルに記述するとすると、オブジェ
クト間の関係の記述が複雑になり、多重化装置、多重デ
ータ再生装置の構造が複雑になるという問題点がある。
【００１９】また、いわゆるオブジェクト符号化では、
オブジェクト指向の概念を取り入れ、データである符号
と、符号に対するメソッドである復号方法をセットとし
て考え、親のオブジェクトから子のオブジェクトに対し
て、復号方法の差分のみを継承する方法が考えられてい
るが、スケーラビリティを有する画像の場合、コンポー
ネントごとに親子の関係を持つオブジェクトを定義する
と、コンポーネントごとに復号方法の差分を記述しなけ
ればならないという欠点があった。
オブジェクト指向の概念を取り入れ、データである符号
と、符号に対するメソッドである復号方法をセットとし
て考え、親のオブジェクトから子のオブジェクトに対し
て、復号方法の差分のみを継承する方法が考えられてい
るが、スケーラビリティを有する画像の場合、コンポー
ネントごとに親子の関係を持つオブジェクトを定義する
と、コンポーネントごとに復号方法の差分を記述しなけ
ればならないという欠点があった。
【００２０】
【課題を解決するための手段】本発明の多重化方法は、
複数のＮつの階層からなるスケーラビリティを有するオ
ブジェクトデータの集合に対して、第ｉ階層（ｉ＝
１．．Ｎ）に対応する画像オブジェクトデータ、オーデ
ィオオブジェクトデータ、デジタルオブジェクトデータ
を多重化し、第ｉのオブジェクトデータ（ｉ＝１．．
Ｎ）とし、第１のオブジェクトデータから第Ｎのオブジ
ェクトデータまでのＮつのオブジェクトデータを更に多
重化し、オブジェクトデータを得るものである。
複数のＮつの階層からなるスケーラビリティを有するオ
ブジェクトデータの集合に対して、第ｉ階層（ｉ＝
１．．Ｎ）に対応する画像オブジェクトデータ、オーデ
ィオオブジェクトデータ、デジタルオブジェクトデータ
を多重化し、第ｉのオブジェクトデータ（ｉ＝１．．
Ｎ）とし、第１のオブジェクトデータから第Ｎのオブジ
ェクトデータまでのＮつのオブジェクトデータを更に多
重化し、オブジェクトデータを得るものである。
【００２１】本発明の多重化方法では、前記した構成に
より、画像の複数のコンポーネントに対応する画像オブ
ジェクトデータごとのスケーラビリティの関係の記述が
不要になり、多重化装置、多重データ再生装置を簡易に
構成すること、スケーラビリティの階層ごと、ある画像
などのコンポーネントに対応するオブジェクトごとに容
易に編集することがなどが可能になる。
より、画像の複数のコンポーネントに対応する画像オブ
ジェクトデータごとのスケーラビリティの関係の記述が
不要になり、多重化装置、多重データ再生装置を簡易に
構成すること、スケーラビリティの階層ごと、ある画像
などのコンポーネントに対応するオブジェクトごとに容
易に編集することがなどが可能になる。
【００２２】
【発明の実施の形態】以下、本発明の第１の実施形態に
おけるデータ多重化方法および多重データ再生装置につ
いて、図面を参照しながら説明する。
おけるデータ多重化方法および多重データ再生装置につ
いて、図面を参照しながら説明する。
【００２３】図１は、本発明の第１の実施形態における
多重化装置の構成図である。図１において、１１は第１
のデータ多重化器で、セレクタ１１１、バッファ１１
２、１１３、１１４、１１５、ＣＰＵ１１６よりなる。
１２は、第２の多重化器で、セレクタ１２１、バッファ
１２２、１２３、１２４、ＣＰＵ１２５よりなる。１３
は、第３の多重化器で、セレクタ１３１、バッファ１３
２、１３３、ＣＰＵ１３４よりなる。
多重化装置の構成図である。図１において、１１は第１
のデータ多重化器で、セレクタ１１１、バッファ１１
２、１１３、１１４、１１５、ＣＰＵ１１６よりなる。
１２は、第２の多重化器で、セレクタ１２１、バッファ
１２２、１２３、１２４、ＣＰＵ１２５よりなる。１３
は、第３の多重化器で、セレクタ１３１、バッファ１３
２、１３３、ＣＰＵ１３４よりなる。
【００２４】図５は、本発明の第１の実施形態における
多重データ再生装置である。図５において、５１は多重
化データ蓄積メディア、５２は多重化データ伝送メディ
ア、５３はデータ逆多重化装置で、ＣＰＵ５３１、バッ
ファ５３２よりなり、５４は制御部で、バッファ５４
１、ＣＰＵ５４２よりなり、５５は画像デコーダ、５６
はオーディオデコーダである。
多重データ再生装置である。図５において、５１は多重
化データ蓄積メディア、５２は多重化データ伝送メディ
ア、５３はデータ逆多重化装置で、ＣＰＵ５３１、バッ
ファ５３２よりなり、５４は制御部で、バッファ５４
１、ＣＰＵ５４２よりなり、５５は画像デコーダ、５６
はオーディオデコーダである。
【００２５】以上のように構成された本実施形態の多重
化装置、多重データ再生装置において、以下、その動作
を説明する。
化装置、多重データ再生装置において、以下、その動作
を説明する。
【００２６】原信号としては、スケーラビリティを持つ
オブジェクト符号を考える。オブジェクト符号について
は、例えば、"ISO/IEC JTC1/SC29/WG11 N1246"にその解
説がある。
オブジェクト符号を考える。オブジェクト符号について
は、例えば、"ISO/IEC JTC1/SC29/WG11 N1246"にその解
説がある。
【００２７】オブジェクト符号化においては、画像を、
画像を構成するコンポーネント、すなわち、背景、人
物、動いている物体など、いわゆるオブジェクトごとに
別々に符号化を行う。
画像を構成するコンポーネント、すなわち、背景、人
物、動いている物体など、いわゆるオブジェクトごとに
別々に符号化を行う。
【００２８】原信号として、本実施例では、図２のよう
な信号を考える。図２は、本発明の第１の実施形態にお
ける原信号の説明図で、２１は原画像、２２、２３、２
４、２４は画像オブジェクト、２６はオーディオオブジ
ェクトである。
な信号を考える。図２は、本発明の第１の実施形態にお
ける原信号の説明図で、２１は原画像、２２、２３、２
４、２４は画像オブジェクト、２６はオーディオオブジ
ェクトである。
【００２９】図２では、オーディオが付随した１連の映
像データ中の１枚の画像を示している。図２において、
１枚の画像２１は、背景に当たる２２、背景中を移動す
る物体２３、画像に付随するオーディオ２６で構成す
る。更に、オブジェクト２３は胴体２４、車輪２５で構
成される。すなわち、オブジェクト符号では、原画像２
１を、背景２２、胴体２４、車輪２５とオーディオ２６
に分割し、それぞれを圧縮符号する。また、本実施例で
は、スケーラビリティを考え、背景２２、胴体２４、車
輪２５のオブジェクトそれぞれに、基本レイヤ、高位レ
イヤの画像オブジェクトデータが存在するものとする。
像データ中の１枚の画像を示している。図２において、
１枚の画像２１は、背景に当たる２２、背景中を移動す
る物体２３、画像に付随するオーディオ２６で構成す
る。更に、オブジェクト２３は胴体２４、車輪２５で構
成される。すなわち、オブジェクト符号では、原画像２
１を、背景２２、胴体２４、車輪２５とオーディオ２６
に分割し、それぞれを圧縮符号する。また、本実施例で
は、スケーラビリティを考え、背景２２、胴体２４、車
輪２５のオブジェクトそれぞれに、基本レイヤ、高位レ
イヤの画像オブジェクトデータが存在するものとする。
【００３０】以上のような信号を原信号として扱う本実
施形態について図１、図３を用いて説明する。
施形態について図１、図３を用いて説明する。
【００３１】図３は、本発明の第１の実施形態における
データ多重化方法の説明図である。図３において、３１
は基本レイヤのオブジェクトデータで、画像オブジェク
トデータ３１１、３１２、３１３、オーディオデータ３
１４よりなる。３２は高位レイヤのオブジェクトデータ
で画像オブジェクトデータ３２１、３２２、３２３より
なる。
データ多重化方法の説明図である。図３において、３１
は基本レイヤのオブジェクトデータで、画像オブジェク
トデータ３１１、３１２、３１３、オーディオデータ３
１４よりなる。３２は高位レイヤのオブジェクトデータ
で画像オブジェクトデータ３２１、３２２、３２３より
なる。
【００３２】図３のように、本発明のデータ多重化方法
においては、スケーラビリティの各階層のオブジェクト
データごとに第１の多重化を行い、オブジェクトデータ
とする。すなわち、基本レイヤの階層については、背景
３１１、胴体３１２、車輪３１３、オーディオデータ３
１４を多重化し、高位レイヤについては、背景３２１、
胴体３２２、車輪３２３を多重化する。
においては、スケーラビリティの各階層のオブジェクト
データごとに第１の多重化を行い、オブジェクトデータ
とする。すなわち、基本レイヤの階層については、背景
３１１、胴体３１２、車輪３１３、オーディオデータ３
１４を多重化し、高位レイヤについては、背景３２１、
胴体３２２、車輪３２３を多重化する。
【００３３】次に、階層ごとの多重オブジェクトデータ
を更に多重化する第２の多重化を行う。
を更に多重化する第２の多重化を行う。
【００３４】以上のようなデータ多重化方法を実現する
データ多重化装置について以下、図１を用いて説明す
る。
データ多重化装置について以下、図１を用いて説明す
る。
【００３５】第１の多重化装置１１には、背景３１１、
胴体３１２、車輪３１３の基本レイヤの画像データとオ
ーディオ３１４が入力され、多重化される。各データ
は、バッファ１１２、１１３、１１４、１１５に入力さ
れ、ＣＰＵ１１６によりそれぞれＰＩＤを付加し、パケ
ット化され、セレクタ１１１に出力される。セレクタ１
１１はＣＰＵ１１６の制御により、バッファ１１２、１
１３、１１４、１１５からの各パケットを多重化し、各
ＰＩＤに対応するパケットの信号情報（画像かオーディ
オかの情報、スケーラビリティの情報）と画像・音声オ
ブジェクト間の構成情報（図２のオブジェクト間の構成
を示すリンク情報）を出力する。
胴体３１２、車輪３１３の基本レイヤの画像データとオ
ーディオ３１４が入力され、多重化される。各データ
は、バッファ１１２、１１３、１１４、１１５に入力さ
れ、ＣＰＵ１１６によりそれぞれＰＩＤを付加し、パケ
ット化され、セレクタ１１１に出力される。セレクタ１
１１はＣＰＵ１１６の制御により、バッファ１１２、１
１３、１１４、１１５からの各パケットを多重化し、各
ＰＩＤに対応するパケットの信号情報（画像かオーディ
オかの情報、スケーラビリティの情報）と画像・音声オ
ブジェクト間の構成情報（図２のオブジェクト間の構成
を示すリンク情報）を出力する。
【００３６】第２の多重化装置１２には、背景３２１、
胴体３２２、車輪３２３の高位レイヤの画像データが入
力され、多重化される。各データは、バッファ１２２、
１２３、１２４に入力され、ＣＰＵ１２５によりそれぞ
れＰＩＤを付加し、パケット化され、セレクタ１２１に
出力される。セレクタ１２１はＣＰＵ１２５の制御によ
り、バッファ１２２、１２３、１２４からの各パケット
を多重化し、各ＰＩＤに対応するパケットの信号情報
（画像かオーディオかの情報、スケーラビリティの情
報）と画像・音声オブジェクト間の構成情報（図２のオ
ブジェクト間の構成を示すリンク情報）を出力する。
胴体３２２、車輪３２３の高位レイヤの画像データが入
力され、多重化される。各データは、バッファ１２２、
１２３、１２４に入力され、ＣＰＵ１２５によりそれぞ
れＰＩＤを付加し、パケット化され、セレクタ１２１に
出力される。セレクタ１２１はＣＰＵ１２５の制御によ
り、バッファ１２２、１２３、１２４からの各パケット
を多重化し、各ＰＩＤに対応するパケットの信号情報
（画像かオーディオかの情報、スケーラビリティの情
報）と画像・音声オブジェクト間の構成情報（図２のオ
ブジェクト間の構成を示すリンク情報）を出力する。
【００３７】第３の多重化装置１３には、第１の多重化
装置の出力、第２の多重化装置の出力が入力され多重化
される。バッファ１３２、１３３に入力されたデータ
は、ＣＰＵ１３４により、同じ画像コンポーネントのオ
ブジェクトの基本レイヤのパケットと高位レイヤのパケ
ットには、同じＰＩＤ、異なるＳｕｂＰＩＤが付加され
る。図３では、例えば、背景のオブジェクト３１１、３
２１についてのパケットには、同一のＰＩＤが付けられ
る。また、同一のスケーラビリティに対しては、同じＳ
ｕｂＰＩＤが付加される。すなわち、本実施例では、基
本レイヤのオブジェクトには、すべて同一のあるＳｕｂ
ＰＩＤが、高位レイヤのオブジェクトにはすべて同一の
あるＳｕｂＰＩＤが割り当てられる。
装置の出力、第２の多重化装置の出力が入力され多重化
される。バッファ１３２、１３３に入力されたデータ
は、ＣＰＵ１３４により、同じ画像コンポーネントのオ
ブジェクトの基本レイヤのパケットと高位レイヤのパケ
ットには、同じＰＩＤ、異なるＳｕｂＰＩＤが付加され
る。図３では、例えば、背景のオブジェクト３１１、３
２１についてのパケットには、同一のＰＩＤが付けられ
る。また、同一のスケーラビリティに対しては、同じＳ
ｕｂＰＩＤが付加される。すなわち、本実施例では、基
本レイヤのオブジェクトには、すべて同一のあるＳｕｂ
ＰＩＤが、高位レイヤのオブジェクトにはすべて同一の
あるＳｕｂＰＩＤが割り当てられる。
【００３８】セレクタ１３１はＣＰＵ１３４の制御によ
り、バッファ１３２、１３３からの各パケットを多重化
し、ＰＡＴ，オブジェクト間情報テーブル、スケーラビ
リティ情報テーブルと共に出力される。
り、バッファ１３２、１３３からの各パケットを多重化
し、ＰＡＴ，オブジェクト間情報テーブル、スケーラビ
リティ情報テーブルと共に出力される。
【００３９】図４は多重化データ構成の説明図である。
(ａ）は、ＴＳパケット、（ｂ）は、ＰＡＴ、（ｃ）
は、オブジェクト間情報テーブル（ＰＭＴ）、（ｄ）
は、スケーラビリティ情報テーブル（ＰＭＴ）である。
(ａ）は、ＴＳパケット、（ｂ）は、ＰＡＴ、（ｃ）
は、オブジェクト間情報テーブル（ＰＭＴ）、（ｄ）
は、スケーラビリティ情報テーブル（ＰＭＴ）である。
【００４０】多重化データは、（ａ）で示すように各パ
ケットに画像のコンポーネントの識別子であるＰＩＤ、
スケーラビリティの識別子であるＳｕｂＰＩＤが付加さ
れたＴＳパケットにより構成される。
ケットに画像のコンポーネントの識別子であるＰＩＤ、
スケーラビリティの識別子であるＳｕｂＰＩＤが付加さ
れたＴＳパケットにより構成される。
【００４１】ＰＡＴでは、各プログラムのプログラムマ
ップテーブルに対応するオブジェクト間情報テーブル、
スケーラビリティ情報テーブルの２つのＰＩＤが示され
る。
ップテーブルに対応するオブジェクト間情報テーブル、
スケーラビリティ情報テーブルの２つのＰＩＤが示され
る。
【００４２】また、オブジェクト間情報テーブルでは、
各オブジェクトのＰＩＤと各ＰＩＤに対応するオブジェ
クトの構成情報（図２）が、スケーラビリティ情報テー
ブルでは各スケーラビリティのＳｕｂＰＩＤと各Ｓｕｂ
ＰＩＤに対応するスケーラビリティの情報が、それぞれ
示される。
各オブジェクトのＰＩＤと各ＰＩＤに対応するオブジェ
クトの構成情報（図２）が、スケーラビリティ情報テー
ブルでは各スケーラビリティのＳｕｂＰＩＤと各Ｓｕｂ
ＰＩＤに対応するスケーラビリティの情報が、それぞれ
示される。
【００４３】次に、このようにして構成された多重デー
タを再生する多重データ再生装置について、図５、図６
を用いて、説明する。図１の多重化装置により出力され
た多重データは、図５１に示す多重化データ蓄積メディ
アや、図５２に示す多重化データ伝送メディアにより、
多重データ再生装置に入力される。多重データは、逆多
重化装置５３に入力され、バッファ５３２により記録さ
れ、ＣＰＵ５３１により、図６のフローチャートに従っ
て、ＰＡＴ、ＰＭＴ（オブジェクト間情報テーブル、ス
ケーラビリティ情報テーブル）の解析が行われる。オブ
ジェクト間の情報を制御部５４へ、画像データを画像デ
コーダ５５へ、オーディオデータをオーディオデコーダ
５６へ出力する。この時、スケーラビリティ情報テーブ
ルと画像デコーダの性能からＣＰＵ５３１は、画像デコ
ーダの性能に対応する画像データを選択し、出力する。
タを再生する多重データ再生装置について、図５、図６
を用いて、説明する。図１の多重化装置により出力され
た多重データは、図５１に示す多重化データ蓄積メディ
アや、図５２に示す多重化データ伝送メディアにより、
多重データ再生装置に入力される。多重データは、逆多
重化装置５３に入力され、バッファ５３２により記録さ
れ、ＣＰＵ５３１により、図６のフローチャートに従っ
て、ＰＡＴ、ＰＭＴ（オブジェクト間情報テーブル、ス
ケーラビリティ情報テーブル）の解析が行われる。オブ
ジェクト間の情報を制御部５４へ、画像データを画像デ
コーダ５５へ、オーディオデータをオーディオデコーダ
５６へ出力する。この時、スケーラビリティ情報テーブ
ルと画像デコーダの性能からＣＰＵ５３１は、画像デコ
ーダの性能に対応する画像データを選択し、出力する。
【００４４】画像デコーダでは、オブジェクト間情報に
基づき、画像の復号を行い、原画像を復元し、オーディ
オデコーダはオーディオデータを復元する。
基づき、画像の復号を行い、原画像を復元し、オーディ
オデコーダはオーディオデータを復元する。
【００４５】以上のような動作により、画像の複数のコ
ンポーネントに対応する画像オブジェクトデータごとに
スケーラビリティの関係の記述が不要になり、簡易な構
成を持つ多重化装置、多重データ再生装置を実現可能と
なる。
ンポーネントに対応する画像オブジェクトデータごとに
スケーラビリティの関係の記述が不要になり、簡易な構
成を持つ多重化装置、多重データ再生装置を実現可能と
なる。
【００４６】また、スケーラビリティをＳｕｂＰＩＤに
より判定することが可能となるため、これを用いて優先
付けを行うことができる。伝送路においてパケット廃棄
やエラーが起こった時に、高位レイヤパケットを優先的
に廃棄したり、基本レイヤのパケットにより多くのエラ
ー情報を付加することが可能となり、グレースフルディ
グラデーションなどを容易に実現可能になる。
より判定することが可能となるため、これを用いて優先
付けを行うことができる。伝送路においてパケット廃棄
やエラーが起こった時に、高位レイヤパケットを優先的
に廃棄したり、基本レイヤのパケットにより多くのエラ
ー情報を付加することが可能となり、グレースフルディ
グラデーションなどを容易に実現可能になる。
【００４７】また、本発明の多重化データでは、パケッ
トレベルでの、画像コンポーネント、音声コンポーネン
トの判定、スケーラビリティの判定が容易になるため、
画像コンポーネント・音声コンポーネント・スケーラビ
リティごとの編集などが容易になる。
トレベルでの、画像コンポーネント、音声コンポーネン
トの判定、スケーラビリティの判定が容易になるため、
画像コンポーネント・音声コンポーネント・スケーラビ
リティごとの編集などが容易になる。
【００４８】また、いわゆるオブジェクト符号化では、
オブジェクト指向の概念を取り入れ、データである符号
と符号に対するメソッドである復号方法をセットとして
考え、親のオブジェクトから子のオブジェクトに対し
て、復号方法の差分のみを継承する方法が考えられてい
る。スケーラビリティを有する画像の場合、コンポーネ
ントごとに親子の関係を持つオブジェクトを定義する
と、コンポーネントごとに復号方法の差分を記述しなけ
ればならないが、本発明のデータ多重方法によれば、画
像のオブジェクトの元となる背景の画像オブジェクトに
ついてのみスケーラビリティによる復号方法の差分を記
述すればよく、効率的なメソッドの記述が可能となる。
オブジェクト指向の概念を取り入れ、データである符号
と符号に対するメソッドである復号方法をセットとして
考え、親のオブジェクトから子のオブジェクトに対し
て、復号方法の差分のみを継承する方法が考えられてい
る。スケーラビリティを有する画像の場合、コンポーネ
ントごとに親子の関係を持つオブジェクトを定義する
と、コンポーネントごとに復号方法の差分を記述しなけ
ればならないが、本発明のデータ多重方法によれば、画
像のオブジェクトの元となる背景の画像オブジェクトに
ついてのみスケーラビリティによる復号方法の差分を記
述すればよく、効率的なメソッドの記述が可能となる。
【００４９】更に、効果制御を容易に実現することが可
能となる。すなわち、スクランブル装置において、高位
レイヤの画像オブジェクトに対応するパケットのみスク
ランブルし、基本レイヤの画像オブジェクトに対しては
原信号のまま出力する。デスクランブル装置において逆
操作を行い、出力することにより効果制御が可能とな
る。
能となる。すなわち、スクランブル装置において、高位
レイヤの画像オブジェクトに対応するパケットのみスク
ランブルし、基本レイヤの画像オブジェクトに対しては
原信号のまま出力する。デスクランブル装置において逆
操作を行い、出力することにより効果制御が可能とな
る。
【００５０】図７は、空間スケーラビリティを用いた場
合の効果制御の説明図である。図７において、７１は正
規受信者の視聴画面、７２は正規受信者以外の視聴画面
である。すなわち、正規の受信者は、高位レイヤ、基本
レイヤの両方を復号することが可能となり、正規の高空
間解像度画像７１を復元できる。一方、正規の受信者以
外は、基本レイヤのみの画像を復元できるため基本レイ
ヤの低空間解像度画像７２を受信することになる。基本
レイヤに対応する画像について、空間スケーラビリテ
ィ、時間スケーラビリティ、ＳＮＲスケーラビリティな
どのスケーラビリティ、解像度などを様々に変更するこ
とにより、用途に応じた様々な効果制御を行うことがで
きる。
合の効果制御の説明図である。図７において、７１は正
規受信者の視聴画面、７２は正規受信者以外の視聴画面
である。すなわち、正規の受信者は、高位レイヤ、基本
レイヤの両方を復号することが可能となり、正規の高空
間解像度画像７１を復元できる。一方、正規の受信者以
外は、基本レイヤのみの画像を復元できるため基本レイ
ヤの低空間解像度画像７２を受信することになる。基本
レイヤに対応する画像について、空間スケーラビリテ
ィ、時間スケーラビリティ、ＳＮＲスケーラビリティな
どのスケーラビリティ、解像度などを様々に変更するこ
とにより、用途に応じた様々な効果制御を行うことがで
きる。
【００５１】なお、本実施例では、スケーラビリティの
階層数が２の場合について、説明したが、階層が３つ以
上存在する場合にも、本発明は、同様に適用可能であ
る。
階層数が２の場合について、説明したが、階層が３つ以
上存在する場合にも、本発明は、同様に適用可能であ
る。
【００５２】また、本実施例では、画像について、スケ
ーラビリティが存在する場合について説明したが、音声
など他のデータについてスケーラビリティが存在する場
合にも、本発明は、有効である。
ーラビリティが存在する場合について説明したが、音声
など他のデータについてスケーラビリティが存在する場
合にも、本発明は、有効である。
【００５３】
【発明の効果】以上、説明したように、本発明によれ
ば、複数階層のスケーラビリティを持つオブジェクトの
集合において、各階層ごとに複数の画像オブジェクト、
オーディオオブジェクト、デジタルデータオブジェクト
の多重化を行い、１つのオブジェクトとし、更に各階層
のオブジェクトデータを再度多重化することにより、画
像・音声の複数のコンポーネントに対応するオブジェク
トデータごとのスケーラビリティの関係の記述が不要に
なり、簡易な構成を持つ多重化装置・多重データ再生装
置の実現、スケーラビリティごと、オブジェクトごとの
編集が容易な多重データの生成が可能となる。
ば、複数階層のスケーラビリティを持つオブジェクトの
集合において、各階層ごとに複数の画像オブジェクト、
オーディオオブジェクト、デジタルデータオブジェクト
の多重化を行い、１つのオブジェクトとし、更に各階層
のオブジェクトデータを再度多重化することにより、画
像・音声の複数のコンポーネントに対応するオブジェク
トデータごとのスケーラビリティの関係の記述が不要に
なり、簡易な構成を持つ多重化装置・多重データ再生装
置の実現、スケーラビリティごと、オブジェクトごとの
編集が容易な多重データの生成が可能となる。
【図１】本発明の第１の実施形態における多重化装置の
構成図
構成図
【図２】本発明の第１の実施形態における原信号の説明
図
図
【図３】本発明の第１の実施形態におけるデータ多重化
方法の説明図
方法の説明図
【図４】（ａ）多重化データの中でＴＳパケットを示す
図 （ｂ）多重化データの中でＰＡＴを示す図 （ｃ）多重化データの中でオブジェクト間情報テーブル
（ＰＭＴ）を示す図 （ｄ）多重化データの中でスケーラビリティ情報テーブ
ル（ＰＭＴ）を示す図
図 （ｂ）多重化データの中でＰＡＴを示す図 （ｃ）多重化データの中でオブジェクト間情報テーブル
（ＰＭＴ）を示す図 （ｄ）多重化データの中でスケーラビリティ情報テーブ
ル（ＰＭＴ）を示す図
【図５】本発明の第１の実施形態における多重データ再
生装置の構成図
生装置の構成図
【図６】本発明の第１の実施形態における多重データ再
生装置のフローチャート
生装置のフローチャート
【図７】空間スケーラビリティを用いた場合の効果制御
の説明図
の説明図
【図８】ＭＰＥＧ２映像信号符号化における空間スケー
ラビリティの説明図
ラビリティの説明図
【図９】（ａ）ＭＰＥＧ２データ多重化方法でＴＳパケ
ットを示す図 （ｂ）ＭＰＥＧ２データ多重化方法でＴＳパケットの構
成を示す図 （ｂ）ＭＰＥＧ２データ多重化方法でＴＳパケットヘッ
ダの構成を示す図 （ｃ）ＭＰＥＧ２データ多重化方法でＰＡＴを示す図 （ｄ）ＭＰＥＧ２データ多重化方法でＰＭＴを示す図
ットを示す図 （ｂ）ＭＰＥＧ２データ多重化方法でＴＳパケットの構
成を示す図 （ｂ）ＭＰＥＧ２データ多重化方法でＴＳパケットヘッ
ダの構成を示す図 （ｃ）ＭＰＥＧ２データ多重化方法でＰＡＴを示す図 （ｄ）ＭＰＥＧ２データ多重化方法でＰＭＴを示す図
【図１０】（ａ）ＭＰＥＧ２データ多重化方法でＰＥＳ
パケットの構成を示す図 （ｂ）ＭＰＥＧ２データ多重化方法でＰＥＳパケットヘ
ッダの構成を示す図
パケットの構成を示す図 （ｂ）ＭＰＥＧ２データ多重化方法でＰＥＳパケットヘ
ッダの構成を示す図
【図１１】ＭＰＥＧ２データ多重化データの多重データ
再生装置の構成図
再生装置の構成図
【図１２】ＭＰＥＧ２多重化データの多重データ再生装
置の動作を示すフローチャート
置の動作を示すフローチャート
１１ 第１のデータ多重化器 １１１ セレクタ １１２，１１３，１１４，１１５ バッファ １１６ ＣＰＵ １２ 第２の多重化器 １２１ セレクタ １２２，１２３，１２４ バッファ １２５ ＣＰＵ １３ 第３の多重化器 １３１ セレクタ １３２，１３３ バッファ １３４ ＣＰＵ ２１ 原画像 ２２，２３，２４，２５ 画像オブジェクト ２６ オーディオオブジェクト ３１ 基本レイヤのオブジェクトデータ ３１１，３１２，３１３ 画像オブジェクトデータ ３１４ オーディオデータ ３２ 高位レイヤのオブジェクトデータ ３２１，３２２，３２３ 画像オブジェクトデータ ５１ 多重化データ蓄積メディア ５２ 多重化データ伝送メディア ５３ データ逆多重化装置 ５３１ ＣＰＵ ５３２ バッファ ５４ 制御部 ５４１ バッファ ５４２ ＣＰＵ ５５ 画像デコーダ ５６ オーディオデコーダ ６１，６２，６３，６４，６５，６６，６７ フローチ
ャート項目 ７１ 正規受信者の視聴画面 ７２ 正規受信者以外の視聴画面 ８１，８２，８３ 空間スケーラビリティ高位レイヤ画
像 ８４，８５，８６ 空間スケーラビリティ基本レイヤの
アップサンプリング画像 ８７，８８，８９ 空間スケーラビリティ基本レイヤ画
像 １１１ 分離部 １１１１ バッファ １１１２ ＣＰＵ １１２ 同期制御部 １１３ 画像デコーダ １１４ オーディオデコーダ １２１，１２２，１２３，１２４，１２５，１２６ フ
ローチャート項目
ャート項目 ７１ 正規受信者の視聴画面 ７２ 正規受信者以外の視聴画面 ８１，８２，８３ 空間スケーラビリティ高位レイヤ画
像 ８４，８５，８６ 空間スケーラビリティ基本レイヤの
アップサンプリング画像 ８７，８８，８９ 空間スケーラビリティ基本レイヤ画
像 １１１ 分離部 １１１１ バッファ １１１２ ＣＰＵ １１２ 同期制御部 １１３ 画像デコーダ １１４ オーディオデコーダ １２１，１２２，１２３，１２４，１２５，１２６ フ
ローチャート項目
Claims (10)
- 【請求項１】 複数のＮつの階層からなるスケーラビリ
ティを有するオブジェクトデータの集合に対して、第ｉ
階層（ｉ＝１．．Ｎ）に対応する画像オブジェクトデー
タ、オーディオオブジェクトデータ、デジタルオブジェ
クトデータを多重化し、第ｉのオブジェクトデータ（ｉ
＝１．．Ｎ）とし、第１のオブジェクトデータから第Ｎ
のオブジェクトデータまでのＮつのオブジェクトデータ
を更に多重化し、オブジェクトデータを得ることを特徴
とするデータ多重化方法。 - 【請求項２】 複数のＮつの階層からなるスケーラビリ
ティを有するオブジェクトデータの集合に対して、第ｉ
階層（ｉ＝１．．Ｎ）に対応する画像オブジェクトデー
タ、オーディオオブジェクトデータ、デジタルオブジェ
クトデータを多重化し、第ｉのオブジェクトデータ（ｉ
＝１．．Ｎ）とし、パケット化し、第ｉのパケットデー
タ（ｉ＝１．．Ｎ）を生成し、 第１のパケットデータから第Ｎのパケットデータまでの
Ｎつのパケットデータを更に多重化し、パケットデータ
を得る場合において、パケットの識別を行うパケット番
号を、第１のパケットデータから第Ｎのパケットデータ
までのＮつのパケットごとに付与することを特徴とする
データ多重化方法。 - 【請求項３】 複数のＮつの階層からなるスケーラビリ
ティを有するオブジェクトデータの集合に対して、第ｉ
階層（ｉ＝１．．Ｎ）に対応する画像オブジェクトデー
タ、オーディオオブジェクトデータ、デジタルオブジェ
クトデータを多重化し、第ｉのオブジェクトデータ（ｉ
＝１．．Ｎ）とし、パケット化し、第ｉのパケットデー
タ（ｉ＝１．．Ｎ）を生成し、 第１のパケットデータから第Ｎのパケットデータまでの
Ｎつのパケットデータを更に多重化し、パケットデータ
を得る場合において、第１のパケットデータから第Ｎの
パケットデータまでのＮつのパケットにそれぞれ異なる
優先順位を付与することを特徴とするデータ多重化方
法。 - 【請求項４】 複数のＮつの階層からなるスケーラビリ
ティを有するオブジェクトデータの集合に対して、第ｉ
階層（ｉ＝１．．Ｎ）に対応する画像オブジェクトデー
タ、オーディオオブジェクトデータ、デジタルオブジェ
クトデータをパケット化した後、パケット多重化し、第
ｉのパケットデータ（ｉ＝１．．Ｎ）を生成し、 階層が異なりスケラビリティの関係を持つ同一のコンポ
ーネントを示すオブジェクトのパケットに対しては、パ
ケットを識別する同一の第１のパケット番号を割り当
て、 第１のパケットデータから第Ｎのパケットデータまでの
Ｎつのパケットデータを更に多重化し、パケットデータ
を得る場合において、パケットの識別を行う第２のパケ
ット番号を、第１のパケットデータから第Ｎのパケット
データまでのＮつのパケットに付与することを特徴とす
るデータ多重化方法。 - 【請求項５】 スクランブル装置とデスクランブル装置
を具備し、前記スクランブル装置は、請求項１記載のデ
ータ多重化方法により多重化された多重化データを入力
とし、スケーラビリティの各階層に対応するオブジェク
トデータごとに、スクランブルモードを設定し、スクラ
ンブルを行って、出力し、前記デスクランブル装置は、
前記スクランブル装置からのスクランブルデータを入力
とし、スクランブル鍵を有する場合には、前記スケーラ
ビリティの各階層に対応するオブジェクトデータごと
に、前記スクランブルモードを設定し、デスクランブル
を行うことを特徴とするスクランブル伝送装置。 - 【請求項６】 請求項１記載のデータ多重化方法により
多重化された多重化データを入力とし、スケーラビリテ
ィの各階層に対応するオブジェクトデータごとにスクラ
ンブルモードを設定し、スクランブルを行うことを特徴
とするスクランブル装置。 - 【請求項７】 請求項６記載のスクランブル装置からの
信号を入力とし、スクランブル鍵を有する場合には、ス
ケーラビリティの各階層に対応するオブジェクトデータ
ごとにスクランブルモードを設定し、デスクランブルを
行うことを特徴とするデスクランブル装置。 - 【請求項８】 請求項１、２、３、４記載のデータ多重
化方法により生成されたデータを受信し、画像またはオ
ーディオまたはその他ディジタルデータを再生すること
を特徴とする多重データ再生装置。 - 【請求項９】 請求項１、２、３、４記載のデータ多重
化方法により生成された多重データを記録する記録媒
体。 - 【請求項１０】 請求項１、２、３、４記載のデータ多
重化方法により生成された多重データを伝送する伝送媒
体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15654796A JPH104539A (ja) | 1996-06-18 | 1996-06-18 | データ多重化方法及び多重データ再生装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15654796A JPH104539A (ja) | 1996-06-18 | 1996-06-18 | データ多重化方法及び多重データ再生装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH104539A true JPH104539A (ja) | 1998-01-06 |
Family
ID=15630189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15654796A Pending JPH104539A (ja) | 1996-06-18 | 1996-06-18 | データ多重化方法及び多重データ再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH104539A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999004566A1 (en) * | 1997-07-18 | 1999-01-28 | Sony Corporation | Method and system for multiplexing image signal, method and system for demultiplexing image signal, and transmission medium |
| WO1999062254A1 (fr) * | 1998-05-28 | 1999-12-02 | Kabushiki Kaisha Toshiba | Systeme de radiodiffusion numerique et terminal correspondant |
| KR100316752B1 (ko) * | 1998-10-09 | 2001-12-12 | 마츠시타 덴끼 산교 가부시키가이샤 | 장면의 공간과 시간 묘사의 표현으로 다른 데이터 타입의 정보를 실수값 입력장치에 연결하는 방법 |
| JP2002504788A (ja) * | 1998-02-20 | 2002-02-12 | トムソン ライセンシング ソシエテ アノニム | 拡張プログラムガイドを適応的に形成し処理するマルチメディアシステム |
| JP2002247575A (ja) * | 1998-05-28 | 2002-08-30 | Toshiba Corp | 移動ディジタル放送システムとその端末装置 |
| WO2005076622A1 (ja) * | 2004-02-06 | 2005-08-18 | Sony Corporation | 情報処理装置および情報処理方法、プログラム、並びにデータ構造 |
| JP2006217611A (ja) * | 2005-02-02 | 2006-08-17 | Sharp Corp | クライアント側の仮想ラジオ局 |
| JP2014509114A (ja) * | 2011-01-19 | 2014-04-10 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | ビットストリームサブセットの指示 |
-
1996
- 1996-06-18 JP JP15654796A patent/JPH104539A/ja active Pending
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6567427B1 (en) | 1997-07-18 | 2003-05-20 | Sony Corporation | Image signal multiplexing apparatus and methods, image signal demultiplexing apparatus and methods, and transmission media |
| WO1999004566A1 (en) * | 1997-07-18 | 1999-01-28 | Sony Corporation | Method and system for multiplexing image signal, method and system for demultiplexing image signal, and transmission medium |
| AU731906B2 (en) * | 1997-07-18 | 2001-04-05 | Sony Corporation | Image signal multiplexing apparatus and methods, image signal demultiplexing apparatus and methods, and transmission media |
| JP2009194925A (ja) * | 1998-02-20 | 2009-08-27 | Thomson Licensing | 拡張プログラムガイドを適応的に形成し処理するマルチメディアシステム |
| JP2002504787A (ja) * | 1998-02-20 | 2002-02-12 | トムソン ライセンシング ソシエテ アノニム | プログラムガイドを形成し、区分し、処理するためのシステム |
| JP2002504788A (ja) * | 1998-02-20 | 2002-02-12 | トムソン ライセンシング ソシエテ アノニム | 拡張プログラムガイドを適応的に形成し処理するマルチメディアシステム |
| JP2009207160A (ja) * | 1998-02-20 | 2009-09-10 | Thomson Licensing | プログラムガイドを形成し、区分しおよび処理するシステム |
| WO1999062254A1 (fr) * | 1998-05-28 | 1999-12-02 | Kabushiki Kaisha Toshiba | Systeme de radiodiffusion numerique et terminal correspondant |
| JP2002247575A (ja) * | 1998-05-28 | 2002-08-30 | Toshiba Corp | 移動ディジタル放送システムとその端末装置 |
| US6711379B1 (en) | 1998-05-28 | 2004-03-23 | Kabushiki Kaisha Toshiba | Digital broadcasting system and terminal therefor |
| KR100316752B1 (ko) * | 1998-10-09 | 2001-12-12 | 마츠시타 덴끼 산교 가부시키가이샤 | 장면의 공간과 시간 묘사의 표현으로 다른 데이터 타입의 정보를 실수값 입력장치에 연결하는 방법 |
| JPWO2005076622A1 (ja) * | 2004-02-06 | 2008-01-10 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、データ構造、および記録媒体 |
| WO2005076622A1 (ja) * | 2004-02-06 | 2005-08-18 | Sony Corporation | 情報処理装置および情報処理方法、プログラム、並びにデータ構造 |
| JP2012042972A (ja) * | 2004-02-06 | 2012-03-01 | Sony Corp | 情報処理装置、情報処理方法、プログラム、データ構造、および記録媒体 |
| US8483053B2 (en) | 2004-02-06 | 2013-07-09 | Sony Corporation | Information processing device, information processing method, program, and data structure |
| JP2006217611A (ja) * | 2005-02-02 | 2006-08-17 | Sharp Corp | クライアント側の仮想ラジオ局 |
| JP2014509114A (ja) * | 2011-01-19 | 2014-04-10 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | ビットストリームサブセットの指示 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6377309B1 (en) | Image processing apparatus and method for reproducing at least an image from a digital data sequence | |
| Haskell et al. | Digital video: an introduction to MPEG-2 | |
| US7881584B2 (en) | Reproducing apparatus and method, and recording medium | |
| JP2011166813A (ja) | 画像符号化装置および方法、並びに記録媒体 | |
| US20020168086A1 (en) | Encoding, producing and decoding methods of object data, and apparatuses for encoding, producing and decoding the object data, and programs for encoding and decoding the object data, and recording medium for the object data | |
| JP3203168B2 (ja) | Ｍｐｅｇビデオデコーダ | |
| JP2002521882A (ja) | 符号化データを分離多重する装置 | |
| JPH104539A (ja) | データ多重化方法及び多重データ再生装置 | |
| EP2124457A2 (en) | Method and apparatus for recording and reproducing video data, and information storage medium in which video data is recorded by the same | |
| US20070058684A1 (en) | Transparent methods for altering the video decoder frame-rate in a fixed-frame-rate audio-video multiplex structure | |
| CA2490879C (en) | Reproducing apparatus and method, and recording medium | |
| KR20000022500A (ko) | 복수의 화상 정보의 부호화 방법, 부호화 장치, 복호화 및 합성방법, 복호화 및 합성 장치, 및 상기 방법을 기록한 기록 매체 | |
| JP4343411B2 (ja) | 画像処理方法及び装置と再生方法とプログラム及び記憶媒体 | |
| JP4289753B2 (ja) | 再生方法及び装置と表示装置 | |
| JP3338425B2 (ja) | Ｍｐｅｇビデオデコーダ | |
| WO2004034616A1 (ja) | 放送データ送受信システム及び放送データ送受信方法 | |
| JP3536493B2 (ja) | オーサリングシステム，このシステムで使用される符号化装置及び多重化装置並びに多重ビットストリームを生成する方法 | |
| Puri et al. | Overview of the MPEG Standards | |
| JP7306527B2 (ja) | 復号装置 | |
| CA2725179C (en) | Reproducing apparatus and method, and recording medium | |
| JP3531324B2 (ja) | 符号化・多重化装置，多重化前処理装置及び符号化・多重化方法 | |
| JP3568503B2 (ja) | Ｍｐｅｇビデオデコーダ | |
| JP3322671B2 (ja) | Ｍｐｅｇビデオデコーダ | |
| JPH1083632A (ja) | ディジタル信号符号化方法および装置、ディジタル信号伝送方法、並びに信号記録媒体 | |
| Puri et al. | AT&T Labs, Red Bank, New Jersey |