JP3345887B2 - 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体 - Google Patents
画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体Info
- Publication number
- JP3345887B2 JP3345887B2 JP2000194005A JP2000194005A JP3345887B2 JP 3345887 B2 JP3345887 B2 JP 3345887B2 JP 2000194005 A JP2000194005 A JP 2000194005A JP 2000194005 A JP2000194005 A JP 2000194005A JP 3345887 B2 JP3345887 B2 JP 3345887B2
- Authority
- JP
- Japan
- Prior art keywords
- layer
- vop
- time
- image
- display time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Signal Processing For Recording (AREA)
Description
よび画像符号化方法、画像復号装置および画像復号方
法、並びに記録媒体に関する。特に、例えば、動画像デ
ータを、光磁気ディスクや磁気テープなどの記録媒体に
記録し、これを再生してディスプレイなどに表示した
り、テレビ会議システム、テレビ電話システム、放送用
機器、マルチメディアデータベース検索システムなどの
ように、動画像データを伝送路を介して送信側から受信
側に伝送し、受信側において、受信された動画像データ
を表示する場合や、編集して記録する場合などに用いて
好適な画像符号化装置および画像符号化方法、画像復号
装置および画像復号方法、並びに記録媒体に関する。
話システムなどのように、動画像データを遠隔地に伝送
するシステムにおいては、伝送路を効率良く利用するた
め、画像データを、そのライン相関やフレーム間相関を
利用して圧縮符号化するようになされている。
ものとしては、MPEG(Moving Picture Experts Group)
(蓄積用動画像符号化)方式がある。これはISO−I
EC/JTC1/SC2/WG11において議論され、
標準案として提案されたものであり、動き補償予測符号
化とDCT(Discrete Cosine Transform)符号化を組
み合わせたハイブリッド方式が採用されている。
機能に対応するために、いくつかのプロファイルおよび
レベルが定義されている。最も基本となるのが、メイン
プロファイルメインレベル(MP@ML(Main Profile
at Main Level))である。
Lのエンコーダの一例の構成を示している。
リ31に入力され、一時記憶される。そして、動きベク
トル検出器32は、フレームメモリ31に記憶された画
像データを、例えば、16画素×16画素などで構成さ
れるマクロブロック単位で読み出し、その動きベクトル
を検出する。
は、各フレームの画像データを、Iピクチャ(フレーム
内符号化)、Pピクチャ(前方予測符号化)、またはB
ピクチャ(両方向予測符号化)のうちのいずれかとして
処理する。なお、シーケンシャルに入力される各フレー
ムの画像を、I,P,Bピクチャのいずれのピクチャと
して処理するかは、例えば、予め定められている(例え
ば、I,B,P,B,P,・・・B,Pとして処理され
る)。
ムメモリ31に記憶された画像データの中の、予め定め
られた所定の参照フレームを参照し、その参照フレーム
と、現在符号化の対象となっているフレームの16画素
×16ラインの小ブロック(マクロブロック)とをパタ
ーンマッチング(ブロックマッチング)することによ
り、そのマクロブロックの動きベクトルを検出する。
モードには、イントラ符号化(フレーム内符号化)、前
方予測符号化、後方予測符号化、両方向予測符号化の4
種類があり、Iピクチャはイントラ符号化され、Pピク
チャはイントラ符号化または前方予測符号化のいずれか
で符号化され、Bピクチャはイントラ符号化、前方予測
符号化、後方予測符号化、または両方法予測符号化のい
ずれかで符号化される。
チャについては、予測モードとしてイントラ符号化モー
ドを設定する。この場合、動きベクトル検出器32は、
動きベクトルの検出は行わず、予測モード(イントラ予
測モード)を、VLC(可変長符号化)器36および動
き補償器42に出力する。
チャについては、前方予測を行い、その動きベクトルを
検出する。さらに、動きベクトル検出器32は、前方予
測を行うことにより生じる予測誤差と、符号化対象のマ
クロブロック(Pピクチャのマクロブロック)の、例え
ば分散とを比較する。その比較の結果、マクロブロック
の分散の方が予測誤差より小さい場合、動きベクトル検
出器32は、予測モードとしてイントラ符号化モードを
設定し、VLC器36および動き補償器42に出力す
る。また、動きベクトル検出器32は、前方予測を行う
ことにより生じる予測誤差の方が小さければ、予測モー
ドとして前方予測符号化モードを設定し、検出した動き
ベクトルとともに、VLC器36および動き補償器42
に出力する。
クチャについては、前方予測、後方予測、および両方向
予測を行い、それぞれの動きベクトルを検出する。そし
て、動きベクトル検出器32は、前方予測、後方予測、
および両方向予測についての予測誤差の中の最小のもの
(以下、適宜、最小予測誤差という)を検出し、その最
小予測誤差と、符号化対象のマクロブロック(Bピクチ
ャのマクロブロック)の、例えば分散とを比較する。そ
の比較の結果、マクロブロックの分散の方が最小予測誤
差より小さい場合、動きベクトル検出器32は、予測モ
ードとしてイントラ符号化モードを設定し、VLC器3
6および動き補償器42に出力する。また、動きベクト
ル検出器32は、最小予測誤差の方が小さければ、予測
モードとして、その最小予測誤差が得られた予測モード
を設定し、対応する動きベクトルとともに、VLC器3
6および動き補償器42に出力する。
2から予測モードと動きベクトルの両方を受信すると、
その予測モードおよび動きベクトルにしたがって、フレ
ームメモリ41に記憶されている、符号化され、かつ既
に局所復号された画像データを読み出し、この読み出さ
れた画像データを、予測画像データとして、演算器33
および40に供給する。
フレームメモリ31から読み出した画像データと同一の
マクロブロックをフレームメモリ31から読み出し、そ
のマクロブロックと、動き補償器42からの予測画像と
の差分を演算する。この差分値は、DCT器34に供給
される。
出器32から予測モードのみを受信した場合、即ち、予
測モードがイントラ符号化モードである場合には、予測
画像を出力しない。この場合、演算器33(演算器40
も同様)は、特に処理を行わず、フレームメモリ31か
ら読み出したマクロブロックを、そのままDCT器34
に出力する。
タに対して、DCT処理が施され、その結果得られるD
CT係数が、量子化器35に供給される。量子化器35
では、バッファ37のデータ蓄積量(バッファ37に記
憶されているデータの量)(バッファフィードバック)
に対応して量子化ステップ(量子化スケール)が設定さ
れ、その量子化ステップで、DCT器34からのDCT
係数が量子化される。この量子化されたDCT係数(以
下、適宜、量子化係数という)は、設定された量子化ス
テップとともに、VLC器36に供給される。
される量子化係数が、例えばハフマン符号などの可変長
符号に変換され、バッファ37に出力される。さらに、
VLC器36は、量子化器35からの量子化ステップ、
動きベクトル検出器32からの予測モード(イントラ符
号化(画像内予測符号化)、前方予測符号化、後方予測
符号化、または両方向予測符号化のうちのいずれが設定
されたかを示すモード)および動きベクトルも可変長符
号化し、その結果得られる符号化ビットストリームを、
バッフ37に出力する。
化ビットストリームを一時蓄積することにより、そのデ
ータ量を平滑化し、例えば、伝送路に出力し、または記
録媒体に記録する。
を量子化器35に出力しており、量子化器35は、この
バッファ37からのデータ蓄積量にしたがって量子化ス
テップを設定する。即ち、量子化器35は、バッファ3
7がオーバーフローしそうなとき、量子化ステップを大
きくし、これにより、量子化係数のデータ量を低下させ
る。また、量子化器35は、バッファ37がアンダーフ
ローしそうなとき、量子化ステップを小さくし、これに
より、量子化係数のデータ量を増大させる。このように
して、バッファ37のオーバフローとアンダフローを防
止するようになっている。
化ステップは、VLC器36だけでなく、逆量子化器3
8にも供給されるようになされている。逆量子化器38
では、量子化器35からの量子化係数が、同じく量子化
器35からの量子化ステップにしたがって逆量子化さ
れ、これによりDCT係数に変換される。このDCT係
数は、IDCT器(逆DCT器)39に供給される。I
DCT器39では、DCT係数が逆DCT処理され、そ
の処理の結果得られるデータが、演算器40に供給され
る。
ータの他、上述したように、動き補償器42から、演算
器33に供給されている予測画像と同一のデータが供給
されている。演算器40は、IDCT器39の出力デー
タ(予測残差(差分データ))と、動き補償器42から
の予測画像データとを加算することで、元の画像データ
を局所復号し、この局所復号された画像データ(局所復
号画像データ)が出力される(但し、予測モードがイン
トラ符号化である場合には、IDCT器39の出力デー
タは、演算器40をスルーして、そのまま、局所復号画
像データとして、フレームメモリ41に供給される)。
なお、この復号画像データは、受信側において得られる
復号画像データと同一のものである。
タ(局所復号画像データ)は、フレームメモリ41に供
給されて記憶され、その後、インター符号化(前方予測
符号化、後方予測符号化、量方向予測符号化)される画
像に対する参照画像データ(参照フレーム)として用い
られる。
出力される符号化ビットストリームを復号する、MPE
GにおけるMP@MLのデコーダの一例の構成を示して
いる。
トストリームが図示せぬ受信装置で受信され、または記
録媒体に記録された符号化ビットストリームが図示せぬ
再生装置で再生され、バッファ101に供給されて記憶
される。
器))102は、バッファ101に記憶された符号化ビ
ットストリームを読み出し、可変長復号することによ
り、その符号化ビットストリームを、マクロブロック単
位で、動きベクトル、予測モード、量子化ステップ、お
よび量子化係数に分離する。これらのデータのうち、動
きベクトルおよび予測モードは動き補償器107に供給
され、量子化ステップおよびマクロブロックの量子化係
数は逆量子化器103に供給される。
り供給されたマクロブロックの量子化係数を、同じくI
VLC器102より供給された量子化ステップにしたが
って逆量子化し、その結果得られるDCT係数を、ID
CT器104に出力する。IDCT器104は、逆量子
化器103からのマクロブロックのDCT係数を逆DC
Tし、演算器105に供給する。
力データの他、動き補償器107の出力データも供給さ
れている。即ち、動き補償器107は、フレームメモリ
106に記憶されている、既に復号された画像データ
を、図53の動き補償器42における場合と同様に、I
VLC器102からの動きベクトルおよび予測モードに
したがって読み出し、予測画像データとして、演算器1
05に供給する。演算器105は、IDCT器104の
出力データ(予測残差(差分値))と、動き補償器10
7からの予測画像データとを加算することで、元の画像
データを復号する。この復号画像データは、フレームメ
モリ106に供給されて記憶される。なお、IDCT器
104の出力データが、イントラ符号化されたものであ
る場合には、その出力データは、演算器105をスルー
して、復号画像データとして、そのままフレームメモリ
106に供給されて記憶される。
像データは、その後に復号される画像データの参照画像
データとして用いられる。さらに、復号画像データは、
出力再生画像として、例えば、図示せぬディスプレイな
どに供給されて表示される。
ャは、参照画像データとして用いられないため、エンコ
ーダまたはデコーダのそれぞれにおいて、フレームメモ
リ41(図53)または106(図54)には記憶され
ない。
に示したエンコーダ、デコーダは、MPEG1/2の規
格に準拠したものであるが、現在、画像を構成する物体
などのオブジェクトのシーケンスであるVO(Video Ob
ject)単位で符号化を行う方式につき、ISO−IEC
/JTC1/SC29/WG11において、MPEG
(Moving Picture Experts Group)4として標準化作業
が進められている。
て、通信の分野で利用されるものとして、標準化作業が
進められていたため、MPEG1/2において規定され
ているGOP(Group Of Picture)は、当初、MPEG
4では規定されておらず、従って、MPEG4が蓄積メ
ディアに利用された場合には、効率的なランダムアクセ
スが困難になることが予想される。
ムアクセスを可能とするために、MPEG1/2で規定
されているGOPに相当するGOV(Group Of VOP)の
導入を、特願平10−80758号において先に提案し
ており、また、MPEG4において、このGOVが導入
された。
上の階層に階層化し、各階層の画像を利用した、柔軟な
スケーラブル符号化/復号が可能となっている。
の画像データのGOVどうしの対応関係を規定しておら
ず、このため、各階層ごとに、独立に、GOVを挿入す
ることが可能である。しかしながら、各階層の画像デー
タは、独立したものではないから、各階層ごとに、独立
に、GOVを挿入した場合には、符号化効率が劣化する
場合が生じることが予想される。
たものであり、符号化効率の劣化を防止することができ
るようにするものである。
は、画像を構成するオブジェクトのシーケンスを下位階
層である第1の階層と、上位階層である第2の階層に階
層化する階層化手段と、階層化手段が出力する、オブジ
ェクトのシーケンスの第1または第2の階層を、1以上
のグループに分けてそれぞれ符号化し、第1または第2
の階層のグループに、その最初に表示されるオブジェク
トの表示時刻を秒精度で表す秒精度先頭表示時刻をそれ
ぞれ含める符号化手段と、第1または第2の階層のオブ
ジェクトそれぞれに、秒精度先頭表示時刻を基準とす
る、そのオブジェクトの表示時刻の秒精度を表す秒精度
相対時刻情報を付加する付加手段とを備え、付加手段
は、第2の階層のオブジェクトに秒精度相対時刻情報を
付加する際に、表示順で隣接するオブジェクトどうしの
表示時刻の差に基づいて、第2の階層のオブジェクトに
付加する秒精度相対時刻情報をリセットすることを特徴
とする。
るオブジェクトのシーケンスを下位階層である第1の階
層と、上位階層である第2の階層に階層化する階層化ス
テップと、オブジェクトのシーケンスの第1または第2
の階層を、1以上のグループに分けてそれぞれ符号化
し、第1または第2の階層のグループに、その最初に表
示されるオブジェクトの表示時刻を秒精度で表す秒精度
先頭表示時刻をそれぞれ含める符号化ステップと、第1
または第2の階層のオブジェクトそれぞれに、秒精度先
頭表示時刻を基準とする、そのオブジェクトの表示時刻
の秒精度を表す秒精度相対時刻情報を付加する付加ステ
ップとを備え、付加ステップにおいて、第2の階層のオ
ブジェクトに秒精度相対時刻情報を付加する際に、表示
順で隣接するオブジェクトどうしの表示時刻の差に基づ
いて、第2の階層のオブジェクトに付加する秒精度相対
時刻情報をリセットすることを特徴とする。
オブジェクトのシーケンスを下位階層である第1の階層
と、上位階層である第2の階層に階層化し、オブジェク
トのシーケンスの第1または第2の階層を、1以上のグ
ループに分けてそれぞれ符号化し、第1または第2の階
層のグループに、その最初に表示されるオブジェクトの
表示時刻を秒精度で表す秒精度先頭表示時刻をそれぞれ
含め、第1または第2の階層のオブジェクトそれぞれ
に、秒精度先頭表示時刻を基準とする、そのオブジェク
トの表示時刻の秒精度を表す秒精度相対時刻情報を付加
し、第2の階層のオブジェクトに秒精度相対時刻情報を
付加する際に、表示順で隣接するオブジェクトどうしの
表示時刻の差に基づいて、第2の階層のオブジェクトに
付加する秒精度相対時刻情報をリセットすることにより
得られる符号化ビットストリームを受信する受信手段
と、符号化ビットストリームを復号する復号手段とを備
えることを特徴とする。
オブジェクトのシーケンスを下位階層である第1の階層
と、上位階層である第2の階層に階層化し、オブジェク
トのシーケンスの第1または第2の階層を、1以上のグ
ループに分けてそれぞれ符号化し、第1または第2の階
層のグループに、その最初に表示されるオブジェクトの
表示時刻を秒精度で表す秒精度先頭表示時刻をそれぞれ
含め、第1または第2の階層のオブジェクトそれぞれ
に、秒精度先頭表示時刻を基準とする、そのオブジェク
トの表示時刻の秒精度を表す秒精度相対時刻情報を付加
し、第2の階層のオブジェクトに秒精度相対時刻情報を
付加する際に、表示順で隣接するオブジェクトどうしの
表示時刻の差に基づいて、第2の階層のオブジェクトに
付加する秒精度相対時刻情報をリセットすることにより
得られる符号化ビットストリームを受信し、符号化ビッ
トストリームを復号することを特徴とする。
ジェクトのシーケンスを下位階層である第1の階層と、
上位階層である第2の階層に階層化し、オブジェクトの
シーケンスの第1または第2の階層を、1以上のグルー
プに分けてそれぞれ符号化し、第1または第2の階層の
グループに、その最初に表示されるオブジェクトの表示
時刻を秒精度で表す秒精度先頭表示時刻をそれぞれ含
め、第1または第2の階層のオブジェクトそれぞれに、
秒精度先頭表示時刻を基準とする、そのオブジェクトの
表示時刻の秒精度を表す秒精度相対時刻情報を付加し、
第2の階層のオブジェクトに秒精度相対時刻情報を付加
する際に、表示順で隣接するオブジェクトどうしの表示
時刻の差に基づいて、第2の階層のオブジェクトに付加
する秒精度相対時刻情報をリセットすることにより得ら
れる符号化ビットストリームが記録されていることを特
徴とする。
方法においては、画像を構成するオブジェクトのシーケ
ンスが下位階層である第1の階層と、上位階層である第
2の階層に階層化され、オブジェクトのシーケンスの第
1または第2の階層が、1以上のグループに分けられて
それぞれ符号化される。さらに、第1または第2の階層
のグループに、その最初に表示されるオブジェクトの表
示時刻を秒精度で表す秒精度先頭表示時刻がそれぞれ含
められ、第1または第2の階層のオブジェクトそれぞれ
に、秒精度先頭表示時刻を基準とする、そのオブジェク
トの表示時刻の秒精度を表す秒精度相対時刻情報が付加
される。そして、第2の階層のオブジェクトに秒精度相
対時刻情報が付加される際に、表示順で隣接するオブジ
ェクトどうしの表示時刻の差に基づいて、第2の階層の
オブジェクトに付加される秒精度相対時刻情報がリセッ
トされる。
においては、画像を構成するオブジェクトのシーケンス
を下位階層である第1の階層と、上位階層である第2の
階層に階層化し、オブジェクトのシーケンスの第1また
は第2の階層を、1以上のグループに分けてそれぞれ符
号化し、第1または第2の階層のグループに、その最初
に表示されるオブジェクトの表示時刻を秒精度で表す秒
精度先頭表示時刻をそれぞれ含め、第1または第2の階
層のオブジェクトそれぞれに、秒精度先頭表示時刻を基
準とする、そのオブジェクトの表示時刻の秒精度を表す
秒精度相対時刻情報を付加し、第2の階層のオブジェク
トに秒精度相対時刻情報を付加する際に、表示順で隣接
するオブジェクトどうしの表示時刻の差に基づいて、第
2の階層のオブジェクトに付加する秒精度相対時刻情報
をリセットすることにより得られる符号化ビットストリ
ームが受信されて復号される。
するオブジェクトのシーケンスを下位階層である第1の
階層と、上位階層である第2の階層に階層化し、オブジ
ェクトのシーケンスの第1または第2の階層を、1以上
のグループに分けてそれぞれ符号化し、第1または第2
の階層のグループに、その最初に表示されるオブジェク
トの表示時刻を秒精度で表す秒精度先頭表示時刻をそれ
ぞれ含め、第1または第2の階層のオブジェクトそれぞ
れに、秒精度先頭表示時刻を基準とする、そのオブジェ
クトの表示時刻の秒精度を表す秒精度相対時刻情報を付
加し、第2の階層のオブジェクトに秒精度相対時刻情報
を付加する際に、表示順で隣接するオブジェクトどうし
の表示時刻の差に基づいて、第2の階層のオブジェクト
に付加する秒精度相対時刻情報をリセットすることによ
り得られる符号化ビットストリームが記録されている。
ーダの一実施の形態の構成例を示している。なお、この
エンコーダは、基本的には、MPEG4の規格に即した
処理を行うようになされている。
O(Video Object)構成部1に入力され、VO構成部1
では、そこに入力される画像を構成するオブジェクトご
とに、そのシーケンスであるVOが構成され、VOP構
成部21乃至2Nに出力される。即ち、VO構成部1にお
いてN個のVO#1乃至VO#Nが構成された場合、そ
のN個のVO#1乃至VO#Nは、VOP構成部21乃
至2Nにそれぞれ出力される。
ータが、独立した背景F1のシーケンスと前景F2のシ
ーケンスとから構成される場合、VO構成部1は、例え
ば、前景F2のシーケンスを、VO#1として、VOP
構成部21に出力するとともに、背景F1のシーケンス
を、VO#2として、VOP構成部22に出力する。
データが、例えば、背景F1と前景F2とを、既に合成
したものである場合、所定のアルゴリズムにしたがっ
て、画像を領域分割することにより、背景F1と前景F
2とを取り出し、それぞれのシーケンスとしてのVO
を、対応するVOP構成部2n(但し、n=1,2,・
・・,N)に出力する。
から、VOP(VO Plane)を構成する。即ち、例えば、
各フレームから物体を抽出し、その物体を囲む、例え
ば、最小の長方形(以下、適宜、最小長方形という)を
VOPとする。なお、このとき、VOP構成部2nは、
その横および縦の画素数が、例えば、16の倍数となる
ようにVOPを構成する。VO構成部2nは、VOPを
構成すると、そのVOPを、VOP符号化部3nに出力
する。
きさ(例えば、横および縦の長さ)を表すサイズデータ
(VOP size)と、フレームにおける、そのVOPの位置
(例えば、フレームの最も左上を原点とするときの座
標)を表すオフセットデータ(VOP offset)とを検出
し、これらのデータも、VOP符号化部3nに供給す
る。
出力を、例えば、MPEGや、H.263などの規格に
準拠した方式で符号化し、その結果得られるビットスト
リームを、多重化部4に出力する。多重化部4は、VO
P符号化部31乃至3Nからのビットストリームを多重化
し、その結果得られる多重化データを、例えば、地上波
や、衛星回線、CATV網その他の伝送路5を介して伝
送し、または、例えば、磁気ディスク、光磁気ディス
ク、光ディスク、磁気テープその他の記録媒体6に記録
する。
る。
する場合の、その合成画像を構成する各オブジェクト
(物体)のシーケンスであり、VOPは、ある時刻にお
けるVOを意味する。即ち、例えば、いま、画像F1お
よびF2を合成して構成される合成画像F3がある場
合、画像F1またはF2が時系列に並んだものが、それ
ぞれVOであり、ある時刻における画像F1またはF2
が、それぞれVOPである。従って、VOは、異なる時
刻の、同一オブジェクトのVOPの集合ということがで
きる。
もに、画像F2を前景とすると、合成画像F3は、画像
F2を抜くためのキー信号を用いて、画像F1およびF
2を合成することによって得られるが、この場合におけ
る画像F2のVOPには、その画像F2を構成する画像
データ(輝度信号および色差信号)の他、適宜、そのキ
ー信号も含まれるものとする。
の大きさおよび位置のいずれも変化しないが、VOは、
大きさや位置が変化する場合がある。即ち、同一のVO
を構成するVOPであっても、時刻によって、その大き
さや位置が異なる場合がある。
と、前景である画像F2とからなる合成画像を示してい
る。
影したものであり、その画像全体のシーケンスが1つの
VO(VO#0とする)とされている。また、画像F2
は、例えば、人が歩いている様子を撮影したものであ
り、その人を囲む最小の長方形のシーケンスが1つのV
O(VO#1とする)とされている。
ら、基本的に、通常の画像のフレームと同様に、その位
置および大きさの両方とも変化しない。これに対して、
VO#1は人の画像であるから、人物が左右に移動した
り、また、図面において手前側または奥側に移動するこ
とにより、その大きさや位置が変化する。従って、図2
は、同一時刻におけるVO#0およびVO#1を表して
いるが、VOの位置や大きさは、時間の経過にともなっ
て変化することがある。
の出力するビットストリームに、VOPを符号化したデ
ータの他、所定の絶対座標系におけるVOPの位置(座
標)および大きさに関する情報も含めるようになされて
いる。なお、図2においては、VO#0を構成する、あ
る時刻のVOP(画像F1)の位置を示すベクトルをO
ST0と、その時刻と同一時刻における、VO#1のV
OP(画像F2)の位置を表すベクトルをOST1と、
それぞれ表してある。
る、図1のVOP符号化部3nの構成例を示している。
即ち、MPEG4では、異なる画像サイズやフレームレ
ートに対応するスケーラビリティを実現するスケーラブ
ル符号化方式が導入されており、図3に示したVOP符
号化部3nでは、そのようなスケーラビリティを実現す
ることができるようになされている。
タ)、並びにそのサイズデータ(VOPsize)、およびオ
フセットデータ(VOP offset)は、いずれも画像階層化
部21に供給される。
の階層の画像データを生成する(VOPの1以上の階層
化を行う)。即ち、例えば、空間スケーラビリティの符
号化を行う場合においては、画像階層化部21は、そこ
に入力される画像データを、そのまま上位レイヤ(上位
階層)の画像データとして出力するとともに、それらの
画像データを構成する画素数を間引くことなどにより縮
小し(解像度を低下させ)、これを下位レイヤ(下位階
層)の画像データとして出力する。
ータとするとともに、そのVOPの解像度を、何らかの
手法で高くし(画素数を多くし)、これを、上位レイヤ
のデータとすることなども可能である。
るが、この場合、スケーラビリティは実現されない。な
お、この場合、VOP符号化部3nは、例えば、下位レ
イヤ符号化部25だけで構成されることになる。
能であるが、ここでは、簡単のために、2階層の場合に
ついて説明を行う。
ラビリティ(テンポラルスケーラビリティ)の符号化を
行う場合、時刻に応じて、画像データを、下位レイヤま
たは上位レイヤのデータとして、例えば、交互に出力す
る。即ち、例えば、画像階層化部21は、そこに、ある
VOを構成するVOPが、VOP0,VOP1,VOP
2,VOP3,・・・の順で入力されたとした場合、V
OP0,VOP2,VOP4,VOP6,・・・を、下
位レイヤのデータとして、また、VOP1,VOP3,
VOP5,VOP7,・・・を、上位レイヤデータとし
て出力する。なお、時間スケーラビリティの場合は、こ
のようにVOPが間引かれたものが、下位レイヤおよび
上位レイヤのデータとされるだけで、画像データの拡大
または縮小(解像度の変換)は行われない(但し、行う
ようにすることも可能である)。
R(Signal to Noise Ratio)スケーラビリティの符号
化を行う場合、入力された画像データを、そのまま上位
レイヤまたは下位レイヤのデータそれぞれとして出力す
る。即ち、この場合、下位レイヤ並びに上位レイヤの画
像データは、同一のデータとなる。
空間スケーラビリティについては、例えば、次のような
3種類が考えられる。
に示したような画像F1およびF2でなる合成画像が入
力されたとすると、第1の空間スケーラビリティは、図
4に示すように、入力されたVOP全体(図4(A))
を上位レイヤ(EnhancementLayer)とするとともに、そ
のVOP全体を縮小したもの(図4(B))を下位レイ
ヤ(Base Layer)とするものである。
5に示すように、入力されたVOPを構成する一部の物
体(図5(A)(ここでは、画像F2に相当する部
分)))を抜き出して(なお、このような抜き出しは、
例えば、VOP構成部2nにおける場合と同様にして行
われ、従って、これにより抜き出された物体も、1つの
VOPと考えることができる)、上位レイヤとするとと
もに、そのVOP全体を縮小したもの(図5(B))を
下位レイヤとするものである。
図6および図7に示すように、入力されたVOPを構成
する物体(VOP)を抜き出して、その物体ごとに、上
位レイヤおよび下位レイヤを生成するものである。な
お、図6は、図2のVOPを構成する背景(画像F1)
から上位レイヤおよび下位レイヤを生成した場合を示し
ており、また、図7は、図2のVOPを構成する前景
(画像F2)から上位レイヤおよび下位レイヤを生成し
た場合を示している。
ずれを用いるかは予め決められており、画像階層化部2
1は、その予め決められたスケーラビリティによる符号
化を行うことができるように、VOPの階層化を行う。
されるVOPのサイズデータおよびオフセットデータ
(それぞれを、以下、適宜、初期サイズデータ、初期オ
フセットデータという)から、生成した下位レイヤおよ
び上位レイヤのVOPの所定の絶対座標系における位置
を表すオフセットデータと、その大きさを示すサイズデ
ータとを計算(決定)する。
OPのオフセットデータ(位置情報)およびサイズデー
タの決定方法について、例えば、上述の第2のスケーラ
ビリティ(図5)を行う場合を例に説明する。
FPOS_Bは、例えば、図8(A)に示すように、下
位レイヤの画像データを、その解像度および上位レイヤ
の解像度の違いに基づいて拡大(アップサンプリング)
したときに、即ち、下位レイヤの画像を、上位レイヤの
画像の大きさと一致するような拡大率(上位レイヤの画
像を縮小して下位レイヤの画像を生成したときの、その
縮小率の逆数)(以下、適宜、倍率FRという)で拡大
したときに、その拡大画像の絶対座標系におけるオフセ
ットデータが、初期オフセットデータと一致するように
決定される。また、下位レイヤのサイズデータFSZ_
Bも同様に、下位レイヤの画像を倍率FRで拡大したと
きに得られる拡大画像のサイズデータが初期サイズデー
タと一致するように決定される。即ち、オフセットデー
タFPOS_BまたはサイズデータFSZ_Bは、それ
ぞれのFR倍か、初期オフセットデータまたは初期サイ
ズデータと一致するように決定される。
OS_Eは、例えば、図8(B)に示すように、入力さ
れたVOPから抜き出した物体を囲む最小長方形(VO
P)の、例えば、左上の頂点の座標が、初期オフセット
データに基づいて求められ、この値に決定される。ま
た、上位レイヤのサイズデータFPOS_Eは、入力さ
れたVOPから抜き出した物体を囲む最小長方形の、例
えば横および縦の長さに決定される。
トデータFPOS_BおよびサイズデータFPOS_B
を、倍率FRにしたがって変換し(変換後のオフセット
データFPOS_BまたはサイズデータFPOS_B
を、それぞれ、変換オフセットデータFPOS_Bまた
は変換サイズデータFPOS_Bという)、絶対座標系
において、変換オフセットデータFPOS_Bに対応す
る位置に、変換サイズデータFSZ_Bに対応する大き
さの画枠を考え、そこに、下位レイヤの画像データをF
R倍だけした拡大画像を配置するとともに(図8
(A))、その絶対座標系において、上位レイヤのオフ
セットデータFPOS_EおよびサイズデータFPOS
_Eにしたがって、上位レイヤの画像を同様に配置する
と(図8(B))、拡大画像を構成する各画素と、上位
レイヤの画像を構成する各画素とは、対応するものどう
しが同一の位置に配置されることになる。即ち、この場
合、例えば、図8において、上位レイヤの画像(図8
(B))である人の部分と、拡大画像(図8(A))の
中の人の部分とは、同一の位置に配置されることにな
る。
る場合も、同様にして、下位レイヤの拡大画像および上
位レイヤの画像を構成する、対応する画素どうしが、絶
対座標系において同一の位置に配置されるように、オフ
セットデータFPOS_BおよびFPOS_E、並びに
サイズデータFSZ_BおよびFSZ_Eが決定され
る。
成された上位レイヤの画像データ、オフセットデータF
POS_E、およびサイズデータFSZ_Eは、遅延回
路22で、後述する下位レイヤ符号化部25における処
理時間だけ遅延され、上位レイヤ符号化部23に供給さ
れる。また、下位レイヤの画像データ、オフセットデー
タFPOS_B、およびサイズデータFSZ_Bは、下
位レイヤ符号化部25に供給される。また、倍率FR
は、遅延回路22を介して、上位レイヤ符号化部23お
よび解像度変換部24に供給される。
の画像データが符号化され、その結果得られる符号化ビ
ットストリームに、オフセットデータFPOS_Bおよ
びサイズデータFSZ_Bが含められ、多重化部26に
供給される。
ビットストリームを局所復号し、その結果局所復号結果
である下位レイヤの画像データを、解像度変換部24に
出力する。解像度変換部24は、下位レイヤ符号化部2
5からの下位レイヤの画像データを、倍率FRにしたが
って拡大(または縮小)することにより、元の大きさに
戻し、これにより得られる拡大画像を、上位レイヤ符号
化部23に出力する。
レイヤの画像データが符号化され、その結果得られる符
号化ビットストリームに、オフセットデータFPOS_
EおよびサイズデータFSZ_Eが含められ、多重化部
26に供給される。なお、上位レイヤ符号化部23にお
いては、上位レイヤ画像データの符号化は、後述するよ
うに、解像度変換部24から供給される拡大画像をも参
照画像として用いて行われる。
3および下位レイヤ符号化部25の出力が多重化されて
出力される。
イヤ符号化部23に対しては、下位レイヤのサイズデー
タFSZ_B、オフセットデータFPOS_B、動きベ
クトルMV、フラグCODなどが供給されており、上位
レイヤ符号化部23では、これらのデータを必要に応じ
て参照しながら、処理を行うようになされているが、こ
の詳細については、後述する。
25の詳細構成例を示している。なお、図中、図53に
おける場合と対応する部分については、同一の符号を付
してある。即ち、下位レイヤ符号化部25は、基本的に
は、図53のエンコーダと同様に構成されている。
タ、即ち、下位レイヤのVOPは、図53における場合
と同様に、フレームメモリ31に供給されて記憶され、
動きベクトル検出器32において、マクロブロック単位
で動きベクトルの検出が行われる。
トル検出器32には、下位レイヤのVOPのサイズデー
タFSZ_BおよびオフセットデータFPOS_Bが供
給されるようになされており、そこでは、このサイズデ
ータFSZ_BおよびオフセットデータFPOS_Bに
基づいて、マクロブロックの動きベクトルが検出され
る。
(フレーム)によって、大きさや位置が変化するため、
その動きベクトルの検出にあたっては、その検出のため
の基準となる座標系を設定し、その座標系における動き
を検出する必要がある。そこで、ここでは、動きベクト
ル検出器32は、上述の絶対座標系を基準となる座標系
とし、その絶対座標系に、サイズデータFSZ_Bおよ
びオフセットデータFPOS_Bにしたがって、符号化
対象のVOPおよび参照画像とするVOPを配置して、
動きベクトルを検出するようになされている。
は、予測モードとともに、VLC器36および動き補償
器42に供給される他、上位レイヤ符号化部23(図
3)にも供給される。
はり、上述したように、基準となる座標系における動き
を検出する必要があるため、動き補償器42には、サイ
ズデータFSZ_BおよびオフセットデータFPOS_
Bが供給されるようになされている。
ロブロック)は、図53における場合と同様に量子化係
数とされてVLC器36に供給される。VLC器36に
は、やはり図53における場合と同様に、量子化係数、
量子化ステップ、動きベクトル、および予測モードが供
給される他、画像階層化部21からのサイズデータFS
Z_BおよびオフセットデータFPOS_Bも供給され
ており、そこでは、これらのデータすべてが可変長符号
化される。
ロブロック)は、上述したように符号化される他、やは
り図53における場合と同様に局所復号され、フレーム
メモリ41に記憶される。この復号画像は、前述したよ
うに参照画像として用いられる他、解像度変換部24
(図3)に出力される。
および2と異なり、Bピクチャ(B−VOP)も参照画
像として用いられるため、Bピクチャも、局所復号さ
れ、フレームメモリ41に記憶されるようになされてい
る(但し、現時点においては、Bピクチャが参照画像と
して用いられるのは上位レイヤについてだけである)。
ャ(I−VOP,P−VOP,B−VOP)のマクロブ
ロックについて、スキップマクロブロックとするかどう
かを決定し、その決定結果を示すフラグCOD,MOD
Bを設定する。このフラグCOD,MODBは、やはり
可変長符号化されて伝送される。さらに、フラグCOD
は、上位レイヤ符号化部23にも供給される。
部23の構成例を示している。なお、図中、図9または
図53における場合と対応する部分については、同一の
符号を付してある。即ち、上位レイヤ符号化部23は、
フレームメモリ52が新たに設けられていることを除け
ば、基本的には、図9の下位レイヤ符号化部25または
図53のエンコーダと同様に構成されている。
タ、即ち、上位レイヤのVOPは、図53における場合
と同様に、フレームメモリ31に供給されて記憶され、
動きベクトル検出器32において、マクロブロック単位
で動きベクトルの検出が行われる。なお、この場合も、
動きベクトル検出器32には、図9における場合と同様
に、上位レイヤのVOPの他、そのサイズデータFSZ
_EおよびオフセットデータFPOS_Eが供給される
ようになされており、動きベクトル検出器32では、上
述の場合と同様に、このサイズデータFSZ_Eおよび
オフセットデータFPOS_Eに基づいて、絶対座標系
における上位レイヤのVOPの配置位置が認識され、マ
クロブロックの動きベクトルが検出される。
位レイヤ符号化部25における動きベクトル検出器32
では、図53で説明した場合と同様に、予め設定されて
いる所定のシーケンスにしたがって、VOPが処理され
ていくが、そのシーケンスは、ここでは、例えば、次の
ように設定されている。
ては、図11(A)または図11(B)に示すように、
上位レイヤまたは下位レイヤのVOPは、例えば、P,
B,B,B,・・・またはI,P,P,P,・・・ピク
チャ(VOP)としてそれぞれ処理されていく。
で)最初のVOPであるPピクチャ(P−VOP)は、
例えば、同時刻における下位レイヤのVOP(ここで
は、Iピクチャ(I−VOP))を参照画像として用い
て符号化される。また、上位レイヤの2番目以降のVO
PであるBピクチャ(B−VOP)は、例えば、その直
前の上位レイヤのVOPおよびそれと同時刻の下位レイ
ヤのVOPを参照画像として用いて符号化される。即
ち、ここでは、上位レイヤのBピクチャは、下位レイヤ
のPピクチャと同様に他のVOPを符号化する場合の参
照画像として用いられる。
PEG1や2、あるいはH.263における場合と同様
に符号化が行われていく。
ビリティにおける倍率FRが1のときと考えられるか
ら、上述の空間スケーラビリティの場合と同様に処理さ
れる。
ち、例えば、上述したように、VOが、VOP0,VO
P1,VOP2,VOP3,・・・で構成され、VOP
1,VOP3,VOP5,VOP7,・・・が上位レイ
ヤとされ(図12(A))、VOP0,VOP2,VO
P4,VOP6,・・・が下位レイヤとされた場合にお
いては(図12(B))、図12に示すように、上位レ
イヤまたは下位レイヤのVOPは、例えば、B,B,
B,・・・またはI,P,P,P,・・・ピクチャ(V
OP)としてそれぞれ処理されていく。
で)最初のVOP1(Bピクチャ)は、例えば、下位レ
イヤのVOP0(Iピクチャ)およびVOP2(Pピク
チャ)を参照画像として用いて符号化される。また、上
位レイヤの2番目のVOP3(Bピクチャ)は、例え
ば、その直前にBピクチャとして符号化された上位レイ
ヤのVOP1、およびVOP3の次の時刻(フレーム)
における画像である下位レイヤのVOP4(Pピクチ
ャ)を参照画像として用いて符号化される。上位レイヤ
の3番目のVOP5(Bピクチャ)も、VOP3と同様
に、例えば、その直前にBピクチャとして符号化された
上位レイヤのVOP3、およびVOP5の次の時刻(フ
レーム)における画像である下位レイヤのVOP6(P
ピクチャ)を参照画像として用いて符号化される。
では、上位レイヤ)については、PおよびBピクチャを
符号化するための参照画像として、他のレイヤ(スケー
ラブルレイヤ)(ここでは、下位レイヤ)のVOPを用
いることができる。このように、あるレイヤのVOPを
符号化するのに、他のレイヤのVOPを参照画像として
用いる場合、即ち、ここでは、上位レイヤのVOPを予
測符号化するのに、下位レイヤのVOPを参照画像とし
て用いる場合、上位レイヤ符号化部23(図10)の動
きベクトル検出器32は、その旨を示すフラグref_
layer_id(階層数が3以上存在する場合、フラ
グref_layer_idは、参照画像として用いる
VOPが属するレイヤを表す)を設定して出力するよう
になされている。
クトル検出器32は、VOPについてのフラグref_
layer_idにしたがい、前方予測符号化または後
方予測符号化を、それぞれ、どのレイヤのVOPを参照
画像として行うかを示すフラグref_select_
code(参照画像情報)を設定して出力するようにも
なされている。
Layer)のPピクチャが、その直前に復号(局所復号)
される、それと同一のレイヤに属するVOPを参照画像
として用いて符号化される場合、フラグref_sel
ect_codeは「00」とされる。また、Pピクチ
ャが、その直前に表示される、それと異なるレイヤ(こ
こでは、下位レイヤ)(Reference Layer)に属するV
OPを参照画像として用いて符号化される場合、フラグ
ref_select_codeは「01」とされる。
さらに、Pピクチャが、その直後に表示される、それと
異なるレイヤに属するVOPを参照画像として用いて符
号化される場合、フラグref_select_cod
eは「10」とされる。また、Pピクチャが、それと同
時刻における、異なるレイヤのVOPを参照画像として
用いて符号化される場合、フラグref_select
_codeは「11」とされる。
が、それと同時刻における、異なるレイヤのVOPを前
方予測のための参照画像として用い、かつ、その直前に
復号される、それと同一のレイヤに属するVOPを後方
予測のための参照画像として用いて符号化される場合、
フラグref_select_codeは「00」とさ
れる。また、上位レイヤのBピクチャが、それと同一の
レイヤに属するVOPを前方予測のための参照画像とし
て用い、かつ、その直前に表示される、それと異なるレ
イヤに属するVOPを後方予測のための参照画像として
用いて符号化される場合、フラグref_select
_codeは「01」とされる。さらに、上位レイヤの
Bピクチャが、その直前に復号される、それと同一のレ
イヤに属するVOPを前方予測のための参照画像として
用い、かつその直後に表示される、それと異なるレイヤ
に属するVOPを後方予測のための参照画像として用い
て符号化される場合、フラグref_select_c
odeは「10」とされる。また、上位レイヤのBピク
チャが、その直前に表示される、それと異なるレイヤに
属するVOPを前方予測のための参照画像として用い、
かつその直後に表示される、それと異なるレイヤに属す
るVOPを後方予測のための参照画像として用いて符号
化される場合、フラグref_select_code
は「11」とされる。
測符号化の方法は、1つの例であり、前方予測符号化、
後方予測符号化、または両方向予測符号化のための参照
画像として、どのレイヤの、どのVOPを用いるかは、
例えば、上述した範囲で、自由に設定することが可能で
ある。
「空間スケーラビリティ」、「時間スケーラビリテ
ィ」、「SNRスケーラビリティ」という語を用いた
が、フラグref_select_codeによって、
予測符号化に用いる参照画像を設定する場合、空間スケ
ーラビリティや、テンポラルスケーラビリティ、SNR
スケーラビリティを明確に区別することは困難となる。
即ち、逆にいえば、フラグref_select_co
deを用いることによって、上述のようなスケーラビリ
ティの区別をせずに済むようになる。
ref_select_codeとを対応付けるとすれ
ば、例えば、次のようになる。即ち、Pピクチャについ
ては、フラグref_select_codeが「1
1」の場合が、フラグref_layer_idが示す
レイヤの同時刻におけるVOPを参照画像(前方予測の
ための参照画像)として用いる場合であるから、これ
は、空間スケーラビリティまたはSNRスケーラビリテ
ィに対応する。そして、フラグref_select_
codeが「11」の場合以外は、テンポラルスケーラ
ビリティに対応する。
f_select_codeが「00」の場合が、やは
り、フラグref_layer_idが示すレイヤの同
時刻におけるVOPを前方予測のための参照画像として
用いる場合であるから、これが、空間スケーラビリティ
またはSNRスケーラビリティに対応する。そして、フ
ラグref_select_codeが「00」の場合
以外は、テンポラルスケーラビリティに対応する。
ために、それと異なるレイヤ(ここでは、下位レイヤ)
の、同時刻におけるVOPを参照画像として用いる場
合、両者の間に動きはないので、動きベクトルは、常に
0((0,0))とされる。
動きベクトル検出器32では、以上のようなフラグre
f_layer_idおよびref_select_c
odeが設定され、動き補償器42およびVLC器36
に供給される。
グref_layer_idおよびref_selec
t_codeにしたがって、フレームメモリ31を参照
するだけでなく、必要に応じて、フレームメモリ52を
も参照して、動きベクトルが検出される。
変換部24(図3)から、局所復号された下位レイヤの
拡大画像が供給されるようになされている。即ち、解像
度変換部24では、局所復号された下位レイヤのVOP
が、例えば、いわゆる補間フィルタなどによって拡大
(補間)され、これにより、そのVOPを、FR倍だけ
した拡大画像、つまり、その下位レイヤのVOPに対応
する上位レイヤのVOPと同一の大きさとした拡大画像
が生成され、上位レイヤ符号化部23に供給される。フ
レームメモリ52では、このようにして解像度変換部2
4から供給される拡大画像が記憶される。
換部24は、下位レイヤ符号化部25からの局所復号さ
れたVOPに対して、特に処理を施すことなく、そのま
ま、上位レイヤ符号化部23に供給する。
符号化部25からサイズデータFSZ_Bおよびオフセ
ットデータFPOS_Bが供給されるとともに、遅延回
路22(図3)からの倍率FRが供給されるようになさ
れており、動きベクトル検出器32は、フレームメモリ
52に記憶された拡大画像を参照画像として用いる場
合、即ち、上位レイヤのVOPの予測符号化に、そのV
OPと同時刻における下位レイヤのVOPを参照画像と
して用いる場合(この場合、フラグref_selec
t_codeは、Pピクチャについては「11」に、B
ピクチャについては「00」にされる)、その拡大画像
に対応するサイズデータFSZ_Bおよびオフセットデ
ータFPOS_Bに、倍率FRを乗算する。そして、そ
の乗算結果に基づいて、絶対座標系における拡大画像の
位置を認識し、動きベクトルの検出を行う。
レイヤの動きベクトルと予測モードが供給されるように
なされており、これは、次のような場合に使用される。
即ち、動きベクトル検出部32は、例えば、上位レイヤ
のBピクチャについてのフラグref_select_
codeが「00」である場合において、倍率FRが1
であるとき、即ち、SNRスケーラビリティのとき(但
し、この場合、上位レイヤの予測符号化に、上位レイヤ
のVOPが用いられるので、この点で、ここでいうSN
Rスケーラビリティは、MPEG2に規定されているも
のと異なる)、上位レイヤと下位レイヤは同一の画像で
あるから、上位レイヤのBピクチャの予測符号化には、
下位レイヤの同時刻における画像の動きベクトルと予測
モードをそのまま用いることができる。そこで、この場
合、動きベクトル検出部32は、上位レイヤのBピクチ
ャについては、特に処理を行わず、下位レイヤの動きベ
クトルと予測モードをそのまま採用する。
では、動きベクトル検出器32からVLC器36には、
動きベクトルおよび予測モードは出力されない(従っ
て、伝送されない)。これは、受信側において、上位レ
イヤの動きベクトルおよび予測モードを、下位レイヤの
復号結果から認識することができるからである。
は、上位レイヤのVOPの他、拡大画像をも参照画像と
して用いて、動きベクトルを検出し、さらに、図53で
説明したように、予測誤差(あるいは分散)を最小にす
る予測モードを設定する。また、動きベクトル検出器3
2は、例えば、フラグref_select_code
やref_layer_idその他の必要な情報を設定
して出力する。
5から、下位レイヤにおけるIまたはPピクチャを構成
するマクロブロックがスキップマクロブロックであるか
どうかを示すフラグCODが、動きベクトル検出器3
2、VLC器36、および動き補償器42に供給される
ようになされている。
は、上述した場合と同様に符号化され、これにより、V
LC器36からは、その符号化結果としての可変長符号
が出力される。
36は、下位レイヤ符号化部25における場合と同様
に、フラグCOD,MODBを設定して出力するように
なされている。ここで、フラグCODは、上述したよう
に、IまたはPピクチャのマクロブロックがスキップマ
クロブロックであるかどうかを示すものであるが、フラ
グMODBは、Bピクチャのマクロブロックがスキップ
マクロブロックであるかどうかを示すものである。
子化ステップ、動きベクトル、および予測モードの他、
倍率FR、フラグref_serect_code,r
ef_layer_id、サイズデータFSZ_E、オ
フセットデータFPOS_E、も供給されるようになさ
れており、VLC器36では、これらのデータがすべて
可変長符号化されて出力される。
ロックは符号化された後、やはり上述したように局所復
号され、フレームメモリ41に記憶される。そして、動
き補償器42において、動きベクトル検出器32におけ
る場合と同様にして、フレームメモリ41に記憶され
た、局所復号された上位レイヤのVOPだけでなく、フ
レームメモリ52に記憶された、局所復号されて拡大さ
れた下位レイヤのVOPをも参照画像として用いて動き
補償が行われ、予測画像が生成される。
および予測モードの他、フラグref_serect_
code,ref_layer_id、倍率FR、サイ
ズデータFSZ_B,FSZ_E、オフセットデータF
POS_B,FPOS_Eが供給されるようになされて
おり、動き補償器42は、フラグref_serect
_code,ref_layer_idに基づいて、動
き補償すべき参照画像を認識し、さらに、参照画像とし
て、局所復号された上位レイヤのVOP、または拡大画
像を用いる場合には、その絶対座標系における位置と大
きさを、サイズデータFSZ_Eおよびオフセットデー
タFPOS_E、またはサイズデータFSZ_Bおよび
オフセットデータFPOS_Bに基づいて認識し、必要
に応じて、倍率FRを用いて予測画像を生成する。
力されるビットストリームを復号するデコーダの一実施
の形態の構成例を示している。
伝送路5または記録媒体6を介して提供される符号化ビ
ットストリームが供給される。即ち、図1のエンコーダ
から出力され、伝送路5を介して伝送されてくるビット
ストリームは、図示せぬ受信装置で受信され、あるい
は、記録媒体6に記録されたビットストリームは、図示
せぬ再生装置で再生され、逆多重化部71に供給され
る。
号化ビットストリーム(後述するVS(Visual Object
Seguence))が受信される。さらに、逆多重化部71で
は、入力されたビットストリームが、VOごとのビット
ストリームVO#1,VO#2,・・・に分離され、そ
れぞれ、対応するVOP復号部72nに供給される。V
OP復号部72nでは、逆多重化部71からのビットス
トリームから、VOを構成するVOP(画像データ)、
サイズデータ(VOP size)、およびオフセットデータ
(VOP offset)が復号され、画像再構成部73に供給さ
れる。
1乃至72Nそれぞれからの出力に基づいて、元の画像が
再構成される。この再構成された画像は、例えば、モニ
タ74に供給されて表示される。
する、図13のVOP復号部72nの構成例を示してい
る。
ビットストリームは、逆多重化部91に入力され、そこ
で、上位レイヤのVOPのビットストリームと、下位レ
イヤのVOPのビットストリームとに分離される。上位
レイヤのVOPのビットストリームは、遅延回路92に
おいて、下位レイヤ復号部95における処理の時間だけ
遅延された後、上位レイヤ復号部93に供給され、ま
た、下位レイヤのVOPのビットストリームは、下位レ
イヤ復号部95に供給される。
ビットストリームが復号され、その結果得られる下位レ
イヤの復号画像が解像度変換部94に供給される。ま
た、下位レイヤ復号部95は、下位レイヤのビットスト
リームを復号することにより得られるサイズデータFS
Z_B、オフセットデータFPOS_B、動きベクトル
(MV)、予測モード、フラグCODなどの、上位レイ
ヤのVOPを復号するのに必要な情報を、上位レイヤ復
号部93に供給する。
を介して供給される上位レイヤのビットストリームが、
下位レイヤ復号部95および解像度変換部94の出力を
必要に応じて参照することにより復号され、その結果得
られる上位レイヤの復号画像、サイズデータFSZ_
E、およびオフセットデータFPOS_Eが出力され
る。さらに、上位レイヤ復号部93は、上位レイヤのビ
ットストリームを復号することにより得られる倍率FR
を、解像度変換部94に出力する。解像度変換部94で
は、上位レイヤ復号部93からの倍率FRを用いて、図
3における解像度変換部24における場合と同様にし
て、下位レイヤの復号画像が変換される。この変換によ
り得られる拡大画像は、上位レイヤ復号部93に供給さ
れ、上述したように、上位レイヤのビットストリームの
復号に用いられる。
部95の構成例を示している。なお、図中、図54のデ
コーダにおける場合と対応する部分については、同一の
符号を付してある。即ち、下位レイヤ復号部95は、基
本的に、図54のデコーダと同様に構成されている。
ストリームは、バッファ101に供給され、そこで受信
されて一時記憶される。IVLC器102は、その後段
のブロックの処理状態に対応して、バッファ101から
ビットストリームを適宜読み出し、そのビットストリー
ムを可変長復号することで、量子化係数、動きベクト
ル、予測モード、量子化ステップ、サイズデータFSZ
_B、オフセットデータFPOS_B、およびフラグC
ODなどを分離する。量子化係数および量子化ステップ
は、逆量子化器103に供給され、動きベクトルおよび
予測モードは、動き補償器107と上位レイヤ復号部9
3(図14)に供給される。また、サイズデータFSZ
_BおよびオフセットデータFPOS_Bは、動き補償
器107、画像再構成部73(図13)、および上位レ
イヤ復号部93に供給され、フラグCODは、上位レイ
ヤ復号部93に供給される。
算器105、フレームメモリ106、または動き補償器
107では、図9の下位レイヤ符号化部25の逆量子化
器38、IDCT器39、演算器40、フレームメモリ
41、または動き補償器42における場合とそれぞれ同
様の処理が行われることで、下位レイヤのVOPが復号
され、画像再構成部73、上位レイヤ復号部93、およ
び解像度変換部94(図14)に供給される。
部93の構成例を示している。なお、図中、図54にお
ける場合と対応する部分については、同一の符号を付し
てある。即ち、上位レイヤ復号部93は、フレームメモ
リ112が新たに設けられていることを除けば、基本的
に、図54のデコーダと同様に構成されている。
ストリームは、バッファ101を介してIVLC器10
2に供給される。IVLC器102は、上位レイヤのビ
ットストリームを可変長復号することで、量子化係数、
動きベクトル、予測モード、量子化ステップ、サイズデ
ータFSZ_E、オフセットデータFPOS_E、倍率
FR、フラグref_layer_id,ref_se
lect_code,COD,MODBなどを分離す
る。量子化係数および量子化ステップは、図15におけ
る場合と同様に、逆量子化器103に供給され、動きベ
クトルおよび予測モードは、動き補償器107に供給さ
れる。また、サイズデータFSZ_Eおよびオフセット
データFPOS_Eは、動き補償器107および画像再
構成部73(図13)に供給され、フラグCOD,MO
DB,ref_layer_id、およびref_se
lect_codeは、動き補償器107に供給され
る。さらに、倍率FRは、動き補償器107および解像
度変換部94(図14)に供給される。
ータの他、下位レイヤ復号部95(図14)から、下位
レイヤの動きベクトル、フラグCOD、サイズデータF
SZ_B、およびオフセットデータFPOS_Bが供給
されるようになされている。また、フレームメモリ11
2には、解像度変換部94から拡大画像が供給される。
算器105、フレームメモリ106、動き補償器10
7、またはフレームメモリ112では、図10の上位レ
イヤ符号化部23の逆量子化器38、IDCT器39、
演算器40、フレームメモリ41、動き補償器42、ま
たはフレームメモリ52における場合とそれぞれ同様の
処理が行われることで、上位レイヤのVOPが復号さ
れ、画像再構成部73に供給される。
ヤ復号部93および下位レイヤ復号部95を有するVO
P復号部72nにおいては、上位レイヤについての復号
画像、サイズデータFSZ_E、およびオフセットデー
タFPOS_E(以下、適宜、これらをすべて含めて、
上位レイヤデータという)と、下位レイヤについての上
位レイヤについての復号画像、サイズデータFSZ_
B、およびオフセットデータFPOS_B(以下、適
宜、これらをすべて含めて、下位レイヤデータという)
が得られるが、画像再構成部73では、この上位レイヤ
データまたは下位レイヤデータから、例えば、次のよう
にして画像が再構成されるようになされている。
ィ(図4)が行われた場合(入力されたVOP全体が上
位レイヤとされるとともに、そのVOP全体を縮小した
ものが下位レイヤされた場合)において、下位レイヤデ
ータおよび上位レイヤデータの両方のデータが復号され
たときには、画像再構成部73は、上位レイヤデータの
みに基づき、サイズデータFSZ_Eに対応する大きさ
の上位レイヤの復号画像(VOP)を、オフセットデー
タFPOS_Eによって示される位置に配置する。ま
た、例えば、上位レイヤのビットストリームにエラーが
生じたり、また、モニタ74が、低解像度の画像にしか
対応していないため、下位レイヤデータのみの復号が行
われたときには、画像再構成部73は、その下位レイヤ
データのみに基づき、サイズデータFSZ_Bに対応す
る大きさの上位レイヤの復号画像(VOP)を、オフセ
ットデータFPOS_Bによって示される位置に配置す
る。
ィ(図5)が行われた場合(入力されたVOPの一部が
上位レイヤとされるとともに、そのVOP全体を縮小し
たものが下位レイヤとされた場合)において、下位レイ
ヤデータおよび上位レイヤデータの両方のデータが復号
されたときには、画像再構成部73は、サイズデータF
SZ_Bに対応する大きさの下位レイヤの復号画像を、
倍率FRにしたがって拡大し、その拡大画像を生成す
る。さらに、画像再構成部73は、オフセットデータF
POS_BをFR倍し、その結果得られる値に対応する
位置に、拡大画像を配置する。そして、画像再構成部7
3は、サイズデータFSZ_Eに対応する大きさの上位
レイヤの復号画像を、オフセットデータFPOS_Eに
よって示される位置に配置する。
が、それ以外の部分に比較して高い解像度で表示される
ことになる。
合においては、その復号画像と、拡大画像とは合成され
る。
たが、上位レイヤ復号部93(VOP復号部72n)か
ら画像再構成部73に対しては、上述したデータの他、
倍率FRも供給されるようになされており、画像再構成
部73は、これを用いて、拡大画像を生成するようにな
されている。
れた場合において、下位レイヤデータのみが復号された
ときには、上述の第1の空間スケーラビリティが行われ
た場合と同様にして、画像が再構成される。
6、図7)が行われた場合(入力されたVOPを構成す
る物体ごとに、その物体(オブジェクト)全体を上位レ
イヤとするとともに、その物体全体を間引いたものを下
位レイヤとした場合)においては、上述の第2の空間ス
ケーラビリティが行われた場合と同様にして、画像が再
構成される。
S_BおよびFPOS_Eは、下位レイヤの拡大画像お
よび上位レイヤの画像を構成する、対応する画素どうし
が、絶対座標系において同一の位置に配置されるように
なっているため、以上のように画像を再構成すること
で、正確な(位置ずれのない)画像を得ることができ
る。
ビットストリームのシンタクスについて、例えば、MPEG
4規格のVideo Verification Model(Version10.0)(以
下、適宜、VM10.0と記述する)を例に説明する。
トリームの構成を示している。
Object Sequence)を単位として構成される。ここで、
VSは、画像シーケンスであり、例えば、一本の番組や
映画などに相当する。
ect)から構成される。ここで、VISOには、幾つか
の種類がある。即ち、VISOには、例えば、静止画で
あるスチルテクスチャオブジェクト(Still Texture Ob
ject)や、顔画像から構成されるフェイスオブジェクト
(Face Object)、動画像のオブジェクトであるVO(V
ideo Object)などがある。従って、符号化ビットスト
リームが動画像のものである場合、VISOは、VOか
ら構成される。
ayer)から構成される(画像を階層化しないときは1の
VOLで構成され、画像を階層化する場合には、その階
層数だけのVOLで構成される)。
OP)で構成され、GOVは、1以上のVOP(Video Ob
ject Plane)のシーケンスで構成される。なお、GOV
はなくても良く、この場合、VOLは、1以上のVOP
で構成されることになる。
シンタクスをそれぞれ示している。VOは、画像全体ま
たは画像の一部(物体)のシーケンスに対応するビット
ストリームであり、従って、VSは、そのようなシーケ
ンスの集合で構成される(よって、VSは、例えば、一
本の番組などに相当する)。
を示している。
ィのためのクラスであり、video_object_layer_idで示
される番号によって識別される。即ち、例えば、下位レ
イヤのVOLについてのvideo_object_layer_idは0と
され、また、例えば、上位レイヤのVOLについてのvi
deo_object_layer_idは1とされる。なお、上述したよ
うに、スケーラブルのレイヤの数は2に限られることな
く、1や3以上を含む任意の数とすることができる。
であるのか、画像の一部であるのかは、video_object_l
ayer_shapeで識別される。このvideo_object_layer_sha
peは、VOLの形状を示すフラグで、例えば、以下のよ
うに設定される。
き、video_object_layer_shapeは、例えば「00」とさ
れる。また、VOLが、ハードキー(0または1のうち
のいずれか一方の値をとる2値(Binary)の信号)によ
って抜き出される領域の形状をしているとき、video_ob
ject_layer_shapeは、例えば「01」とされる。さら
に、VOLが、ソフトキー(0乃至1の範囲の連続した
値(Gray-Scale)をとることが可能な信号(MPEG4
では、8ビットで表現される))によって抜き出される
領域の形状をしているとき(ソフトキーを用いて合成さ
れるものであるとき)、video_object_layer_shapeは、
例えば「10」とされる。
0」とされるのは、VOLの形状が長方形状であり、か
つ、そのVOLの絶対座標形における位置および大きさ
が、時間とともに変化しない、即ち、一定の場合であ
る。なお、この場合、その大きさ(横の長さと縦の長
さ)は、video_object_layer_widthとvideo_object_lay
er_heightによって示される。video_object_layer_widt
hおよびvideo_object_layer_heightは、いずれも10ビ
ットの固定長のフラグで、video_object_layer_shapeが
「00」の場合には、最初に、一度だけ伝送される(こ
れは、video_object_layer_shapeが「00」の場合、上
述したように、VOLの絶対座標系における大きさが一
定であるからである)。
イヤのうちのいずれであるかは、1ビットのフラグであ
るscalabilityによって示される。VOLが下位レイヤ
の場合、scalabilityは、例えば1とされ、それ以外の
場合、scalabilityは、例えば0とされる。
ける画像を参照画像として用いる場合、その参照画像が
属するVOLは、上述したように、ref_layer_idで表さ
れる。なお、ref_layer_idは、上位レイヤについてのみ
伝送される。
tor_nとhor_sampling_factor_mは、下位レイヤのVOP
の水平方向の長さに対応する値と、上位レイヤのVOP
の水平方向の長さに対応する値をそれぞれ示す。従っ
て、下位レイヤに対する上位レイヤの水平方向の長さ
(水平方向の解像度の倍率)は、式hor_sampling_facto
r_n/hor_sampling_factor_mで与えられる。
actor_nとver_sampling_factor_mは、下位レイヤのVO
Pの垂直方向の長さに対応する値と、上位レイヤのVO
Pの垂直方向の長さに対応する値をそれぞれ示す。従っ
て、下位レイヤに対する上位レイヤの垂直方向の長さ
(垂直方向の解像度の倍率)は、式ver_sampling_facto
r_n/ver_sampling_factor_mで与えられる。
ス(Syntax)を示している。
だけでなく、符号化ビットストリームの任意の位置に挿
入することができるように、VOL層とVOP層との間に規定
されている(図17)。これにより、あるVOL#0が、VOP
#0,VOP#1,・・・,VOP#n,VOP#(n+1),・・・,VOP#m
といったVOPのシーケンスで構成される場合において、G
OV層は、その先頭のVOP#0の直前だけでなく、VOP#(n+1)
の直前(VOP#nとVOP#(n+1)との間)にも挿入することが
できる。従って、エンコーダにおいて、GOV層は、例え
ば、符号化ストリームの中の、ランダムアクセスさせた
い位置に挿入することができ、このGOV層を挿入するこ
とで、あるVOLを構成するVOPの一連のシーケンスは、複
数のグループ(GOV)に分けられて符号化されることに
なる。
スタートコード(group_start_code)、VOPタイムイン
クリメントレゾリューション(VOP_time_increment_reso
lusion),タイムコード(time_code)、クローズドGOP
(closed_gop)、ブロークンリンク(broken_link)、
GOVを構成するVOP(Group_of_VideoObjectPlan
e())、ネクストスタートコード(next_start_code())
が順次配置されて構成される。
s)について説明するが、GOV層のセマンティクスは、基
本的には、MPEG2のGOP層と同様であり、従って、特に記
述しない部分については、MPEG2Video規格(ISO/IEC1381
8-2)を参照されたい。
(16進数)で、GOVの開始位置を示す。VOP_time_incr
ement_resolusionは、後述するVOP_time_incrementによ
って示される同期点どうしの間隔である1秒間を、何分
割するかの分割数(分解能)を表す。
の時間の単位を表すtime_code_hours、時刻の分の単位
を表すtime_code_minutes、marker_bit、および時刻の
秒の単位を表すtime_code_secondsで構成される。そし
て、このtime_codeのうちの、time_code_hours,time_c
ode_minutes,time_code_secondsによって、GOVの先頭の
時刻が表される。その結果、GOV層のtime_code(秒精度
先頭表示時刻)は、秒精度で、その先頭の時刻、即ち、
そのGOV層の符号化が開始された、VOPのシーケンス上の
絶対時刻を表現することとなる。具体的には、time_cod
eには、GOVの中で最初に表示されるVOPの絶対的な表示
時刻を秒精度で表したものが設定される。
he parameters correspond to those defined in the I
EC standard publication 461 for "time and control
codes for video tape recorders". The time code ref
ers to the first plane ( in display order) after t
he GOV header」と記載されている。
ストリームにおいて、0が23個以上連続しないように
1とされる。
置を与える。
コードtime_codeにより、GOVのヘッダに続く、表示順
で、最初に表示されるVOPの絶対的な表示時刻を秒精度
で認識することが可能となる。なお、上述のように、GO
V層のtime_codeは秒精度であるため、VOPの表示時刻
の、さらに細かい精度の部分は、VOP毎に設定される
が、この点については、後述する。
出願人による提案後に、MPEG4において導入された
ものである。
o Object Plane Class)のシンタクスを示している。
ば、10ビット固定長のVOP_widthとVOP_heightで表さ
れる。また、VOPの絶対座標系における位置は、例え
ば、10ビット固定長のVOP_horizontal_spatial_mc_re
fとVOP_vertical_mc_refで表される。なお、VOP_width
またはVOP_heightは、VOPの水平方向または垂直方向
の長さをそれぞれ表し、これらは、上述のサイズデータ
FSZ_BやFSZ_Eに相当する。また、VOP_horizo
ntal_spatial_mc_refまたはVOP_vertical_mc_refは、V
OPの水平方向または垂直方向の座標(xまたはy座
標)をそれぞれ表し、これらは、上述のオフセットデー
タFPOS_BやFPOS_Eに相当する。
spatial_mc_ref、およびVOP_vertical_mc_refは、video
_object_layer_shapeが「00」以外の場合にのみ伝送
される。即ち、video_object_layer_shapeが「00」の
場合、上述したように、VOPの大きさおよび位置はい
ずれも一定であるから、VOP_width,VOP_height,VOP_h
orizontal_spatial_mc_ref、およびVOP_vertical_mc_re
fは伝送する必要がない。この場合、受信側では、VO
Pは、その左上の頂点が、例えば、絶対座標系の原点に
一致するように配置され、また、その大きさは、図20
乃至図25に示したVOLのvideo_object_layer_width
およびvideo_object_layer_heightから認識される。
は、上述したように、参照画像として用いる画像を表
す。
ct Plane:従来のFrameに相当する)の表示時刻は、その
VOPで規定されているmodulo_time_baseおよびVOP_ti
me_increment(図28)、並びにそのVOPから構成さ
れるGOVで規定されているtime_code(図27)によ
って、次のように定められる。
ローカルな時間軸上における時刻を、1秒(1000ms(ミ
リ秒))の精度で表す。modulo_time_baseは、VOPヘッ
ダの中で伝送されるマーカ(marker)で表現され、必要
な数の「1」と、1つの「0」とで構成される。modulo_t
ime_baseを構成する「1」の数が、最後に(現在から遡
って、最も最近に)(直前に)表示されたI−VOP,
P−VOPで符号化/復号化されたmodulo_time_base、
またはGOVヘッダのtime_codeによって示された同期
点(1秒精度の時刻)からの累積時間を表す。
が、例えば、「0」の場合は、直前に表示されたI−V
OP,P−VOPのmodulo_time_base、またはGOVヘ
ッダのtime_codeによって示された同期点からの累積時
間が0秒であることを表す。また、modulo_time_base
が、例えば、「10」の場合は、直前に表示されたI−
VOP,P−VOPのmodulo_time_base、またはGOV
ヘッダのtime_codeによって示された同期点からの累積
時間が1秒であることを表す。さらに、modulo_time_ba
seが、例えば、「110」の場合は、直前に表示された
I−VOP,P−VOPのmodulo_time_base、またはG
OVヘッダのtime_codeによって示された同期点の累積
時間が2秒であることを表す。以上のように、VOPの
modulo_time_baseの「1」の数は、その直前に表示され
たI−VOP,P−VOPのmodulo_time_base、または
GOVヘッダのtime_codeによって示された同期点から
の秒数になっている。
いて、「This value represents the local time base
at the one second resolution unit (1000 millisecon
ds).It is represented as a marker transmitted in t
he VOP header. The numberof consecutive "1" follow
ed by a "0" indicates the number of seconds has el
apsed since the synchronization point marked by th
e modulo_time_baseof the last displayed I/P-VOPs b
elonging to the same VOL. There are twoexceptions,
one for the first I/P-VOP after the GOV header, a
nd the other is for B-VOPs (in display order) to t
he first I-VOP after the GOV header.For the first
I/P-VOP after the GOV header, the modulo_time_base
indicates the time relative to the time_code in t
he GOV header.For the B-VOPs prior (in display ord
er) to the first I-VOP after the GOV header, themo
dulo_time_base indicates the time relative to the
time_code in the GOV header」と記載されている。
は、直前に表示されたI−VOP,P−VOPのmodulo
_time_baseによって示される同期点、即ち、直前に表示
されたI−VOP,P−VOPの表示時刻の秒精度の時
刻からの相対時間によって、注目VOPの秒精度の表示
時刻を表す。但し、GOVヘッダに続いて最初に符号化
/復号されるI−VOPまたはP−VOPのmodulo_tim
e_baseは、GOVヘッダのtime_codeからの相対時間に
よって、そのI−VOPまたはP−VOPの秒精度の表
示時刻を表し、また、GOVヘッダに続いて最初に符号
化/復号されるI−VOPより前に表示されるB−VO
Pのmodulo_time_baseも、GOVヘッダのtime_codeか
らの相対時間によって、そのB−VOPの秒精度の表示
時刻を表す。
/復号されるI−VOPまたはP−VOP、およびその
ようなI−VOPより前に表示されるB−VOPに関し
て、GOVヘッダのtime_codeによって示される同期点
を、直前に表示されたI−VOP,P−VOPのmodulo
_time_baseによって示された同期点(直前に表示された
I−VOP,P−VOPの表示時刻の秒精度の時刻)と
考えれば、VOPのmodulo_time_baseは、どのようなV
OPについても、直前に表示されたI−VOP,P−V
OPのmodulo_time_baseによって示された同期点からの
時間によって、そのVOPの表示時刻を、秒精度で表す
ということができる。
OPの表示時刻を表すのに使用される。すなわち time_co
de及びmodulo_time_baseは、1秒の精度で時刻を表す
が、それ以下の精度は、VOP_time_incrementを用いて表
現される。VM10.0の場合、VOP_time_incrementの精度
は、上述したGOVレイヤのtime_increment_resolution
(図26)で示され、VOP_time_increment_resolution
=1000とすると、VOP_time_incrementは、VOPの表
示時刻を、1ms(=1000ミリ秒/VOP_time_incremen
t_resolution)単位で表すものとなる。
いて、time_code,modulo_time_baseとVOP_time_increme
ntとの関係を示した図である。
B1(B−VOP),I2(I−VOP)、B3,B4,P5(P
−VOP)....というVOPのシーケンスで構成されて
いる。いま、GOVヘッダのtime_codeが時刻t0 = 0h:
12m:43Sec(0時間12分43秒)を示していたとする
と、modulo_time_baseは、time_codeを基準とする時刻
を、1秒精度で表し、従って、t0+1秒、t0+2秒,
・・・という時刻を、同期点として表す。なお、図37
において、表示順は、B1,I2,B3,B4,P5,・・
・であるが、符号化/復号順は、GOVヘッダ、I2,
B1,P5,B3,B 4,・・・である。
図47においても同様)、各VOPについてのVOP_time
_incrementを、四角形で囲んだ数字で、modulo_time_ba
seを、四角形とダブルクオーテーション(”)で囲んだ
ビット列で、それぞれ示してあり、さらに、VOP_time_i
ncrement_resolutionを1000としてある。従って、
図37では、B1,I2,B3,B4,P5についてのVOP_time_i
ncrementがそれぞれ350,750,150,550,
350とされており、また、VOP_time_increment_resol
utionが1000であるから、各VOPの表示時刻の1秒以下の
値は、それぞれ350ms(350/1000秒),75
0ms(750/1000秒),150ms(150/10
00秒),550ms(550/1000秒),350ms
(350/1000秒)となる。
ッダが符号化/復号された後、最初に符号化/復号され
るI−VOPであるI2より前に表示されるB−VOP
であるから、その表示時刻の基準は、GOVヘッダのti
me_codeで示される同期点である時刻t0となる。いま、
B1のtime_modulo_baseは、”0”であり、従って、B1
の表示時刻は、GOVヘッダのtime_codeで示された時刻t
0の、0+350/1000秒後の時刻、すなわち0h:12
m:34s+0s:350ms=0h:12m:34s:350msとなる。
号された後、最初に符号化/復号されるI−VOPであ
るから、その表示時刻の基準は、GOVヘッダのtime_c
odeで示される同期点である時刻t0となる。いま、I2
のtime_modulo_baseは、”0”であり、従って、I2の
表示時刻は、GOVヘッダのtime_codeで示された時刻t0
の、0+750/1000秒の時刻 すなわち0h:12m:34s+0s:750
ms=0h:12m:34s:750msとなる。
め、その表示時刻の基準は、I2のmodulo_time_baseによ
って示された同期点となる。即ち、I2の表示時刻は、上
述したように、0h:12m:34s:750msであり、modulo_time_
baseは、時刻t0=0h:12m:34Secから0秒後の時刻である
0h:12m:34sを、同期点として示している。そして、B3
のmodulo_time_baseは、"10"であることから、B3の表
示時刻は、I2のmodulo_time_baseによって示される同
期点の、1+150/1000秒後の時刻、すなわち0
h:12m:34s+1s:150ms=0h:12m:35s:150msとなる。B4の表
示時刻も、B3の表示時刻と同様にして求めることがで
き、I2のmodulo_time_baseによって示される同期点の、
1+550/1000秒後の時刻、すなわち0h:12m:34s
+1s:550ms=0h:12m:35s:550msとなる。
B3,B4は共にB−VOPであるため、これらのmodulo
_time_baseによって示される同期点は、P5の表示時刻
の計算には用いられず、P5の直前に表示されるI/P
−VOPであるI2のmodulo_time_baseによって示され
る同期点(0h:12m:34Sec)が用いられる。また、図37
では、P5のtime_modulo_baseが、"110"であり、time_i
ncrementは、上述したように350であることから、そ
の表示時刻は、I2のmodulo_time_baseによって示され
る同期点の、2+350/1000秒後の時刻、すなわ
ち0h:12m:34s+2s:350ms=0h:12m:36s:350msとなる。
ダ、B1,B2,I3,B4,P5,・・・というVOPの
シーケンスで構成されている。また、GOVヘッダのti
me_codeは、図37における場合と同様に、時刻t0 = 0
h:12m:43Sec(0時間12分43秒)を示している。
time_base が”0”と、VOP_time_incrementが350と
なっている。そして、B1は、GOVヘッダが符号化/
復号された後、最初に符号化/復号されるI−VOPで
あるI3より前に表示されるB−VOPであるから、そ
の表示時刻は、GOVヘッダのtime_codeで示される同
期点である時刻t0を基準に計算される。従って、B1の
表示時刻は、図37のB1と同様に、0h:12m:34s+0s:350
ms=0h:12m:34s:350msとなる。
が符号化/復号された後、最初に符号化/復号されるI
−VOPであるI3より前に表示されるB−VOPであ
るから、その表示時刻は、やはり、GOVヘッダのtime
_codeで示される同期点である時刻t0を基準に計算され
る。いま、B2のtime_modulo_baseが”0”で、VOP_tim
e_incrementが750となっているから、B2の表示時刻
は、GOVヘッダのtime_codeで示された時刻t0の、0+
750/1000秒後の時刻、すなわち0h:12m:34s+0s:
750ms=0h:12m:34s:750msとなる。
最初に表示されるI−VOPであり、そのmodulo_time_
baseが”01”で、VOP_time_incrementが150であるた
め、その表示時刻は、time_codeによって示された同期
点より1+150/1000秒遅れとなる。従って、I3
の表示時刻は、時刻t0の、0+750/1000秒後
の時刻、すなわち0h:12m:34s+1s:150ms=0h:12m:35s:150
msとなる。
れるI/P−VOPであるI3のmodulo_time_baseによ
って示される同期点(I3の表示時刻の秒精度)、即
ち、0h:12m:35sを基準に、その表示時刻が計算される。
いま、B4のmodulo_time_baseは”0”で、VOP_time_in
crementが550であるため、その表示時刻は、0h:12m:35s
+0s:550ms=0h:12m:35s:550msとなる。
れるI/P−VOPであるI3のmodulo_time_baseによ
って示される同期点、即ち、B4と同様に、0h:12m:35s
を基準に、その表示時刻が計算される。いま、P5のmod
ulo_time_baseは”10”で、VOP_time_incrementが350
であるため、その表示時刻は、0h:12m:35s+1s:350ms=0
h:12m:36s:350msとなる。
時刻の計算に、I/P-VOPのmodulo_time_baseによって示
される同期点(これは、その表示時刻の秒精度に等し
い)は用いられるが、B-VOPのmodulo_time_baseによっ
て示される同期点は用いられない。これは、主として次
のような理由による。即ち、B-VOPは、表示順では、I/P
VOPに挟まれているが、符号化/復号化順では、B-VOPを
挟んでいるI/PVOPが符号化/復号された後に符号化/復
号される。このため、仮に、表示時刻の計算に、B-VOP
のmodulo_time_baseによって示される同期点を用いるこ
ととすると、即ち、B−VOPの表示時刻の秒精度を用
いることとすると、表示順においてB−VOPの直後に
位置するI/P-VOPは、すでに符号化/復号されているの
にもかかわらず、そのB-VOPの符号化/復号が終了する
までは、I/P-VOPの表示時刻を求めることができず、処
理が煩雑になるためである。
レイヤを採用しており、これにより、効率的なランダム
アクセスを可能としている。即ち、GOVレイヤのtime_co
deにより、GOVの絶対的な開始時刻(但し、秒精度)が
定まり、この開始時刻とtime_modulo_base,VOP_time_in
crementにより、上述したように、そのGOVに含まれ
る各VOPの絶対的な表示時刻が容易に求められる。そし
て、この表示時刻を参照することにより、符号化ビット
ストリームの途中にあるVOPにアクセスすること、すな
わちランダムアクセスすることが可能となる。
is an optional layer, so the bitstream can have an
y (include non) number of the GOV header, and the
frequency of the GOV header is an encoder issue.Si
nce the GOV header shall be followed by the I-VO
P.」と定義されていることから、GOVレイヤの挿入につ
いては、符号化ビットストリームの中で、GOVヘッダ
の後にI-VOPを配置しなければならないという制限があ
る点を除き、エンコーダ側で、その数と頻度を、自由に
設定することができる。
現するための階層化を行った場合に、各階層におけるG
OVの挿入位置は、特に規定されていない。従って、例
えば、上位レイヤと下位レイヤとの2階層に階層化した
場合には、上位レイヤまたは下位レイヤそれぞれについ
て、独立に、I-VOPを、ヘッダの後に配置(但し、符号
化ビットストリームの中で)した形のGOVを構成する
ことができる。
ずしもI-VOPを使用しなくてもエンコード/デコードが
可能である。これは、上位レイヤについては、基本的
に、下位レイヤのVOPが参照画像として用いられるか
らであり、MPEG4では、このように、下位レイヤの
VOPを参照画像として用いることで、符号化効率を向
上させている。
いるためには、符号化/復号化順でGOVヘッダの後にI-V
OPを配置しなければならない。そして、I-VOPのデータ
量は、一般に、P-VOPやB-VOPのデータ量より大きいか
ら、I-VOPを使用しなくても問題のない上位レイヤにI-V
OPを使用しなくてはならないことは、符号化効率を低下
させることになる。
に、VM10.0で規定されている上述の定義は、「The GOV
layer is an optional layer, so the bitstream can h
aveany (include non) number of the GOV header, and
the frequency of the GOVheader is an encoder issu
e.Since thr GOV header shall be followed by the I-
VOP in base layer.」と変更し、下位レイヤについての
み、GOVヘッダの後にI-VOPを配置しなければならな
いという制限をつけるべきであり、上位レイヤについて
は、そのような制限をつけるべきではない。
は、上述の変更後の定義にしたがって、それぞれ符号化
または復号が行われるようになされている。
ヤのGOVの時間的な位置関係については、特に制限がな
い。従って、下位レイヤのGOVの最初のVOPまたは最
後のVOPそれぞれと、上位レイヤの最初のVOPまた
は最後のVOPそれぞれとの時間的な位置は、必ずしも
一致しなくてもよいこととなる。
で、GOVの挿入位置が異なる場合に、その符号化ビット
ストリームにランダムアクセスするときには、上位レイ
ヤのVOPが参照する下位レイヤの復号画像を得るため
に、本来表示されない下位レイヤのVOPを復号しなけ
ればならないケースが生じ、この場合、迅速で、効率的
なランダムアクセスが困難となる。
番目のI−VOPまたはP−VOPを、それぞれ、Ibi
またはPbiとそれぞれ表すとともに、上位レイヤの、表
示順で#i番目のP−VOPを、Peiと表し、例えば、
図39に示すように、Ib1,Pb2,Pb3,Pb4,Pb5,
Ib6,Pb7,Pb8,Pb9,Pb10,Ib11,Pb12,
Pb 13,・・・で構成される下位レイヤと、Pe1,
Pe2,Pe3,Pe4,Pe5,Pe6,Pe7,Pe8,Pe9,P
e10,Pe11,Pe12,Pe13,・・・で構成される上位レ
イヤとからなる符号化ビットストリームを考える。
Pb2,Pb3,Pb4,Pb5,Ib6,Pb7,Pb8,Pb9,P
b10,Ib11,Pb12,Pb13,・・・それぞれと、上位レ
イヤのP e1,Pe2,Pe3,Pe4,Pe5,Pe6,Pe7,P
e8,Pe9,Pe10,Pe11,Pe12,Pe13,・・・それぞ
れとは、同一時刻に表示されるVOPであり、さらに、
上位レイヤのPe1乃至Pe13それぞれは、下位レイヤの
Ib1乃至Pb13それぞれを参照画像として符号化されて
いる。即ち、空間スケーラビリティが実現されている。
そして、図39では、下位レイヤのIb1乃至Pb5がGO
Vb1を、Ib6乃至P b10がGOVb2を、それぞれ構成し
ており、上位レイヤのPe1乃至Pe4がGOVe 1を、Pe5
乃至Pe8がGOVe2を、Pe9乃至Pe12がGOVe3を、
それぞれ構成している。即ち、下位レイヤでは、5つの
VOPごとにGOVが構成され、上位レイヤでは、4つ
のVOPごとにGOVが構成されている。
GOVe2の先頭にランダムアクセスするとしたとき、そ
の先頭のPe5は、下位レイヤのGOVb1のPb5の復号画像
を参照画像として用いて復号されるから、Pb5を復号す
る必要がある。しかしながら、Pb5は、下位レイヤのG
OVb1を構成するVOP(最後に表示されるVOP)で
あり、従って、Pb5を復号するには、GOVb1を構成す
るVOPを順次復号する必要がある。そして、P65が復
号されるまでの間は、そのP65を参照画像として用いる
上位レイヤのPe5を復号することができないから、迅速
なランダムアクセスが困難となる。
の場合も、同様に生ずる。
b2,b3,b4,b5,・・・で表されるVOPで構成さ
れる下位レイヤと、e1,e2,e3,e4,e5,e6,e
7,e8,・・・で表されるVOPで構成される上位レイ
ヤとからなる符号化ビットストリームを考える。なお、
e1,b1,e2,b2,e3,e4,b3,e5,e6,b4,
e7,e8,b5,・・・が、一連の画像シーケンスを構
成しており、図40では、そのような画像シーケンスか
ら、b1,b2,b3,b4,b5,・・・が抽出されて下
位レイヤが構成され、 e1,e2,e3,e4,e5,
e6,e7,e8,・・・が抽出されて上位レイヤが構成
されている。
至b3がGOVb1を、b4乃至b6がGOVb2を、それぞ
れ構成しており、上位レイヤのe1乃至e3がGOV
e1を、e4乃至e6がGOVe2を、e7乃至e9がGOVe3
を、それぞれ構成している。即ち、下位レイヤおよび上
位レイヤの両方とも、3つのVOPごとにGOVが構成
されている。なお、e1はb1を、e2およびe3はb
2を,e4およびe5はb3を,e 6およびe7はb4を,e8
はb5を、それぞれ参照画像として用いている。
GOVe2の先頭にランダムアクセスするとしたとき、そ
の先頭のe4は、下位レイヤのGOVb1のb3の復号画像
を参照画像として用いて復号されるから、まずは、b3
を復号する必要がある。しかしながら、b3は、下位レ
イヤのGOVb1を構成するVOP(最後に表示されるV
OP)であり、従って、e4を復号するには、GOVb1
を構成するVOPを順次復号する必要がある。そして、
b3を復号するまでの間は、ランダムアクセスする目的
である上位レイヤのe4を復号することができないか
ら、やはり、迅速なランダムアクセスが困難となる。
されるVOPの表示時刻と同時刻またはその直後に表示
される上位レイヤのVOPが、上位レイヤのGOVの最
初に表示されるものとなるように、上位レイヤを、GO
Pに分けるようにする。このようにすることで、上位レ
イヤと下位レイヤとのGOVが1対1に対応することにな
り、迅速なランダムアクセスが妨げられることを防止す
ることができる。
に、上位レイヤおよび下位レイヤが構成される場合にお
いて、下位レイヤのPb5が、最初に表示されるVOPと
なるように、下位レイヤのGOVを構成したときには、
図41に示すように、そのP b5の表示時刻と同時刻に表
示される上位レイヤのPe5が最初に表示されるVOPと
なるように、上位レイヤのGOVを構成する。また、例
えば、下位レイヤのP b10が、最初に表示されるVOP
となるように、下位レイヤのGOVを構成したときに
も、図41に示すように、そのPb10の表示時刻と同時
刻に表示される上位レイヤのPe10が最初に表示される
ものとなるように、上位レイヤのGOVを構成する。
様に、上位レイヤおよび下位レイヤが構成される場合に
おいて、下位レイヤのb2が、最初に表示されるVOP
となるように、下位レイヤのGOVを構成したときに
は、図42に示すように、そのb2の表示時刻の直後に
表示される上位レイヤのe3が最初に表示されるVOP
となるように、上位レイヤのGOVを構成する。また、
例えば、下位レイヤのb4が、最初に表示されるVOP
となるように、下位レイヤのGOVを構成したときに
は、図42に示すように、そのb4の表示時刻の直後に
表示される上位レイヤのe7が最初に表示されるVOP
となるように、上位レイヤのGOVを構成する。
毎に符号化されるが、そのエンコード結果は、GOVの中
で最初に符号化/復号されるVOPの直前に配置される。
そして、GOVヘッダのtime_codeとしては、GOVの中で最
初に表示されるVOPの表示時刻が秒精度でエンコードさ
れる。
最初に表示される下位レイヤのGOVのGOVヘッダに配
置されるtime_codeは、そのPb5の表示時刻の秒精度と
なり、Pe5が最初に表示される上位レイヤのGOVのGO
Vヘッダに配置されるtime_codeは、Pe5の表示時刻の秒
精度となる。そして、図41では、Pb5とPe5の表示時
刻は同一であり、よって、Pb5が最初に表示される下位
レイヤのGOVのGOVヘッダに配置されるtime_codeと、
Pe5が最初に表示される上位レイヤのGOVのGOVヘッ
ダに配置されるtime_codeも同一の値となる。
初に表示される下位レイヤのGOVのGOVヘッダに配置
されるtime_codeは、b2の表示時刻の秒精度となり、e
3が最初に表示される上位レイヤのGOVのGOVヘッダに
配置されるtime_codeは、e3の表示時刻の秒精度とな
る。
(GOVヘッダの挿入処理)は、図9に示した下位レイ
ヤ符号化部25のVLC器36(以下、適宜、下位VL
C器36という)において、また、下位レイヤのGOV
の最初に表示されるVOPの表示時刻と同時刻またはそ
の直後に表示される上位レイヤのVOPが、上位レイヤ
のGOVの最初に表示されるものとなるように、上位レ
イヤのGOPを構成する処理は、図10に示した上位レ
イヤ符号化部23のVLC器36(以下、適宜、上位V
LC器36という)において、それぞれ行われるように
なされている。
ートを参照して、下位VLC器36または上位VLC器
36が行うGOVの構成処理について説明する。
て、下位VLC器36によるGOVの構成処理について
説明する。
ップS1において、いま処理の対象となっている下位レ
イヤのVOPのデータが、GOVの中で最初にエンコー
ドされたものであるかどうかが判定され、最初にエンコ
ードされたものでないと判定された場合、次の下位レイ
ヤのVOPのデータが供給されるのを待って、ステップ
S1に戻る。また、ステップS1において、処理の対象
となっている下位レイヤのVOPのデータが、GOVの
中で最初にエンコードされたものであると判定された場
合、ステップS2に進み、その最初にエンコードされた
VOPのデータの前に、GOVヘッダが挿入され、ステ
ップS3に進む。ステップS3では、下位レイヤにGO
Vヘッダを挿入した旨のGOVヘッダ挿入信号が、その
下位レイヤのGOVの中で最初に表示されるVOPの表
示時刻とともに、上位VLC器36に出力され、次の下
位レイヤのVOPのデータが供給されるのを待って、ス
テップS1に戻る。
て、上位VLC器によるGOVの構成処理について説明
する。
ップS11において、下位VLC器36から、GOVヘ
ッダ挿入信号が送信されてきたかどうかが判定され、送
信されてきていないと判定された場合、ステップS11
に戻る。また、ステップS11において、GOVヘッダ
挿入信号が送信されてきたと判定された場合、ステップ
S12に進み、そのGOVヘッダ挿入信号とともに送信
されてくる、下位レイヤのGOVの中で最初に表示され
るVOPの表示時刻が認識される。さらに、ステップS
12において、その表示時刻と同時刻またはその直後に
表示される上位レイヤのVOPが、上位レイヤのGOP
の最初に表示されるものとなるように、GOVヘッダ
が、符号化ビットストリームに挿入され、ステップS1
1に戻る。
クセスが指令された場合、符号化ビットストリームの中
のGOVヘッダに配置されたtime_code、並びにVOP
ヘッダに配置されたmodulo_time_baseおよびVOP_time_i
ncrementを用いて、上述したように、ランダムアクセス
すべきVOPの表示時刻が求められ、その表示時刻に基
づき、ランダムアクセスが行われる。
上位レイヤを構成するVOPのピクチャタイプのシーケ
ンス(ピクチャストラクチャ)については、特に規定さ
れていない。
符号化対象の画像を構成するオブジェクトのシーケンス
を、空間スケーラビリティを実現するための、例えば、
下位レイヤと上位レイヤなどの2以上の階層に階層化し
た場合には、上位レイヤのVOPを、その表示順序と同
一の順序で符号化するようになされている。
における上位レイヤと下位レイヤのピクチャストラクチ
ャを示している。なお、図45においては、下位レイヤ
の、表示順で#i番目のI−VOP,P−VOP、また
はB−VOPを、それぞれ、Ibi,Pbi、またはBbiと
それぞれ表し、上位レイヤの、表示順で#i番目のP−
VOPまたはB−VOPを、それぞれ、PeiまたはBei
とそれぞれ表してある。
のIb3が、最初に符号化/復号される。その後、この下
位レイヤのIb3を参照画像として用い、下位レイヤの最
初に表示されるBb1が符号化/復号される。空間スケー
ラブル符号化の上位レイヤのVOPは、基本的に、同時
刻に表示される下位レイヤのVOPが参照画像として用
いられるため、下位レイヤのBb1の符号化/復号後は、
それを参照画像として用いる上位レイヤのBe1が符号化
/復号される。続いて、下位レイヤの2番目に表示され
るBb2が、既に符号化/復号されている下位レイヤのI
b3を参照画像として符号化/復号され、その同時刻に表
示される上位レイヤであるBe2が、下位レイヤのBb2と、
上位レイヤのBe1を参照画像として符号化/復号され
る。
のIb3を参照画像として用いて符号化/復号される。そ
の後、下位レイヤBb4の符号化/復号のための参照画像
となる下位レイヤのPb6が符号化/復号され、その下位
レイヤのPb6と、同じく下位レイヤのIb3を参照画像と
して用いて、下位レイヤのBb4が符号化/復号される。
そして、その下位レイヤのBb4と、上位レイヤのPe3を
参照画像として用いて、上位レイヤのBe4が符号化/復
号される。
のIb3およびPb6を参照画像として符号化/復号され、
その下位レイヤのBb5と、上位レイヤのBe4を参照画像
として、上位レイヤのBe5が符号化/復号される。そし
て、下位レイヤのPb6は、既に符号化/復号されている
ので、その下位レイヤのPb6と、上位レイヤのBe5を参
照画像として、上位レイヤのBe6が符号化/復号され
る。
て用いられる下位レイヤのPb9が符号化/復号され、そ
の下位レイヤのPb9と、同じく下位レイヤのPb6を参照
画像として、下位レイヤのBb7が符号化/復号される。
続いて、その下位レイヤのB b7と、上位レイヤのBe6を
参照画像として、上位レイヤのBe7が符号化/復号さ
れ、既に符号化/復号されている下位レイヤのPb6およ
びPb9を参照画像として、下位レイヤのBb8が符号化/
復号される。そして、その下位レイヤのBb8と、上位レ
イヤのBe7を参照画像として、上位レイヤのBe8が符号
化/復号され、その上位レイヤのBe8と、下位レイヤの
Pb9を参照画像として、上位レイヤのBe9が符号化/復
号される。
Bb2,Ib3,Bb4,Bb5,Pb6,B b7,Bb8,Pb9の順
で表示されるVOPが、Ib3,Bb1,Bb2,Pb6,
Bb4,B b5,Pb9,Bb7,Bb8の順で符号化/復号され
ていく。
e1,Be2,Pe3,Be4,Be5,Be6,Be7,Be8,Be9
の順で表示されるVOPが、やはり、Be1,Be2,
Pe3,B e4,Be5,Be6,Be7,Be8,Be9の順で符号
化/復号されていく。即ち、上位レイヤのVOPは、そ
の表示順序と同一の順序で符号化/復号される。
表示順序と同一の順序で符号化/復号するようにした場
合には、表示順序と異なる順序で符号化/復号を行う場
合に比較して、処理の容易化を図ることができる。
合でも、図1のエンコーダ/図13のデコーダには、図
45に示したピクチャストラクチャと異なるピクチャス
トラクチャを対象に、符号化/復号を行わせることが可
能である。即ち、図1のエンコーダ/図13のデコーダ
に符号化/復号を行わせるピクチャストラクチャは、図
45に示したものに限定されるものではない。同様に、
参照関係や符号化/復号順序も、図45に示したものに
限定されるものではない。
G4のref_select_codeで規定される参照関係を満たす
ものである。また、空間スケーラブル符号化を行う場合
に、上位レイヤのVOPを、その表示順序と同一の順序
で符号化/復号する手法は、GOVの有無にかかわらず
適用可能である。
クチャにおいては、上位レイヤの3番目に表示されるP
e3の後に表示されるVOPは、すべてB−VOPになっ
ている。
lo_time_base,VOP_time_incrementに基づき、GOVヘッ
ダのtime_code、または直前に表示されるI/P-VOPのmodu
lo_time_baseによって示される同期点を基準として求め
られる(但し、直前に表示されたI/P-VOPのmodulo_time
_baseによって示される同期点、即ち、直前に表示され
たI/P-VOPの秒精度の表示時刻も、元をたどれば、GOVヘ
ッダのtime_codeによって示される同期点を基準として
求められるから、すべてのVOPの表示時刻は、結局は、G
OVヘッダのtime_codeによって示される同期点を基準と
して求められるということができる)。
Bb1,Bb2,Ib3の表示時刻は、GOVヘッダのtime_code
を、Bb4,Bb5,Pb6の表示時刻は、その直前に表示され
るIb3の秒精度の表示時刻を、Bb7,Bb8,Pb9の表示時刻
は、その直前に表示されるPb6の秒精度の表示時刻を、
それぞれ用いて計算される。
e1,Be2,Pe3の表示時刻は、GOVヘッダのtime_codeを用い
て計算される。そして、Pe3の後に表示されるVOPは、
上述したように、すべてB−VOPであるから、そのB
−VOPの表示時刻は、直前に表示されるPe3の秒精度
の表示時刻を用いて計算される。その結果、Pe3の後に
表示されるB-VOPのmodulo_time_baseのビット数が増大
し、符号化効率が劣化することになる。
_baseは、最下位ビットに0を配置し、その上位ビット
に、直前に表示されるI/P-VOPの表示時刻の秒精度と、
注目VOPの表示時刻の秒精度との差分と同一の数の1を
配置して構成される。従って、modulo_time_baseは、I/
P-VOPがあると、その後に、いわば”0”にリセットさ
れ、これにより、そのビット数の増大の防止が図られて
いる。
については、Pe3の後に表示されるVOPは、すべてB−
VOPであるから、modulo_time_baseのリセットが行わ
れず、そのビット数が増大することになる。
イヤについては、Ib3,Pb6,Pb6それぞれの後におい
て、modulo_time_baseは、”0”にリセットされる。そ
して、Ib3の後のBb4、Pb6の後のBb7、またはPb6の
後のBb10については、Ib3,Pb6,Pb6から、Bb4,
Bb7,Bb10までのそれぞれの表示間隔の秒精度に対応
した数の”1”が、”0”にリセットされたmodulo_tim
e_baseの上位ビットに付される(図46では、Ib3,P
b6,Pb6から、Bb4,Bb7,Bb10までのそれぞれの表
示間隔は、いずれも1秒未満であるため、それぞれのmo
dulo_time_baseは、”0”の上位ビットとして0個の”
1”が付された”0”となっている)。
e3の後において、modulo_time_baseが”0”にリセット
された後は、Pe3の秒精度の表示時刻を基準とした秒精
度の表示時刻が、1秒増加するごとに、VOPに付されるm
odulo_time_baseも、1ビットずつ増加していく。その
結果、図46に示すように、Pe3の後においてmodulo_t
ime_baseが”0”にリセットされた後、その後に表示さ
れるBe4,Be5,Be6,Be7,Be8,Be9,Be10のmod
ulo_time_baseは、それぞれ"0","10","10","110","11
0","1110","1110"となり、そのビット数が増大してい
く。
空間スケーラブル符号化において、上位レイヤの符号化
/復号が表示順序と同一順序で行われる場合には、上位
レイヤのB-VOPの後においても、modulo_time_baseを”
0”にリセットし、そのB-VOPと、次に表示されるVOPと
の秒精度の表示時刻の差分と同一の数の”1”を、”
0”の上位ビットとして付加して、次に表示されるVOP
のmodulo_time_baseを構成するようにする。この場合、
上位レイヤのVOPの表示時刻は、そのVOPの直前に表示さ
れるVOP(I,P,BのいずれのVOPであっても良い)の
秒精度の表示時刻を基準にして計算されることになる。
なお、注目VOPの前に表示されるVOPが存在しない場合、
即ち、注目VOPが、GOVにおいて、最初に表示されるV
OPである場合には、その直線に表示されるVOPは存在し
ないため、この最初に表示されるVOPについては、例え
ば、time_codeを基準として、modulo_time_baseの構
成、および表示時刻の計算を行うこととする。
よびVOPの表示時刻の計算方法を、上述のように変更し
た場合における、図45に示したピクチャストラクチャ
のmodulo_time_baseを示している。
Be1については、その表示時刻の秒精度(図47では、0
h:12m:34s)と、time_code(図47では、0h:12m:34s)
との差分が0となるから、そのmodulo_time_baseは、”
0”に、0個の”1”を付加した”0”となる。Be2に
ついても、その表示時刻の秒精度(図47では、0h:12
m:34s)と、その直前に表示されるBe1の表示時刻の秒
精度(図47では、0h:12m:34s)との差分が0となるか
ら、そのmodulo_time_baseは、”0”に、0個の”1”
を付加した”0”となる。Pe3については、その表示時
刻の秒精度(図47では、0h:12m:35s)と、その直前に
表示されるBe2の表示時刻の秒精度(図47では、0h:1
2m:34s)との差分が1となるから、そのmodulo_time_ba
seは、”0”に、1個の”1”を付加した”10”とな
る。Be4については、その表示時刻の秒精度(図47で
は、0h:12m:35s)と、その直前に表示されるPe3の表示
時刻の秒精度(図47では、0h:12m:35s)との差分が0
となるから、そのmodulo_time_baseは、”0”に、0個
の”1”を付加した”0”となる。即ち、Be4の表示時
刻の秒精度と、その直前に表示されるPe3の表示時刻の
秒精度との差分が1秒に満たないため、いわば、Be4に
おいて、modulo_time_baseはリセットされる。
(図47では、0h:12m:36s)と、その直前に表示される
Be4の表示時刻の秒精度(図47では、0h:12m:35s)と
の差分が1となるから、そのmodulo_time_baseは、”
0”に、1個の”1”を付加した”0”となる。Be6に
ついては、その表示時刻の秒精度(図47では、0h:12
m:36s)と、その直前に表示されるBe5の表示時刻の秒
精度(図47では、0h:12m:36s)との差分が0となるか
ら、そのmodulo_time_baseは、Be4における場合と同様
に、”0”にリセットされる。
dulo_time_baseは、図47に示すように、それぞれ、"1
0","0","10","0"となる。
(modulo_time_base設定処理)は、下位レイヤまたは上
位レイヤそれぞれについて、図9に示した下位レイヤ符
号化部25のVLC器36(下位VLC器36)、また
は図10に示した上位レイヤ符号化部23のVLC器3
6(上位VLC器36)において、それぞれ行われるよ
うになされている。
て、上位VLC器36が行うmodulo_time_base設定処理
について説明する。
なっているVOPを注目VOPとして、ステップS21におい
て、その注目VOPと、直前に表示されるVOPとの秒精度の
表示時刻の差分Dが求められ、ステップS22に進み、
Dが0に等しいかどうかが判定される。ステップS22
において、Dが0に等しいと判定された場合、ステップ
S23に進み、modulo_time_baseが”0”にリセットさ
れ、ステップS28に進む。ステップS28では、”
0”にリセットされたmodulo_time_baseが、注目VOPに
設定され、次の処理対象となるVOPが供給されるのを待
って、ステップS21に戻る。
等しくないと判定された場合、ステップS24に進み、
modulo_time_baseが”0”にリセットされる。そして、
ステップS25において、modulo_time_baseの最上位ビ
ットとして、”1”が追加され、ステップS26に進
む。ステップS26では、Dが1だけデクリメントさ
れ、ステップS27に進み、Dが0に等しいかどうかが
判定される。ステップS27において、Dが0に等しく
ないと判定された場合、ステップS25に戻り、以下、
ステップS27でDが0に等しいと判定されるまで、ス
テップS25乃至S27の処理が繰り返される。
に等しいと判定された場合、即ち、注目VOPと、直前に
表示されるVOPとの秒精度の表示時刻の差分と同一の数
の”1”が、”0”に付加されたmodulo_time_baseが構
成された場合、ステップS28に進み、そのmodulo_tim
e_baseが、注目VOPに設定され、次の処理対象となるVOP
が供給されるのを待って、ステップS21に戻る。
テップS21において、注目VOPと、直前に表示されるV
OP(I/P/B-VOP)との秒精度の表示時刻の差分ではな
く、注目VOPと、直前に表示されるI/P-VOPとの秒精度の
表示時刻の差分Dが求められることを除けば、上位VL
C器36と同様のmodulo_time_base設定処理が行われ
る。
のVOPの表示時刻は、その直前に表示されるI/P-VOPの秒
精度の表示時刻(またはtime_code)を基準として求め
られるが、上位レイヤのVOPの表示時刻は、その直前に
表示されるVOP(I,P,Bを問わない)の秒精度の表
示時刻(またはtime_code)を基準として求められる。
は、上位レイヤのBe1の符号化/復号は、同時刻に表示
される下位レイヤのBb1のみを参照画像として行われ
る。
OPは、通常、I/P-VOPよりも発生ビット量が少なくなる
ように符号化されるため、Be1の復号画像の画質は劣化
する可能性が高い。さらに、Be1の復号画像の画質が劣
化する場合には、そのBe1を参照画像として用いるBe2の
復号画像の画質も劣化する可能性が高い。即ち、図45
に示した場合では、上位レイヤにおいて、P-VOPである
Pe3が表示される前に表示されるB-VOPの画質は劣化す
る可能性が高い。
減)するために、例えば、図45に示した、空間スケー
ラビリティを実現するピクチャストラクチャについて
は、その符号化/復号順序と参照関係を、例えば、図4
9に示すようにすることができる。
符号化/復号した場合には、上位レイヤにおいて、下位
レイヤのI-VOPの表示時刻と同時刻に表示されるP-VOP
が、下位レイヤのI-VOPの直後に符号化/復号される。
まず最初に、下位レイヤの最初に表示されるI-VOPであ
るIb3が符号化/復号される。そして、下位レイヤのIb3
と同時刻に表示される上位レイヤのP-VOPであるPe3が、
直前に符号化/復号されたIb 3を参照画像として用いて
符号化/復号される。
画像として用いて、下位レイヤのBb1が符号化/復号さ
れる。次に、上位レイヤのBe1が符号化/復号される
が、この上位レイヤのBe1の符号化/復号には、下位レ
イヤのBb1だけでなく、上位レイヤのPe1も、参照画像と
して用いられる。これは、MPEG4では、空間スケーラブ
ル符号化におけるB-VOPについては、前方予測(forward
prediction)につき、「most recent decoded enhance
ment VOP of the same layer」を参照画像として用いる
ことが定められているためであり、図49における場
合、「most recent decoded enhancement VOP of the s
ame layer」は、Pe3であるからである。
位レイヤのBb2が、同じく下位レイヤのIb3を参照画像
として符号化/復号され、その後、上位レイヤのBe1お
よび下位レイヤのBb2を参照画像として用いて、上位レ
イヤのBe2が符号化/復号される。続いて、下位レイヤ
のPb6が符号化/復号化され、以下、図45における場
合と同様にして、下位レイヤのBb4、上位レイヤのBe4、
下位レイヤのBb5、上位レイヤのBe5、下位レイヤの
Pb9、下位レイヤのBb7、上位レイヤのBe7、下位レイヤ
のBb8、上位レイヤのBe8,Be9の順で符号化/復号され
る。
化/復号した場合には、上位レイヤにおいて、下位レイ
ヤのI-VOPの表示時刻と同時刻に表示されるP-VOPを、下
位レイヤのI-VOPの直後に符号化/復号するようにする
ことで、上位レイヤにおいては、そのP-VOPを参照画像
として、最初に表示されるB-VOPが符号化/復号される
ことになるので(図49では、Pe3を参照画像として、
Be1が符号化/復号されることになるので)、上位レイ
ヤにおいて、P-VOPの前に表示されるB-VOPの画質の劣化
を防止することが可能となる。
ーダには、図49に示した参照関係や符号化/復号順序
以外の参照関係や符号化/復号順序に基づいて、符号化
/復号を行わせることが可能である。即ち、参照関係や
符号化/復号順序は、図49に示したものに限定される
ものではない。
G4のref_select_codeで規定される参照関係を満たす
ものである。また、空間スケーラブル符号化を行う場合
に、図49に示した順序で符号化/復号を行う手法は、
GOVの有無にかかわらず適用可能である。
って符号化/復号を行う場合には、その符号化/復号順
序は、上述した場合と異なる順序とすることが可能であ
る。即ち、例えば、下位レイヤのすべてのVOPを符号化
/復号した後に、上位レイヤのVOPの符号化/復号を行
うようにすることなどが可能である。但し、図49で
は、上位レイヤのVOPの符号化/復号のための参照画像
として、下位レイヤのVOPを用いているため、この場
合、上位レイヤのVOPの符号化/復号のための参照画像
として用いる下位レイヤのVOPを、その上位レイヤのVOP
の符号化/復号が終了するまで、長時間、保持すること
が必要となることがある。そのような長時間の保持を避
けるためには、図49で説明したような符号化/復号順
序を採用するのが望ましい。なお、このことは、図45
に示した場合についても、同様である。
なランダムアクセスが妨げられることを防止するため
に、図39乃至図42で説明したように、下位レイヤの
GOVの最初に表示されるVOPの表示時刻と同時刻ま
たはその直後に表示される上位レイヤのVOPが、上位
レイヤのGOVの最初に表示されるものとなるように、
上位レイヤを、GOVに分けるようにした。
は、GOVの中で最初に表示されるVOPの表示時刻を秒精度
で設定するようにしたため、下位レイヤのGOVの最初
に表示されるVOPの表示時刻の直後に表示される上位
レイヤのVOPが、上位レイヤのGOVの最初に表示さ
れるものとなるように、上位レイヤのGOVを構成した
場合には、下位レイヤのGOVのtime_codeに設定され
る値(秒精度先頭表示時刻)と、その下位レイヤのGO
Vに対応する上位レイヤのGOVのtime_codeに設定さ
れる値とが一致しないことがある。
化を行う場合の、下位レイヤおよび上位レイヤの構成例
を示している。
を、最初に表示されるVOPとして、GOVを構成した場
合、上位レイヤについては、下位レイヤのGOVの最初
に表示されるBb2の表示時刻の直後に表示される上位レ
イヤのVOPであるBe3が最初に表示されるVOPとなる
ように、上位レイヤのGOPが構成される。この場合、
下位レイヤで構成されるGOVのGOVヘッダのtime_code
には、そのGOVの中で最初に表示されるBb2の表示時刻が
秒精度で設定される。同様に、上位レイヤで構成される
GOVのGOVヘッダのtime_codeには、そのGOVの中で最
初に表示されるBe3の表示時刻が秒精度で設定される。
h:12m:33sから01h:12m:34sの間の時刻であり、Be3の表
示時刻は、01h:12m:34sから01h:12m:35sの間の時刻であ
るから、下位レイヤで構成されるGOVのGOVヘッダのt
ime_codeには、01h:12m:33sが設定され、上位レイヤで
構成されるGOVのGOVヘッダのtime_codeには、01h:12
m:34sが設定される。従って、下位レイヤのGOVのtim
e_codeに設定される値と、その下位レイヤのGOVに対
応する上位レイヤのGOVのtime_codeに設定される値
とは一致しない。
のtime_codeに設定される値と、その下位レイヤのGO
Vに対応する上位レイヤのGOVのtime_codeに設定さ
れる値とが一致しない場合には、符号化ビットストリー
ムにランダムアクセスする際に、下位レイヤと上位レイ
ヤとにおいて、異なる秒精度の時刻(time_codeによっ
て示される同期点)を基準に、VOPの表示時刻を計算し
なければならないことになる。
には、その上位レイヤに対応する下位レイヤのGOVの
time_codeに設定される値と同一の値を設定するように
することができる。
様の時間的スケーラブル符号化を行う場合の、下位レイ
ヤおよび上位レイヤの構成例を示している。
合と同様に、下位レイヤのBb2を、最初に表示されるVO
Pとして、GOVを構成した場合、上位レイヤについて
は、下位レイヤのGOVの最初に表示されるBb2の表示
時刻の直後に表示される上位レイヤのVOPであるBe3
が最初に表示されるVOPとなるように、上位レイヤのG
OPが構成される。
るGOVのGOVヘッダのtime_codeには、図50における
場合と同様に、そのGOVの中で最初に表示されるBb2の表
示時刻を秒精度で設定する。従って、下位レイヤで構成
されるGOVのGOVヘッダのtime_codeには、01h:12m:33
sが設定される。
Vヘッダのtime_codeには、その上位レイヤのGOVに対
応する下位レイヤのGOVのtime_codeに設定される値
と同一の値を設定する。従って、下位レイヤで構成され
るGOVのGOVヘッダのtime_codeにも、01h:12m:33sが
設定される。
ダムアクセスする際に、下位レイヤと上位レイヤとにお
いて、異なる秒精度の時刻(time_codeによって示され
る同期点)を基準に、VOPの表示時刻を計算しなければ
ならなくなることを防止することができる。即ち、下位
レイヤと上位レイヤとにおいて、常に、同一の秒精度の
時刻(time_codeによって示される同期点)を基準に、V
OPの表示時刻を計算することが可能となる。
Vヘッダのtime_codeに、その上位レイヤのGOVに対応
する下位レイヤのGOVのtime_codeに設定される値と
同一の値を設定する場合も、上位レイヤで構成されるG
OVのGOVヘッダのtime_codeに、そのGOVの中で最初に
表示されるVOPの表示時刻を秒精度で設定する場合と同
様にして、図1のエンコーダでは、modulo_time_baseお
よびVOP_time_incrementを求めることができ、また、図
13のデコーダでは、そのmodulo_time_baseおよびVOP_
time_increment、並びにtime_codeを用いて、VOPの表示
時刻を求めることができる。
ーダは、それ専用のハードウェアによって実現すること
もできるし、コンピュータに、上述したような処理を行
わせるためのプログラムを実行させることによっても実
現することができる。
図13のデコーダとして機能するコンピュータの一実施
の形態の構成例を示している。
えば、ブートプログラムなどを記憶している。CPU
(Central Processing Unit)202は、例えば、HD
(HardDisk)206に記憶されたプログラムを、RAM
(Read Only Memory)203上に展開して実行すること
で、各種の処理を行うようになされている。RAM20
3は、CPU202が実行するプログラムや、CPU2
02の処理上必要なデータを一時記憶するようになされ
ている。入力部204は、例えば、キーボードやマウス
などでなり、必要なコマンドやデータを入力するときな
どに操作される。出力部205は、例えば、ディスプレ
イなどでなり、CPU202の制御にしたがったデータ
を表示する。HD206は、CPU202が実行すべき
プログラム、さらには、エンコード対象の画像データ
や、エンコード後のデータ(符号化ビットストリー
ム)、デコード後の画像データなどを記憶するようにな
されている。通信I/F(Interface)207は、外部
との通信を制御することにより、例えば、エンコード対
象の画像データを、外部から受信したり、また、エンコ
ード後の符号化ビットストリームを外部に送信したりす
るようになされている。また、通信I/F207は、外
部でエンコードされた符号化ビットストリームを受信し
たり、また、デコード後の画像データを、外部に送信す
るようにもなされている。
PU202に、上述したような処理を行うためのプログ
ラムを実行させることにより、このコンピュータは、図
1に示したエンコーダや、図13に示したデコーダとし
て機能することになる。
準拠した範囲に限られるものではない。
化方法によれば、画像を構成するオブジェクトのシーケ
ンスが下位階層である第1の階層と、上位階層である第
2の階層に階層化され、オブジェクトのシーケンスの第
1または第2の階層が、1以上のグループに分けられて
それぞれ符号化される。さらに、第1または第2の階層
のグループに、その最初に表示されるオブジェクトの表
示時刻を秒精度で表す秒精度先頭表示時刻がそれぞれ含
められ、第1または第2の階層のオブジェクトそれぞれ
に、秒精度先頭表示時刻を基準とする、そのオブジェク
トの表示時刻の秒精度を表す秒精度相対時刻情報が付加
される。そして、第2の階層のオブジェクトに秒精度相
対時刻情報が付加される際に、表示順で隣接するオブジ
ェクトどうしの表示時刻の差に基づいて、第2の階層の
オブジェクトに付加される秒精度相対時刻情報がリセッ
トされる。従って、符号化効率の劣化を防止することが
可能となる。
によれば、画像を構成するオブジェクトのシーケンスを
下位階層である第1の階層と、上位階層である第2の階
層に階層化し、オブジェクトのシーケンスの第1または
第2の階層を、1以上のグループに分けてそれぞれ符号
化し、第1または第2の階層のグループに、その最初に
表示されるオブジェクトの表示時刻を秒精度で表す秒精
度先頭表示時刻をそれぞれ含め、第1または第2の階層
のオブジェクトそれぞれに、秒精度先頭表示時刻を基準
とする、そのオブジェクトの表示時刻の秒精度を表す秒
精度相対時刻情報を付加し、第2の階層のオブジェクト
に秒精度相対時刻情報を付加する際に、表示順で隣接す
るオブジェクトどうしの表示時刻の差に基づいて、第2
の階層のオブジェクトに付加する秒精度相対時刻情報を
リセットすることにより得られる符号化ビットストリー
ムが受信されて復号される。従って、符号化効率の劣化
を防止された符号化ビットストリームを復号することが
できる。
るオブジェクトのシーケンスを下位階層である第1の階
層と、上位階層である第2の階層に階層化し、オブジェ
クトのシーケンスの第1または第2の階層を、1以上の
グループに分けてそれぞれ符号化し、第1または第2の
階層のグループに、その最初に表示されるオブジェクト
の表示時刻を秒精度で表す秒精度先頭表示時刻をそれぞ
れ含め、第1または第2の階層のオブジェクトそれぞれ
に、秒精度先頭表示時刻を基準とする、そのオブジェク
トの表示時刻の秒精度を表す秒精度相対時刻情報を付加
し、第2の階層のオブジェクトに秒精度相対時刻情報を
付加する際に、表示順で隣接するオブジェクトどうしの
表示時刻の差に基づいて、第2の階層のオブジェクトに
付加する秒精度相対時刻情報をリセットすることにより
得られる符号化ビットストリームが記録されている。従
って、符号化効率の劣化の防止された符号化ビットスト
リームを提供することができる。
構成例を示すブロック図である。
ことを説明するための図である。
すブロック図である。
る。
る。
る。
る。
の決定方法を説明するための図である。
ブロック図である。
すブロック図である。
ある。
ある。
構成例を示すブロック図である。
構成例を示すブロック図である。
すブロック図である。
すブロック図である。
ion10.0)における符号化ビットストリームの構成を示す
図である。
crementの関係を示す図である。
crementの関係を示す図である。
構成した状態を示す図である。
構成した状態を示す図である。
と対応付けて構成した状態を示す図である。
と対応付けて構成した状態を示す図である。
と対応付けて構成する場合の、図9のVLC器36の処
理を説明するためのフローチャートである。
と対応付けて構成する場合の、図10のVLC器36の
処理を説明するためのフローチャートである。
と下位レイヤのピクチャストラクチャの例を示す図であ
る。
を説明するための図である。
る方法を説明するための図である。
る処理を説明するための図である。
序と参照関係を説明するための図である。
致しない状態を示す図である。
致させる方法を説明するための図である。
の他の実施の形態の構成例を示すブロック図である。
ク図である。
図である。
乃至3N VOP符号化部, 4 多重化部, 21
画像階層化部, 23 上位レイヤ符号化部,24 解
像度変換部, 25 下位レイヤ符号化部, 26 多
重化部, 31フレームメモリ, 32 動きベクトル
検出器, 33 演算器, 34 DCT器, 35
量子化器, 36 VLC器, 38 逆量子化器,
39IDCT器, 40 演算器, 41 フレームメ
モリ, 42 動き補償器,53 フレームメモリ,
71 逆多重化部, 721乃至72N VOP復号部,
73 画像再構成部, 91 逆多重化部, 93
上位レイヤ復号部,94 解像度変換部, 95 下位
レイヤ復号部, 102 IVLC器,103 逆量子
化器, 104 IDCT器, 105 演算器, 1
06 フレームメモリ, 107 動き補償器, 11
2 フレームメモリ, 201ROM, 202 CP
U, 203 RAM, 204 入力部, 205出
力部, 206 HD, 207 通信I/F
Claims (5)
- 【請求項1】 画像を符号化し、その結果得られる符号
化ビットストリームを出力する画像符号化装置であっ
て、 前記画像を構成するオブジェクトのシーケンスを下位階
層である第1の階層と、上位階層である第2の階層に階
層化する階層化手段と、 前記階層化手段が出力する、前記オブジェクトのシーケ
ンスの第1または第2の階層を、1以上のグループに分
けてそれぞれ符号化し、前記第1または第2の階層のグ
ループに、その最初に表示されるオブジェクトの表示時
刻を秒精度で表す秒精度先頭表示時刻をそれぞれ含める
符号化手段と、 前記第1または第2の階層のオブジェクトそれぞれに、
前記秒精度先頭表示時刻を基準とする、そのオブジェク
トの表示時刻の秒精度を表す秒精度相対時刻情報を付加
する付加手段と を備え、 前記付加手段は、前記第2の階
層のオブジェクトに前記秒精度相対時刻情報を付加する
際に、表示順で隣接するオブジェクトどうしの表示時刻
の差に基づいて、前記第2の階層のオブジェクトに付加
する前記秒精度相対時刻情報をリセットする ことを特徴
とする画像符号化装置。 - 【請求項2】 画像を符号化し、その結果得られる符号
化ビットストリームを出力する画像符号化方法であっ
て、 前記画像を構成するオブジェクトのシーケンスを下位階
層である第1の階層と、上位階層である第2の階層に階
層化する階層化ステップと、 前記オブジェクトのシーケンスの第1または第2の階層
を、1以上のグループに分けてそれぞれ符号化し、前記
第1または第2の階層のグループに、その最初に表示さ
れるオブジェクトの表示時刻を秒精度で表す秒精度先頭
表示時刻をそれぞれ含める符号化ステップと、 前記第1または第2の階層のオブジェクトそれぞれに、
前記秒精度先頭表示時刻を基準とする、そのオブジェク
トの表示時刻の秒精度を表す秒精度相対時刻情報を付加
する付加ステップと を備え、 前記付加ステップにおいて、 前記第2の階層のオブジェ
クトに前記秒精度相対時刻情報を付加する際に、表示順
で隣接するオブジェクトどうしの表示時刻の差に基づい
て、前記第2の階層のオブジェクトに付加する前記秒精
度相対時刻情報をリセットすることを特徴とする画像符
号化方法。 - 【請求項3】 画像を復号する画像復号装置であって、 前記画像を構成するオブジェクトのシーケンスを下位階
層である第1の階層と、上位階層である第2の階層に階
層化し、 前記オブジェクトのシーケンスの第1または第2の階層
を、1以上のグループに分けてそれぞれ符号化し、前記
第1または第2の階層のグループに、その最初に表示さ
れるオブジェクトの表示時刻を秒精度で表す秒精度先頭
表示時刻をそれぞれ含め、 前記第1または第2の階層のオブジェクトそれぞれに、
前記秒精度先頭表示時刻を基準とする、そのオブジェク
トの表示時刻の秒精度を表す秒精度相対時刻情報を付加
し、 前記第2の階層のオブジェクトに前記秒精度相対時刻情
報を付加する際に、表示順で隣接するオブジェクトどう
しの表示時刻の差に基づいて、前記第2の階層のオブジ
ェクトに付加する前記秒精度相対時刻情報をリセットす
る ことにより得られる符号化ビットストリームを受信す
る受信手段と、 前記符号化ビットストリームを復号する復号手段とを備
えることを特徴とする画像復号装置。 - 【請求項4】 画像を復号する画像復号方法であって、 前記画像を構成するオブジェクトのシーケンスを下位階
層である第1の階層と、上位階層である第2の階層に階
層化し、 前記オブジェクトのシーケンスの第1または第2の階層
を、1以上のグループに分けてそれぞれ符号化し、前記
第1または第2の階層のグループに、その最初に表示さ
れるオブジェクトの表示時刻を秒精度で表す秒精度先頭
表示時刻をそれぞれ含め、 前記第1または第2の階層のオブジェクトそれぞれに、
前記秒精度先頭表示時刻を基準とする、そのオブジェク
トの表示時刻の秒精度を表す秒精度相対時刻情報を付加
し、 前記第2の階層のオブジェクトに前記秒精度相対時刻情
報を付加する際に、表示順で隣接するオブジェクトどう
しの表示時刻の差に基づいて、前記第2の階層のオブジ
ェクトに付加する前記秒精度相対時刻情報をリセットす
る ことにより得られる符号化ビットストリームを受信
し、 前記符号化ビットストリームを復号することを特徴とす
る画像復号方法。 - 【請求項5】 画像を符号化して得られる符号化ビット
ストリームが記録されている記録媒体であって、 前記画像を構成するオブジェクトのシーケンスを下位階
層である第1の階層と、上位階層である第2の階層に階
層化し、 前記オブジェクトのシーケンスの第1または第2の階層
を、1以上のグループに分けてそれぞれ符号化し、前記
第1または第2の階層のグループに、その最初に表示さ
れるオブジェクトの表示時刻を秒精度で表す秒精度先頭
表示時刻をそれぞれ含め、 前記第1または第2の階層のオブジェクトそれぞれに、
前記秒精度先頭表示時刻を基準とする、そのオブジェク
トの表示時刻の秒精度を表す秒精度相対時刻情報を付加
し、 前記第2の階層のオブジェクトに前記秒精度相対時刻情
報を付加する際に、表示順で隣接するオブジェクトどう
しの表示時刻の差に基づいて、前記第2の階層のオブジ
ェクトに付加する前記秒精度相対時刻情報をリセットす
る ことにより得られる符号化ビットストリームが記録さ
れていることを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000194005A JP3345887B2 (ja) | 1998-06-19 | 2000-06-28 | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000194005A JP3345887B2 (ja) | 1998-06-19 | 2000-06-28 | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17349998A Division JP2000013790A (ja) | 1998-06-19 | 1998-06-19 | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001045481A JP2001045481A (ja) | 2001-02-16 |
JP3345887B2 true JP3345887B2 (ja) | 2002-11-18 |
Family
ID=18692902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000194005A Expired - Fee Related JP3345887B2 (ja) | 1998-06-19 | 2000-06-28 | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3345887B2 (ja) |
-
2000
- 2000-06-28 JP JP2000194005A patent/JP3345887B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001045481A (ja) | 2001-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100629092B1 (ko) | 화상 인코딩 장치와 방법, 화상 디코딩 장치와 방법, 및 제공 매체 | |
JP3380983B2 (ja) | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体 | |
JP3263807B2 (ja) | 画像符号化装置および画像符号化方法 | |
JP3413720B2 (ja) | 画像符号化方法及び装置、並びに画像復号方法及び装置 | |
JP3413721B2 (ja) | 画像符号化方法及び装置、並びに画像復号方法及び装置 | |
JP3344577B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録方法 | |
JP3345887B2 (ja) | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体 | |
JP3380980B2 (ja) | 画像符号化方法、並びに画像復号方法および画像復号装置 | |
JP2001054120A (ja) | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体 | |
JP3380981B2 (ja) | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体 | |
JP3263812B2 (ja) | 画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法 | |
JP2001045496A (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体および記録方法 | |
JP2001061145A (ja) | 画像符号化装置および画像符号化方法、並びに画像復号装置および画像復号方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020805 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080906 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090906 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090906 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100906 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110906 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120906 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130906 Year of fee payment: 11 |
|
LAPS | Cancellation because of no payment of annual fees |