JPH1141558A - 画像信号復号化装置および画像信号復号化方法、並びに伝送媒体 - Google Patents
画像信号復号化装置および画像信号復号化方法、並びに伝送媒体Info
- Publication number
- JPH1141558A JPH1141558A JP18950197A JP18950197A JPH1141558A JP H1141558 A JPH1141558 A JP H1141558A JP 18950197 A JP18950197 A JP 18950197A JP 18950197 A JP18950197 A JP 18950197A JP H1141558 A JPH1141558 A JP H1141558A
- Authority
- JP
- Japan
- Prior art keywords
- image
- circuit
- upper layer
- decoding
- lower layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 構成を簡略化し、低コスト化を図る。
【解決手段】 演算回路25より出力した画像のうち、
オブジェクトの外側の画素を、可変長復号化回路22で
検出した置換モード(fill_mode)に対応して置換す
る。画素を置換した画像を、予測画像生成のために、フ
レームメモリ群26に供給し、記憶させるとともに、後
段のVOP再構成回路に出力し、下位レイヤ復号化回路で
復号化された下位レイヤの画像信号と選択して出力させ
る。
オブジェクトの外側の画素を、可変長復号化回路22で
検出した置換モード(fill_mode)に対応して置換す
る。画素を置換した画像を、予測画像生成のために、フ
レームメモリ群26に供給し、記憶させるとともに、後
段のVOP再構成回路に出力し、下位レイヤ復号化回路で
復号化された下位レイヤの画像信号と選択して出力させ
る。
Description
【0001】
【発明の属する技術分野】本発明は、動画像信号を、例
えば光磁気ディスクや磁気テープなどの記録媒体に記録
し、これを再生してディスプレイに表示したり、テレビ
会議システム、テレビ電話システム、放送用機器、マル
チメディアデータベース検索システムなど、動画像信号
を伝送路を介して送信側から受信側に伝送し、受信側に
おいてこれを受信し、表示する場合、あるいは動画像信
号を編集し、記録する場合などに用いて好適な画像信号
復号化装置および画像信号復号化方法、並びに伝送媒体
に関する。
えば光磁気ディスクや磁気テープなどの記録媒体に記録
し、これを再生してディスプレイに表示したり、テレビ
会議システム、テレビ電話システム、放送用機器、マル
チメディアデータベース検索システムなど、動画像信号
を伝送路を介して送信側から受信側に伝送し、受信側に
おいてこれを受信し、表示する場合、あるいは動画像信
号を編集し、記録する場合などに用いて好適な画像信号
復号化装置および画像信号復号化方法、並びに伝送媒体
に関する。
【0002】
【従来の技術】例えば、テレビ会議システム、テレビ電
話システムなどのように、動画像信号を遠隔地に伝送す
るシステムにおいては、伝送路を効率良く利用するた
め、映像信号のライン相関やフレーム間相関を利用し
て、画像信号を圧縮符号化するようになされている。
話システムなどのように、動画像信号を遠隔地に伝送す
るシステムにおいては、伝送路を効率良く利用するた
め、映像信号のライン相関やフレーム間相関を利用し
て、画像信号を圧縮符号化するようになされている。
【0003】動画像の高能率符号化方式の代表的なもの
としてMPEG(Moving Picture Experts Group)(蓄積用動
画像符号化)方式がある。これはISO-IEC/JTC1/SC2/WG11
にて議論され、標準案として提案されたものであり、動
き補償予測符号化とDCT(Discrete Cosine Transform)
符号化を組み合わせたハイブリッド方式が採用されてい
る。
としてMPEG(Moving Picture Experts Group)(蓄積用動
画像符号化)方式がある。これはISO-IEC/JTC1/SC2/WG11
にて議論され、標準案として提案されたものであり、動
き補償予測符号化とDCT(Discrete Cosine Transform)
符号化を組み合わせたハイブリッド方式が採用されてい
る。
【0004】MPEGでは様々なアプリケーションや機能に
対応するために、いくつかのプロファイル(機能の分
類)およびレベル(画像サイズなどの量)が定義されて
いる。最も基本となるのが、メインプロファイルのメイ
ンレベル(MP@ML)である。
対応するために、いくつかのプロファイル(機能の分
類)およびレベル(画像サイズなどの量)が定義されて
いる。最も基本となるのが、メインプロファイルのメイ
ンレベル(MP@ML)である。
【0005】図38を参照して、MPEG方式の MP@ML の
エンコーダ(画像信号符号化装置)の構成例について説
明する。入力画像信号はまずフレームメモリ群1に入力
され、所定の順番で記憶される。符号化されるべき画像
データは、マクロブロック単位で動きベクトル検出回路
(ME)2に入力される。動きベクトル検出回路2は、予め
設定されている所定のシーケンスに従って、各フレーム
の画像データを、Iピクチャ、Pピクチャ、またはBピ
クチャとして処理する。シーケンシャルに入力される各
フレームの画像を、I,P,Bのいずれのピクチャとし
て処理するかは、予め定められている(例えば、I,
B,P,B,P,・・・B,Pの順番で処理される)。
エンコーダ(画像信号符号化装置)の構成例について説
明する。入力画像信号はまずフレームメモリ群1に入力
され、所定の順番で記憶される。符号化されるべき画像
データは、マクロブロック単位で動きベクトル検出回路
(ME)2に入力される。動きベクトル検出回路2は、予め
設定されている所定のシーケンスに従って、各フレーム
の画像データを、Iピクチャ、Pピクチャ、またはBピ
クチャとして処理する。シーケンシャルに入力される各
フレームの画像を、I,P,Bのいずれのピクチャとし
て処理するかは、予め定められている(例えば、I,
B,P,B,P,・・・B,Pの順番で処理される)。
【0006】動きベクトル検出回路2は予め定められた
所定の参照フレームを参照し、動き補償を行い、その動
きベクトルを検出する。動き補償(フレーム間予測)に
は、前方予測、後方予測、両方向予測の3種類の予測モ
ードがある。Pピクチャの予測モードは前方予測のみで
あり、Bピクチャの予測モードには前方予測、後方予
測、両方向予測の3種類がある。動きベクトル検出回路
2は予測誤差を最小にする予測モードを選択し、そのと
きの予測ベクトルを発生する。
所定の参照フレームを参照し、動き補償を行い、その動
きベクトルを検出する。動き補償(フレーム間予測)に
は、前方予測、後方予測、両方向予測の3種類の予測モ
ードがある。Pピクチャの予測モードは前方予測のみで
あり、Bピクチャの予測モードには前方予測、後方予
測、両方向予測の3種類がある。動きベクトル検出回路
2は予測誤差を最小にする予測モードを選択し、そのと
きの予測ベクトルを発生する。
【0007】このとき、予測誤差は、例えば、符号化す
るマクロブロックの分散と比較され、マクロブロックの
分散の方が小さい場合、そのマクロブロックでは予測は
行わず、フレーム内符号化が行われる。この場合、予測
モードは画像内予測(イントラ)となる。動きベクトル
検出回路2で検出された動きベクトルおよび上記予測モ
ードは、可変長符号化回路6および動き補償回路(MC)1
2に入力される。
るマクロブロックの分散と比較され、マクロブロックの
分散の方が小さい場合、そのマクロブロックでは予測は
行わず、フレーム内符号化が行われる。この場合、予測
モードは画像内予測(イントラ)となる。動きベクトル
検出回路2で検出された動きベクトルおよび上記予測モ
ードは、可変長符号化回路6および動き補償回路(MC)1
2に入力される。
【0008】動き補償回路12では所定の動きベクトル
に基づいて予測画像を生成し、演算回路3と演算回路1
0に入力する。演算回路3では符号化するマクロブロッ
クの値と予測画像の値の差分信号を演算し、 DCT 回路
4に出力する。イントラマクロブロックの場合、演算回
路3は符号化するマクロブロックの信号を、そのままDC
T 回路4に出力する。
に基づいて予測画像を生成し、演算回路3と演算回路1
0に入力する。演算回路3では符号化するマクロブロッ
クの値と予測画像の値の差分信号を演算し、 DCT 回路
4に出力する。イントラマクロブロックの場合、演算回
路3は符号化するマクロブロックの信号を、そのままDC
T 回路4に出力する。
【0009】DCT 回路4は、入力された信号を DCT(離
散コサイン変換)処理し、 DCT 係数に変換する。このD
CT係数は、量子化回路(Q)5に入力され、送信バッファ
7のデータ蓄積量(バッファ蓄積量)に対応した量子化
ステップで量子化された後、可変長符号化回路6に入力
される。
散コサイン変換)処理し、 DCT 係数に変換する。このD
CT係数は、量子化回路(Q)5に入力され、送信バッファ
7のデータ蓄積量(バッファ蓄積量)に対応した量子化
ステップで量子化された後、可変長符号化回路6に入力
される。
【0010】可変長符号化回路6は、量子化回路5より
供給される量子化ステップ(スケール)に対応して、量
子化回路5より供給される画像データを、例えばハフマ
ン符号などの可変長符号に変換し、送信バッファ7に出
力する。
供給される量子化ステップ(スケール)に対応して、量
子化回路5より供給される画像データを、例えばハフマ
ン符号などの可変長符号に変換し、送信バッファ7に出
力する。
【0011】可変長符号化回路6にはまた、量子化回路
5より量子化ステップ(スケール)、動きベクトル検出
回路2より予測モード(画像内予測、前方予測、後方予
測、または両方向予測のいずれが設定されたかを示すモ
ード)および動きベクトル、が入力されており、これら
も可変長符号化される。
5より量子化ステップ(スケール)、動きベクトル検出
回路2より予測モード(画像内予測、前方予測、後方予
測、または両方向予測のいずれが設定されたかを示すモ
ード)および動きベクトル、が入力されており、これら
も可変長符号化される。
【0012】送信バッファ7は、入力されたデータを一
時蓄積し、蓄積量に対応する量子化制御信号を量子化回
路5に出力する。
時蓄積し、蓄積量に対応する量子化制御信号を量子化回
路5に出力する。
【0013】送信バッファ7は、そのデータ残量が許容
上限値まで増量すると、量子化制御信号によって量子化
回路5の量子化スケールを大きくすることにより、量子
化データのデータ量を低下させる。また、これとは逆
に、データ残量が許容下限値まで減少すると、送信バッ
ファ7は、量子化制御信号によって量子化回路5の量子
化スケールを小さくすることにより、量子化データのデ
ータ量を増大させる。このようにして、送信バッファ7
のオーバフローまたはアンダフローが防止される。
上限値まで増量すると、量子化制御信号によって量子化
回路5の量子化スケールを大きくすることにより、量子
化データのデータ量を低下させる。また、これとは逆
に、データ残量が許容下限値まで減少すると、送信バッ
ファ7は、量子化制御信号によって量子化回路5の量子
化スケールを小さくすることにより、量子化データのデ
ータ量を増大させる。このようにして、送信バッファ7
のオーバフローまたはアンダフローが防止される。
【0014】そして、送信バッファ7に蓄積されたデー
タは、所定のタイミングで読み出され、伝送路に出力さ
れる。
タは、所定のタイミングで読み出され、伝送路に出力さ
れる。
【0015】一方、量子化回路5より出力されたデータ
は、逆量子化回路(IQ)8に入力され、量子化回路5より
供給される量子化ステップに対応して逆量子化される。
逆量子化回路8の出力は、IDCT(逆DCT)回路9に入力
され、逆DCT処理された後、演算回路10を介してフレ
ームメモリ群(FM)11に記憶される。
は、逆量子化回路(IQ)8に入力され、量子化回路5より
供給される量子化ステップに対応して逆量子化される。
逆量子化回路8の出力は、IDCT(逆DCT)回路9に入力
され、逆DCT処理された後、演算回路10を介してフレ
ームメモリ群(FM)11に記憶される。
【0016】次に、図39を用いて、MPEG の MP@ML の
デコーダ(画像信号復号化装置)の構成例を説明する。
伝送路を介して伝送されてきた、符号化されている画像
データは、図示せぬ受信回路で受信されたり、再生装置
で再生され、受信バッファ21に一時記憶された後、可
変長復号化(IVLC)回路22に供給される。可変長復号化
回路22は、受信バッファ21より供給されたデータを
可変長復号化し、動きベクトルと予測モードを動き補償
回路27に、また、量子化ステップを逆量子化回路23
に、それぞれ出力するとともに、復号化した画像データ
を逆量子化回路23に出力する。
デコーダ(画像信号復号化装置)の構成例を説明する。
伝送路を介して伝送されてきた、符号化されている画像
データは、図示せぬ受信回路で受信されたり、再生装置
で再生され、受信バッファ21に一時記憶された後、可
変長復号化(IVLC)回路22に供給される。可変長復号化
回路22は、受信バッファ21より供給されたデータを
可変長復号化し、動きベクトルと予測モードを動き補償
回路27に、また、量子化ステップを逆量子化回路23
に、それぞれ出力するとともに、復号化した画像データ
を逆量子化回路23に出力する。
【0017】逆量子化回路23は、可変長復号化回路2
2より供給された画像データを、同じく可変長復号化回
路22より供給された量子化ステップに従って逆量子化
し、IDCT回路24に出力する。逆量子化回路23より出
力されたデータ(DCT係数)は、IDCT回路24で、逆DCT
処理され、演算回路25に供給される。
2より供給された画像データを、同じく可変長復号化回
路22より供給された量子化ステップに従って逆量子化
し、IDCT回路24に出力する。逆量子化回路23より出
力されたデータ(DCT係数)は、IDCT回路24で、逆DCT
処理され、演算回路25に供給される。
【0018】IDCT回路24より供給された画像データ
が、Iピクチャのデータである場合、そのデータは演算
回路25より出力され、演算回路25に後に入力される
画像データ(PまたはBピクチャのデータ)の予測画像
データ生成のために、フレームメモリ群26に供給され
て記憶される。また、このデータは、そのまま、再生画
像として外部に出力される。
が、Iピクチャのデータである場合、そのデータは演算
回路25より出力され、演算回路25に後に入力される
画像データ(PまたはBピクチャのデータ)の予測画像
データ生成のために、フレームメモリ群26に供給され
て記憶される。また、このデータは、そのまま、再生画
像として外部に出力される。
【0019】入力ビットストリームがPまたはBピクチ
ャの場合、動き補償回路27は可変長復号化回路22よ
り供給される、動きベクトルおよび予測モードに従っ
て、フレームメモリ群26に記憶されている画像データ
から予測画像を生成し、演算回路25に出力する。演算
回路25では IDCT 回路24より入力される画像データ
と動き補償回路27より供給される予測画像データを加
算し、出力画像とする。Pピクチャの場合、演算回路2
5の出力はまた、フレームメモリ群26に入力され、記
憶され、次に復号化する画像信号の参照画像とされる。
ャの場合、動き補償回路27は可変長復号化回路22よ
り供給される、動きベクトルおよび予測モードに従っ
て、フレームメモリ群26に記憶されている画像データ
から予測画像を生成し、演算回路25に出力する。演算
回路25では IDCT 回路24より入力される画像データ
と動き補償回路27より供給される予測画像データを加
算し、出力画像とする。Pピクチャの場合、演算回路2
5の出力はまた、フレームメモリ群26に入力され、記
憶され、次に復号化する画像信号の参照画像とされる。
【0020】MPEG では MP@ML の他に、様々なプロファ
イルおよびレベルが定義され、また各種ツールが用意さ
れている。スケーラビリティもMPEGのこのようなツール
の1つである。
イルおよびレベルが定義され、また各種ツールが用意さ
れている。スケーラビリティもMPEGのこのようなツール
の1つである。
【0021】MPEGでは、異なる画像サイズやフレームレ
ートに対応するスケーラビリティを実現するスケーラブ
ル符号化方式が導入されている。例えば空間スケーラビ
リティの場合、下位レイヤのビットストリームのみを復
号化するとき、画像サイズの小さい画像信号を復号化
し、下位レイヤおよび上位レイヤのビットストリームを
復号化するとき、画像サイズの大きい画像信号を復号化
する。
ートに対応するスケーラビリティを実現するスケーラブ
ル符号化方式が導入されている。例えば空間スケーラビ
リティの場合、下位レイヤのビットストリームのみを復
号化するとき、画像サイズの小さい画像信号を復号化
し、下位レイヤおよび上位レイヤのビットストリームを
復号化するとき、画像サイズの大きい画像信号を復号化
する。
【0022】図40を用いて空間スケーラビリティのエ
ンコーダを説明する。空間スケーラビリティの場合、下
位レイヤは画像サイズの小さい画像信号に対応し、また
上位レイヤは画像サイズの大きい画像信号に対応する。
ンコーダを説明する。空間スケーラビリティの場合、下
位レイヤは画像サイズの小さい画像信号に対応し、また
上位レイヤは画像サイズの大きい画像信号に対応する。
【0023】下位レイヤの画像信号はまずフレームメモ
リ群1に入力され、以下、MP@ML の場合と同様に符号化
される。ただし、演算回路10の出力はフレームメモリ
群11に供給され、下位レイヤの予測参照画像として用
いられるだけでなく、画像拡大回路(Up Sampling)3
1により上位レイヤの画像サイズと同一の画像サイズに
拡大された後、上位レイヤの予測参照画像にも用いられ
る。
リ群1に入力され、以下、MP@ML の場合と同様に符号化
される。ただし、演算回路10の出力はフレームメモリ
群11に供給され、下位レイヤの予測参照画像として用
いられるだけでなく、画像拡大回路(Up Sampling)3
1により上位レイヤの画像サイズと同一の画像サイズに
拡大された後、上位レイヤの予測参照画像にも用いられ
る。
【0024】上位レイヤの画像信号はまず、フレームメ
モリ群51に入力される。動きベクトル検出回路52は
MP@ML の場合と同様に、動きベクトルおよび予測モー
ドを決定する。
モリ群51に入力される。動きベクトル検出回路52は
MP@ML の場合と同様に、動きベクトルおよび予測モー
ドを決定する。
【0025】動き補償回路62は動きベクトル検出回路
52によって決定された動きベクトルおよび予測モード
に従って、予測画像を生成し、重み付加回路(W)34に
出力する。重み付加回路34では予測画像に対して重み
Wを乗算し、演算回路33に出力する。
52によって決定された動きベクトルおよび予測モード
に従って、予測画像を生成し、重み付加回路(W)34に
出力する。重み付加回路34では予測画像に対して重み
Wを乗算し、演算回路33に出力する。
【0026】演算回路10の出力は画像拡大回路31に
入力されている。画像拡大回路31では演算回路10に
よって生成された画像信号を拡大し、上位レイヤの画像
サイズと同一の大きさにして、重み付加回路(1-W)32
に出力する。重み付加回路32では、画像拡大回路31
の出力に重み (1-W) を乗算し、演算回路33に出力す
る。
入力されている。画像拡大回路31では演算回路10に
よって生成された画像信号を拡大し、上位レイヤの画像
サイズと同一の大きさにして、重み付加回路(1-W)32
に出力する。重み付加回路32では、画像拡大回路31
の出力に重み (1-W) を乗算し、演算回路33に出力す
る。
【0027】演算回路33は重み付加回路32および3
4の出力を加算し、予測画像として演算回路53に出力
する。演算回路33の出力はまた、演算回路60に入力
され、逆 DCT 回路59の出力と加算された後、フレー
ムメモリ群61に入力され、その後、符号化される画像
信号の予測参照フレームとして用いられる。
4の出力を加算し、予測画像として演算回路53に出力
する。演算回路33の出力はまた、演算回路60に入力
され、逆 DCT 回路59の出力と加算された後、フレー
ムメモリ群61に入力され、その後、符号化される画像
信号の予測参照フレームとして用いられる。
【0028】演算回路53は符号化する画像信号と演算
回路33の出力との差分を計算し、出力する。ただし、
フレーム内符号化マクロブロックの場合、演算回路53
は符号化する画像信号を、そのまま DCT 回路54に出
力する。
回路33の出力との差分を計算し、出力する。ただし、
フレーム内符号化マクロブロックの場合、演算回路53
は符号化する画像信号を、そのまま DCT 回路54に出
力する。
【0029】DCT 回路54は演算回路53の出力を DCT
(離散コサイン変換)処理してDCT係数を生成し、量子
化回路55に出力する。量子化回路55では MP@ML の
場合と同様に、送信バッファ57のデータ蓄積量などか
ら決定された量子化スケールにしたがって DCT 係数を
量子化し、可変長符号化回路56に出力する。可変長符
号化回路56は量子化された DCT 係数を可変長符号化
した後、送信バッファ57を介して上位レイヤのビット
ストリームとして出力する。
(離散コサイン変換)処理してDCT係数を生成し、量子
化回路55に出力する。量子化回路55では MP@ML の
場合と同様に、送信バッファ57のデータ蓄積量などか
ら決定された量子化スケールにしたがって DCT 係数を
量子化し、可変長符号化回路56に出力する。可変長符
号化回路56は量子化された DCT 係数を可変長符号化
した後、送信バッファ57を介して上位レイヤのビット
ストリームとして出力する。
【0030】量子化回路55の出力はまた、量子化回路
55で用いた量子化スケールで逆量子化回路58におい
て逆量子化され、逆 DCT 回路59で逆 DCT 処理された
後、演算回路60に入力される。演算回路60では演算
回路33と逆 DCT 回路59の出力を加算し、フレーム
メモリ群61に入力する。
55で用いた量子化スケールで逆量子化回路58におい
て逆量子化され、逆 DCT 回路59で逆 DCT 処理された
後、演算回路60に入力される。演算回路60では演算
回路33と逆 DCT 回路59の出力を加算し、フレーム
メモリ群61に入力する。
【0031】可変長符号化回路56にはまた、動きベク
トル検出回路52で検出された動きベクトルおよび予測
モード、量子化回路55で用いた量子化スケール、重み
付加回路32および34で用いた重み W が入力され、
それぞれが符号化され、伝送される。
トル検出回路52で検出された動きベクトルおよび予測
モード、量子化回路55で用いた量子化スケール、重み
付加回路32および34で用いた重み W が入力され、
それぞれが符号化され、伝送される。
【0032】次に図41を用いて空間スケーラビリティ
のデコーダの一例を説明する。下位レイヤのビットスト
リームは受信バッファ21に入力された後、MP@ML と
同様に復号化される。ただし、演算回路25の出力は外
部に出力されるとともに、フレームメモリ群26に蓄え
られて、それ以後、復号化する画像信号の予測参照画像
として用いられるだけでなく、画像信号拡大回路81に
より上位レイヤの画像信号と同一の画像サイズに拡大さ
れた後、上位レイヤの予測参照画像としても用いられ
る。
のデコーダの一例を説明する。下位レイヤのビットスト
リームは受信バッファ21に入力された後、MP@ML と
同様に復号化される。ただし、演算回路25の出力は外
部に出力されるとともに、フレームメモリ群26に蓄え
られて、それ以後、復号化する画像信号の予測参照画像
として用いられるだけでなく、画像信号拡大回路81に
より上位レイヤの画像信号と同一の画像サイズに拡大さ
れた後、上位レイヤの予測参照画像としても用いられ
る。
【0033】上位レイヤのビットストリームは受信バッ
ファ71を介し可変長復号化回路72に供給され、可変
長符号が復号化される。すなわち、DCT 係数とともに、
量子化スケール、動きベクトル、予測モードおよび重み
係数が復号化される。可変長復号化回路72により復号
化された DCT 係数は、復号化された量子化スケールを
用いて逆量子化回路73において逆量子化された後、逆
DCT 回路74により逆DCT 処理され、さらに、演算回
路75に供給される。
ファ71を介し可変長復号化回路72に供給され、可変
長符号が復号化される。すなわち、DCT 係数とともに、
量子化スケール、動きベクトル、予測モードおよび重み
係数が復号化される。可変長復号化回路72により復号
化された DCT 係数は、復号化された量子化スケールを
用いて逆量子化回路73において逆量子化された後、逆
DCT 回路74により逆DCT 処理され、さらに、演算回
路75に供給される。
【0034】動き補償回路77は復号化された動きベク
トルおよび予測モードにしたがって、予測画像を生成
し、重み付加回路84に入力する。重み付加回路84で
は復号化された重み W を動き補償回路77の出力に乗
算し、演算回路83に出力する。
トルおよび予測モードにしたがって、予測画像を生成
し、重み付加回路84に入力する。重み付加回路84で
は復号化された重み W を動き補償回路77の出力に乗
算し、演算回路83に出力する。
【0035】演算回路25の出力は下位レイヤ再生画像
として出力され、フレームメモリ群26に出力されると
同時に、画像信号拡大回路81により上位レイヤの画像
サイズと同一の画像サイズに拡大された後、重み付加回
路82に出力される。重み付加回路82では画像信号拡
大回路81の出力に、復号化された重み W を用いて(1-
W) を乗算し、演算回路83に出力する。
として出力され、フレームメモリ群26に出力されると
同時に、画像信号拡大回路81により上位レイヤの画像
サイズと同一の画像サイズに拡大された後、重み付加回
路82に出力される。重み付加回路82では画像信号拡
大回路81の出力に、復号化された重み W を用いて(1-
W) を乗算し、演算回路83に出力する。
【0036】演算回路83は、重み付加回路82および
84の出力を加算し、演算回路75に出力する。演算回
路75は、逆 DCT 回路74の出力と演算回路83の出
力を加算して、上位レイヤの再生画像として出力すると
ともに、フレームメモリ群76に供給して、その後、復
号化する画像信号の予測参照画像とさせる。
84の出力を加算し、演算回路75に出力する。演算回
路75は、逆 DCT 回路74の出力と演算回路83の出
力を加算して、上位レイヤの再生画像として出力すると
ともに、フレームメモリ群76に供給して、その後、復
号化する画像信号の予測参照画像とさせる。
【0037】演算回路25と演算回路75より出力され
る各レイヤの出力画像は、VOP再構成回路350に入力
される。VOP再構成回路350は、例えば図42に示す
ように構成されている。
る各レイヤの出力画像は、VOP再構成回路350に入力
される。VOP再構成回路350は、例えば図42に示す
ように構成されている。
【0038】図42において、各レイヤに入力された画
像は、解像度変換回路351,352により、必要に応
じ、倍率FR1,FR2にしたがって解像度の変換が行われる
(但し、この例の場合、FR1=1である)。それら出力
画像は、フレームメモリ群353,354に入力され
る。これらのフレームメモリ群354,355に入力さ
れた画像は、後段のスイッチ355−1,355−2に
より画素単位またはフレーム単位に各レイヤを切り替え
ながら出力される。
像は、解像度変換回路351,352により、必要に応
じ、倍率FR1,FR2にしたがって解像度の変換が行われる
(但し、この例の場合、FR1=1である)。それら出力
画像は、フレームメモリ群353,354に入力され
る。これらのフレームメモリ群354,355に入力さ
れた画像は、後段のスイッチ355−1,355−2に
より画素単位またはフレーム単位に各レイヤを切り替え
ながら出力される。
【0039】以上の説明は、輝度信号の処理に適用され
るが、色差信号の処理も同様に行われる。但し、この場
合、動きベクトルは、輝度信号用のものを、垂直方向お
よび水平方向に1/2にしたものが用いられる。
るが、色差信号の処理も同様に行われる。但し、この場
合、動きベクトルは、輝度信号用のものを、垂直方向お
よび水平方向に1/2にしたものが用いられる。
【0040】以上、MPEG 方式について説明したが、こ
の他にも様々な動画像の高能率符号化方式が標準化され
ている。例えば、ITU-T では、主に通信用の符号化方式
として、H.261 や H.263 という方式を規定している。
この H.261 や H.263 も、基本的には、 MPEG 方式と同
様に、動き補償予測符号化と DCT 変換符号化を組み合
わせたものであり、ヘッダ情報などの詳細は異なるが、
符号化装置や復号化装置は同様の構成となる。
の他にも様々な動画像の高能率符号化方式が標準化され
ている。例えば、ITU-T では、主に通信用の符号化方式
として、H.261 や H.263 という方式を規定している。
この H.261 や H.263 も、基本的には、 MPEG 方式と同
様に、動き補償予測符号化と DCT 変換符号化を組み合
わせたものであり、ヘッダ情報などの詳細は異なるが、
符号化装置や復号化装置は同様の構成となる。
【0041】ところで、複数の画像を合成して1つの画
像を構成する画像合成システムには、例えばクロマキー
という方法が用いられる。これは所定の物体を青などの
特定の一様な色の背景の前で撮影し、青以外の領域をそ
こから抽出し、別の画像に合成する方法である。このと
き、抽出した領域を示す信号を key(キー)信号と呼
ぶ。
像を構成する画像合成システムには、例えばクロマキー
という方法が用いられる。これは所定の物体を青などの
特定の一様な色の背景の前で撮影し、青以外の領域をそ
こから抽出し、別の画像に合成する方法である。このと
き、抽出した領域を示す信号を key(キー)信号と呼
ぶ。
【0042】図43に合成画像を符号化する方法を示
す。画像F1は背景であり、また画像F2は前景である。
前景F2は特定の色の背景の前で撮影し、その色以外の
領域を抽出することによって生成した画像である。その
際、抽出した領域を示す信号がkey 信号 K1 である。
合成画像 F3 はこれら F1,F2,K1 を用いて合成し
たものである。この画像を符号化する場合、通常、合成
画像F3をそのまま、MPEGなどの符号化方式で符号化す
ることになる。このとき key 信号などの情報は失われ
るので、前景F2はそのままとし、背景F1のみを変更す
る、といった画像の再編集、再合成は困難となる。
す。画像F1は背景であり、また画像F2は前景である。
前景F2は特定の色の背景の前で撮影し、その色以外の
領域を抽出することによって生成した画像である。その
際、抽出した領域を示す信号がkey 信号 K1 である。
合成画像 F3 はこれら F1,F2,K1 を用いて合成し
たものである。この画像を符号化する場合、通常、合成
画像F3をそのまま、MPEGなどの符号化方式で符号化す
ることになる。このとき key 信号などの情報は失われ
るので、前景F2はそのままとし、背景F1のみを変更す
る、といった画像の再編集、再合成は困難となる。
【0043】これに対して、図44に示すように、画像
F1,F2および key 信号 K1をそれぞれ別々に符号化
し、それぞれのビットストリームを多重化することによ
り、合成画像F3のビットストリームを構成することも
可能である。
F1,F2および key 信号 K1をそれぞれ別々に符号化
し、それぞれのビットストリームを多重化することによ
り、合成画像F3のビットストリームを構成することも
可能である。
【0044】図44に示すようにして構成したビットス
トリームを復号化して合成画像F3を得る方法を図45
に示す。ビットストリームは逆多重化により、F1,F2
およびK1のビットストリームに分解され、それぞれ復
号化し、復号画像F1’,F2’および復号 key 信号 K
1’を得る。このとき、F1’とF2’を key 信号 K
1’に従って合成すれば、復号合成画像 F3’を得るこ
とができる。この場合、ビットストリームのままで、前
景F2をそのままにして、背景F1のみを変更するといっ
た、再編集および再合成が可能となる。
トリームを復号化して合成画像F3を得る方法を図45
に示す。ビットストリームは逆多重化により、F1,F2
およびK1のビットストリームに分解され、それぞれ復
号化し、復号画像F1’,F2’および復号 key 信号 K
1’を得る。このとき、F1’とF2’を key 信号 K
1’に従って合成すれば、復号合成画像 F3’を得るこ
とができる。この場合、ビットストリームのままで、前
景F2をそのままにして、背景F1のみを変更するといっ
た、再編集および再合成が可能となる。
【0045】画像F1,F2といった合成画像を構成する
各画像シーケンスを VO (VideoObject) と呼ぶ。また V
O のある時刻における画像フレームを VOP(VideoObjec
t Plane)と呼ぶ。VOPは輝度および色差信号と key 信
号から構成される。
各画像シーケンスを VO (VideoObject) と呼ぶ。また V
O のある時刻における画像フレームを VOP(VideoObjec
t Plane)と呼ぶ。VOPは輝度および色差信号と key 信
号から構成される。
【0046】画像フレームとはある時刻における一枚の
画像を意味し、画像シーケンスは異なる時刻の画像フレ
ームの集合である。即ち、各 VO は異なる時刻の VOP
の集合である。各 VO は時間によって大きさや位置が異
なる。即ち、同じ VO に属する VOP でも大きさおよび
位置が異なる。
画像を意味し、画像シーケンスは異なる時刻の画像フレ
ームの集合である。即ち、各 VO は異なる時刻の VOP
の集合である。各 VO は時間によって大きさや位置が異
なる。即ち、同じ VO に属する VOP でも大きさおよび
位置が異なる。
【0047】この場合のエンコーダおよびデコーダの構
成を図46と図47に示す。図46はエンコーダの一例
である。入力画像信号はまず VO 構成回路101に入力
される。VO 構成回路101は入力画像を物体ごとに分
割して出力する。各 VO は画像信号と key 信号から構
成される。VO 構成回路101から出力される画像信号
は、各 VO ごとに VOP 構成回路102−0乃至102
−nに出力される。例えば、VO 0の画像信号および ke
y 信号は VOP 構成回路102−0に入力され、VO 1の
画像信号および key 信号は VOP 構成回路102−1に
入力され、以下同様に VO n の画像信号および key 信
号は VOP 構成回路102−nに入力される。
成を図46と図47に示す。図46はエンコーダの一例
である。入力画像信号はまず VO 構成回路101に入力
される。VO 構成回路101は入力画像を物体ごとに分
割して出力する。各 VO は画像信号と key 信号から構
成される。VO 構成回路101から出力される画像信号
は、各 VO ごとに VOP 構成回路102−0乃至102
−nに出力される。例えば、VO 0の画像信号および ke
y 信号は VOP 構成回路102−0に入力され、VO 1の
画像信号および key 信号は VOP 構成回路102−1に
入力され、以下同様に VO n の画像信号および key 信
号は VOP 構成回路102−nに入力される。
【0048】例えば図44のようにクロマキーで生成さ
れた画像信号の場合、VO構成回路101より出力される
VO 0 乃至VO n の画像信号とkey信号は、そのまま各 V
O の画像信号およびその key 信号となる。key 信号が
ないか、または、失われた画像に対しては、画像領域分
割により、所定の領域を抽出し、key 信号を生成し、VO
を構成する。
れた画像信号の場合、VO構成回路101より出力される
VO 0 乃至VO n の画像信号とkey信号は、そのまま各 V
O の画像信号およびその key 信号となる。key 信号が
ないか、または、失われた画像に対しては、画像領域分
割により、所定の領域を抽出し、key 信号を生成し、VO
を構成する。
【0049】VOP 構成回路102−0乃至102−nは
各画像フレームから画像中の物体を含む最小の長方形の
部分を抽出する。ただし、このとき長方形の水平および
垂直方向の画素数は16の倍数とする。VOP 構成回路1
02−0乃至102−nは上記長方形に含まれる画像信
号(輝度および色差信号)および key 信号を抽出し、
出力する。また VOP の大きさを示すフラグVOP sizeお
よびその VOP の絶対座標における位置を示すフラグVOP
offsetを出力する。
各画像フレームから画像中の物体を含む最小の長方形の
部分を抽出する。ただし、このとき長方形の水平および
垂直方向の画素数は16の倍数とする。VOP 構成回路1
02−0乃至102−nは上記長方形に含まれる画像信
号(輝度および色差信号)および key 信号を抽出し、
出力する。また VOP の大きさを示すフラグVOP sizeお
よびその VOP の絶対座標における位置を示すフラグVOP
offsetを出力する。
【0050】VOP 構成回路102−O乃至102−nの
出力は、それぞれ VOP 符号化回路103−0乃至10
3−nに入力され、符号化される。VOP 符号化回路10
3−0乃至103−nの出力は多重化回路104に入力
され、1つのビットストリームに構成される。
出力は、それぞれ VOP 符号化回路103−0乃至10
3−nに入力され、符号化される。VOP 符号化回路10
3−0乃至103−nの出力は多重化回路104に入力
され、1つのビットストリームに構成される。
【0051】図47のデコーダにおいて、多重化された
ビットストリームは逆多重化回路111により逆多重化
され、各 VOのビットストリームに分解される。各VO の
ビットストリームは、それぞれ、 VOP復号化回路112
−0乃至112−nに入力され、復号化される。VOP 復
号化回路112−0乃至112−nは、各 VOP の画像
信号、key 信号、VOP の大きさを示すフラグ、VOP の絶
対座標における位置を示すフラグを復号化し、画像再構
成回路113に入力する。画像再構成回路113は、各
VOP の画像信号、key 信号、大きさを示すフラグ、絶対
座標における位置を示すフラグを用い、画像を合成し、
再生画像として出力する。
ビットストリームは逆多重化回路111により逆多重化
され、各 VOのビットストリームに分解される。各VO の
ビットストリームは、それぞれ、 VOP復号化回路112
−0乃至112−nに入力され、復号化される。VOP 復
号化回路112−0乃至112−nは、各 VOP の画像
信号、key 信号、VOP の大きさを示すフラグ、VOP の絶
対座標における位置を示すフラグを復号化し、画像再構
成回路113に入力する。画像再構成回路113は、各
VOP の画像信号、key 信号、大きさを示すフラグ、絶対
座標における位置を示すフラグを用い、画像を合成し、
再生画像として出力する。
【0052】次に図48と図49を用いて VOP 符号化
回路103−0および復号化回路112−0の構成例を
説明する。図48において、各 VOP を構成する画像信
号および key 信号は、画像信号符号化回路121およ
び key 信号符号化回路122にそれぞれ入力される。
画像信号符号化回路121は例えばMPEG方式やH.263 と
いった方式で画像信号を符号化する。key 信号符号化回
路122は入力されたkey信号を、例えば DPCMなどによ
り符号化する。また画像信号符号化回路121によって
検出された動きベクトルを用いてkey信号の動き補償を
行い、その差分信号を符号化する方法もある。key 信号
符号化によって発生したビット量は画像信号符号化装置
121に入力され、所定のビットレートになるように制
御される。
回路103−0および復号化回路112−0の構成例を
説明する。図48において、各 VOP を構成する画像信
号および key 信号は、画像信号符号化回路121およ
び key 信号符号化回路122にそれぞれ入力される。
画像信号符号化回路121は例えばMPEG方式やH.263 と
いった方式で画像信号を符号化する。key 信号符号化回
路122は入力されたkey信号を、例えば DPCMなどによ
り符号化する。また画像信号符号化回路121によって
検出された動きベクトルを用いてkey信号の動き補償を
行い、その差分信号を符号化する方法もある。key 信号
符号化によって発生したビット量は画像信号符号化装置
121に入力され、所定のビットレートになるように制
御される。
【0053】符号化された画像信号(動きベクトルおよ
びテクスチャ情報)のビットストリームおよび key 信
号のビットストリームは、多重化回路123に入力さ
れ、1つのビットストリームに構成され、送信バッファ
124を介して出力される。
びテクスチャ情報)のビットストリームおよび key 信
号のビットストリームは、多重化回路123に入力さ
れ、1つのビットストリームに構成され、送信バッファ
124を介して出力される。
【0054】図49のVOP復号化回路においては、ビッ
トストリームはまず、逆多重化回路131に入力され、
画像信号(動きベクトルおよびテクスチャ情報)のビッ
トストリームと key 信号のビットストリームに分解さ
れ、画像信号復号化回路132とkey 信号復号化回路1
33においてそれぞれ復号化される。この時 key 信号
を動き補償して符号化した場合、画像信号複合化回路1
32によって復号化された動きベクトルは key 信号復
号化回路133に入力され、復号化に用いられる。
トストリームはまず、逆多重化回路131に入力され、
画像信号(動きベクトルおよびテクスチャ情報)のビッ
トストリームと key 信号のビットストリームに分解さ
れ、画像信号復号化回路132とkey 信号復号化回路1
33においてそれぞれ復号化される。この時 key 信号
を動き補償して符号化した場合、画像信号複合化回路1
32によって復号化された動きベクトルは key 信号復
号化回路133に入力され、復号化に用いられる。
【0055】以上、画像をVOPごとに符号化する方法を
述べたが、こうした方式は、現在、ISO-IEC/JTC1/SC29/
WG11 において、 MPEG4 として標準化作業が進められて
いる段階である。しかし、こういった方法は各VOPを効
率よく符号化する方法が確立しておらず、未解決な問題
となっている。また、スケーラビリティといった各種機
能も実現できていない。
述べたが、こうした方式は、現在、ISO-IEC/JTC1/SC29/
WG11 において、 MPEG4 として標準化作業が進められて
いる段階である。しかし、こういった方法は各VOPを効
率よく符号化する方法が確立しておらず、未解決な問題
となっている。また、スケーラビリティといった各種機
能も実現できていない。
【0056】さらに、未解決な問題の1つに、動き補償
の問題がある。VO は時間によって大きさや位置が異な
る。即ち、同じ VO に属する VOP でも大きさおよび位
置が異なる。従って、動き補償など異なる時刻のVOPを
参照する場合、その位置および大きさを示すフラグを符
号化し、伝送することが必要となる。これを図50を用
いて説明する。
の問題がある。VO は時間によって大きさや位置が異な
る。即ち、同じ VO に属する VOP でも大きさおよび位
置が異なる。従って、動き補償など異なる時刻のVOPを
参照する場合、その位置および大きさを示すフラグを符
号化し、伝送することが必要となる。これを図50を用
いて説明する。
【0057】画像F11は、所定の VideoObject VO0 の
時刻 t における VOP である。また画像F12は VideoO
bject VO1 の同時刻 t における VOP である。F11,F
12ともに大きさが異なる。F11,F12の絶対座標に
おける位置を示す座標をそれぞれOST0,OST1とする。
時刻 t における VOP である。また画像F12は VideoO
bject VO1 の同時刻 t における VOP である。F11,F
12ともに大きさが異なる。F11,F12の絶対座標に
おける位置を示す座標をそれぞれOST0,OST1とする。
【0058】符号化するVOPおよび、参照するVOPを絶対
座標上に配置し、絶対座標における参照位置を動きベク
トルとして伝送することにより、動き補償を実現するこ
とが可能となる。
座標上に配置し、絶対座標における参照位置を動きベク
トルとして伝送することにより、動き補償を実現するこ
とが可能となる。
【0059】ここで、MPEG4における動き補償の方法に
ついて説明する。ただし、VM(Verification Model)4
における方式である。また以下は画像の形状が任意形状
(arbitrary shape)の場合のみの説明である。VOPの形
状が長方形の場合、その動き補償の方法は、H.263など
の既存の方式と同様となる。
ついて説明する。ただし、VM(Verification Model)4
における方式である。また以下は画像の形状が任意形状
(arbitrary shape)の場合のみの説明である。VOPの形
状が長方形の場合、その動き補償の方法は、H.263など
の既存の方式と同様となる。
【0060】図51は現在の符号化するVOPを示す。VOP
はその画像オブジェクトを含む長方形をしており、縦横
の大きさはそれぞれ16の倍数である。ただし、この
時、この VOP は、オブジェクトを含む最小の長方形と
する。このVOPを符号化する場合、16×16画素のマ
クロブロック単位で符号化および動き補償が行われる。
ただし、8×8画素でマクロブロックが構成され、動き
補償が行なわれる場合もある。
はその画像オブジェクトを含む長方形をしており、縦横
の大きさはそれぞれ16の倍数である。ただし、この
時、この VOP は、オブジェクトを含む最小の長方形と
する。このVOPを符号化する場合、16×16画素のマ
クロブロック単位で符号化および動き補償が行われる。
ただし、8×8画素でマクロブロックが構成され、動き
補償が行なわれる場合もある。
【0061】図52は参照するVOPを示す。このVOPはま
ず、絶対座標における位置を示すフラグおよび大きさを
示すフラグに従って、フレームメモリの所定の位置に記
録される。任意形状のVOPの場合、画像が存在する領域
と存在しない領域が存在する。動きベクトル検出を行う
際に、このことが問題となる。
ず、絶対座標における位置を示すフラグおよび大きさを
示すフラグに従って、フレームメモリの所定の位置に記
録される。任意形状のVOPの場合、画像が存在する領域
と存在しない領域が存在する。動きベクトル検出を行う
際に、このことが問題となる。
【0062】まず参照VOPにおける処理について説明す
る。参照VOPが任意形状のVOPであった場合は以下に示す
手順で、画像が存在しない領域の画素値が、画像が存在
する領域の画像信号に基づいて計算される。
る。参照VOPが任意形状のVOPであった場合は以下に示す
手順で、画像が存在しない領域の画素値が、画像が存在
する領域の画像信号に基づいて計算される。
【0063】(1) 最初に、画像オブジェクトの外
側、即ち、画像が存在しない領域の画素値を0とする。 (2) VOPを水平方向にスキャンしていく。このとき、
各VOPの水平方向のラインは、値が全て0の部分と、値
が全て0以外の部分に分類される。画素値が全て0以外
の部分については何も操作を行わない。それ以外の部分
は、その両端が0以外の画素値である場合と、その一方
がVOPの終端であり、かつ、他方は0以外の画素値であ
る場合とに分類できる。その両端が0以外の画素値の部
分の場合、そのライン部分の画素値は全て、その両端の
画素値の平均値に置き換えられる。それ以外の場合、そ
のライン部分の画素値は全て、一端に存在する0以外の
画素値に置き換えられる。 (3) (2)と同様の操作を垂直方向のラインについ
ても行う。 (4) (2)と(3)の両方の操作において値を置き
換える画素についてはその平均値を用いる。 (5) (4)までの操作終了時に0である画素は、水
平方向および垂直方向にスキャンし、最も近くに存在す
る非ゼロの画素値と置き換える。最も近い画素値が2つ
存在する場合、その平均値に置き換えられる。
側、即ち、画像が存在しない領域の画素値を0とする。 (2) VOPを水平方向にスキャンしていく。このとき、
各VOPの水平方向のラインは、値が全て0の部分と、値
が全て0以外の部分に分類される。画素値が全て0以外
の部分については何も操作を行わない。それ以外の部分
は、その両端が0以外の画素値である場合と、その一方
がVOPの終端であり、かつ、他方は0以外の画素値であ
る場合とに分類できる。その両端が0以外の画素値の部
分の場合、そのライン部分の画素値は全て、その両端の
画素値の平均値に置き換えられる。それ以外の場合、そ
のライン部分の画素値は全て、一端に存在する0以外の
画素値に置き換えられる。 (3) (2)と同様の操作を垂直方向のラインについ
ても行う。 (4) (2)と(3)の両方の操作において値を置き
換える画素についてはその平均値を用いる。 (5) (4)までの操作終了時に0である画素は、水
平方向および垂直方向にスキャンし、最も近くに存在す
る非ゼロの画素値と置き換える。最も近い画素値が2つ
存在する場合、その平均値に置き換えられる。
【0064】動きベクトルを検出する場合は、まず参照
VOPにおける画像の存在しない領域の画素値を上記の手
法により、非ゼロの値に設定する。次に、符号化するマ
クロブロックについて、参照画像との予測誤差を計算
し、予測誤差を最小とするベクトルを動きベクトルとす
る。この場合、符号化するVOPの形状が任意形状である
ときと、符号化するマクロブロックに画像が存在しない
領域があるときがある。マクロブロック中の画像が存在
しない画素については予測誤差の計算に含めない。即
ち、画像が存在する画素のみを用いて予測誤差を計算す
る。
VOPにおける画像の存在しない領域の画素値を上記の手
法により、非ゼロの値に設定する。次に、符号化するマ
クロブロックについて、参照画像との予測誤差を計算
し、予測誤差を最小とするベクトルを動きベクトルとす
る。この場合、符号化するVOPの形状が任意形状である
ときと、符号化するマクロブロックに画像が存在しない
領域があるときがある。マクロブロック中の画像が存在
しない画素については予測誤差の計算に含めない。即
ち、画像が存在する画素のみを用いて予測誤差を計算す
る。
【0065】VOP内の各画素について画像が存在するか
どうかは、そのkey信号を参照することにより認識可能
である。即ち、key信号の値が0である画素は画像が存
在しない画素であり、それ以外の場合は画像が存在する
画素である。
どうかは、そのkey信号を参照することにより認識可能
である。即ち、key信号の値が0である画素は画像が存
在しない画素であり、それ以外の場合は画像が存在する
画素である。
【0066】MPEG4のVM(Verification Model)におい
ては、上記手法により動きベクトルを検出する。しか
し、上記手法による動きベクトルの検出方法が最適であ
る訳ではなく、さらなる効率改善が望まれている。また
上記手法は演算量が多いため、さらに簡易的に演算を行
う方法が望まれている。
ては、上記手法により動きベクトルを検出する。しか
し、上記手法による動きベクトルの検出方法が最適であ
る訳ではなく、さらなる効率改善が望まれている。また
上記手法は演算量が多いため、さらに簡易的に演算を行
う方法が望まれている。
【0067】
【発明が解決しようとする課題】そこで、本出願人は、
例えば特願平8−312807号として、上位レイヤの
画像物体の外側の画素を、下位レイヤの所定の画素と置
換して、参照画像を生成し、この参照画像を用いて、予
測誤差を生成することを先に提案した。
例えば特願平8−312807号として、上位レイヤの
画像物体の外側の画素を、下位レイヤの所定の画素と置
換して、参照画像を生成し、この参照画像を用いて、予
測誤差を生成することを先に提案した。
【0068】しかしながら、先の提案においては、図4
2に示すように、VOP再構成回路350を構成するの
に、解像度変換回路とフレームメモリ群が必要となり、
構成が複雑となり、コスト高となる課題があった。
2に示すように、VOP再構成回路350を構成するの
に、解像度変換回路とフレームメモリ群が必要となり、
構成が複雑となり、コスト高となる課題があった。
【0069】本発明はこのような状況に鑑みてなされた
ものであり、構成を簡略化し、低コスト化を図ることが
できるようにするものである。
ものであり、構成を簡略化し、低コスト化を図ることが
できるようにするものである。
【0070】
【課題を解決するための手段】請求項1に記載の画像信
号復号化装置は、ビットストリームから、上位レイヤの
画像、下位レイヤの画像、動きベクトル、並びに、置換
の方法を表す置換情報を分離する分離手段と、下位レイ
ヤの画像を復号化する下位レイヤ復号化手段と、下位レ
イヤ復号化手段により復号化された画像を記憶する第1
の記憶手段と、上位レイヤの画像を復号化する上位レイ
ヤ復号化手段と、上位レイヤの予測画像を生成するため
の画像を記憶する第2の記憶手段と、動きベクトルを用
いて、第2の記憶手段に記憶されている画像に対して動
き補償を行い、上位レイヤの予測画像を演算する演算手
段と、演算手段により演算された予測画像と、上位レイ
ヤ復号化手段により復号化された画像とを合成する合成
手段と、合成手段により合成された上位レイヤの画像物
体の外側の画素を、置換情報に対応して他の画素と置換
する置換手段と、置換手段の出力と下位レイヤ復号化手
段の出力を選択して出力する出力手段とを備えることを
特徴とする。
号復号化装置は、ビットストリームから、上位レイヤの
画像、下位レイヤの画像、動きベクトル、並びに、置換
の方法を表す置換情報を分離する分離手段と、下位レイ
ヤの画像を復号化する下位レイヤ復号化手段と、下位レ
イヤ復号化手段により復号化された画像を記憶する第1
の記憶手段と、上位レイヤの画像を復号化する上位レイ
ヤ復号化手段と、上位レイヤの予測画像を生成するため
の画像を記憶する第2の記憶手段と、動きベクトルを用
いて、第2の記憶手段に記憶されている画像に対して動
き補償を行い、上位レイヤの予測画像を演算する演算手
段と、演算手段により演算された予測画像と、上位レイ
ヤ復号化手段により復号化された画像とを合成する合成
手段と、合成手段により合成された上位レイヤの画像物
体の外側の画素を、置換情報に対応して他の画素と置換
する置換手段と、置換手段の出力と下位レイヤ復号化手
段の出力を選択して出力する出力手段とを備えることを
特徴とする。
【0071】請求項3に記載の画像信号復号化方法は、
ビットストリームから、上位レイヤの画像、下位レイヤ
の画像、動きベクトル、並びに、置換の方法を表す置換
情報を分離する分離ステップと、下位レイヤの画像を復
号化する下位レイヤ復号化ステップと、下位レイヤ復号
化ステップにより復号化された画像を記憶する第1の記
憶ステップと、上位レイヤの画像を復号化する上位レイ
ヤ復号化ステップと、上位レイヤの予測画像を生成する
ための画像を記憶する第2の記憶ステップと、動きベク
トルを用いて、第2の記憶ステップで記憶された画像に
対して動き補償を行い、上位レイヤの予測画像を演算す
る演算ステップと、演算ステップで演算された予測画像
と、上位レイヤ復号化ステップで復号化された画像とを
合成する合成ステップと、合成ステップで合成された上
位レイヤの画像物体の外側の画素を、置換情報に対応し
て他の画素と置換する置換ステップと、置換ステップで
の出力と下位レイヤ復号化ステップでの出力を選択して
出力する出力ステップとを備えることを特徴とする。
ビットストリームから、上位レイヤの画像、下位レイヤ
の画像、動きベクトル、並びに、置換の方法を表す置換
情報を分離する分離ステップと、下位レイヤの画像を復
号化する下位レイヤ復号化ステップと、下位レイヤ復号
化ステップにより復号化された画像を記憶する第1の記
憶ステップと、上位レイヤの画像を復号化する上位レイ
ヤ復号化ステップと、上位レイヤの予測画像を生成する
ための画像を記憶する第2の記憶ステップと、動きベク
トルを用いて、第2の記憶ステップで記憶された画像に
対して動き補償を行い、上位レイヤの予測画像を演算す
る演算ステップと、演算ステップで演算された予測画像
と、上位レイヤ復号化ステップで復号化された画像とを
合成する合成ステップと、合成ステップで合成された上
位レイヤの画像物体の外側の画素を、置換情報に対応し
て他の画素と置換する置換ステップと、置換ステップで
の出力と下位レイヤ復号化ステップでの出力を選択して
出力する出力ステップとを備えることを特徴とする。
【0072】請求項4に記載の伝送媒体は、ビットスト
リームから、上位レイヤの画像、下位レイヤの画像、動
きベクトル、並びに、置換の方法を表す置換情報を分離
する分離ステップと、下位レイヤの画像を復号化する下
位レイヤ復号化ステップと、下位レイヤ復号化ステップ
により復号化された画像を記憶する第1の記憶ステップ
と、上位レイヤの画像を復号化する上位レイヤ復号化ス
テップと、上位レイヤの予測画像を生成するための画像
を記憶する第2の記憶ステップと、動きベクトルを用い
て、第2の記憶ステップで記憶された画像に対して動き
補償を行い、上位レイヤの予測画像を演算する演算ステ
ップと、演算ステップで演算された予測画像と、上位レ
イヤ復号化ステップで復号化された画像とを合成する合
成ステップと、合成ステップで合成された上位レイヤの
画像物体の外側の画素を、置換情報に対応して他の画素
と置換する置換ステップと、置換ステップでの出力と下
位レイヤ復号化ステップでの出力を選択して出力する出
力ステップとを備えるプログラムを伝送することを特徴
とする。
リームから、上位レイヤの画像、下位レイヤの画像、動
きベクトル、並びに、置換の方法を表す置換情報を分離
する分離ステップと、下位レイヤの画像を復号化する下
位レイヤ復号化ステップと、下位レイヤ復号化ステップ
により復号化された画像を記憶する第1の記憶ステップ
と、上位レイヤの画像を復号化する上位レイヤ復号化ス
テップと、上位レイヤの予測画像を生成するための画像
を記憶する第2の記憶ステップと、動きベクトルを用い
て、第2の記憶ステップで記憶された画像に対して動き
補償を行い、上位レイヤの予測画像を演算する演算ステ
ップと、演算ステップで演算された予測画像と、上位レ
イヤ復号化ステップで復号化された画像とを合成する合
成ステップと、合成ステップで合成された上位レイヤの
画像物体の外側の画素を、置換情報に対応して他の画素
と置換する置換ステップと、置換ステップでの出力と下
位レイヤ復号化ステップでの出力を選択して出力する出
力ステップとを備えるプログラムを伝送することを特徴
とする。
【0073】請求項1に記載の画像信号復号化装置、請
求項3に記載の画像信号復号化方法、および請求項4に
記載の伝送媒体においては、合成された上位レイヤの画
像物体の外側の画素を、置換情報に対応して他の画素と
置換した画像と、復号化された下位レイヤの画像とが、
選択的に出力される。
求項3に記載の画像信号復号化方法、および請求項4に
記載の伝送媒体においては、合成された上位レイヤの画
像物体の外側の画素を、置換情報に対応して他の画素と
置換した画像と、復号化された下位レイヤの画像とが、
選択的に出力される。
【0074】
【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態(但し一例)を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態(但し一例)を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。
【0075】請求項1に記載の画像信号復号化装置は、
ビットストリームから、上位レイヤの画像、下位レイヤ
の画像、動きベクトル、並びに、置換の方法を表す置換
情報を分離する分離手段(例えば図21の逆多重化回路
251)と、下位レイヤの画像を復号化する下位レイヤ
復号化手段(例えば図21の下位レイヤ復号化回路25
4)と、下位レイヤ復号化手段により復号化された画像
を記憶する第1の記憶手段(例えば図23のフレームメ
モリ群273)と、上位レイヤの画像を復号化する上位
レイヤ復号化手段(例えば図23の逆量子化回路23)
と、上位レイヤの予測画像を生成するための画像を記憶
する第2の記憶手段(例えば図23のフレームメモリ群
26)と、動きベクトルを用いて、第2の記憶手段に記
憶されている画像に対して動き補償を行い、上位レイヤ
の予測画像を演算する演算手段(例えば図23の動き補
償回路27)と、演算手段により演算された予測画像
と、上位レイヤ復号化手段により復号化された画像とを
合成する合成手段(例えば図23の演算装置25)と、
合成手段により合成された上位レイヤの画像物体の外側
の画素を、置換情報に対応して他の画素と置換する置換
手段(例えば図23の画素置換回路271)と、置換手
段の出力と下位レイヤ復号化手段の出力を選択して出力
する出力手段(例えば図24のVOP再構成回路300)
とを備えることを特徴とする。
ビットストリームから、上位レイヤの画像、下位レイヤ
の画像、動きベクトル、並びに、置換の方法を表す置換
情報を分離する分離手段(例えば図21の逆多重化回路
251)と、下位レイヤの画像を復号化する下位レイヤ
復号化手段(例えば図21の下位レイヤ復号化回路25
4)と、下位レイヤ復号化手段により復号化された画像
を記憶する第1の記憶手段(例えば図23のフレームメ
モリ群273)と、上位レイヤの画像を復号化する上位
レイヤ復号化手段(例えば図23の逆量子化回路23)
と、上位レイヤの予測画像を生成するための画像を記憶
する第2の記憶手段(例えば図23のフレームメモリ群
26)と、動きベクトルを用いて、第2の記憶手段に記
憶されている画像に対して動き補償を行い、上位レイヤ
の予測画像を演算する演算手段(例えば図23の動き補
償回路27)と、演算手段により演算された予測画像
と、上位レイヤ復号化手段により復号化された画像とを
合成する合成手段(例えば図23の演算装置25)と、
合成手段により合成された上位レイヤの画像物体の外側
の画素を、置換情報に対応して他の画素と置換する置換
手段(例えば図23の画素置換回路271)と、置換手
段の出力と下位レイヤ復号化手段の出力を選択して出力
する出力手段(例えば図24のVOP再構成回路300)
とを備えることを特徴とする。
【0076】VO ごとに符号化する符号化装置において
スケーラブル符号化を実現する場合、各 VO の画像信号
ごとに、例えばMPEG方式などのようなスケーラブル符号
化を行う。VOごとに符号化するスケーラブル符号化にお
いては上位レイヤの画像が下位レイヤの画像の一部であ
ってもよい。例えば、下位レイヤの画像の中で特に重要
な意味を持つ領域だけを画質改善すれば低ビットレート
においては十分であり、また冗長なビットの削減にもつ
ながる。この時は、上位レイヤおよび下位レイヤのビッ
トストリームの両方を復号化することにより、下位レイ
ヤの画像の一部が画質改善される(空間解像度または時
間解像度が改善される)ことになる。
スケーラブル符号化を実現する場合、各 VO の画像信号
ごとに、例えばMPEG方式などのようなスケーラブル符号
化を行う。VOごとに符号化するスケーラブル符号化にお
いては上位レイヤの画像が下位レイヤの画像の一部であ
ってもよい。例えば、下位レイヤの画像の中で特に重要
な意味を持つ領域だけを画質改善すれば低ビットレート
においては十分であり、また冗長なビットの削減にもつ
ながる。この時は、上位レイヤおよび下位レイヤのビッ
トストリームの両方を復号化することにより、下位レイ
ヤの画像の一部が画質改善される(空間解像度または時
間解像度が改善される)ことになる。
【0077】上述したように、上位レイヤが下位レイヤ
の画像の一部の領域である場合、上位レイヤの画像の外
側の部分の情報を下位レイヤの画像が持っていることに
なる。動き補償においても、この情報を活用することに
より、符号化効率の向上を実現することが可能である。
の画像の一部の領域である場合、上位レイヤの画像の外
側の部分の情報を下位レイヤの画像が持っていることに
なる。動き補償においても、この情報を活用することに
より、符号化効率の向上を実現することが可能である。
【0078】すなわち、本発明においては、 (1) 動きベクトル検出および動き補償において上位
レイヤを参照する場合、画素値が0の画素については、
下位レイヤの対応する位置の画素に置き換える処理が行
われる。 (2) 上記、画素値0の置換処理において所定の下位
レイヤの画像信号と置き換えるかどうかを示すフラグが
符号化され、伝送される。 (3) 補間フィルタなどにより任意形状のVOPの画像の
大きさを拡大する場合、画素値の置換処理を行った後
に、拡大処理が行われる。
レイヤを参照する場合、画素値が0の画素については、
下位レイヤの対応する位置の画素に置き換える処理が行
われる。 (2) 上記、画素値0の置換処理において所定の下位
レイヤの画像信号と置き換えるかどうかを示すフラグが
符号化され、伝送される。 (3) 補間フィルタなどにより任意形状のVOPの画像の
大きさを拡大する場合、画素値の置換処理を行った後
に、拡大処理が行われる。
【0079】これにより、画像を VO ごとに符号化する
スケーラブル符号化方法において、時間によって大きさ
や形状が変化する場合においても効率のよい動き補償を
実現し、また演算コストを削減することが可能となる。
さらにこれにより効率のよいスケーラビリティを実現す
ることが可能となる。
スケーラブル符号化方法において、時間によって大きさ
や形状が変化する場合においても効率のよい動き補償を
実現し、また演算コストを削減することが可能となる。
さらにこれにより効率のよいスケーラビリティを実現す
ることが可能となる。
【0080】第1の実施の形態における画像信号符号化
装置を説明する。本実施の形態では図46と図47にお
ける VOP 符号化回路103−0乃至103−nと、 VO
P 復号化回路112−0乃至112−nを、スケーラブ
ル符号化回路とスケーラブル復号化回路とすることで、
ビットストリームスケーラビリティを実現する。
装置を説明する。本実施の形態では図46と図47にお
ける VOP 符号化回路103−0乃至103−nと、 VO
P 復号化回路112−0乃至112−nを、スケーラブ
ル符号化回路とスケーラブル復号化回路とすることで、
ビットストリームスケーラビリティを実現する。
【0081】図1に第1の実施の形態における VOP 符
号化回路103の一例を示す。各 VOPの画像信号および
key 信号、VOP の大きさを示すフラグFSZ、VOP の絶対
座標における位置を示すフラグFPOS、および任意形状だ
った場合に対する形状領域外の置換方法を示すフラグfi
ll_modeは、画像信号階層化回路201に入力される。
画像信号階層化回路201は入力画像信号を複数の階層
に分離する。例えば、空間スケーラビリティの場合、画
像信号階層化回路201は、入力画像信号および key
信号を縮小し、下位レイヤの画像信号および key 信号
を生成する。図1には2階層(1つの下位レイヤと1つ
の上位レイヤ)の場合を示してあるが、同様に、複数の
階層に分離することも可能である。
号化回路103の一例を示す。各 VOPの画像信号および
key 信号、VOP の大きさを示すフラグFSZ、VOP の絶対
座標における位置を示すフラグFPOS、および任意形状だ
った場合に対する形状領域外の置換方法を示すフラグfi
ll_modeは、画像信号階層化回路201に入力される。
画像信号階層化回路201は入力画像信号を複数の階層
に分離する。例えば、空間スケーラビリティの場合、画
像信号階層化回路201は、入力画像信号および key
信号を縮小し、下位レイヤの画像信号および key 信号
を生成する。図1には2階層(1つの下位レイヤと1つ
の上位レイヤ)の場合を示してあるが、同様に、複数の
階層に分離することも可能である。
【0082】また、任意形状だった場合に対する形状領
域外の置換方法を示すフラグfill_modeは、画像信号階
層化回路201に入力する以外に、画像信号階層化回路
201において所定のフラグを参照し設定することも可
能である。
域外の置換方法を示すフラグfill_modeは、画像信号階
層化回路201に入力する以外に、画像信号階層化回路
201において所定のフラグを参照し設定することも可
能である。
【0083】画像信号階層化回路201は、例えばテン
ポラルスケーラビリティ(時間軸方向のスケーラビリテ
ィ)の場合、時刻に応じて画像信号の出力を下位レイヤ
および上位レイヤに切り替える。図2に簡単のために2
階層におけるテンポラルスケーラビリティの例をあげ
る。図2の場合、VOP0、VOP2、VOP4、VOP6を下位レ
イヤに、また、VOP1、VOP3、VOP5を上位レイヤに出
力する。テンポラルスケーラビリティの場合、画像信号
の拡大縮小(解像度の変換)は行わない。
ポラルスケーラビリティ(時間軸方向のスケーラビリテ
ィ)の場合、時刻に応じて画像信号の出力を下位レイヤ
および上位レイヤに切り替える。図2に簡単のために2
階層におけるテンポラルスケーラビリティの例をあげ
る。図2の場合、VOP0、VOP2、VOP4、VOP6を下位レ
イヤに、また、VOP1、VOP3、VOP5を上位レイヤに出
力する。テンポラルスケーラビリティの場合、画像信号
の拡大縮小(解像度の変換)は行わない。
【0084】画像信号階層化回路201は、例えば SNR
(Signal to Noise Ratio) スケーラビリティの場合、入
力された画像信号とkey 信号を、そのまま、各レイヤに
出力する。即ち、下位レイヤと上位レイヤに同一の画像
信号および key 信号を出力する。
(Signal to Noise Ratio) スケーラビリティの場合、入
力された画像信号とkey 信号を、そのまま、各レイヤに
出力する。即ち、下位レイヤと上位レイヤに同一の画像
信号および key 信号を出力する。
【0085】画像信号階層化回路201は、例えば空間
スケーラビリティの場合、入力画像信号およびkey信号
を解像度変換し、下位レイヤに画像信号およびkey信号
を出力する。解像度変換処理とは、例えば、間引きフィ
ルタによる縮小フィルタの処理などである。あるいはま
た、画像信号階層化回路201に、入力画像信号および
key信号を解像度変換させ、上位レイヤに画像信号およ
びkey信号を出力させるようにしてもよい。この場合、
解像度変換処理は拡大フィルタ処理となる。さらにま
た、画像信号階層化回路201には、独立に生成された
2つの画像信号およびkey信号(それぞれの解像度は異
なっていても、または同一であってもよい)を、それぞ
れ、上位レイヤおよび下位レイヤとして出力させるよう
にしてもよい。この場合、どの画像を上位レイヤおよび
下位レイヤに出力するかは、あらかじめ決められてい
る。
スケーラビリティの場合、入力画像信号およびkey信号
を解像度変換し、下位レイヤに画像信号およびkey信号
を出力する。解像度変換処理とは、例えば、間引きフィ
ルタによる縮小フィルタの処理などである。あるいはま
た、画像信号階層化回路201に、入力画像信号および
key信号を解像度変換させ、上位レイヤに画像信号およ
びkey信号を出力させるようにしてもよい。この場合、
解像度変換処理は拡大フィルタ処理となる。さらにま
た、画像信号階層化回路201には、独立に生成された
2つの画像信号およびkey信号(それぞれの解像度は異
なっていても、または同一であってもよい)を、それぞ
れ、上位レイヤおよび下位レイヤとして出力させるよう
にしてもよい。この場合、どの画像を上位レイヤおよび
下位レイヤに出力するかは、あらかじめ決められてい
る。
【0086】次に、VOPごとに符号化するスケーラブル
符号化方法について説明する。VOは時刻ごとに、その大
きさや位置が変化してもよいし、同一でもよい。従っ
て、以下のようなスケーラビリティが考えられる。 (1) 上位レイヤは下位レイヤの全ての領域を含む。 (2) 上位レイヤは下位レイヤの一部の領域に対応す
る。
符号化方法について説明する。VOは時刻ごとに、その大
きさや位置が変化してもよいし、同一でもよい。従っ
て、以下のようなスケーラビリティが考えられる。 (1) 上位レイヤは下位レイヤの全ての領域を含む。 (2) 上位レイヤは下位レイヤの一部の領域に対応す
る。
【0087】(1) の場合、上位レイヤ及び下位レイ
ヤを復号化することにより、下位レイヤの全ての領域が
画質改善される。ただし、画質改善とは時間スケーラビ
リティの場合、時間解像度が改善されることであり、空
間スケーラビリティの場合、空間解像度が改善されるこ
とである。
ヤを復号化することにより、下位レイヤの全ての領域が
画質改善される。ただし、画質改善とは時間スケーラビ
リティの場合、時間解像度が改善されることであり、空
間スケーラビリティの場合、空間解像度が改善されるこ
とである。
【0088】(2) の場合、上位レイヤおよび下位レ
イヤを復号化することにより、対応する下位レイヤの一
部のみが画質改善される。
イヤを復号化することにより、対応する下位レイヤの一
部のみが画質改善される。
【0089】(1)と(2)のいずれの場合も、VOPの
形状は長方形であっても、任意形状であってもよい。図
3は、(1)における空間スケーラビリティでVOPの形
状が長方形である場合の一例を示している。また図4
は、(2)における空間スケーラビリティで、VOPの形
状が長方形である場合の一例を示している。
形状は長方形であっても、任意形状であってもよい。図
3は、(1)における空間スケーラビリティでVOPの形
状が長方形である場合の一例を示している。また図4
は、(2)における空間スケーラビリティで、VOPの形
状が長方形である場合の一例を示している。
【0090】図5と図6は、(1)における空間スケー
ラビリティで、VOPの形状が任意形状である場合の一例
を示している。図7は、(2)における空間スケーラビ
リティでVOPの形状が任意形状である場合の一例を示し
ている。
ラビリティで、VOPの形状が任意形状である場合の一例
を示している。図7は、(2)における空間スケーラビ
リティでVOPの形状が任意形状である場合の一例を示し
ている。
【0091】上記いずれのスケーラビリティを用いるか
は、予め決められている。画像信号階層化回路201は
予め決められた方法で上位レイヤと下位レイヤを設定す
る。
は、予め決められている。画像信号階層化回路201は
予め決められた方法で上位レイヤと下位レイヤを設定す
る。
【0092】画像信号階層化回路201はまた、各レイ
ヤの大きさ、および絶対座標における位置を示すフラグ
を出力する。例えば図1の場合、下位レイヤのVOPの大
きさを示すフラグ FSZ_B 、絶対座標における下位レイ
ヤのVOPの位置を示すフラグ FPOS_B が、下位レイヤ符
号化回路204に出力される。また上位レイヤのVOPの
大きさを示すフラグ FSZ_E、および絶対座標における上
位レイヤのVOPの位置を示すフラグ FPOS_Eが、遅延回路
202を介して上位レイヤ符号化回路203、に出力さ
れる。
ヤの大きさ、および絶対座標における位置を示すフラグ
を出力する。例えば図1の場合、下位レイヤのVOPの大
きさを示すフラグ FSZ_B 、絶対座標における下位レイ
ヤのVOPの位置を示すフラグ FPOS_B が、下位レイヤ符
号化回路204に出力される。また上位レイヤのVOPの
大きさを示すフラグ FSZ_E、および絶対座標における上
位レイヤのVOPの位置を示すフラグ FPOS_Eが、遅延回路
202を介して上位レイヤ符号化回路203、に出力さ
れる。
【0093】さらに、画像信号階層化回路201は、下
位レイヤのVOPに対する上位レイヤのVOPの大きさの倍率
を示すフラグ FR、および上位レイヤに対し置換方法を
示すフラグfill_modeを、遅延回路202を介して解像
度変換回路205および上位レイヤ符号化回路203に
出力する。
位レイヤのVOPに対する上位レイヤのVOPの大きさの倍率
を示すフラグ FR、および上位レイヤに対し置換方法を
示すフラグfill_modeを、遅延回路202を介して解像
度変換回路205および上位レイヤ符号化回路203に
出力する。
【0094】次に、下位レイヤ符号化回路204を図8
を用いて説明する。なお、図8において、図38と対応
する部分には、同一の符号を付してある。
を用いて説明する。なお、図8において、図38と対応
する部分には、同一の符号を付してある。
【0095】入力画像信号はまずフレームメモリ群1に
入力され、所定の順番で記憶される。フレームメモリ群
1ではその VOP の画像信号、その VOP の大きさを示す
フラグ FSZ_B 、および絶対座標における位置を示すフ
ラグ FPOS_B が記録される。符号化されるべき画像デー
タは、マクロブロック単位で動きベクトル検出回路22
2に入力される。動きベクトル検出回路222は、予め
設定されている所定のシーケンスに従って、各フレーム
の画像データを、Iピクチャ、Pピクチャ、またはBピ
クチャとして処理する。シーケンシャルに入力される各
フレームの画像を、I,P,Bのいずれのピクチャとし
て処理するかは、予め定められている(例えば、I,
B,P,B,P,・・・B,Pとして処理することが定
められている)。
入力され、所定の順番で記憶される。フレームメモリ群
1ではその VOP の画像信号、その VOP の大きさを示す
フラグ FSZ_B 、および絶対座標における位置を示すフ
ラグ FPOS_B が記録される。符号化されるべき画像デー
タは、マクロブロック単位で動きベクトル検出回路22
2に入力される。動きベクトル検出回路222は、予め
設定されている所定のシーケンスに従って、各フレーム
の画像データを、Iピクチャ、Pピクチャ、またはBピ
クチャとして処理する。シーケンシャルに入力される各
フレームの画像を、I,P,Bのいずれのピクチャとし
て処理するかは、予め定められている(例えば、I,
B,P,B,P,・・・B,Pとして処理することが定
められている)。
【0096】動きベクトル検出回路222は予め定めら
れた所定の参照フレームを参照し、動き補償を行い、そ
の動きベクトルを検出する。動き補償(フレーム間予
測)には前方予測、後方予測、両方向予測の3種類の予
測モードがある。Pピクチャの予測モードは前方予測の
みであり、Bピクチャの予測モードは前方予測、後方予
測、両方向予測の3種類である。動きベクトル検出回路
222は予測誤差を最小にする予測モードを選択し、そ
のときの予測ベクトルを発生する。
れた所定の参照フレームを参照し、動き補償を行い、そ
の動きベクトルを検出する。動き補償(フレーム間予
測)には前方予測、後方予測、両方向予測の3種類の予
測モードがある。Pピクチャの予測モードは前方予測の
みであり、Bピクチャの予測モードは前方予測、後方予
測、両方向予測の3種類である。動きベクトル検出回路
222は予測誤差を最小にする予測モードを選択し、そ
のときの予測ベクトルを発生する。
【0097】予測誤差は、例えば、符号化するマクロブ
ロックの分散と比較され、マクロブロックの分散の方が
小さい場合、そのマクロブロックでは予測は行わず、フ
レーム内符号化が行われる。この場合、予測モードは画
像内予測(イントラ)となる。動きベクトルおよび上記
予測モードは、可変長符号化回路6、フレームメモリ群
11、および動き補償回路12に入力される。
ロックの分散と比較され、マクロブロックの分散の方が
小さい場合、そのマクロブロックでは予測は行わず、フ
レーム内符号化が行われる。この場合、予測モードは画
像内予測(イントラ)となる。動きベクトルおよび上記
予測モードは、可変長符号化回路6、フレームメモリ群
11、および動き補償回路12に入力される。
【0098】ここで、動きベクトルについて説明する。
VOP はそれぞれ、大きさや位置が異なるため、動きベク
トルを検出する際、基準となる座標系を設定する必要が
ある。ここでは、ある1つの絶対座標を仮定し、絶対座
標における動きベクトルを計算するものとする。したが
って、この時、現 VOP と予測参照 VOP を、その大きさ
と位置を示すフラグに従って所定の位置に配置し、動き
ベクトルを算出する。動きベクトル検出方法の詳細は後
述する。
VOP はそれぞれ、大きさや位置が異なるため、動きベク
トルを検出する際、基準となる座標系を設定する必要が
ある。ここでは、ある1つの絶対座標を仮定し、絶対座
標における動きベクトルを計算するものとする。したが
って、この時、現 VOP と予測参照 VOP を、その大きさ
と位置を示すフラグに従って所定の位置に配置し、動き
ベクトルを算出する。動きベクトル検出方法の詳細は後
述する。
【0099】動き補償回路12では所定の動きベクトル
に基づいて予測画像を生成し、演算回路3に入力する。
演算回路3では符号化するマクロブロックの値と予測画
像の値の差分信号を演算し、 DCT 回路4に出力する。
イントラマクロブロックの場合、演算回路3は符号化す
るマクロブロックの信号をそのまま DCT 回路4に出力
する。
に基づいて予測画像を生成し、演算回路3に入力する。
演算回路3では符号化するマクロブロックの値と予測画
像の値の差分信号を演算し、 DCT 回路4に出力する。
イントラマクロブロックの場合、演算回路3は符号化す
るマクロブロックの信号をそのまま DCT 回路4に出力
する。
【0100】DCT 回路4は入力された信号を DCT(離散
コサイン変換)処理し、 DCT 係数に変換する。このDCT
係数は、量子化回路5に入力され、送信バッファ7のデ
ータ蓄積量(バッファ蓄積量)に対応した量子化ステッ
プで量子化された後、可変長符号化回路6に入力され
る。
コサイン変換)処理し、 DCT 係数に変換する。このDCT
係数は、量子化回路5に入力され、送信バッファ7のデ
ータ蓄積量(バッファ蓄積量)に対応した量子化ステッ
プで量子化された後、可変長符号化回路6に入力され
る。
【0101】可変長符号化回路6は、量子化回路5より
供給される量子化ステップ(スケール)に対応して、量
子化回路5より供給される画像データを、例えばハフマ
ン符号などの可変長符号に変換し、送信バッファ7に出
力する。
供給される量子化ステップ(スケール)に対応して、量
子化回路5より供給される画像データを、例えばハフマ
ン符号などの可変長符号に変換し、送信バッファ7に出
力する。
【0102】可変長符号化回路6にはまた、量子化回路
5より量子化ステップ(スケール)、動きベクトル検出
回路222より予測モード(画像内予測、前方予測、後
方予測、または両方向予測のいずれが設定されたかを示
すモード)、および動きベクトル、が入力されており、
これらも可変長符号化される。
5より量子化ステップ(スケール)、動きベクトル検出
回路222より予測モード(画像内予測、前方予測、後
方予測、または両方向予測のいずれが設定されたかを示
すモード)、および動きベクトル、が入力されており、
これらも可変長符号化される。
【0103】さらに、可変長符号化回路6には、下位レ
イヤの VOP の大きさを示すフラグFSZ_B および絶対座
標における位置を示すフラグ FPOS_B が入力されてお
り、これらも符号化される。また、可変長符号化回路6
は、key 信号符号化回路223から入力されている key
信号のビットストリームを、量子化回路5から入力さ
れるビデオのビットストリームの所定の位置に挿入し、
送信バッファ7に供給する。
イヤの VOP の大きさを示すフラグFSZ_B および絶対座
標における位置を示すフラグ FPOS_B が入力されてお
り、これらも符号化される。また、可変長符号化回路6
は、key 信号符号化回路223から入力されている key
信号のビットストリームを、量子化回路5から入力さ
れるビデオのビットストリームの所定の位置に挿入し、
送信バッファ7に供給する。
【0104】VOP の key 信号は key 信号符号化回路2
23に入力される。key 信号は所定の方法、例えば DPC
M に従って符号化され、key 信号ビットストリームとし
て可変長符号化回路6および key 信号復号化回路22
4に出力される。key 信号復号化回路224では key
信号ビットストリームを復号化し、動きベクトル検出回
路222、動き補償回路12、DCT回路4、逆DCT回路
9、および画素置換回路221に供給する。
23に入力される。key 信号は所定の方法、例えば DPC
M に従って符号化され、key 信号ビットストリームとし
て可変長符号化回路6および key 信号復号化回路22
4に出力される。key 信号復号化回路224では key
信号ビットストリームを復号化し、動きベクトル検出回
路222、動き補償回路12、DCT回路4、逆DCT回路
9、および画素置換回路221に供給する。
【0105】送信バッファ7は、入力されたデータを一
時蓄積し、蓄積量に対応するデータを量子化回路5に出
力する。送信バッファ7は、そのデータ残量が許容上限
値まで増量すると、量子化制御信号によって量子化回路
5の量子化スケールを大きくすることにより、量子化デ
ータのデータ量を低下させる。また、これとは逆に、デ
ータ残量が許容下限値まで減少すると、送信バッファ7
は、量子化制御信号によって量子化回路5の量子化スケ
ールを小さくすることにより、量子化データのデータ量
を増大させる。このようにして、送信バッファ7のオー
バフローまたはアンダフローが防止される。そして、送
信バッファ7に蓄積されたデータは、所定のタイミング
で読み出され、図1の多重化回路206に出力される。
時蓄積し、蓄積量に対応するデータを量子化回路5に出
力する。送信バッファ7は、そのデータ残量が許容上限
値まで増量すると、量子化制御信号によって量子化回路
5の量子化スケールを大きくすることにより、量子化デ
ータのデータ量を低下させる。また、これとは逆に、デ
ータ残量が許容下限値まで減少すると、送信バッファ7
は、量子化制御信号によって量子化回路5の量子化スケ
ールを小さくすることにより、量子化データのデータ量
を増大させる。このようにして、送信バッファ7のオー
バフローまたはアンダフローが防止される。そして、送
信バッファ7に蓄積されたデータは、所定のタイミング
で読み出され、図1の多重化回路206に出力される。
【0106】一方、量子化回路5より出力されたデータ
は、逆量子化回路8に入力され、量子化回路5より供給
される量子化ステップに対応して逆量子化される。逆量
子化回路8の出力は、IDCT(逆DCT)回路9に入力さ
れ、逆DCT処理された後、演算回路10から画素置換回
路221を介してフレームメモリ群11に供給され、記
憶される。
は、逆量子化回路8に入力され、量子化回路5より供給
される量子化ステップに対応して逆量子化される。逆量
子化回路8の出力は、IDCT(逆DCT)回路9に入力さ
れ、逆DCT処理された後、演算回路10から画素置換回
路221を介してフレームメモリ群11に供給され、記
憶される。
【0107】図9に画素置換回路221における処理の
流れを示す。対象となる画素の位置が画像オブジェクト
の内側である場合、即ち対応する位置のkey信号が非ゼ
ロであるとステップS1で判定された場合、ステップS
2に進み、画素置換回路221は、その画素については
何も処理を行わず、そのまま出力する。対応するkey信
号の値が0である場合、ステップS3で、その画素値は
0とされる。
流れを示す。対象となる画素の位置が画像オブジェクト
の内側である場合、即ち対応する位置のkey信号が非ゼ
ロであるとステップS1で判定された場合、ステップS
2に進み、画素置換回路221は、その画素については
何も処理を行わず、そのまま出力する。対応するkey信
号の値が0である場合、ステップS3で、その画素値は
0とされる。
【0108】なお、VOP形状の内部であることを示すkey
信号は常に0以外(binary keyの場合は1、gray scale
keyの場合は255)であるため、VOP中の全ての画素
が何も処理されずそのまま出力される。
信号は常に0以外(binary keyの場合は1、gray scale
keyの場合は255)であるため、VOP中の全ての画素
が何も処理されずそのまま出力される。
【0109】ステップS3の次には、ステップS4乃至
S8の処理と、ステップS9乃至S13の処理が並行し
て行われる。ステップS4では、対象となるVOPを水平
方向にスキャンする。この時、水平方向のラインは次の
3通りの線部分に分類できる。ステップS5で、いずれ
の線部分であるのかを判定する。 (1) 両端がVOPの終端と一致する線部分 (2) 片端画素値が非ゼロの線部分 (3) 両端画素値が非ゼロの線部分
S8の処理と、ステップS9乃至S13の処理が並行し
て行われる。ステップS4では、対象となるVOPを水平
方向にスキャンする。この時、水平方向のラインは次の
3通りの線部分に分類できる。ステップS5で、いずれ
の線部分であるのかを判定する。 (1) 両端がVOPの終端と一致する線部分 (2) 片端画素値が非ゼロの線部分 (3) 両端画素値が非ゼロの線部分
【0110】両端がVOPの終端と一致する線部分(例え
ば、図10(A)の空白部)である場合は、ステップS
6で、値Cに0を設定する。両端が非ゼロである線部分
(例えば、図10(A)の黒色の部分が左右に2個存在
するような場合であって、その間の部分)の場合は、ス
テップS7で、値Cにその両端の画素値の平均値を設定
する。また片端のみが非ゼロの画素の線部分(例えば、
図10(A)の水平な直線で示す部分)である場合は、
ステップS8で、値Cにその非ゼロの値を設定する。
ば、図10(A)の空白部)である場合は、ステップS
6で、値Cに0を設定する。両端が非ゼロである線部分
(例えば、図10(A)の黒色の部分が左右に2個存在
するような場合であって、その間の部分)の場合は、ス
テップS7で、値Cにその両端の画素値の平均値を設定
する。また片端のみが非ゼロの画素の線部分(例えば、
図10(A)の水平な直線で示す部分)である場合は、
ステップS8で、値Cにその非ゼロの値を設定する。
【0111】以上のようにして、例えば図10(A)に
示すような画像の処理が行われる。
示すような画像の処理が行われる。
【0112】ステップS9では、対象となるVOPを垂直
方向にスキャンする。この時、垂直方向のラインは次の
3通りの線部分に分類できる。ステップS10でいずれ
の線部分であるのかの判定が行われる。 (1) 両端がVOPの終端と一致する線部分 (2) 片端画素値が非ゼロの線部分 (3) 両端画素値が非ゼロの線部分
方向にスキャンする。この時、垂直方向のラインは次の
3通りの線部分に分類できる。ステップS10でいずれ
の線部分であるのかの判定が行われる。 (1) 両端がVOPの終端と一致する線部分 (2) 片端画素値が非ゼロの線部分 (3) 両端画素値が非ゼロの線部分
【0113】両端がVOPの終端と一致する線部分である
場合は、ステップS11で、値Bに0を設定する。両端
が非ゼロである線部分の場合は、ステップS12で、値
Bにその両端の画素値の平均値を設定する。また片端の
みが非ゼロの画素の線部分の場合は、ステップS13
で、値Bにその非ゼロの値を設定する。
場合は、ステップS11で、値Bに0を設定する。両端
が非ゼロである線部分の場合は、ステップS12で、値
Bにその両端の画素値の平均値を設定する。また片端の
みが非ゼロの画素の線部分の場合は、ステップS13
で、値Bにその非ゼロの値を設定する。
【0114】以上のようにして、例えば図10(B)に
示すような画像の処理が行われる。
示すような画像の処理が行われる。
【0115】次に、ステップS14では、値Bおよび値
Cがともに0である場合、画素値は0のままとする。値
Bのみが非ゼロの値の場合、画素値は値Bの値に置換さ
れる。値Cのみが非ゼロの値の場合、画素値は値Cの値
に置換される。値Bおよび値Cが共に非ゼロの値を持つ
とき、画素値はその平均値に置換される。
Cがともに0である場合、画素値は0のままとする。値
Bのみが非ゼロの値の場合、画素値は値Bの値に置換さ
れる。値Cのみが非ゼロの値の場合、画素値は値Cの値
に置換される。値Bおよび値Cが共に非ゼロの値を持つ
とき、画素値はその平均値に置換される。
【0116】以上のようにして、例えば図10(C)に
示すような画像の処理が行われる。
示すような画像の処理が行われる。
【0117】以上の処理を終了した時点で、画素の値が
ゼロであるか否かがステップS15で判定され、値が非
ゼロの画素はそのまま出力される。値がゼロの画素は、
ステップS16で、水平方向および垂直方向で最も近い
位置にある非ゼロの画素の値に置換される。ただし、こ
の時、最も近い非ゼロの画素が2つある場合、その平均
値と置換する。
ゼロであるか否かがステップS15で判定され、値が非
ゼロの画素はそのまま出力される。値がゼロの画素は、
ステップS16で、水平方向および垂直方向で最も近い
位置にある非ゼロの画素の値に置換される。ただし、こ
の時、最も近い非ゼロの画素が2つある場合、その平均
値と置換する。
【0118】以上のようにして、例えば図10(D)に
示すような画像の処理が行われる。
示すような画像の処理が行われる。
【0119】画素置換回路221は上記の通りの置換処
理を行ったデータを、フレームメモリ群11および図1
における解像度変換回路205に出力する。
理を行ったデータを、フレームメモリ群11および図1
における解像度変換回路205に出力する。
【0120】フレームメモリ群11では画素置換回路2
21の出力、その VOP の大きさを示すフラグ FSZ_B 、
および絶対座標における位置を示すフラグ FPOS_B を記
録する。フレームメモリ群11はまた、図1における上
位レイヤ符号化回路203に、所定の VOP の局所復号
画像を解像度変換回路205を介して出力する。
21の出力、その VOP の大きさを示すフラグ FSZ_B 、
および絶対座標における位置を示すフラグ FPOS_B を記
録する。フレームメモリ群11はまた、図1における上
位レイヤ符号化回路203に、所定の VOP の局所復号
画像を解像度変換回路205を介して出力する。
【0121】次に動きベクトル検出回路222について
説明する。動きベクトル検出回路222は符号化するマ
クロブロックと参照する画像に対して予測誤差を最小と
する動きベクトルを検出する。このとき参照画像は予測
モード(I,P,Bピクチャ)に応じて、フレームメモ
リ群11から、供給れる。
説明する。動きベクトル検出回路222は符号化するマ
クロブロックと参照する画像に対して予測誤差を最小と
する動きベクトルを検出する。このとき参照画像は予測
モード(I,P,Bピクチャ)に応じて、フレームメモ
リ群11から、供給れる。
【0122】動きベクトル検出回路222にはまた、ke
y信号復号化回路224によって復号化された、当該マ
クロブロックの局所復号key信号が供給されている。動
きベクトル検出回路222は予測誤差を計算する際に、
対応するkey信号を参照する。
y信号復号化回路224によって復号化された、当該マ
クロブロックの局所復号key信号が供給されている。動
きベクトル検出回路222は予測誤差を計算する際に、
対応するkey信号を参照する。
【0123】符号化するVOPの形状が任意形状である場
合、符号化するマクロブロックに画像が存在しない領域
が含まれることがある。この場合、符号化するマクロブ
ロックにおいて画像が存在しない画素については予測誤
差の計算には含めない。即ち、画像が存在する画素の予
測誤差のみを用いて当該マクロブロックの予測誤差を計
算し、それを最小とする動きベクトルを検出する。
合、符号化するマクロブロックに画像が存在しない領域
が含まれることがある。この場合、符号化するマクロブ
ロックにおいて画像が存在しない画素については予測誤
差の計算には含めない。即ち、画像が存在する画素の予
測誤差のみを用いて当該マクロブロックの予測誤差を計
算し、それを最小とする動きベクトルを検出する。
【0124】符号化するマクロブロック内の各画素に画
像が存在するかどうかは、符号化するマクロブロック
の、局所復号化されたkey信号を参照することによって
認識することが可能である。即ち、key信号が0である
画素は画像が存在しない、画像オブジェクトの外側の領
域に属する画素であることがわかる。key信号が0以外
である場合、画像が存在する領域、即ち画像オブジェク
トの内側の画素であることになる。
像が存在するかどうかは、符号化するマクロブロック
の、局所復号化されたkey信号を参照することによって
認識することが可能である。即ち、key信号が0である
画素は画像が存在しない、画像オブジェクトの外側の領
域に属する画素であることがわかる。key信号が0以外
である場合、画像が存在する領域、即ち画像オブジェク
トの内側の画素であることになる。
【0125】動きベクトル検出回路222はkey信号復
号化回路224より供給されるkey信号を参照し、key信
号が0である場合、その画素の参照画像との差分は予測
誤差に加算しない。なお、VOPの形状が長方形である場
合、key信号は常に0以外(binary keyの場合は1、gra
y scale keyの場合は255)であるため、マクロブロ
ックのすべての画素を用いて予測誤差を計算する。
号化回路224より供給されるkey信号を参照し、key信
号が0である場合、その画素の参照画像との差分は予測
誤差に加算しない。なお、VOPの形状が長方形である場
合、key信号は常に0以外(binary keyの場合は1、gra
y scale keyの場合は255)であるため、マクロブロ
ックのすべての画素を用いて予測誤差を計算する。
【0126】下位レイヤのkey信号はkey信号符号化回路
223によって符号化された後、可変長符号化回路6お
よびkey信号復号化回路224に供給される。可変長符
号化回路6では符号化されたkey信号のビットストリー
ムをビデオのビットストリームの所定の位置に挿入し、
送信バッファ7に供給する。
223によって符号化された後、可変長符号化回路6お
よびkey信号復号化回路224に供給される。可変長符
号化回路6では符号化されたkey信号のビットストリー
ムをビデオのビットストリームの所定の位置に挿入し、
送信バッファ7に供給する。
【0127】key信号復号化回路224に供給されたビ
ットストリームはここで復号化される。復号されたkey
信号は、動きベクトル検出回路222、動き補償回路1
2、画素置換回路221、DCT回路4およびIDCT回路9
に供給される。また、復号化されたkey信号は図1の上
位レイヤ符号化回路203に供給される。
ットストリームはここで復号化される。復号されたkey
信号は、動きベクトル検出回路222、動き補償回路1
2、画素置換回路221、DCT回路4およびIDCT回路9
に供給される。また、復号化されたkey信号は図1の上
位レイヤ符号化回路203に供給される。
【0128】図1に戻って、解像度変換回路205は下
位レイヤのVOPに対する上位レイヤのVOPの大きさの倍率
を示すフラグ FR に従い、下位レイヤの画像信号の解像
度を、上位レイヤの画像信号に対応する解像度に、フィ
ルタにより変換し、上位レイヤ符号化回路203に供給
する。
位レイヤのVOPに対する上位レイヤのVOPの大きさの倍率
を示すフラグ FR に従い、下位レイヤの画像信号の解像
度を、上位レイヤの画像信号に対応する解像度に、フィ
ルタにより変換し、上位レイヤ符号化回路203に供給
する。
【0129】解像度変換回路205は、一倍もしくは任
意の倍率の解像度変換が可能であり、また画像の縦方向
と横方向で、異なる倍率を入力してもよい。
意の倍率の解像度変換が可能であり、また画像の縦方向
と横方向で、異なる倍率を入力してもよい。
【0130】縦方向および横方向の倍率が1の場合、即
ち上位レイヤと下位レイヤの大きさが等しい場合、解像
度変換回路205は入力されたデータを、何もせずにそ
のまま出力する。
ち上位レイヤと下位レイヤの大きさが等しい場合、解像
度変換回路205は入力されたデータを、何もせずにそ
のまま出力する。
【0131】画像信号階層化回路201によって生成さ
れた上位レイヤ画像信号、 key 信号、上位レイヤのVOP
の大きさを示すフラグ FSZ_E 、および絶対座標におけ
る上位レイヤのVOPの位置を示すフラグ FPOS_E 、上位
レイヤが任意形状な場合に対する形状領域外等の置換方
法を示すフラグfill_modeは、遅延回路202を介して
上位レイヤ符号化回路203に供給される。遅延回路2
02は、所定の下位レイヤの VOP を符号化するのに要
する時間だけ入力を遅延して出力する。
れた上位レイヤ画像信号、 key 信号、上位レイヤのVOP
の大きさを示すフラグ FSZ_E 、および絶対座標におけ
る上位レイヤのVOPの位置を示すフラグ FPOS_E 、上位
レイヤが任意形状な場合に対する形状領域外等の置換方
法を示すフラグfill_modeは、遅延回路202を介して
上位レイヤ符号化回路203に供給される。遅延回路2
02は、所定の下位レイヤの VOP を符号化するのに要
する時間だけ入力を遅延して出力する。
【0132】次に上位レイヤ符号化回路203を図11
を用いて説明する。なお、この図においても、図38と
対応する部分には同一の符号を付してある。
を用いて説明する。なお、この図においても、図38と
対応する部分には同一の符号を付してある。
【0133】入力画像信号はまずフレームメモリ群1に
入力され、所定の順番で記憶される。フレームメモリ群
1では、その VOP の画像信号、その VOP の大きさを示
すフラグ FSZ_E 、および絶対座標における位置を示す
フラグ FPOS_E が記録される。
入力され、所定の順番で記憶される。フレームメモリ群
1では、その VOP の画像信号、その VOP の大きさを示
すフラグ FSZ_E 、および絶対座標における位置を示す
フラグ FPOS_E が記録される。
【0134】符号化されるべき画像データは、マクロブ
ロック単位で動きベクトル検出回路232に入力され
る。動きベクトル検出回路232は、予め設定されてい
る所定のシーケンスに従って、各フレームの画像データ
を、Iピクチャ、Pピクチャ、またはBピクチャとして
処理する。シーケシャルに入力される各フレームの画像
を、I,P,Bのいずれのピクチャとして処理するか
は、予め定められている(例えば、I,B,P,B,
P,・・・B,Pとして処理される)。
ロック単位で動きベクトル検出回路232に入力され
る。動きベクトル検出回路232は、予め設定されてい
る所定のシーケンスに従って、各フレームの画像データ
を、Iピクチャ、Pピクチャ、またはBピクチャとして
処理する。シーケシャルに入力される各フレームの画像
を、I,P,Bのいずれのピクチャとして処理するか
は、予め定められている(例えば、I,B,P,B,
P,・・・B,Pとして処理される)。
【0135】空間スケーラビリティの場合、例えば図1
2に示すように符号化される。上位レイヤの最初の VOP
1 はPピクチャとして符号化される。この時の参照画
像は下位レイヤの同時刻の VOP0 となる。第2番目以
後の上位レイヤの VOP3,VOP5,VOP7 はBピクチャ
として符号化される。この場合、直前の上位レイヤの V
OP と 同時刻の下位レイヤの画像を参照画像として用
い、符号化する。上位レイヤのBピクチャは下位レイヤ
のPピクチャと同様に、他の VOP を符号化する場合の
予測参照画像となる。
2に示すように符号化される。上位レイヤの最初の VOP
1 はPピクチャとして符号化される。この時の参照画
像は下位レイヤの同時刻の VOP0 となる。第2番目以
後の上位レイヤの VOP3,VOP5,VOP7 はBピクチャ
として符号化される。この場合、直前の上位レイヤの V
OP と 同時刻の下位レイヤの画像を参照画像として用
い、符号化する。上位レイヤのBピクチャは下位レイヤ
のPピクチャと同様に、他の VOP を符号化する場合の
予測参照画像となる。
【0136】SNR スケーラビリティは空間スケーラビリ
ティの特殊な場合で、上位レイヤと下位レイヤの大きさ
が等しい場合である。
ティの特殊な場合で、上位レイヤと下位レイヤの大きさ
が等しい場合である。
【0137】テンポラルスケーラビリティの場合は、例
えば図2のようにして符号化される。VOP1はBピクチ
ャとして符号化され、下位レイヤの VOP0および VOP2
を予測参照画像とする。また VOP3は、Bピクチャとし
て符号化され、直前の下位レイヤの画像 VOP2と直後の
下位レイヤの画像 VOP4を参照画像とする。また VOP5
は、Bピクチャとして符号化され、直前の下位レイヤの
画像 VOP4と直後の下位レイヤの画像 VOP6を予測参照
画像とする。
えば図2のようにして符号化される。VOP1はBピクチ
ャとして符号化され、下位レイヤの VOP0および VOP2
を予測参照画像とする。また VOP3は、Bピクチャとし
て符号化され、直前の下位レイヤの画像 VOP2と直後の
下位レイヤの画像 VOP4を参照画像とする。また VOP5
は、Bピクチャとして符号化され、直前の下位レイヤの
画像 VOP4と直後の下位レイヤの画像 VOP6を予測参照
画像とする。
【0138】ここで、上位レイヤのPおよびBピクチャ
の予測について説明する。上位レイヤの予測は同じレイ
ヤの画像だけでなく、他の階層(スケーラブルレイヤ)
の画像も参照画像として用いることができる。例えば2
階層のスケーラビリティの場合、上位レイヤは下位レイ
ヤの画像も予測参照画像として用いることができる。各
スケーラブルレイヤについて、同じレイヤ以外のどのレ
イヤを参照画像として用いるかを示すフラグ ref_layer
_id を設定し、符号化し、伝送する。また各 VOP につ
いて、 ref_layer_id に基づいて、forward および bac
kward 予測をどのレイヤから予測するかを示すフラグ r
ef_select_code を設定し、符号化し、伝送する。Pピ
クチャにおける ref_select_code を表1に示す。また
Bピクチャにおける ref_select_code を表2に示す。
シンタクスの詳細は後述する。
の予測について説明する。上位レイヤの予測は同じレイ
ヤの画像だけでなく、他の階層(スケーラブルレイヤ)
の画像も参照画像として用いることができる。例えば2
階層のスケーラビリティの場合、上位レイヤは下位レイ
ヤの画像も予測参照画像として用いることができる。各
スケーラブルレイヤについて、同じレイヤ以外のどのレ
イヤを参照画像として用いるかを示すフラグ ref_layer
_id を設定し、符号化し、伝送する。また各 VOP につ
いて、 ref_layer_id に基づいて、forward および bac
kward 予測をどのレイヤから予測するかを示すフラグ r
ef_select_code を設定し、符号化し、伝送する。Pピ
クチャにおける ref_select_code を表1に示す。また
Bピクチャにおける ref_select_code を表2に示す。
シンタクスの詳細は後述する。
【0139】
【表1】
【0140】
【表2】
【0141】上位レイヤと下位レイヤの予測は、図2お
よび図12に示す例以外にも、表1および表2の許す範
囲内で、自由に設定して良い。また、表1および表2の
シンタクスにおいては、空間スケーラビリティやテンポ
ラルスケーラビリティについて明示的な区別は無い。
よび図12に示す例以外にも、表1および表2の許す範
囲内で、自由に設定して良い。また、表1および表2の
シンタクスにおいては、空間スケーラビリティやテンポ
ラルスケーラビリティについて明示的な区別は無い。
【0142】Pピクチャの場合、ref_select_code が '
11' のとき、ref_layer_id が示すレイヤ(参照レイ
ヤ)の同時刻の VOP が予測参照画像として用いられ
る。このモードは空間スケーラビリティや SNR スケー
ラビリティにも用いられる。その他の'00','01',また
は'10'のモードはテンポラルスケーラビリティに用いら
れる。
11' のとき、ref_layer_id が示すレイヤ(参照レイ
ヤ)の同時刻の VOP が予測参照画像として用いられ
る。このモードは空間スケーラビリティや SNR スケー
ラビリティにも用いられる。その他の'00','01',また
は'10'のモードはテンポラルスケーラビリティに用いら
れる。
【0143】Bピクチャの場合、ref_select_code が '
00' のとき、ref_layer_id が示すレイヤの同時刻の VO
P と、同じレイヤの直前に復号化した VOP とが予測参
照画像として用いられる。このモードは空間スケーラビ
リティや SNR スケーラビリティに用いられる。その他
の'01','10',または'11'のモードはテンポラルスケーラ
ビリティに用いられる。
00' のとき、ref_layer_id が示すレイヤの同時刻の VO
P と、同じレイヤの直前に復号化した VOP とが予測参
照画像として用いられる。このモードは空間スケーラビ
リティや SNR スケーラビリティに用いられる。その他
の'01','10',または'11'のモードはテンポラルスケーラ
ビリティに用いられる。
【0144】各レイヤの各 VOP をI,P,Bピクチャ
のどのタイプで符号化するかは予め決めておく。動きベ
クトル検出回路232は予め設定されたピクチャタイプ
に基づき、ref_layer_id 、ref_select_code を設定
し、動き補償回路12および可変長符号化回路6に出力
する。
のどのタイプで符号化するかは予め決めておく。動きベ
クトル検出回路232は予め設定されたピクチャタイプ
に基づき、ref_layer_id 、ref_select_code を設定
し、動き補償回路12および可変長符号化回路6に出力
する。
【0145】下位レイヤの VOP の復号画像信号と key
信号は解像度変換回路205を介して上位レイヤ符号化
回路203に供給され、フレームメモリ群235に供給
される。また下位レイヤ VOP の大きさを示すフラグ FS
Z_B 、および絶対座標における位置を示すフラグ FPOS_
B は、フレームメモリ群235に記憶されるとともに、
動きベクトル検出回路232および動き補償回路12に
供給される。
信号は解像度変換回路205を介して上位レイヤ符号化
回路203に供給され、フレームメモリ群235に供給
される。また下位レイヤ VOP の大きさを示すフラグ FS
Z_B 、および絶対座標における位置を示すフラグ FPOS_
B は、フレームメモリ群235に記憶されるとともに、
動きベクトル検出回路232および動き補償回路12に
供給される。
【0146】動きベクトル検出回路232はまた、予め
定められた所定の参照フレームを、ref_layer_id およ
び ref_select_code に基づいてフレームメモリ群1ま
たはフレームメモリ群235より参照し、動き補償を行
い、その動きベクトルを検出する。動き補償(フレーム
間予測)には前方予測、後方予測、両方向予測の3種類
の予測モードがある。Pピクチャの予測モードは前方予
測のみであり、Bピクチャの予測モードは前方予測、後
方予測、両方向予測の3種類である。動きベクトル検出
回路232は予測誤差を最小にする予測モードを選択
し、そのときの予測モードと動きベクトルを発生する。
定められた所定の参照フレームを、ref_layer_id およ
び ref_select_code に基づいてフレームメモリ群1ま
たはフレームメモリ群235より参照し、動き補償を行
い、その動きベクトルを検出する。動き補償(フレーム
間予測)には前方予測、後方予測、両方向予測の3種類
の予測モードがある。Pピクチャの予測モードは前方予
測のみであり、Bピクチャの予測モードは前方予測、後
方予測、両方向予測の3種類である。動きベクトル検出
回路232は予測誤差を最小にする予測モードを選択
し、そのときの予測モードと動きベクトルを発生する。
【0147】このとき、予測誤差は例えば、符号化する
マクロブロックの分散と比較され、マクロブロックの分
散の方が小さい場合、そのマクロブロックでは予測は行
わず、フレーム内符号化が行われる。この場合、予測モ
ードは画像内予測(イントラ)となる。動きベクトルお
よび上記予測モードは可変長符号化回路6および動き補
償回路12に入力される。
マクロブロックの分散と比較され、マクロブロックの分
散の方が小さい場合、そのマクロブロックでは予測は行
わず、フレーム内符号化が行われる。この場合、予測モ
ードは画像内予測(イントラ)となる。動きベクトルお
よび上記予測モードは可変長符号化回路6および動き補
償回路12に入力される。
【0148】上位レイヤ符号化回路203における動き
ベクトル検出回路232においても、下位レイヤにおけ
る動きベクトル検出回路222と同様に、key信号復号
化回路234によって復号化された、符号化するマクロ
ブロックの局所復号key信号が供給される。動きベクト
ル検出回路232は下位レイヤにおける動きベクトル検
出と同様に、対応するkey信号が0である画素の予測画
像との差分値は予測誤差の計算には含めない。従って、
key信号が0以外の画素、即ち画像オブジェクトの内側
の画素のみを用いて予測誤差を計算し、これを最小とす
る動きベクトルを検出する。
ベクトル検出回路232においても、下位レイヤにおけ
る動きベクトル検出回路222と同様に、key信号復号
化回路234によって復号化された、符号化するマクロ
ブロックの局所復号key信号が供給される。動きベクト
ル検出回路232は下位レイヤにおける動きベクトル検
出と同様に、対応するkey信号が0である画素の予測画
像との差分値は予測誤差の計算には含めない。従って、
key信号が0以外の画素、即ち画像オブジェクトの内側
の画素のみを用いて予測誤差を計算し、これを最小とす
る動きベクトルを検出する。
【0149】動きベクトル検出回路232にはまた、下
位レイヤに対して上位レイヤの大きさ(解像度)が何倍
であるかを示すフラグ FR が供給される。表2より、B
ピクチャ(VOP)の場合、ref_select_code = '00' の
時、backward予測は下位レイヤ(参照レイヤ)の同時刻
のVOPからの予測、forward予測は同じレイヤの直前に復
号化したVOPからの予測となる。
位レイヤに対して上位レイヤの大きさ(解像度)が何倍
であるかを示すフラグ FR が供給される。表2より、B
ピクチャ(VOP)の場合、ref_select_code = '00' の
時、backward予測は下位レイヤ(参照レイヤ)の同時刻
のVOPからの予測、forward予測は同じレイヤの直前に復
号化したVOPからの予測となる。
【0150】倍率を示すフラグが1であり(下位レイヤ
と上位レイヤの解像度が等しく)、かつ ref_select_co
de = '00' である場合は、空間スケーラビリティの特殊
な場合であり、SNR スケーラビリティであることにな
る。この場合、上位レイヤの backward 予測には下位レ
イヤの同時刻のVOPが用いた動きベクトルと予測モード
をそのまま用いる。したがって、この場合、動きベクト
ル検出回路232は下位レイヤから供給される動きベク
トルおよび予測モードを動き補償回路12に供給する。
この場合、可変長符号化回路6は動きベクトルを符号化
しない。
と上位レイヤの解像度が等しく)、かつ ref_select_co
de = '00' である場合は、空間スケーラビリティの特殊
な場合であり、SNR スケーラビリティであることにな
る。この場合、上位レイヤの backward 予測には下位レ
イヤの同時刻のVOPが用いた動きベクトルと予測モード
をそのまま用いる。したがって、この場合、動きベクト
ル検出回路232は下位レイヤから供給される動きベク
トルおよび予測モードを動き補償回路12に供給する。
この場合、可変長符号化回路6は動きベクトルを符号化
しない。
【0151】動き補償回路12では所定の動きベクトル
に基づいてフレームメモリ群11またはフレームメモリ
群235の画像より予測画像を生成し、演算回路3に入
力する。演算回路3では符号化するマクロブロックの値
と予測画像の値の差分信号を生成し、DCT回路4に出力
する。イントラマクロブロックの場合、演算回路3は符
号化するマクロブロックの信号をそのまま DCT 回路4
に出力する。
に基づいてフレームメモリ群11またはフレームメモリ
群235の画像より予測画像を生成し、演算回路3に入
力する。演算回路3では符号化するマクロブロックの値
と予測画像の値の差分信号を生成し、DCT回路4に出力
する。イントラマクロブロックの場合、演算回路3は符
号化するマクロブロックの信号をそのまま DCT 回路4
に出力する。
【0152】DCT回路4は入力信号をDCT(離散コサイン
変換)処理し、DCT係数に変換する。このDCT係数は、量
子化回路5に入力され、送信バッファ7のデータ蓄積量
(バッファ蓄積量)に対応した量子化ステップで量子化
された後、可変長符号化回路6に入力される。
変換)処理し、DCT係数に変換する。このDCT係数は、量
子化回路5に入力され、送信バッファ7のデータ蓄積量
(バッファ蓄積量)に対応した量子化ステップで量子化
された後、可変長符号化回路6に入力される。
【0153】可変長符号化回路6は、量子化回路5より
供給される量子化ステップ(スケール)に対応して、量
子化回路5より供給される画像データを、例えばハフマ
ン符号などの可変長符号に変換し、送信バッファ7に出
力する。
供給される量子化ステップ(スケール)に対応して、量
子化回路5より供給される画像データを、例えばハフマ
ン符号などの可変長符号に変換し、送信バッファ7に出
力する。
【0154】可変長符号化回路6にはまた、量子化回路
5より量子化ステップ(スケール)、動きベクトル検出
回路232より予測モード(画像内予測、前方予測、後
方予測、または両方向予測のいずれが設定されたかを示
すモード)および動きベクトル、が入力されており、こ
れらも可変長符号化される。
5より量子化ステップ(スケール)、動きベクトル検出
回路232より予測モード(画像内予測、前方予測、後
方予測、または両方向予測のいずれが設定されたかを示
すモード)および動きベクトル、が入力されており、こ
れらも可変長符号化される。
【0155】可変長符号化回路6はまた、上位レイヤ V
OP の大きさを示すフラグFSZ_E、絶対座標における位置
を示すフラグFPOS_E、下位レイヤの解像度に対して上位
レイヤの解像度が何倍であるかを示すフラグ FR も符号
化する。さらに、可変長符号化回路6は key 信号のビ
ットストリームを、ビデオのビットストリームの所定の
位置に挿入し、送信バッファ7に出力する。
OP の大きさを示すフラグFSZ_E、絶対座標における位置
を示すフラグFPOS_E、下位レイヤの解像度に対して上位
レイヤの解像度が何倍であるかを示すフラグ FR も符号
化する。さらに、可変長符号化回路6は key 信号のビ
ットストリームを、ビデオのビットストリームの所定の
位置に挿入し、送信バッファ7に出力する。
【0156】VOP の key 信号は key 信号符号化回路2
33に入力される。key 信号は所定の方法、例えば DPC
M に従って符号化され、key 信号ビットストリームとし
て可変長符号化回路6および key 信号復号化回路23
4に出力される。key 信号復号化回路234では key
信号ビットストリームが復号化され、動きベクトル検出
回路232および動き補償回路12に供給される。
33に入力される。key 信号は所定の方法、例えば DPC
M に従って符号化され、key 信号ビットストリームとし
て可変長符号化回路6および key 信号復号化回路23
4に出力される。key 信号復号化回路234では key
信号ビットストリームが復号化され、動きベクトル検出
回路232および動き補償回路12に供給される。
【0157】送信バッファ7は、入力されたデータを一
時蓄積し、蓄積量に対応するデータを量子化回路5に出
力する。
時蓄積し、蓄積量に対応するデータを量子化回路5に出
力する。
【0158】送信バッファ7は、そのデータ残量が許容
上限値まで増量すると、量子化制御信号によって量子化
回路5の量子化スケールを大きくすることにより、量子
化データのデータ量を低下させる。また、これとは逆
に、データ残量が許容下限値まで減少すると、送信バッ
ファ7は、量子化制御信号によって量子化回路5の量子
化スケールを小さくすることにより、量子化データのデ
ータ量を増大させる。このようにして、送信バッファ7
のオーバフローまたはアンダフローが防止される。
上限値まで増量すると、量子化制御信号によって量子化
回路5の量子化スケールを大きくすることにより、量子
化データのデータ量を低下させる。また、これとは逆
に、データ残量が許容下限値まで減少すると、送信バッ
ファ7は、量子化制御信号によって量子化回路5の量子
化スケールを小さくすることにより、量子化データのデ
ータ量を増大させる。このようにして、送信バッファ7
のオーバフローまたはアンダフローが防止される。
【0159】そして、送信バッファ7に蓄積されたデー
タは、所定のタイミングで読み出され、図1の多重化回
路206により下位レイヤのデータと多重化された後、
さらに図46の多重化回路104に供給され、他のビッ
トストリームと多重化され、伝送路に出力される。
タは、所定のタイミングで読み出され、図1の多重化回
路206により下位レイヤのデータと多重化された後、
さらに図46の多重化回路104に供給され、他のビッ
トストリームと多重化され、伝送路に出力される。
【0160】一方、量子化回路5より出力されたデータ
は、逆量子化回路8に入力され、量子化回路5より供給
される量子化ステップに対応して逆量子化される。逆量
子化回路8の出力は、IDCT(逆DCT)回路9に入力さ
れ、逆DCT処理された後、演算回路10を介して画素置
換回路231に供給される。そこで画素置換処理が行わ
れたデータは、フレームメモリ群11に記憶される。
は、逆量子化回路8に入力され、量子化回路5より供給
される量子化ステップに対応して逆量子化される。逆量
子化回路8の出力は、IDCT(逆DCT)回路9に入力さ
れ、逆DCT処理された後、演算回路10を介して画素置
換回路231に供給される。そこで画素置換処理が行わ
れたデータは、フレームメモリ群11に記憶される。
【0161】ここで、上位レイヤ符号化回路203にお
ける画素置換回路231について説明する。図8の下位
レイヤにおける画素置換回路221は図9を参照して説
明した通り、画像の存在する領域の周辺部の画素の値を
用いて、画像の存在しない領域、即ち画像オブジェクト
の外側の画素の値を置換する。
ける画素置換回路231について説明する。図8の下位
レイヤにおける画素置換回路221は図9を参照して説
明した通り、画像の存在する領域の周辺部の画素の値を
用いて、画像の存在しない領域、即ち画像オブジェクト
の外側の画素の値を置換する。
【0162】これに対して、上位レイヤにおける画素置
換回路231は、下位レイヤにおける画素置換回路22
1と同様の置換方法と併せて、下位レイヤの参照画像の
復号画像、即ち、フレームメモリ群235の出力を用い
て画素の置換処理を行う。
換回路231は、下位レイヤにおける画素置換回路22
1と同様の置換方法と併せて、下位レイヤの参照画像の
復号画像、即ち、フレームメモリ群235の出力を用い
て画素の置換処理を行う。
【0163】次に、VOごとに符号化するスケーラブル符
号化方法について説明する。VOは、時刻ごとにその大き
さや位置が変化してもよいし、同一でもよい。従って、
以下のようなスケーラビリティが考えられる。
号化方法について説明する。VOは、時刻ごとにその大き
さや位置が変化してもよいし、同一でもよい。従って、
以下のようなスケーラビリティが考えられる。
【0164】前述の通り、VOごとに符号化するスケーラ
ブル符号化方法には以下の2通りがある。 (1) 上位レイヤが下位レイヤの全ての領域を含む場
合。 (2) 上位レイヤが下位レイヤの一部の領域に対応す
る場合。
ブル符号化方法には以下の2通りがある。 (1) 上位レイヤが下位レイヤの全ての領域を含む場
合。 (2) 上位レイヤが下位レイヤの一部の領域に対応す
る場合。
【0165】(2) の場合、上位レイヤには存在しな
い領域の情報を下位レイヤが持っていることになる。特
に空間スケーラビリティの場合、上位レイヤと下位レイ
ヤは同時刻であるため、解像度変換後の下位レイヤの参
照画像を用いることが可能である。
い領域の情報を下位レイヤが持っていることになる。特
に空間スケーラビリティの場合、上位レイヤと下位レイ
ヤは同時刻であるため、解像度変換後の下位レイヤの参
照画像を用いることが可能である。
【0166】図13に上位レイヤにおける画素置換回路
231による画素置換の一例を示す。画像が存在する領
域、即ち、対応するkey信号が0以外である領域(図1
3において、画像オブジェクトとして示す領域)では、
上位レイヤの画像をそのまま用い、それ以外の領域(図
13において、水平方向の線が描かれている領域)で
は、解像度変換後の(等倍、もしくはアップサンプリン
グした後の)下位レイヤの参照画像(図13のUVOP0)
の対応する位置の画素値を用い、参照画像とする。
231による画素置換の一例を示す。画像が存在する領
域、即ち、対応するkey信号が0以外である領域(図1
3において、画像オブジェクトとして示す領域)では、
上位レイヤの画像をそのまま用い、それ以外の領域(図
13において、水平方向の線が描かれている領域)で
は、解像度変換後の(等倍、もしくはアップサンプリン
グした後の)下位レイヤの参照画像(図13のUVOP0)
の対応する位置の画素値を用い、参照画像とする。
【0167】図14に画素置換回路231おける処理の
流れを示す。画像オブジェクトの内側である場合、即ち
対応する位置のkey信号が非ゼロであるとステップS2
1で判定された場合、ステップS22に進み、画素置換
回路231はその画素については何も処理を行わず、そ
のまま出力する。対応するkey信号の値が0である場
合、ステップS23に進み、その画素値は0とされる。
なお、VOPの形状が長方形である場合、key信号は常に0
以外(binary keyの場合は1、gray scale keyの場合は
255)であるため、VOP中の全ての画素が何も処理さ
れず、そのまま出力される。
流れを示す。画像オブジェクトの内側である場合、即ち
対応する位置のkey信号が非ゼロであるとステップS2
1で判定された場合、ステップS22に進み、画素置換
回路231はその画素については何も処理を行わず、そ
のまま出力する。対応するkey信号の値が0である場
合、ステップS23に進み、その画素値は0とされる。
なお、VOPの形状が長方形である場合、key信号は常に0
以外(binary keyの場合は1、gray scale keyの場合は
255)であるため、VOP中の全ての画素が何も処理さ
れず、そのまま出力される。
【0168】次に、置換する方法を示す置換モードをス
テップS24で判定し、その置換モードに応じて置換処
理を行う。ここで置換モードについて説明する。上位レ
イヤにおける画素置換方法には2通りの方法が存在す
る。1つは下位レイヤにおける画素置換方法と同様の置
換方法である。もう1つは下位レイヤの参照画像の対応
する位置の画素値と置換する方法である。後者の方法
は、上位レイヤが下位レイヤの一部に対応し、かつ空間
スケーラビリティの場合である。どのスケーラビリティ
を用いるかはあらかじめ決められている。同様に、どの
置換モードを用いるかはあらかじめ決められている。置
換の方法を示すフラグfill_modeは1ビットのフラグで
あり、可変長符号化回路6に供給され、符号化され、伝
送される。
テップS24で判定し、その置換モードに応じて置換処
理を行う。ここで置換モードについて説明する。上位レ
イヤにおける画素置換方法には2通りの方法が存在す
る。1つは下位レイヤにおける画素置換方法と同様の置
換方法である。もう1つは下位レイヤの参照画像の対応
する位置の画素値と置換する方法である。後者の方法
は、上位レイヤが下位レイヤの一部に対応し、かつ空間
スケーラビリティの場合である。どのスケーラビリティ
を用いるかはあらかじめ決められている。同様に、どの
置換モードを用いるかはあらかじめ決められている。置
換の方法を示すフラグfill_modeは1ビットのフラグで
あり、可変長符号化回路6に供給され、符号化され、伝
送される。
【0169】置換モードを示すフラグfill_modeが、例
えば、0であると判定された場合、ステップS25に進
み、画素置換回路231は下位レイヤにおける画素置換
回路221(図8)と同様の置換方法(図9)で置換処
理を行い、処理後の画像をフレームメモリ群11に出力
する。
えば、0であると判定された場合、ステップS25に進
み、画素置換回路231は下位レイヤにおける画素置換
回路221(図8)と同様の置換方法(図9)で置換処
理を行い、処理後の画像をフレームメモリ群11に出力
する。
【0170】置換モードを示すフラグfill_modeが、例
えば、1であると判定された場合、ステップS26に進
み、画素置換回路231は下位レイヤの所定の参照画像
信号の対応する位置の画素値と置換する。この置換方法
について図15と図16を用いて説明する。
えば、1であると判定された場合、ステップS26に進
み、画素置換回路231は下位レイヤの所定の参照画像
信号の対応する位置の画素値と置換する。この置換方法
について図15と図16を用いて説明する。
【0171】図15は、図13に示す場合と同様に、上
位レイヤの画像VOP1を符号化する際に、直前の上位レ
イヤの画像VOP0と、解像度変換後の(アップサンプリ
ングした後の)下位レイヤの同時刻の画像UVOP1を参照
画像とする場合の例である。この時、画素置換回路23
1は、画像VOP0の画像オブジェクト以外の画素を、画
像VOP0と同時刻の下位レイヤの画像を解像度変換した
後の(アップサンプリングした後の)画像UVOP0の対応
する位置の画素値と置換する。
位レイヤの画像VOP1を符号化する際に、直前の上位レ
イヤの画像VOP0と、解像度変換後の(アップサンプリ
ングした後の)下位レイヤの同時刻の画像UVOP1を参照
画像とする場合の例である。この時、画素置換回路23
1は、画像VOP0の画像オブジェクト以外の画素を、画
像VOP0と同時刻の下位レイヤの画像を解像度変換した
後の(アップサンプリングした後の)画像UVOP0の対応
する位置の画素値と置換する。
【0172】また上記置換方法の変形として、図16に
示すように、画像VOP0の画像オブジェクト以外の画素
を、画像VOP1と同時刻の解像度変換後の画像UVOP1の
対応する位置の画素値と置換する方法もある。
示すように、画像VOP0の画像オブジェクト以外の画素
を、画像VOP1と同時刻の解像度変換後の画像UVOP1の
対応する位置の画素値と置換する方法もある。
【0173】上記置換処理を行った後、画素置換回路2
31はフレームメモリ群11に処理データを出力する。
31はフレームメモリ群11に処理データを出力する。
【0174】テンポラルスケーラビリティの場合、下位
レイヤの参照画像の表示時刻と符号化を行う上位レイヤ
の表示時刻は異なるため、画素置換の方法は空間スケー
ラビリティの場合と異なる。この置換方法を図17にて
説明する。
レイヤの参照画像の表示時刻と符号化を行う上位レイヤ
の表示時刻は異なるため、画素置換の方法は空間スケー
ラビリティの場合と異なる。この置換方法を図17にて
説明する。
【0175】テンポラルスケーラビリティの場合、符号
化された上位レイヤのVOPと同時刻に、下位レイヤのVOP
が存在していない。そのためテンポラルスケーラビリテ
ィでオブジェクト領域外の画素の置換を行う場合、上位
レイヤのVOPを符号化するのに用いた参照フレームから
上位レイヤの画素置換に用いる画像が合成される。即
ち、例えば図17に示すように、図示せぬVOP1(フレ
ーム1)を符号化しようとする場合において、時間的に
その直前のVOP0(フレーム0)をコピーして、上位レ
イヤ置換用画像とする。そして、この上位レイヤ置換用
画像のオブジェクト領域以外の領域の画素を、対象画像
のオブジェクト領域以外の画素に張り付けるようにす
る。換言すれば、このことは、VOP0のオブジェクト領
域以外の画素を、VOP1のオブジェクト領域以外の領域
に張り付けることで、参照画像(参照フレーム)を生成
することを意味する。
化された上位レイヤのVOPと同時刻に、下位レイヤのVOP
が存在していない。そのためテンポラルスケーラビリテ
ィでオブジェクト領域外の画素の置換を行う場合、上位
レイヤのVOPを符号化するのに用いた参照フレームから
上位レイヤの画素置換に用いる画像が合成される。即
ち、例えば図17に示すように、図示せぬVOP1(フレ
ーム1)を符号化しようとする場合において、時間的に
その直前のVOP0(フレーム0)をコピーして、上位レ
イヤ置換用画像とする。そして、この上位レイヤ置換用
画像のオブジェクト領域以外の領域の画素を、対象画像
のオブジェクト領域以外の画素に張り付けるようにす
る。換言すれば、このことは、VOP0のオブジェクト領
域以外の画素を、VOP1のオブジェクト領域以外の領域
に張り付けることで、参照画像(参照フレーム)を生成
することを意味する。
【0176】同様に、図18に示すように、対象画像と
してのVOP1の時間的に後のVOP2を、上位レイヤ置換用
画像としてコピーし、このVOP2のオブジェクト領域以
外の画素を、VOP1のオブジェクト領域以外の画素に張
り付けて、参照画像(フレーム画像)を生成するように
してもよい。
してのVOP1の時間的に後のVOP2を、上位レイヤ置換用
画像としてコピーし、このVOP2のオブジェクト領域以
外の画素を、VOP1のオブジェクト領域以外の画素に張
り付けて、参照画像(フレーム画像)を生成するように
してもよい。
【0177】さらにまた、図19に示すように、対象画
像としてのVOP1の前のVOP0のオブジェクト領域以外の
画素と、VOP1の後のVOP2のオブジェクト領域以外の画
素を合成して、上位レイヤ置換用画像を生成し、この合
成したオブジェクト領域以外の画素を、VOP1のオブジ
ェクト領域以外の画素として張り付けるようにして、参
照画像(参照フレーム画像)を生成するようにしてもよ
い。
像としてのVOP1の前のVOP0のオブジェクト領域以外の
画素と、VOP1の後のVOP2のオブジェクト領域以外の画
素を合成して、上位レイヤ置換用画像を生成し、この合
成したオブジェクト領域以外の画素を、VOP1のオブジ
ェクト領域以外の画素として張り付けるようにして、参
照画像(参照フレーム画像)を生成するようにしてもよ
い。
【0178】また、このような場合、画素置換回路23
1において、下位レイヤに対応するkey信号を新たに読
み込み、画素置換に利用することも可能である。
1において、下位レイヤに対応するkey信号を新たに読
み込み、画素置換に利用することも可能である。
【0179】図14では、置換モードを示すフラグfill
_modeに従って置換方法を切り替えるようにしたが、こ
の変形例として、ref_select_codeを用いて置換方法を
切り替えることもできる。この場合の置換方法について
図20を参照して説明する。
_modeに従って置換方法を切り替えるようにしたが、こ
の変形例として、ref_select_codeを用いて置換方法を
切り替えることもできる。この場合の置換方法について
図20を参照して説明する。
【0180】表1に示したように、上位レイヤの符号化
するVOPの予測モードがPピクチャである場合、ref_sel
ect_codeの'11'は、空間スケーラビリティであることを
表す。また、表2に示したように、予測モードがBピク
チャである場合、ref_select_codeの'00'は、空間スケ
ーラビリティであることを表す(ステップS41)。上
位レイヤのVOPの形状が任意形状であり、かつ、下位レ
イヤの形状が長方形である場合、上位レイヤは下位レイ
ヤの一部のみに対応していることがわかる(ステップS
42)。また上位レイヤのVOPの大きさと、対応する下
位レイヤのVOPの大きさをFR倍した大きさとを比較した
場合、上位レイヤのVOPの大きさの方が小さいとき、上
位レイヤは下位レイヤの一部のみに対応していることが
わかる(ステップS43)。
するVOPの予測モードがPピクチャである場合、ref_sel
ect_codeの'11'は、空間スケーラビリティであることを
表す。また、表2に示したように、予測モードがBピク
チャである場合、ref_select_codeの'00'は、空間スケ
ーラビリティであることを表す(ステップS41)。上
位レイヤのVOPの形状が任意形状であり、かつ、下位レ
イヤの形状が長方形である場合、上位レイヤは下位レイ
ヤの一部のみに対応していることがわかる(ステップS
42)。また上位レイヤのVOPの大きさと、対応する下
位レイヤのVOPの大きさをFR倍した大きさとを比較した
場合、上位レイヤのVOPの大きさの方が小さいとき、上
位レイヤは下位レイヤの一部のみに対応していることが
わかる(ステップS43)。
【0181】空間スケーラビリティであり、かつ、上位
レイヤが下位レイヤの一部のみに対応しているとステッ
プS41乃至S43で判定された場合、下位レイヤの解
像度変換後の画素を用いて参照画像の画素の置換を行い
(ステップS44)、それ以外の場合、下位レイヤにお
ける画素置換回路221と同様の置換方法で画素の置換
を行う(ステップS45)。
レイヤが下位レイヤの一部のみに対応しているとステッ
プS41乃至S43で判定された場合、下位レイヤの解
像度変換後の画素を用いて参照画像の画素の置換を行い
(ステップS44)、それ以外の場合、下位レイヤにお
ける画素置換回路221と同様の置換方法で画素の置換
を行う(ステップS45)。
【0182】図11に戻って、フレームメモリ群11で
は画素置換回路231の出力、そのVOP の大きさを示す
フラグ FSZ_E 、絶対座標における位置を示すフラグ FP
OS_E が記録される。
は画素置換回路231の出力、そのVOP の大きさを示す
フラグ FSZ_E 、絶対座標における位置を示すフラグ FP
OS_E が記録される。
【0183】上位レイヤのkey信号はkey信号符号化回路
233によって符号化された後、可変長符号化回路6お
よびkey信号復号化回路234に供給される。可変長符
号化回路6では符号化されたkey信号のビットストリー
ムをビデオのビットストリームの所定の位置に挿入し、
送信バッファ7に供給する。
233によって符号化された後、可変長符号化回路6お
よびkey信号復号化回路234に供給される。可変長符
号化回路6では符号化されたkey信号のビットストリー
ムをビデオのビットストリームの所定の位置に挿入し、
送信バッファ7に供給する。
【0184】key信号復号化回路234に供給されたビ
ットストリームは、ここで復号化される。復号化された
key信号は、動きベクトル検出回路232、動き補償回
路12、画素置換回路231、DCT回路4およびIDCT回
路9に供給される。
ットストリームは、ここで復号化される。復号化された
key信号は、動きベクトル検出回路232、動き補償回
路12、画素置換回路231、DCT回路4およびIDCT回
路9に供給される。
【0185】図1において、上位レイヤ符号化回路20
3および下位レイヤ符号化回路204の出力ビットスト
リームは多重化回路206に入力される。多重化回路2
06は下位レイヤおよび上位レイヤのビットストリーム
を多重化し、その VO のビットストリームとして、図4
6の多重化回路104に出力する。
3および下位レイヤ符号化回路204の出力ビットスト
リームは多重化回路206に入力される。多重化回路2
06は下位レイヤおよび上位レイヤのビットストリーム
を多重化し、その VO のビットストリームとして、図4
6の多重化回路104に出力する。
【0186】図21に、図1のVOP符号化回路103に
対応する VOP 復号化回路112の構成例を示す。ビッ
トストリームは、まず逆多重化回路251に入力され
る。逆多重化回路251では、ビットストリームを逆多
重化し、上位レイヤと下位レイヤのビットストリームに
分離して出力する。
対応する VOP 復号化回路112の構成例を示す。ビッ
トストリームは、まず逆多重化回路251に入力され
る。逆多重化回路251では、ビットストリームを逆多
重化し、上位レイヤと下位レイヤのビットストリームに
分離して出力する。
【0187】下位レイヤのビットストリームはそのまま
下位レイヤ復号化回路254に供給される。また上位レ
イヤのビットストリームは遅延回路252を介して上位
レイヤ復号化回路253に供給される。
下位レイヤ復号化回路254に供給される。また上位レ
イヤのビットストリームは遅延回路252を介して上位
レイヤ復号化回路253に供給される。
【0188】遅延回路252では、上位レイヤのビット
ストリームを、下位レイヤ復号化回路254で1個の V
OP を復号化するのに要する時間だけ遅延した後、上位
レイヤ復号化回路253に供給する。
ストリームを、下位レイヤ復号化回路254で1個の V
OP を復号化するのに要する時間だけ遅延した後、上位
レイヤ復号化回路253に供給する。
【0189】下位レイヤ復号化回路254の構成例を図
22を用いて説明する。なお、同図において、図39と
対応する部分には、同一の符号を付してある。
22を用いて説明する。なお、同図において、図39と
対応する部分には、同一の符号を付してある。
【0190】下位レイヤのビットストリームは、受信バ
ッファ21に一時記憶された後、可変長復号化回路22
に供給される。可変長復号化回路22は、受信バッファ
21より供給されたデータを可変長復号化し、動きベク
トル、予測モードを動き補償回路27に、また、量子化
ステップを逆量子化回路23に、それぞれ出力するとと
もに、復号化された画像データを逆量子化回路23に出
力する。
ッファ21に一時記憶された後、可変長復号化回路22
に供給される。可変長復号化回路22は、受信バッファ
21より供給されたデータを可変長復号化し、動きベク
トル、予測モードを動き補償回路27に、また、量子化
ステップを逆量子化回路23に、それぞれ出力するとと
もに、復号化された画像データを逆量子化回路23に出
力する。
【0191】可変長復号化回路22はまた、 VOP の大
きさを示すフラグ FSZ_B および絶対座標における位置
を示すフラグ FPOS_B を復号化し、動き補償回路27、
フレームメモリ群26および key 信号復号化回路26
2に出力する。フラグFSZ_B および FPOS_B はまた、上
位レイヤ復号化回路253にも供給される。可変長復号
化回路22はまた key 信号ビットストリームを抽出
し、key 信号復号化回路262に供給する。
きさを示すフラグ FSZ_B および絶対座標における位置
を示すフラグ FPOS_B を復号化し、動き補償回路27、
フレームメモリ群26および key 信号復号化回路26
2に出力する。フラグFSZ_B および FPOS_B はまた、上
位レイヤ復号化回路253にも供給される。可変長復号
化回路22はまた key 信号ビットストリームを抽出
し、key 信号復号化回路262に供給する。
【0192】key 信号復号化回路262は可変長復号化
回路22より供給される key 信号ビットストリームを
復号化する。復号化されたkey信号は、IDCT回路24、
動き補償回路27、画素置換回路261に供給される。
さらに、復号化されたkey信号は解像度変換回路255
を介して上位レイヤ復号化回路253にも供給される。
回路22より供給される key 信号ビットストリームを
復号化する。復号化されたkey信号は、IDCT回路24、
動き補償回路27、画素置換回路261に供給される。
さらに、復号化されたkey信号は解像度変換回路255
を介して上位レイヤ復号化回路253にも供給される。
【0193】逆量子化回路23は、可変長復号化回路2
2より供給された画像データを、同じく可変長復号化回
路2Qより供給された量子化ステップに従って逆量子化
し、IDCT回路24に出力する。逆量子化回路23より出
力されたデータ(DCT係数)は、IDCT回路24で、逆DCT
処理され、演算回路25に供給される。
2より供給された画像データを、同じく可変長復号化回
路2Qより供給された量子化ステップに従って逆量子化
し、IDCT回路24に出力する。逆量子化回路23より出
力されたデータ(DCT係数)は、IDCT回路24で、逆DCT
処理され、演算回路25に供給される。
【0194】IDCT回路24より供給された画像データ
が、Iピクチャのデータである場合、そのデータは演算
回路25より出力され、演算回路25に後に入力される
画像データ(PまたはBピクチャのデータ)の予測画像
データ生成のために、画素置換回路261を介してフレ
ームメモリ群26に供給され、記憶される。また、演算
回路25より出力されたデータは、そのまま、再生画像
として、図47の画像再構成回路113に出力される。
が、Iピクチャのデータである場合、そのデータは演算
回路25より出力され、演算回路25に後に入力される
画像データ(PまたはBピクチャのデータ)の予測画像
データ生成のために、画素置換回路261を介してフレ
ームメモリ群26に供給され、記憶される。また、演算
回路25より出力されたデータは、そのまま、再生画像
として、図47の画像再構成回路113に出力される。
【0195】入力ビットストリームがPまたはBピクチ
ャの場合、動き補償回路27は可変長復号化回路22よ
り供給される、動きベクトルおよび予測モードに従っ
て、予測画像を生成し、演算回路25に出力する。演算
回路25では IDCT 回路4より入力される画像データと
動き補償回路27より供給される予測画像データを加算
し、出力画像とする。Pピクチャの場合、演算回路25
の出力はまた、画素置換回路261を介してフレームメ
モリ群26に入力され、記憶され、次に復号化する画像
信号の参照画像とされる。
ャの場合、動き補償回路27は可変長復号化回路22よ
り供給される、動きベクトルおよび予測モードに従っ
て、予測画像を生成し、演算回路25に出力する。演算
回路25では IDCT 回路4より入力される画像データと
動き補償回路27より供給される予測画像データを加算
し、出力画像とする。Pピクチャの場合、演算回路25
の出力はまた、画素置換回路261を介してフレームメ
モリ群26に入力され、記憶され、次に復号化する画像
信号の参照画像とされる。
【0196】画素置換回路261は符号化回路における
画素置換回路221(図8)と同様に(すなわち、図9
のフローチャートに示すように)画素の置換処理を行
う。
画素置換回路221(図8)と同様に(すなわち、図9
のフローチャートに示すように)画素の置換処理を行
う。
【0197】復号化された下位レイヤ画像信号および k
ey 信号は、図21のVOP再構成回路300と解像度変換
回路255に供給される。
ey 信号は、図21のVOP再構成回路300と解像度変換
回路255に供給される。
【0198】復号化された、下位レイヤの画像 VOP の
大きさを示すフラグ FSZ_B および絶対座標における位
置を示すフラグ FPOS_B は、図21の上位レイヤ復号化
回路253及びVOP再構成回路300に供給される。
大きさを示すフラグ FSZ_B および絶対座標における位
置を示すフラグ FPOS_B は、図21の上位レイヤ復号化
回路253及びVOP再構成回路300に供給される。
【0199】図21に戻って、逆多重化回路251にお
いて逆多重化された上位レイヤビットストリームは遅延
回路252を介して上位レイヤ復号化回路253に供給
される。
いて逆多重化された上位レイヤビットストリームは遅延
回路252を介して上位レイヤ復号化回路253に供給
される。
【0200】図23を用いて上位レイヤ復号化回路25
3を説明する。なお、この図においても、図39と対応
する部分には、同一の符号を付してある。
3を説明する。なお、この図においても、図39と対応
する部分には、同一の符号を付してある。
【0201】上位レイヤのビットストリームは、受信バ
ッファ21に一時記憶された後、可変長復号化回路22
に供給される。可変長復号化回路22は、受信バッファ
21より供給されたデータを可変長復号化し、動きベク
トル、予測モードを動き補償回路27に、また、量子化
ステップを逆量子化回路23に、それぞれ出力するとと
もに、復号化された画像データを逆量子化回路23に出
力する。
ッファ21に一時記憶された後、可変長復号化回路22
に供給される。可変長復号化回路22は、受信バッファ
21より供給されたデータを可変長復号化し、動きベク
トル、予測モードを動き補償回路27に、また、量子化
ステップを逆量子化回路23に、それぞれ出力するとと
もに、復号化された画像データを逆量子化回路23に出
力する。
【0202】可変長復号化回路22はまた、 VOP の大
きさを示すフラグ FSZ_E と絶対座標における位置を示
すフラグ FPOS_E を復号化し、動き補償回路27、フレ
ームメモリ群26、および key 信号復号化回路274
に出力する。
きさを示すフラグ FSZ_E と絶対座標における位置を示
すフラグ FPOS_E を復号化し、動き補償回路27、フレ
ームメモリ群26、および key 信号復号化回路274
に出力する。
【0203】可変長復号化回路22はまた、下位レイヤ
の画像 VOP に対する上位レイヤの画像 VOP の大きさ
(解像度)の倍率(1またはそれ以外の倍率)を示すフ
ラグFR を復号化し、動き補償回路27、および図21
における解像度変換回路255に出力する。
の画像 VOP に対する上位レイヤの画像 VOP の大きさ
(解像度)の倍率(1またはそれ以外の倍率)を示すフ
ラグFR を復号化し、動き補償回路27、および図21
における解像度変換回路255に出力する。
【0204】解像度変換回路255は倍率を示すフラグ
FR に従って、復号化された下位レイヤの画像信号及び
key 信号を、フィルタを用いて、解像度変換し、上位
レイヤ復号化回路253中のフレームメモリ群273に
供給する。
FR に従って、復号化された下位レイヤの画像信号及び
key 信号を、フィルタを用いて、解像度変換し、上位
レイヤ復号化回路253中のフレームメモリ群273に
供給する。
【0205】可変長復号化回路22はまた、予測の参照
に用いるレイヤを示すフラグ、ref_layer_id及び ref_s
elect_code を復号化し、動き補償回路27に出力す
る。さらに、可変長復号化回路22は、画素置換モード
を示すフラグfill_modeを復号化し、画素置換回路27
1に供給するとともに、key 信号ビットストリームを抽
出し、key 信号復号化回路274に供給する。
に用いるレイヤを示すフラグ、ref_layer_id及び ref_s
elect_code を復号化し、動き補償回路27に出力す
る。さらに、可変長復号化回路22は、画素置換モード
を示すフラグfill_modeを復号化し、画素置換回路27
1に供給するとともに、key 信号ビットストリームを抽
出し、key 信号復号化回路274に供給する。
【0206】key 信号復号化回路274は可変長復号化
回路22より供給される key 信号ビットストリームを
復号化し、出力する。復号化されたkey信号はIDCT回路
24、動き補償回路27、画素置換回路271に供給さ
れる。
回路22より供給される key 信号ビットストリームを
復号化し、出力する。復号化されたkey信号はIDCT回路
24、動き補償回路27、画素置換回路271に供給さ
れる。
【0207】逆量子化回路23は、可変長復号化回路2
2より供給された画像データを、同じく可変長復号化回
路22より供給された量子化ステップに従って逆量子化
し、IDCT回路24に出力する。逆量子化回路23より出
力されたデータ(DCT係数)は、IDCT回路24で、逆DCT
処理され、演算回路25に供給される。
2より供給された画像データを、同じく可変長復号化回
路22より供給された量子化ステップに従って逆量子化
し、IDCT回路24に出力する。逆量子化回路23より出
力されたデータ(DCT係数)は、IDCT回路24で、逆DCT
処理され、演算回路25に供給される。
【0208】IDCT回路4より供給された画像データが、
Iピクチャのデータである場合、そのデータは演算回路
25より出力され、演算回路25に後に入力される画像
データ(PまたはBピクチャのデータ)の予測画像デー
タ生成のために、画素置換回路271を介してフレーム
メモリ群26に供給され、記憶される。
Iピクチャのデータである場合、そのデータは演算回路
25より出力され、演算回路25に後に入力される画像
データ(PまたはBピクチャのデータ)の予測画像デー
タ生成のために、画素置換回路271を介してフレーム
メモリ群26に供給され、記憶される。
【0209】入力ビットストリームがPまたはBピクチ
ャの場合、動き補償回路27は可変長復号化回路22よ
り供給される、動きベクトル、予測モード、および参照
するレイヤを示すフラグ ref_layer_id、ref_select_co
de に従って、予測画像をフレームメモリ群26または
フレームメモリ群273の画像より生成し、演算回路2
5に出力する。演算回路25では IDCT 回路24より入
力される画像データと動き補償回路27より供給される
予測画像データを加算し、出力画像とする。Pピクチャ
の場合、演算回路25の出力はまた、画素置換回路27
1を介してフレームメモリ群26に入力され、記憶さ
れ、次に復号化する画像信号の参照画像とされる。
ャの場合、動き補償回路27は可変長復号化回路22よ
り供給される、動きベクトル、予測モード、および参照
するレイヤを示すフラグ ref_layer_id、ref_select_co
de に従って、予測画像をフレームメモリ群26または
フレームメモリ群273の画像より生成し、演算回路2
5に出力する。演算回路25では IDCT 回路24より入
力される画像データと動き補償回路27より供給される
予測画像データを加算し、出力画像とする。Pピクチャ
の場合、演算回路25の出力はまた、画素置換回路27
1を介してフレームメモリ群26に入力され、記憶さ
れ、次に復号化する画像信号の参照画像とされる。
【0210】画素置換回路271は符号化装置における
画素置換回路231(図11)と同様に(すなわち、図
14のフローチャートに示すように)、復号化された、
置換モードを示すフラグfill_modeに従って、画素の置
換処理を行う。また、この出力データは、そのまま、再
生画像として、VOP再構成回路300にも出力される。
画素置換回路231(図11)と同様に(すなわち、図
14のフローチャートに示すように)、復号化された、
置換モードを示すフラグfill_modeに従って、画素の置
換処理を行う。また、この出力データは、そのまま、再
生画像として、VOP再構成回路300にも出力される。
【0211】動き補償回路27は倍率を示すフラグFRが
1であり、かつ、ref_select_code= '00' である場合、
下位レイヤの同時刻のVOPから供給される動きベクトル
および予測モードを用いて予測画像を生成し、演算回路
25に出力する。
1であり、かつ、ref_select_code= '00' である場合、
下位レイヤの同時刻のVOPから供給される動きベクトル
および予測モードを用いて予測画像を生成し、演算回路
25に出力する。
【0212】復号化された上位レイヤ画像信号、 key
信号、上位レイヤ VOP の大きさを示すフラグ FSZ_E 、
および絶対座標における位置を示すフラグ FPOS_E は、
VOP再構成回路300に供給される。
信号、上位レイヤ VOP の大きさを示すフラグ FSZ_E 、
および絶対座標における位置を示すフラグ FPOS_E は、
VOP再構成回路300に供給される。
【0213】VOP再構成回路300は、例えば図24に
示すように構成される。VOP再構成回路300には、各
レイヤより画像信号、key信号および、画像の大きさを
示すフラグFSZ、VOPの絶対座における位置を示すフラグ
FPOSがそれぞれ入力される。これらの入力信号は、次段
のスイッチ371−1乃至371−3によりユーザ、ま
たはシステムからの要求どおり選択され、図47に示さ
れる画像選択回路113に出力される。
示すように構成される。VOP再構成回路300には、各
レイヤより画像信号、key信号および、画像の大きさを
示すフラグFSZ、VOPの絶対座における位置を示すフラグ
FPOSがそれぞれ入力される。これらの入力信号は、次段
のスイッチ371−1乃至371−3によりユーザ、ま
たはシステムからの要求どおり選択され、図47に示さ
れる画像選択回路113に出力される。
【0214】図47において画像再構成回路113は V
OP 復号化回路112から供給される、VOP 画像信号、k
ey 信号、VOP の大きさ(解像度)を示すフラグ、絶対
座標における位置を示すフラグに従って、画像信号を再
構成し、外部に出力する。
OP 復号化回路112から供給される、VOP 画像信号、k
ey 信号、VOP の大きさ(解像度)を示すフラグ、絶対
座標における位置を示すフラグに従って、画像信号を再
構成し、外部に出力する。
【0215】図24のVOP再構成回路300を、図42
のVOP再構成回路350と比較して明らかなように、図
24のVOP再構成回路300には、図42における解像
度変換回路351,352と、フレームメモリ群35
3,354が省略されている。これらの回路は、オブジ
ェクト領域以外の領域の画素データの置換処理を行うの
に必要となるものである。しかしながら、図23に示し
たように、本発明の実施の形態の場合、画素置換回路2
71がフレームメモリ群26に画像信号を出力するだけ
でなく、画素置換回路271により画素置換処理が行わ
れた後の画像信号が、そのままVOP再構成回路300に
出力されるようになされている。従って、この出力画像
信号は、オブジェクト領域以外の領域の画素データの置
換処理が既に完了しており、VOP再構成回路300にお
いて解像度変換回路やフレームメモリ群が不要となるの
である。これにより、それだけ構成を簡略化し、低コス
ト化を図ることができる。
のVOP再構成回路350と比較して明らかなように、図
24のVOP再構成回路300には、図42における解像
度変換回路351,352と、フレームメモリ群35
3,354が省略されている。これらの回路は、オブジ
ェクト領域以外の領域の画素データの置換処理を行うの
に必要となるものである。しかしながら、図23に示し
たように、本発明の実施の形態の場合、画素置換回路2
71がフレームメモリ群26に画像信号を出力するだけ
でなく、画素置換回路271により画素置換処理が行わ
れた後の画像信号が、そのままVOP再構成回路300に
出力されるようになされている。従って、この出力画像
信号は、オブジェクト領域以外の領域の画素データの置
換処理が既に完了しており、VOP再構成回路300にお
いて解像度変換回路やフレームメモリ群が不要となるの
である。これにより、それだけ構成を簡略化し、低コス
ト化を図ることができる。
【0216】次に、スケーラブル符号化のシンタクス
を、 MPEG4 VM(Verification Model)を例にして説明す
る。
を、 MPEG4 VM(Verification Model)を例にして説明す
る。
【0217】図25にビットストリームの構成を示す。
VS (Video Session) は1つ又は複数の VO (Video Obje
ct) から構成されるビットストリームの集合である。VS
のシンタクスを図26に示す。
VS (Video Session) は1つ又は複数の VO (Video Obje
ct) から構成されるビットストリームの集合である。VS
のシンタクスを図26に示す。
【0218】図27に VO (Video Object) のシンタク
スを示す。VO は画像全体または画像中の一部の物体の
ビットストリームである。
スを示す。VO は画像全体または画像中の一部の物体の
ビットストリームである。
【0219】図25の VOL (Video Object Layer) は複
数の VOP から構成され、スケーラビリティのためのク
ラスである。VOL のシンタクスを図28に示す。 VOL
は video_object_layer_id に示される番号によって識
別される。例えば、video_object_layer_id = 0である
VOL0 は下位レイヤであり、例えば video_object_layer
_id = 1 である VOL1 は上位レイヤである。スケーラブ
ルのレイヤの数は任意で良い。各 VOL が画像全体であ
るのか、画像の一部の物体であるのかは、video_object
_layer_shape で識別される。video_object_layer_shap
e は VOL の形状を示すフラグで、以下の表3のような
意味を持つ。
数の VOP から構成され、スケーラビリティのためのク
ラスである。VOL のシンタクスを図28に示す。 VOL
は video_object_layer_id に示される番号によって識
別される。例えば、video_object_layer_id = 0である
VOL0 は下位レイヤであり、例えば video_object_layer
_id = 1 である VOL1 は上位レイヤである。スケーラブ
ルのレイヤの数は任意で良い。各 VOL が画像全体であ
るのか、画像の一部の物体であるのかは、video_object
_layer_shape で識別される。video_object_layer_shap
e は VOL の形状を示すフラグで、以下の表3のような
意味を持つ。
【0220】
【表3】
【0221】VOL中のscalability は1ビットのフラグ
で、その VOL が下位レイヤであるのか、上位レイヤで
あるのかを示す。 scalability = 1である場合、その V
OL は下位レイヤであり、それ以外の場合、上位レイヤ
である。
で、その VOL が下位レイヤであるのか、上位レイヤで
あるのかを示す。 scalability = 1である場合、その V
OL は下位レイヤであり、それ以外の場合、上位レイヤ
である。
【0222】ref_layer_id は、自分自身の VOL 以外に
参照画像として用いる VOL の番号を示すフラグであ
る。これは上位レイヤにのみ伝送される。
参照画像として用いる VOL の番号を示すフラグであ
る。これは上位レイヤにのみ伝送される。
【0223】hor_sampling_factor_n, hor_sampling_fa
ctor_m は、下位レイヤの水平方向の長さに対して上位
レイヤの水平方向の長さが何倍であるかを示す(水平方
向の解像度の倍率を示す)。下位レイヤに対する上位レ
イヤの水平方向の大きさは以下の式で与えられる。 hor_sampling_factor_n / hor_sampling_factor_m
ctor_m は、下位レイヤの水平方向の長さに対して上位
レイヤの水平方向の長さが何倍であるかを示す(水平方
向の解像度の倍率を示す)。下位レイヤに対する上位レ
イヤの水平方向の大きさは以下の式で与えられる。 hor_sampling_factor_n / hor_sampling_factor_m
【0224】ver_sampling_factor_n, ver_sampling_fa
ctor_m は、下位レイヤの垂直方向の長さに対して上位
レイヤの垂直方向の長さが何倍であるかを示す(垂直方
向の解像度の倍率を示す)。下位レイヤに対する上位レ
イヤの垂直方向の大きさは以下の式で与えられる。 ver_sampling_factor_n / ver_sampling_factor_m
ctor_m は、下位レイヤの垂直方向の長さに対して上位
レイヤの垂直方向の長さが何倍であるかを示す(垂直方
向の解像度の倍率を示す)。下位レイヤに対する上位レ
イヤの垂直方向の大きさは以下の式で与えられる。 ver_sampling_factor_n / ver_sampling_factor_m
【0225】fill_modeは1ビットのフラグで画素置換
方法を示す。これが1である場合、解像度変換後の下位
レイヤの画像を用いて画素の置換を行う。このフラグは
上位レイヤにおいてのみ伝送される。
方法を示す。これが1である場合、解像度変換後の下位
レイヤの画像を用いて画素の置換を行う。このフラグは
上位レイヤにおいてのみ伝送される。
【0226】図29乃至図31は、 VOP (Video Object
Plane)のシンタクスを示す。VOP_width および VOP_he
ight は、その VOP の大きさを示すフラグである。ま
た、VOP_horizontal_spatial_mc_ref , VOP_vertical_s
patial_mc_ref は絶対座標に対するその VOP の位置を
示すフラグである。
Plane)のシンタクスを示す。VOP_width および VOP_he
ight は、その VOP の大きさを示すフラグである。ま
た、VOP_horizontal_spatial_mc_ref , VOP_vertical_s
patial_mc_ref は絶対座標に対するその VOP の位置を
示すフラグである。
【0227】ref_select_code は forward および back
ward 予測において、 ref_layer_idに基づき、どのレイ
ヤの画像を参照画像として用いるかを示すフラグであ
る。表1および表2にその詳細が示されている。
ward 予測において、 ref_layer_idに基づき、どのレイ
ヤの画像を参照画像として用いるかを示すフラグであ
る。表1および表2にその詳細が示されている。
【0228】なお、図1のVOP符号化回路103を適用
した、図46の画像信号符号化装置の多重化回路104
より出力されたビットストリームは、伝送路に伝送され
る他、光ディスク、磁気ディスク、光磁気ディスクなど
の記録媒体に記録し、図21のVOP復号化回路112を
適用した、図47の画像信号復号化装置により、その記
録媒体から再生したビットストリームを復号化させるよ
うにすることができる。
した、図46の画像信号符号化装置の多重化回路104
より出力されたビットストリームは、伝送路に伝送され
る他、光ディスク、磁気ディスク、光磁気ディスクなど
の記録媒体に記録し、図21のVOP復号化回路112を
適用した、図47の画像信号復号化装置により、その記
録媒体から再生したビットストリームを復号化させるよ
うにすることができる。
【0229】次に第2の実施の形態における画像信号符
号化装置を説明する。図32に第2の実施の形態におけ
る VOP符号化回路308の一例を示す。各VOPの画像お
よびkey信号、VOPの大きさを示すフラグFSZ、VOPの絶対
座標における位置を示すフラグFPOS、任意形状だった場
合に対する形状領域外の置換方法を示すフラグfill_mod
eは、画像信号階層化回路290 に入力される。画像信
号階層化回路290の動作は、3階層のレイヤに出力す
る点を除いて、図1に示す画像信号階層化回路201と
同様である。
号化装置を説明する。図32に第2の実施の形態におけ
る VOP符号化回路308の一例を示す。各VOPの画像お
よびkey信号、VOPの大きさを示すフラグFSZ、VOPの絶対
座標における位置を示すフラグFPOS、任意形状だった場
合に対する形状領域外の置換方法を示すフラグfill_mod
eは、画像信号階層化回路290 に入力される。画像信
号階層化回路290の動作は、3階層のレイヤに出力す
る点を除いて、図1に示す画像信号階層化回路201と
同様である。
【0230】画像信号階層化回路290は、下位レイヤ
のVOPの大きさを示すフラグ FSZ_B、および絶対座標に
おける下位レイヤのVOPの位置を示すフラグ FPOS_B
を、下位レイヤ符号化回路293に出力する。また上位
レイヤ1のVOPの大きさを示すフラグ FSZ_E1、および
絶対座標における上位レイヤ1のVOPの位置を示すフラ
グ FPOS_E1は、遅延回路291を介して上位レイヤ1
符号化回路301に、上位レイヤ2のVOPの大きさを示
すフラグ FSZ_E2、および絶対座標における上位レイヤ
2のVOPの位置を示すフラグ FPOS_E2は、遅延回路30
4を介して上位レイヤ2符号化回路302に、それぞれ
出力される。
のVOPの大きさを示すフラグ FSZ_B、および絶対座標に
おける下位レイヤのVOPの位置を示すフラグ FPOS_B
を、下位レイヤ符号化回路293に出力する。また上位
レイヤ1のVOPの大きさを示すフラグ FSZ_E1、および
絶対座標における上位レイヤ1のVOPの位置を示すフラ
グ FPOS_E1は、遅延回路291を介して上位レイヤ1
符号化回路301に、上位レイヤ2のVOPの大きさを示
すフラグ FSZ_E2、および絶対座標における上位レイヤ
2のVOPの位置を示すフラグ FPOS_E2は、遅延回路30
4を介して上位レイヤ2符号化回路302に、それぞれ
出力される。
【0231】さらに、画像信号階層化回路290は、下
位レイヤのVOPに対する上位レイヤ1のVOPの大きさの倍
率を示すフラグ FR1、および上位レイヤに対し置換方
法を示すフラグfill_mode1を、遅延回路291を介し
て解像度変換回路292および上位レイヤ1符号化回路
301に出力し、同様に、上位レイヤ1のVOPに対する
上位レイヤ2のVOPの大きさの倍率を示すフラグ FR2、
および上位レイヤ2に対し置換方法を示すフラグfill_m
ode2を、遅延回路304を介して解像度変換回路29
2および上位レイヤ1符号化回路301に出力される。
位レイヤのVOPに対する上位レイヤ1のVOPの大きさの倍
率を示すフラグ FR1、および上位レイヤに対し置換方
法を示すフラグfill_mode1を、遅延回路291を介し
て解像度変換回路292および上位レイヤ1符号化回路
301に出力し、同様に、上位レイヤ1のVOPに対する
上位レイヤ2のVOPの大きさの倍率を示すフラグ FR2、
および上位レイヤ2に対し置換方法を示すフラグfill_m
ode2を、遅延回路304を介して解像度変換回路29
2および上位レイヤ1符号化回路301に出力される。
【0232】下位レイヤ符号化回路293は、図1にお
ける下位レイヤ符号化回路204と同様の動作をする。
ける下位レイヤ符号化回路204と同様の動作をする。
【0233】下位レイヤ符号化回路293から出力され
たビットストリームは多重化回路294に、局所復号画
像信号およびkey信号は、解像度変換回路292に、そ
れぞれ入力される。さらに下位レイヤ符号化回路293
から出力された動きベクトル、予測モード、VOPの大き
さを示すフラグFSZ_BおよびVOPの絶対座標上の位置を示
すフラグFPOS_Bが、上位レイヤ1符号化回路301に入
力される。解像度変換回路292、および解像度変換回
路302は、同様の構成の回路であり、図1における解
像度変換回路205と同様の動作をする。
たビットストリームは多重化回路294に、局所復号画
像信号およびkey信号は、解像度変換回路292に、そ
れぞれ入力される。さらに下位レイヤ符号化回路293
から出力された動きベクトル、予測モード、VOPの大き
さを示すフラグFSZ_BおよびVOPの絶対座標上の位置を示
すフラグFPOS_Bが、上位レイヤ1符号化回路301に入
力される。解像度変換回路292、および解像度変換回
路302は、同様の構成の回路であり、図1における解
像度変換回路205と同様の動作をする。
【0234】解像度変換回路292は、遅延回路291
より入力された、下位レイヤと上位レイヤ1のVOPの大
きさの倍率を示すフラグFR1に示される倍率に基づい
て、より下位レイヤの画像の解像度変換を行い、上位レ
イヤ1符号化回路301に出力する。遅延回路291及
び遅延回路304は、同様の構成の回路であり、図1に
おける遅延回路202と同様の動作をする。
より入力された、下位レイヤと上位レイヤ1のVOPの大
きさの倍率を示すフラグFR1に示される倍率に基づい
て、より下位レイヤの画像の解像度変換を行い、上位レ
イヤ1符号化回路301に出力する。遅延回路291及
び遅延回路304は、同様の構成の回路であり、図1に
おける遅延回路202と同様の動作をする。
【0235】上位レイヤ1符号化回路301は図33に
示すように構成されている。なお、図33において、図
11と対応する部分には同一の符号を付してある。上位
レイヤ1符号化回路301は、図11の上位レイヤ符号
化回路203と基本的に同様に動作するが、画素置換回
路231からの出力、及びフレームメモリ群11からの
局所復号画像信号が解像度変換回路303へ出力される
点と、key信号復号化回路234からの出力が、上位レ
イヤ符号化回路302へ出力される点のみが異なる。
示すように構成されている。なお、図33において、図
11と対応する部分には同一の符号を付してある。上位
レイヤ1符号化回路301は、図11の上位レイヤ符号
化回路203と基本的に同様に動作するが、画素置換回
路231からの出力、及びフレームメモリ群11からの
局所復号画像信号が解像度変換回路303へ出力される
点と、key信号復号化回路234からの出力が、上位レ
イヤ符号化回路302へ出力される点のみが異なる。
【0236】上位レイヤ1符号化回路301から出力さ
れたビットストリームは多重化回路294に入力され、
局所復号画像信号およびkey信号は、解像度変換回路3
03に入力される。さらに上位レイヤ1符号化回路30
1から出力された動きベクトル、予測モード、VOPの大
きさを示すフラグおよびVOPの絶対座標上の位置を示す
フラグが、上位レイヤ2符号化回路302に入力され
る。
れたビットストリームは多重化回路294に入力され、
局所復号画像信号およびkey信号は、解像度変換回路3
03に入力される。さらに上位レイヤ1符号化回路30
1から出力された動きベクトル、予測モード、VOPの大
きさを示すフラグおよびVOPの絶対座標上の位置を示す
フラグが、上位レイヤ2符号化回路302に入力され
る。
【0237】解像度変換回路303は、遅延回路304
より入力された、上位レイヤ1と上位レイヤ2のVOPの
大きさの倍率を示すフラグFR2に示される倍率に基づい
て、上位レイヤ1の画像の解像度変換を行い、上位レイ
ヤ2符号化回路302に入力する。
より入力された、上位レイヤ1と上位レイヤ2のVOPの
大きさの倍率を示すフラグFR2に示される倍率に基づい
て、上位レイヤ1の画像の解像度変換を行い、上位レイ
ヤ2符号化回路302に入力する。
【0238】上位レイヤ2符号化回路は、図1における
上位レイヤ符号化回路203と同様のものである。
上位レイヤ符号化回路203と同様のものである。
【0239】上位レイヤ2符号化回路302は、ビット
ストリームを多重化回路294に出力する。多重化回路
294は、下位レイヤ符号化回路293、上位レイヤ1
符号化回路301、および上位レイヤ2符号化回路30
2から入力されたビットストリームの多重化を行い、出
力する。
ストリームを多重化回路294に出力する。多重化回路
294は、下位レイヤ符号化回路293、上位レイヤ1
符号化回路301、および上位レイヤ2符号化回路30
2から入力されたビットストリームの多重化を行い、出
力する。
【0240】多重化回路294は、入力が3系統である
点を除いて、図1における多重化回路206と同様の動
作をする。
点を除いて、図1における多重化回路206と同様の動
作をする。
【0241】図32のVOP符号化回路308による符号
化の例を図34と図35に示す。これらの図は、上位レ
イヤ1を下位レイヤのテンポラルスケーラビリティとし
て符号化し、上位レイヤ2を、上位レイヤ1を空間スケ
ーラブル符号化するか、または、SNRスケーラブル符号
化した例を表している。下位レイヤでは長方形の形状に
符号化され、上位レイヤ1ではその一部の領域のみが符
号化される。さらに上位レイヤ2では、長方形の形状
で、上位レイヤ1での形状領域外の部分まで符号化が行
われる。
化の例を図34と図35に示す。これらの図は、上位レ
イヤ1を下位レイヤのテンポラルスケーラビリティとし
て符号化し、上位レイヤ2を、上位レイヤ1を空間スケ
ーラブル符号化するか、または、SNRスケーラブル符号
化した例を表している。下位レイヤでは長方形の形状に
符号化され、上位レイヤ1ではその一部の領域のみが符
号化される。さらに上位レイヤ2では、長方形の形状
で、上位レイヤ1での形状領域外の部分まで符号化が行
われる。
【0242】即ち、図34の例の場合、下位レイヤ0の
VOP0−1とVOP0−2の間に、上位レイヤ1において
は、2つのVOP1−1とVOP1−2が配置され、上位レイ
ヤ2においては、VOP2−1とVOP2−2が配置されてい
る。VOP1−1では、そのオブジェクト(図中白く示す
人物)が、下位レイヤ0のVOP0−1またはVOP0−2の
少なくともいずれか一方から予測して画像が生成されて
いる。これに対して、その背景画像は、フレーム内補間
されている。
VOP0−1とVOP0−2の間に、上位レイヤ1において
は、2つのVOP1−1とVOP1−2が配置され、上位レイ
ヤ2においては、VOP2−1とVOP2−2が配置されてい
る。VOP1−1では、そのオブジェクト(図中白く示す
人物)が、下位レイヤ0のVOP0−1またはVOP0−2の
少なくともいずれか一方から予測して画像が生成されて
いる。これに対して、その背景画像は、フレーム内補間
されている。
【0243】上位レイヤ1のVOP1−2では、下位レイ
ヤ0のVOP0−1とVOP0−2、または上位レイヤ1のVO
P1−1のうちの最大2つから、オブジェクト(人物)
の画像を予測することができる。背景画像は、VOP1−
1と同様に、フレーム内補間される。
ヤ0のVOP0−1とVOP0−2、または上位レイヤ1のVO
P1−1のうちの最大2つから、オブジェクト(人物)
の画像を予測することができる。背景画像は、VOP1−
1と同様に、フレーム内補間される。
【0244】下位レイヤ0のVOP0−1とVOP0−2は、
いずれも人物と背景画像を含めた全体が1つのオブジェ
クトとして符号化されるが、上位レイヤ1においては、
内部の人物だけが符号化される。
いずれも人物と背景画像を含めた全体が1つのオブジェ
クトとして符号化されるが、上位レイヤ1においては、
内部の人物だけが符号化される。
【0245】上位レイヤ2のVOP2−1は、人物と背景
を含む全体が1つのオブジェクトとして符号化される。
VOP2−2は、上位レイヤ1のVOP1−2の人物と、上位
レイヤ2のVOP2−1から予測される。
を含む全体が1つのオブジェクトとして符号化される。
VOP2−2は、上位レイヤ1のVOP1−2の人物と、上位
レイヤ2のVOP2−1から予測される。
【0246】図35の例は、図34と基本的に同様であ
るが、上位レイヤ1のVOP1−1,VOP1−2の背景が、
下位レイヤ0のVOP0−1とVOP0−2の少なくとも一方
の背景が張り付けられて、生成される。
るが、上位レイヤ1のVOP1−1,VOP1−2の背景が、
下位レイヤ0のVOP0−1とVOP0−2の少なくとも一方
の背景が張り付けられて、生成される。
【0247】このような符号化を行う場合、本実施の形
態では、上位レイヤ1では、形状領域外の画素置換を、
第1の実施の形態と同様に、形状領域外の置換方法を示
すフラグfill_modeに対応して選択でき、その画像を上
位レイヤ2の参照画像として使用することができる。そ
のため、出力画像および上位レイヤ2の参照画像につい
て、下位レイヤからの置換を行わない場合(図34)
と、下位レイヤから置換を行う場合(図35)とを、上
位レイヤ1の置換方法を示すフラグfill_modeにより選
択することが可能である。
態では、上位レイヤ1では、形状領域外の画素置換を、
第1の実施の形態と同様に、形状領域外の置換方法を示
すフラグfill_modeに対応して選択でき、その画像を上
位レイヤ2の参照画像として使用することができる。そ
のため、出力画像および上位レイヤ2の参照画像につい
て、下位レイヤからの置換を行わない場合(図34)
と、下位レイヤから置換を行う場合(図35)とを、上
位レイヤ1の置換方法を示すフラグfill_modeにより選
択することが可能である。
【0248】この点、従来法では、上位レイヤ2におい
て、図34で示されるframe内補間による参照画像しか
得られなかったのと大きく異なる。
て、図34で示されるframe内補間による参照画像しか
得られなかったのと大きく異なる。
【0249】図36に3階層のVOP復号化回路112の
構成例を示す。
構成例を示す。
【0250】逆多重化回路311は、出力が3系統であ
る点を除き、図21に示す逆多重化回路251と同様の
回路であり、その出力は下位レイヤ復号化回路319、
遅延回路316、遅延回路312に出力される。
る点を除き、図21に示す逆多重化回路251と同様の
回路であり、その出力は下位レイヤ復号化回路319、
遅延回路316、遅延回路312に出力される。
【0251】下位レイヤ復号化回路319は、図21に
示す下位レイヤ復号化回路254と同様の動作をする。
下位レイヤ復号化回路319は、VOPの大きさを示すフ
ラグFSZ_Bおよび絶対座標上の位置を示すフラグFPOS_B
を、上位レイヤ1復号化回路およびVOP再構成回路31
4に出力する。また復号画像信号およびkey信号は解像
度変換回路318に出力され、さらに動きベクトルおよ
び予測モードが上位レイヤ1復号化回路317に出力さ
れる。
示す下位レイヤ復号化回路254と同様の動作をする。
下位レイヤ復号化回路319は、VOPの大きさを示すフ
ラグFSZ_Bおよび絶対座標上の位置を示すフラグFPOS_B
を、上位レイヤ1復号化回路およびVOP再構成回路31
4に出力する。また復号画像信号およびkey信号は解像
度変換回路318に出力され、さらに動きベクトルおよ
び予測モードが上位レイヤ1復号化回路317に出力さ
れる。
【0252】解像度変換回路318と解像度変換回路3
15は、図21に示す解像度変換回路255と同様に動
作する。
15は、図21に示す解像度変換回路255と同様に動
作する。
【0253】解像度変換回路318は、上位レイヤ1復
号化回路317より出力された、下位レイヤの拡大率を
示すフラグFR1、および下位レイヤ復号化回路319か
ら出力された下位レイヤの復号画像信号およびkey信号
を入力し、解像度変換後の画像信号およびkey信号を上
位レイヤ1復号化回路317に出力する。
号化回路317より出力された、下位レイヤの拡大率を
示すフラグFR1、および下位レイヤ復号化回路319か
ら出力された下位レイヤの復号画像信号およびkey信号
を入力し、解像度変換後の画像信号およびkey信号を上
位レイヤ1復号化回路317に出力する。
【0254】遅延回路316と遅延回路312は、図2
1に示す遅延回路252と同様に動作する。
1に示す遅延回路252と同様に動作する。
【0255】上位レイヤ1復号化回路317と上位レイ
ヤ2復号化回路313は、図21に示す上位レイヤ復号
化回路253と同様に動作する。
ヤ2復号化回路313は、図21に示す上位レイヤ復号
化回路253と同様に動作する。
【0256】上位レイヤ1復号化回路317は、復号画
像信号およびkey信号を、VOP再構成回路314および解
像度変換回路315に出力し、また上位レイヤ1の大き
さを示すフラグFSZ_E1および上位レイヤ1の絶対座標上
の位置を示すフラグFPOS_E1を、VOP再構成回路314お
よび上位レイヤ2復号化回路313に出力し、動きベク
トルおよび予測モードを上位レイヤ2復号化回路313
に出力する。上位レイヤ2復号化回路313は、復号画
像信号、key信号、VOPの大きさを示すフラグFSZ_E2、VO
Pの絶対座標上の位置を示すフラグFPOS_E2をVOP再構成
回路314に出力する。
像信号およびkey信号を、VOP再構成回路314および解
像度変換回路315に出力し、また上位レイヤ1の大き
さを示すフラグFSZ_E1および上位レイヤ1の絶対座標上
の位置を示すフラグFPOS_E1を、VOP再構成回路314お
よび上位レイヤ2復号化回路313に出力し、動きベク
トルおよび予測モードを上位レイヤ2復号化回路313
に出力する。上位レイヤ2復号化回路313は、復号画
像信号、key信号、VOPの大きさを示すフラグFSZ_E2、VO
Pの絶対座標上の位置を示すフラグFPOS_E2をVOP再構成
回路314に出力する。
【0257】VOP再構成回路314は、図21に示すVOP
再構成回路300と同様に動作する。
再構成回路300と同様に動作する。
【0258】この実施の形態に関するシンタックスは、
第1の実施の形態の場合と同様である。
第1の実施の形態の場合と同様である。
【0259】なお、図32のVOP符号化回路308を適
用した、図46の画像信号符号化装置の多重化回路10
4より出力されたビットストリームは、伝送路に伝送さ
れる他、光ディスク、磁気ディスク、光磁気ディスクな
どの記録媒体に記録し、図36のVOP復号化回路112
を適用した、図47の画像信号復号化装置により、その
記録媒体から再生したビットストリームを復号化させる
ようにすることができる。
用した、図46の画像信号符号化装置の多重化回路10
4より出力されたビットストリームは、伝送路に伝送さ
れる他、光ディスク、磁気ディスク、光磁気ディスクな
どの記録媒体に記録し、図36のVOP復号化回路112
を適用した、図47の画像信号復号化装置により、その
記録媒体から再生したビットストリームを復号化させる
ようにすることができる。
【0260】次に第3の実施の形態における画像信号符
号化装置を説明する。
号化装置を説明する。
【0261】図37は、5階層のスケーラブル符号化を
表した図である。この図ではレイヤ0、レイヤ1、レイ
ヤ2で、第2の実施の形態と同様の階層符号化が行わ
れ、レイヤ0、レイヤ3、レイヤ4において、3階層の
空間スケーラブル符号化が行われる。
表した図である。この図ではレイヤ0、レイヤ1、レイ
ヤ2で、第2の実施の形態と同様の階層符号化が行わ
れ、レイヤ0、レイヤ3、レイヤ4において、3階層の
空間スケーラブル符号化が行われる。
【0262】即ち、図37の例においては、下位レイヤ
0のVOP0−1とVOP0−2の間に、テンポラルスケーラ
ビリティとして、上位レイヤ1において、VOP1−1とV
OP1−2が、また、上位レイヤ2において、VOP2−1
とVOP2−2が、それぞれ配置されている。この構成
は、図35に示した場合と同様である。
0のVOP0−1とVOP0−2の間に、テンポラルスケーラ
ビリティとして、上位レイヤ1において、VOP1−1とV
OP1−2が、また、上位レイヤ2において、VOP2−1
とVOP2−2が、それぞれ配置されている。この構成
は、図35に示した場合と同様である。
【0263】図37の例においては、さらに、空間スケ
ーラビリティとして、VOP0−1と同時刻の上位レイヤ
3にVOP3−1が、そして、上位レイヤ4にVOP4−1
が、それぞれ配置されている。また、VOP0−2と同時
刻の上位レイヤ3にVOP3−2が、また、上位レイヤ4
にVOP4−2が、それぞれ配置されている。
ーラビリティとして、VOP0−1と同時刻の上位レイヤ
3にVOP3−1が、そして、上位レイヤ4にVOP4−1
が、それぞれ配置されている。また、VOP0−2と同時
刻の上位レイヤ3にVOP3−2が、また、上位レイヤ4
にVOP4−2が、それぞれ配置されている。
【0264】上位レイヤ3のVOP3−1は、同時刻の下
位レイヤ0のVOP0−1のオブジェクトの解像度を変換
して、予測が行われ、VOP3−1の背景画像も、VOP0−
1の背景画像を、解像度の変換して張り付けることで生
成されている。上位レイヤ3のVOP3−2のオブジェク
トは、下位レイヤ0のVOP0−2と、上位レイヤ3のVOP
3−1から予測されている。また、VOP3−2の背景
は、VOP0−2の背景を解像度変換して張り付けること
で生成されている。
位レイヤ0のVOP0−1のオブジェクトの解像度を変換
して、予測が行われ、VOP3−1の背景画像も、VOP0−
1の背景画像を、解像度の変換して張り付けることで生
成されている。上位レイヤ3のVOP3−2のオブジェク
トは、下位レイヤ0のVOP0−2と、上位レイヤ3のVOP
3−1から予測されている。また、VOP3−2の背景
は、VOP0−2の背景を解像度変換して張り付けること
で生成されている。
【0265】上位レイヤ4のVOP4−1は、上位レイヤ
3(上位レイヤ4の下位レイヤ)のVOP3−1から予測
されている。上位レイヤ4のVOP4−2は、VOP4−1
と、上位レイヤ3のVOP3−2から予測されている。
3(上位レイヤ4の下位レイヤ)のVOP3−1から予測
されている。上位レイヤ4のVOP4−2は、VOP4−1
と、上位レイヤ3のVOP3−2から予測されている。
【0266】このように、スケーラブル符号化装置にお
いては、3階層以上の多階層の階層符号化を行うことが
可能であり、また共通の下位レイヤから異なるスケーラ
ブル符号化を行うことも可能である。
いては、3階層以上の多階層の階層符号化を行うことが
可能であり、また共通の下位レイヤから異なるスケーラ
ブル符号化を行うことも可能である。
【0267】なお、多階層のVOP符号化回路を適用し
た、図46の画像信号符号化装置の多重化回路104よ
り出力されたビットストリームは、伝送路に伝送される
他、光ディスク、磁気ディスク、光磁気ディスクなどの
記録媒体に記録し、多階層のVOP復号化回路を適用し
た、図47の画像信号復号化装置により、その記録媒体
から再生したビットストリームを復号化させるようにす
ることができる。
た、図46の画像信号符号化装置の多重化回路104よ
り出力されたビットストリームは、伝送路に伝送される
他、光ディスク、磁気ディスク、光磁気ディスクなどの
記録媒体に記録し、多階層のVOP復号化回路を適用し
た、図47の画像信号復号化装置により、その記録媒体
から再生したビットストリームを復号化させるようにす
ることができる。
【0268】また、上記したような処理を行うプログラ
ムをユーザに伝送する伝送媒体としては、磁気ディス
ク、CD-ROM、固体メモリなどの記録媒体の他、ネットワ
ーク、衛星などの通信媒体を利用することができる。
ムをユーザに伝送する伝送媒体としては、磁気ディス
ク、CD-ROM、固体メモリなどの記録媒体の他、ネットワ
ーク、衛星などの通信媒体を利用することができる。
【0269】
【発明の効果】以上のごとく、請求項1に記載の画像信
号復号化装置、請求項3に記載の画像信号復号化方法、
および請求項4に記載の伝送媒体によれば、合成された
上位レイヤの画像物体の外側の画素を、置換情報に対応
して他の画素と置換し、下位レイヤの復号化画像と選択
的に出力するようにしたので、構成を簡略化し、低コス
ト化することが可能となる。
号復号化装置、請求項3に記載の画像信号復号化方法、
および請求項4に記載の伝送媒体によれば、合成された
上位レイヤの画像物体の外側の画素を、置換情報に対応
して他の画素と置換し、下位レイヤの復号化画像と選択
的に出力するようにしたので、構成を簡略化し、低コス
ト化することが可能となる。
【図1】本発明の画像信号符号化装置に適用するVOP符
号化回路の構成例を示すブロック図である。
号化回路の構成例を示すブロック図である。
【図2】上位レイヤと下位レイヤのピクチャの処理を説
明する図である。
明する図である。
【図3】上位レイヤと下位レイヤの画像の関係を説明す
る図である。
る図である。
【図4】上位レイヤと下位レイヤの画像の関係を説明す
る図である。
る図である。
【図5】上位レイヤと下位レイヤの画像の関係を説明す
る図である。
る図である。
【図6】上位レイヤと下位レイヤの画像の関係を説明す
る図である。
る図である。
【図7】上位レイヤと下位レイヤの画像の関係を説明す
る図である。
る図である。
【図8】図1の下位レイヤ符号化回路204の構成例を
示すブロック図である。
示すブロック図である。
【図9】図8の画素置換回路221の動作を説明するフ
ローチャートである。
ローチャートである。
【図10】図9のフローチャートの処理を説明する図で
ある。
ある。
【図11】図1の上位レイヤ符号化回路203の構成例
を示すブロック図である。
を示すブロック図である。
【図12】上位レイヤと下位レイヤのピクチャの処理を
説明する図である。
説明する図である。
【図13】画素置換の処理を説明する図である。
【図14】図11の画素置換回路231の処理を説明す
るフローチャートである。
るフローチャートである。
【図15】画素置換の処理を説明する図である。
【図16】画素置換の処理を説明する図である。
【図17】画素置換の処理を説明する図である。
【図18】画素置換の処理を説明する図である。
【図19】画素置換の処理を説明する図である。
【図20】画素置換の処理を説明するフローチャートで
ある。
ある。
【図21】本発明の画像信号復号化装置に適用されるVO
P復号化回路の構成例を示すブロック図である。
P復号化回路の構成例を示すブロック図である。
【図22】図21の下位レイヤ復号化回路254の構成
例を示すブロック図である。
例を示すブロック図である。
【図23】図21の上位レイヤ復号化回路253の構成
例を示すブロック図である。
例を示すブロック図である。
【図24】図21のVOP再構成回路300の構成例を示
すブロック図である。
すブロック図である。
【図25】ビットストリームの構成を説明する図であ
る。
る。
【図26】Video Sessionのシンタックスを説明する図
である。
である。
【図27】Video Objectのシンタックスを説明する図で
ある。
ある。
【図28】Video Object Layerのシンタックスを説明す
る図である。
る図である。
【図29】Video Object Planeのシンタックスを説明す
る図である。
る図である。
【図30】Video Object Planeのシンタックスを説明す
る図である。
る図である。
【図31】Video Object Planeのシンタックスを説明す
る図である。
る図である。
【図32】本発明の画像信号符号化装置に適用されるVO
P符号化回路の構成例を示すブロック図である。
P符号化回路の構成例を示すブロック図である。
【図33】図32の上位レイヤ1符号化回路301の構
成例を示すブロック図である。
成例を示すブロック図である。
【図34】画素置換の処理を説明する図である。
【図35】画素置換の処理を説明する図である。
【図36】本発明の画像信号復号化装置に適用されるVO
P復号化回路の構成例を示すブロック図である。
P復号化回路の構成例を示すブロック図である。
【図37】画素置換の処理を説明する図である。
【図38】従来の画像信号符号化装置の構成例を示すブ
ロック図である。
ロック図である。
【図39】従来の画像信号復号化装置の構成例を示すブ
ロック図である。
ロック図である。
【図40】従来の画像信号符号化装置の他の構成例を示
すブロック図である。
すブロック図である。
【図41】従来の画像信号復号化装置の他の構成例を示
すブロック図である。
すブロック図である。
【図42】図41のVOP再構成回路350の構成例を示
すブロック図である。
すブロック図である。
【図43】画像の合成を説明する図である。
【図44】画像の合成を説明する図である。
【図45】画像の合成を説明する図である。
【図46】従来の画像信号符号化装置のさらに他の構成
例を示すブロック図である。
例を示すブロック図である。
【図47】従来の画像信号復号化装置のさらに他の構成
例を示すブロック図である。
例を示すブロック図である。
【図48】図46のVOP符号化回路103−0の構成例
を示すブロック図である。
を示すブロック図である。
【図49】図47のVOP復号化回路112−0の構成例
を示すブロック図である。
を示すブロック図である。
【図50】絶対座標を説明する図である。
【図51】画像オブジェクトを説明する図である。
【図52】画像オブジェクトを説明する他の図である。
201 画像信号階層化回路, 202 遅延回路,
203 上位レイヤ符号化回路, 204 下位レイヤ
符号化回路, 205 解像度変換回路, 206 多
重化回路, 251 逆多重化回路, 252 遅延回
路, 253上位レイヤ復号化回路, 254 下位レ
イヤ復号化回路, 255 解像度変換回路
203 上位レイヤ符号化回路, 204 下位レイヤ
符号化回路, 205 解像度変換回路, 206 多
重化回路, 251 逆多重化回路, 252 遅延回
路, 253上位レイヤ復号化回路, 254 下位レ
イヤ復号化回路, 255 解像度変換回路
Claims (4)
- 【請求項1】 画像信号が、複数の画像と、それを合成
する方法を示す信号とに分離して、上位レイヤの画像物
体の外側の画素を、他の画素と置換した参照画像を用い
て符号化されたビットストリームを復号化する画像信号
復号化装置において、 前記ビットストリームから、前記上位レイヤの画像、下
位レイヤの画像、動きベクトル、並びに、置換の方法を
表す置換情報を分離する分離手段と、 前記下位レイヤの画像を復号化する下位レイヤ復号化手
段と、 前記下位レイヤ復号化手段により復号化された画像を記
憶する第1の記憶手段と、 前記上位レイヤの画像を復号化する上位レイヤ復号化手
段と、 前記上位レイヤの予測画像を生成するための画像を記憶
する第2の記憶手段と、 前記動きベクトルを用いて、前記第2の記憶手段に記憶
されている画像に対して動き補償を行い、前記上位レイ
ヤの予測画像を演算する演算手段と、 前記演算手段により演算された予測画像と、前記上位レ
イヤ復号化手段により復号化された画像とを合成する合
成手段と、 前記合成手段により合成された上位レイヤの画像物体の
外側の画素を、前記置換情報に対応して他の画素と置換
する置換手段と、 前記置換手段の出力と前記下位レイヤ復号化手段の出力
を選択して出力する出力手段とを備えることを特徴とす
る画像信号復号化装置。 - 【請求項2】 前記置換手段は、前記合成手段により合
成された上位レイヤの画像物体の外側の画素を、前記第
1の記憶手段に記憶されている下位レイヤの所定の画像
に基づく画素と置換することを特徴とする請求項1に記
載の画像信号復号化装置。 - 【請求項3】 画像信号が、複数の画像と、それを合成
する方法を示す信号とに分離して、上位レイヤの画像物
体の外側の画素を、他の画素と置換した参照画像を用い
て符号化されたビットストリームを復号化する画像信号
復号化方法において、 前記ビットストリームから、前記上位レイヤの画像、下
位レイヤの画像、動きベクトル、並びに、置換の方法を
表す置換情報を分離する分離ステップと、 前記下位レイヤの画像を復号化する下位レイヤ復号化ス
テップと、 前記下位レイヤ復号化ステップにより復号化された画像
を記憶する第1の記憶ステップと、 前記上位レイヤの画像を復号化する上位レイヤ復号化ス
テップと、 前記上位レイヤの予測画像を生成するための画像を記憶
する第2の記憶ステップと、 前記動きベクトルを用いて、前記第2の記憶ステップで
記憶された画像に対して動き補償を行い、前記上位レイ
ヤの予測画像を演算する演算ステップと、 前記演算ステップで演算された予測画像と、前記上位レ
イヤ復号化ステップで復号化された画像とを合成する合
成ステップと、 前記合成ステップで合成された上位レイヤの画像物体の
外側の画素を、前記置換情報に対応して他の画素と置換
する置換ステップと、 前記置換ステップでの出力と前記下位レイヤ復号化ステ
ップでの出力を選択して出力する出力ステップとを備え
ることを特徴とする画像信号復号化方法。 - 【請求項4】 画像信号が、複数の画像と、それを合成
する方法を示す信号とに分離して、上位レイヤの画像物
体の外側の画素を、他の画素と置換した参照画像を用い
て符号化されたビットストリームを復号化するプログラ
ムを伝送する伝送媒体において、 前記ビットストリームから、前記上位レイヤの画像、下
位レイヤの画像、動きベクトル、並びに、置換の方法を
表す置換情報を分離する分離ステップと、 前記下位レイヤの画像を復号化する下位レイヤ復号化ス
テップと、 前記下位レイヤ復号化ステップにより復号化された画像
を記憶する第1の記憶ステップと、 前記上位レイヤの画像を復号化する上位レイヤ復号化ス
テップと、 前記上位レイヤの予測画像を生成するための画像を記憶
する第2の記憶ステップと、 前記動きベクトルを用いて、前記第2の記憶ステップで
記憶された画像に対して動き補償を行い、前記上位レイ
ヤの予測画像を演算する演算ステップと、 前記演算ステップで演算された予測画像と、前記上位レ
イヤ復号化ステップで復号化された画像とを合成する合
成ステップと、 前記合成ステップで合成された上位レイヤの画像物体の
外側の画素を、前記置換情報に対応して他の画素と置換
する置換ステップと、 前記置換ステップでの出力と前記下位レイヤ復号化ステ
ップでの出力を選択して出力する出力ステップとを備え
るプログラムを伝送することを特徴とする伝送媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18950197A JPH1141558A (ja) | 1997-07-15 | 1997-07-15 | 画像信号復号化装置および画像信号復号化方法、並びに伝送媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18950197A JPH1141558A (ja) | 1997-07-15 | 1997-07-15 | 画像信号復号化装置および画像信号復号化方法、並びに伝送媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH1141558A true JPH1141558A (ja) | 1999-02-12 |
Family
ID=16242335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP18950197A Withdrawn JPH1141558A (ja) | 1997-07-15 | 1997-07-15 | 画像信号復号化装置および画像信号復号化方法、並びに伝送媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH1141558A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6965642B2 (en) | 2000-10-31 | 2005-11-15 | Nec Corporation | Method and device for compressing and decompressing moving image data and information recording medium |
JP2009071388A (ja) * | 2007-09-10 | 2009-04-02 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
JP2009089356A (ja) * | 2007-09-10 | 2009-04-23 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
JPWO2015132881A1 (ja) * | 2014-03-04 | 2017-03-30 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム |
-
1997
- 1997-07-15 JP JP18950197A patent/JPH1141558A/ja not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6965642B2 (en) | 2000-10-31 | 2005-11-15 | Nec Corporation | Method and device for compressing and decompressing moving image data and information recording medium |
JP2009071388A (ja) * | 2007-09-10 | 2009-04-02 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
JP2009089356A (ja) * | 2007-09-10 | 2009-04-23 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
US8498483B2 (en) | 2007-09-10 | 2013-07-30 | Fujifilm Corporation | Image processing apparatus, image processing method, and computer readable medium |
JPWO2015132881A1 (ja) * | 2014-03-04 | 2017-03-30 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6330280B1 (en) | Method and apparatus for decoding enhancement and base layer image signals using a predicted image signal | |
US6427027B1 (en) | Picture encoding and/or decoding apparatus and method for providing scalability of a video object whose position changes with time and a recording medium having the same recorded thereon | |
JP4930810B2 (ja) | 画像処理装置、画像処理方法、および記録媒体 | |
US6031575A (en) | Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium | |
KR100880640B1 (ko) | 스케일러블 비디오 신호 인코딩 및 디코딩 방법 | |
KR100878824B1 (ko) | 스케일러블 비디오 신호 인코딩 및 디코딩 방법 | |
KR100883604B1 (ko) | 스케일러블 비디오 신호 인코딩 및 디코딩 방법 | |
JP3371191B2 (ja) | 画像信号の符号化方法及び復号方法、並びに、符号化装置及び復号装置 | |
JP3318707B2 (ja) | 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法、画像信号伝送方法、並びに画像信号記録媒体 | |
KR100878825B1 (ko) | 스케일러블 비디오 신호 인코딩 및 디코딩 방법 | |
JP3344577B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録方法 | |
JP3263901B2 (ja) | 画像信号符号化方法及び装置、画像信号復号化方法及び装置 | |
JPH1141558A (ja) | 画像信号復号化装置および画像信号復号化方法、並びに伝送媒体 | |
JP4499204B2 (ja) | 画像信号多重化装置および方法、並びに伝送媒体 | |
JP3318712B2 (ja) | 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法、画像信号伝送方法、並びに画像信号記録媒体 | |
JP3301375B2 (ja) | 画像信号符号化装置及び方法、画像信号復号装置及び方法 | |
JP3344576B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 | |
JP3263812B2 (ja) | 画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法 | |
AU731425B2 (en) | Picture encoding and decoding | |
AU759435B2 (en) | Picture encoding and decoding | |
JP2000333203A (ja) | 圧縮符号化方法、圧縮復号化方法、圧縮符号化装置及び圧縮復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20041005 |