JP3358620B2 - 画像符号化方法及び画像符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術の分野】本発明は、画像符号化方法
及び画像符号化装置に関し、特に光ディスク、磁気ディ
スク、磁気テープ等の画像記録媒体に動画の映像信号を
蓄積用符号化して記録するシステムや、伝送路を介して
動画の映像信号を伝送するシステム等において使用され
る。

【０００２】

【従来技術】従来、例えばテレビ会議システム、テレビ
電話システム等のように動画の映像信号を遠隔地に伝送
するシステムや、動画の映像信号を光ディスク、磁気デ
ィスク、磁気テープ等の画像記録媒体に記録し、また記
録された動画の映像信号を再生するシステム等におい
て、伝送路（あるいは画像記録媒体）を効率良く利用す
るために、映像信号の有するライン相関やフレーム相関
を利用して映像信号を所謂高能率符号化し、空間軸方向
と時間軸方向の冗長度を落として有意情報のみを伝送
し、伝送効率を高めるようになされている。

【０００３】例えば空間軸方向の符号化処理（以下フレ
ーム内符号化処理という）では、図７Ａに示すように、
映像信号の例えばライン相関を利用するもので、時刻ｔ
１、ｔ２、ｔ３・・・において動画を構成する各画像Ｐ
Ｃ１、ＰＣ２、ＰＣ３・・・を伝送しようとする場合、
伝送処理すべき画像データを、例えば同一走査線内で１
次元符号化したり、例えば画像を複数のブロックに分割
し、各ブロックの画像データを２次元符号化することに
より、データ圧縮を行い、伝送効率を向上させている。

【０００４】また、時間軸方向の符号化処理（以下フレ
ーム間符号化処理という）では、映像信号のフレーム間
相関を利用して例えば所謂予測符号化により、すなわち
図７Ｂに示すように、順次隣り合う画像ＰＣｌ及びＰＣ
２、ＰＣ２及びＰＣ３・・・間の対応する画素毎の画像
データの差分（所謂予測誤差）でなる画像データＰＣ１
２、ＰＣ２３・・・を求め、これらの画像データＰＣ１
２、ＰＣ２３・・・を伝送することにより、データ圧縮
を行い、伝送効率を向上させている。

【０００５】かくして、画像ＰＣ１、ＰＣ２、ＰＣ３・
・・の全ての画像データを伝送する場合と比較して、格
段に少ないデータ量で映像信号を伝送することができ
る。

【０００６】また、上述のフレーム間符号化処理におけ
る予測符号化では、さらに効率を高めるために、例えば
マクロブロック単位で動き補償予測が用いられる。すな
わち、例えば画面中央の人物が移動する場合等、画面中
の動いている物体に対してその動きを検出し、その動き
分だけ前の画像中で予測に用いる画像データの位置を補
正して予測符号化を行うことにより、符号化効率を向上
させることができる。しかし、これでもまだ、物体が移
動して後ろから出現した部分に対しては、多くのデータ
を送らなければならない。そこで、動き補償予測を上述
の前方だけではなく、後方あるいは両者を組み合わせて
行うことにより、さらに符号化効率を高めることができ
る。

【０００７】具体的には、図８Ａに示すように、伝送し
ようとする動画の映像信号ＶＤの第０、第１、第２、第
３・・・番目のフレームのフレームデータＦ０、Ｆ１、
Ｆ２、Ｆ３・・・のマクロブロックにおいて、順次フレ
ーム間に動きベクトルＸ０、Ｘ１、Ｘ２、Ｘ３・・・で
それぞれ表されるような画像の変化があった場合、送信
側の装置は、所定フレーム数（例えば１フレーム）置き
の、すなわち第２、第４・・・番目のフレームを補間フ
レームに指定し、これらの補間フレームに対して、図８
Ｂに示すように、所定の補間フレーム処理により伝送補
間フレームデータＦ２Ｘ、Ｆ４Ｘ・・・を生成する。ま
た、残りの非補間フレームに対して、フレームデータＦ
１、Ｆ３・・・に所定の符号化処理を施して、伝送非補
間フレームデータＦ１Ｘ、Ｆ３Ｘ・・・を生成する。

【０００８】例えば、動き補償されたフレームデータＦ
３とフレームデータＦ２の差分ＳＰ２（予測誤差）、動
き補償されたフレームデータＦ１とフレームデータＦ２
の差分ＳＰ３、動き補償されたフレームデータＦ１、Ｆ
３を補間処理して得られるフレームデータとフレームデ
ータＦ２の差分ＳＰ４をマクロブロック単位でそれぞれ
求め、フレームデータＦ２のマクロブロックＳＰ１とこ
れらの差分の比較を行う。そして、これらのデータＳＰ
１〜ＳＰ４のうちでデータ発生量が最小のデータをマク
ロブロック単位で伝送補間データＦ２Ｘとし、以下同様
にして各補間フレームに対する伝送補間データＦ４Ｘ・
・・を生成する。また、非補間フレームのフレームデー
タＦ１、Ｆ３・・・にそれぞれ、例えばＤＣＴ変換処
理、可変長符号化処理等を施して伝送非補間フレームデ
ータＦ１Ｘ、Ｆ３Ｘ・・・を生成する。

【０００９】そして、これらの伝送非補間フレームデー
タＦ１Ｘ、Ｆ３Ｘ・・・及び伝送補間データＦ２Ｘ、Ｆ
４Ｘ・・・を、動きベクトルＸ０、Ｘ１、Ｘ３・・・の
データとともに、伝送データDATAとして受信側の装置に
伝送する。

【００１０】一方、受信側の装置は、送られてくる伝送
データDATA（伝送非補間フレームデータＦ１Ｘ、Ｆ３Ｘ
・・・、伝送補間データＦ２Ｘ、Ｆ４Ｘ・・・、動きベ
クトルＸ０、Ｘ１、Ｘ３・・・のデータ）に、送信側の
符号化処理に対応した復号化処理を施して、フレームデ
ータＦ０、Ｆ１、Ｆ２、Ｆ３・・・を再生する。この結
果、動き補償予測を前方だけではなく、後方あるいは両
者を組み合わせて行うことにより、さらに符号化効率を
高めることができる。

【００１１】ここで、上述の機能を有する画像符号化装
置と画像復号化装置について説明する。

【００１２】この画像符号化装置６０は、図９に示すよ
うに、入力映像信号ＶＤを輝度信号と色差信号に分離す
る前処理回路６１と、前処理回路６１からの輝度信号、
色差信号をそれぞれディジタル信号に変換するアナログ
／ディジタル（以下Ａ／Ｄという）変換回路６２ａ、６
２ｂと、Ａ／Ｄ変換回路６２ａ、６２ｂからの輝度デー
タ、色差データ（以下これらを画像データという）を記
憶するフレームメモリ群６３と、フレームメモリ群６３
から画像データをブロックフォーマットに従って読み出
すフォーマット変換回路６４と、フォーマット変換回路
６４からのブロックの画像データを高能率符号化するエ
ンコーダ６５とを備える。

【００１３】そして、前処理回路６１は、入力映像信号
ＶＤを輝度信号と色差信号に分離し、Ａ／Ｄ変換回路６
２ａ、６２ｂは、輝度信号、色差信号をそれぞれ８ビッ
トからなる輝度データ、色差データに変換し、フレーム
メモリ群６３は、これらの輝度データ、色差データを記
憶する。

【００１４】フォーマット変換回路６４は、フレームメ
モリ群６３に記憶されている画像データ（輝度データ、
色差データ）を、ブロックフォーマットに従って読み出
し、エンコーダ６５は、この読み出された画像データを
所定の高能率符号化により符号化して、ビットストリー
ムを出力する。

【００１５】そして、このビットストリームは、伝送路
や、光ディスク、磁気ディスク、磁気テープ等の画像記
録媒体からなる伝送メディア７０を介して、画像復号化
装置８０に供給される。

【００１６】この画像復号化装置８０は、上述の図９に
示すように、エンコーダ６５に対応したデコーダ８１
と、デコーダ８１で再生された画像データを、フレーム
フォーマットに変換するフォーマット変換回路８２と、
フォーマット変換回路８２からの画像データを記憶する
フレームメモリ群８３と、フレームメモリ群８３から読
み出された輝度データ、色差データをアナログ信号に変
換するＤ／Ａ変換回路８４ａ、８４ｂと、Ｄ／Ａ変換回
路８４ａ、８４ｂからの輝度信号、色差信号を混合して
出力映像信号を生成する後処理回路８５とを備える。

【００１７】そして、デコーダ８１は、エンコーダ６５
の高能率符号化に対応した復号化によりビットストリー
ムを復号化して、ブロックフォーマットの画像データを
再生し、フォーマット変換回路８２は、この画像データ
をフレームフォーマットに変換してフレームメモリ群８
３に記憶する。

【００１８】Ｄ／Ａ変換回路８４ａ、８４ｂは、フレー
ムメモリ群８３から読み出された輝度データ、色差デー
タをそれぞれ輝度信号、色差信号に変換し、後処理回路
８５は、これらの輝度信号、色差信号を混合して出力映
像信号を生成する。

【００１９】具体的には、前処理回路６１及びＡ／Ｄ変
換回路６２ａ、６２ｂは、上述したように輝度信号及び
色差信号をディジタル信号に変換するとともに、色差信
号に対しては上下左右方向に画素数が輝度信号の１／２
となるようにデータ量を削減した後、時間軸多重化し、
得られる輝度データと色差データをフレームメモリ群６
３に供給する。

【００２０】そして、フレームメモリ群６３からは、上
述したようにブロックフォーマットに従って輝度データ
と色差データが読み出される。すなわち、例えば１フレ
ーム分の画像データは、図１０Ａに示すように、Ｎ個の
スライスに分割され、各スライスが、図１０Ｂに示すよ
うに、Ｍ個のマクロブロックを含むようになされ、各マ
クロブロックは、図１０Ｃに示すように、８×８画素か
らなるブロック単位であって上下左右に隣接する４つの
輝度ブロックの輝度データＹ１、Ｙ２、Ｙ３、Ｙ４と、
これらの４つの輝度ブロックに対応する範囲の８×８画
素からなる色差ブロックの色差データＣｂ、Ｃｒとを含
んでなる。そして、フレームメモリ群６３からは、スラ
イスではマクロブロック単位で画像データが連続し、マ
クロブロック内ではＹ１、Ｙ２、Ｙ３、Ｙ４、Ｃｂ、Ｃ
ｒの順に連続するように輝度データと色差データが読み
出される。このようにしてブロックフォーマットに従っ
て読み出された画像データは、エンコーダ６５に供給さ
れる。

【００２１】エンコーダ６５は、図１１に示すように、
動きベクトル検出回路１０１を備え、この動きベクトル
検出回路１０１は、ブロックフォーマットで供給される
画像データの動きベクトルをマクロブロック単位で検出
する。すなわち、動きベクトル検出回路１０１は、フレ
ームメモリ群６３に記憶された前方原画像及び／又は後
方原画像を用いて、現在の参照画像の動きベクトルをマ
クロブロック単位で検出する。ここで、動きベクトルの
検出は、マクロブロック単位でのフレーム間差分の絶対
値和が最小になるものを、その動きベクトルとする。そ
して、検出された動きベクトルは動き補償回路１１３等
に供給され、マクロブロック単位でのフレーム間差分の
絶対値和はフレーム内／前方／後方／両方向予測判定回
路１０３に供給される。

【００２２】このフレーム内／前方／後方／両方向予測
判定回路１０３は、この値をもとに、参照ブロックの予
測モードを決定し、決定した予測モードに基づいて、マ
クロブロック単位でフレーム内／前方／後方／両方向予
測の切換を行うように予測符号化回路１０４を制御す
る。そして、予測符号化回路１０４は、加算回路１０４
ａ、１０４ｂ、１０４ｃ及び切換スイッチ１０４ｄを備
え、フレーム内符号化モードのときは入力画像データそ
のものを、前方／後方／両方向予測モードのときはそれ
ぞれの予測画像に対する入力画像データの画素毎の差分
（以下差分データという）を選択し、選択したデータを
ＤＣＴ回路１０５に供給する。

【００２３】ＤＣＴ回路１０５は、映像信号の２次元相
関を利用して、入力画像データ又は差分データをブロッ
ク単位でＤＣＴ変換し、得られる係数データを量子化回
路１０６に供給する。

【００２４】量子化回路１０６は、マクロブロック又は
スライス毎に定まる量子化ステップサイズ（量子化スケ
ール）を用いて係数データを量子化し、得られる量子化
データを可変長符号化（以下ＶＬＣ：Variable Length
Codeという）回路１０７及び逆量子化回路１０８に供給
する。ところで、この量子化に用いる量子化ステップサ
イズは、後述する送信バッファメモリ１０９のバッファ
残量をフィードバックすることによって、送信バッファ
メモリ１０９が破綻しない値に決定され、この量子化ス
テップサイズも、ＶＬＣ回路１０７及び逆量子化回路１
０８に供給される。

【００２５】ＶＬＣ回路１０７は、量子化データを、量
子化ステップサイズ、予測モード、動きベクトルととも
に可変長符号化し、伝送データとして送信バッファメモ
リ１０９に供給する。

【００２６】送信バッファメモリ１０９は、伝送データ
を一旦記憶した後、一定のビットレートで読み出すこと
により、伝送データを平滑化してビットストリームとし
て出力するとともに、メモリに残留している残留データ
量に応じてマクロブロック単位の量子化制御信号を量子
化回路１０６にフィードバックして量子化ステップサイ
ズを制御する。これにより送信バッファメモリ１０９
は、ビットストリームとして発生されるデータ量を調整
し、メモリ内に適正な残量（オーバーフロー又はアンダ
ーフローを生じさせないようなデータ量）のデータを維
持する。例えば、送信バッファメモリ１０９のデータ残
量が許容上限にまで増量すると、送信バッファメモリ１
０９は、量子化制御信号によつて量子化回路１０６の量
子化ステップサイズを大きくすることにより、量子化デ
ータのデータ量を低下させる。一方、送信バッファメモ
リ１０９のデータ残量が許容下限まで減量すると、送信
バッファメモリ１０９は、量子化制御信号によつて量子
化回路１０６の量子化ステップサイズを小さくすること
により、量子化データのデータ量を増大させる。

【００２７】このようにして、バッファメモリ１０９か
ら出力されるビットストリームは一定のビットレート
で、上述したように伝送路や、光ディスク、磁気ディス
ク、磁気テープ等の画像記録媒体からなる伝送メディア
７０を介して、画像復号化装置８０に供給される。

【００２８】一方、逆量子化回路１０８は、量子化回路
１０６から供給される量子化データを逆量子化して、上
述のＤＣＴ回路１０５の出力に対応する係数データ（量
子化歪みが加算されている）を再生し、この係数データ
を逆離散余弦変換（以下ＩＤＣＴ：Inverse Discrete C
osine Transformという）回路１１０に供給する。

【００２９】ＩＤＣＴ回路１１０は、係数データをＩＤ
ＣＴ変換して、フレーム内符号化モードでは入力画像デ
ータに対応する画像データを再生し、前方／後方／両方
向予測モードでは予測符号化回路１０４の出力に対応す
る差分データを再生して、加算回路１１１に供給する。
この加算回路１１１には、前方／後方／両方向予測モ
ードのとき、後述する動き補償回路１１３から動き補償
された予測画像データが供給されており、この動き補償
された予測画像データと差分データを加算することによ
り、入力画像データに対応する画像データを再生する。

【００３０】そして、このようにして再生された画像デ
ータは、フレームメモリ１１２に記憶される。すなわ
ち、逆量子化回路１０８〜加算回路１１１は、局部復号
化回路を構成し、予測モードに基づいて、量子化回路１
０６から出力される量子化データを局部復号化し、得ら
れる復号画像を前方予測画像若しくは後方予測画像とし
てフレームメモリ１１２に書き込む。フレームメモリ１
１２は、複数のフレームメモリからなり、フレームメモ
リのバンク切換が行われ、符号化する画像に応じて、単
一のフレームが、前方予測画像データとして出力された
り、後方予測画像データとして出力される。また、両方
向予測の場合は、前方予測画像データと後方予測画像デ
ータが例えば平均化されて出力される。これらの予測画
像データは、後述するデコーダ８１で再生される画像と
全く同一の画像であり、次の処理画像はこの予測画像を
もとに前方／後方／両方向予測符号化が行われる。

【００３１】すなわち、フレームメモリ１１２から読み
出された画像データは動き補償回路１１３に供給され、
この動き補償回路１１３は、動きベクトルに基づいて、
予測画像データに動き補償を施し、動き補償された予測
画像データを予測符号化回路１０４及び加算回路１１１
に供給する。

【００３２】つぎに、デコーダ８１について説明する。

【００３３】デコーダ８１には伝送メディア７０を介し
てビットストリームが入力される。このビットストリー
ムは、図１２に示すように、受信バッファ２０１を介し
て可変長復号化（以下ＩＶＬＣという）回路２０２に入
力される。ＩＶＬＣ回路２０２は、ビットストリームか
ら量子化データ、動きベクトル、予測モード、量子化ス
テップサイズ等を再生する。これらの量子化データと量
子化ステップサイズは逆量子化回路２０３に供給され、
動きベクトルは動き補償回路２０７に供給され、予測モ
ードは加算回路２０５に供給される。

【００３４】逆量子化回路２０３〜加算回路２０５の動
作はエンコーダ６５の局部復号化回路と同じであり、フ
レームメモリ群２０６、動き補償回路２０７の動作はそ
れぞれエンコーダ６５のフレームメモリ１１２、動き補
償回路１１３と同じであり、量子化データ、動きベクト
ル、予測モード、量子化ステップサイズをもとに復号化
が行われる。この結果、加算回路２０５から再生画像デ
ータが出力される。

【００３５】以上のように、従来の装置では、エンコー
ダ６５で発生するビットストリームの符号化ビットレー
トは伝送メディア７０の転送レートにあわせて一定とさ
れ、この制限のもとでデータ発生量、すなわちエンコー
ダ６５における量子化回路１０６の量子化ステップサイ
ズが制御されていた。換言すると、例えば絵柄が複雑な
画像が連続するときは、量子化ステップサイズを大きく
してデータ発生量を抑圧し、逆に単純な絵柄が連続する
ときは、量子化ステップサイズを小さくしてデータ発生
量を増加させることにより、バッファメモリ１０９のオ
ーバーフロー又はアンダーフローを生じさせないように
して固定レートを保持するようになっていた。

【００３６】したがって、従来の装置では複雑な画像が
連続するときは、量子化ステップサイズが大きくされ、
画質が劣化し、単純な画像が連続するときは、量子化ス
テップサイズが小さくされ、全体を通じて均等な画質を
得ることができなかった。

【００３７】また、ビットストリームをデータ容量が限
られている画像記録媒体に記録する場合、絵柄が複雑な
画像に対する極端な画質劣化をさけるためには、この複
雑な画像の画質を損なわないような高いレートの固定レ
ートを全体に対して適用しなければならず、記録時間を
減少させる結果となっていた。

【００３８】

【発明が解決しようとする課題】本発明は、上述したよ
うな実情に鑑みてなされたものであり、本発明の目的
は、例えば絵柄が複雑な画像が連続しても、これらの画
像に対して量子化ステップサイズが従来の装置のように
大きくされることなく、全体を通じて均等な高画質を得
ることができる画像符号化方法及び画像符号化装置を提
供することである。

【００３９】また、本発明の目的は、画像記録媒体に記
録する際に、限られた記録容量を有効に使うことがで
き、画像データを画像記録媒体の記録時間を長くするこ
とができ、さらに、画像記録媒体から全体を通じて均等
な高画質の画像データを再生することができる画像符号
化方法及び画像符号化装置を提供することである。

【００４０】

【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係る画像符号化方法は、入力画像データ
を符号化する画像符号化方法において、入力画像データ
を、複数の画像からなるＧＯＰ毎に符号化して、ＧＯＰ
毎の第１の符号化データを生成するステップと、第１の
符号化データを生成するステップで生成された第１の符
号化データのデータ量に基づいて、ＧＯＰ毎の符号化の
難易度及び複数のＧＯＰの符号化の難易度の総和を求め
るステップと、ＧＯＰ毎の符号化の難易度と複数のＧＯ
Ｐの符号化の難易度の総和の比に従って各ＧＯＰ自身に
割り当てられる割当符号量を、絵柄が複雑な画像を含む
ＧＯＰに対しては多く割り当てられ、絵柄が単純な画像
を含むＧＯＰに対しては少なく割り当てられるように算
出するステップと、ＧＯＰ毎の入力画像データを、ＧＯ
Ｐ自身毎に割り当てられた割当符号量に基づいて符号化
して、第２の符号化データを生成し、ＧＯＰ毎の第２の
符号化データのデータ量がＧＯＰ毎の割当符号量となる
ようにするステップとを有する。

【００４１】本発明に係る画像符号化装置は、入力画像
データを符号化する画像符号化装置において、複数の画
像からなるＧＯＰの複数分の入力画像データを、一定の
量子化ステップサイズを用いて量子化して、第１の符号
化データを生成する第１の符号化手段と、第１の符号化
手段で生成された第１の符号化データのデータ量に基づ
いて、ＧＯＰ毎の符号化の難易度及び複数のＧＯＰの符
号化の難易度の総和を検出し、ＧＯＰ毎の符号化の難易
度と複数のＧＯＰの符号化の難易度の総和の比に従って
各ＧＯＰ自身に割り当てられる割当符号量を、絵柄が複
雑な画像を含むＧＯＰに対しては多く割り当てられ、絵
柄が単純な画像を含むＧＯＰに対しては少なく割り当て
られるように算出する符号化制御手段と、ＧＯＰ毎の入
力画像データを、ＧＯＰ自身毎に割り当てられた割当符
号量に基づいて符号化して、第２の符号化データを生成
し、ＧＯＰ毎の第２の符号化データのデータ量がＧＯＰ
毎の割当符号量となるようにする第２の符号化手段とを
備える。

【００４２】本発明に係る画像符号化方法は、入力画像
データを符号化する画像符号化方法において、複数の画
像の入力画像データを符号化して、画像毎の第１の符号
化データを生成するステップと、第１の符号化データを
生成するステップで生成された第１の符号化データのデ
ータ量に基づいて、画像毎の符号化の難易度及び複数の
画像の難易度の総和を求めるステップと、画像毎の符号
化の難易度と複数の画像の符号化の難易度の総和の比に
従って各画像自身に割り当てられる割当符号量を、絵柄
が複雑な画像に対しては多く割り当てられ、絵柄が単純
な画像に対しては少なく割り当てられるように算出する
ステップと、画像毎の入力画像データを、画像自身毎に
割り当てられた割当符号量に基づいて符号化して、第２
の符号化データを生成し、画像毎の第２の符号化データ
のデータ量が画像毎の割当符号量となるようにするステ
ップとを有する。

【００４３】本発明に係る画像符号化装置は、入力画像
データを符号化する画像符号化装置において、複数の入
力画像データを符号化して、第１の符号化データを生成
する第１の符号化手段と、第１の符号化手段で生成され
た第１の符号化データのデータ量に基づいて、画像毎の
符号化の難易度及び複数の画像の符号化の難易度の総和
を求め、画像毎の符号化の難易度と複数の画像の符号化
の難易度の総和の比に従って各画像自身に割り当てられ
る割当符号量を、絵柄が複雑な画像に対しては多く割り
当てられ、絵柄が単純な画像に対しては少なく割り当て
られるように算出する符号化制御手段と、画像毎の入力
画像データを、画像自身毎に割り当てられた割当符号量
に基づいて符号化して、第２の符号化データを生成し、
画像毎の第２の符号化データのデータ量が画像毎の割当
符号量となるようにする第２の符号化手段とを備える。

【００４４】本発明に係る画像符号化方法は、入力画像
データを符号化する画像符号化方法において、入力画像
データで表される複数の画像のそれぞれの予測モードを
選択するステップと、選択された予測モードに従って、
複数の画像の入力画像データを符号化して、画素毎の第
１の符号化データを生成するステップと、第１の符号化
データを生成するステップで生成された第１の符号化デ
ータのデータ量に基づいて、画像毎の符号化の難易度及
び複数の画像の難易度の総和を求めるステップと、画像
毎の符号化の難易度と複数の画像の難易度の総和の比に
基づいて、各画像自身に割り当てられる割当符号量を算
出するステップと、画像毎の入力画像データを、予測モ
ードを用いるとともに、画像自身毎に割り当てられた割
当符号量に基づいて、符号化して、第２の符号化データ
を生成し、画像毎の第２の符号化データのデータ量が画
像毎の割当符号量となるようにするステップとを有す
る。

【００４５】本発明に係る画像符号化装置は、複数の画
像を表す入力画像データを符号化する画像符号化装置に
おいて、入力画像データで表される複数の画像のそれぞ
れの予測モードを選択する予測判定手段と、選択された
予測モードに従って、複数の画像の入力画像データを符
号化して、画素毎の第１の符号化データを生成する第１
の符号化手段と、第１の符号化手段で生成された第１の
符号化データのデータ量に基づいて、画像毎の符号化の
難易度及び複数の画像の符号化の難易度の総和を求め、
画像毎の符号化の難易度と複数の画像の符号化の難易度
の総和の比に基づいて、各画像自身に割り当てられる割
当符号量を算出する符号化制御手段と、画像毎の入力画
像データを、予測モードを用いるとともに、画像自身毎
に割り当てられた割当符号量に基づいて、符号化して、
第２の符号化データを生成し、画像毎の第２の符号化デ
ータのデータ量が画像毎の割当符号量となるようにする
第２の符号化手段とを備える。

【００４６】本発明に係る画像符号化方法は、入力画像
データを符号化する画像符号化方法において、入力画像
データで表される複数の画像のそれぞれのマクロブロッ
ク毎に、動きベクトルを検出するステップと、複数の画
像の入力画像データを、動きベクトルを用いて符号化
し、画像毎の第１の符号化データを生成するステップ
と、第１の符号化データを生成するステップで生成され
た第１の符号化データのデータ量に基づいて、画像毎の
符号化の難易度及び複数の画像の難易度の総和を求める
ステップと、画像毎の符号化の難易度と複数の画像の難
易度の総和の比に基づいて、各画像自身に割り当てられ
る割当符号量を算出するステップと、画像毎の入力画像
データを、動きベクトルを用いるとともに、画像自身毎
に割り当てられた割当符号量に基づいて、符号化して、
第２の符号化データを生成し、画像毎の第２の符号化デ
ータのデータ量が画像毎の割当符号量となるようにする
ステップとを有する。

【００４７】本発明に係る画像符号化装置は、複数の画
像を表す入力画像データを符号化する画像符号化装置に
おいて、入力画像データで表される複数の画像のそれぞ
れのマクロブロック毎に、動きベクトルを検出する動き
ベクトル検出手段と、複数の画像の入力画像データを、
動きベクトルを用いて符号化し、画像毎の第１の符号化
データを生成する第１の符号化手段と、第１の符号化手
段で生成された第１の符号化データのデータ量に基づい
て、画像毎の符号化の難易度及び複数の画像の符号化の
難易度の総和を求め、画像毎の符号化の難易度と複数の
画像の符号化の難易度の総和の比に基づいて、各画像自
身に割り当てられる割当符号量を算出する符号化制御手
段と、画像毎の入力画像データを、動きベクトルを用い
るとともに、画像自身毎に割り当てられた割当符号量に
基づいて、符号化して、第２の符号化データを生成し、
画像毎の第２の符号化データのデータ量が画像毎の割当
符号量となるようにする第２の符号化手段とを備える。

【００４８】

【発明の実施の形態】以下、本発明に係る画像符号化方
法及び画像符号化装置について、図面を参照しながら説
明する。

【００４９】本発明を適用した画像符号化装置は、例え
ば図１に示すように、入力映像信号を符号化して第１の
符号化データを生成する第１の符号化回路１０と、第１
の符号化回路１０からの第１の符号化データの所定時間
毎のデータ量及び使用可能なデータ総量に基づいて所定
時間毎の符号化レートを求める符号化制御回路３０と、
符号化制御回路３０からの符号化レートに基づいて所定
時間毎に入力映像信号を符号化して第２の符号化データ
を生成する第２の符号化回路４０とを備える。

【００５０】さらに、第１の符号化回路１０は、上述の
図１に示すように、入力映像信号である入力画像データ
を記憶するフレームメモリ群１２と、フレームメモリ群
１２に記憶された画像データに基づいて、入力画像デー
タの動きベクトルを検出する動きベクトル検出回路１１
と、予測画像データを記憶するフレームメモリ２２と、
動きベクトル検出回路１１からの動きベクトルに基づい
て、フレームメモリ２２から読み出された予測画像デー
タに動き補償を施す動き補償回路２３と、動き補償回路
２３からの動き補償された予測画像データに基づいて、
入力画像データを予測符号する予測符号化回路１４と、
予測符号化回路１４からの予測誤差である差分等を符号
化、例えば離散余弦変換（以下ＤＣＴ：Discrete Cosin
e Transformという）して係数データを生成するＤＣＴ
回路１５と、ＤＣＴ回路１５からの係数データを一定の
量子化ステップサイズで量子化して、量子化データを生
成する量子化回路１６と、量子化回路１６からの量子化
データを可変長符号化して、可変長符号データを出力す
る可変長符号化（以下ＶＬＣ：Variable Length Codeと
いう）回路１７と、量子化回路１６からの量子化データ
を逆量子化して係数データを再生する逆量子化回路１８
と、逆量子化回路１８からの係数データを復号化、例え
ば逆離散余弦変換（以下ＩＤＣＴ：Inverse Discrete C
osine Transform変換という）して差分を再生するＩＤ
ＣＴ回路２０と、ＩＤＣＴ回路２０からの差分と動き補
償回路２３からの動き補償された予測画像データを加算
して次の入力画像データに対する予測画像データを生成
し、予測画像データをフレームメモリ２２に供給する加
算回路２１とを備える。

【００５１】また、第２の符号化回路４０は、上述の図
１に示すように、入力画像データを遅延する遅延器４３
と、予測画像データを記憶するフレームメモリ５２と、
動きベクトル検出回路１１からの動きベクトルに基づい
てフレームメモリ５２から読み出された予測画像データ
に動き補償を施す動き補償回路５３と、動き補償回路５
３からの動き補償された予測画像データに基づいて、遅
延器４３で遅延された入力画像データを予測符号化する
予測符号化回路４４と、予測符号化回路４４からの差分
等を符号化、例えばＤＣＴ変換して係数データを生成す
るＤＣＴ回路４５と、符号化制御回路３０からの符号化
レートに基づいて量子化ステップサイズを設定する量子
化スケール設定回路３３と、ＤＣＴ回路４５からの係数
データを量子化スケール設定回路３３からの量子化ステ
ップサイズで量子化して、量子化データを生成する量子
化回路４６と、量子化回路４６からの量子化データを可
変長符号化して、可変長符号データを出力するＶＬＣ回
路４７と、ＶＬＣ回路４７からの可変長符号データを一
旦記憶し、一定のビットレートで出力する送信バッファ
メモリ４９と、量子化回路４６からの量子化データを逆
量子化して係数データを再生する逆量子化回路４８と、
逆量子化回路４８からの係数データを復号化、例えばＩ
ＤＣＴ変換して差分を再生するＩＤＣＴ回路５０と、Ｉ
ＤＣＴ回路５０からの差分と動き補償回路５３からの動
き補償された予測画像データを加算して次の入力画像デ
ータに対する予測画像データを生成し、予測画像データ
をフレームメモリ５２に供給する加算回路５１とを備え
る。

【００５２】そして、この画像符号化装置では、第１の
符号化回路１０により、入力画像データに符号化処理、
例えば予測符号化処理、ＤＣＴ変換処理、一定の量子化
ステップサイズでの量子化処理、可変長符号化処理を施
し、符号化制御回路３０により、得られる第１のビット
ストリームである可変長符号データの所定時間毎のデー
タ量と、例えば光ディスク、磁気ディスク、磁気テープ
等からなる画像記録媒体５５のデータ容量、あるいは伝
送路のビットレート（転送レート）等により定まる使用
可能なデータ総量とに基づいて符号化ビットレートを求
めた後、第２の符号化回路４０により、入力画像データ
に再び予測符号化処理、ＤＣＴ変換処理、量子化処理、
可変長符号化処理を施して、第２のビットストリームで
ある可変長符号データを生成する際に、符号化ビットレ
ートに基づいた量子化ステップサイズで量子化するよう
になっている。

【００５３】すなわち、この画像符号化装置では、例え
ば図２に示すように、ステップＳＴ１において、第１の
符号化回路１０の量子化回路１６は、量子化ステップサ
イズを例えば１としてＤＣＴ回路１５から供給される係
数データを量子化して、量子化データを生成し、符号化
制御回路３０のカウンタ３１は、この量子化データを可
変長符号化して得られる可変長符号データ（第１のビッ
トストリーム）のデータ量を所定時間、例えば１フレー
ム毎に計数して、符号化の難易度（difficulty）を表す
発生符号量をフレーム毎に求める。

【００５４】ステップＳＴ２において、ビットレート演
算回路３２は、フレーム毎の難易度（発生符号量）と、
使用可能なデータ総量に基づいて、フレーム毎に割り当
てられる割当符号量を求める。

【００５５】ステップＳＴ３において、第２の符号化回
路４０の量子化回路４６は、割当符号量に基づいた量子
化ステップサイズにより、ＤＣＴ回路４５から供給され
る係数データを量子化して、量子化データを生成するよ
うになっている。

【００５６】具体的には、入力された画像データは、フ
レームメモリ群１２に一旦記憶される。そして、フレー
ムメモリ群１２からは、従来の技術で述べたようにブロ
ックフォーマットに従って読み出される。

【００５７】動きベクトル検出回路１１は、フレームメ
モリ群１２から必要な画像データを上述のマクロブロッ
ク単位で読み出し、動きベクトルを検出する。すなわ
ち、動きベクトル検出回路１１は、フレームメモリ群１
２に記憶されている前方原画像及び／又は後方原画像を
用いて、現在の参照画像の動きベクトルをマクロブロッ
ク単位で検出する。ここで、動きベクトルの検出は、例
えばマクロブロック単位でのフレーム間差分の絶対値和
が最小になるものを、その動きベクトルとする。そし
て、検出された動きベクトルは動き補償回路２３、５３
等に供給され、マクロブロック単位でのフレーム間差分
の絶対値和はフレーム内／前方／後方／両方向予測判定
回路１３に供給される。

【００５８】フレーム内／前方／後方／両方向予測判定
回路１３は、この値をもとに、参照ブロックの予測モー
ドを決定し、決定した予測モードに基づいて、ブロック
単位でフレーム内／前方／後方／両方向予測の切換を行
うように予測符号化回路１４を制御する。

【００５９】予測符号化回路１４は、上述の図１に示す
ように、加算回路１４ａ、１４ｂ、１４ｃ及び切換スイ
ッチ１４ｄを備え、フレーム内符号化モードのときは入
力画像データそのものを、前方／後方／両方向予測モー
ドのときはそれぞれの予測画像に対する入力画像データ
の画素毎の差分（以下差分データという）を選択し、選
択したデータをＤＣＴ回路１５に供給する。

【００６０】ＤＣＴ回路１５は、映像信号の２次元相関
を利用して、切換スイッチ１４ｄから供給される入力画
像データ又は差分データをブロック単位でＤＣＴ変換
し、得られる係数データを量子化回路１６に供給する。

【００６１】量子化回路１６は、一定の量子化ステップ
サイズ、例えば量子化ステップサイズを１として、ＤＣ
Ｔ回路１５から供給される係数データを量子化し、得ら
れる量子化データをＶＬＣ回路１７及び逆量子化回路１
８に供給する。

【００６２】ＶＬＣ回路１７は、量子化データを、量子
化ステップサイズ、予測モード、動きベクトル等ととも
に可変長符号化し、得られる可変長符号データを第１の
ビットストリームとして符号化制御回路３０に供給す
る。

【００６３】符号化制御回路３０は、上述の図１に示す
ように、ＶＬＣ回路１７から可変長符号データの所定時
間毎のデータ量を計数するカウンタ３１と、カウンタ３
１からのデータ量及び使用可能なデータ総量に基づいて
所定時間当たりの割当符号量を求めるビットレート演算
回路３２とを備える。そして、カウンタ３１は、第１の
ビットストリームのデータ量を所定時間毎、例えば１フ
レーム毎に計数して、難易度をフレーム毎に求め、この
難易度をビットレート演算回路３２に供給する。

【００６４】ビットレート演算回路３２は、このフレー
ム毎の難易度と、使用可能なデータ総量に基づいて、フ
レーム毎に割り当てられる割当符号量すなわちフレーム
時間毎の平均符号化レートを求めるとともに、この割当
符号量を第２の符号化回路４０の量子化スケール設定回
路３３に供給する。

【００６５】具体的には、ビットレート演算回路３２
は、全フレーム数をＮとし、使用可能なデータ総量をＢ
とし、ｉ（ｉ＝０、１、２・・・Ｎ−１）番目のフレー
ムの難易度（発生符号量）をｄ_ｉとし、ｉ番目のフレー
ムに対する割当符号量をｂ_ｉとして、この割当符号量ｂ
_ｉを下記式１に示すように難易度ｄ_ｉに比例させると、
データ総量Ｂは、下記式２に示すように、全フレームの
割当符号量ｂ_ｉを加算することにより求められる。な
お、ａは定数である。

【００６６】

【数９】

【００６７】したがって、定数ａは下記式３により求め
ることができ、この定数ａを式１に代入すると、ｉ番目
のフレームに対する割当符号量ｂ_ｉは、下記式４により
求めることができる。

【００６８】

【数１０】

【００６９】かくして、ビットレート演算回路３２は、
例えば絵柄が複雑な画像のフレームに対しては割当符号
量ｂ_ｉを多くし、逆に単純な絵柄のフレームに対しては
割当符号量ｂ_ｉを少なくする。

【００７０】一方、逆量子化回路１８は、量子化回路１
６から供給される量子化データを、量子化ステップサイ
ズを１として逆量子化して、ＤＣＴ回路１５の出力に対
応した係数データ（量子化歪みが加算されている）を再
生し、この係数データをＩＤＣＴ回路２０に供給する。

【００７１】ＩＤＣＴ回路２０は、係数データをＩＤＣ
Ｔ変換して、フレーム内符号化モードでは予測符号化回
路１４の出力に対応した入力画像データを再生し、前方
／後方／両方向予測モードでは差分データを再生して、
加算回路２１に供給する。

【００７２】加算回路２１には、前方／後方／両方向予
測モードのとき、動き補償回路２３から動き補償された
予測画像データが供給されており、この予測画像データ
とＩＤＣＴ回路２０から供給される差分データを加算す
ることにより、入力画像データに対応した画像データを
再生する。

【００７３】そして、このようにして再生された画像デ
ータは、フレームメモリ２２に予測画像データとして記
憶される。すなわち、逆量子化回路１８〜加算回路２１
は、局部復号化回路を構成し、予測モードに基づいて、
量子化回路１６から出力される量子化データを局部復号
化し、得られる復号画像を前方予測画像若しくは後方予
測画像としてフレームメモリ２２に書き込む。フレーム
メモリ２２は、複数のフレームメモリからなり、フレー
ムメモリのバンク切換が行われ、符号化する画像に応じ
て、例えば単一のフレームが、前方予測画像データとし
て出力されたり、後方予測画像データとして出力され
る。また、前方／後方／両方向予測の場合は、前方予測
画像データと後方予測画像データが例えば平均化されて
出力される。これらの予測画像データは、後述する画像
復号化装置で再生される画像データと全く同一の画像デ
ータであり、次の処理画像はこの予測画像をもとに前方
／後方／両方向予測符号化が行われる。

【００７４】つぎに、第２の符号化回路４０の動作につ
いて説明する。なお、第２の符号化回路４０を構成する
量子化スケール設定回路３３、遅延器４３、量子化回路
４６、送信バッファメモリ４９以外の回路は、上述した
第１の符号化回路１０を構成する回路と同じ動作を行う
ので、説明を省略する。

【００７５】遅延器４３は、入力画像データを、例えば
符号化制御回路３０から符号化制御信号が出力されるま
での時間遅延する。そして、予測符号化回路４４、ＤＣ
Ｔ回路４５において、遅延された入力画像データにフレ
ーム内／前方／後方／両方向予測判定回路１３から供給
される予測モードに従った予測符号化処理、ＤＣＴ変換
処理が施され、係数データが生成される。

【００７６】量子化スケール設定回路３３は、供給され
たフレーム毎の割当符号量から、マクロブロック毎の割
当符号量（例えば、フレーム毎の割当符号量を１フレー
ム中のマクロブロックの数で割ったもの）を求め、送信
バッファメモリ４９からのバッファフィードバックから
検出される、あのマクロブロックにおいて発生した発生
符号量と、このマクロブロック毎の割当符号量の比較を
行う。量子化スケール設定回路３３は、各フレームの符
号化ビットレートと設定されたフレーム時間毎の平均符
号化ビットレートに近づけるため、当該マクロブロック
における発生符号量がマクロブロック毎の割当符号量よ
り大きい場合、次のマクロブロックの発生符号量を抑え
るために次のマクロブロックの量子化ステップサイズを
大きく設定し、当該マクロブロックにおける発生符号量
がマクロブロック毎の割当符号量より小さい場合は、発
生符号量を多くするために次のマクロブロックの量子化
ステップサイズを小さくする。但し、量子化スケール設
定回路３３は、送信バッファメモリ４９からのバッファ
フィードバックが、送信バッファメモリ４９のオーバー
フローが近いことを示す場合、上述の割当符号量と発生
符号量との比較結果によらず、量子化ステップサイズを
大きくしてオーバーフローを抑制し、また、送信バッフ
ァメモリ４９からのバッファフィードバックが、送信バ
ッファメモリ４９のアンダーフローが近いことを示す場
合、上述の割当符号量と発生符号量との比較結果によら
ず、量子化ステップサイズを小さくしてアンダーフロー
を抑制する。なお、上述の説明では、マクロブロック毎
に発生符号量と割当符号量とを比較して、マクロブロッ
ク毎に量子化ステップサイズを切り換えるようにした
が、スライス毎に切換を行うこともできる。また、上述
の説明では、発生符号量を送信バッファメモリ４９の蓄
積量から検出するようにしたが、可変長符号化回路４７
の出力から直接得ることもできる。量子化スケール設定
回路３３は、このようにして設定した量子化ステップサ
イズを量子化回路４６に供給する。

【００７７】量子化回路４６は、上述した量子化スケー
ル設定回路３３から供給される量子化ステップサイズに
より、ＤＣＴ回路４５から供給される係数データを量子
化して、量子化データを生成する。

【００７８】そして、ＶＬＣ回路４７は、量子化回路４
６から供給される量子化データを、量子化スケール設定
回路３３からの量子化ステップサイズ、フレーム内／前
方／後方／両方向予測判定回路１３からの予測モード、
動きベクトル検出回路１１からの動きベクトル等ととも
に可変長符号化し、得られる可変長符号データを第２の
ビットストリームとして送信バッファメモリ４９に供給
する。

【００７９】すなわち、この画像符号化装置では、例え
ば図３に示すように、ステップＳＴ１において、遅延器
４３を介して画像データが入力されると、ステップＳＴ
２において、量子化スケール設定回路３３は、現在符号
化の対象とされているフレームに対する割当符号量を符
号化制御回路３０から読み込み、ステップＳＴ３に進
む。

【００８０】ステップＳＴ３において、予測符号化回路
４４〜ＶＬＣ回路４７は、画像データに予測符号化処
理、ＤＣＴ変換処理を施すとともに、割当符号量に基づ
いた量子化ステップサイズにより係数データを量子化し
た後、可変長符号化し、ステップＳＴ４に進む。

【００８１】ステップＳＴ４において、例えば同一の画
面サイズや同一の転送レートが適用される全フレーム
（シーケンス）に対して符号化処理が終了したかが判断
され、該当するときは終了し、該当しないときはステッ
プＳＴ１に戻る。かくして、フレーム単位で符号化レー
トが変わる可変レート符号化が実現され、絵柄が複雑な
画像（フレーム）が連続しても、これらの画像に対して
量子化ステップサイズが従来の装置のように大きくされ
ることなく、全体を通じて均等な高画質を得ることがで
きる。

【００８２】そして、送信バッファメモリ４９は、可変
長符号データを一旦記憶した後、一定のビットレートで
読み出すことにより、可変長符号データを平滑化してビ
ットストリームとして出力する。そして、送信バッファ
メモリ４９から出力されたビットストリームは、例えば
符号化されたオーディオ信号、同期信号等と多重化さ
れ、更にエラー訂正用のコードが付加され、伝送あるい
は記録に適した所定の変調が加えられた後、例えば伝送
路を介して画像復号化装置に伝送されたり、上述の図１
に示すように、光ディスク、磁気ディスク、磁気テープ
等からなる画像記録媒体５５に記録される。すなわち、
第２の符号化回路４０において、例えば予め複雑な画像
に対しては割当符号量ｂ_ｉを多くして、単純な画像に対
しては割当符号量ｂ_ｉを少なくして可変レート符号化を
行っていることから、従来の装置のように絵柄が複雑な
画像に対して極端な画質劣化をさけるために全体を通じ
て高いレートの固定レートを適用する必要がなく、画像
記録媒体５５の記録時間を長くすることができる。

【００８３】一方、逆量子化回路４８は、量子化回路４
６から供給される量子化データを、上述の量子化回路４
６で用いた量子化ステップサイズにより逆量子化して、
ＤＣＴ回路４５の出力に対応した係数データ（量子化歪
みが加算されている）を再生し、この係数データをＩＤ
ＣＴ回路５０に供給する。すなわち、局部復号化回路を
構成する逆量子化回路４８〜加算回路５１は、量子化回
路４６から出力される量子化データを局部復号化し、得
られる復号画像を前方予測画像若しくは後方予測画像と
してフレームメモリ５２に書き込む。フレームメモリ５
２に記憶された画像データは、次の処理画像に対する予
測画像として使用される。

【００８４】ところで、上述の実施例では、所定時間当
たりの割当符号量すなわち所定時間当たりの平均符号化
レートを、フレームを所定時間としてフレーム毎に得る
ようにしているが、本発明はこれに限定されるものでは
ない。例えば、所謂ＭＰＥＧ（Moving Picture Expert
Group）におけるＧＯＰ（Group of Picture）を所定時
間としてもよい。なお、上述のＭＰＥＧは、所謂ＩＳＯ
（国際標準化機構）とＩＥＣ（国際電気標準会議）のＪ
ＴＣ（Joint Technical Committee）１におけるＳＣ（S
ub Committee）２９のＷＧ（Working Group）１１にお
いて検討されている動画像符号化方式の通称である。

【００８５】すなわち、ＭＰＥＧにおけるＧＯＰは、少
なくとも１枚の所謂Ｉピクチャと、複数枚のＰピクチャ
又はＢピクチャ（非Ｉピクチャ）とから構成される。具
体的には、例えば図４に示すように、１枚のＩピクチャ
と、３ピクチャ周期の４枚のＰピクチャと、１０枚のＢ
ピクチャとから構成されるとすると、符号化制御回路３
０は、ＧＯＰ毎に割当符号量を求める。ここで、Ｉピク
チャとは、フィールド内若しくはフレーム内符号化され
る画像であり、Ｐピクチャとは、前方向からのみ予測可
能とされ、フィールド間若しくはフレーム間符号化され
る画像であり、Ｂピクチャとは、前方向から、後方向か
ら、及び両方向から予測可能とされ、フィールド間若し
くはフレーム間符号化される画像である。

【００８６】そして、第１の符号化回路１０において、
例えば図５に示すように、ＧＯＰを構成するピクチャ数
を周期としてＧＯＰ内の連続する任意の２枚のピクチャ
を仮にＩピクチャ、Ｐピクチャとするとともに、量子化
ステップサイズを例えば１として、これらのＩピクチ
ャ、Ｐピクチャの画像データに予測符号化処理、ＤＣＴ
変換処理、可変長符号化処理を施して、可変長符号デー
タを生成し、この可変長符号データを符号化制御回路３
０に供給する。ここで、２枚のピクチャをＩピクチャ、
Ｐピクチャとするのは、絵柄の複雑さと、フレーム間の
相関性を調べるためであり、Ｉピクチャの発生符号量か
ら絵柄の複雑さを知ることができ、Ｐピクチャの発生符
号量からフレーム間の相関性を知ることができる。一般
的に、連続する複数のフレームは類似した画像をもつた
め、抽出した２枚のピクチャからでも、ＧＯＰの絵柄の
傾向を見ることができる。

【００８７】符号化制御回路３０は、Ｉピクチャのデー
タ量bitＩ_ｊとＰピクチャのデータ量bitＰ_ｊをＧＯＰ毎
に計数するとともに、例えば下記式５に示すように、こ
れらのデータ量bitＩ_ｊ、bitＰ_ｊと、ＧＯＰを構成する
Ｐピクチャの枚数Ｎとに基づいて、難易度（発生符号
量）ＧＯＰｄ_ｊ（ｊ＝０、１、２・・・）をＧＯＰ毎に
求める。

【００８８】 ＧＯＰｄ_ｊ＝bitＩ_ｊ＋Ｎ×bitＰ_ｊ・・・式５ そして、符号化制御回路３０は、このＧＯＰ毎の難易度
（発生符号量）ＧＯＰｄ_ｊと、使用可能なデータ総量に
基づいて、ＧＯＰ毎に割り当てられる割当符号量を求め
るとともに、この割当符号量を第２の符号化回路４０に
供給する。

【００８９】具体的には、全ＧＯＰ数をＭとし、使用可
能なデータ総量をＢとし、ｊ番目のＧＯＰに対する割当
符号量をＧＯＰｂ_ｊとし、この割当符号量ＧＯＰｂ_ｊを
下記式６に示すように難易度に比例させると、データ総
量Ｂは、下記式７に示すように、全ＧＯＰの割当符号量
ＧＯＰｂ_ｊを加算することにより求められる。なお、ａ
は定数である。

【００９０】

【数１１】

【００９１】したがって、定数ａは下記式８により求め
ることができ、この定数ａを式６に代入すると、ｊ番目
のＧＯＰに対する割当符号量ＧＯＰｂ_ｊは、下記式９に
より求めることができる。

【００９２】

【数１２】

【００９３】かくして、符号化制御回路３０は、例えば
絵柄が複雑な画像が含まれるあるいはフレーム間の相関
が低いＧＯＰに対しては割当符号量ＧＯＰｂ_ｊを多く
し、逆に単純な絵柄の画像が含まれるあるいはフレーム
間の相関が高いＧＯＰに対しては割当符号量ＧＯＰｂ_ｊ
を少なくする。

【００９４】つぎに、第２の符号化回路４０は、例えば
図６に示すように、ステップＳＴ１において遅延器４３
を介して画像データが入力されると、ステップＳＴ２に
おいて、現在入力されている画像データがＧＯＰの先頭
ピクチャかを判断し、該当するときはステップＳＴ３に
進み、該当しないときはステップＳＴ４に進む。

【００９５】ステップＳＴ３において、第２の符号化回
路４０は、現在符号化の対象とされているＧＯＰに対す
る割当符号量を符号化制御回路３０から読み込み、ステ
ップＳＴ４に進む。

【００９６】ステップＳＴ４において、第２の符号化回
路４０は、画像データに予測符号化処理、ＤＣＴ変換処
理を施すとともに、割当符号量に基づいた量子化ステッ
プサイズにより係数データを量子化した後、可変長符号
化し、ステップＳＴ５に進む。

【００９７】ここで、量子化スケール設定回路３３は、
供給されたＧＯＰ毎の割当符号量から、フレーム毎の割
当符号量を、実際の符号化におけるピクチャタイプ（Ｉ
ピクチャ、Ｐピクチャ、Ｂピクチャ）、すなわち図４に
示されるピクチャタイプを考慮して設定する。具体的に
は、Ｉピクチャに対する割当符号量を多くし、Ｂピクチ
ャに対する割当符号量を少なくし、Ｐピクチャに対する
割当符号量をその中間とする。量子化スケール設定回路
３３の以降の処理は、上述のフレーム毎に割当符号量を
求めた実施例と同様である。

【００９８】次にステップＳＴ５において、同一の画面
サイズや同一の転送レートが適用される全フレーム（シ
ーケンス）に対して符号化処理が終了したかが判断さ
れ、該当するときは終了し、該当しないときはステップ
ＳＴ１に戻る。かくして、ＧＯＰ単位で符号化レートが
変わる可変レート符号化が実現され、絵柄が複雑な画像
（フレーム）が連続しても、これらの画像に対して量子
化ステップサイズが従来の装置のように大きくされるこ
となく、全体を通じて均等な高画質を得ることができ
る。また、この実施例ではＧＯＰ毎の割当符号量を２つ
のピクチャに基づいて求めていることから、上述の実施
例に比して高速処理が可能である。なお、ＧＯＰ内の全
ピクチャのデータ量に基づいて各ＧＯＰの割当符号量を
求めるようにしてもよいことは言うまでもない。

【００９９】なお、本発明は上述の実施例に限定される
ものではなく、例えば上述の実施例おいては、変換符号
化をＤＣＴとしているが、所謂ストラト変換、ハール変
換、ウエーブレット変換等としてもよい。

【０１００】

【発明の効果】以上の説明で明らかなように、本発明で
は、入力映像信号を符号化、例えば予測符号化、ＤＣＴ
変換、一定の量子化ステップサイズでの量子化、可変長
符号化して第１の符号化データを生成し、この第１の符
号化データの所定時間毎、例えばフレーム毎やＧＯＰ毎
のデータ量に基づいて、フレーム又はＧＯＰ毎の符号化
の難易度、及び複数のフレーム又は複数のＧＯＰの符号
化の難易度の総和を求め、フレーム又はＧＯＰ毎の符号
化の難易度と複数のフレーム又は複数のＧＯＰの符号化
の難易度の総和の比に基づいて、フレーム毎やＧＯＰ毎
の割当符号量を求め、この割当符号量に基づいて所定時
間毎に入力映像信号を符号化して第２の符号化データを
生成することにより、所定時間毎で符号化レートが変わ
る可変レート符号化が実現され、絵柄が複雑な画像（フ
レーム）が連続しても、これらの画像に対して量子化ス
テップサイズが従来の装置のように大きくされることな
く、全体を通じて均等な高画質を得ることができる。

【０１０１】また、上述のようにして得られる第２の符
号化データは可変レートであるため、これを画像記録媒
体に記録することにより、限られた記録容量を有効に使
うことができ、画像記録媒体の記録時間を長くすること
ができる。そして、この画像記録媒体から全体を通じて
均等な高画質の画像データを再生することができる。

【図面の簡単な説明】

【図１】本発明を適用した画像符号化装置の要部の回路
構成を示すブロック図である。

【図２】画像符号化装置を構成する第１の符号化回路の
動作を説明するためのフローチャートである。

【図３】画像符号化装置を構成する第２の符号化回路の
動作を説明するためのフローチャートである。

【図４】ＭＰＥＧにおけるＧＯＰの構成を説明するため
の各ピクチャを示す図である。

【図５】ＧＯＰ毎の符号化制御信号を説明するための各
ピクチャを示す図である。

【図６】画像符号化装置を構成する第２の符号化回路の
動作を説明するためのフローチャートである。

【図７】予測符号化の原理を説明するための画像を示す
図である。

【図８】動き補償予測符号化の原理を説明するための画
像を示す図である。

【図９】画像符号化装置と画像復号化装置の構成を示す
ブロック図である。

【図１０】マクロブロック、スライスの構成を示す図で
ある。

【図１１】従来のエンコーダの回路構成を示すブロック
図である。

【図１２】従来のデコーダの回路構成を示すブロック図
である。

【符号の説明】

１０ 第１の符号化回路、１１ 動きベクトル検出回
路、１２ フレームメモリ群、１３ フレーム内／前方
／後方／両方向予測判定回路、１４ 予測符号化回路、
１５ ＤＣＴ回路１５、１６ 量子化回路、１７ ＶＬ
Ｃ回路、１８ 逆量子化回路、２０ ＩＤＣＴ回路、２
１ 加算回路、２２ フレームメモリ、２３動き補償回
路、３０ 符号化制御回路、３１ カウンタ、３２ ビ
ットレート演算回路、３３ 量子化スケール設定回路、
４０ 第２の符号化回路、４３ 遅延器、４４ 予測符
号化回路、４５ ＤＣＴ回路、４６ 量子化回路、４７
ＶＬＣ回路、４８ 逆量子化回路、４９ 送信バッフ
ァメモリ、５０ ＩＤＣＴ回路、５１ 加算回路、５２
フレームメモリ、５３ 動き補償回路、５５ 画像記
録媒体

Claims (50)

(57)【特許請求の範囲】
1. 【請求項１】 入力画像データを符号化する画像符号化
   方法において、 上記入力画像データを、複数の画像からなるＧＯＰ毎に
   符号化して、ＧＯＰ毎の第１の符号化データを生成する
   ステップと、 上記第１の符号化データを生成するステップで生成され
   た第１の符号化データのデータ量に基づいて、上記ＧＯ
   Ｐ毎の符号化の難易度及び複数のＧＯＰの符号化の難易
   度の総和を求めるステップと、 上記ＧＯＰ毎の符号化の難易度と上記複数のＧＯＰの符
   号化の難易度の総和の比に従って各ＧＯＰ自身に割り当
   てられる割当符号量を、絵柄が複雑な画像を含むＧＯＰ
   に対しては多く割り当てられ、絵柄が単純な画像を含む
   ＧＯＰに対しては少なく割り当てられるように算出する
   ステップと、 上記ＧＯＰ毎の入力画像データを、上記ＧＯＰ自身毎に
   割り当てられた割当符号量に基づいて符号化して、第２
   の符号化データを生成し、上記ＧＯＰ毎の第２の符号化
   データのデータ量が上記ＧＯＰ毎の割当符号量となるよ
   うにするステップとを有する画像符号化方法。
2. 【請求項２】 上記各ＧＯＰに割り当てられる割当符号
   量は、使用可能なデータ総量に、上記複数のＧＯＰの符
   号化の難易度の総和に対する上記ＧＯＰ毎の符号化の難
   易度の比を乗算することによって求められることを特徴
   とする請求項１記載の画像符号化方法。
3. 【請求項３】 上記各ＧＯＰに割り当てられる割当符号
   量は、下記式によって求められることを特徴とする請求
   項２記載の画像符号化方法。 【数１】 ここで、Ｍは、上記ＧＯＰの数であり、ｊは、１〜Ｍ−
   １の整数であり、ＧＯＰｄｊは、ｊ番目のＧＯＰに対す
   る割当符号量であり、Ｂは、伝送路のビットレートによ
   って定まる上記複数のＧＯＰに対する使用可能なデータ
   総量であり、ＧＯＰｄｊは、ｊ番目のＧＯＰの符号化の
   難易度である。
4. 【請求項４】 上記ＧＯＰ毎の符号化の難易度を、上記
   第１の符号化データのデータ量と、各ＧＯＰの各画像の
   ピクチャタイプとの組合せから求めることを特徴とする
   請求項１乃至３のいずれか１項記載の画像符号化方法。
5. 【請求項５】 上記ＧＯＰ毎の符号化の難易度を上記第
   １の符号化データのデータ量とピクチャタイプの組合せ
   から求めるステップは、 画像内符号化される画像のデータ量と、前方予測画像間
   符号化される画像のデータ量とを上記ＧＯＰ毎に求め、 上記画像内符号化される画像の数と、上記前方予測画像
   間符号化される画像の数とを上記ＧＯＰ毎に求め、 上記ＧＯＰ毎の符号化の難易度を、上記画像内符号化さ
   れる画像及び前方予測画像間符号化される画像のデータ
   量と、上記画像内符号化される画像及び前方予測画像間
   符号化される画像の数との組合せから算出することを特
   徴とする請求項４記載の画像符号化方法。
6. 【請求項６】 上記ＧＯＰ毎の符号化の難易度を算出す
   るステップは、上記ＧＯＰ毎の符号化の難易度を、下記
   式に基づいて算出することを特徴とする請求項５記載の
   画像符号化方法。 ＧＯＰｄｊ＝bitＩｊ＋Ｎ×bitＰｊ ここで、ＧＯＰｄｊは、ｊ番目のＧＯＰの符号化の難易
   度であり、bitＩｊは、ｊ番目のＧＯＰの画像内符号化
   される画像の数であり、Ｎは、画像内符号化される画像
   の数であり、bitＰｊは、ｊ番目のＧＯＰの画像内符号
   化される画像のデータ量である。
7. 【請求項７】 上記ＧＯＰ毎の入力画像データをＧＯＰ
   毎の割当符号量に基づいて符号化して、第２の符号化デ
   ータを生成するステップは、 上記算出されたＧＯＰ毎の割当符号量に基づいて、量子
   化ステップサイズを設定し、 上記設定された量子化ステップサイズを用いて、上記入
   力画像データを符号化して、上記割当符号量に従った第
   ２の符号化データを生成することを特徴とする請求項１
   乃至６のいずれか１項記載の画像符号化方法。
8. 【請求項８】 入力画像データを符号化する画像符号化
   装置において、 複数の画像からなるＧＯＰの複数分の入力画像データ
   を、一定の量子化ステップサイズを用いて量子化して、
   第１の符号化データを生成する第１の符号化手段と、 上記第１の符号化手段で生成された第１の符号化データ
   のデータ量に基づいて、上記ＧＯＰ毎の符号化の難易度
   及び複数のＧＯＰの符号化の難易度の総和を検出し、上
   記ＧＯＰ毎の符号化の難易度と上記複数のＧＯＰの符号
   化の難易度の総和の比に従って各ＧＯＰ自身に割り当て
   られる割当符号量を、絵柄が複雑な画像を含むＧＯＰに
   対しては多く割り当てられ、絵柄が単純な画像を含むＧ
   ＯＰに対しては少なく割り当てられるように算出する符
   号化制御手段と、 上記ＧＯＰ毎の入力画像データを、上記ＧＯＰ自身毎に
   割り当てられた割当符号量に基づいて符号化して、第２
   の符号化データを生成し、上記ＧＯＰ毎の第２の符号化
   データのデータ量が上記ＧＯＰ毎の割当符号量となるよ
   うにする第２の符号化手段とを備える画像符号化装置。
9. 【請求項９】 上記符号化制御手段は、上記各ＧＯＰに
   割り当てられる割当符号量を、使用可能なデータ総量
   に、上記複数のＧＯＰの符号化の難易度の総和に対する
   上記ＧＯＰ毎の符号化の難易度の比を乗算することによ
   って求めることを特徴とする請求項８記載の画像符号化
   装置。
10. 【請求項１０】 上記符号化制御手段は、上記ＧＯＰ毎
    の符号化の難易度を、上記第１の符号化データのデータ
    量と、各ＧＯＰの各画像のピクチャタイプとの組合せか
    ら求めることを特徴とする請求項８又は９記載の画像符
    号化装置。
11. 【請求項１１】 上記符号化制御手段は、 画像内符号化される画像のデータ量と、前方予測画像間
    符号化される画像のデータ量とを上記ＧＯＰ毎に求め、 上記画像内符号化される画像の数と、上記前方予測画像
    間符号化される画像の数とを上記ＧＯＰ毎に求め、 上記ＧＯＰ毎の符号化の難易度を、上記画像内符号化さ
    れる画像及び前方予測画像間符号化される画像のデータ
    量と、上記画像内符号化される画像及び前方予測画像間
    符号化される画像の数との組合せから算出することを特
    徴とする請求項１０記載の画像符号化装置。
12. 【請求項１２】 上記符号化制御手段は、上記算出され
    たＧＯＰ毎の割当符号量に基づいて、量子化ステップサ
    イズを設定し、 上記第２の符号化手段は、上記符号化制御手段によって
    設定された量子化ステップサイズを用いて、上記入力画
    像データを符号化して、上記割当符号量に従った第２の
    符号化データを生成することを特徴とする請求項１１記
    載の画像符号化装置。
13. 【請求項１３】 上記符号化制御手段は、上記ＧＯＰ毎
    の符号化の難易度を、下記式に基づいて算出することを
    特徴とする請求項１２記載の画像符号化装置。 ＧＯＰｄｊ＝bitＩｊ＋Ｎ×bitＰｊ ここで、ＧＯＰｄｊは、ｊ番目のＧＯＰの符号化の難易
    度であり、bitＩｊは、ｊ番目のＧＯＰの画像内符号化
    される画像の数であり、Ｎは、画像内符号化される画像
    の数であり、bitＰｊは、ｊ番目のＧＯＰの画像内符号
    化される画像のデータ量である。
14. 【請求項１４】 上記符号化制御手段は、上記各ＧＯＰ
    に割り当てられる割当符号量を、下記式によって求める
    ことを特徴とする請求項９記載の画像符号化装置。 【数２】 ここで、Ｍは、上記ＧＯＰの数であり、ｊは、１〜Ｍ−
    １の整数であり、ＧＯＰｄｊは、ｊ番目のＧＯＰに対す
    る割当符号量であり、Ｂは、伝送路のビットレートによ
    って定まる上記複数のＧＯＰに対する使用可能なデータ
    総量であり、ＧＯＰｄｊは、ｊ番目のＧＯＰの符号化の
    難易度である。
15. 【請求項１５】 入力画像データを符号化する画像符号
    化方法において、複数の画像の上記入力画像データを符
    号化して、画像毎の第１の符号化データを生成するステ
    ップと、 上記第１の符号化データを生成するステップで生成され
    た第１の符号化データのデータ量に基づいて、上記画像
    毎の符号化の難易度及び複数の画像の難易度の総和を求
    めるステップと、 上記画像毎の符号化の難易度と上記複数の画像の符号化
    の難易度の総和の比に従って各画像自身に割り当てられ
    る割当符号量を、絵柄が複雑な画像に対しては多く割り
    当てられ、絵柄が単純な画像に対しては少なく割り当て
    られるように算出するステップと、 上記画像毎の入力画像データを、上記画像自身毎に割り
    当てられた割当符号量に基づいて符号化して、第２の符
    号化データを生成し、上記画像毎の第２の符号化データ
    のデータ量が上記画像毎の割当符号量となるようにする
    ステップとを有する画像符号化方法。
16. 【請求項１６】 上記各画像に割り当てられる割当符号
    量を算出するステップは、 所定時間内の複数の画像に対して使用可能なデータ総量
    を、上記複数の画像の符号化の難易度の総和に対する各
    画像の難易度の比で比例配分することを特徴とする請求
    項１５記載の画像符号化方法。
17. 【請求項１７】 上記各画像に割り当てられる割当符号
    量は、下記式によって求められることを特徴とする請求
    項１６記載の画像符号化方法。 【数３】 ここで、Ｎは、上記複数の画像の数であり、ｉは、１〜
    Ｎ−１の整数であり、ｂｉは、ｉ番目の画像に対する割
    当符号量であり、Ｂは、上記複数の画像に対応したデー
    タ総量であり、ｄｉは、ｉ番目の画像の符号化の難易度
    である。
18. 【請求項１８】 上記各画像の割当符号量から、上記入
    力画像データを画像毎に符号化して第２の符号化データ
    を生成する際に用いられる量子化ステップサイズを求め
    るステップを有することを特徴とする請求項１５乃至１
    ７のいずれか１項記載の画像符号化方法。
19. 【請求項１９】 上記量子化ステップサイズは、上記各
    画像を複数に分割したマクロブロック毎に設定され、該
    量子化ステップサイズは、上記マクロブロックの割当符
    号量が上記第１の符号化データの対応するマクロブロッ
    クのデータ量よりも小さいときは、上記第２の符号化デ
    ータのデータ量が少なくなるように、より大きな値に設
    定され、上記マクロブロックの割当符号量が上記第１の
    符号化データの対応するマクロブロックのデータ量より
    も大きいときは、上記第２の符号化データのデータ量が
    多くなるように、より小さな値に設定されることを特徴
    とする請求項１８記載の画像符号化方法。
20. 【請求項２０】 入力画像データを符号化する画像符号
    化装置において、 複数の上記入力画像データを符号化して、第１の符号化
    データを生成する第１の符号化手段と、 上記第１の符号化手段で生成された第１の符号化データ
    のデータ量に基づいて、上記画像毎の符号化の難易度及
    び複数の画像の符号化の難易度の総和を求め、上記画像
    毎の符号化の難易度と上記複数の画像の符号化の難易度
    の総和の比に従って各画像自身に割り当てられる割当符
    号量を、絵柄が複雑な画像に対しては多く割り当てら
    れ、絵柄が単純な画像に対しては少なく割り当てられる
    ように算出する符号化制御手段と、 上記画像毎の入力画像データを、上記画像自身毎に割り
    当てられた割当符号量に基づいて符号化して、第２の符
    号化データを生成し、上記画像毎の第２の符号化データ
    のデータ量が上記画像毎の割当符号量となるようにする
    第２の符号化手段とを備える画像符号化装置。
21. 【請求項２１】 上記符号化制御手段は、 上記第１の符号化データのデータ量を検出する検出手段
    と、 所定時間内の複数の画像に対して使用可能なデータ総量
    を、上記複数の画像の符号化の難易度の総和に対する各
    画像の難易度の比で比例配分することによって、上記各
    画像に割り当てられる割当符号量を算出する演算手段と
    を備えることを特徴とする請求項２０記載の画像符号化
    装置。
22. 【請求項２２】 上記演算手段は、上記データ総量を、
    下記式に従って上記各画像に割り当てることを特徴とす
    る請求項２１記載の画像符号化装置。 【数４】 ここで、Ｎは、上記複数の画像の数であり、ｉは、１〜
    Ｎ−１の整数であり、ｂｉは、ｉ番目の画像に対する割
    当符号量であり、Ｂは、上記複数の画像に対応したデー
    タ総量であり、ｄｉは、ｉ番目の画像の符号化の難易度
    である。
23. 【請求項２３】 上記符号化制御手段は、 上記演算手段に接続され、上記各画像の割当符号量か
    ら、上記入力画像データを画像毎に符号化して第２の符
    号化データを生成する際に用いられる量子化ステップサ
    イズを求める量子化スケール設定手段を備えることを特
    徴とする請求項２０乃至２２のいずれか１項記載の画像
    符号化装置。
24. 【請求項２４】 上記量子化スケール設定手段は、上記
    量子化ステップサイズを、上記各画像を複数に分割した
    マクロブロック毎に求めるとともに、該量子化ステップ
    サイズを、上記マクロブロックの割当符号量が上記第１
    の符号化データの対応するマクロブロックのデータ量よ
    りも小さいときは、上記第２の符号化データのデータ量
    が少なくなるように、より大きな値に設定し、上記マク
    ロブロックの割当符号量が上記第１の符号化データの対
    応するマクロブロックのデータ量よりも大きいときは、
    上記第２の符号化データのデータ量が多くなるように、
    より小さな値に設定することを特徴とする請求項２０記
    載の画像符号化装置。
25. 【請求項２５】 入力画像データを符号化する画像符号
    化方法において、 上記入力画像データで表される複数の画像のそれぞれの
    予測モードを選択するステップと、 上記選択された予測モードに従って、上記複数の画像の
    入力画像データを符号化して、画素毎の第１の符号化デ
    ータを生成するステップと、 上記第１の符号化データを生成するステップで生成され
    た第１の符号化データのデータ量に基づいて、上記画像
    毎の符号化の難易度及び複数の画像の難易度の総和を求
    めるステップと、 上記画像毎の符号化の難易度と上記複数の画像の難易度
    の総和の比に基づいて、各画像自身に割り当てられる割
    当符号量を算出するステップと、 上記画像毎の入力画像データを、上記予測モードを用い
    るとともに、上記画像自身毎に割り当てられた割当符号
    量に基づいて、符号化して、第２の符号化データを生成
    し、上記画像毎の第２の符号化データのデータ量が上記
    画像毎の割当符号量となるようにするステップとを有す
    る画像符号化方法。
26. 【請求項２６】 上記複数の画像のそれぞれのマクロブ
    ロック毎に、動きベクトルを検出するステップを有し、 上記入力画像データを符号化して、第１の符号化データ
    を生成するステップは、上記動きベクトルを用いて、上
    記入力画像データを符号化し、上記入力画像データを符
    号化して、第２の符号化データを生成するステップは、
    上記予測モードと動きベクトルを用いて、上記入力画像
    データを符号化することを特徴とする請求項２５記載の
    画像符号化方法。
27. 【請求項２７】 上記各画像に割り当てられる割当符号
    量を算出するステップは、 所定時間内の複数の画像に対して使用可能なデータ総量
    を、上記複数の画像の符号化の難易度の総和に対する各
    画像の難易度の比で比例配分し、上記割当符号量が、絵
    柄が複雑な画像に対しては多く割り当てられ、絵柄が単
    純な画像に対しては少なく割り当てられることを特徴と
    する請求項２５又は２６記載の画像符号化方法。
28. 【請求項２８】 上記各画像に割り当てられる割当符号
    量は、下記式によって求められることを特徴とする請求
    項２７記載の画像符号化方法。 【数５】 ここで、Ｎは、上記複数の画像の数であり、ｉは、１〜
    Ｎ−１の整数であり、ｂｉは、ｉ番目の画像に対する割
    当符号量であり、Ｂは、上記複数の画像に対応したデー
    タ総量であり、ｄｉは、ｉ番目の画像の符号化の難易度
    である。
29. 【請求項２９】 上記各画像の割当符号量から、上記入
    力画像データを画像毎に符号化して第２の符号化データ
    を生成する際に用いられる量子化ステップサイズを求め
    るステップを有することを特徴とする請求項２５乃至２
    ８のいずれか１項記載の画像符号化方法。
30. 【請求項３０】 上記量子化ステップサイズは、上記各
    画像を複数に分割したマクロブロック毎に設定され、該
    量子化ステップサイズは、上記マクロブロックの割当符
    号量が上記第１の符号化データの対応するマクロブロッ
    クのデータ量よりも小さいときは、上記第２の符号化デ
    ータのデータ量が少なくなるように、より大きな値に設
    定され、上記マクロブロックの割当符号量が上記第１の
    符号化データの対応するマクロブロックのデータ量より
    も大きいときは、上記第２の符号化データのデータ量が
    多くなるように、より小さな値に設定されることを特徴
    とする請求項２６又は２９記載の画像符号化方法。
31. 【請求項３１】 複数の画像を表す入力画像データを符
    号化する画像符号化装置において、 上記入力画像データで表される複数の画像のそれぞれの
    予測モードを選択する予測判定手段と、 上記選択された予測モードに従って、複数の画像の上記
    入力画像データを符号化して、画素毎の第１の符号化デ
    ータを生成する第１の符号化手段と、 上記第１の符号化手段で生成された第１の符号化データ
    のデータ量に基づいて、上記画像毎の符号化の難易度及
    び複数の画像の符号化の難易度の総和を求め、上記画像
    毎の符号化の難易度と上記複数の画像の符号化の難易度
    の総和の比に基づいて、各画像自身に割り当てられる割
    当符号量を算出する符号化制御手段と、 上記画像毎の入力画像データを、上記予測モードを用い
    るとともに、上記画像自身毎に割り当てられた割当符号
    量に基づいて、符号化して、第２の符号化データを生成
    し、上記画像毎の第２の符号化データのデータ量が上記
    画像毎の割当符号量となるようにする第２の符号化手段
    とを備える画像符号化装置。
32. 【請求項３２】 上記複数の画像のそれぞれのマクロブ
    ロック毎に、動きベクトルを検出する動きベクトル検出
    手段を備え、 上記第１の符号化手段は、上記動きベクトルを用いて、
    上記入力画像データを符号化し、上記第２の符号化手段
    は、上記予測モードと動きベクトルを用いて、上記入力
    画像データを符号化することを特徴とする請求項３１記
    載の画像符号化装置。
33. 【請求項３３】 上記符号化制御手段は、上記画像毎の
    符号化の難易度と上記複数の画像の符号化の難易度の総
    和から、絵柄が複雑な画像に対しては多く割り当てら
    れ、絵柄が単純な画像に対しては少なく割り当てられる
    ように上記割当符号量を算出することを特徴とする請求
    項３１又は３２記載の画像符号化装置。
34. 【請求項３４】 上記符号化制御手段は、 上記第１の符号化データのデータ量を検出する検出手段
    と、 所定時間内の複数の画像に対して使用可能なデータ総量
    を、上記複数の画像の符号化の難易度の総和に対する各
    画像の難易度の比で比例配分することによって、上記各
    画像に割り当てられる割当符号量を算出する演算手段と
    を備えることを特徴とする請求項３１乃至３３のいずれ
    か１項記載の画像符号化装置。
35. 【請求項３５】 上記演算手段は、上記データ総量を、
    下記式に従って上記各画像に割り当てることを特徴とす
    る請求項３１記載の画像符号化装置。 【数６】 ここで、Ｎは、上記複数の画像の数であり、ｉは、１〜
    Ｎ−１の整数であり、ｂｉは、ｉ番目の画像に対する割
    当符号量であり、Ｂは、上記複数の画像に対応したデー
    タ総量であり、ｄｉは、ｉ番目の画像の符号化の難易度
    である。
36. 【請求項３６】 上記符号化制御手段は、 上記演算手段に接続され、上記各画像の割当符号量か
    ら、上記入力画像データを画像毎に符号化して第２の符
    号化データを生成する際に用いられる量子化ステップサ
    イズを求める量子化スケール設定手段を備えることを特
    徴とする請求項３１乃至３５のいずれか１項記載の画像
    符号化装置。
37. 【請求項３７】 上記量子化スケール設定手段は、上記
    量子化ステップサイズを、上記各画像を複数に分割した
    マクロブロック毎に求めるとともに、該量子化ステップ
    サイズを、上記マクロブロックの割当符号量が上記第１
    の符号化データの対応するマクロブロックのデータ量よ
    りも小さいときは、上記第２の符号化データのデータ量
    が少なくなるように、より大きな値に設定し、上記マク
    ロブロックの割当符号量が上記第１の符号化データの対
    応するマクロブロックのデータ量よりも大きいときは、
    上記第２の符号化データのデータ量が多くなるように、
    より小さな値に設定することを特徴とする請求項３２又
    は３６記載の画像符号化装置。
38. 【請求項３８】 入力画像データを符号化する画像符号
    化方法において、 上記入力画像データで表される複数の画像のそれぞれの
    マクロブロック毎に、動きベクトルを検出するステップ
    と、 上記複数の画像の入力画像データを、上記動きベクトル
    を用いて符号化し、画像毎の第１の符号化データを生成
    するステップと、 上記第１の符号化データを生成するステップで生成され
    た第１の符号化データのデータ量に基づいて、上記画像
    毎の符号化の難易度及び複数の画像の難易度の総和を求
    めるステップと、 上記画像毎の符号化の難易度と上記複数の画像の難易度
    の総和の比に基づいて、各画像自身に割り当てられる割
    当符号量を算出するステップと、 上記画像毎の入力画像データを、上記動きベクトルを用
    いるとともに、上記画像自身毎に割り当てられた割当符
    号量に基づいて、符号化して、第２の符号化データを生
    成し、上記画像毎の第２の符号化データのデータ量が上
    記画像毎の割当符号量となるようにするステップとを有
    する画像符号化方法。
39. 【請求項３９】 上記各画像に割り当てられる割当符号
    量を算出するステップは、 所定時間内の複数の画像に対して使用可能なデータ総量
    を、上記複数の画像の符号化の難易度の総和に対する各
    画像の難易度の比で比例配分し、上記割当符号量が、絵
    柄が複雑な画像に対しては多く割り当てられ、絵柄が単
    純な画像に対しては少なく割り当てられることを特徴と
    する請求項３８記載の画像符号化方法。
40. 【請求項４０】 上記各画像に割り当てられる割当符号
    量は、下記式によって求められることを特徴とする請求
    項３９記載の画像符号化方法。 【数７】 ここで、Ｎは、上記複数の画像の数であり、ｉは、１〜
    Ｎ−１の整数であり、ｂｉは、ｉ番目の画像に対する割
    当符号量であり、Ｂは、上記複数の画像に対応したデー
    タ総量であり、ｄｉは、ｉ番目の画像の符号化の難易度
    である。
41. 【請求項４１】 上記各画像の割当符号量から、上記入
    力画像データを画像毎に符号化して第２の符号化データ
    を生成する際に用いられる量子化ステップサイズを求め
    るステップを有することを特徴とする請求項３８乃至４
    ０のいずれか１項記載の画像符号化方法。
42. 【請求項４２】 上記量子化ステップサイズは、上記各
    画像を複数に分割したマクロブロック毎に設定され、該
    量子化ステップサイズは、上記マクロブロックの割当符
    号量が上記第１の符号化データの対応するマクロブロッ
    クのデータ量よりも小さいときは、上記第２の符号化デ
    ータのデータ量が少なくなるように、より大きな値に設
    定され、上記マクロブロックの割当符号量が上記第１の
    符号化データの対応するマクロブロックのデータ量より
    も大きいときは、上記第２の符号化データのデータ量が
    多くなるように、より小さな値に設定されることを特徴
    とする請求項４１記載の画像符号化方法。
43. 【請求項４３】 複数の画像を表す入力画像データを符
    号化する画像符号化装置において、 上記入力画像データで表される複数の画像のそれぞれの
    マクロブロック毎に、動きベクトルを検出する動きベク
    トル検出手段と、 上記複数の画像の入力画像データを、上記動きベクトル
    を用いて符号化し、画像毎の第１の符号化データを生成
    する第１の符号化手段と、 上記第１の符号化手段で生成された第１の符号化データ
    のデータ量に基づいて、上記画像毎の符号化の難易度及
    び複数の画像の符号化の難易度の総和を求め、上記画像
    毎の符号化の難易度と上記複数の画像の符号化の難易度
    の総和の比に基づいて、各画像自身に割り当てられる割
    当符号量を算出する符号化制御手段と、 上記画像毎の入力画像データを、上記動きベクトルを用
    いるとともに、上記画像自身毎に割り当てられた割当符
    号量に基づいて、符号化して、第２の符号化データを生
    成し、上記画像毎の第２の符号化データのデータ量が上
    記画像毎の割当符号量となるようにする第２の符号化手
    段とを備える画像符号化装置。
44. 【請求項４４】 上記符号化制御手段は、上記画像毎の
    符号化の難易度と上記複数の画像の符号化の難易度の総
    和から、絵柄が複雑な画像に対しては多く割り当てら
    れ、絵柄が単純な画像に対しては少なく割り当てられる
    ように上記割当符号量を算出することを特徴とする請求
    項４３記載の画像符号化装置。
45. 【請求項４５】 上記符号化制御手段は、 上記第１の符号化データのデータ量を検出する検出手段
    と、 所定時間内の複数の画像に対して使用可能なデータ総量
    を、上記複数の画像の符号化の難易度の総和に対する各
    画像の難易度の比で比例配分することによって、上記各
    画像に割り当てられる割当符号量を算出する演算手段と
    を備えることを特徴とする請求項４３又は４４記載の画
    像符号化装置。
46. 【請求項４６】 上記演算手段は、上記データ総量を、
    下記式に従って上記各画像に割り当てることを特徴とす
    る請求項４４記載の画像符号化装置。 【数８】 ここで、Ｎは、上記複数の画像の数であり、ｉは、１〜
    Ｎ−１の整数であり、ｂｉは、ｉ番目の画像に対する割
    当符号量であり、Ｂは、上記複数の画像に対応したデー
    タ総量であり、ｄｉは、ｉ番目の画像の符号化の難易度
    である。
47. 【請求項４７】 上記符号化制御手段は、 上記演算手段に接続され、上記各画像の割当符号量か
    ら、上記入力画像データを画像毎に符号化して第２の符
    号化データを生成する際に用いられる量子化ステップサ
    イズを求める量子化スケール設定手段を備えることを特
    徴とする請求項４３乃至４５のいずれか１項記載の画像
    符号化装置。
48. 【請求項４８】 上記量子化スケール設定手段は、上記
    量子化ステップサイズを、上記各画像を複数に分割した
    マクロブロック毎に求めるとともに、該量子化ステップ
    サイズを、上記マクロブロックの割当符号量が上記第１
    の符号化データの対応するマクロブロックのデータ量よ
    りも小さいときは、上記第２の符号化データのデータ量
    が少なくなるように、より大きな値に設定し、上記マク
    ロブロックの割当符号量が上記第１の符号化データの対
    応するマクロブロックのデータ量よりも大きいときは、
    上記第２の符号化データのデータ量が多くなるように、
    より小さな値に設定することを特徴とする請求項４７記
    載の画像符号化装置。
49. 【請求項４９】 上記第１の符号化データを生成するス
    テップでは、一定の量子化ステップサイズでの量子化処
    理を含む符号化を行うことを特徴とする請求項１、１
    ５、２５又は３８記載の画像符号化方法。
50. 【請求項５０】 上記第１の符号化手段では、一定の量
    子化ステップサイズでの量子化処理を含む符号化を行う
    ことを特徴とする請求項８、２０、３１又は４３記載の
    画像符号化装置。