JPH10164594A - 動画像の圧縮符号化方法およびその装置 - Google Patents

Abstract

(57)【要約】 【課題】動画像の圧縮符号化において、圧縮効率を高
め、画質の向上を実現する。 【解決手段】符号化対象の画像を参照画像と比較して類
似部分を検出することにより動きベクトル情報を求め
（１２）、参照画像と符号化対象の画像との差分を取る
（１４）ことにより差分画像を作成し、異なる時刻から
なる符号化対象画像の差分画像を複数枚用いて、時空間
で一括して直交変換処理を行う（１５）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動画像の圧縮符号化
方法およびその装置に関する。

【０００２】

【従来の技術】ディジタル化された映像信号、とりわけ
動画像は膨大な情報量を持つ。そのため、磁気ディスク
などの記録媒体に長時間にわたってそのまま記録しよう
とすると非常に大きい記憶容量が必要になり、コストが
嵩む。あるいは、有線または無線によりリアルタイムで
伝送しようとすると映像データのビットレートが高いこ
とから非常に広帯域な伝送路が必要であり、その実現は
容易ではない。そこで信号処理により映像データを効率
良く符号化し、データ量を削減するための符号化方式が
いくつか提案されている。

【０００３】そのような符号化方式の一つとしてＭＰＥ
Ｇ２（「テレビジョン学会誌」；Ｖｏｌ．４８，Ｎｏ．
１，ｐｐ．４４〜４９に記載）がある。ＭＰＥＧ２では
映像データのデータ量を削減するために主に以下に述べ
る複数の方法を組み合わせて用いている。

【０００４】第１に符号化する画像とその前後の画像
（以下参照画像と呼ぶ）との間で差分を取って振幅の小
さい情報に変換することにより、符号化に要するビット
数を少なくする方法（動き補償予測）である。

【０００５】画像の参照方法によりＩ，Ｐ，Ｂの３種類
のピクチャ（符号化を行う画像の単位）が存在する。こ
れを図２（ａ）に示す。図中の矢印は始点が参照画像、
終点が符号化対象の画像を表している。Ｉピクチャは画
像の参照を行わない。復号化のために必要な情報をすべ
てそのピクチャ内に符号化するからである。Ｐピクチャ
は原画像順で直前に存在するＩピクチャまたはＰピクチ
ャを参照画像として使用する。そしてＢピクチャは直前
と直後に存在するＩまたはＰピクチャを参照画像として
使用する。Ｂピクチャの場合は原画像順で後に来るＰピ
クチャを参照画像として用いるので、符号化データの順
番としては図２（ｂ）のように符号化対象のＢピクチャ
に対応する２枚の参照画像が常に先に来るように並べか
えて符号化する。これは復号時に正しい順番に並べ替え
られて出力される。

【０００６】一つのピクチャはマクロブロックという１
６×１６画素の大きさの区画に区切って符号化を行う。
このマクロブロックには画像の左上から順にマクロブロ
ックアドレスと呼ばれる通し番号が付けられている。図
３に示すように、例えば１ピクチャが７２０×４８０画
素のフレーム画像から構成されている場合は０〜１３４
９までの１３５０個のマクロブロックが存在する。

【０００７】マクロブロックは動き補償を行って参照画
像との差分を取る最小単位である。参照画像上で参照に
用いる部分の位置を指し示す情報（動きベクトル情報）
を各マクロブロックの符号化データ中にエンコードす
る。

【０００８】さらに、マクロブロックは８画素×８画素
の単位画像（以下ブロック）から構成されている。例え
ばＹ：Ｃｂ：Ｃｒ＝４：２：０の形式の場合、図３の左
側の図に示すように輝度信号はＹ０〜Ｙ３の四つのブロ
ック、色差信号はＣｂ，Ｃｒの各一つずつ、計六つのブ
ロックによってマクロブロックを構成している。

【０００９】データ量削減のための第２の方法は、映像
データにＤＣＴ（離散コサイン変換）を施すことにより
空間周波数領域に変換する方法である。図４に示すよう
に、ｘ−ｙ軸という空間上に存在する画素情報を、ＤＣ
Ｔによりμ−ν軸という空間周波数領域のデータに変換
する。映像信号の場合一般に空間周波数の低域成分にエ
ネルギーが集中している割合が高く、高域成分は振幅値
が小さい。それに応じて符号化に割り当てるビット数を
低域成分ほど多く、高域成分ほど少なくすることによっ
てビット数の割り当てを最適化することができ、結果と
して全体のビット数を削減することが可能である。ＭＰ
ＥＧ２では前述のブロック単位でＤＣＴを行った後、高
域成分ほどビット数の割当てを少なくするよう量子化処
理を行うことにより、データの削減を図っている。

【００１０】第３にそれぞれの値の出現確率に応じて異
なる長さの符号を割り当てる可変長符号化である。出現
頻度の高い値ほど短い符号を割り当てておくことによ
り、全体のビット数を削減することが可能である。ＭＰ
ＥＧ２を始めとする従来の技術では前述の量子化された
ＤＣＴ係数のほか、マクロブロックアドレスや動きベク
トルなどのパラメータの符号化に可変長符号化を用いて
いる。

【００１１】

【発明が解決しようとする課題】画像圧縮技術には、動
き補償や可変長符号化のように、符号の表現方法を工夫
することによりできるだけ少ない情報量で画像を表現す
る方法と、ＤＣＴおよび量子化のように、人間の目に知
覚されにくい情報を削減することによって冗長度を削減
する方法とがある。そのうち後者に関して、ＭＰＥＧ２
の場合は、ＤＣＴおよび量子化を空間方向、すなわち同
一時刻の画像内でのみ行っている。したがって、冗長度
の削減が行われているのは空間方向に対してのみであ
る。

【００１２】時間方向に対しては、動き補償によって符
号量を削減する工夫はなされている。しかし、それは差
分を取ることによって振幅を減らし、符号化に要するビ
ット数を少なくする手法である。したがって、動き補償
は符号の表現方法の工夫に過ぎず、人間の視覚特性を考
慮した冗長度の削減は、時間方向に関しては考慮されて
いない。

【００１３】そのため、従来の技術では時間方向に対す
る圧縮が不十分である。符号の量が一定ならば圧縮効率
が低いほど表現できる画像の画質も低くなるため、従来
の技術では得られる画質も十分であるとはいえない。

【００１４】

【課題を解決するための手段】上記の問題を解決するた
め、本発明では、参照画像上の位置を指し示す動きベク
トル情報を用いて符号化対象の画像を予測する動き補償
と、画素情報を周波数領域のデータに変換する直交変換
処理と、上記直交変換されたデータを所定の値で除算
し、その余りを切捨てることにより情報を削減する量子
化と、符号の発生頻度に応じて異なる長さの符号を割り
当てる可変長符号化とを用いることにより動画像を圧縮
符号化する符号化方法において、上記動きベクトル情報
を用いて参照画像と符号化対象の画像との差分を取るこ
とにより差分画像を作成し、異なる時刻からなる符号化
対象画像の上記差分画像を複数枚用いて、時空間で一括
して直交変換処理を行うこととした。

【００１５】符号化対象の画像を参照画像と比較して類
似部分を検出し、参照画像上における該類似部分の位置
を指し示す情報である動きベクトルを求める。

【００１６】次に、求めた動きベクトルを用いて、符号
化対象の画像と参照画像上の対応部分の画像との差分画
像を計算する。

【００１７】異なる時刻からなる符号化対象画像のそれ
らの差分画像を複数枚用いて、時空間で一括して直交変
換処理を行う。

【００１８】直交変換された時空間周波数領域のデータ
に対し、所定の量子化係数で量子化処理を行う。

【００１９】以上のようにして得られた量子化データ、
量子化係数および動きベクトル情報を、可変長符号によ
って符号化する。さらに、所定のヘッダ情報を付加し、
符号化映像信号として出力する。

【００２０】

【発明の実施の形態】図１に本発明の実施例である動画
像圧縮符号化装置１を示す。

【００２１】本実施例では、図２（ａ）に示したよう
に、参照画像であるＩまたはＰピクチャの間に２枚のＢ
ピクチャが挟まれた形の符号化を行うものとする。ま
た、参照画像としては、Ｐピクチャ数枚につき１枚Ｉピ
クチャを周期的に使用する。

【００２２】入力された動画像信号は、まずフレームメ
モリ１１に蓄積する。このフレームメモリ１１は内部に
４フレーム分の画像を蓄える領域を持つ。そのうち２フ
レーム分は参照画像であるＩまたはＰピクチャの蓄積
に、残りの２フレーム分はＢピクチャの蓄積に使用す
る。２フレーム分の参照用画像領域のうち一つ（Ｒｅｆ
１）には、符号化された後復号化された、直前の参照用
画像が既に蓄積されている。例えば、これから図２
（ａ）のＢ４，Ｂ５，Ｐ６を符号化する場合を考える
と、直前の参照画像であるＰ３が既に符号化・再復号化
され、Ｒｅｆ１に蓄えられている。次に、新たに符号化
する３フレーム分（Ｂ４，Ｂ５，Ｐ６）の動画像信号が
入力され、それぞれをフレームメモリ１１のＢピクチャ
用領域（Ｂ１，Ｂ２）及びもう一つの参照用画像領域
（Ｒｅｆ２）に蓄積する。

【００２３】次に動きベクトル検出部１２において、動
きベクトルの検出を行う。Ｂ４，Ｂ５は双方向予測画像
であるので、マクロブロック毎に参照画像であるＰ３お
よびＰ６と比較を行い、最も値の近い位置を検出するこ
とによって、動きベクトルを求める。また、Ｐ６は前方
予測画像であるので、参照画像のＰ３とのみ比較を行っ
て、各マクロブロック毎の動きベクトルを求める。

【００２４】このようにして求めた動きベクトルは、動
きベクトル（ＭＶ）メモリ１３に記憶する。動きベクト
ルメモリ１３は、内部に参照画像用領域一つとＢピクチ
ャ用領域二つを持ち、それぞれＰ６，Ｂ４，Ｂ５の各ピ
クチャの動きベクトルを記憶する。

【００２５】次に、フレームメモリ１１に蓄えられた画
像と動きベクトルメモリ１３に記憶された動きベクトル
を用いて、差分画像計算部１４で差分画像を計算する。
例えば、Ｂ４，Ｂ５については、各マクロブロックごと
に、対応する動きベクトルを動きベクトルメモリ１３か
ら読み出し、それを用いてフレームメモリ１１の参照画
像Ｐ３とＰ６から、必要な位置の画像を読み出す。その
後、Ｂピクチャ自身から読み出した画像を差し引くこと
により、差分画像を得る。また、Ｐ６の場合も同様に、
各マクロブロックごとに対応する動きベクトルを動きベ
クトルメモリ１３から読み出し、それを用いてフレーム
メモリ１１の参照画像Ｐ３から、必要な位置の画像を読
み出し、Ｐ６自身から読み出した画像を差し引くことに
より、差分画像を得る。

【００２６】ここで、差分画像の計算は必ずしもＢ４，
Ｂ５，Ｐ６の各ピクチャ単位で別々に、あるいは順番に
行う必要はない。次の時空間ＤＣＴ部１５での計算の必
要に応じて必要なピクチャ、必要なマクロブロック位置
の差分画像データをその都度計算して出力する。

【００２７】時空間ＤＣＴ部１５では、上記差分画像計
算部１４から出力されるＢ４，Ｂ５，Ｐ６の各差分画像
を一括して離散コサイン変換処理する。すなわち、図５
に示すように、空間ｘ−ｙ方向に加え時間ｔ方向を持つ
３次元のデータを、μ−ν−ｆの時間・空間周波数領域
のデータに変換する。

【００２８】量子化部１６では、ＤＣＴ処理されたデー
タに対し、各周波数成分毎に定められた量子化係数を用
いて除算し、その余りを切捨てることによって量子化を
行う。一般に人間の視覚特性上目につきにくい高域成分
において量子化係数の値を大きくし、画質の劣化を最小
限にとどめつつ情報量の圧縮を図る。

【００２９】量子化されたデータおよびその際に使用し
た量子化係数は、可変長符号化部１７（ＶＬＣ）におい
て、符号の出現頻度に応じて異なる長さをもつ可変長符
号に符号化される。また、動きベクトルメモリ１３に記
憶された動きベクトルについても、可変長符号化部１７
で可変長符号に符号化される。

【００３０】最後に、ヘッダ付加部１８において、各種
符号化パラメータがヘッダとして付加され、符号化映像
信号として出力される。

【００３１】２はローカルデコード部である。この部分
では、次の入力画像の符号化に備えて、今符号化した３
枚の画像のうち参照画像（Ｐ６）を復号化する。

【００３２】まず逆量子化部２１において、量子化部１
６から出力される量子化データに各周波数成分毎の量子
化係数を乗じることにより、逆量子化を行う。さらに時
空間ＩＤＣＴ部２２において逆離散コサイン変換処理を
行い、周波数領域から時間・空間領域の画素データに戻
す。

【００３３】動き補償部２３では、動きベクトルメモリ
１３からマクロブロック毎に動きベクトルを読み出し、
それを用いてフレームメモリ１１の参照画像（Ｐ３）か
ら対応する位置の画像データを読み出し、それを時空間
ＩＤＣＴ部２２の出力データと加算することによって、
復号化を行う。なお、ローカルデコード部２で復号化す
るのは参照画像のＰ６だけであるので、動き補償部２３
においてもＰ６のみ復号化する。

【００３４】復号化された参照画像Ｐ６は、次の入力画
像の符号化に備えて、再びフレームメモリ１１にマクロ
ブロック毎に書き込まれていく。その際、フレームメモ
リ１１内の参照画像領域Ｒｅｆ１には、前の参照画像で
あるＰ３が蓄えられており、Ｐ６全体の復号化が完全に
終了するまで使用される可能性があるので、もう一つの
参照画像領域であるＲｅｆ２に復号化されたＰ６は書き
込まれて行く。

【００３５】このようにしてＰ６の復号化が完全に終了
すると、次に、新たに符号化する３フレーム分（図２
（ａ）のＢ７，Ｂ８，Ｐ９）の動画像信号が入力され、
以上に述べた一連の符号化のステップが繰り返される。
なお、この次の符号化の際は、フレームメモリ１１の参
照画像用領域Ｒｅｆ２には前の参照画像であるＰ６が蓄
えられているので、Ｐ９はＲｅｆ２ではなく、Ｒｅｆ１
に蓄えられる。このように、参照画像用領域Ｒｅｆ１と
Ｒｅｆ２とは、符号化単位（Ｂ，Ｂ，Ｐ）毎にその役割
を交互に変えて使用される。また、Ｂ７，Ｂ８について
は前と同様にそれぞれフレームメモリ１１中の領域Ｂ
１，Ｂ２に蓄えられる。

【００３６】以上の説明で、参照画像をＰピクチャでは
なくＩピクチャとして符号化する場合には、動き補償処
理は不要であるので、符号化における動きベクトル検出
や、ローカルデコードにおける動き補償は行わない。

【００３７】なお、本実施例では参照画像であるＩまた
はＰピクチャの間に２枚のＢピクチャが挟まれた形の符
号化を行うことを想定しているが、このＢピクチャの枚
数は２枚に限定されるものではない。Ｂピクチャの枚数
に応じてフレームメモリ１１、動きベクトルメモリ１３
に必要な領域を用意することにより、Ｂピクチャの枚数
が任意の場合でも本発明と同等の効果を得ることが可能
である。

【００３８】

【発明の効果】本発明によれば、従来の空間方向に加
え、時間方向に対しても人間の目に知覚されにくい冗長
な情報を削減することが可能になり、動画像の圧縮率を
更に高めることができる。また、圧縮効率が高まること
により一定の符号量に対しては画質の向上を実現するこ
とが可能になる。

【図面の簡単な説明】

【図１】動画像圧縮符号化装置を示すブロック図。

【図２】原画像と符号化データの順番の説明図。

【図３】マクロブロックとブロックの説明図。

【図４】従来の技術における空間方向のＤＣＴを示す説
明図。

【図５】本発明における時空間方向の３次元ＤＣＴを示
す説明図。

【符号の説明】

１…動画像圧縮符号化装置、１１…フレームメモリ、１
２…動きベクトル検出部、１３…動きベクトルメモリ、
１４…差分画像計算部、１５…時空間ＤＣＴ部、１６…
量子化部、１７…可変長符号化部、１８…ヘッダ付加
部、２…ローカルデコード部、２１…逆量子化部、２２
…時空間ＩＤＣＴ部、２３…動き補償部。

Claims (2)

【特許請求の範囲】
1. 【請求項１】参照画像上の位置を指し示す動きベクトル
   情報を用いて符号化対象の画像を予測する動き補償と、
   画素情報を周波数領域のデータに変換する直交変換処理
   と、上記直交変換されたデータを所定の値で除算し、そ
   の余りを切捨てることにより情報を削減する量子化と、
   符号の発生頻度に応じて異なる長さの符号を割り当てる
   可変長符号化とを用いることにより動画像を圧縮符号化
   する符号化方法において、上記動きベクトル情報を用い
   て参照画像と符号化対象の画像との差分を取ることによ
   り差分画像を作成し、異なる時刻からなる符号化対象画
   像の上記差分画像を複数枚用いて、時空間で一括して直
   交変換処理を行うことを特徴とする動画像の圧縮符号化
   方法。
2. 【請求項２】動画像を圧縮符号化する符号化装置におい
   て、入力される画像を複数枚蓄えるフレームメモリと、
   上記フレームメモリに蓄えられた画像のうち符号化対象
   の画像を参照画像と比較して類似部分を検出し、参照画
   像上における該類似部分の位置を指し示す動きベクトル
   情報を出力する動きベクトル検出手段と、上記符号化対
   象の画像と参照画像との差分画像を計算する差分画像計
   算手段と、上記差分画像計算手段の出力に対して直交変
   換を行う直交変換手段と、上記直交変換手段の出力を所
   定の量子化係数で量子化する量子化手段と、上記動きベ
   クトル情報を記憶する動きベクトル記憶手段と、上記量
   子化手段の出力、量子化係数および／または動きベクト
   ル記憶手段に記憶された動きベクトル情報を、可変長符
   号によって符号化する可変長符号化手段と、上記可変長
   符号化手段の出力に所定のヘッダ情報を付加し、符号化
   映像信号として出力するヘッダ付加手段とを具備し、上
   記直交変換手段は、原動画像の異なる時刻からなる上記
   差分画像を複数枚用いて、時空間で一括して直交変換処
   理を行うことを特徴とする動画像の圧縮符号化装置。