JP3496926B2 - 画像データ復号化方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】 本発明は、直交変換によって高能率符号
化された画像データを復号化する画像データ復号化方法
に関するものである。

【０００２】

【従来の技術】画像信号を高能率符号化する方式とし
て、例えば、所謂ＭＰＥＧ（Moving Picture Experts G
roup）による標準化案では、所謂ディジタルストレージ
メディア用の画像信号の高能率符号化方式が規定されて
いる。このＭＰＥＧによる画像信号の高能率符号化方式
の原理は、以下に示すようなものである。

【０００３】すなわち、この高能率符号化方式では、先
ず、画像間の差分を取ることで時間軸方向の冗長度を落
とし、その後、所謂離散コサイン変換（ＤＣＴ：Discre
te Cosine Transform）処理と可変長符号化（ＶＬＣ：V
ariable Length Coding）処理とを使用して空間軸方向
の冗長度を落とすようにしている。

【０００４】先ず、時間軸方向の冗長度について以下に
述べる。

【０００５】一般に、連続した動画では、時間的に前後
の画像と、ある注目している画像（すなわちある時刻の
画像）とはよく似ているものである。このため、例えば
図１に示すように、今から符号化しようとしている画像
と、時間的に前方の画像との差分を取り、その差分を伝
送するようにすれば、時間軸方向の冗長度を減らして伝
送する情報量を少なくすることが可能となる。このよう
にして符号化される画像は、後述する前方予測符号化画
像（Predictive-coded picture、Ｐピクチャ或いはＰフ
レーム）と呼ばれる。

【０００６】同様に、今から符号化しようとしている画
像と、時間的に前方或いは後方若しくは、前方及び後方
から作られた補間画像との差分を取り、それらのうちの
小さな値の差分を伝送するようにすれば、時間軸方向の
冗長度を減らして伝送する情報量を少なくすることが可
能となる。このようにして符号化される画像は、後述す
る両方向予測符号化画像（Bidirectionally Predictive
-coded picture、Ｂピクチャ或いはＢフレーム）と呼ば
れる。なお、この図１において、図中Ｉで示す画像は後
述する画像内符号化画像（イントラ符号化画像：Intra-
coded picture、Ｉピクチャ或いはＩフレーム）を示
し、図中Ｐで示す画像はＰピクチャを示し、図中Ｂで示
す画像はＢピクチャを示している。

【０００７】また、各予測画像を作るためには、所謂動
き補償が行われる。すなわち、この動き補償によれば、
例えば８×８画素の単位ブロックにより構成される、例
えば１６×１６画素のブロック（以下、マクロブロック
(Macroblock)という）を作り、前画像の当該マクロブロ
ックの位置の近傍で一番差分の少ないところを探索し、
この探索されたマクロブロックとの差分を取ることによ
り、送らなければならないデータを削減することができ
る。実際には、例えば、Ｐピクチャ（前方予測符号化画
像）では、動き補償後の予測画像と差分を取ったもの
と、当該動き補償後の予測画像と差分を取らないものと
のうち、データ量の少ないものを１６×１６画素のマク
ロブロック単位で選択して符号化する。

【０００８】しかし、上述のような場合、例えば物体が
動いた後ろから出てきた部分（画像）に関しては、多く
のデータを送らなければならない。そこで、例えばＢピ
クチャ（両方向予測符号化画像）では、既に復号化され
た動き補償後の時間的に前方或いは後方の画像及び、そ
の両者を足して作った補償画像と今から符号化しようと
している画像との差分と、当該差分を取らないものすな
わち今から符号化しようとしている画像の四者のうち、
一番データ量の少ないものが符号化される。

【０００９】つぎに、空間軸方向の冗長度について以下
に述べる。

【００１０】画像データの差分は、そのまま伝送するの
ではなく、８×８画素の単位ブロック毎に離散コサイン
変換（ＤＣＴ）をかける。当該ＤＣＴは、画像を画素レ
ベルでなくコサイン関数のどの周波数成分がどれだけ含
まれているかで表現するものであり、例えば２次元ＤＣ
Ｔにより、８×８画素の単位ブロックのデータは、８×
８のコサイン関数の成分の係数ブロックに変換される。
例えば、テレビカメラで撮影したような自然画の画像信
号は滑らかな信号になることが多く、この場合、当該画
像信号に対してＤＣＴ処理を施すことにより効率よくデ
ータ量を落とすことができる。

【００１１】ここで、上述した符号化方式が取り扱うデ
ータの構造を図２に示す。すなわち、この図２に示すデ
ータ構造は、下から順に、ブロック層と、マクロブロッ
ク層と、スライス層と、ピクチャ層と、ＧＯＰ（Group
of Picture）層と、ビデオシーケンス層とからなる。以
下、この図２において下の層から順に説明する。

【００１２】先ず、ブロック層において、当該ブロック
層のブロックは、図２Ｆに示すように、輝度又は色差の
隣合った８×８の画素（８ライン×８画素の画素）から
構成される。上述したＤＣＴ（離散コサイン変換）は、
この単位ブロック毎にかけられる。

【００１３】マクロブロック層において、当該マクロブ
ロック層のマクロブロックは、図２Ｅに示すように、左
右及び上下に隣合った４つの輝度ブロック（輝度の単位
ブロック）Ｙ０，Ｙ１，Ｙ２，Ｙ３と、画像上では輝度
ブロックと同じ位置に当たる色差ブロック（色差の単位
ブロック）Ｃｒ，Ｃｂとの全部で６個のブロックで構成
される。これらブロックの伝送の順は、Ｙ０，Ｙ１，Ｙ
２，Ｙ３，Ｃｒ，Ｃｂの順である。ここで、当該符号化
方式において、予測画像（差分を取る基準の画像）に何
を用いるか、或いは差分を送らなくてもよいか等は、こ
のマクロブロック単位で判断される。

【００１４】スライス層は、図２Ｄに示すように、画像
の走査順に連なる１つ又は複数のマクロブロックで構成
されている。このスライスの頭（ヘッダ）では、画像内
における動きベクトル及びＤＣ（直流）成分の差分がリ
セットされ、また、最初のマクロブロックは、画像内で
の位置を示すデータを持っており、したがってエラーが
起こった場合でも復帰できるようになされている。その
ため、スライスの長さや始まる位置は任意となり、伝送
路のエラー状態によって変えられるようになっている。

【００１５】ピクチャ層において、ピクチャすなわち１
枚１枚の画像は、図２Ｃに示すように、少なくとも１つ
又は複数のスライスから構成される。そして、それぞれ
が符号化の方式に従って、上述のようなイントラ符号化
画像（Ｉピクチャ或いはＩフレーム）、前方予測符号化
画像（Ｐピクチャ或いはＰフレーム）、両方向予測符号
化画像（Ｂピクチャ或いはＢフレーム）、ＤＣイントラ
符号化画像（DC coded(D)picture）の４種類の画像に分
類される。

【００１６】ここで、イントラ符号化画像（Ｉピクチ
ャ）においては、符号化されるときに、その画像１枚の
中だけで閉じた情報のみを使用する。したがって、換言
すると、復号するときにＩピクチャ自身の情報のみで画
像が再構成できることになる。実際には、差分を取らず
にそのままＤＣＴ処理して符号化を行う。この符号化方
式は、一般的に効率が悪いが、これを随所に入れておけ
ば、ランダムアクセスや高速再生が可能となる。

【００１７】前方予測符号化画像（Ｐピクチャ）におい
ては、予測画像（差分を取る基準となる画像）として、
入力で時間的に前に位置し既に復号化されたＩピクチャ
又はＰピクチャを使用する。実際には、動き補償された
予測画像との差を符号化するのと、差を取らずにそのま
ま符号化する（イントラ符号）のと何れか効率の良い方
をマクロブロック単位で選択する。

【００１８】両方向予測符号化画像（Ｂピクチャ）にお
いては、予測画像として時間的に前に位置し既に復号化
されたＩピクチャ又はＰピクチャ及び、その両方から作
られた補間画像の３種類を使用する。これにより、３種
類の動き補償後の差分の符号化とイントラ符号との中で
一番効率の良いものをマクロブロック単位で選択でき
る。

【００１９】ＤＣイントラ符号化画像は、ＤＣＴにおけ
るＤＣ係数のみで構成されるイントラ符号化画像であ
り、他の３種の画像と同じシーケンスには存在できない
ものである。

【００２０】ＧＯＰ層は、図２Ｂに示すように、１又は
複数枚のＩピクチャと、０又は複数枚の非Ｉピクチャと
から構成されている。Ｉピクチャの間隔（例えば９）及
びＩピクチャ又はＢピクチャの間隔（例えば３）は自由
である。またＩピクチャ又はＢピクチャの間隔は、当該
ＧＯＰ層の内部で変わってもよいものである。

【００２１】ビデオシーケンス層は、図２Ａに示すよう
に、画像サイズ、画像レート等が同じ１又は複数のＧＯ
Ｐ層から構成される。

【００２２】上述したように、ＭＰＥＧによる高能率符
号化方式で標準化された動画像を伝送する場合には、先
ず１枚の画像をピクチャ内で圧縮した画像が送られ、次
にこの画像を動き補償した画像との差分が伝送される。

【００２３】ところが、符号化される画像がインターレ
ース画像である場合に、次のような問題が生じることが
わかった。

【００２４】インターレース画像を、フィールド単位で
ピクチャとして符号化処理すると、フィールドで交互に
垂直位置が異なることになる。よって動画像のうちの静
止部分を伝送する場合には、静止部分にもかかわらず、
フィールドが替わる毎に差分情報が発生し、それを伝送
しなければならないので、動画像のうちの静止部分で
は、符号化効率が低下する。

【００２５】また、フィールド単位で符号化処理する
と、フィールド単位でブロックを構成するので、フレー
ム単位でブロックを構成する場合に比べて、画素間の間
隔が広くなり、相関が低下するので、符号化効率が低下
する。

【００２６】一方、インターレース画像を、フレーム単
位でピクチャとして符号化処理すると、フレーム内で動
いている部分については所謂櫛形にぶれた画像を処理し
なければならなくなる。例えば、図３に示すように、静
止した動体の手前に自動車等の動体ＣＡがある場合、Ｉ
フレームを見るとフィールド間で動きがあるため、その
ような部分は図４で示すような櫛型ＫＳの画像となって
しまう。このため、元々の画像には存在しない高周波成
分を伝送することになり、符号化効率が低下する。

【００２７】さらに、フレーム単位の符号化処理では、
１つのフレームを構成する連続する２つのフィールドを
まとめて符号化するので、その２つのフィールド間では
予測符号化を用いることができない。このため、予測符
号化の最小距離が１フレーム（２フィールド）となるの
で、予測符号化の最小距離が１フィールドであるフィー
ルド単位の符号化処理に比べると、動きの速い、若しく
は動きの複雑な画像については、フレーム単位の符号化
処理は不利である。

【００２８】上述したように、フィールド単位の符号化
処理、フレーム単位の符号化処理それぞれに符号化効率
が低下する場合があり、逆にそれらは他方で符号化効率
が高い場合である。

【００２９】

【発明が解決しようとする課題】そこで、本発明は、上
述のような実情に鑑みて提案されたものであり、インタ
ーレース画像について、動きの少ない画像、動きの多い
画像及びこれら両者が混在した画像を符号化して得られ
る画像データを復号化する画像データ復号化方法を提供
することを目的とするものである。

【００３０】

【課題を解決するための手段】本発明に係る画像データ
復号化方法は、複数の画素の２次元配置からなるブロッ
クを単位として符号化処理された画像データの復号を行
い、インターレース構造を有する２枚のフィールドから
なる１フレームの画像を得る際に、画像データのヘッダ
の一部に設けられた画像データがフィールド単位又はフ
レーム単位で処理されたことを識別するための第１のフ
ラグと、各ブロックの離散コサイン変換がフィールド単
位又はフレーム単位で行われたことを識別するための第
２のフラグとを検出し、これらの第１及び第２のフラグ
に基づいて、復号処理がフィールド単位であるときは、
ブロックの逆離散コサイン変換をフィールド単位で、又
は復号処理がフレーム単位であるときは、ブロックの逆
コサイン変換をフィールド単位又はフレーム単位で適応
的に切り換えて行う。

【００３１】上述した画像データは階層構造を有し、本
発明に係る画像データ復号化方法は、第１及び第２のフ
ラグを画像データの所定の階層のヘッダから検出し、第
１及び第２のフラグに基づいて、所定の階層毎に復号処
理を、フィールド単位又はフレーム単位で適応的に切り
換えて行う。

【００３２】

【００３３】

【００３４】

【発明の実施の形態】以下、本発明を適用した具体的な
実施例を図面を参照して説明する。

【００３５】１．画像データ符号化方法／画像データ復
号化方法 本発明を適用したフィールド単位及びフレーム単位の符
号化／復号化処理について説明する。

【００３６】上述した図１に示すピクチャがフィールド
単位である場合、フィールド構造を考慮して図示する
と、例えば図５となる。この図５において、上段が第１
フィールド（例えば奇数フィールド）を表し、下段が第
２フィールド（例えば偶数フィールド）を表す。 １／
６ ０秒の間隔で時間的に隣り合わせた２つのフィール
ドが、フレームを構成する。そして、フィールド単位の
符号化／復号化処理では、各ピクチャがフィールド単位
で符号化／復号化される。

【００３７】また、上述した図２Ｂに示すＧＯＰ層内の
Ｉピクチャ（画像内符号化画像）／Ｐピクチャ（前方予
測符号化画像）／Ｂピクチャ（両方向予測符号化画像）
の構成パターンを変更した具体例を図６に示す。図５と
図６では、ＧＯＰ層内のピクチャの構成パターンだけが
異なっているだけで、フィールド単位で符号化／復号化
処理を行うことは同一である。ところで、この図６に示
すように、第１フィールドと第２フィールドの符号化の
タイプが同じである場合、第１フィールドと第２フィー
ルドをまとめて符号化／復号化処理すると、フレーム単
位の符号化／復号化処理となり、これを図７に示す。

【００３８】これら図５，６，７に示す符号化／復号化
処理における動き予測／補償は、種々のバリエーション
が考えられるが、そのうちの簡潔な具体例を図８，９，
１０に示す。これらの図において、例えば図８に示すピ
クチャＩ２からピクチャＰ５、例えば図９に示すピクチ
ャＩ３からピクチャＰ６等の太い破線の矢印は、Ｐピク
チャヘの動き予測を表し、例えば図８，９に示すピクチ
ャＩ２からピクチャＢ０等の細い破線の矢印は、Ｂピク
チャヘの動き予測を表す。さらに、図１０Ａ，Ｂでは、
実線の矢印は、後述するフレーム構成のマクロブロック
の動き予測を表し、破線の矢印は、フィールド構成のマ
クロブロックの動き予測を表す。

【００３９】そして、フィールド単位の符号化／復号化
処理では、Ｐピクチャ、例えば図８に示すピクチャＰ５
は、予測画像（差分を取る基準となる画像）として時間
的に前に位置し既に復号化されたピクチャＩ２を使用
し、ピクチャＰ８は、予測画像として時間的に前に位置
し既に復号化されたピクチャＰ５を使用する。また、例
えば図９に示すピクチャＰ６は、予測画像としてピクチ
ャＩ３を使用し、ピッチャＰ７は、予測画像としてピク
チャＰ６を使用する。つぎに、Ｂピクチャ、例えば図８
に示すピクチャＢ４は、予測画像として時間的に前に位
置し既に復号化されたピクチャＩ２又はピクチャＰ５及
び、その両方から作られた補間画像の３種類を使用す
る。また、例えば図９に示すピクチャＢ４は、予測画像
としてピクチャＩ３又はピクチャＰ６及び、その両方か
ら作られた補間画像の３種類を使用する。

【００４０】一方、フレーム単位の符号化／復号化処理
では、Ｐピクチャ（フレーム）、例えば図１０Ａに示す
ピクチャＰ６，Ｐ７から構成されるフレームは、予測画
像としてピクチャＩ２，Ｉ３から構成されるフレームを
使用し、ピクチャＰ１０，Ｐ１１から構成されるフレー
ムは、予測画像としてピクチャＰ６，Ｐ７から構成され
るフレームを使用する。つぎに、Ｂピクチャ（フレー
ム）、例えば図１０Ｂに示すピクチャＢ４，Ｂ５から構
成されるフレームは、予測画像として時間的に前に位置
し既に復号化されたピクチャＩ２，Ｉ３から構成される
フレーム又はピクチャＰ６，Ｐ７から構成されるフレー
ム及び、その両方から作られた補間画像の３種類を使用
する。

【００４１】以上のように、フィールド単位及びフレー
ム単位の符号化／復号化処理は、符号化／復号化処理手
順は同一であるが、以下に述べるように、ブロック構成
と動き予測／補償に差異がある。

【００４２】（１）ブロック構成 フレーム単位の符号化／復号化処理では、第１フィール
ドと第２フィールドをまとめて符号化／復号化するの
で、第１フィールドと第２フィールドをまとめたブロッ
クを構成できるが、フィールド単位の処理では、どちら
かのフィールドのみでブロックを構成する。

【００４３】（２）動き予測／補償 フレーム単位の符号化／復号化処理では、第１フィール
ドと第２フィールドをまとめて、符号化／復号化するの
で、第１フィールドから、同一フレームに属する第２フ
ィールドヘの動き予測は用いられないが、フィールド単
位の処理では、第１フィールドから第２フィールドヘの
動き予測が用いられる。

【００４４】ここで、上述の（１）ブロック構成及び
（２）動き予測／補償の詳細について説明する。

【００４５】（１）ブロック構成 図１１は、フィールド単位の符号化／復号化処理におけ
るマクロブロックの内部のブロックの構成を示す図であ
り、この図１１に示すように、フィールド単位の符号化
／復号化処理では、フィールド構成のマクロブロック
は、第１フィールドだけ、若しくは第２フィールドだけ
から構成される。

【００４６】これに対し、図１２は、フレーム単位の符
号化／復号化処理におけるマクロブロックの内部のブロ
ックの構成を示す図である。フレーム単位の符号化／復
号化処理では、図１２Ａ，Ｂに示すフィールド構成のマ
クロブロックの他に、図１２Ｃに示すように、フレーム
構成のマクロブロックをとることができる。すなわち、
フィールド構成のマクロブロックでは、図１２Ａに示す
ように、上述の図１１に示すフィールド単位の符号化／
復号化処理と同じマクロブロックの構成の第１フィール
ド、第２フィールドの他に、図１２Ｂに示すように、マ
クロブロックを上下の２ブロックずつに分けて、上半分
が第１フィールドだけ、下半分が第２フィールドだけか
ら構成することも可能である。また、フレーム構成のマ
クロブロックは、図１２Ｃに示すように、マクロブロッ
クが第１フィールドと第２フィールドから構成される。

【００４７】このように、フレーム単位の符号化／復号
化処理では、フィールド単位の符号化／復号化処理にお
けるフィールド構成のマクロブロックの他にも、フレー
ム構成のマクロブロックが可能である。

【００４８】ところで、上述のフィールド構成のマクロ
ブロックとフレーム構成のマクロブロックの切り換え
は、例えば、後述する画像データ符号化装置を構成する
符号化方式判定回路２１（図２３参照）が決定したフィ
ールド単位の符号化処理かフレーム単位の符号化処理か
を識別する識別情報（以下符号化方式の情報という）に
よって、バッファメモリ７，８からブロックを読み出す
際に、読出アドレスをコントロールすることにより、実
現することができる。また、後述する画像データ復号化
装置では、逆可変長符号化回路３１（図２７参照）にお
いて、画像データ符号化装置等から受信される符号化ビ
ットストリーム（Bitstream）内に書かれている（重畳
されている）フラグを検出すると共に、このフラグに基
づいて符号化方式がフィールド単位かフレーム単位かを
判断し、その情報を動き補償回路４２，４３等に供給し
てバッファメモリ３７，３８の読出アドレスをコントロ
ールすることで実現することができる。

【００４９】すなわち、上述のバッファメモリ７，８，
３７，３８を 例えば図１３，１４に示すように４８０
×７２０画素の記憶容量を有するメモリで構成し、フレ
ーム構成では、図１３に示すように、画像データをフレ
ームの構成で記憶し、フィールド構成では、画像データ
をフィールドの構成で記憶するようにする。なお、図１
４において、２つのフィールドは、時間的に連続する必
要はない。また、この例では、バッファメモリの大きさ
をフレームの大きさとしたが、大きさに制限はなく、よ
り大きくてもよく、若しくは複数枚のフレームを記憶す
る構成でもよい。さらに、図２３、２７のブロック図で
は、バッファメモリを符号化／復号化処理との対応をと
りやすくするために、２つに分割したが、実際の構成上
では、分割する必要はないので、１つのバッファメモリ
にまとめてよい。

【００５０】（２）動き予測／補償 フィールド単位の符号化／復号化処理においては、動き
予測／補償の際に、例えば図８に示すピクチャＩ２から
ピクチャＢ３への予測や、図９に示すピクチャＰ６から
ピクチャＰ７への予測のように、同一フレームに属する
第１フィールドから第２フィールドヘの動き予測を用い
る。

【００５１】しかし、フレーム単位の符号化／復号化処
理においては、図７に示すように、２つのフィールドを
まとめて符号化／復号化するので、第１フィールドか
ら、同一フレームに属する第２フィールドへの動き予測
を用いない。

【００５２】以上のように、フィールド単位の符号化／
復号化処理の動き予測は、同一フレームに属する第１フ
ィールドから第２フィールドへの動き予測を用いるの
で、動き予測するピクチャ間の最小間隔が短く、フレー
ム単位の符号化／復号化処理の動き予測を包含する。な
お、上述の具体例では、特別にフレーム構成のマクロブ
ロックの動き予測を示したが、それはマクロブロック内
の２つのフィールドについて、同じ動き予測をすること
にすぎないので、フィールド構成のマクロブロックの動
き予測２回で代用できる。さらに、フレーム単位での動
き予測は、フレーム単位の符号化／復号化処理に不可欠
の動き予測ではなく、フィールド単位の動き予測だけで
もよい。

【００５３】このように、本発明に係るインターレース
画像の符号化／復号化方法では、フィールド単位、フレ
ーム単位の符号化／復号化処理は、ブロックの構成と動
き予測のコントロールの方法を両方の符号化／復号化処
理に対応させることにより、両方法における符号化／復
号化が可能である。

【００５４】この場合には、画像データ符号化装置でど
のような範囲で、どちらの符号化処理を行ったか、すな
わち、フィールド単位かフレーム単位かを画像データ復
号化装置に伝達する必要がある。

【００５５】これを実現するために、本発明では、符号
化ビットストリーム（符号化画像データ）の一部に、こ
の符号化画像のある範囲が、フィールド単位或いはフレ
ーム単位で処理されたかを示すフラグを設ける。なお、
ある範囲とは、例えばシーケンス、ＧＯＰ、ピクチャで
ある。具体的には、画像データ符号化装置では、画像の
ある範囲が、フィールド単位若しくはフレーム単位のど
ちらを単位として符号化処理されたかを識別する識別情
報を符号化ビットストリームの所定の位置にフラグとし
てセット（重畳）する。画像データ復号化装置では、符
号化ビットストリームの所定の位置を、上述したように
逆可変長符号化回路３１によって解読することによっ
て、復号化処理の単位を決定し、それに基づいて復号す
ることにより、画像を再生することができる。

【００５６】なお、フィールド単位及びフレーム単位の
符号化／復号化処理における動き予測は、上述した図
８，９，１０に示す具体例に限定されるものではなく、
例えば図１５，１６に示す動き予測を用いたフィールド
単位の符号化／復号化処理についても、フレーム単位の
符号化／復号化処理と画像のある階層毎に、切り換える
ことができる。

【００５７】具体的には、図１５Ａは、図５に示すＧＯ
Ｐ層内のＩ／Ｐ／Ｂピクチャの構成パターンにおける図
８に示したフィールド単位の符号化／復号化処理のＰピ
クチャの予測方法と異なる具体例を示す図であり、図１
５Ｂは、図８に示したフィールド単位の符号化／復号化
処理のＢピクチャの予測方法と異なる具体例を示す図で
ある。すなわち、例えばピクチャＰ８の予測画像とし
て、図８に示す具体例ではピクチャＰ５を使用している
のに対して、図１５Ａに示すように、例えばピクチャＩ
２等を使用するようにしてもよい。また、例えばピクチ
ャＢ４の予測画像として、図８に示す具体例ではピクチ
ャＩ２又はピクチャＰ５及び、その両方から作られた補
間画像の３種類を使用しているのに対して、図１５Ｂに
示すように、ピクチャＩ２、ピクチャＰ５、ピクチャＰ
８又はピクチャＰ１１及び、それらから合成される補間
画像を使用するようにしてもよい。

【００５８】図１６Ａは、図６に示すＧＯＰ層内のＩ／
Ｐ／Ｂピクチャの構成パターンにおける図９に示したフ
ィールド単位の符号化／復号化処理のＰピクチャの予測
方法と異なる具体例を示す図であり、図１６Ｂは、図９
に示したフィールド単位の符号化／復号化処理のＢピク
チャの予測方法と異なる具体例を示す図である。すなわ
ち、例えばピクチャＰ６の予測画像として、図９に示す
具体例ではピクチャＩ３を使用しているのに対して、図
１６Ａに示すように、例えばピクチャＩ２等を使用する
ようにしてもよい。また、例えばピクチャＢ４の予測画
像として、図９に示す具体例ではピクチャＩ３又はピッ
チャＰ６及び、その両方から作られた補間画像の３種類
を使用しているのに対して、図１６Ｂに示すように、ピ
クチャＩ２、ピクチャＩ３、ピクチャＰ６又はピクチャ
Ｐ７及び、それらから合成される補間画像を使用するよ
うにしてもよい。

【００５９】さらに、なお、例えばフィールド単位の符
号化／復号化処理とフレーム単位の符号化／復号化処理
を組み合わせるようにしてもよい。

【００６０】例えば、ある複数のピクチャをフレーム単
位で符号化／復号化処理した後、それに続くピクチャを
フィールド単位で符号化／復号化処理する場合の具体例
を図１７，２０に示す。この図１７は、図７に示すフレ
ーム単位の符号化／復号化処理例と図５に示すフィール
ド単位の符号化／復号化処理例の組合せを示す図であ
り、図２０は、図７に示すフレーム符号化／復号化処理
例と図６に示すフィールド符号化／復号化処理例の組合
せを示す図である。

【００６１】先ず、図１７において、例えばピクチャＰ
６，Ｐ７から構成されるフレームは、図１８に示すよう
に、予測画像としてピクチャＩ２，Ｉ３から構成される
フレームを用い、例えばピクチャＰ１０は、予測画像と
して例えばピクチャＰ６等を使用するようにしてもよ
い。

【００６２】一方、例えばピクチャＢ４，Ｂ５から構成
されるフレームは、図１９に示すように、ピクチャＩ
２，Ｉ３から構成されるフレーム又はピクチャＰ６，Ｐ
７から構成されるフレーム及び、それらから合成される
補間画像を用い、例えばピクチャＢ８は、図１９に示す
ように、ピクチャＰ６、ピクチャＰ７又はピクチャＰ１
０及び、それらから合成される補間画像を使用するよう
にしてもよい。

【００６３】つぎに、図２０において、例えばピクチャ
Ｐ６，Ｐ７から構成されるフレームは、図２１に示すよ
うに、予測画像としてピクチャＩ２，Ｉ３から構成され
るフレームを用い、例えばピクチャＰ１０は、予測画像
として例えばピクチャＰ６等を使用するようにしてもよ
い。一方、例えばピクチャＢ４，Ｂ５から構成されるフ
レームは、図２２に示すように、ピクチャＩ２，Ｉ３か
ら構成されるフレーム又はピクチャＰ６，Ｐ７から構成
されるフレーム及び、それらから合成される補間画像を
用い、例えばピクチャＢ８は、図２２に示すように、ピ
クチャＰ６、ピクチャＰ７、ピクチャＰ１０又はピクチ
ャＰ１１及び、それらから合成される補間画像を使用す
るようにしてもよい。

【００６４】かくして、図１７〜図２２に示すように、
フレーム単位の符号化／復号化処理とフィールド単位の
符号化／復号化処理を組み合わせても問題がない。換言
すると、本発明に係る画像データ符号化方法及び画像デ
ータ復号化方法では、インターレース画像について、フ
レーム単位の符号化／復号化処理とフィールド単位の符
号化／復号化処理を切り換えることにより、動きの少な
い画像も動きの多い画像も、また、これら両者が混在し
た画像でも、効率よく符号化を行うことができる。

【００６５】２．画像データ符号化装置 図２３は、本発明を適用した画像データ符号化装置の具
体的な回路構成を示すブロック図である。

【００６６】この画像データ符号化装置（エンコーダ）
は、図２３に示すように、後述する画像データ復号化装
置と同じ回路構成の逆量子化回路２〜ゲート１７からな
る局所復号化回路を有する。

【００６７】先ず、端子１を介してピクチャ（フィール
ド若しくはフレーム）の画像データが入力されると、こ
れらの画像データは、バッファメモリ１８に一旦記憶さ
れる。具体的には、例えば、図２４Ａに示すように、画
像データがピクチャＩ０，Ｂ１，Ｂ２，Ｐ３・・・の順
に入力され、図２４Ｂに示すように、エンコーダ処理順
序に並べ変えられる。この並べ変えられたピクチャ間
で、上述した図１に示すような動き予測が行われる。な
お、入力されるピクチャＩ０，Ｂ１，Ｂ２，Ｐ３・・・
は、図５，６ではフィールドに対応し、図７ではフレー
ムに対応するものである。

【００６８】並べ変えられたピクチャは、動きベクトル
検出回路１９における動きベクトルの検出に用いられ
る。動きベクトル検出回路１９は、既に符号化されたピ
クチャをもとにして、予測のためのピクチャを生成する
ために必要な動きベクトルを検出する。すなわち、バッ
ファメモリ１８に前方ピクチャと後方ピクチャを保持し
て、現在の参照ピクチャとの間で、動きベクトルの検出
を行う。ここで、動きベクトルの検出は、例えば、マク
ロブロック単位でのピクチャ間差分の絶対値和が最小に
なるものを、その動きベクトルとする。

【００６９】このマクロブロック単位での動きベクトル
とピクチャ間差分の絶対値和は、符号化方式判定回路２
１に送られる。符号化方式判定回路２１は、後述するア
ルゴリズムにより、ある階層のピクチャの符号化方式、
すなわちフィールド単位の符号化処理かフレーム単位の
符号化処理かを決定する。この符号化方式の情報（フィ
ールド単位かフレーム単位か）及び動きベクトルは、動
き補償回路１２，１３、可変長符号化回路２５等に送ら
れ、バッファメモリ７，８の管理に用いられると共に、
後述する画像データ復号化装置に伝送される。また、符
号化方式の情報は、コントロール回路１６に送られる。
コントロール回路１６からは、ゲート５，１７、切換ス
イッチ６，９，１０，１５に対して、符号化方式を制御
するコントロール信号が出力される。

【００７０】さらに、マクロブロック単位での動きベク
トルとピクチャ間差分の絶対値和は、ピクチャ内／前方
／後方／両方向予測判定（以下単に予測判定という）回
路２０に送られる。予測判定回路２０は、この値をもと
に、参照マクロブロックの予測モードを決定する。

【００７１】この予測モードは、コントロール回路１６
に送られる。コントロール回路１６はこの予測モードを
もとに、マクロブロック単位でピクチャ内／前方／後方
／両方向予測の切換を行うように、ゲート５，１７等に
対して、コントロール信号を出力する。また、コントロ
ール回路１６は、選択された予測モードに対応する動き
ベクトルを、バッファメモリ７，８に送り、予測画像を
発生させる。具体的には、ピクチャ内符号化モードの場
合は入力画像そのものを、前方／後方／両方向予測モー
ドのときはそれぞれの予測画像を発生させる。なお、ゲ
ート５，１７、切換スイッチ６，９，１０，１５の具体
的な動作は後述する画像データ復号化装置のゲート３
５，４７、切換スイッチ３６，３９，４０，４５と同じ
であるので、ここでは説明を省略する。

【００７２】バッファメモリ７，８からの予測画像は、
差分器２２に供給され、差分器２２は、予測画像と現画
像との差分データを発生する。当該差分データは、離散
コサイン変換（以下ＤＣＴ：Discrete Cosine Transfor
mという）回路２３に入力される。

【００７３】ＤＣＴ回路２３は、画像信号が有する２次
元相関を利用して、人力画像データ又は差分データをブ
ロック単位で離散コサイン変換し、その結果得られるＤ
ＣＴ変換データを量子化回路２４に供給する。

【００７４】量子化回路２４は、例えばマクロブロック
及びスライス毎に定まる量子化ステップサイズ（スケー
ル）でＤＣＴ変換データを量子化し、その結果につい
て、所謂ジグザグスキャン（Zigzag Scan）を行う。そ
して、得られる量子化データを可変長符号化（以下ＶＬ
Ｃ：Variable Length Codeという）回路２５及び逆量子
化回路２に供給する。

【００７５】量子化に用いる量子化ステップサイズは、
送信バッファメモリ２６のバッファ残量をフィードバッ
グすることによって、送信バッファメモリ２６が破綻し
ない値に決定される。この量子化ステップサイズも、Ｖ
ＬＣ回路２５及び逆量子化回路２に、量子化データと共
に供給される。

【００７６】ここでＶＬＣ回路２５は、量子化データ、
量子化ステップサイズ、予測モード、動きベクトル、符
号化方式の情報等を可変長符号化処理すると共に、符号
化方式の情報（フィールド単位かフレーム単位か）を所
定の階層のヘッダに付加し、伝送データとして送信バッ
ファメモリ２６に供給する。

【００７７】送信バッファメモリ２６は、伝送データを
一旦メモリに格納した後、所定のタイミングでビットス
トリームとして出力すると共に、メモリに残留している
残留データ量に応じてマクロブロック単位の量子化制御
信号を量子化回路２４にフィードバックして量子化ステ
ップサイズを制御する。これにより送信バッファメモリ
２６は、ビットストリームとして発生されるデータ量を
調整し、メモリ内に適正な残量（オーバーフロー又はア
ンダーフローを生じさせないようなデータ量）のデータ
を維持するようになされている。

【００７８】例えば送信バッファメモリ２６のデータ残
量が許容上限にまで増量すると、送信バッファメモリ２
６は量子化制御信号によって量子化回路２４の量子化ス
テップサイズを大きくすることにより、量子化データの
データ量を低下させる。

【００７９】またこれとは逆に送信バッファメモリ２６
のデータ残量が許容下限値まで減量すると、送信バッフ
ァメモリ２６は量子化制御信号によって量子化回路２４
の量子化ステップサイズを小さくすることにより、量子
化データのデータ量を増大させる。

【００８０】以上のようにして、データ量が調整された
送信バッファメモリ２６からのビットストリームは、符
号化されたオーディオ信号、同期信号等と多重化され、
さらにエラー訂正用のコードが付加され、所定の変調が
加えられた後、例えばレーザ光を介して所謂マスターデ
ィスク上の凹凸のピットとして記録される。そして、マ
スターディスクを利用して、所謂スタンパが形成され、
さらに、そのスタンパにより、大量の複製ディスク（例
えば光ディスク等の画像記録媒体）が形成される。ま
た、例えば伝送路を介して後述する画像データ復号化装
置に送信される。なお、画像記録媒体としては、光ディ
スク等に限定されるものではなく、例えば磁気テープ等
でもよい。

【００８１】一方、逆ＤＣＴ回路３の出力データは、加
算回路４によって、予測画像と加算され、局所復号が行
われる。この局所復号の動作は、後述する画像データ復
号化装置と同じなので、ここでは説明を省略する。

【００８２】なお、ピクチャの構成パターンは、図３に
示すパターンに限定されるものではなく、例えばエンコ
ーダ処理順序が異なると、ピクチャの構成パターンも異
なる。具体的には、Ｐピクチャと、その間に時間的に挟
まれるＢピクチャの符号化の処理順序には種々のバリエ
ーションがあるが、それらは処理の順序の変更だけであ
るので、バッファメモリ７，８等コントロールを変える
ことにより、対応することができる。

【００８３】ここで、符号化方式判定回路２１の具体的
なアルゴリズムについて、図２５に示すフローチャート
を用いて説明する。

【００８４】符号化方式判定回路２１は、符号化される
現フレームの第１フィールド（例えば奇数フィールド）
から第２フィールド（例えば偶数フィールド）ヘの動き
ベクトルを利用して符号化方式を選択する。

【００８５】具体的には、ステップＳＴ１において、符
号化方式判定回路２１は、この動きベクトルを、符号化
されるフレーム中の全てのマクロブロックについて求
め、ステップＳＴ２に進む。

【００８６】ステップＳＴ２において、符号化方式判定
回路２１は、動きベクトルの水平（x）成分、垂直（y）
成分のメディアンを求め、ステップＳＴ３に進む。具体
的には、水平成分のメディアンは次のようにして計算さ
れる。先ず、動きベクトルの水平成分を降羃の順に並べ
る。そして、その中央のデータの値を水平成分のメディ
アンＭｖ_xとする。同様にして垂直成分のメディアンＭ
ｖ_yを求める。

【００８７】ステップＳＴ３において、符号化方式判定
回路２１は、ステップＳＴ２で求めたベクトルＭＶ（Ｍ
ｖ_x，Ｍｖ_y）は両面全体の動きを表すパラメータである
ことから、両面全体の動きの大きさを表すパラメータと
してこのベクトルＭＶの大きさＲを求め、ステップＳＴ
４に進む。このＲは下記式１によって求められる。

【００８８】 Ｒ＝｜ＭＶ｜＝sqrt(Ｍｖ_x ²＋Ｍｖ_y ²)・・・式１ ステップＳＴ４において、符号化方式判定回路２１は、
ステップＳＴ３で求めたＲによって符号化方式の切換を
行う。動きの速い画像ではフィールド単位の符号化方式
（符号化処理）、動きの少ない画像ではフレーム単位の
符号化方式（符号化処理）が有利であるので、符号化方
式判定回路２１は、Ｒが所定の闇値ＴＨ以下のときはス
テップＳＴ５に進み、フレーム単位の符号化方式を選択
する。それ以外のときはステップＳＴ６に進み、フィー
ルド単位の符号化方式を選択する。

【００８９】かくして、本発明を適用した画像データ符
号化装置では、画像の動きに応じて、具体的には同一フ
レームの第１フィールドと第２フィールド間の動きベク
トル、或いはその動きベクトルのメディアンの大きさに
基づいて、符号化処理をフィールド単位で行うか、フレ
ーム単位で行うを決定することにより、動きの少ない画
像も動きの多い画像も、また、これら両者が混在した画
像でも、効率よく符号化を行うことができる。

【００９０】３．画像データフォーマット つぎに、この画像データ符号化装置から出力されるビッ
トストリーム、すなわち画像データフォーマットの具体
例について説明する。 図２６Ａは、ビデオシーケンス
層のヘッダに、符号化処理がフレーム単位かフィールド
単位かで行われたことを識別するための識別情報（符号
化方式の情報）をフラグとして付加した例を示す図であ
る。ビデオシーケンス層は、図２６Ａに示すように、ス
タートコード、水平サイズ、垂直サイズ等が所定のビッ
ト（図中数字で示す）にて書き込まれている。この例で
は、フレーム周波数の後に、符号化処理がフィールド単
位又はフレーム単位で行われたかを識別する識別情報が
１ビットのフラグとして付加されている。なお、このフ
ラグを付加する位置は、他の場所でもよい。

【００９１】また、図２６Ｂに示すように、ＧＯＰ層の
ヘッダにフラグを加えてもよい。すなわち、この例では
タイムコードの後に識別情報が１ビットのフラグとして
付加されている。このフラグを付加する位置は、同様に
他の場所でもよい。

【００９２】さらに上述の図２６はＭＰＥＧの規格にフ
ラグを加えた例であるが、ＭＰＥＧで予め定められてい
る各層の拡張用の領域を利用して、フラグを書き込んで
もよい。例えばビデオシーケンス層ならば、拡張領域
（Sequence Extension Byte）に書き込んでもよいし、
ユーザデータに書き込んでもよい。具体的には、例えば
図２６Ｃに示すように、ＭＰＥＧの規格のピクチャ層の
拡張領域にフラグを付加するようにしてもよい。このと
き、符号化方式を表すために、２ビットのフラグを使
う。この２ビットのフラグは、次のような情報を示す。

【００９３】 ００：フレーム単位で符号化処理されたピクチャ ０１：フィールド単位で符号化処理されたピクチャの第
１フィールド １０：フィールド単位で符号化処理されたピクチャの第
２フィールド １１：予備

【００９４】４．画像データ復号化装置 図２７は、本発明を適用した画像データ復号化装置（デ
コーダ）の具体的な回路構成を示すブロック図である。

【００９５】逆可変長符号化（以下、逆ＶＬＣ： Inver
se Variable Length Codingという）回路３１は、上述
の図２３に示す画像データ符号化装置（エンコーダ）か
ら供給されるビットストリームや、光ディスク等の画像
記録媒体を再生して得られるビットストリ一ムを逆可変
長符号化処理して逆量子化回路３２に出力する。また、
同時に、逆ＶＬＣ回路３１は、符号化時に画像データと
共に書き込まれて（重畳されて）いる動きベクトル、量
子化幅（量子化ステップサイズ）、符号化の情報等のデ
ータを解読する。

【００９６】特に、逆ＶＬＣ回路３１は、ビデオシーケ
ンス層、ＧＯＰ層又はピクチャ層等のヘッダに付加され
ているフラグを解読し、復号化の処理がフレーム単位か
若しくはフィールド単位かの情報を得る。この情報はコ
ントロール回路４６に供給され、このコントロール回路
４６は、フレーム処理若しくはフィールド処理のための
コントロール信号を発生する。具体的には、コントロー
ル回路４６は、逆ＶＬＣ回路３１の出力に対応して種々
のコントロール信号を生成し、ゲート３５の他、ゲート
４７、切換スイッチ３６，３９，４０，４５等を所定の
接点の方向に切り換える。

【００９７】すなわち、フレーム処理の場合には、１ピ
クチャを、例えば７２０（ピクセル）×４８０（ライ
ン）とし、１マクロブロックを１６×１６画素とすれ
ば、１３５０マクロブロックを１つのピクチャ処理の完
了として、次のピクチャを処理するためのコントロール
信号を発生する。一方、フィールド処理の場合には、同
様に６７５マクロブロックを１つのピクチャ処理の完了
として、次のピクチャを処理するためのコントロール信
号を発生する。また、バッファメモリ３７，３８のスケ
ジューリングを管理することにより、フレーム単位若し
くはフィールド単位の復号を行う。

【００９８】また、逆ＶＬＣ回路３１は、復号化の処理
がフレーム単位若しくはフィールド単位であるかのコン
トロール信号を、動き補償回路４２，４３にも送り、動
き補償回路４２，４３が、バッファメモリ３７，３８の
アドレスをコントロールすることにより、次に述べるよ
うに、フレーム単位若しくはフィールド単位の復号を行
う。

【００９９】逆量子化回路３２は、逆ＶＬＣ処理された
データを逆スキャンすると共に逆量子化して、逆ＤＣＴ
回路３３に出力する。逆ＤＣＴ回路３３は、入力された
データを逆ＤＣＴ（逆離散コサイン変換）処理して加算
回路３４に出力する。この加算回路３４には切換スイッ
チ４５により切り換え選択された予測画像データがゲー
ト４７を介して入力されており、この予測画像データが
逆ＤＣＴ回路３３の出力データと加算され、復号された
画像データが生成される。

【０１００】加算回路３４の出力がＩピクチャ又はＰピ
クチャであるとき、ゲート３５が開かれ、復号された画
像データが切換スイッチ３６を介してバッファメモリ３
７又はバッファメモリ３８に供給され、記憶される。

【０１０１】具体的には、加算回路３４の出力がＩピク
チャ又はＰピッチャであるとき、切換スイッチ３９，４
０は接点ａ側に切り換えられている。また、切換スイッ
チ３６は、接点ａと接点ｂとに交互に切り換えられ、一
対のバッファメモリ３７，３８に加算回路３４より出力
されたピクチャ（Ｉピクチャ又はＰピクチャ）が交互に
記憶される。

【０１０２】例えば、上述の図２４Ａに示すように、ピ
クチャＩ０，Ｂ１，Ｂ２，Ｐ３，Ｂ４，Ｂ５，Ｐ６，Ｂ
７，Ｂ８，Ｐ９の順で配置された画像データは、画像デ
ータ符号化装置（エンコーダ）において、図２４Ｂに示
すように、ピクチャＩ０，Ｐ３，Ｂ１，Ｂ２，Ｐ６，Ｂ
４，Ｂ５，Ｐ９，Ｂ７，Ｂ８の順で処理されると、逆Ｖ
ＬＣ回路３１にも、図２４Ｄに示すように、この順序で
データが入力される。

【０１０３】その結果、例えば図２４Ｅに示すように、
ピクチャＩ０の復号データがバッファメモリ３７に記憶
されたとすると、図２４Ｆに示すように、バッファメモ
リ３８にはピクチャＰ３の復号データが記憶され、さら
に、図２４Ｅ，Ｆに示すように、バッファメモリ３７の
ピクチャＩ０のデータはピクチャＰ６のデータに更新さ
れ、バッファメモリ３８のピクチャＰ３のデータはピク
チャＰ９のデータに更新される。

【０１０４】ピクチャＩ０，Ｐ３に続いて、ピクチャＢ
１又はピクチャＢ２のデータが逆ＤＣＴ回路３３より加
算回路３４に入力されたとき、バッファメモリ３７に記
憶されているピクチャＩ０のデータが動き補償回路４２
において、動きベクトルに対応して動き補償された後、
補間回路４４に供給される。またバッファメモリ３８に
記憶されているピクチャＰ３のデータが、動き補償回路
４３において動きベクトルに対応して動き補償された
後、補間回路４４に供給される。補間回路４４は逆ＶＬ
Ｃ回路３１より入力されるデータに対応して動き補償回
路４２，４３からの各入力を所定の割合で合成する。こ
の合成データが切換スイッチ４５により選択され、その
接点ｂとゲート４７を介して加算回路３４に供給され
る。加算回路３４は、逆ＤＣＴ向路３３からのデータと
切換スイッチ４５により選択されたデータとを加算し
て、ピクチャＢ１又はピクチャＢ２を復号する。

【０１０５】ピクチャＢ１，Ｂ２が前のピクチャＩ０の
みから復号されるときは、切換スイッチ４５は接点ａ側
に切り換えられ、後のピクチャＰ３のみから復号される
ときは、切換スイッチ４５は接点ｃ側に切り換えられ、
それぞれピクチャＩ０又はピクチャＰ３のデータが加算
回路３４に供給される。

【０１０６】切換スイッチ３９は、切換スイッチ３６と
反対側に切り換えられるようになっている。すなわち、
切換スイッチ３６が接点ａ側（ｂ側）に切り換えられた
とき、切換スイッチ３９は接点ｂ側（ａ側）に切り換え
られる。したがって、ピクチャＩ０がバッファメモリ３
７に記憶された後、切換スイッチ３６が接点ｂ側に切り
換えられて、ピクチャＰ３がバッファメモリ３８に記憶
されるとき、切換スイッチ３９は接点ａ側に切り換えら
れ、このとき切換スイッチ４０は接点ａ側に切り換えら
れるので、図２４Ｇに示すように、ピクチャＩ０がバッ
ファメモリ３７から読み出され、切換スイッチ３９，４
０を介してディスプレイ４１に供給され、このディスプ
レイ４１において再生画像が表示される。加算回路３４
よりピクチャＢ１，Ｂ２が出力されるときには、切換ス
イッチ４０が接点ｂ側に切り換えられており、上述の図
２４Ｇに示すように、ピクチャＢ１，Ｂ２がディスプレ
イ４１に供給される。次に切換スイッチ３９が接点ｂ側
に、切換スイッチ４０が接点ａ側に切り換えられて、図
２４Ｇ，Ｆに示すように、既にバッファメモリ３８に記
憶されているピクチャＰ３が読み出され、ディスプレイ
４１に供給される。

【０１０７】ここで、上述した逆ＶＬＣ回路３１の具体
的な回路構成について説明する。

【０１０８】逆ＶＬＣ回路３１は、図２８に示すよう
に、バレルシフタ３１ａと、コード解読部３１ｂとを備
え、入力されたコードは、バレルシフタ３１ａにより１
６又は３２ビット単位でコード解読部３１ｂに送られ
る。コード解読部３１ｂは、コードテーブルやマッチン
グ回路等（図示せず）により構成され、入力されたコー
ドとコードテーブル内のコードとのマッチングを行い、
一致した場合にそのコードの種類から、そのデータ（da
ta）及びそのコードの長さ（CL）を出力する。

【０１０９】データ（data）は、図示しない逆ＶＬＣ回
路３１の他の回路に供給され、適切な処理がなされた
後、上述したコントロール回路４６、動き補償回路４３
等に供給される。

【０１１０】一方、コードの長さ（CL）は次にシフトす
べきシフト量としてバレルシフタ３１ａに送られ、バレ
ルシフタ３１ａはそのシフト量に応じて次のコードを１
６又は３２ビット単位でコード解読部３１ｂに出力す
る。

【０１１１】よってフレーム単位／フィールド単位を識
別するためのフラグも、コードテーブル内にヘッダとし
て他のコードと共に書き込んである。

【０１１２】かくして、本発明を適用した画像データ復
号化装置では、例えばビデオシーケンス層、ＧＯＰ層又
はピクチャ層等のヘッダの一部に設けられた画像データ
がフィールド単位又はフレーム単位で符号化処理された
ことを識別するためのフラグを検出し、このフラグに応
じて復号処理を行うことにより、画像データを再生する
ことができる。

【０１１３】ところで、上述の実施例の画像データ復号
化装置は、フィールド単位とフレーム単位の両方の復号
化処理を実行することができる装置であったが、例えば
何れか一方のみの復号化処理しか実行することができな
い装置では、フラグに基づいてその装置では復号化可能
か否かを判断するようにしてもよい。

【０１１４】具体的には、例えば上述の図２７に示すよ
うに、逆ＶＬＣ回路３１から供給されるフラグに基づい
て復号化可能か否かを判断する判断回路５１と、その判
断結果を表示する表示部５２を設ける。

【０１１５】そして、例えばフィールド単位のみの復号
化処理を行う画像データ復号化装置では、例えば図２９
に示すフローチャートに従った動作を行い、フレーム単
位のみの復号化処理を行う画像データ復号化装置では、
例えば図３０に示すフローチャートに従った動作を行
う。

【０１１６】すなわち、フレーム単位のみの復号化処理
を行う画像データ復号化装置では、判断回路５１は、ス
テップＳＴ１において、フラグを入力した後、ステップ
ＳＴ２に進む。

【０１１７】ステップＳＴ２において、判断回路５１
は、フラグがフレーム単位であるかを判断し、該当する
ときはステップＳＴ４に進み。該当しないときはステッ
プＳＴ３に進む。

【０１１８】ステップＳＴ３において、判断回路５１
は、表示部５２に復号ができない旨を表示し、終了す
る。

【０１１９】ステップＳＴ４において、判断回路５１
は、表示部５２に復号ができる旨を表示する。そして、
ステップＳＴ５において、復号化処理が行われる。

【０１２０】一方、フィールドのみの復号化処理を行う
画像データ復号化装置では、判断回路５１は、ステップ
ＳＴ１において、フラグを入力した後、ステップＳＴ２
に進む。

【０１２１】ステップＳＴ２において、判断回路５１
は、フラグがフィールド単位であるかを判断し、該当す
るときはステップＳＴ４に進み。該当しないときはステ
ップＳＴ３に進む。

【０１２２】ステップＳＴ３において、判断回路５１
は、表示部５Ｄに復号ができない旨を表示し、終了す
る。

【０１２３】ステップＳＴ４において、判断回路５１
は、表示部５２に復号ができる旨を表示する。そして、
ステップＳＴ５において、復号化処理が行われる。

【０１２４】この結果、利用者は、表示部５２の表示を
見ることで、その画像データ復号化装置で画像データが
再生できない原因を簡単に知ることができる。

【０１２５】ここで、符号化処理がフィールド単位で行
われたか、フレーム単位で行われたかを識別する識別情
報の具体例を表１，２に示す。この具体例は、所謂IS0/
ICEJTG/SC29/WG11により１９９２年１１月２５日にＮ文
書として発行された25-NOV-92 Test Model 3, Draft Re
vision 1におけるピクチャレイヤの仕様である。

【０１２６】

【表１】

【０１２７】

【表２】

【０１２８】

【発明の効果】本発明では、複数の画素の２次元配置か
らなるブロックを単位として符号化処理された画像デー
タの復号を行い、インターレース構造を有する２枚のフ
ィールドからなる１フレームの画像を得る際に、画像デ
ータのヘッダの一部に設けられた画像データがフィール
ド単位又はフレーム単位で処理されたことを識別するた
めの第１のフラグと、各ブロックの離散コサイン変換が
フィールド単位又はフレーム単位で行われたことを識別
するための第２のフラグとを検出し、これらの第１及び
第２のフラグに基づいて、復号処理がフィールド単位で
あるときは、ブロックの逆離散コサイン変換をフィール
ド単位で、又は復号処理がフレーム単位であるときは、
ブロックの逆コサイン変換をフィールド単位又はフレー
ム単位で適応的に切り換えて行う。これによって、動き
の少ない画像、動きの多い画像及びこれら両者が混在し
た画像を符号化して得られる画像データを復号化するこ
とができる。

【図面の簡単な説明】

【図１】ＭＰＥＧにおけるピクチャの関係を示す図であ
る。

【図２】ＭＰＥＧにおけるビデオフレームの構成を示す
図である。

【図３】動体を有する画像の具体例を示す図である。

【図４】櫛形にぶれた画像を示す図である。

【図５】フィールド単位の符号化／復号化処理の具体例
を示す図である。

【図６】フィールド単位の符号化／復号化処理の他の具
体例を示す図である。

【図７】フレーム単位の符号化／復号化処理の具体例を
示す図である。

【図８】図５に示すフィールド単位の符号化／復号化処
理における具体的な動き予測の方法を示す図である。

【図９】図６に示すフィールド単位の符号化／復号化処
理における具体的な動き予測の方法を示す図である。

【図１０】図７に示すフレーム単位の符号化／復号化処
理における具体的な動き予測の方法を示す図である。

【図１１】フィールド単位の符号化／復号化処理におけ
るマクロブロック内のブロックの構成例を示す図であ
る。

【図１２】フレーム単位の符号化／復号化処理における
マクロブロック内のブロックの構成例を示す図である。

【図１３】本発明を適用した画像データ符号化装置のバ
ッファメモリの具体的な構成例を示す図である。

【図１４】画像データ符号化装置のバッファメモリの具
体的な構成例を示す図である。

【図１５】図５に示すフィールド単位の符号化／復号化
処理における他の具体的な動き予測の方法を示す図であ
る。

【図１６】図６に示すフィールド単位の符号化／復号化
処理における他の具体的な動き予測の方法を示す図であ
る。

【図１７】フレーム単位の符号化／復号化処理とフィー
ルド単位の符号化／復号化処理の具体的な組合せの例を
示す図である。

【図１８】図１７に示す符号化／復号化処理におけるＰ
ピクチャの具体的な動き予測の方法を示す図である。

【図１９】図１７に示す符号化／復号化処理におけるＢ
ピクチャの具体的な動き予測の方法を示す図である。

【図２０】フレーム単位の符号化／復号化処理とフィー
ルド単位の符号化／復号化処理の他の具体的な組合せの
例を示す図である。

【図２１】図２０に示す符号化／復号化処理におけるＰ
ピッチャの具体的な動き予測の方法を示す図である。

【図２２】図２０に示す符号化／復号化処理におけるＢ
ピッチャの動き予測の方法を示す図である。

【図２３】本発明を適用した画像データ符号化装置の具
体的な回路構成を示すブロック図である。

【図２４】画像データ符号化装置に入力されるピクチャ
の関係を示す図である。

【図２５】画像データ符号化装置を構成する符号化方式
判定回路のアルゴリズムを示すフローチャートである。

【図２６】符号化された画像データのヘッダの具体的な
フォーマットを示す図である。

【図２７】本発明を適用した画像データ復号化装置の具
体的な回路構成を示すブロック図である。

【図２８】画像データ復号化装置を構成する逆ＶＬＣ回
路の具体的な回路構成を示すブロック図である。

【図２９】本発明を適用した画像データ復号化装置の動
作を説明するためのフローチャートである。

【図３０】本発明を適用した画像データ復号化装置の動
作を説明するためのフローチャートである。

【符号の説明】

３１ 逆可変長符号化回路、３２ 逆量子化回路、３３
逆ＤＣＴ回路、３４加算回路、３５ ゲート、３６，
３９，４０，４５ 切換スイッチ、３７，３８バッファ
メモリ、４２，４３ 動き補償回路、４４ 補間回路、
４６ コントロール回路、５１ 判断回路、５２ 表示
部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭63−234788（ＪＰ，Ａ) 特開 平３−1688（ＪＰ，Ａ) 特開 平３−276987（ＪＰ，Ａ) 1990年画像符号化シンポジウム（ＰＣ ＳＪ90）（８−１ 適応ライン補間フィ ールド間動き補償方式の検討）画像電子 学会誌、20［４］（1991．８．25）「イ ンターレース画像符号化の検討」Ｐ. 340−345

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 複数の画素の２次元配置からなるブロッ
   クを単位として符号化処理された画像データの復号を行
   い、インターレース構造を有する２枚のフィールドから
   なる１フレームの画像を得る画像データ復号化方法にお
   いて、上記画像データのヘッダの一部に設けられた上記
   画像データがフィールド単位又はフレーム単位で処理さ
   れたことを識別するための第１のフラグと、上記各ブロ
   ックの離散コサイン変換がフィールド単位又はフレーム
   単位で行われたことを識別するための第２のフラグとを
   検出し、上記第１及び第２のフラグに基づいて、復号処
   理がフィールド単位であるときは、上記ブロックの逆離
   散コサイン変換をフィールド単位で、又は復号処理がフ
   レーム単位であるときは、上記ブロックの逆コサイン変
   換をフィールド単位又はフレーム単位で適応的に切り換
   えて行う画像データ復号化方法。
2. 【請求項２】 上記画像データは階層構造を有し、上記
   第１及び第２のフラグを上記画像データの所定の階層の
   ヘッダから検出し、該第１及び第２のフラグに基づい
   て、上記所定の階層毎に復号処理を、フィールド単位又
   はフレーム単位で適応的に切り換えて行うことを特徴と
   する請求項１に記載の画像データ復号化方法。