JP4838253B2 - 画像符号化装置、画像符号化方法、画像復号化装置、画像復号化方法、および記録方法 - Google Patents

Description

本発明は、動画像を符号化する画像符号化装置、その画像符号化方法により生成されるストリーム、およびそのストリームを復号化する画像復号化装置に関する。

近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４Ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４Ｋｂｉｔ／ｓ〜１．５Ｍｂｉｔｓ／ｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ：Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ-Ｔ（国際電気通信連合 電気通信標準化部門）で勧告されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、ＭＰＥＧ（Moving Picture Experts Group）とは、ＩＳＯ／ＩＥＣ（国際標準化機構 国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格では対象とする品質を伝送速度が主として約１．５Ｍｂｐｓで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号を２〜１５ＭｂｐｓでＴＶ放送品質を実現する。

さらに現状では、ＭＰＥＧ−１およびＭＰＥＧ−２の標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11）によって、ＭＰＥＧ−１およびＭＰＥＧ−２を上回る圧縮率を達成し、更に物体単位で符号化・復号・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。その後、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔが共同でより高圧縮率の次世代画像符号化方式として、ＭＰＥＧ−４ＡＶＣ（Advanced Video Coding）がされ、さらに、現在ＳＭＰＴＥ（Society of Motion Picture and Television Engineers）においてＶＣ−１（Proposed SMPTE Standard for Television: VC-1 Compressed Video Bitstream Format and Decoding Process, Final Committee Draft 1 Revision 6, 2005.7.13）が規格化中である。ＶＣ−１では、ＭＰＥＧ−２およびＭＰＥＧ−４の方式をベースとして、符号化ツール等の拡張を行っている。ＶＣ−１は、ＢＤ（Blu-ray disc）やＨＤ（High Definition）−ＤＶＤなど、次世代の光ディスク関連機器などで使用される見込みである。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したりすることができる。

参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方である２枚のピクチャを参照することが可能である。ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。

図１Ａおよび図１Ｂは、従来のＭＰＥＧ−２のストリームの構成図である。図１Ｂに示すように、ＭＰＥＧ−２のストリームは以下のような階層構造を有している。ストリームは複数のＧＯＰ（Group Of Picture）から構成されており、ＧＯＰを符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能になっている。つまり、ＧＯＰの先頭がランダムアクセスポイントとなる。ＧＯＰは、複数のピクチャから構成され、各ピクチャには、Ｉピクチャ、Ｐピクチャ又はＢピクチャがある。ストリーム、ＧＯＰおよびピクチャは、さらにそれぞれの単位の区切りを示す同期信号（ｓｙｎｃ）と、当該単位に共通のデータであるヘッダとを含んで構成されている。

図２Ａおよび図２Ｂは、ＭＰＥＧ−２で使用されているピクチャ間の予測構造例である。同図で斜線をつけたピクチャは、他のピクチャから参照されるピクチャである。図２Ａに示すように、ＭＰＥＧ−２ではＰピクチャ（ピクチャＰ０，Ｐ６，Ｐ９，Ｐ１２，Ｐ１５）は、表示時刻が直前１枚のＩピクチャもしくはＰピクチャのみを参照した予測符号化が可能である。また、Ｂピクチャ（ピクチャＢ１，Ｂ２，Ｂ４，Ｂ５，Ｂ７，Ｂ８，Ｂ１０，Ｂ１１，Ｂ１３，Ｂ１４，Ｂ１６，Ｂ１７，Ｂ１９，Ｂ２０）は、表示時刻が直前１枚と直後１枚のＩピクチャもしくはＰピクチャを参照した予測符号化が可能である。更に、ピクチャがストリームに配置される順序も決まっており、ＩピクチャおよびＰピクチャは表示時刻の順序に配置され、Ｂピクチャは直後に表示されるIピクチャもしくはＰピクチャの直後に配置される。ＧＯＰ構造としては、例えば、図２Ｂに示すように、ピクチャＩ３からＢ１４までをまとめて１つのＧＯＰとすることができる。

図３は、ＶＣ−１のストリームの構成図である。ＶＣ−１も基本的にはＭＰＥＧ−２と同一のストリーム構造をもつ。ただし、ランダムアクセスポイントは、エントリ・ポイント（Entry Point）と呼ばれ、そのエントリ・ポイントには、エントリ・ポイント・ヘッダ（Entry Point HDR）が付加される。エントリ・ポイントから次のエントリ・ポイントまでのデータがランダムアクセス単位（ＲＡＵ）となり、ＭＰＥＧ−２におけるＧＯＰに相当する。以降、ＶＣ−１におけるランダムアクセス単位をＲＡＵと呼ぶ。ここで、ＲＡＵには、ＲＡＵを構成するピクチャについてのユーザーデータ（エントリ・ポイントレベルのユーザーデータ）を格納することができ、エントリ・ポイント・ヘッダの直後に格納される。

ここで、ＶＣ−１におけるピクチャのタイプについて説明する。まず、ＶＣ−１でも、Ｉピクチャ、ＰピクチャおよびＢピクチャが定義されている。これらのＩ、Ｐ、Ｂピクチャについては、ＭＰＥＧ−２と同等の予測構造をもつ。ＶＣ−１では、これら３種類のピクチャに加えて、ＳｋｉｐｐｅｄピクチャおよびＢＩピクチャの２種類が定義される。Ｓｋｉｐｐｅｄピクチャとは、画素データを含まないピクチャであり、復号順で直前の参照ピクチャと同一の画素データを持つＰピクチャとして扱われる。例えば、下記の（１）および（２）に示す例では、ピクチャＳ５がピクチャＰ３と同一であるとみなされるため、ストリームの復号時の動作は、（１）と（２）で同一となる。

（１）表示順： ピクチャＩ０、ピクチャＢ２、ピクチャＰ１、ピクチャＢ４、ピクチャＰ３、ピクチャＢ６、ピクチャＳ５（なお、符号にＩを含めて示されるピクチャはＩピクチャであり、符号にＰを含めて示されるピクチャはＰピクチャであり、符号にＢを含めて示されるピクチャはＢピクチャであり、符号にＳを含めて示されるピクチャはＳｋｉｐｐｅｄピクチャである。例えば、ピクチャＳ６はＳｋｉｐｐｅｄピクチャを示す。また、各ピクチャに付加した数字は復号順を示す。）

（２）表示順： ピクチャＩ０、ピクチャＢ２、ピクチャＰ１、ピクチャＢ４、ピクチャＰ３、ピクチャＢ６、ピクチャＰ５（Ｐ５はＰ３と同一の画素データをもつ。）

Ｓｋｉｐｐｅｄピクチャは、画像が静止しているケースにおいて特に有効である。例えば、ＲＡＵの途中から画像が静止する際には、ピクチャＩ０、ピクチャＰ１、ピクチャＰ２、ピクチャＰ３、ピクチャＳ４、ピクチャＳ５、ピクチャＳ６…のように、画像が静止している部分についてはＳｋｉｐｐｅｄピクチャを使用することで、符号量を削減することができる。

また、ＢＩピクチャとは、ＢピクチャとＩピクチャの性質を併せ持つピクチャである。具体的には、ＢＩピクチャは、復号化と表示の順序が互いに異なり、他のピクチャから参照されないという点で、Ｂピクチャの性質をもつ。また、ＢＩピクチャは、全てのマクロブロックが画面内符号化されており、他のピクチャを参照しないという点でＩピクチャの性質をもつ。

次に、Ｉピクチャ、Ｐピクチャ、Ｂピクチャ、Ｓｋｉｐｐｅｄピクチャ、およびＢＩピクチャの判別方法を説明する。基本的には、ストリーム中のピクチャレイヤに含まれるピクチャタイプを参照することによりピクチャのタイプを判別することができる。しかし、ピクチャレイヤにより示すことのできるピクチャタイプは、プロファイルに応じて規定されている。

例えば、シンプル・プロファイルでは、ＩピクチャおよびＰピクチャを示すことができ、メイン・プロファイルでは、Ｉピクチャ、Ｐピクチャ、およびＢピクチャまたはＢＩピクチャを示すことができ、アドバンスト・プロファイルでは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャ、ＢＩピクチャおよびＳｋｉｐｐｅｄピクチャを示すことができる。

ここで、シンプル・ファイルおよびメイン・プロファイルの両プロファイルでは、ピクチャレイヤのピクチャタイプから、Ｓｋｉｐｐｅｄピクチャを判別できないため、任意のピクチャタイプをもつピクチャのサイズが１バイト以下である際に、当該ピクチャがＳｋｉｐｐｅｄピクチャであると規定されている。また、メイン・プロファイルでは、ＢまたはＢＩピクチャを示すピクチャタイプが定義されており、ピクチャタイプからＢピクチャとＢＩピクチャとを区別することはできない。

図４は、従来の画像符号化方法を実現する画像符号化装置のブロック図である。

画像符号化装置８００は、入力される画像信号Ｖｉｎに対して圧縮符号化および可変長符号化等を行なうことにより、その画像信号Ｖｉｎをビットストリーム（ストリーム）Ｓｔｒに変換して出力する装置である。この画像符号化装置８００は、動き検出部８０１、動き補償部８０２、減算部８０３、直交変換部８０４、量子化部８０５、逆量子化部８０６、逆直交変換部８０７、加算部８０８、ピクチャメモリ８０９、スイッチ８１０、可変長符号化部８１１、および予測構造決定部８１２を備えている。

画像信号Ｖｉｎは、減算部８０３および動き検出部８０１に入力される。減算部８０３は、入力された画像信号Ｖｉｎと予測画像の差分値を計算し、直交変換部８０４に出力する。直交変換部８０４は、差分値を周波数係数に変換し、量子化部８０５に出力する。量子化部８０５は、入力された周波数係数を量子化し、量子化値Ｑｃを可変長符号化部８１１に出力する。

逆量子化部８０６は、量子化値Ｑｃを逆量子化して周波数係数に復元し、逆直交変換部８０７に出力する。逆直交変換部８０７は、周波数係数を差分値に逆周波数変換し、加算部８０８に出力する。加算部８０８は、差分値と動き補償部８０２から出力される予測画像とを加算して復号画像とする。スイッチ８１０は、当該復号画像の保存が指示された場合にＯＮになり、その復号画像はピクチャメモリ８０９に保存される。

一方、画像信号Ｖｉｎがマクロブロック単位で入力された動き検出部８０１は、ピクチャメモリ８０９に格納されている復号画像（参照ピクチャ）を探索対象とし、最も画像信号Ｖｉｎの示すマクロブロックに近い画像を有する画像領域を検出することによって、その画像領域の位置を指し示す動きベクトルＭＶを決定する。

動き補償部８０２は、上記処理によって検出された動きベクトルＭＶなどを用いて、ピクチャメモリ８０９に格納されている復号画像から予測画像に最適な画像領域を取り出す。

予測構造決定部８１２は、ＲＡＵ開始ピクチャＵｉｎによって、符号化の対象ピクチャがＲＡＵの開始位置にあると判断すると、その対象ピクチャをランダムアクセスが可能な特別なピクチャとして符号化（画面内符号化）するように、ピクチャタイプＰｔで動き検出部８０１および動き補償部８０２に指示し、更にそのピクチャタイプＰｔを可変長符号化部８１１に符号化させる。

可変長符号化部８１１は、量子化値Ｑｃ、ピクチャタイプＰｔおよび動きベクトルＭＶなどを可変長符号化して、ストリームＳｔｒを生成する。

図５は、従来の画像復号化方法を実現する画像復号化装置９００のブロック図である。同図において、図４の従来の画像符号化方法を実現する画像符号化装置８００のユニットと同じ動作をするユニットには同じ記号を付し、そのユニットの説明を省略する。

可変長復号部９０１はストリームＳｔｒを復号化し、量子化値Ｑｃ、参照ピクチャの特定情報ＩｎｄピクチャタイプＰｔおよび動きベクトルＭＶなどを出力する。ピクチャメモリ８０９は動きベクトルＭＶを取得し、動き補償部８０２は、ピクチャタイプＰｔ、動きベクトルＭＶおよび参照ピクチャの特定情報Ｉｎｄを取得し、逆量子化部８０６は量子化値Ｑｃを取得する。そして、ピクチャメモリ８０９、動き補償部８０２、逆量子化部８０６、逆直交変換部８０７、および加算部８０８によって復号化処理が行われる。このような復号化処理の動作は、図４の従来の画像符号化方法を実現する画像符号化装置８００で説明済みである。

バッファメモリ９０２は、加算部８０８から出力される復号画像Ｖｏｕｔを格納するメモリであり、表示部９０３は、バッファメモリ９０２から復号画像Ｖｏｕｔを取得して、その復号画像Ｖｏｕｔに応じた画像を表示する。なお、ピクチャメモリ８０９とバッファメモリ９０２は共用してもよい。

図６は、従来の画像復号化装置９００における、高速再生などの特殊再生時の復号動作を示すフローチャートである。まず、画像復号化装置９００は、ステップＳ１００１において、ストリームＳｔｒから、処理対象のピクチャの先頭を検出する。そして、画像復号化装置９００は、ステップＳ１００２において、ピクチャレイヤのヘッダに含まれるピクチャタイプに基づいて、当該ピクチャを復号化するかどうかを判定する。ステップＳ１００３では、画像復号化装置９００は、ステップＳ１００２においてピクチャの復号化が必要と判定されたかどうかを解釈し、必要と判定された際にはステップＳ１００４に進み、必要ないと判定された際にはステップＳ１００５に進む。ステップＳ１００４では、画像復号化装置９００は、ピクチャを復号化してステップＳ１００５に進む。最後に、ステップＳ１００５では、画像復号化装置９００は、ＲＡＵあるいはストリームの最終ピクチャなど再生処理が必要な最後のピクチャまで処理が完了したかどうか判定し、未処理のピクチャが存在する際にはステップＳ１００１からステップＳ１００５までの処理を繰り返し、最終ピクチャの処理が完了した時点で復号処理を終了する。

しかしながら、上記従来の画像符号化装置８００および画像復号化装置９００では、Ｓｋｉｐｐｅｄピクチャを含むストリームＳｔｒの復号化、特に高速再生などの特殊再生時において、大きな処理負担を要するという問題がある。

図７は、上記従来の画像符号化装置８００および画像復号化装置９００の問題を説明するための図である。

図７の（ａ）は、Ｓｋｉｐｐｅｄピクチャを含む従来のＲＡＵの構造を示す。ＲＡＵは２４枚のピクチャから構成され、復号順で４番目以降のピクチャからは画像の動きが静止しているため、５番目のピクチャからは全てＳｋｉｐｐｅｄピクチャとなっている。このようなＲＡＵを３倍速で再生する際には、従来の画像復号化装置９００は、１、４、７、１０、１３、１６、１９、および２２番目のピクチャを順に復号化して再生しようとする。しかし、実際に復号化が必要であるピクチャは、図７の（ｃ）に示すように、１番目のIピクチャと４番目のＰピクチャのみである。

つまり、従来のストリームＳｔｒのＲＡＵでは、各ピクチャレイヤに当該ピクチャのピクチャタイプが含まれているため、画像復号化装置９００は、実際に各ピクチャ（ピクチャレイヤ）の先頭をサーチしてピクチャタイプを取得しなければそのピクチャの復号化が必要かどうかを判別することができない。このため、図７の（ｂ）に示すように、画像復号化装置９００は、７、１０、１３、１６、１９、および２２番目のＳｋｉｐｐｅｄピクチャについても、これらのピクチャのデータを実際に解析してピクチャタイプを取得する必要があった。

このように、従来の画像符号化装置および画像復号化装置では、ＲＡＵを高速再生する際には、復号化が不要なピクチャまで解析する必要があり、復号化時の処理量が多いという課題がある。

そこで本発明は、かかる問題に鑑みてなされたものであって、復号化処理の負担を軽減することができる画像符号化装置および画像復号化装置を提供することを目的とする。

上記目的を達成するために、本発明の画像符号化装置は、ピクチャを符号化する画像符号化装置であって、各ピクチャをピクチャタイプに応じて符号化する符号化手段と、符号化された複数のピクチャを含むランダムアクセス単位に含まれる、各ピクチャのピクチャタイプ情報をピクチャの復号順に並べた第１の補助情報を符号化する第１の符号化手段と、前記ランダムアクセス単位に含まれる、各ピクチャのピクチャ構造情報をピクチャの復号順に並べた第２の補助情報を符号化する第２の符号化手段と、前記符号化された第１および第２の補助情報を、前記ランダムアクセス単位内の先頭のピクチャよりも前に書き込む書き込み手段とを備え、前記各ピクチャのピクチャタイプ情報には、少なくとも、画面内符号化されるＩピクチャ、１枚のピクチャを参照して画面間符号化されるＰピクチャ、２枚のピクチャを参照して画面間符号化されるＢピクチャ、および、復号順で直前にある参照ピクチャと同一の画像で表示されるべきスキップピクチャが含まれ、前記各ピクチャのピクチャ構造情報には、３−２プルダウン使用時に、トップフィールドとボトムフィールドのいずれから復号を開始するかを示す情報が含まれ、前記スキップピクチャは、復号順で、複数枚連続しており、静止区間を構成することを特徴とする。
また、上記目的を達成するために、本発明の画像符号化装置は、ピクチャを符号化する画像符号化装置であって、各ピクチャをピクチャタイプに応じて符号化する符号化手段と、符号化された複数のピクチャを含むランダムアクセス単位内における画像の静止区間を示すマップを生成するマップ生成手段と、前記マップ生成手段で生成されたマップを前記ランダムアクセス単位内に書き込む書き込み手段とを備えることを特徴とする。

これにより、ランダムアクセス単位にはマップが格納されているため、画像復号化装置はそのマップからランダムアクセス単位内における画像の静止区間を簡単に特定することができる。その結果、画像復号化装置は、従来のように、ランダムアクセス単位に含まれる複数のピクチャレイアを１つずつわざわざ解析して、そのピクチャがＳｋｉｐｐｅｄピクチャであるか否かを判別する必要がなく、復号化処理の負担を軽減することができる。

また、前記書き込み手段は、前記ランダムアクセス単位内の先頭のピクチャよりも前に前記マップを書き込むことを特徴としてもよい。

これにより、画像復号化装置はランダムアクセス単位を先頭から取得することによって、マップを容易かつ迅速に検出することができ、復号化処理の負担をさらに軽減することができる。

また、前記マップ生成手段は、前記ランダムアクセス単位に含まれる各ピクチャのピクチャタイプを示す前記マップを生成することを特徴としてもよい。例えば、前記ピクチャタイプは、対象のピクチャが復号順で直前にある参照ピクチャと同一の画像で表示されるべきスキップピクチャであるか否かを示す。

これにより、画像復号化装置は、マップに示される各ピクチャのピクチャタイプから、ＩピクチャまたはＰピクチャの後に複数のＳｋｉｐｐｅｄピクチャが続く範囲を、静止区間として特定することができる。

また、前記マップ作成手段は、前記静止区間における先頭のピクチャおよび最後のピクチャを示す前記マップを生成することを特徴としてもよい。

これにより、画像復号化装置は、マップに示される先頭のピクチャおよび最後のピクチャから、静止区間を容易に特定することができる。

ここで、上記目的を達成するために、本発明の画像復号化装置は、符号化された複数のピクチャを含むランダムアクセス単位を復号化する画像復号化装置であって、前記ランダムアクセス単位内における画像の静止区間を示すマップを前記ランダムアクセス単位から検出する検出手段と、前記検出手段により検出されたマップの示す静止区間に基づいて、前記ランダムアクセス単位に含まれる符号化されたピクチャのうち、復号化すべきピクチャを選択する選択手段と、前記選択手段により選択されたピクチャを復号化する復号化手段とを備えることを特徴とする。

これにより、ピクチャの復号化処理を開始する前に、静止区間に基づいて復号化すべきピクチャが予め選択されるため、従来のように、復号化処理を開始しながら、ランダムアクセス単位に含まれる複数のピクチャレイアを１つずつわざわざ解析して、そのピクチャがＳｋｉｐｐｅｄピクチャであるか否かを判別する必要がなく、復号化処理の負担を軽減することができる。

また、上記目的を達成するために、本発明の画像符号化信号は、ランダムアクセス単位ごとに複数の符号化されたピクチャを含む画像符号化信号であって、前記ランダムアクセス単位ごとに、当該ランダムアクセス単位内における画像の静止区間を示すマップを有することを特徴とする。

これにより、ランダムアクセス単位にはマップが格納されているため、画像復号化装置はそのマップからランダムアクセス単位内における画像の静止区間を簡単に特定することができる。その結果、画像復号化装置は、従来のように、ランダムアクセス単位に含まれる複数のピクチャレイアを１つずつわざわざ解析して、そのピクチャがＳｋｉｐｐｅｄピクチャであるか否かを判別する必要がなく、復号化処理の負担を軽減することができる。

また、前記マップは、前記ランダムアクセス単位に含まれる何れのピクチャよりも前に格納されていることを特徴としてもよい。

これにより、画像復号化装置はランダムアクセス単位を先頭から取得することによって、マップを容易かつ迅速に検出することができ、復号化処理の負担をさらに軽減することができる。

なお、本発明は、上記画像符号化装置や、画像復号化装置、画像符号化信号だけでなく、画像符号化方法、画像復号化方法、プログラム、そのプログラムを格納する記憶媒体、上記各装置の集積回路としても実現することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
本発明の第１の実施の形態におけるＶＣ−１のストリームのＲＡＵ先頭には、ＲＡＵマップが格納されており、本実施の形態における画像復号化装置は、そのＲＡＵマップを解析することにより、そのＲＡＵ内における画像の静止区間を特定する。

図８は、本実施の形態におけるＶＣ−１のストリームに含まれるＲＡＵの構造の一例を示す図である。

このＲＡＵは、先頭にあるエントリ・ポイント・ヘッダ（Entry Point HDR）およびユーザーデータと、ユーザーデータの後にある複数のピクチャとを含んで構成されている。そして、ユーザーデータには、上述のＲＡＵマップＭＩが含まれている。なお、ＶＣ−１の規格では、ＲＡＵはＥＰＳ（Entry Pint Segment）と称される。

つまり、従来のＲＡＵとの違いは、ＲＡＵ内にＳｋｉｐｐｅｄピクチャが含まれるかどうか、および画像の静止区間を特定するためのＲＡＵマップＭＩがユーザーデータ（エントリ・ポイントレベルのユーザーデータ）内に配置されていることである。

従って、本実施の形態における画像復号化装置は、ＲＡＵマップＭＩを参照してＲＡＵ内にＳｋｉｐｐｅｄピクチャが存在するかどうか、および画像の静止区間を特定できるため、ＲＡＵ内の各ピクチャの復号開始前に、ＲＡＵ内の各ピクチャレイアを解析することなく、復号化する必要のないピクチャを特定することができ、その結果、復号時の処理量を削減できる。

図９Ａは、ＲＡＵマップＭＩのシンタックスの一例を示す図である。

num_pic_in_RAUはＲＡＵ内のピクチャの枚数を示し、frame_field_flagはＲＡＵ内の各ピクチャがフィールド構造で符号化されているかフレーム構造で符号化されているかを示し、pic_typeは各ピクチャのピクチャタイプ（Ｓｋｉｐｐｅｄピクチャを含む）を示す。なお、各ピクチャの情報は復号順で示される。つまり、このＲＡＵマップＭＩは、ＲＡＵ内のピクチャごとに、そのピクチャのピクチャタイプ（Ｓｋｉｐｐｅｄピクチャを含む）を示すことで、ＲＡＵ内の画像の静止区間を示している。ここで、本実施の形態における静止区間とは、復号順で参照ピクチャ（ＩピクチャまたはＰピクチャ）の後に複数のＳｋｉｐｐｅｄピクチャが連続する場合において、その参照ピクチャから最後のＳｋｉｐｐｅｄピクチャまでの位置および範囲を示す。

例えば、ＲＡＵマップＭＩは、ＲＡＵ内の２番目から最終ピクチャまでの全ピクチャがｓｋｉｐｐｅｄピクチャであることを示す。この場合、画像復号化装置は、ＲＡＵマップＭＩのpic_typeを参照することにより、２番目以降のピクチャは復号化せずに、先頭ピクチャを復号化して繰り返し表示すればよいと判断する。

なお、ピクチャ単位で、１フレームが表示時に何フィールド分に相当するか、あるいはトップフィールドとボトムフィールドのどちらから復号を開始するかなどを示す３−２プルダウンの情報をＲＡＵマップＭＩに含めてもよい。

図９Ｂは、ＲＡＵマップＭＩのシンタックスの他の例を示す図である。

ＶＣ−１のアドバンスト・プロファイルでは、フィールド符号化時の第１フィールドと第２フィールドのピクチャタイプは、ピクチャレイヤに含まれるフィールド・ピクチャタイプによって示される。フィールド・ピクチャタイプには、（第１フィールドのピクチャタイプ、第２フィールドのピクチャタイプ）として、（Ｉ、Ｉ）、（Ｉ、Ｐ）、（Ｐ、Ｉ）、（Ｐ、Ｐ）、（Ｂ、Ｂ）、（Ｂ、ＢＩ）、（ＢＩ、Ｂ）、および（ＢＩ、ＢＩ）の８通りが定義されている。従って、ピクチャがフィールドで構成される場合には、フィールド・ピクチャタイプを示すことで、フレームを構成する第１フィールドと第２フィールドのピクチャタイプを同時に示すことができる。

そこで、図９Ｂに示すＲＡＵマップＭＩのシンタックスは、ピクチャがフィールドで構成されている場合には、そのピクチャのフィールド・ピクチャタイプも示す。具体的に、num_frame_in_RAUはＲＡＵ内のフレームの枚数を示し、field_coding_flagはピクチャがフィールドであるか否かを示す。ピクチャがフィールドで構成されているときには、field_type_modeによって、そのピクチャのフィールド・ピクチャタイプが示され、ピクチャがフィールドで構成されていないときには、picture_typeによって、そのピクチャのピクチャタイプが示される。

即ち、このＲＡＵマップＭＩは、上述の図９Ａに示すＲＡＵマップＭＩと同様、ＲＡＵ内のピクチャごとに、そのピクチャのピクチャタイプを示すことで、ＲＡＵ内の画像の静止区間を示している。

また、ＲＡＵが、ＩピクチャとＳｋｉｐｐｅｄピクチャのみ、あるいは、Ｉピクチャ、Ｐピクチャ、およびＳｋｉｐｐｅｄピクチャのみから構成される際には、ＲＡＵの一部あるいは全てが静止区間となる。このとき、静止区間と通常の動画区間とにおいて、画像符号化装置における復号化処理および表示動作が異なるため、ＲＡＵ内に静止区間が存在するかどうかを示す情報をＲＡＵマップＭＩに含めてもよい。

図９Ｃは、ＲＡＵマップＭＩのシンタックスの他の例を示す図である。

このシンタックスは、motionless_flagにより、ＲＡＵが静止区間を含むかどうかを示すとともに、start_pic_numおよびend_pic_numにより、ＲＡＵの静止区間を示す。具体的に、motionless_flagが１であれば、このＲＡＵマップＭＩは、ＲＡＵに静止区間があることを示す。さらに、ＲＡＵマップＭＩは、motionless_flagが１のとき、start_pic_numにより示されるＩピクチャまたはＰピクチャから、end_pic_numにより示されるＳｋｉｐｐｅｄピクチャまでが静止区間であることを示す。

なお、ＲＡＵ全体が静止区間、一定時間以上の静止区間が存在する場合にのみmotionless_flagを１にセットしてもよい。

図９Ｄは、ＲＡＵマップＭＩのシンタックスの他の例を示す図である。

このシンタックスにおいて、number_of_pictures_in_EPSは、ＥＰＳに含まれるピクチャの数を示す。picture_structureは、ピクチャがフィールド構造であるかフレーム構造であるか、または１フレームが表示時に何フィールド分に相当するかを示す。picture_typeは、ピクチャがＩピクチャ、Ｐピクチャ、ＢピクチャおよびＳｋｉｐｐｅｄピクチャなどのうちの何れのピクチャタイプに属するかを示す。また、stuffing_bitsは、stuffing_bits、picture_structureおよびpicture_typeの全てのビット数の総和が８ビットの整数倍で表現されるように使用される。また、このシンタックスでは、ＥＰＳに含まれる各ピクチャに対して、その各ピクチャの復号順に、stuffing_bits、picture_structureおよびpicture_typeが示される。

このようなＲＡＵマップＭＩは、上述の図９Ａに示すＲＡＵマップＭＩと同様、ＲＡＵ（ＥＰＳ）内のピクチャごとに、そのピクチャのピクチャタイプを示すことで、ＲＡＵ内の画像の静止区間を示している。

なお、ＲＡＵマップＭＩには、ピクチャの表示順で各ピクチャの情報を格納してもよい。さらに、ＲＡＵマップＭＩにおいて各ピクチャの情報が復号順および表示順のいずれで格納されているかを示す情報を格納してもよい。

また、ＲＡＵマップＭＩは、先頭ピクチャのユーザーデータに格納するなど、エントリ・ポイント・レイヤとは異なるレイヤのユーザーデータに含めてもよい。また、ＲＡＵ内にＳｋｉｐｐｅｄピクチャが存在しない場合には、ＲＡＵマップＭＩを作成しないことにしてもよい。このとき、ＲＡＵマップＭＩの有無により、ＲＡＵ内にＳｋｉｐｐｅｄピクチャが存在するかどうかを示すことができる。

図１０は、本実施の形態における画像復号化装置１００のブロック図である。

図８に示すＲＡＵを含むストリームＳＴＲを復号化する本実施の形態における画像復号化装置１００は、可変長復号部１０１と、ピクチャメモリ１０２と、動き補償部１０３と、逆量子化部１０４と、逆直交変換部１０５と、バッファメモリ１０６と、表示部１０７と、加算部１０８と、ストリーム抽出部１０９と、情報取得部１１０とを備えている。

この画像復号化装置１００は、ストリーム抽出部１０９と情報取得部１１０とを備える点において、従来の画像復号化装置９００と異なる。

情報取得部１１０は、可変長復号部１０１からＲＡＵマップＭＩを取得するとともに、高速再生などの特殊再生の内容を指示する再生モード信号ＴＭを外部から取得する。そして、情報取得部１１０は、再生モード信号ＴＭに基づいてＲＡＵマップＭＩを解析し、復号化が必要なピクチャを決定（選択）する。情報取得部１１０は、その決定結果を示す復号ピクチャ指示信号ＳＰをストリーム抽出部１０９に出力する。

例えば、ＲＡＵマップＭＩが図９Ｃに示すシンタックスにより構成されている場合、情報取得部１１０は、motionless_flagに基づいて、再生対象となるＲＡＵに静止区間があるか否かを判別する。そして、情報取得部１１０は、静止区間があると判別したときには、start_pic_numおよびend_pic_numに基づいて静止区間を特定する。静止区間を特定すると、情報取得部１１０は、再生モード信号ＴＭによって示される再生対象のピクチャのうち、その静止区間に含まれないピクチャのみを、復号化すべきピクチャとして決定し、その決定結果を示す復号ピクチャ指示信号ＳＰを出力する。ただし、再生モード信号ＴＭによって示される再生対象のピクチャに、静止区間内のピクチャが含まれる場合には、当該静止区間の先頭ピクチャを復号化すべきピクチャとして決定する。

また、ＲＡＵマップＭＩが図９Ｄに示すシンタックスにより構成されている場合、情報取得部１１０は、ＲＡＵ内のピクチャごとに示されるpicture_typeに基づいて静止区間を特定する。そして、情報取得部１１０は、再生モード信号ＴＭによって示される再生対象のピクチャのうち、その静止区間に含まれないピクチャのみを、復号化すべきピクチャとして決定し、その決定結果を示す復号ピクチャ指示信号ＳＰを出力する。ただし、上述と同様、再生モード信号ＴＭによって示される再生対象のピクチャに、静止区間内のピクチャが含まれる場合には、当該静止区間の先頭ピクチャを復号化すべきピクチャとして決定する。

ストリーム抽出部１０９は、ストリームＳＴＲを取得すると、ＲＡＵごとに、まず、そのＲＡＵの先頭にある符号化されたＲＡＵマップＭＩを検出して可変長復号部１０１に出力する。そして、ストリーム抽出部１０９は、そのＲＡＵマップＭＩに基づいて情報取得部１１０から出力された復号ピクチャ指示信号ＳＰを取得すると、その復号ピクチャ指示信号ＳＰの示す、復号化が必要なピクチャのデータを、ストリームＳＴＲから抽出して可変長復号部１０１に出力する。

可変長復号部１０１は、ストリーム抽出部１０９から符号化されたＲＡＵマップＭＩを取得したときには、その符号化されたＲＡＵマップＭＩに対して可変長復号化を行い、復号化されたＲＡＵマップＭＩを情報取得部１１０に出力する。また、可変長復号部１０１は、ストリームＳＴＲに含まれるピクチャのデータをストリーム抽出部１０９から取得したときには、そのデータに対して可変長復号化を行い、量子化値Ｑｃ、参照ピクチャの特定情報Ｉｎｄ、ピクチャタイプＰｔおよび動きベクトルＭＶを出力する。

動き補償部１０３は、ピクチャメモリ１０２に格納され、参照ピクチャの特定情報Ｉｎｄにより示される復号画像（参照ピクチャ）から、動きベクトルＭＶによって指示される画像領域を取り出して予測画像として加算部１０８に出力する。

逆量子化部１０４は、量子化値Ｑｃを逆量子化して周波数係数に復元し、逆直交変換部１０５に出力する。逆直交変換部１０５は、周波数係数を画素差分値に逆周波数変換して加算部１０８に出力する。加算部１０８は、画素差分値と動き補償部１０３から出力される予測画像とを加算して復号画像Ｖｏｕｔを生成する。そして、加算部１０８は、その復号画像Ｖｏｕｔをピクチャメモリ１０２およびバッファメモリ１０６に格納する。表示部１０７は、バッファメモリ１０６から復号画像Ｖｏｕｔを取得して、その復号画像Ｖｏｕｔに応じた画像を表示する。なお、ピクチャメモリ１０２とバッファメモリ１０６を１つのメモリで構成してもよい。

なお、ストリーム抽出部１０９は、ＲＡＵに含まれる全てのピクチャのデータを可変長復号部１０１に出力してもよい。この場合には、可変長復号部１０１は、情報取得部１１０から出力された復号ピクチャ指示信号ＳＰに基づいて、ＲＡＵに含まれる全てのピクチャの中から、復号化が必要なピクチャを選択する。そして、可変長復号部１０１は、その選択したピクチャのデータに対して可変長復号化を行う。なお、情報取得部１１０により復号化するピクチャを決定するのは高速再生や逆再生などの特殊再生時のみとして、通常再生時にはＲＡＵマップＭＩの解析処理を行わずに全てのピクチャを復号化すると決定してもよい。

図１１は、本実施の形態に係る画像復号化装置１００における特殊再生時の動作を示すフローチャートである。

まず、画像復号化装置１００は、特殊再生開始の指示を受け付けると、まずエントリ・ポイント・レイヤのユーザーデータに、ＲＡＵマップＭＩが格納されているかどうかを判定する（ステップＳ１００）。つまり、画像復号化装置１００は、ＲＡＵマップＭＩを検出したか否かの判別を行なう。画像復号化装置１００は、ＲＡＵマップＭＩを検出した際には（ステップＳ１００のＹＥＳ）ステップＳ１０２の処理を行ない、検出しなければ（ステップＳ１００のＮＯ）、ステップＳ１０６の処理を行なう。

具体的に、画像復号化装置１００は、ＲＡＵマップＭＩを検出すると（ステップＳ１００のＹＥＳ）、ＲＡＵマップＭＩを解析して（ステップＳ１０２）、その解析結果に基づいてＲＡＵ内の特殊再生対象となるピクチャのうち、復号化すべきピクチャを決定（選択）する（ステップＳ１０４）。

なお、ＲＡＵの特殊再生を開始するときには、画像復号化装置１００は、ステップＳ１００において常にＲＡＵマップＭＩを検出し、ＲＡＵ内で復号化すべきピクチャを決定する。つまり、本実施の形態における画像復号化装置１００は、ＲＡＵの特殊再生を開始するときには、ＲＡＵマップＭＩに基づいて、ＲＡＵに含まれる特殊再生対象のピクチャの中から、Ｓｋｉｐｐｅｄピクチャを除くピクチャを復号化すべきピクチャとして選択している。

ステップＳ１００でＲＡＵマップＭＩを検出しなかった後、または、ステップＳ１０４で復号化すべきピクチャを決定した後、画像復号化装置１００は、ＲＡＵ内にある特殊再生対象となるピクチャの先頭（スタートコード）を検出する（ステップＳ１０６）。

次に、画像復号化装置１００は、ステップＳ１０６で検出された特殊再生対象のピクチャが、ステップＳ１０４において復号化すべきと決定されたピクチャであるかどうかを判定する（ステップＳ１０８）。ここで、復号化すべきと決定されたピクチャであると判定した際には（ステップＳ１０８のＹＥＳ）、画像復号化装置１００は、そのピクチャに対して復号化を行う（ステップＳ１１０）。

画像復号化装置１００は、ステップＳ１０４で復号化すべきと決定されたピクチャでないと判定した後（ステップＳ１０８のＮＯ）、または、ステップＳ１１０でピクチャを復号化した後に、次の特殊再生対象のピクチャ、つまり未処理のピクチャがあるか否かを判別する（ステップＳ１１２）。

未処理のピクチャがないと判別したときには（ステップＳ１１２のＮＯ）、画像復号化装置１００は全ての処理を終了し、未処理のピクチャがあると判別したときには（ステップＳ１１２のＹＥＳ）、ステップＳ１００からの動作を繰り返し実行する。例えば、直前のステップＳ１００でＲＡＵマップＭＩが検出され、これまでと同一のＲＡＵ内において再びステップＳ１００の動作が行なわれるときには、画像復号化装置１００は、その再度のステップＳ１００では、ＲＡＵマップＭＩを検出することなく（ステップＳ１００のＮＯ）、ステップＳ１０６の処理、つまり次に特殊再生対象となるピクチャの先頭の検出を行なう。

このように、本実施の形態における画像復号化方法では、ステップＳ１００からステップＳ１０４の処理を含む点において、従来の画像復号化方法と異なる。

図１２は、本実施の形態における画像復号化装置１００がＲＡＵマップＭＩを解析する動作を示すフローチャートである。

例えば、ＲＡＵマップＭＩが図９Ｄに示すシンタックスによって構成されている場合には、画像復号化装置１００は、まず、ＲＡＵマップＭＩを解析して、ＲＡＵに含まれる特殊再生対象のピクチャから、Ｉピクチャ、Ｐピクチャ、およびＳｋｉｐｐｅｄピクチャを特定する（ステップＳ１２０）。

次に、画像復号化装置１００は、特殊再生対象のピクチャがＳｋｉｐｐｅｄピクチャである際には、復号順でそのＳｋｉｐｐｅｄピクチャの直前のＩピクチャあるいはＰピクチャの復号結果を、Ｓｋｉｐｐｅｄピクチャの示す画像として使用すると決定する（ステップＳ１２２）。

なお、特殊再生ではない通常再生時にも、ＲＡＵマップＭＩを参照して、ＲＡＵの再生開始時に、Ｓｋｉｐｐｅｄピクチャなどを特定しておいてもよい。

そして、画像復号化装置１００は、そのＲＡＵに含まれるＳｋｉｐｐｅｄピクチャを表示するときには、上記ステップＳ１２２で決定された、そのＳｋｉｐｐｅｄピクチャの直前にあるＩピクチャ又はＰピクチャの復号結果を表示する。

ここで、図１３Ａ、図１３Ｂ、および図１３Ｃを参照して、本実施の形態における画像復号化装置１００の高速再生時の動作について説明する。

図１３Ａは、高速再生されるＲＡＵを示す図である。

先頭から１番目のピクチャがＩピクチャであり、２番目および３番目のピクチャがＢピクチャであり、４番目のピクチャがＰピクチャである。そして、５番目以降のピクチャが全てＳｋｉｐｐｅｄピクチャである。また、ピクチャは全てフレームである。

図１３Ｂは、図１３Ａに対応するＲＡＵマップＭＩを示す図である。このＲＡＵマップＭＩは、図９Ａに示すシンタックスにより構成されている。ここで、ピクチャは全てフレームであるため、frame_field_flagは、全てのピクチャに対して１にセットされる。また、pic_typeには、ピクチャごとに、Ｉピクチャ、Ｐピクチャ、Ｂピクチャ、およびＳｋｉｐｐｅｄピクチャのうちの何れかがセットされる。なお、図１３Ｂ中、Ｉ、Ｐ、Ｂ、およびＳｋｉｐｐｅｄの何れかをセットしているが、実際には、各ピクチャタイプを示す数値をセットしてもよい。

図１３Ｃは、本実施の形態の画像復号化装置１００が図１３ＡのＲＡＵを有するストリームＳＴＲを特殊再生する際の動作を示すフローチャートである。

画像復号化装置１００は、まず、ストリームＳＴＲに含まれる図１３ＡのＲＡＵを３倍速で再生すると決定する（ステップＳ１３０）。ここで、３倍速再生とは、ＲＡＵ内のストリーム構造が復号順でＩピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャ、Ｂピクチャ、Ｂピクチャ、…である際に、ＩピクチャとＰピクチャのみを再生するのと同一であり、一般的な高速再生である。

次に、画像復号化装置１００は、図１３Ｂに示すＲＡＵマップＭＩの解析結果より、５番目から２４番目までのピクチャは全てＳｋｉｐｐｅｄピクチャであって、４番目から２４番目までのピクチャの範囲が静止区間であると判断する。そして、画像復号化装置１００は、５番目以降の各ピクチャの表示には全て４番目のピクチャの復号結果を使用するとして、１番目と４番目のピクチャのみを復号化すると決定する（ステップＳ１３２）。続いて、画像復号化装置１００は、１番目と４番目のピクチャをそれぞれ復号化して表示する（ステップＳ１３４）。さらに、画像復号化装置１００は、７番目、１０番目、１３番目、１６番目、１９番目、および２２番目のピクチャの復号結果として、４番目のピクチャの復号結果を繰り返し表示する。

なお、本実施の形態ではＶＣ−１のストリームの各ＲＡＵにＲＡＵマップを含め、画像復号化装置１００はそのストリームに対して復号化を行ったが、ＲＡＵマップが含まれていれば、そのストリームの符号化方式は、ＭＰＥＧ−４ ＡＶＣやＭＰＥＧ−２などＶＣ-１以外の符号化方式であってもよい。ここで、Ｓｋｉｐｐｅｄピクチャと同様のピクチャタイプが定義されていない符号化方式であっても、実質的にＳｋｉｐｐｅｄピクチャと同様のピクチャであれば、ＲＡＵマップにおいてＳｋｉｐｐｅｄピクチャとすることで他のピクチャと区別してもよい。

（変形例）
ここで本実施の形態における画像復号化装置１００による再生方法の変形例について説明する。

例えば、ＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ：復号時刻）からＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ：表示時刻）までの復号化期間内に、静止区間の先頭ピクチャの復号化が間に合わないケースが起こり得る。そこで、本実施の形態では、先頭ピクチャの復号化が表示時刻までに完了しなくても、完了後にその先頭ピクチャを表示させる。

図１４は、本変形例に係る画像復号化装置１００の再生方法を示す説明図である。

ＤＴＳ２は、静止区間における先頭ピクチャｐｉｃ２の符号を載せたパケット（ＰＥＳパケットと呼ばれる）のヘッダに含まれるデコードタイムスタンプの時刻を指し、先頭ピクチャｐｉｃ２の復号化を開始すべき時刻を示す。ＰＴＳ２は、先頭ピクチャｐｉｃ２の符号を載せたパケットヘッダに含まれるプレゼンテーションタイムスタンプの時刻を指し、先頭ピクチャｐｉｃ２のプレゼンテーション（出力または表示）を開始すべき時刻を示す。ＤＴＳ１、ＰＴＳ１、およびＰＴＳ３についても同様である。

例えば、画像復号化装置１００は、この図１４に示すように、先頭ピクチャｐｉｃ２に対して、ＤＴＳ２の時刻に復号化を開始する。しかし、デコード完了時刻がＰＴＳ２の時刻に間に合わない場合がある。そこで本変形例における画像復号化装置１００は、静止区間における先頭ピクチャのデコード完了時刻がＰＴＳの時刻に間に合わなかった場合には、デコード完了時刻の直後のフレームグリッドの時刻においてプレゼンテーションを開始する。

このように本変形例における画像復号化装置１００では、符号化された先頭ピクチャに含まれるデコードタイムスタンプの時刻に復号化を開始し、プレゼンテーションタイムスタンプの時刻までに先頭ピクチャの復号化が完了しない場合に、プレゼンテーションタイムスタンプにマージンを付与し、付与後のプレゼンテーションタイムスタンプに、復号化された先頭ピクチャを表示する。

図１５は、本変形例に係る画像復号化装置１００の再生方法を示すフローチャートである。

本変形例に係る画像復号化装置１００は、静止区間における先頭ピクチャのＤＴＳ時刻に、その先頭ピクチャの復号化を開始する（ステップＳ１４０）。そして、画像復号化装置１００は、その先頭ピクチャのＰＴＳ時刻までに、その復号化が完了したか否かを判別する（ステップＳ１４２）。ここで、完了したと判別したときには（ステップＳ１４２のＹＥＳ）、画像復号化装置１００は、ＰＴＳ時刻に復号化された先頭ピクチャを表示する（ステップＳ１４４）。一方、完了しなかったと判別したときには（ステップＳ１４２のＮＯ）、画像復号化装置１００は、ＰＴＳ時刻の直後、つまり復号化完了の直後のフレームグリッドの時刻に、復号化された先頭ピクチャを表示する（ステップＳ１４６）。

このように本変形例に係る画像復号化装置１００の再生方法によれば、静止区間における先頭ピクチャの復号化が遅延した場合には、表示時刻を遅らせるので、その先頭ピクチャの表示を省いてしまう場合と比べて、静止区間の画質の向上を図ることができる。

（実施の形態２）
図１６は、本実施の形態における画像符号化装置のブロック図である。

本実施の形態における画像符号化装置２００は、動き検出部２０１と、動き補償部２０２と、減算部２０３と、直交変換部２０４と、量子化部２０５と、逆量子化部２０６と、逆直交変換部２０７と、加算部２０８と、ピクチャメモリ２０９と、スイッチ２１０と、可変長符号化部２１１と、予測構造決定部２１２と、情報作成部２１３とを備えている。

動き検出部２０１は、画像信号Ｖｉｎをマクロブロック単位で取得する。そして、動き検出部２０１は、ピクチャメモリ２０９に格納されている復号画像（参照ピクチャ）を探索対象とし、最も画像信号Ｖｉｎの示すマクロブロックに近い画像を有する画像領域を検出する。動き検出部２０１は、その画像領域の位置を指し示す動きベクトルＭＶを決定して出力する。また、動き検出部２０１は、動きベクトルＭＶの検出に使用された復号画像を示す参照ピクチャの特定情報Ｉｎｄを出力する。

動き補償部２０２は、ピクチャメモリ２０９に格納され、参照ピクチャの特定情報Ｉｎｄにより示される復号画像から、動きベクトルＭＶにより示される画像領域を復号画像から取り出して予測画像として出力する。

予測構造決定部２１２は、ＲＡＵ開始ピクチャＵｉｎによって、符号化の対象ピクチャがＲＡＵの開始位置にあれば、その対象ピクチャをランダムアクセスが可能な特別なピクチャとして符号化（画面内符号化）するように、ピクチャタイプＰｔで動き検出部２０１および動き補償部２０２に指示し、更にそのピクチャタイプＰｔを可変長符号化部２１１に符号化させる。即ち、予測構造決定部２１２は、画像信号Ｖｉｎに含まれる符号化対象ピクチャごとに、そのピクチャのピクチャタイプＰｔとして、例えば、Ｉピクチャ、Ｐピクチャ、ＢピクチャおよびＳｋｉｐｐｅｄピクチャなどの何れかのタイプを決定する。

減算部２０３は、画像信号Ｖｉｎと予測画像を取得して、それらの差分値を計算し、直交変換部２０４に出力する。直交変換部２０４は、差分値を周波数係数に変換して量子化部２０５に出力する。量子化部２０５は、直交変換部２０４から出力された周波数係数を量子化し、量子化値Ｑｃを可変長符号化部２１１に出力する。

逆量子化部２０６は、量子化値Ｑｃを逆量子化して周波数係数に復元し、逆直交変換部２０７に出力する。逆直交変換部２０７は、周波数係数を差分値に逆周波数変換して加算部２０８に出力する。加算部２０８は、差分値と動き補償部２０２から出力される予測画像とを加算して復号画像を生成する。スイッチ２１０は、当該復号画像の保存が指示された場合にＯＮになり、その復号画像はピクチャメモリ２０９に保存される。

情報作成部２１３は、予測構造決定部２１２で決定されたピクチャタイプＰｔに従って、図９Ａ〜図９Ｄの何れかに示すようなＲＡＵマップＭＩを作成して可変長符号化部２１１に出力する。

可変長符号化部２１１は、量子化値Ｑｃ、ピクチャタイプＰｔ、ＲＡＵマップＭＩおよび動きベクトルＭＶなどを可変長符号化して、ストリームＳＴＲを生成する。

このように本実施の形態における画像符号化装置２００は、情報作成部２１３を備える点において、従来の画像符号化装置８００と異なる。

図１７は、本実施の形態に係る画像符号化装置２００の符号化の動作を示すフローチャートである。

まず、画像符号化装置２００は、予測構造決定部２１２において、符号化対象のピクチャがＲＡＵの先頭ピクチャであるかどうかを判定する（ステップＳ２００）。ここで、ＲＡＵの先頭ピクチャであると判定したときには（ステップＳ２００のＹＥＳ）、画像符号化装置２００は、可変長符号化部２１１において、当該ＲＡＵマップＭＩを作成するための初期化処理を行うとともに、ＲＡＵマップＭＩを格納するための領域をエントリ・ポイント・レイヤのユーザーデータ内に確保する（ステップＳ２０２）。

さらに、画像符号化装置２００は、予測構造決定部２１２において、符号化対象のピクチャをＳｋｉｐｐｅｄピクチャとすべきか否かを判別する（ステップＳ２０４）。ここで、Ｓｋｉｐｐｅｄピクチャとすべきでないと判別したときには（ステップＳ２０４のＮＯ）、画像符号化装置２００は、その符号化対象のピクチャの画素データを符号化する（ステップＳ２０６）。

そして、画像符号化装置２００は、情報作成部２１３において、ステップＳ２０４の判別結果に基づいてＲＡＵマップＭＩの生成および更新を行なう（ステップＳ２０８）。

例えば、画像符号化装置２００は、ステップＳ２０６において符号化されたピクチャのピクチャタイプと、そのピクチャがフィールド構造であるかフレーム構造であるかを示す情報などとがＲＡＵマップＭＩに含まれるように、図９Ｄに示すようなＲＡＵマップＭＩを生成する。または、画像符号化装置２００は、明示的な静止区間がＲＡＵマップＭＩに含まれるように、図９Ｃに示すようなＲＡＵマップＭＩを生成する。

次に、画像符号化装置２００は、ステップＳ２０４において判別の対象とされたピクチャがＲＡＵの最終ピクチャであるかどうかを判定する（ステップＳ２１０）。即ち画像符号化装置２００は、ＲＡＵに属する全てのピクチャに対する処理が完了したか否かを判別する。ここで、最終ピクチャであると判定したときには（ステップＳ２１０のＹＥＳ）、画像符号化装置２００は、可変長符号化部２１１において、ＲＡＵマップＭＩを確定して符号化し、ステップＳ２０２において確保された領域にＲＡＵマップＭＩを書き込む（ステップＳ２１２）。

そして、画像符号化装置２００は、ストリームＳＴＲに含まれるピクチャのうち未処理のピクチャがあるか否かを判別する（ステップＳ２１４）。ここで、未処理のピクチャがあると判別したときには（ステップＳ２１４のＹＥＳ）、画像符号化装置２００は、ステップＳ２００からの処理を繰り返し実行し、未処理のピクチャがないと判別したときには（ステップＳ２１４のＮＯ）、画像符号化装置２００は、全ての符号化処理を終了する。

なお、ＲＡＵマップＭＩの情報が既知でない場合や、ＲＡＵを構成するピクチャのデータをバッファリングするのに十分なバッファメモリを備える場合などでは、ステップＳ２０２の処理を省略してもよい。この場合には、ステップＳ２１２においてＲＡＵマップＭＩの格納領域を確保して、エントリ・ポイント・レイヤのユーザーデータにＲＡＵマップＭＩを格納する。

また、画像符号化装置２００は、Ｓｋｉｐｐｅｄピクチャを含むストリームＳＴＲを固定ビットレートで生成してもよい。Ｓｋｉｐｐｅｄピクチャでは、１ピクチャの符号量が１バイト程度となるため、画像信号Ｖｉｎを固定ビットレートで符号化する際にはパディング用のデータを挿入してストリームＳＴＲのサイズを調節する必要がある。ここで、パディング用のデータは、Ｓｋｉｐｐｅｄピクチャにおいてのみ挿入してもよい。こうすることで、ピクチャ内のスライスデータ間に挿入されたパディング用データの処理にかかる復号時の遅延時間をなくすことができる。

また、シーケンスレイヤ、およびエントリ・ポイント・レイヤの情報は、特殊再生時などに最初に読み込まれる必要があり、データサイズをなるべく小さくすることが望ましい。従って、シーケンスレイヤとエントリ・ポイント・レイヤの間にはパディング用のデータを挿入しないことにしてもよい。

また、本実施の形態における符号化方法により生成されたストリームＳＴＲを、オーディオデータなどと多重化して記録してもよい。多重化方式としては、ＭＰＥＧ−２のトランスポートストリーム、あるいはＢＤ（Blu-ray Disc）などパッケージメディア毎に規定された方式などがある。

また、シンプル・プロファイルとメイン・プロファイルでは、ピクチャレイヤのピクチャタイプにおいてＳｋｉｐｐｅｄピクチャであることを示すことはできない。

そこで、本実施の形態における画像符号化装置２００は、各ピクチャのピクチャレイヤにおけるピクチャタイプがＩピクチャ、Ｐピクチャ、Ｂピクチャ、あるいはＢＩであっても、ピクチャのサイズからそのピクチャがＳｋｉｐｐｅｄピクチャであるかどうか判定し、Ｓｋｉｐｐｅｄピクチャである際には、そのことが示されるようにＲＡＵマップＭＩを生成してもよい。即ち、画像符号化装置２００により生成されるストリームＳＴＲのＲＡＵマップＭＩには、シンプル・プロファイルやメイン・プロファイルであっても、Ｓｋｉｐｐｅｄピクチャを含む各ピクチャのピクチャタイプが示される。

同様に、メイン・プロファイルにおいてはピクチャレイヤのピクチャタイプからはＢピクチャとＢＩピクチャとを区別することができない。

そこで、本実施の形態における画像符号化装置２００は、予測構造決定部２１２においてＢピクチャとＢＩピクチャとを区別して決定されるピクチャタイプＰｔに基づいて、ＲＡＵに含まれる各ピクチャのピクチャタイプを示すＲＡＵマップＭＩを生成する。即ち、画像符号化装置２００により生成されるストリームＳＴＲのＲＡＵマップＭＩには、メイン・プロファイルであっても、各ピクチャのピクチャタイプがＢピクチャとＢＩピクチャとを区別して示される。ＢＩピクチャは、Ｂピクチャとは異なり単独で復号化できるため、両者が区別できると特殊再生時に復号化して再生されるピクチャの選択の自由度が高まる。

なお、シーケンスレイヤのシンタックスが存在する際には、例えば、エントリ・ポイント・レイヤにはシーケンスレイヤを必ず付加するなどとして、シーケンスレイヤも含めてＲＡＵとしてもよい。また、エントリ・ポイント・レイヤのユーザーデータには、ＲＡＵマップＭＩ以外の情報を含めてもよい。

また、特殊再生時には、復号化すべきピクチャを特定するとともに、復号化すべきピクチャに効率よくアクセスすることが重要となる。従って、ＲＡＵマップＭＩにおいて、各ピクチャのアドレス情報を示してもよい。ここで、アドレス情報は、ＲＡＵ先頭からのバイト位置であってもよいし、ＭＰＥＧ−２システムのトランスポート・ストリーム・パケットなどにより符号化データがパケット化される際に、各ピクチャが格納されるパケットを特定するための情報であってもよい。なお、アドレス情報は全てのピクチャに付加せずに、Ｉピクチャ、あるいはＰピクチャなど特殊再生時に復号化されるピクチャにのみ付加してもよい。

（変形例）
ここで、本実施の形態におけるＳｋｉｐｐｅｄピクチャについての変形例を説明する。

上記実施の形態では、Ｓｋｉｐｐｅｄピクチャを、復号順で直前の参照ピクチャと同一の画素データを持つＰピクチャとして生成した。したがって、ＳｋｉｐｐｅｄピクチャをＢピクチャの代わりに用いることができない。

そこで本変形例では、Ｓｋｉｐｐｅｄピクチャを、他のピクチャから参照されないＢピクチャでかつ、表示順で直前の参照ピクチャと同一の画素データをもつピクチャ（以後、Ｂ−ｓｋｉｐピクチャと呼ぶ）として生成する。即ち、本変形例では、Ｂ−ｓｋｉｐピクチャを新規に導入することで、ＭＰＥＧ−２などで一般的に使用される復号順（例えば、Ｉピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャ、Ｂピクチャ、Ｂピクチャ、…）により構成されるＧＯＰ構造を作成することができ、画像復号化装置においてＩＰ再生（ＩピクチャおよびＰピクチャのみを再生する特殊再生）を容易に実現できる。

図１８Ａおよび図１８Ｂは、Ｂ−ｓｋｉｐピクチャの使用例を示す図である。なお、これらの図中、「Ｉ２」、「Ｂ０」、「Ｐ５」および「Ｂ−ｓｋｉｐ６」などの符号中、「Ｉ」、「Ｂ」、「Ｐ」および「Ｂ−ｓｋｉｐ」はそれぞれ各ピクチャのピクチャタイプを示し、そのピクチャタイプの後に付された番号は表示順を示す。また、図１８ＡはＲＡＵ内のピクチャを復号順で示し、図１８ＢはそのＲＡＵ内のピクチャを表示順で示す。ピクチャＢ−ｓｋｉｐ６とピクチャＢ−ｓｋｉｐ７は、表示順で直前の参照ピクチャであるピクチャＰ５のみを参照してピクチャＰ８を参照しない。本変形例に係る画像符号化装置２００は、この図１８Ａおよび図１８Ｂに示すＲＡＵを有するストリームＳＴＲを生成する。

ここで、ピクチャがＢ−ｓｋｉｐピクチャであるかどうかはＲＡＵマップＭＩのピクチャタイプにおいて示される。一方、ピクチャがＢ−ｓｋｉｐピクチャであっても、そのピクチャのピクチャレイヤに含まれるピクチャタイプあるいはフィールド・ピクチャタイプはＢピクチャである。したがって、このようなストリームＳＴＲは、従来のストリームと互換性を保つことができ、ＲＡＵマップＭＩを解釈できない従来の画像復号化装置でもそのＢ−ｓｋｉｐピクチャをＢピクチャとして扱い、特殊再生を行なうことができる。

なお、ピクチャレイヤにおいてもピクチャがＢ−ｓｋｉｐピクチャであるかどうかを示してもよい。また、Ｂ−ｓｋｉｐピクチャを、表示順で直後の参照ピクチャと同一の画素データを持つピクチャとして生成してもよい。このとき、Ｂ−ｓｋｉｐピクチャが表示順で直前あるいは直後のどちらの参照ピクチャを参照するかを、ＲＡＵマップＭＩに示してもよい。

（実施の形態３）
さらに、上記各実施の形態で示した画像符号化装置および画像復号化装置を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１９Ａ、図１９Ｂおよび図１９Ｃは、上記各実施の形態の画像符号化装置および画像復号化装置による処理を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図１９Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスク本体を示す。図１９Ａは、記録媒体本体であるフレキシブルディスク本体の物理フォーマットの例を示している。フレキシブルディスク本体ＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスク本体ＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図１９Ｃは、フレキシブルディスク本体ＦＤに上記プログラムの記録再生を行うための構成を示す。画像符号化装置および画像復号化装置の処理を実現する上記プログラムをフレキシブルディスク本体ＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク内のプログラムにより、上記画像符号化装置および画像復号化装置による処理をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムＣｓに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

以上のように、本発明によれば、画像符号化装置がＲＡＵの先頭にＲＡＵマップを付加し、画像復号化装置がその付加されたＲＡＵマップを各ピクチャの復号前に参照するため、復号処理を削減することができ、特に、特殊再生機能が重視されるパッケージメディアの再生品質を向上することができる。したがって、本発明の実用的価値は高い。

以上、本発明について上記各実施の形態およびその変形例を用いて説明したが、本発明はこれらに限定されるものではない。

例えば、ブロック図（図１０および図１６など）の各機能ブロックは典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。

本発明に係る画像符号化装置および画像復号化装置は、ＶＣ-１のストリームを再生する際に、高速再生などの特殊再生機能を備える機器全般に適用することができ、特殊再生機能が重視される光ディスク関連機器において特に有効である。

図１Ａは、ＭＰＥＧ２のストリームの構成図である。 図１Ｂは、ＭＰＥＧ２のストリームの構成図である。 図２Ａは、ＭＰＥＧ２で使用されているピクチャ間の予測構造例を示す図である。 図２Ｂは、ＭＰＥＧ２で使用されているピクチャ間の予測構造例を示す図である。 図３は、従来のＶＣ−１のストリームの構成図である。 図４は、従来の画像符号化装置の構成を示すブロック図である。 図５は、従来の画像復号化装置の構成を示すブロック図である。 図６は、従来の画像復号化装置の動作を示すフローチャートである。 図７は、従来の画像符号化装置により作成されたストリームにおける高速再生時の課題を示す図である。 図８は、本発明の実施の形態１に係るＶＣ−１のストリームに含まれるＲＡＵの構造の一例を示す図である。 図９Ａは、ＲＡＵマップＭＩのシンタックスの一例を示す図である。 図９Ｂは、ＲＡＵマップＭＩのシンタックスの他の例を示す図である。 図９Ｃは、ＲＡＵマップＭＩのシンタックスの他の例を示す図である。 図９Ｄは、ＲＡＵマップＭＩのシンタックスの他の例を示す図である。 図１０は、本発明の実施の形態１における画像復号化装置の構成を示すブロック図である。 図１１は、本発明の実施の形態１における画像復号化装置の動作を示すフローチャートである。 図１２は、本発明の実施の形態１における画像復号化装置がＲＡＵマップを解析する動作を示すフローチャートである。 図１３Ａは、本発明の実施の形態１における画像復号化装置によって高速再生されるＲＡＵを示す図である。 図１３Ｂは、図１３Ａに対応するＲＡＵマップＭＩを示す図である。 図１３Ｃは、本発明の実施の形態１における画像復号化装置が図１３ＡのＲＡＵを有するストリームＳＴＲを特殊再生する際の動作を示すフローチャートである。 図１４は、実施の形態１における変形例の画像復号化装置による再生方法を示す説明図である。 図１５は、実施の形態１における変形例の画像復号化装置による再生方法を示すフローチャートである。 図１６は、本発明の実施の形態２における画像符号化装置の構成を示すブロック図である。 図１７は、本発明の実施の形態２における画像符号化装置の動作を示すフローチャートである。 図１８Ａは、Ｂ−ｓｋｉｐピクチャの予測構造を示す図である。 図１８Ｂは、Ｂ−ｓｋｉｐピクチャの予測構造を示す図である。 図１９Ａは、本発明の画像符号化方法および画像復号化方法を実現するためのプログラムを記録した記録媒体を説明するための説明図である。 図１９Ｂは、本発明の画像符号化方法および画像復号化方法を実現するためのプログラムを記録した記録媒体を説明するための説明図である。 図１９Ｃは、本発明の画像符号化方法および画像復号化方法を実現するためのプログラムを記録した記録媒体を説明するための説明図である。

Claims (5)

1. ピクチャを符号化する画像符号化装置であって、
   各ピクチャをピクチャタイプに応じて符号化する符号化手段と、
   符号化された複数のピクチャを含むランダムアクセス単位に含まれる、各ピクチャのピクチャタイプ情報をピクチャの復号順に並べた第１の補助情報を符号化する第１の符号化手段と、
   前記ランダムアクセス単位に含まれる、各ピクチャのピクチャ構造情報をピクチャの復号順に並べた第２の補助情報を符号化する第２の符号化手段と、
   前記符号化された第１および第２の補助情報を、前記ランダムアクセス単位内の先頭のピクチャよりも前に書き込む書き込み手段とを備え、
   前記各ピクチャのピクチャタイプ情報には、少なくとも、画面内符号化されるＩピクチャ、１枚のピクチャを参照して画面間符号化されるＰピクチャ、２枚のピクチャを参照して画面間符号化されるＢピクチャ、および、復号順で直前にある参照ピクチャと同一の画像で表示されるべきスキップピクチャが含まれ、
   前記各ピクチャのピクチャ構造情報には、３−２プルダウン使用時に、トップフィールドとボトムフィールドのいずれから復号を開始するかを示す情報が含まれ、
   前記スキップピクチャは、復号順で、複数枚連続しており、静止区間を構成する、
   ことを特徴とする画像符号化装置。
2. ピクチャを符号化する画像符号化方法であって、
   各ピクチャをピクチャタイプに応じて符号化する符号化ステップと、
   符号化された複数のピクチャを含むランダムアクセス単位に含まれる、各ピクチャのピクチャタイプ情報をピクチャの復号順に並べた第１の補助情報を符号化する第１の符号化ステップと、
   前記ランダムアクセス単位に含まれる、各ピクチャのピクチャ構造情報をピクチャの復号順に並べた第２の補助情報を符号化する第２の符号化ステップと、
   前記符号化された第１および第２の補助情報を、前記ランダムアクセス単位内の先頭のピクチャよりも前に書き込む書き込みステップとを備え、
   前記各ピクチャのピクチャタイプ情報には、少なくとも、画面内符号化されるＩピクチャ、１枚のピクチャを参照して画面間符号化されるＰピクチャ、２枚のピクチャを参照して画面間符号化されるＢピクチャ、および、復号順で直前にある参照ピクチャと同一の画像で表示されるべきスキップピクチャが含まれ、
   前記各ピクチャのピクチャ構造情報には、３−２プルダウン使用時に、トップフィールドとボトムフィールドのいずれから復号を開始するかを示す情報が含まれ、
   前記スキップピクチャは、復号順で、複数枚連続しており、静止区間を構成する
   ことを特徴とする画像符号化方法。
3. 符号化された複数のピクチャを含むランダムアクセス単位を復号化する画像復号化装置であって、
   前記ランダムアクセス単位内の先頭のピクチャよりも前に格納されている、第１の補助情報と、第２の補助情報を検出する検出手段と、
   前記第１の補助情報と、前記第２の補助情報とに基づいて、前記ランダムアクセス単位に含まれる符号化されたピクチャのうち、復号化すべきピクチャを選択する選択手段と、
   前記選択手段により選択されたピクチャを復号化する復号化手段と
   を備え、
   前記第１の補助情報は、前記ランダムアクセス単位に含まれる、各ピクチャのピクチャタイプ情報をピクチャの復号順に並べたものであり、
   前記各ピクチャのピクチャタイプ情報には、少なくとも、画面内符号化されるＩピクチャ、１枚のピクチャを参照して画面間符号化されるＰピクチャ、２枚のピクチャを参照して画面間符号化されるＢピクチャ、および、復号順で直前にある参照ピクチャと同一の画像で表示されるべきスキップピクチャが含まれ、
   前記第２の補助情報は、前記ランダムアクセス単位に含まれる、各ピクチャのピクチャ構造情報をピクチャの復号順に並べたものであり、
   前記各ピクチャのピクチャ構造情報には、３−２プルダウン使用時に、トップフィールドとボトムフィールドのいずれから復号を開始するかを示す情報が含まれ、
   前記スキップピクチャは、復号順で、複数枚連続しており、静止区間を構成する
   ことを特徴とする画像復号化装置。
4. 符号化された複数のピクチャを含むランダムアクセス単位を復号化する画像復号化方法であって、
   前記ランダムアクセス単位内の先頭のピクチャよりも前に格納されている、第１の補助情報と、第２の補助情報を検出する検出ステップと、
   前記第１の補助情報と、前記第２の補助情報とに基づいて、前記ランダムアクセス単位に含まれる符号化されたピクチャのうち、復号化すべきピクチャを選択する選択ステップと、
   前記選択ステップにより選択されたピクチャを復号化する復号化ステップと
   を備え、
   前記第１の補助情報は、前記ランダムアクセス単位に含まれる、各ピクチャのピクチャタイプ情報をピクチャの復号順に並べたものであり、
   前記各ピクチャのピクチャタイプ情報には、少なくとも、画面内符号化されるＩピクチャ、１枚のピクチャを参照して画面間符号化されるＰピクチャ、２枚のピクチャを参照して画面間符号化されるＢピクチャ、および、復号順で直前にある参照ピクチャと同一の画像で表示されるべきスキップピクチャが含まれ、
   前記第２の補助情報は、前記ランダムアクセス単位に含まれる、各ピクチャのピクチャ構造情報をピクチャの復号順に並べたものであり、
   前記各ピクチャのピクチャ構造情報には、３−２プルダウン使用時に、トップフィールドとボトムフィールドのいずれから復号を開始するかを示す情報が含まれ、
   前記スキップピクチャは、復号順で、複数枚連続しており、静止区間を構成する
   ことを特徴とする画像復号化方法。
5. 符号化ストリームを記録媒体に記録する記録方法であって、
   各ピクチャをピクチャタイプに応じて符号化する符号化ステップと、
   符号化された複数のピクチャを含むランダムアクセス単位に含まれる、各ピクチャのピクチャタイプ情報をピクチャの復号順に並べた第１の補助情報を符号化する第１の符号化ステップと、
   前記ランダムアクセス単位に含まれる、各ピクチャのピクチャ構造情報をピクチャの復号順に並べた第２の補助情報を符号化する第２の符号化ステップと、
   前記符号化された第１および第２の補助情報を、前記ランダムアクセス単位内の先頭のピクチャよりも前に書き込み、符号化ストリームを生成する生成ステップと、
   前記符号化ストリームを記録媒体に記録する記録ステップとを備え、
   前記各ピクチャのピクチャタイプ情報には、少なくとも、画面内符号化されるＩピクチャ、１枚のピクチャを参照して画面間符号化されるＰピクチャ、２枚のピクチャを参照して画面間符号化されるＢピクチャ、および、復号順で直前にある参照ピクチャと同一の画像で表示されるべきスキップピクチャが含まれ、
   前記各ピクチャのピクチャ構造情報には、３−２プルダウン使用時に、トップフィールドとボトムフィールドのいずれから復号を開始するかを示す情報が含まれ、
   前記スキップピクチャは、復号順で、複数枚連続しており、静止区間を構成する
   ことを特徴とする記録方法。

Images