JP2008527762A - 画像符号化装置および画像復号化装置 - Google Patents

Abstract

復号化処理の負担を軽減することができる画像符号化装置を提供する。符号化対象のＲＡＵがオープンＧＯＰ型のＲＡＵである場合に、符号化対象ピクチャを符号化してＢＩピクチャを生成する動き検出部（４０１）および動き補償部（４０２）などと、ストリーム（ＳＴＲ）のＲＡＵにおいて、そのＢＩピクチャが先頭Ｉピクチャの表示順で直前にあるか否かを示すＲＡＵマップ（ＭＩａ）を生成するＢＩ情報作成部（４１３）と、ストリーム（ＳＴＲ）のＲＡＵ内にＲＡＵマップ（ＭＩａ）を書き込む可変長符号化部（４１１）とを備える。

Description

本発明は、動画像を符号化する画像符号化装置、その画像符号化方法により生成されるストリーム、およびそのストリームを復号化する画像復号化装置に関する。

近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４Ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４Ｋｂｉｔ／ｓ〜１．５Ｍｂｉｔｓ／ｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ：Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）で勧告されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、ＭＰＥＧ（Moving Picture Experts Group）とは、ＩＳＯ／ＩＥＣ（国際標準化機構 国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格では対象とする品質を伝送速度が主として約１．５Ｍｂｐｓで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号を２〜１５ＭｂｐｓでＴＶ放送品質を実現する。

さらに現状では、ＭＰＥＧ−１およびＭＰＥＧ−２の標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11）によって、ＭＰＥＧ−１およびＭＰＥＧ−２を上回る圧縮率を達成し、更に物体単位で符号化・復号・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。その後、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔが共同でより高圧縮率の次世代画像符号化方式として、ＭＰＥＧ−４ＡＶＣ（Advanced Video Coding）がされ、さらに、現在ＳＭＰＴＥ（Society of Motion Picture and Television Engineers）においてＶＣ−１（Proposed SMPTE Standard for Television: VC-1 Compressed Video Bitstream Format and Decoding Process, Final Committee Draft 1 Revision 6, 2005.7.13）が規格化中である。ＶＣ−１では、ＭＰＥＧ−２およびＭＰＥＧ−４の方式をベースとして、符号化ツール等の拡張を行っている。ＶＣ−１は、ＢＤ（Blu-ray disc）やＨＤ（High Definition）−ＤＶＤなど、次世代の光ディスク関連機器などで使用される見込みである。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したりすることができる。

参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方である２枚のピクチャを参照することが可能である。ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。

図１Ａおよび図１Ｂは、従来のＭＰＥＧ−２のストリームの構成図である。図１Ｂに示すように、ＭＰＥＧ−２のストリームは以下のような階層構造を有している。ストリームは複数のＧＯＰ（Group Of Picture）から構成されており、ＧＯＰを符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能になっている。つまり、ＧＯＰの先頭がランダムアクセスポイントとなる。ＧＯＰは、複数のピクチャから構成され、各ピクチャには、Ｉピクチャ、Ｐピクチャ又はＢピクチャがある。ストリーム、ＧＯＰおよびピクチャは、さらにそれぞれの単位の区切りを示す同期信号（ｓｙｎｃ）と、当該単位に共通のデータであるヘッダとを含んで構成されている。

図２Ａおよび図２Ｂは、ＭＰＥＧ−２で使用されているピクチャ間の予測構造例である。同図で斜線をつけたピクチャは、他のピクチャから参照されるピクチャである。図２Ａに示すように、ＭＰＥＧ−２ではＰピクチャ（ピクチャＰ０，Ｐ６，Ｐ９，Ｐ１２，Ｐ１５）は、表示時刻が直前１枚のＩピクチャもしくはＰピクチャのみを参照した予測符号化が可能である。また、Ｂピクチャ（ピクチャＢ１，Ｂ２，Ｂ４，Ｂ５，Ｂ７，Ｂ８，Ｂ１０，Ｂ１１，Ｂ１３，Ｂ１４，Ｂ１６，Ｂ１７，Ｂ１９，Ｂ２０）は、表示時刻が直前１枚と直後１枚のＩピクチャもしくはＰピクチャを参照した予測符号化が可能である。更に、ピクチャがストリームに配置される順序も決まっており、ＩピクチャおよびＰピクチャは表示時刻の順序に配置され、Ｂピクチャは直後に表示されるＩピクチャもしくはＰピクチャの直後に配置される。ＧＯＰ構造としては、例えば、図２Ｂに示すように、ピクチャＩ３からＢ１４までをまとめて１つのＧＯＰとすることができる。

図３は、ＶＣ−１のストリームの構成図である。ＶＣ−１も基本的にはＭＰＥＧ−２と同一のストリーム構造をもつ。ただし、ランダムアクセスポイントは、エントリ・ポイント（Entry Point）と呼ばれ、そのエントリ・ポイントには、エントリ・ポイント・ヘッダ（Entry Point HDR）が付加される。エントリ・ポイントから次のエントリ・ポイントまでのデータがランダムアクセス単位（ＲＡＵ）となり、ＭＰＥＧ−２におけるＧＯＰに相当する。以降、ＶＣ−１におけるランダムアクセス単位をＲＡＵと呼ぶ。ここで、ＲＡＵには、ＲＡＵを構成するピクチャについてのユーザーデータ（エントリ・ポイントレベルのユーザーデータ）を格納することができ、エントリ・ポイント・ヘッダの直後に格納される。

ここで、ＶＣ−１におけるピクチャのタイプについて説明する。まず、ＶＣ−１でも、Ｉピクチャ、ＰピクチャおよびＢピクチャが定義されている。これらのＩ、Ｐ、Ｂピクチャについては、ＭＰＥＧ−２と同等の予測構造をもつ。ＶＣ−１では、これら３種類のピクチャに加えて、ＳｋｉｐｐｅｄピクチャおよびＢＩピクチャの２種類が定義される。Ｓｋｉｐｐｅｄピクチャとは、画素データを含まないピクチャであり、復号順で直前の参照ピクチャと同一の画素データを持つＰピクチャとして扱われる。例えば、下記の（１）および（２）に示す例では、ピクチャＳ５がピクチャＰ３と同一であるとみなされるため、ストリームの復号時の動作は、（１）と（２）で同一となる。

（１）表示順： ピクチャＩ０、ピクチャＢ２、ピクチャＰ１、ピクチャＢ４、ピクチャＰ３、ピクチャＢ６、ピクチャＳ５（なお、符号にＩを含めて示されるピクチャはＩピクチャであり、符号にＰを含めて示されるピクチャはＰピクチャであり、符号にＢを含めて示されるピクチャはＢピクチャであり、符号にＳを含めて示されるピクチャはＳｋｉｐｐｅｄピクチャである。例えば、ピクチャＳ６はＳｋｉｐｐｅｄピクチャを示す。また、各ピクチャに付加した数字は復号順を示す。）

（２）表示順： ピクチャＩ０、ピクチャＢ２、ピクチャＰ１、ピクチャＢ４、ピクチャＰ３、ピクチャＢ６、ピクチャＰ５（Ｐ５はＰ３と同一の画素データをもつ）

Ｓｋｉｐｐｅｄピクチャは、画像が静止しているケースにおいて特に有効である。例えば、ＲＡＵの途中から画像が静止する際には、ピクチャＩ０、ピクチャＰ１、ピクチャＰ２、ピクチャＰ３、ピクチャＳ４、ピクチャＳ５、ピクチャＳ６…のように、画像が静止している部分についてはＳｋｉｐｐｅｄピクチャを使用することで、符号量を削減することができる。

また、ＢＩピクチャとは、ＢピクチャとＩピクチャの性質を併せ持つピクチャである。具体的には、ＢＩピクチャは、復号化と表示の順序が互いに異なり（つまり、ＩピクチャあるいはＰピクチャとの間で順序の並び替えが発生する。例えば、ＢＩピクチャはＲＡＵにおいて先頭の画面内符号化ピクチャよりも表示順で前にあり、そのＲＡＵにおいて先頭の画面内符号化ピクチャよりも復号順で後にある。）、他のピクチャから参照されないという点で、Ｂピクチャの性質をもつ。また、ＢＩピクチャは、全てのマクロブロックが画面内符号化されており、他のピクチャを参照しないという点でＩピクチャの性質をもつ。

次に、Ｉピクチャ、Ｐピクチャ、Ｂピクチャ、Ｓｋｉｐｐｅｄピクチャ、およびＢＩピクチャの判別方法を説明する。基本的には、ストリーム中のピクチャレイヤに含まれるピクチャタイプを参照することによりピクチャのタイプを判別することができる。しかし、ピクチャレイヤにより示すことのできるピクチャタイプは、プロファイルに応じて規定されている。

例えば、シンプル・プロファイルでは、ＩピクチャおよびＰピクチャを示すことができ、メイン・プロファイルでは、Ｉピクチャ、Ｐピクチャ、およびＢピクチャまたはＢＩピクチャを示すことができ、アドバンスト・プロファイルでは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャ、ＢＩピクチャおよびＳｋｉｐｐｅｄピクチャを示すことができる。

ここで、シンプル・プロファイルおよびメイン・プロファイルの両プロファイルでは、ピクチャレイヤのピクチャタイプから、Ｓｋｉｐｐｅｄピクチャを判別できないため、任意のピクチャタイプをもつピクチャのサイズが１バイト以下である際に、当該ピクチャがＳｋｉｐｐｅｄピクチャであると規定されている。また、メイン・プロファイルでは、ＢまたはＢＩピクチャのどちらかであることを示すピクチャタイプが定義されており、ピクチャタイプからＢピクチャとＢＩピクチャとを区別することはできない。

図４は、従来の画像符号化方法を実現する画像符号化装置のブロック図である。
画像符号化装置８００は、入力される画像信号Ｖｉｎに対して圧縮符号化および可変長符号化等を行なうことにより、その画像信号Ｖｉｎをビットストリーム（ストリーム）Ｓｔｒに変換して出力する装置である。この画像符号化装置８００は、動き検出部８０１、動き補償部８０２、減算部８０３、直交変換部８０４、量子化部８０５、逆量子化部８０６、逆直交変換部８０７、加算部８０８、ピクチャメモリ８０９、スイッチ８１０、可変長符号化部８１１、および予測構造決定部８１２を備えている。

画像信号Ｖｉｎは、減算部８０３および動き検出部８０１に入力される。減算部８０３は、入力された画像信号Ｖｉｎと予測画像の差分値を計算し、直交変換部８０４に出力する。直交変換部８０４は、差分値を周波数係数に変換し、量子化部８０５に出力する。量子化部８０５は、入力された周波数係数を量子化し、量子化値Ｑｃを可変長符号化部８１１に出力する。

逆量子化部８０６は、量子化値Ｑｃを逆量子化して周波数係数に復元し、逆直交変換部８０７に出力する。逆直交変換部８０７は、周波数係数を差分値に逆周波数変換し、加算部８０８に出力する。加算部８０８は、差分値と動き補償部８０２から出力される予測画像とを加算して復号画像とする。スイッチ８１０は、当該復号画像の保存が指示された場合にＯＮになり、その復号画像はピクチャメモリ８０９に保存される。

一方、画像信号Ｖｉｎがマクロブロック単位で入力された動き検出部８０１は、ピクチャメモリ８０９に格納されている復号画像（参照ピクチャ）を探索対象とし、最も画像信号Ｖｉｎの示すマクロブロックに近い画像を有する画像領域を検出することによって、その画像領域の位置を指し示す動きベクトルＭＶを決定する。

動き補償部８０２は、上記処理によって検出された動きベクトルＭＶなどを用いて、ピクチャメモリ８０９に格納されている復号画像から予測画像に最適な画像領域を取り出す。

予測構造決定部８１２は、ＲＡＵ開始ピクチャＵｉｎによって、符号化の対象ピクチャがＲＡＵの開始位置にあると判断すると、その対象ピクチャをランダムアクセスが可能な特別なピクチャとして符号化（画面内符号化）するように、ピクチャタイプＰｔで動き検出部８０１および動き補償部８０２に指示し、更にそのピクチャタイプＰｔを可変長符号化部８１１に符号化させる。

可変長符号化部８１１は、量子化値Ｑｃ、ピクチャタイプＰｔおよび動きベクトルＭＶなどを可変長符号化して、ストリームＳｔｒを生成する。

図５は、従来の画像復号化方法を実現する画像復号化装置９００のブロック図である。同図において、図４の従来の画像符号化方法を実現する画像符号化装置８００のユニットと同じ動作をするユニットには同じ記号を付し、そのユニットの説明を省略する。

可変長復号部９０１はストリームＳｔｒを復号化し、量子化値Ｑｃ、参照ピクチャの特定情報ＩｎｄピクチャタイプＰｔおよび動きベクトルＭＶなどを出力する。ピクチャメモリ８０９は動きベクトルＭＶを取得し、動き補償部８０２は、ピクチャタイプＰｔ、動きベクトルＭＶおよび参照ピクチャの特定情報Ｉｎｄを取得し、逆量子化部８０６は量子化値Ｑｃを取得する。そして、ピクチャメモリ８０９、動き補償部８０２、逆量子化部８０６、逆直交変換部８０７、および加算部８０８によって復号化処理が行われる。このような復号化処理の動作は、図４の従来の画像符号化方法を実現する画像符号化装置８００で説明済みである。

バッファメモリ９０２は、加算部８０８から出力される復号画像Ｖｏｕｔを格納するメモリであり、表示部９０３は、バッファメモリ９０２から復号画像Ｖｏｕｔを取得して、その復号画像Ｖｏｕｔに応じた画像を表示する。なお、ピクチャメモリ８０９とバッファメモリ９０２は共用してもよい。

図６は、従来の画像復号化装置９００における、高速再生などの特殊再生時の復号動作を示すフローチャートである。まず、画像復号化装置９００は、ステップＳ１００１において、ストリームＳｔｒから、処理対象のピクチャの先頭を検出する。そして、画像復号化装置９００は、ステップＳ１００２において、ピクチャレイヤのヘッダに含まれるピクチャタイプに基づいて、当該ピクチャを復号化するかどうかを判定する。ステップＳ１００３では、画像復号化装置９００は、ステップＳ１００２においてピクチャの復号化が必要と判定されたかどうかを解釈し、必要と判定された際にはステップＳ１００４に進み、必要ないと判定された際にはステップＳ１００５に進む。ステップＳ１００４では、画像復号化装置９００は、ピクチャを復号化してステップＳ１００５に進む。最後に、ステップＳ１００５では、画像復号化装置９００は、ＲＡＵあるいはストリームの最終ピクチャなど再生処理が必要な最後のピクチャまで処理が完了したかどうか判定し、未処理のピクチャが存在する際にはステップＳ１００１からステップＳ１００５までの処理を繰り返し、最終ピクチャの処理が完了した時点で復号処理を終了する。

しかしながら、上記従来の画像符号化装置８００および画像復号化装置９００では、Ｓｋｉｐｐｅｄピクチャを含むストリームＳｔｒの復号化、特に高速再生などの特殊再生時において、大きな処理負担を要するという問題がある。また、ＢＩピクチャを含むストリームＳｔｒの復号化、特に飛び込み再生などの特殊再生においても、上述と同様、大きな処理負担を要するという問題がある。

図７は、上記従来の画像符号化装置８００および画像復号化装置９００の問題を説明するための図である。

図７の（ａ）は、Ｓｋｉｐｐｅｄピクチャを含む従来のＲＡＵの構造を示す。ＲＡＵは２４枚のピクチャから構成され、復号順で４番目以降のピクチャからは画像の動きが静止しているため、５番目のピクチャからは全てＳｋｉｐｐｅｄピクチャとなっている。このようなＲＡＵを３倍速で再生する際には、従来の画像復号化装置９００は、１、４、７、１０、１３、１６、１９、および２２番目のピクチャを順に復号化して再生しようとする。しかし、実際に復号化が必要であるピクチャは、図７の（ｃ）に示すように、１番目のＩピクチャと４番目のＰピクチャのみである。

つまり、従来のストリームＳｔｒのＲＡＵでは、各ピクチャレイヤに当該ピクチャのピクチャタイプが含まれているため、画像復号化装置９００は、実際に各ピクチャ（ピクチャレイヤ）の先頭をサーチしてピクチャタイプを取得しなければそのピクチャの復号化が必要かどうかを判別することができない。このため、図７の（ｂ）に示すように、画像復号化装置９００は、７、１０、１３、１６、１９、および２２番目のＳｋｉｐｐｅｄピクチャについても、これらのピクチャのデータを実際に解析してピクチャタイプを取得する必要があった。

このように、従来の画像符号化装置および画像復号化装置では、ＲＡＵを高速再生する際には、復号化が不要なピクチャまで解析する必要があり、復号化時の処理量が多いという課題がある。

また、ＢＩピクチャを含むＲＡＵを飛び込み再生するような場合においても、上記従来の画像符号化装置８００および画像復号化装置９００では、復号化時の処理量が多くなる。

つまり、従来の画像符号化装置８００では、オープンＧＯＰ型のＲＡＵを生成するときに、そのＲＡＵにおいて、復号順で先頭のＩピクチャよりも表示順で前にあって且つ復号順で後にあるピクチャ（以下、リオーダリングピクチャという）を、ＢピクチャまたはＢＩピクチャとして符号化することがある。ここで、そのオープンＧＯＰ型のＲＡＵからの飛び込み再生が開始される場合に、上述のリオーダリングピクチャがＢピクチャであるときには、そのＢピクチャを復号化および表示することができないことがある。しかし、リオーダリングピクチャがＢＩピクチャであるときには、そのＢＩピクチャを復号化および表示することができる。

そこで、従来の画像復号化装置９００は、ストリームＳｔｒ中のＲＡＵに含まれる各リオーダリングピクチャをそれぞれ解析することによって、そのリオーダリングピクチャがＢピクチャであるのかＢＩピクチャであるのかを判断する。そして画像復号化装置９００は、リオーダリングピクチャがＢピクチャであれば、そのピクチャを復号化せず、リオーダリングピクチャがＢＩピクチャであれば、そのピクチャを復号化する。

しかし、上述のようなＢピクチャであるかＢＩピクチャであるかの判断には、多くの処理量が必要であり、その判断によって遅延が発生することがある。

したがって、従来の画像復号化装置９００は、特に必要がない限り、オープンＧＯＰ型のＲＡＵからの飛び込み再生が開始される場合には、リオーダリングピクチャがＢピクチャであるかＢＩピクチャであるかに関わらず、そのリオーダリングピクチャに対する復号化および表示を行わない。その結果、リオーダリングピクチャがＢＩピクチャである場合には、そのＢＩピクチャを有効に再生することができなかった。

そこで本発明は、かかる問題に鑑みてなされたものであって、復号化処理の負担を軽減することができる画像符号化装置および画像復号化装置を提供することを目的とする。

上記目的を達成するために、本発明の画像符号化装置は、１つまたは複数のピクチャを含むアクセス単位ごとに前記各ピクチャを符号化して画像符号化信号を生成する画像符号化装置であって、符号化対象のアクセス単位が、当該アクセス単位の符号化に他のアクセス単位の参照が許可されているオープンタイプのアクセス単位である場合に、符号化対象ピクチャを符号化することにより、前記画像符号化信号のアクセス単位内において、先頭のピクチャよりも表示順で前に配置された、他のピクチャから独立して復号可能な独立ピクチャを生成する符号化手段と、前記画像符号化信号のアクセス単位において、前記独立ピクチャが前記先頭のピクチャの表示順で直前にあるか否かを示す補助情報を生成する情報生成手段と、前記画像符号化信号のアクセス単位内に、前記情報生成手段で生成された補助情報を書き込む書き込み手段とを備えることを特徴とする。

これにより、アクセス単位であるＲＡＵには補助情報（ＲＡＵマップ）が格納されているため、画像復号化装置は、例えばそのＲＡＵから飛び込み再生を行なう場合、そのＲＡＵマップを参照することにより、そのＲＡＵにおいて、復号順で先頭のピクチャである先頭Ｉピクチャの表示順の直前に、独立ピクチャたるＢＩピクチャがあるか否かを容易に特定することができる。その結果、画像復号化装置は、ＢＩピクチャが直前にないときには、そのＲＡＵに含まるピクチャのうち、先頭Ｉピクチャから表示順に配列するピクチャを、復号化すべきピクチャとして迅速に抽出することができる。また、画像復号化装置は、ＢＩピクチャが直前にあるときには、そのＲＡＵに含まるピクチャのうち、そのＢＩピクチャも、復号化すべきピクチャとして迅速に抽出することができる。

すなわち、画像復号化装置は、従来のように、ＲＡＵに含まれる複数のピクチャレイアを１つずつわざわざ解析して、そのレイアのピクチャがＢピクチャであるかＢＩピクチャであるかを判別する必要がなく、復号化処理の負担を軽減することができる。さらに、ＢＩピクチャが先頭Ｉピクチャの表示順で直前にあるときには、そのＢＩピクチャを容易に復号化して表示することができるため、ＢＩピクチャを有効に使用することができる。

また、前記情報生成手段は、前記独立ピクチャが前記先頭のピクチャの表示順で直前にあるか否かを示すフラグと、前記先頭のピクチャの表示順の直前で連続する前記独立ピクチャの枚数とを含む前記補助情報を生成することを特徴としてもよい。

これにより、補助情報であるＲＡＵマップにはフラグと枚数とが含まれているため、画像復号化装置は、そのＲＡＵマップに含まれるフラグおよび枚数を参照することにより、ストリームのＲＡＵにおいて、ＢＩピクチャが先頭Ｉピクチャの表示順の直前で１枚以上連続するか否かを容易に判別することができる。その結果、画像復号化装置は、１枚以上連続すると判別したときには、そのＲＡＵに含まれるピクチャのうち、１枚以上連続するＢＩピクチャの先頭から表示順で配列されるピクチャを、復号化すべきピクチャとして迅速に抽出することができ、１枚以上連続しないと判別したときには、そのＲＡＵに含まれるピクチャのうち、先頭Ｉピクチャから表示順で配列されるピクチャを、復号化すべきピクチャとして迅速に抽出することができる。

また、前記情報生成手段は、前記画像符号化信号のアクセス単位内における各ピクチャの復号順または表示順に、前記各ピクチャのピクチャタイプを示す前記補助情報を生成することを特徴としてもよい。

これにより、補助情報であるＲＡＵマップには各ピクチャのピクチャタイプが示されているため、画像復号化装置は、ＲＡＵマップの示す各ピクチャのピクチャタイプを参照することにより、ストリームのＲＡＵにおいて、ＢＩピクチャが先頭Ｉピクチャの表示順の直前で１枚以上連続するか否かを容易に判別することができる。その結果、画像復号化装置は、１枚以上連続すると判別したときには、そのＲＡＵに含まれるピクチャのうち、１枚以上連続するＢＩピクチャの先頭から表示順で配列されるピクチャを、復号化すべきピクチャとして迅速に抽出することができ、１枚以上連続しないと判別したときには、そのＲＡＵに含まれるピクチャのうち、先頭Ｉピクチャから表示順で配列されるピクチャを、復号化すべきピクチャとして迅速に抽出することができる。

また、前記書き込み手段は、前記画像符号化信号のアクセス単位内の何れのピクチャよりも前に前記補助情報を書き込むことを特徴としてもよい。

これにより、補助情報であるＲＡＵマップがＲＡＵの何れのピクチャよりも前に書き込まれているため、画像復号化装置はＲＡＵを先頭から取得することによって、ＲＡＵマップを容易かつ迅速に検出することができ、復号化処理の負担をさらに軽減することができる。

ここで、上記目的を達成するために、本発明の画像復号化装置は、アクセス単位ごとに１つまたは複数のピクチャを含む画像符号化信号を復号化する画像復号化装置であって、前記画像符号化信号のアクセス単位には、当該アクセス単位において、先頭のピクチャよりも表示順で前に配置された、他のピクチャから独立して復号可能な独立ピクチャが、前記先頭のピクチャの表示順の直前にあるか否かを示す補助情報が格納されており、前記画像復号化装置は、前記アクセス単位が、当該アクセス単位の復号化に他のアクセス単位の参照が許可されているオープンタイプのアクセス単位であるか否かを判別するタイプ判別手段と、前記タイプ判別手段により前記アクセス単位がオープンタイプのアクセス単位であると判別されたときには、前記アクセス単位から前記補助情報を取得する情報取得手段と、前記情報取得手段により取得された補助情報を参照することにより、前記アクセス単位の中から、復号化すべきピクチャを抽出する抽出手段と、前記抽出手段により抽出されたピクチャを復号化する復号化手段とを備えることを特徴とする。例えば、前記抽出手段は、前記補助情報を参照することにより、前記独立ピクチャが前記先頭のピクチャの表示順で直前にあるか否かを判別し、直前にあると判別したときには、前記独立ピクチャを復号化すべきピクチャとして抽出し、直前にないと判別したときには、前記独立ピクチャを復号化すべきピクチャとして抽出しない。

これにより、画像復号化装置は、アクセス単位たるＲＡＵがオープンＧＯＰ型のＲＡＵであるときには、補助情報であるＲＡＵマップを取得してそのＲＡＵマップを参照するため、独立ピクチャであるＢＩピクチャが、復号順で先頭のピクチャである先頭Ｉピクチャに対して、表示順で直前にあるか否かを容易に判別することができる。その結果、画像復号化装置は、ＢＩピクチャが先頭Ｉピクチャの直前にあるときには、そのＢＩピクチャを復号化すべきピクチャとして迅速に抽出することができ、ＢＩピクチャが先頭Ｉピクチャの直前にないときには、そのＢＩピクチャが復号化すべきピクチャではないと迅速に判断することができる。その結果、復号化処理の負担を軽減することができる。

なお、本発明は、上記画像符号化装置や画像復号化装置だけでなく、画像符号化信号や、画像符号化方法、画像復号化方法、プログラム、そのプログラムを格納する記憶媒体、上記各装置の集積回路としても実現することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
本発明の第１の実施の形態におけるＶＣ−１のストリームのＲＡＵ先頭には、ＲＡＵマップが格納されており、本実施の形態における画像復号化装置は、そのＲＡＵマップを解析することにより、そのＲＡＵ内における画像の静止区間を特定する。

図８は、本実施の形態におけるＶＣ−１のストリームに含まれるＲＡＵの構造の一例を示す図である。

このＲＡＵは、先頭にあるエントリ・ポイント・ヘッダ（Entry Point HDR）およびユーザーデータと、ユーザーデータの後にある複数のピクチャとを含んで構成されている。そして、ユーザーデータには、上述のＲＡＵマップＭＩが含まれている。なお、ＶＣ−１の規格では、ＲＡＵはＥＰＳ（Entry Point Segment）と称される。

つまり、従来のＲＡＵとの違いは、ＲＡＵ内にＳｋｉｐｐｅｄピクチャが含まれるかどうか、および画像の静止区間を特定するためのＲＡＵマップＭＩがユーザーデータ（エントリ・ポイントレベルのユーザーデータ）内に配置されていることである。

従って、本実施の形態における画像復号化装置は、ＲＡＵマップＭＩを参照してＲＡＵ内にＳｋｉｐｐｅｄピクチャが存在するかどうか、および画像の静止区間を特定できるため、ＲＡＵ内の各ピクチャの復号開始前に、ＲＡＵ内の各ピクチャレイアを解析することなく、復号化する必要のないピクチャを特定することができ、その結果、復号時の処理量を削減できる。

図９Ａは、ＲＡＵマップＭＩのシンタックスの一例を示す図である。
num_pic_in_RAUはＲＡＵ内のピクチャの枚数を示し、frame_field_flagはＲＡＵ内の各ピクチャがフィールド構造で符号化されているかフレーム構造で符号化されているかを示し、pic_typeは各ピクチャのピクチャタイプ（Ｓｋｉｐｐｅｄピクチャを含む）を示す。なお、各ピクチャの情報は復号順で示される。つまり、このＲＡＵマップＭＩは、ＲＡＵ内のピクチャごとに、そのピクチャのピクチャタイプ（Ｓｋｉｐｐｅｄピクチャを含む）を示すことで、ＲＡＵ内の画像の静止区間を示している。ここで、本実施の形態における静止区間とは、復号順で参照ピクチャ（ＩピクチャまたはＰピクチャ）の後に複数のＳｋｉｐｐｅｄピクチャが連続する場合において、その参照ピクチャから最後のＳｋｉｐｐｅｄピクチャまでの位置および範囲を示す。

例えば、ＲＡＵマップＭＩは、ＲＡＵ内の２番目から最終ピクチャまでの全ピクチャがｓｋｉｐｐｅｄピクチャであることを示す。この場合、画像復号化装置は、ＲＡＵマップＭＩのpic_typeを参照することにより、２番目以降のピクチャは復号化せずに、先頭ピクチャを復号化して繰り返し表示すればよいと判断する。

なお、ピクチャ単位で、１フレームが表示時に何フィールド分に相当するか、あるいはトップフィールドとボトムフィールドのどちらから復号を開始するかなどを示す３−２プルダウンの情報をＲＡＵマップＭＩに含めてもよい。

図９Ｂは、ＲＡＵマップＭＩのシンタックスの他の例を示す図である。
ＶＣ−１のアドバンスト・プロファイルでは、フィールド符号化時の第１フィールドと第２フィールドのピクチャタイプは、ピクチャレイヤに含まれるフィールド・ピクチャタイプによって示される。フィールド・ピクチャタイプには、（第１フィールドのピクチャタイプ、第２フィールドのピクチャタイプ）として、（Ｉ、Ｉ）、（Ｉ、Ｐ）、（Ｐ、Ｉ）、（Ｐ、Ｐ）、（Ｂ、Ｂ）、（Ｂ、ＢＩ）、（ＢＩ、Ｂ）、および（ＢＩ、ＢＩ）の８通りが定義されている。従って、ピクチャがフィールドで構成される場合には、フィールド・ピクチャタイプを示すことで、フレームを構成する第１フィールドと第２フィールドのピクチャタイプを同時に示すことができる。

そこで、図９Ｂに示すＲＡＵマップＭＩのシンタックスは、ピクチャがフィールドで構成されている場合には、そのピクチャのフィールド・ピクチャタイプも示す。具体的に、num_frame_in_RAUはＲＡＵ内のフレームの枚数を示し、field_coding_flagはピクチャがフィールドであるか否かを示す。ピクチャがフィールドで構成されているときには、field_type_modeによって、そのピクチャのフィールド・ピクチャタイプが示され、ピクチャがフィールドで構成されていないときには、picture_typeによって、そのピクチャのピクチャタイプが示される。

即ち、このＲＡＵマップＭＩは、上述の図９Ａに示すＲＡＵマップＭＩと同様、ＲＡＵ内のピクチャごとに、そのピクチャのピクチャタイプを示すことで、ＲＡＵ内の画像の静止区間を示している。

また、ＲＡＵが、ＩピクチャとＳｋｉｐｐｅｄピクチャのみ、あるいは、Ｉピクチャ、Ｐピクチャ、およびＳｋｉｐｐｅｄピクチャのみから構成される際には、ＲＡＵの一部あるいは全てが静止区間となる。このとき、静止区間と通常の動画区間とにおいて、画像符号化装置における復号化処理および表示動作が異なるため、ＲＡＵ内に静止区間が存在するかどうかを示す情報をＲＡＵマップＭＩに含めてもよい。

図９Ｃは、ＲＡＵマップＭＩのシンタックスの他の例を示す図である。
このシンタックスは、motionless_flagにより、ＲＡＵが静止区間を含むかどうかを示すとともに、start_pic_numおよびend_pic_numにより、ＲＡＵの静止区間を示す。具体的に、motionless_flagが１であれば、このＲＡＵマップＭＩは、ＲＡＵに静止区間があることを示す。さらに、ＲＡＵマップＭＩは、motionless_flagが１のとき、start_pic_numにより示されるＩピクチャまたはＰピクチャから、end_pic_numにより示されるＳｋｉｐｐｅｄピクチャまでが静止区間であることを示す。

なお、ＲＡＵ全体が静止区間、一定時間以上の静止区間が存在する場合にのみmotionless_flagを１にセットしてもよい。

図９Ｄは、ＲＡＵマップＭＩのシンタックスの他の例を示す図である。
このシンタックスにおいて、number_of_pictures_in_EPSは、ＥＰＳに含まれるピクチャの数を示す。picture_structureは、ピクチャがフィールド構造であるかフレーム構造であるか、または１フレームが表示時に何フィールド分に相当するかを示す。picture_typeは、ピクチャがＩピクチャ、Ｐピクチャ、ＢピクチャおよびＳｋｉｐｐｅｄピクチャなどのうちの何れのピクチャタイプに属するかを示す。また、stuffing_bitsは、stuffing_bits、picture_structureおよびpicture_typeの全てのビット数の総和が８ビットの整数倍で表現されるように使用される。また、このシンタックスでは、ＥＰＳに含まれる各ピクチャに対して、その各ピクチャの復号順に、stuffing_bits、picture_structureおよびpicture_typeが示される。

このようなＲＡＵマップＭＩは、上述の図９Ａに示すＲＡＵマップＭＩと同様、ＲＡＵ（ＥＰＳ）内のピクチャごとに、そのピクチャのピクチャタイプを示すことで、ＲＡＵ内の画像の静止区間を示している。

なお、ＲＡＵマップＭＩには、ピクチャの表示順で各ピクチャの情報を格納してもよい。さらに、ＲＡＵマップＭＩにおいて各ピクチャの情報が復号順および表示順のいずれで格納されているかを示す情報を格納してもよい。

また、ＲＡＵマップＭＩは、先頭ピクチャのユーザーデータに格納するなど、エントリ・ポイント・レイヤとは異なるレイヤのユーザーデータに含めてもよい。また、ＲＡＵ内にＳｋｉｐｐｅｄピクチャが存在しない場合には、ＲＡＵマップＭＩを作成しないことにしてもよい。このとき、ＲＡＵマップＭＩの有無により、ＲＡＵ内にＳｋｉｐｐｅｄピクチャが存在するかどうかを示すことができる。

図１０は、本実施の形態における画像復号化装置１００のブロック図である。
図８に示すＲＡＵを含むストリームＳＴＲを復号化する本実施の形態における画像復号化装置１００は、可変長復号部１０１と、ピクチャメモリ１０２と、動き補償部１０３と、逆量子化部１０４と、逆直交変換部１０５と、バッファメモリ１０６と、表示部１０７と、加算部１０８と、ストリーム抽出部１０９と、情報取得部１１０とを備えている。

この画像復号化装置１００は、ストリーム抽出部１０９と情報取得部１１０とを備える点において、従来の画像復号化装置９００と異なる。

情報取得部１１０は、可変長復号部１０１からＲＡＵマップＭＩを取得するとともに、高速再生などの特殊再生の内容を指示する再生モード信号ＴＭを外部から取得する。そして、情報取得部１１０は、再生モード信号ＴＭに基づいてＲＡＵマップＭＩを解析し、復号化が必要なピクチャを決定（選択）する。情報取得部１１０は、その決定結果を示す復号ピクチャ指示信号ＳＰをストリーム抽出部１０９に出力する。

例えば、ＲＡＵマップＭＩが図９Ｃに示すシンタックスにより構成されている場合、情報取得部１１０は、motionless_flagに基づいて、再生対象となるＲＡＵに静止区間があるか否かを判別する。そして、情報取得部１１０は、静止区間があると判別したときには、start_pic_numおよびend_pic_numに基づいて静止区間を特定する。静止区間を特定すると、情報取得部１１０は、再生モード信号ＴＭによって示される再生対象のピクチャのうち、その静止区間に含まれないピクチャのみを、復号化すべきピクチャとして決定し、その決定結果を示す復号ピクチャ指示信号ＳＰを出力する。ただし、再生モード信号ＴＭによって示される再生対象のピクチャに、静止区間内のピクチャが含まれる場合には、当該静止区間の先頭ピクチャを復号化すべきピクチャとして決定する。

また、ＲＡＵマップＭＩが図９Ｄに示すシンタックスにより構成されている場合、情報取得部１１０は、ＲＡＵ内のピクチャごとに示されるpicture_typeに基づいて静止区間を特定する。そして、情報取得部１１０は、再生モード信号ＴＭによって示される再生対象のピクチャのうち、その静止区間に含まれないピクチャのみを、復号化すべきピクチャとして決定し、その決定結果を示す復号ピクチャ指示信号ＳＰを出力する。ただし、上述と同様、再生モード信号ＴＭによって示される再生対象のピクチャに、静止区間内のピクチャが含まれる場合には、当該静止区間の先頭ピクチャを復号化すべきピクチャとして決定する。

ストリーム抽出部１０９は、ストリームＳＴＲを取得すると、ＲＡＵごとに、まず、そのＲＡＵの先頭にある符号化されたＲＡＵマップＭＩを検出して可変長復号部１０１に出力する。そして、ストリーム抽出部１０９は、そのＲＡＵマップＭＩに基づいて情報取得部１１０から出力された復号ピクチャ指示信号ＳＰを取得すると、その復号ピクチャ指示信号ＳＰの示す、復号化が必要なピクチャのデータを、ストリームＳＴＲから抽出して可変長復号部１０１に出力する。

可変長復号部１０１は、ストリーム抽出部１０９から符号化されたＲＡＵマップＭＩを取得したときには、その符号化されたＲＡＵマップＭＩに対して可変長復号化を行い、復号化されたＲＡＵマップＭＩを情報取得部１１０に出力する。また、可変長復号部１０１は、ストリームＳＴＲに含まれるピクチャのデータをストリーム抽出部１０９から取得したときには、そのデータに対して可変長復号化を行い、量子化値Ｑｃ、参照ピクチャの特定情報Ｉｎｄ、ピクチャタイプＰｔおよび動きベクトルＭＶを出力する。

動き補償部１０３は、ピクチャメモリ１０２に格納され、参照ピクチャの特定情報Ｉｎｄにより示される復号画像（参照ピクチャ）から、動きベクトルＭＶによって指示される画像領域を取り出して予測画像として加算部１０８に出力する。

逆量子化部１０４は、量子化値Ｑｃを逆量子化して周波数係数に復元し、逆直交変換部１０５に出力する。逆直交変換部１０５は、周波数係数を画素差分値に逆周波数変換して加算部１０８に出力する。加算部１０８は、画素差分値と動き補償部１０３から出力される予測画像とを加算して復号画像Ｖｏｕｔを生成する。そして、加算部１０８は、その復号画像Ｖｏｕｔをピクチャメモリ１０２およびバッファメモリ１０６に格納する。表示部１０７は、バッファメモリ１０６から復号画像Ｖｏｕｔを取得して、その復号画像Ｖｏｕｔに応じた画像を表示する。なお、ピクチャメモリ１０２とバッファメモリ１０６を１つのメモリで構成してもよい。

なお、ストリーム抽出部１０９は、ＲＡＵに含まれる全てのピクチャのデータを可変長復号部１０１に出力してもよい。この場合には、可変長復号部１０１は、情報取得部１１０から出力された復号ピクチャ指示信号ＳＰに基づいて、ＲＡＵに含まれる全てのピクチャの中から、復号化が必要なピクチャを選択する。そして、可変長復号部１０１は、その選択したピクチャのデータに対して可変長復号化を行う。なお、情報取得部１１０により復号化するピクチャを決定するのは高速再生や逆再生などの特殊再生時のみとして、通常再生時にはＲＡＵマップＭＩの解析処理を行わずに全てのピクチャを復号化すると決定してもよい。

図１１は、本実施の形態に係る画像復号化装置１００における特殊再生時の動作を示すフローチャートである。

まず、画像復号化装置１００は、特殊再生開始の指示を受け付けると、まずエントリ・ポイント・レイヤのユーザーデータに、ＲＡＵマップＭＩが格納されているかどうかを判定する（ステップＳ１００）。つまり、画像復号化装置１００は、ＲＡＵマップＭＩを検出したか否かの判別を行なう。画像復号化装置１００は、ＲＡＵマップＭＩを検出した際には（ステップＳ１００のＹＥＳ）ステップＳ１０２の処理を行ない、検出しなければ（ステップＳ１００のＮＯ）、ステップＳ１０６の処理を行なう。

具体的に、画像復号化装置１００は、ＲＡＵマップＭＩを検出すると（ステップＳ１００のＹＥＳ）、ＲＡＵマップＭＩを解析して（ステップＳ１０２）、その解析結果に基づいてＲＡＵ内の特殊再生対象となるピクチャのうち、復号化すべきピクチャを決定（選択）する（ステップＳ１０４）。

なお、ＲＡＵの特殊再生を開始するときには、画像復号化装置１００は、ステップＳ１００において常にＲＡＵマップＭＩを検出し、ＲＡＵ内で復号化すべきピクチャを決定する。つまり、本実施の形態における画像復号化装置１００は、ＲＡＵの特殊再生を開始するときには、ＲＡＵマップＭＩに基づいて、ＲＡＵに含まれる特殊再生対象のピクチャの中から、Ｓｋｉｐｐｅｄピクチャを除くピクチャを復号化すべきピクチャとして選択している。

ステップＳ１００でＲＡＵマップＭＩを検出しなかった後、または、ステップＳ１０４で復号化すべきピクチャを決定した後、画像復号化装置１００は、ＲＡＵ内にある特殊再生対象となるピクチャの先頭（スタートコード）を検出する（ステップＳ１０６）。

次に、画像復号化装置１００は、ステップＳ１０６で検出された特殊再生対象のピクチャが、ステップＳ１０４において復号化すべきと決定されたピクチャであるかどうかを判定する（ステップＳ１０８）。ここで、復号化すべきと決定されたピクチャであると判定した際には（ステップＳ１０８のＹＥＳ）、画像復号化装置１００は、そのピクチャに対して復号化を行う（ステップＳ１１０）。

画像復号化装置１００は、ステップＳ１０４で復号化すべきと決定されたピクチャでないと判定した後（ステップＳ１０８のＮＯ）、または、ステップＳ１１０でピクチャを復号化した後に、次の特殊再生対象のピクチャ、つまり未処理のピクチャがあるか否かを判別する（ステップＳ１１２）。

未処理のピクチャがないと判別したときには（ステップＳ１１２のＮＯ）、画像復号化装置１００は全ての処理を終了し、未処理のピクチャがあると判別したときには（ステップＳ１１２のＹＥＳ）、ステップＳ１００からの動作を繰り返し実行する。例えば、直前のステップＳ１００でＲＡＵマップＭＩが検出され、これまでと同一のＲＡＵ内において再びステップＳ１００の動作が行なわれるときには、画像復号化装置１００は、その再度のステップＳ１００では、ＲＡＵマップＭＩを検出することなく（ステップＳ１００のＮＯ）、ステップＳ１０６の処理、つまり次に特殊再生対象となるピクチャの先頭の検出を行なう。

このように、本実施の形態における画像復号化方法では、ステップＳ１００からステップＳ１０４の処理を含む点において、従来の画像復号化方法と異なる。

図１２は、本実施の形態における画像復号化装置１００がＲＡＵマップＭＩを解析する動作を示すフローチャートである。

例えば、ＲＡＵマップＭＩが図９Ｄに示すシンタックスによって構成されている場合には、画像復号化装置１００は、まず、ＲＡＵマップＭＩを解析して、ＲＡＵに含まれる特殊再生対象のピクチャから、Ｉピクチャ、Ｐピクチャ、およびＳｋｉｐｐｅｄピクチャを特定する（ステップＳ１２０）。

次に、画像復号化装置１００は、特殊再生対象のピクチャがＳｋｉｐｐｅｄピクチャである際には、復号順でそのＳｋｉｐｐｅｄピクチャの直前のＩピクチャあるいはＰピクチャの復号結果を、Ｓｋｉｐｐｅｄピクチャの示す画像として使用すると決定する（ステップＳ１２２）。

なお、特殊再生ではない通常再生時にも、ＲＡＵマップＭＩを参照して、ＲＡＵの再生開始時に、Ｓｋｉｐｐｅｄピクチャなどを特定しておいてもよい。

そして、画像復号化装置１００は、そのＲＡＵに含まれるＳｋｉｐｐｅｄピクチャを表示するときには、上記ステップＳ１２２で決定された、そのＳｋｉｐｐｅｄピクチャの直前にあるＩピクチャ又はＰピクチャの復号結果を表示する。

ここで、図１３Ａ、図１３Ｂ、および図１３Ｃを参照して、本実施の形態における画像復号化装置１００の高速再生時の動作について説明する。

図１３Ａは、高速再生されるＲＡＵを示す図である。
先頭から１番目のピクチャがＩピクチャであり、２番目および３番目のピクチャがＢピクチャであり、４番目のピクチャがＰピクチャである。そして、５番目以降のピクチャが全てＳｋｉｐｐｅｄピクチャである。また、ピクチャは全てフレームである。

図１３Ｂは、図１３Ａに対応するＲＡＵマップＭＩを示す図である。このＲＡＵマップＭＩは、図９Ａに示すシンタックスにより構成されている。ここで、ピクチャは全てフレームであるため、frame_field_flagは、全てのピクチャに対して１にセットされる。また、pic_typeには、ピクチャごとに、Ｉピクチャ、Ｐピクチャ、Ｂピクチャ、およびＳｋｉｐｐｅｄピクチャのうちの何れかがセットされる。なお、図１３Ｂ中、Ｉ、Ｐ、Ｂ、およびＳｋｉｐｐｅｄの何れかをセットしているが、実際には、各ピクチャタイプを示す数値をセットしてもよい。

図１３Ｃは、本実施の形態の画像復号化装置１００が図１３ＡのＲＡＵを有するストリームＳＴＲを特殊再生する際の動作を示すフローチャートである。

画像復号化装置１００は、まず、ストリームＳＴＲに含まれる図１３ＡのＲＡＵを３倍速で再生すると決定する（ステップＳ１３０）。ここで、３倍速再生とは、ＲＡＵ内のストリーム構造が復号順でＩピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャ、Ｂピクチャ、Ｂピクチャ、…である際に、ＩピクチャとＰピクチャのみを再生するのと同一であり、一般的な高速再生である。

次に、画像復号化装置１００は、図１３Ｂに示すＲＡＵマップＭＩの解析結果より、５番目から２４番目までのピクチャは全てＳｋｉｐｐｅｄピクチャであって、４番目から２４番目までのピクチャの範囲が静止区間であると判断する。そして、画像復号化装置１００は、５番目以降の各ピクチャの表示には全て４番目のピクチャの復号結果を使用するとして、１番目と４番目のピクチャのみを復号化すると決定する（ステップＳ１３２）。続いて、画像復号化装置１００は、１番目と４番目のピクチャをそれぞれ復号化して表示する（ステップＳ１３４）。さらに、画像復号化装置１００は、７番目、１０番目、１３番目、１６番目、１９番目、および２２番目のピクチャの復号結果として、４番目のピクチャの復号結果を繰り返し表示する。

なお、本実施の形態ではＶＣ−１のストリームの各ＲＡＵにＲＡＵマップを含め、画像復号化装置１００はそのストリームに対して復号化を行ったが、ＲＡＵマップが含まれていれば、そのストリームの符号化方式は、ＭＰＥＧ−４ ＡＶＣやＭＰＥＧ−２などＶＣ−１以外の符号化方式であってもよい。ここで、Ｓｋｉｐｐｅｄピクチャと同様のピクチャタイプが定義されていない符号化方式であっても、実質的にＳｋｉｐｐｅｄピクチャと同様のピクチャであれば、ＲＡＵマップにおいてＳｋｉｐｐｅｄピクチャとすることで他のピクチャと区別してもよい。

（変形例１）
ここで本実施の形態における画像復号化装置１００による再生方法の第１の変形例について説明する。

例えば、ＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ：復号時刻）からＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ：表示時刻）までの復号化期間内に、静止区間の先頭ピクチャの復号化が間に合わないケースが起こり得る。そこで、本変形例では、先頭ピクチャの復号化が表示時刻までに完了しなくても、完了後にその先頭ピクチャを表示させる。

図１４は、本変形例に係る画像復号化装置１００の再生方法を示す説明図である。
ＤＴＳ２は、静止区間における先頭ピクチャｐｉｃ２の符号を載せたパケット（ＰＥＳパケットと呼ばれる）のヘッダに含まれるデコードタイムスタンプの時刻を指し、先頭ピクチャｐｉｃ２の復号化を開始すべき時刻を示す。ＰＴＳ２は、先頭ピクチャｐｉｃ２の符号を載せたパケットヘッダに含まれるプレゼンテーションタイムスタンプの時刻を指し、先頭ピクチャｐｉｃ２のプレゼンテーション（出力または表示）を開始すべき時刻を示す。ＤＴＳ１、ＰＴＳ１、およびＰＴＳ３についても同様である。

例えば、画像復号化装置１００は、この図１４に示すように、先頭ピクチャｐｉｃ２に対して、ＤＴＳ２の時刻に復号化を開始する。しかし、デコード完了時刻がＰＴＳ２の時刻に間に合わない場合がある。そこで本変形例における画像復号化装置１００は、静止区間における先頭ピクチャのデコード完了時刻がＰＴＳの時刻に間に合わなかった場合には、デコード完了時刻の直後のフレームグリッドの時刻においてプレゼンテーションを開始する。

このように本変形例における画像復号化装置１００では、符号化された先頭ピクチャに含まれるデコードタイムスタンプの時刻に復号化を開始し、プレゼンテーションタイムスタンプの時刻までに先頭ピクチャの復号化が完了しない場合に、プレゼンテーションタイムスタンプにマージンを付与し、付与後のプレゼンテーションタイムスタンプに、復号化された先頭ピクチャを表示する。

図１５は、本変形例に係る画像復号化装置１００の再生方法を示すフローチャートである。

本変形例に係る画像復号化装置１００は、静止区間における先頭ピクチャのＤＴＳ時刻に、その先頭ピクチャの復号化を開始する（ステップＳ１４０）。そして、画像復号化装置１００は、その先頭ピクチャのＰＴＳ時刻までに、その復号化が完了したか否かを判別する（ステップＳ１４２）。ここで、完了したと判別したときには（ステップＳ１４２のＹＥＳ）、画像復号化装置１００は、ＰＴＳ時刻に復号化された先頭ピクチャを表示する（ステップＳ１４４）。一方、完了しなかったと判別したときには（ステップＳ１４２のＮＯ）、画像復号化装置１００は、ＰＴＳ時刻の後、つまり復号化完了の直後のフレームグリッドの時刻に、復号化された先頭ピクチャを表示する（ステップＳ１４６）。

このように本変形例に係る画像復号化装置１００の再生方法によれば、静止区間における先頭ピクチャの復号化が遅延した場合には、表示時刻を遅らせるので、その先頭ピクチャの表示を省いてしまう場合と比べて、静止区間の画質の向上を図ることができる。

（変形例２）
ここで、本実施の形態における画像復号化装置１００による再生方法の第２の変形例について説明する。

本変形例に係る画像復号化装置１００は、ＢＤ（Blu-ray Disc）などのアプリケーションにおいて使用される静止画の復号化処理の負担を軽減することができる。

ストリームにおいて、画像が静止した区間を生成する方法には、２種類の方法がある。１つ目の方法は、同一の復号結果が得られる１以上のピクチャを連続して配置する方法であり、２つ目の方法は、同一画像の画質が復号化処理ごとに向上するように後続ピクチャを順に配置する方法である。なお、両者の方法により生成される区間を区別するために、前者を完全静止画区間、後者を漸次リフレッシュ静止画区間と呼ぶ。

ここで、完全静止画区間では、その区間の先頭ピクチャだけを復号することによりその区間の任意の位置から再生を開始することができる。しかし、漸次リフレッシュ静止画区間の場合には、その区間の先頭ピクチャと後続ピクチャとでは復号結果が異なるため、先頭ピクチャのみを復号しても、その区間の任意の位置から再生を開始することができない。従って、漸次リフレッシュ静止画区間の途中のピクチャから再生が開始される際には、その区間の先頭ピクチャから順に、再生開始位置のピクチャの復号に必要な各ピクチャが復号化される。このように、完全静止画区間と漸次リフレッシュ静止画区間とでは飛び込み再生や、高速再生から通常再生に復帰するなどの特殊再生時の処理が異なるため、両者を区別する必要がある。

そこで、本変形例に係るＲＡＵマップは、ＲＡＵ内における静止画に関する区間を示すとともに、その区間が完全静止画区間であるか漸次リフレッシュ静止画区間であるかの区別を示す。そして、本変形例に係る画像復号化装置１００は、そのＲＡＵマップを参照することにより、復号化すべきピクチャを容易に特定して、復号化処理を行なうことができる。その結果、復号化処理の負担を軽減することができる。

図１６Ａは、完全静止画区間を有するＲＡＵを示す図である。
例えば、ＲＡＵマップは、図９Ｄに示すように、ＲＡＵに含まれる各ピクチャのピクチャタイプを示すことにより、ＲＡＵが完全静止画区間から構成されていることを示す。

したがって、このようなＲＡＵマップを参照した画像復号化装置１００は、このＲＡＵにおける完全静止画区間では、復号化すべきピクチャとして先頭のＩピクチャだけを容易に特定することができる。

図１６Ｂは、漸次リフレッシュ静止画区間を有するＲＡＵを示す図である。
例えば、ＲＡＵマップは、図９Ｄに示すように、ＲＡＵマップに含まれる各ピクチャのピクチャタイプを示すことにより、ＲＡＵが漸次リフレッシュ静止画区間から構成されていることを示す。この図１６Ｂに示す漸次リフレッシュ静止画区間は、ＲＡＵの先頭にあるＩピクチャと、そのＩピクチャに後続する複数のＰピクチャ（後続ピクチャ）とで構成されている。このような漸次リフレッシュ静止画区間では、後続の各Ｐピクチャが順に復号化されるごとに、先頭のＩピクチャの復号結果である画像の画質が向上する。つまり、このような漸次リフレッシュ静止画区間は、ＲＡＵの最終ピクチャまで静止画の画質を向上させたいときに有効である。

したがって、画像復号化装置１００は、このＲＡＵにおける漸次リフレッシュ静止画区間の何れかのＰピクチャから再生を開始させようとする場合、このようなＲＡＵマップを参照することにより、漸次リフレッシュ静止画区間の先頭のＩピクチャと、そのＩピクチャから再生開始位置にあるＰピクチャまでの各Ｐピクチャとを、復号化すべきピクチャとして容易に特定することができる。

図１６Ｃは、他の漸次リフレッシュ静止画区間を有するＲＡＵを示す図である。
例えば、ＲＡＵマップは、図９Ｄに示すように、ＲＡＵマップに含まれる各ピクチャのピクチャタイプを示すことにより、ＲＡＵが漸次リフレッシュ静止画区間から構成されていることを示す。この図１６Ｃに示す漸次リフレッシュ静止画区間は、ＲＡＵの先頭にあるＩピクチャと、そのＩピクチャに後続する２枚のＰピクチャ（後続ピクチャ）と、複数のＳｋｉｐｐｅｄピクチャとから構成されている。このような漸次リフレッシュ静止画区間では、２枚のＰピクチャが順に復号化されるごとに、先頭のＩピクチャの復号結果である画像の画質が向上し、その後、Ｓｋｉｐｐｅｄピクチャによりその画質が一定に保たれる。

したがって、画像復号化装置１００は、このＲＡＵにおける漸次リフレッシュ静止画区間の何れかのＰピクチャから再生を開始させようとする場合、このようなＲＡＵマップを参照することにより、漸次リフレッシュ静止画区間の先頭のＩピクチャと、そのＩピクチャから再生開始対象となるＰピクチャまでの各Ｐピクチャとを、復号化すべきピクチャとして容易に特定することができる。さらに、画像復号化装置１００は、このＲＡＵにおける漸次リフレッシュ静止画区間の何れかのＳｋｉｐｐｅｄピクチャから再生を開始させようとする場合、このようなＲＡＵマップを参照することにより、漸次リフレッシュ静止画区間の先頭のＩピクチャと２枚のＰピクチャとを、復号化すべきピクチャとして容易に特定することができる。

なお、本変形例では、上述のようなＲＡＵマップをＲＡＵの先頭など、ストリーム内に配置したが、管理情報のタイムマップなどに格納してもよい。

また、本変形例では、漸次リフレッシュ静止画区間の途中のピクチャから再生開始する際には、その区間の先頭のＩピクチャと、そのＩピクチャから再生開始位置のピクチャまでにある各Ｐピクチャとを、復号化すべきピクチャとして特定したが、その全てのピクチャを復号化すべきピクチャとして特定しなくてもよい。即ち、先頭のＩピクチャのみ、あるいはそのＩピクチャと所定の枚数のＰピクチャのみを、復号化すべきピクチャとして特定してもよい。この場合には、再生開始位置における本来の画質は得られないことがあるものの、再生時の処理負荷を低減することができる。

（実施の形態２）
図１７は、本実施の形態における画像符号化装置のブロック図である。

本実施の形態における画像符号化装置２００は、動き検出部２０１と、動き補償部２０２と、減算部２０３と、直交変換部２０４と、量子化部２０５と、逆量子化部２０６と、逆直交変換部２０７と、加算部２０８と、ピクチャメモリ２０９と、スイッチ２１０と、可変長符号化部２１１と、予測構造決定部２１２と、情報作成部２１３とを備えている。

動き検出部２０１は、画像信号Ｖｉｎをマクロブロック単位で取得する。そして、動き検出部２０１は、ピクチャメモリ２０９に格納されている復号画像（参照ピクチャ）を探索対象とし、最も画像信号Ｖｉｎの示すマクロブロックに近い画像を有する画像領域を検出する。動き検出部２０１は、その画像領域の位置を指し示す動きベクトルＭＶを決定して出力する。また、動き検出部２０１は、動きベクトルＭＶの検出に使用された復号画像を示す参照ピクチャの特定情報Ｉｎｄを出力する。

動き補償部２０２は、ピクチャメモリ２０９に格納され、参照ピクチャの特定情報Ｉｎｄにより示される復号画像から、動きベクトルＭＶにより示される画像領域を復号画像から取り出して予測画像として出力する。

予測構造決定部２１２は、ＲＡＵ開始ピクチャＵｉｎによって、符号化の対象ピクチャがＲＡＵの開始位置にあれば、その対象ピクチャをランダムアクセスが可能な特別なピクチャとして符号化（画面内符号化）するように、ピクチャタイプＰｔで動き検出部２０１および動き補償部２０２に指示し、更にそのピクチャタイプＰｔを可変長符号化部２１１に符号化させる。即ち、予測構造決定部２１２は、画像信号Ｖｉｎに含まれる符号化対象ピクチャごとに、そのピクチャのピクチャタイプＰｔとして、例えば、Ｉピクチャ、Ｐピクチャ、ＢピクチャおよびＳｋｉｐｐｅｄピクチャなどの何れかのタイプを決定する。

減算部２０３は、画像信号Ｖｉｎと予測画像を取得して、それらの差分値を計算し、直交変換部２０４に出力する。直交変換部２０４は、差分値を周波数係数に変換して量子化部２０５に出力する。量子化部２０５は、直交変換部２０４から出力された周波数係数を量子化し、量子化値Ｑｃを可変長符号化部２１１に出力する。

逆量子化部２０６は、量子化値Ｑｃを逆量子化して周波数係数に復元し、逆直交変換部２０７に出力する。逆直交変換部２０７は、周波数係数を差分値に逆周波数変換して加算部２０８に出力する。加算部２０８は、差分値と動き補償部２０２から出力される予測画像とを加算して復号画像を生成する。スイッチ２１０は、当該復号画像の保存が指示された場合にＯＮになり、その復号画像はピクチャメモリ２０９に保存される。

情報作成部２１３は、予測構造決定部２１２で決定されたピクチャタイプＰｔに従って、図９Ａ〜図９Ｄの何れかに示すようなＲＡＵマップＭＩを作成して可変長符号化部２１１に出力する。

可変長符号化部２１１は、量子化値Ｑｃ、ピクチャタイプＰｔ、ＲＡＵマップＭＩおよび動きベクトルＭＶなどを可変長符号化して、ストリームＳＴＲを生成する。

このように本実施の形態における画像符号化装置２００は、情報作成部２１３を備える点において、従来の画像符号化装置８００と異なる。

図１８は、本実施の形態に係る画像符号化装置２００の符号化の動作を示すフローチャートである。

まず、画像符号化装置２００は、予測構造決定部２１２において、符号化対象のピクチャがＲＡＵの先頭ピクチャであるかどうかを判定する（ステップＳ２００）。ここで、ＲＡＵの先頭ピクチャであると判定したときには（ステップＳ２００のＹＥＳ）、画像符号化装置２００は、可変長符号化部２１１において、当該ＲＡＵマップＭＩを作成するための初期化処理を行うとともに、ＲＡＵマップＭＩを格納するための領域をエントリ・ポイント・レイヤのユーザーデータ内に確保する（ステップＳ２０２）。

さらに、画像符号化装置２００は、予測構造決定部２１２において、符号化対象のピクチャをＳｋｉｐｐｅｄピクチャとすべきか否かを判別する（ステップＳ２０４）。ここで、Ｓｋｉｐｐｅｄピクチャとすべきでないと判別したときには（ステップＳ２０４のＮＯ）、画像符号化装置２００は、その符号化対象のピクチャの画素データを符号化する（ステップＳ２０６）。

そして、画像符号化装置２００は、情報作成部２１３において、ステップＳ２０４の判別結果に基づいてＲＡＵマップＭＩの生成および更新を行なう（ステップＳ２０８）。

例えば、画像符号化装置２００は、ステップＳ２０６において符号化されたピクチャのピクチャタイプと、そのピクチャがフィールド構造であるかフレーム構造であるかを示す情報などとがＲＡＵマップＭＩに含まれるように、図９Ｄに示すようなＲＡＵマップＭＩを生成する。または、画像符号化装置２００は、明示的な静止区間がＲＡＵマップＭＩに含まれるように、図９Ｃに示すようなＲＡＵマップＭＩを生成する。

次に、画像符号化装置２００は、ステップＳ２０４において判別の対象とされたピクチャがＲＡＵの最終ピクチャであるかどうかを判定する（ステップＳ２１０）。即ち画像符号化装置２００は、ＲＡＵに属する全てのピクチャに対する処理が完了したか否かを判別する。ここで、最終ピクチャであると判定したときには（ステップＳ２１０のＹＥＳ）、画像符号化装置２００は、可変長符号化部２１１において、ＲＡＵマップＭＩを確定して符号化し、ステップＳ２０２において確保された領域にＲＡＵマップＭＩを書き込む（ステップＳ２１２）。

そして、画像符号化装置２００は、ストリームＳＴＲに含まれるピクチャのうち未処理のピクチャがあるか否かを判別する（ステップＳ２１４）。ここで、未処理のピクチャがあると判別したときには（ステップＳ２１４のＹＥＳ）、画像符号化装置２００は、ステップＳ２００からの処理を繰り返し実行し、未処理のピクチャがないと判別したときには（ステップＳ２１４のＮＯ）、画像符号化装置２００は、全ての符号化処理を終了する。

なお、ＲＡＵマップＭＩの情報が既知でない場合や、ＲＡＵを構成するピクチャのデータをバッファリングするのに十分なバッファメモリを備える場合などでは、ステップＳ２０２の処理を省略してもよい。この場合には、ステップＳ２１２においてＲＡＵマップＭＩの格納領域を確保して、エントリ・ポイント・レイヤのユーザーデータにＲＡＵマップＭＩを格納する。

また、画像符号化装置２００は、Ｓｋｉｐｐｅｄピクチャを含むストリームＳＴＲを固定ビットレートで生成してもよい。Ｓｋｉｐｐｅｄピクチャでは、１ピクチャの符号量が１バイト程度となるため、画像信号Ｖｉｎを固定ビットレートで符号化する際にはパディング用のデータを挿入してストリームＳＴＲのサイズを調節する必要がある。ここで、パディング用のデータは、Ｓｋｉｐｐｅｄピクチャにおいてのみ挿入してもよい。こうすることで、ピクチャ内のスライスデータ間に挿入されたパディング用データの処理にかかる復号時の遅延時間をなくすことができる。

また、シーケンスレイヤ、およびエントリ・ポイント・レイヤの情報は、特殊再生時などに最初に読み込まれる必要があり、データサイズをなるべく小さくすることが望ましい。従って、シーケンスレイヤとエントリ・ポイント・レイヤの間にはパディング用のデータを挿入しないことにしてもよい。

また、本実施の形態における符号化方法により生成されたストリームＳＴＲを、オーディオデータなどと多重化して記録してもよい。多重化方式としては、ＭＰＥＧ−２のトランスポートストリーム、あるいはＢＤ（Blu-ray Disc）などパッケージメディア毎に規定された方式などがある。

また、シンプル・プロファイルとメイン・プロファイルでは、ピクチャレイヤのピクチャタイプにおいてＳｋｉｐｐｅｄピクチャであることを示すことはできない。

そこで、本実施の形態における画像符号化装置２００は、各ピクチャのピクチャレイヤにおけるピクチャタイプがＩピクチャ、Ｐピクチャ、Ｂピクチャ、あるいはＢＩであっても、ピクチャのサイズからそのピクチャがＳｋｉｐｐｅｄピクチャであるかどうか判定し、Ｓｋｉｐｐｅｄピクチャである際には、そのことが示されるようにＲＡＵマップＭＩを生成してもよい。即ち、画像符号化装置２００により生成されるストリームＳＴＲのＲＡＵマップＭＩには、シンプル・プロファイルやメイン・プロファイルであっても、Ｓｋｉｐｐｅｄピクチャを含む各ピクチャのピクチャタイプが示される。

同様に、メイン・プロファイルにおいてはピクチャレイヤのピクチャタイプからはＢピクチャとＢＩピクチャとを区別することができない。

そこで、本実施の形態における画像符号化装置２００は、予測構造決定部２１２においてＢピクチャとＢＩピクチャとを区別して決定されるピクチャタイプＰｔに基づいて、ＲＡＵに含まれる各ピクチャのピクチャタイプを示すＲＡＵマップＭＩを生成する。即ち、画像符号化装置２００により生成されるストリームＳＴＲのＲＡＵマップＭＩには、メイン・プロファイルであっても、各ピクチャのピクチャタイプがＢピクチャとＢＩピクチャとを区別して示される。ＢＩピクチャは、Ｂピクチャとは異なり単独で復号化できるため、両者が区別できると特殊再生時に復号化して再生されるピクチャの選択の自由度が高まる。

なお、シーケンスレイヤのシンタックスが存在する際には、例えば、エントリ・ポイント・レイヤにはシーケンスレイヤを必ず付加するなどとして、シーケンスレイヤも含めてＲＡＵとしてもよい。また、エントリ・ポイント・レイヤのユーザーデータには、ＲＡＵマップＭＩ以外の情報を含めてもよい。

また、特殊再生時には、復号化すべきピクチャを特定するとともに、復号化すべきピクチャに効率よくアクセスすることが重要となる。従って、ＲＡＵマップＭＩにおいて、各ピクチャのアドレス情報を示してもよい。ここで、アドレス情報は、ＲＡＵ先頭からのバイト位置であってもよいし、ＭＰＥＧ−２システムのトランスポート・ストリーム・パケットなどにより符号化データがパケット化される際に、各ピクチャが格納されるパケットを特定するための情報であってもよい。なお、アドレス情報は全てのピクチャに付加せずに、Ｉピクチャ、あるいはＰピクチャなど特殊再生時に復号化されるピクチャにのみ付加してもよい。

（変形例）
ここで、本実施の形態におけるＳｋｉｐｐｅｄピクチャについての変形例を説明する。

上記実施の形態では、Ｓｋｉｐｐｅｄピクチャを、復号順で直前の参照ピクチャと同一の画素データを持つＰピクチャとして生成した。したがって、ＳｋｉｐｐｅｄピクチャをＢピクチャの代わりに用いることができない。

そこで本変形例では、Ｓｋｉｐｐｅｄピクチャを、他のピクチャから参照されないＢピクチャでかつ、表示順で直前の参照ピクチャと同一の画素データをもつピクチャ（以後、Ｂ−ｓｋｉｐピクチャと呼ぶ）として生成する。即ち、本変形例では、Ｂ−ｓｋｉｐピクチャを新規に導入することで、ＭＰＥＧ−２などで一般的に使用される復号順（例えば、Ｉピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャ、Ｂピクチャ、Ｂピクチャ、…）により構成されるＧＯＰ構造を作成することができ、画像復号化装置においてＩＰ再生（ＩピクチャおよびＰピクチャのみを再生する特殊再生）を容易に実現できる。

図１９Ａおよび図１９Ｂは、Ｂ−ｓｋｉｐピクチャの使用例を示す図である。なお、これらの図中、「Ｉ２」、「Ｂ０」、「Ｐ５」および「Ｂ−ｓｋｉｐ６」などの符号中、「Ｉ」、「Ｂ」、「Ｐ」および「Ｂ−ｓｋｉｐ」はそれぞれ各ピクチャのピクチャタイプを示し、そのピクチャタイプの後に付された番号は表示順を示す。また、図１９ＡはＲＡＵ内のピクチャを復号順で示し、図１９ＢはそのＲＡＵ内のピクチャを表示順で示す。ピクチャＢ−ｓｋｉｐ６とピクチャＢ−ｓｋｉｐ７は、表示順で直前の参照ピクチャであるピクチャＰ５のみを参照してピクチャＰ８を参照しない。本変形例に係る画像符号化装置２００は、この図１９Ａおよび図１９Ｂに示すＲＡＵを有するストリームＳＴＲを生成する。

ここで、ピクチャがＢ−ｓｋｉｐピクチャであるかどうかはＲＡＵマップＭＩのピクチャタイプにおいて示される。一方、ピクチャがＢ−ｓｋｉｐピクチャであっても、そのピクチャのピクチャレイヤに含まれるピクチャタイプあるいはフィールド・ピクチャタイプはＢピクチャである。したがって、このようなストリームＳＴＲは、従来のストリームと互換性を保つことができ、ＲＡＵマップＭＩを解釈できない従来の画像復号化装置でもそのＢ−ｓｋｉｐピクチャをＢピクチャとして扱い、特殊再生を行なうことができる。

なお、ピクチャレイヤにおいてもピクチャがＢ−ｓｋｉｐピクチャであるかどうかを示してもよい。また、Ｂ−ｓｋｉｐピクチャを、表示順で直後の参照ピクチャと同一の画素データを持つピクチャとして生成してもよい。このとき、Ｂ−ｓｋｉｐピクチャが表示順で直前あるいは直後のどちらの参照ピクチャを参照するかを、ＲＡＵマップＭＩに示してもよい。

（実施の形態３）
本実施の形態における画像復号化装置は、ＢＩピクチャに関するＲＡＵマップを参照して、オープンＧＯＰ型のＲＡＵにおいて、先頭Ｉピクチャの表示順で直前に１枚以上のＢＩピクチャが連続しているか否かを判別し、連続していると判別したときには、先頭のＢＩピクチャから復号化を開始する。

ここで、本実施の形態では、先頭Ｉピクチャとは、復号順でＲＡＵの先頭に配置されるピクチャであって、表示順でＲＡＵに配置されるＩピクチャのうちの最前の位置にあるピクチャである。また、リオーダリングピクチャとは、ＲＡＵ内において復号順で先頭Ｉピクチャよりも後にあり、表示順で先頭Ｉピクチャよりも前にあるピクチャである。また、ＢＩピクチャとは、ＢピクチャとＩピクチャの性質を併せ持つピクチャである（つまり、IピクチャあるいはＰピクチャとの間で順序の並び替えが発生する）。具体的には、ＢＩピクチャは、復号順でＩピクチャまたはＰピクチャよりも後にあって、表示順でＩピクチャまたはＰピクチャの前にあり、他のピクチャから参照されないという点で、Ｂピクチャの性質をもつ。また、ＢＩピクチャは、全てのマクロブロックが画面内符号化されており、他のピクチャを参照しないという点でＩピクチャの性質をもつ。そして、アドバンスト・プロファイルなどでは、ストリームＳＴＲ中のＢＩピクチャのピクチャレイアに、そのレイアのピクチャがＢＩピクチャであることを示すピクチャタイプを含めることができる。

以下、本実施の形態について詳細に説明する。
ＶＣ−１のＲＡＵには、ＭＰＥＧ−２と同様、オープンＧＯＰ型のＲＡＵとクローズドＧＯＰ型のＲＡＵとがある。オープンＧＯＰ型のＲＡＵとは、そのＲＡＵ内のピクチャが復号順で直前のＲＡＵのピクチャを参照する可能性のあるＲＡＵである。一方、クローズドＧＯＰ型のＲＡＵとは、そのＲＡＵ内のピクチャが当該ＲＡＵ内の他のピクチャのみを参照するＲＡＵである。なお、ＲＡＵがオープンＧＯＰ型であるかクローズドＧＯＰ型であるかは、エントリ・ポイント・ヘッダのフラグ、またはストリーム外の特殊再生用のデータベースにより識別できる。

ここで、オープンＧＯＰ型のＲＡＵの先頭から飛び込み再生を開始する場合に、復号順でそのＲＡＵの先頭ピクチャ（Ｉピクチャ）よりも後に、且つ表示順でその先頭ピクチャ（Ｉピクチャ）よりも前にＢピクチャがあると、直前のＲＡＵ内のピクチャを参照することができないため、そのＢピクチャを復号化できないことがある。従って、このＢピクチャは飛び込み再生時には復号化されない。

一方、オープンＧＯＰ型のＲＡＵの先頭から飛び込み再生を開始する場合であっても、復号順でそのＲＡＵの先頭ピクチャ（Ｉピクチャ）よりも後に、且つ表示順で先頭ピクチャ（Ｉピクチャ）よりも前にＢＩピクチャがあるときには、ＢＩピクチャは単独で復号可能なピクチャであるため、このＢＩピクチャから再生を開始することができる。

以下、オープンＧＯＰ型のＲＡＵにおいて、表示順が先頭Ｉピクチャよりも前であるピクチャとしてＢＩピクチャを配置する例について詳しく説明する。

図２０Ａは、ＢＩピクチャに基づく飛び込み再生を説明するための説明図である。
例えば、本実施の形態における画像復号化装置は、図２０Ａに示すように、各ＲＡＵの表示順で先頭のＩピクチャのみを復号化して表示することにより高速再生した後に、通常再生を行なう。即ち、画像復号化装置は、図２０Ａの１番目から９番目までのＲＡＵでは、先頭のＩピクチャのみを復号化して高速再生し、１０番目のＲＡＵから通常再生を行なう。

このとき、１０番目のＲＡＵがオープンＧＯＰ型のＲＡＵであっても、画像復号化装置は、復号順で先頭のＩピクチャよりも表示順で前にあるピクチャがＢＩピクチャであるため、１０番目のＲＡＵの先頭ピクチャ（即ち、表示順で先頭のＢＩピクチャ）から再生を開始することができる。

このように、オープンＧＯＰ型のＲＡＵにおいて先頭Ｉピクチャよりも前に表示されるリオーダリングピクチャをＢＩピクチャとすることで、再生モードを高速再生から通常再生へスムーズに移行することができる。

図２０Ｂは、ＢＩピクチャに基づく他の飛び込み再生を説明するための説明図である。
例えば、図２０Ｂに示すように、ＲＡＵ内には、表示順で先頭Ｉピクチャの前に、ＢピクチャとＢＩピクチャとが順に配置されている。

このとき、画像復号化装置は、Ｂピクチャが直前のＲＡＵ内のピクチャを参照していて特殊再生時（即ち、飛び込み再生時など）にはそのＢピクチャを復号化できないことがあるため、ＢＩピクチャから表示を開始すると決定できる。

図２０Ｃは、ＢＩピクチャに基づくさらに他の飛び込み再生を説明するための説明図である。

例えば、図２０Ｃに示すように、ＲＡＵ内には、表示順で先頭Ｉピクチャの前に、ＢＩピクチャとＢピクチャとが順に配置されている。

このとき、ＢＩピクチャを復号化できることは保証されているが、次のＢピクチャを復号化できないことがある。したがって、画像復号化装置は、ＲＡＵ内において、表示順で先頭のＢＩピクチャと先頭Ｉピクチャの間にＢピクチャが含まれる際には、Ｉピクチャから表示を開始すると決定できる。

本実施の形態における画像復号化装置では、上述のような特殊再生をスムーズに行なうため、ＲＡＵマップＭＩａを参照する。このＲＡＵマップＭＩａは、実施の形態１の図８に示すように、ＲＡＵ内のユーザーデータに含まれている。

また、本実施の形態におけるＲＡＵマップＭＩａのシンタックスは、実施の形態１の図９Ｄに示すシンタックスと同様に構成されている。即ち、このＲＡＵマップＭＩａは、number_of_pictures_in_EPSと、picture_structureと、picture_typeとを含んでいる。そして、picture_typeは、ＲＡＵに含まれる復号順のピクチャごとに、そのピクチャがＩピクチャ、Ｐピクチャ、ＢピクチャおよびＢＩピクチャなどのうちの何れのピクチャタイプに属するかを示す。

つまり、本実施の形態におけるＲＡＵマップＭＩａは、ＲＡＵに含まれるピクチャごとに、復号順で、そのピクチャのピクチャタイプを示すことにより、表示順が先頭Ｉピクチャの直前で、１つまたは連続する複数のＢＩピクチャがあるか否かを示している。

したがって、本実施の形態における画像復号化装置は、オープンＧＯＰ型のＲＡＵを飛び込み再生するときには、そのＲＡＵに含まれるＲＡＵマップＭＩａを参照することにより、何れのピクチャから再生を開始すべきかを容易に判断することができる。その結果、本実施の形態における画像復号化装置は、図２０Ａ〜図２０Ｃに示すような飛込み再生を迅速に行なうことができる。

なお、本実施の形態では、図９Ｄに示すように、ＲＡＵマップＭＩａに、ピクチャの復号順で各ピクチャのピクチャタイプを格納したが、ピクチャの表示順で各ピクチャのピクチャタイプを格納してもよい。さらに、そのＲＡＵマップＭＩａに、各ピクチャのピクチャタイプなどの情報が、復号順および表示順のいずれの順番で格納されているかを示す情報を格納してもよい。

図２１は、本実施の形態におけるＲＡＵマップＭＩａのシンタックスの他の例を示す図である。

このＲＡＵマップＭＩａのシンタックスは、independent_decodable_flagにより、ＲＡＵ内においてＢＩピクチャが表示順で先頭Ｉピクチャの直前にあるか否かを示す。さらに、このシンタックスは、independent_decodable_flagが１を示すとき、即ち、ＢＩピクチャが表示順で先頭Ｉピクチャの直前にあるときには、num_decodable_picturesにより、その直前で連続するＢＩピクチャの枚数を示す。

したがって、本実施の形態における画像復号化装置は、オープンＧＯＰ型のＲＡＵを飛び込み再生するときには、そのＲＡＵに含まれるＲＡＵマップＭＩａを参照する。そして、画像復号化装置は、ＲＡＵマップＭＩａに含まれるindependent_decodable_flagが１を示すか０を示すかを判別する。１を示すと判別したときには、画像復号化装置は、さらに、ＲＡＵマップＭＩａに含まれるnum_decodable_picturesの示す枚数を連続枚数として特定し、表示順で先頭Ｉピクチャよりも連続枚数だけ前のＢＩピクチャから再生を行なう。つまり、画像符号化装置は、先頭Ｉピクチャの直前にＢＩピクチャが１枚だけあるときには、そのＢＩピクチャから再生を行い、先頭Ｉピクチャの直前に複数の連続するＢＩピクチャがあるときには、その複数の連続するＢＩピクチャのうち先頭のＢＩピクチャから再生を行なう。

なお、ＲＡＵマップＭＩａは、ＲＡＵの先頭にあるピクチャのユーザーデータに格納するなど、エントリ・ポイント・レイヤとは異なるレイヤのユーザーデータに含めてもよい。また、ＲＡＵ内にＢＩピクチャが存在しない場合には、ＲＡＵマップＭＩａを作成しないことにしてもよい。このとき、ＲＡＵマップＭＩａの有無により、ＲＡＵ内にＢＩピクチャが先頭Ｉピクチャの直前に存在するかどうかを示すことができる。

図２２は、本実施の形態における画像復号化装置１００のブロック図である。
本実施の形態における画像復号化装置３００は、可変長復号部３０１と、ピクチャメモリ３０２と、動き補償部３０３と、逆量子化部３０４と、逆直交変換部３０５と、バッファメモリ３０６と、表示部３０７と、加算部３０８と、ストリーム抽出部３０９と、ＢＩ情報取得部３１０とを備えている。

この画像復号化装置３００は、ストリーム抽出部３０９とＢＩ情報取得部３１０とを備える点において、従来の画像復号化装置９００と異なる。

ＢＩ情報取得部３１０は、可変長復号部３０１から、復号化対象ＲＡＵがオープンＧＯＰ型かクローズドＧＯＰ型かを示すグループタイプ情報ＧＴを取得して、そのグループタイプ情報ＧＴがオープンＧＯＰを示すときには、さらに、その復号化対象ＲＡＵのＲＡＵマップＭＩａを可変長復号部３０１から取得する。さらに、ＢＩ情報取得部３１０は、飛び込み再生などの特殊再生の内容を指示する再生モード信号ＴＭを外部から取得する。そして、ＢＩ情報取得部３１０は、再生モード信号ＴＭに基づいてＲＡＵマップＭＩａおよびグループタイプ情報ＧＴを解析し、復号化および表示が必要なピクチャを決定（選択）する。

例えば、復号化対象ＲＡＵのグループタイプ情報ＧＴがクローズドＧＯＰ型を示す場合、ＢＩ情報取得部３１０は、その復号化対象ＲＡＵ内の全てのピクチャを、復号化および表示が必要なピクチャとして決定する。

一方、復号化対象ＲＡＵのグループタイプ情報ＧＴがオープンＧＯＰ型を示す場合、ＢＩ情報取得部３１０は、ＲＡＵマップＭＩａに基づいて、復号化および表示が必要なピクチャを決定する。

例えば、ＲＡＵマップＭＩａが図２１に示すシンタックスにより構成されている場合、ＢＩ情報取得部３１０は、independent_decodable_flagに基づいて、再生対象となるＲＡＵ内に、先頭Ｉピクチャの表示順で直前に、１つまたは連続する複数のＢＩピクチャがあるか否かを判別する。そして、ＢＩ情報取得部３１０は、そのようなＢＩピクチャがあると判別したときには、num_decodable_picturesに基づいて再生開始位置、つまりそのＲＡＵ内において表示順で先頭のＢＩピクチャを特定する。また、ＢＩ情報取得部３１０は、そのようなＢＩピクチャがないと判別したときには、そのＲＡＵ内における先頭Ｉピクチャを再生開始位置として特定する。

また、ＲＡＵマップＭＩａが図９Ｄに示すシンタックスにより構成されている場合、ＢＩ情報取得部３１０は、ＲＡＵ内のピクチャごとに示されるpicture_typeに基づいて、再生対象となるＲＡＵ内で、先頭Ｉピクチャの表示順で直前に、１つまたは連続する複数のＢＩピクチャがあるか否かを判別する。そして、ＢＩ情報取得部３１０は、そのようなＢＩピクチャがあると判別したときには、そのＲＡＵ内において表示順で先頭のＢＩピクチャを再生開始位置として特定する。また、ＢＩ情報取得部３１０は、そのようなＢＩピクチャがないと判別したときには、そのＲＡＵ内における先頭Ｉピクチャを再生開始位置として特定する。

このように再生開始位置を特定すると、ＢＩ情報取得部３１０は、再生モード信号ＴＭによって示される飛込み再生先のＲＡＵ内のピクチャのうち、表示順でその再生開始位置からのピクチャを、復号化および表示すべきピクチャとして決定する。

そして、ＢＩ情報取得部３１０は、上述のように決定された結果を示す復号ピクチャ指示信号ＳＰをストリーム抽出部３０９に出力する。

ストリーム抽出部３０９は、ストリームＳＴＲを取得すると、ＲＡＵごとに、まず、そのＲＡＵの先頭にある符号化されたエントリ・ポイント・ヘッダとＲＡＵマップＭＩａを検出して可変長復号部３０１に出力する。そして、ストリーム抽出部３０９は、そのＲＡＵマップＭＩａに基づいてＢＩ情報取得部３１０から出力された復号ピクチャ指示信号ＳＰを取得すると、その復号ピクチャ指示信号ＳＰの示す、復号化および表示が必要なピクチャのデータを、ストリームＳＴＲから抽出して可変長復号部３０１に出力する。

可変長復号部３０１は、ストリーム抽出部３０９から符号化されたエントリ・ポイント・ヘッダおよびＲＡＵマップＭＩａを取得したときには、その符号化されたエントリ・ポイント・ヘッダおよびＲＡＵマップＭＩａに対して可変長復号化を行う。そして、可変長復号部３０１は、復号化されたエントリ・ポイント・ヘッダに含まれているグループタイプ情報ＧＴをＢＩ情報取得部３１０に出力する。さらに、可変長復号部３０１は、ＢＩ情報取得部３１０からの要求に応じて、復号化されたＲＡＵマップＭＩａをそのＢＩ情報取得部３１０に出力する。また、可変長復号部３０１は、ストリームＳＴＲに含まれるピクチャのデータをストリーム抽出部３０９から取得したときには、そのデータに対して可変長復号化を行い、量子化値Ｑｃ、参照ピクチャの特定情報Ｉｎｄ、ピクチャタイプＰｔおよび動きベクトルＭＶを出力する。

動き補償部３０３は、ピクチャメモリ３０２に格納され、参照ピクチャの特定情報Ｉｎｄにより示される復号画像（参照ピクチャ）から、動きベクトルＭＶによって指示される画像領域を取り出して予測画像として加算部３０８に出力する。

逆量子化部３０４は、量子化値Ｑｃを逆量子化して周波数係数に復元し、逆直交変換部３０５に出力する。逆直交変換部３０５は、周波数係数を画素差分値に逆周波数変換して加算部３０８に出力する。加算部３０８は、画素差分値と動き補償部３０３から出力される予測画像とを加算して復号画像Ｖｏｕｔを生成する。そして、加算部３０８は、その復号画像Ｖｏｕｔをピクチャメモリ３０２およびバッファメモリ３０６に格納する。表示部３０７は、バッファメモリ３０６から復号画像Ｖｏｕｔを取得して、その復号画像Ｖｏｕｔに応じた画像を表示する。なお、ピクチャメモリ３０２とバッファメモリ３０６を１つのメモリで構成してもよい。

なお、ストリーム抽出部３０９は、再生モード信号ＴＭやＲＡＵマップＭＩａ、グループタイプ情報ＧＴに関わらず、ＲＡＵに含まれる全てのピクチャのデータを可変長復号部３０１に出力してもよい。この場合には、可変長復号部３０１は、ＢＩ情報取得部３１０から出力された復号ピクチャ指示信号ＳＰに基づいて、ＲＡＵに含まれる全てのピクチャの中から、復号化および表示が必要なピクチャを選択する。そして、可変長復号部３０１は、その選択したピクチャのデータに対して可変長復号化を行う。なお、ＢＩ情報取得部３１０により復号化するピクチャを決定するのは飛び込み再生や逆再生、高速再生からの復帰などの特殊再生時のみとして、通常再生時にはＲＡＵマップＭＩａなどの解析処理を行わずに全てのピクチャを復号化および表示すると決定してもよい。特に、本実施の形態で述べたような特殊再生から通常再生に変わる場合に、通常再生が開始される最初のＲＡＵにおけるＲＡＵマップＭＩａを解析すれば十分である。

図２３は、本実施の形態に係る画像復号化装置３００の動作を示すフローチャートである。

まず、画像復号化装置３００は、復号化対象ＲＡＵのエントリ・ポイント・ヘッダに含まれるグループタイプ情報ＧＴに基づいて、復号化対象ＲＡＵがオープンＧＯＰ型か否かを判別する（ステップＳ３００）。

ここで、オープンＧＯＰ型であると判別したときには（ステップＳ３００のＹＥＳ）、画像復号化装置３００は、復号化対象ＲＡＵに含まれるＲＡＵマップＭＩａを取得する（ステップＳ３０２）。

そして、画像復号化装置３００は、そのＲＡＵマップＭＩａに基づいて、復号化対象ＲＡＵ内において、表示順で先頭Ｉピクチャの直前に１つまたは連続する複数のＢＩピクチャがあるか否かを判別する（ステップＳ３０４）。

ＢＩピクチャがあると判別したときには（ステップＳ３０４のＹＥＳ）、画像復号化装置３００は、復号化対象ＲＡＵに含まれるピクチャのうち、先頭Ｉピクチャの表示順の直前で１枚以上連続するＢＩピクチャの先頭から表示順で配列される各ピクチャを、復号化および表示すべきピクチャとして決定する（ステップＳ３０６）。つまり、画像復号化装置３００は、先頭Ｉピクチャの表示順の直前にＢＩピクチャが連続することなく１つだけあるときには、そのＢＩピクチャから表示順で配列される各ピクチャを、復号化すべきピクチャとして決定する。そして、画像復号化装置３００は、先頭Ｉピクチャの表示順の直前で連続する複数のＢＩピクチャがあるときには、その連続する複数のＢＩピクチャのうち先頭のＢＩピクチャから表示順で配列される各ピクチャを、復号化すべきピクチャとして決定する。

一方、ＢＩピクチャがないと判別したときには（ステップＳ３０８のＮＯ）、画像復号化装置３００は、復号化対象ＲＡＵに含まれるピクチャのうち、先頭Ｉピクチャから表示順で配列される各ピクチャを、復号化および表示すべきピクチャとして決定する（ステップＳ３０８）。

また、ステップＳ３００で復号化対象ＲＡＵがクローズドＧＯＰ型であると判別したときには（ステップＳ３００ＮＯ）、画像復号化装置３００は、上述と同様、復号化対象ＲＡＵに含まれるピクチャのうち、先頭Ｉピクチャから表示順で配列される各ピクチャを、復号化および表示すべきピクチャとして決定する（ステップＳ３０８）。この場合、画像復号化装置３００は、復号化対象ＲＡＵに含まれる全てのピクチャを、復号化および表示すべきピクチャとして決定する。

そして、画像復号化装置３００は、ステップＳ３０６，Ｓ３０８で決定したピクチャを復号化する（ステップＳ３１０）。

なお、ステップＳ３００におけるオープンＧＯＰ型であるかどうかの判定処理を行わずに、ステップＳ３０２から開始して、常にＲＡＵマップの解析結果に基づいて復号するピクチャを決定してもよい。

このように本実施の形態では、画像復号化装置３００は、ＲＡＵから飛び込み再生などの特殊再生を行なう場合、ＲＡＵマップＭＩａを参照することにより、そのＲＡＵにおいて、復号順で先頭のピクチャである先頭Ｉピクチャの表示順の直前に、独立ピクチャたるＢＩピクチャがあるか否かを容易に特定することができる。その結果、画像復号化装置３００は、ＢＩピクチャが直前にないときには、そのＲＡＵに含まるピクチャのうち、先頭Ｉピクチャから表示順に配列するピクチャを、復号化すべきピクチャとして迅速に抽出することができる。また、画像復号化装置は、ＢＩピクチャが直前にあるときには、そのＲＡＵに含まるピクチャのうち、そのＢＩピクチャも、復号化すべきピクチャとして迅速に抽出することができる。

したがって、本実施の形態における画像復号化装置３００は、従来のように、ＲＡＵに含まれる複数のピクチャレイアを１つずつわざわざ解析して、復号化されるピクチャを決定するためにピクチャがＢピクチャであるかＢＩピクチャであるかを判別する必要がなく、復号化処理の負担を軽減することができる。さらに、ＢＩピクチャが先頭Ｉピクチャの表示順で直前にあるときには、そのＢＩピクチャを容易に復号化して表示することができるため、ＢＩピクチャを有効に使用することができる。

なお、本実施の形態では、先頭Ｉピクチャよりも前に表示されるピクチャがＢＩピクチャであるかどうかをＲＡＵマップＭＩａにより示したが、ＲＡＵマップＭＩａ以外の方法により示してもよい。例えば、エントリ・ポイント・レイヤのフラグ情報や、管理情報におけるタイムマップ、あるいは、ＶＣ−１ストリームのユーザーデータを使うことができる。

（変形例）
ここで、本実施の形態における画像復号化装置３００の変形例について説明する。

本変形例に係る画像復号化装置３００では、ＢＩピクチャを用いることで、さらに、特殊再生の機能性を向上することができる。

図２４は、本変形例に係る画像復号化装置３００の動作を説明するための説明図である。

例えば、ストリームには、図２４に示すように、表示順でＩピクチャとＰピクチャの間、あるいは２つのＰピクチャの間には、２枚のＢピクチャと１枚のＢＩピクチャがある。

この場合、本変形例に係る画像復号化装置３００は、図２４の（１）に示すように、ＩピクチャとＰピクチャのみを復号化して再生することで、４倍速再生を行なうことができる。さらに、本変形例に係る画像復号化装置３００は、図２４の（２）に示すように、ＩピクチャとＰピクチャに加えてＢＩピクチャを復号化して再生することで、２倍速再生を行なうこともできる。

このように、本変形例に係る画像復号化装置３００では、ストリーム内にＢＩピクチャが周期的に配置されていれば、そのストリームに対する特殊再生の機能性を向上することができる。

さらに、本変形例に係る画像復号化装置３００は、例えば図９Ｄに示すようなシンタックスを有するＲＡＵマップＭＩａを参照することにより、復号化対象ＲＡＵ内において復号順あるいは表示順で何番目のピクチャがＢＩピクチャであるかを特定することができる。さらに、画像復号化装置３００は、何番目のピクチャがＩピクチャであって何番目のピクチャがＰピクチャであるかを特定することができる。即ち、本変形例に係る画像復号化装置３００は、ＲＡＵマップＭＩａなどを参照することにより、特殊再生時に復号化および表示するピクチャを迅速に決定することができる。

なお、ＲＡＵにおいて、先頭Ｉピクチャよりも前に表示されるＢピクチャが存在しても、当該Ｂピクチャが直前ＲＡＵのピクチャを参照しない場合には、ＲＡＵマップ、あるいはエントリ・ポイントレベルのフラグなどにより、そのＲＡＵがクローズドＧＯＰ型のＲＡＵであることを示してもよい。

また、上記実施の形態３および本変形例では、ＶＣ−１のストリームの各ＲＡＵにＲＡＵマップＭＩａを含め、画像復号化装置３００はそのストリームに対して復号化を行ったが、ＲＡＵマップＭＩａが含まれていれば、そのストリームの符号化方式は、ＭＰＥＧ−４ ＡＶＣやＭＰＥＧ−２などＶＣ−１以外の符号化方式であってもよい。この場合、ＶＣ−１のＢＩピクチャは、全てのマクロブロックが画面内符号化されるＢピクチャに対応する。

（実施の形態４）
図２５は、本実施の形態における画像符号化装置のブロック図である。

本実施の形態における画像符号化装置４００は、動き検出部４０１と、動き補償部４０２と、減算部４０３と、直交変換部４０４と、量子化部４０５と、逆量子化部４０６と、逆直交変換部４０７と、加算部４０８と、ピクチャメモリ４０９と、スイッチ４１０と、可変長符号化部４１１と、予測構造決定部４１２と、ＢＩ情報作成部４１３とを備えている。

動き検出部４０１は、画像信号Ｖｉｎをマクロブロック単位で取得する。そして、動き検出部４０１は、ピクチャメモリ４０９に格納されている復号画像（参照ピクチャ）を探索対象とし、最も画像信号Ｖｉｎの示すマクロブロックに近い画像を有する画像領域を検出する。動き検出部４０１は、その画像領域の位置を指し示す動きベクトルＭＶを決定して出力する。また、動き検出部４０１は、動きベクトルＭＶの検出に使用された復号画像を示す参照ピクチャの特定情報Ｉｎｄを出力する。

動き補償部４０２は、ピクチャメモリ４０９に格納され、参照ピクチャの特定情報Ｉｎｄにより示される復号画像から、動きベクトルＭＶにより示される画像領域を復号画像から取り出して予測画像として出力する。

予測構造決定部４１２は、ＲＡＵ開始ピクチャＵｉｎによって、符号化の対象ピクチャがＲＡＵの開始位置にあれば、その対象ピクチャをランダムアクセスが可能な特別なピクチャとして符号化（画面内符号化）するように、ピクチャタイプＰｔで動き検出部４０１および動き補償部４０２に指示し、更にそのピクチャタイプＰｔを可変長符号化部４１１に符号化させる。即ち、予測構造決定部４１２は、画像信号Ｖｉｎに含まれる符号化対象ピクチャごとに、そのピクチャのピクチャタイプＰｔとして、例えば、Ｉピクチャ、Ｐピクチャ、ＢピクチャおよびＢＩピクチャなどの何れかのタイプを決定する。

また、予測構造決定部４１２は、符号化対象ＲＡＵのグループタイプ情報ＧＴ、即ちオープンＧＯＰ型またはクローズドＧＯＰ型を決定し、そのグループタイプ情報ＧＴを可変長符号化部４１１に符号化させる。

減算部４０３は、画像信号Ｖｉｎと予測画像を取得して、それらの差分値を計算し、直交変換部４０４に出力する。直交変換部４０４は、差分値を周波数係数に変換して量子化部４０５に出力する。量子化部４０５は、直交変換部４０４から出力された周波数係数を量子化し、量子化値Ｑｃを可変長符号化部４１１に出力する。

逆量子化部４０６は、量子化値Ｑｃを逆量子化して周波数係数に復元し、逆直交変換部４０７に出力する。逆直交変換部４０７は、周波数係数を差分値に逆周波数変換して加算部４０８に出力する。加算部４０８は、差分値と動き補償部４０２から出力される予測画像とを加算して復号画像を生成する。スイッチ４１０は、当該復号画像の保存が指示された場合にＯＮになり、その復号画像はピクチャメモリ４０９に保存される。

ＢＩ情報作成部４１３は、予測構造決定部４１２で決定されたピクチャタイプＰｔに従って、図９Ｄおよび図２１の何れかに示すようなシンタックスを有するＲＡＵマップＭＩａを作成して可変長符号化部４１１に出力する。

可変長符号化部４１１は、量子化値Ｑｃ、ピクチャタイプＰｔ、ＲＡＵマップＭＩａおよび動きベクトルＭＶなどを可変長符号化して、ストリームＳＴＲを生成する。つまり、可変長符号化部４１１は、ＢＩ情報作成部４１３で生成されたＲＡＵマップＭＩａを、図８に示すように、何れのピクチャよりも前にあるユーザーデータに書き込む。また、可変長符号化部４１１は、グループタイプ情報ＧＰを可変長符号化して、ＲＡＵのエントリ・ポイント・ヘッダにその可変長符号化されたグループタイプ情報ＧＰを含める。

このように本実施の形態における画像符号化装置４００は、ＢＩ情報作成部４１３を備える点において、従来の画像符号化装置８００と異なる。

図２６は、本実施の形態に係る画像符号化装置４００の符号化の動作を示すフローチャートである。

まず、画像符号化装置４００は、予測構造決定部４１２において、符号化対象のピクチャがＲＡＵの先頭ピクチャであるかどうかを判定する（ステップＳ４００）。ここで、ＲＡＵの先頭ピクチャであると判定したときには（ステップＳ４００のＹＥＳ）、画像符号化装置４００は、可変長符号化部４１１において、ＲＡＵマップＭＩａを作成するための初期化処理を行うとともに、ＲＡＵマップＭＩａを格納するための領域をエントリ・ポイント・レイヤのユーザーデータ内に確保する（ステップＳ４０２）。

さらに、画像符号化装置４００は、予測構造決定部４１２において、符号化対象のピクチャをＢＩピクチャとすべきか否かを判別する（ステップＳ４０４）。ここで、ＢＩピクチャとすべきと判別したときには（ステップＳ４０４のＹＥＳ）、画像符号化装置４００は、その符号化対象のピクチャをＢＩピクチャとして符号化する（ステップＳ４０６）。つまり、画像符号化装置４００は、符号化対象のＲＡＵが、そのＲＡＵの符号化に他のアクセス単位の参照が許可されているオープンＧＯＰ型のＲＡＵである場合に、符号化対象ピクチャを符号化することにより、ストリームＳＴＲのＲＡＵ内において、先頭Ｉピクチャよりも表示順で前に配置された、他のピクチャから独立して復号可能なＢＩピクチャを生成する。一方、ＢＩピクチャとすべきでないと判別したときには（ステップＳ４０４のＮＯ）、画像符号化装置４００は、その符号化対象のピクチャを他のピクチャタイプのピクチャとして符号化する（ステップＳ４０８）。

そして、画像符号化装置４００は、ＢＩ情報作成部４１３において、ステップＳ４０４の判別結果に基づいてＲＡＵマップＭＩａの生成および更新を行なう（ステップＳ４１０）。

例えば、画像符号化装置４００は、ステップＳ４０６，Ｓ４０８において符号化されたピクチャのピクチャタイプと、そのピクチャがフィールド構造であるかフレーム構造であるかを示す情報などとがＲＡＵマップＭＩａに含まれるように、図９Ｄに示すようなシンタックスを有するＲＡＵマップＭＩａを生成する。または、画像符号化装置４００は、先頭Ｉピクチャの表示順で直前に１つまたは連続する複数のＢＩピクチャがあるか否かを示すフラグと、そのＢＩピクチャの枚数とがＲＡＵマップに明示的に示されるように、図２１に示すようなＲＡＵマップＭＩａを生成する。図２１に示すようなＲＡＵマップＭＩａが生成される場合、ＲＡＵの先頭Ｉピクチャの符号化が決定された後、つまり、表示順で先頭Ｉピクチャよりも前にあって、復号順で先頭Ｉピクチャよりも後にある全てのＢＩピクチャの符号化が決定された後に、そのＲＡＵマップＭＩａが完成される。

次に、画像符号化装置４００は、ステップＳ４０４において判別の対象とされたピクチャがＲＡＵの最終ピクチャであるかどうかを判定する（ステップＳ４１２）。即ち画像符号化装置４００は、ＲＡＵに属する全てのピクチャに対する処理が完了したか否かを判別する。ここで、最終ピクチャであると判定したときには（ステップＳ４１２のＹＥＳ）、画像符号化装置４００は、可変長符号化部４１１において、ＲＡＵマップＭＩａを確定して符号化し、ステップＳ４０２において確保された領域にＲＡＵマップＭＩａを書き込む（ステップＳ４１４）。

そして、画像符号化装置４００は、ストリームＳＴＲに含まれるピクチャのうち未処理のピクチャがあるか否かを判別する（ステップＳ４１６）。ここで、未処理のピクチャがあると判別したときには（ステップＳ４１６のＹＥＳ）、画像符号化装置４００は、ステップＳ４００からの処理を繰り返し実行し、未処理のピクチャがないと判別したときには（ステップＳ４１６のＮＯ）、画像符号化装置４００は、全ての符号化処理を終了する。

なお、図２６の動作では、ＲＡＵマップの格納領域を予め確保したが、ＲＡＵのデータをバッファリングするのに十分なメモリを保持する場合などは、ＲＡＵマップのデータとピクチャデータとをそれぞれメモリに保持しておき、ＲＡＵマップ決定後に、それぞれのデータを書き込んでもよい。

（実施の形態５）
さらに、上記各実施の形態で示した画像符号化装置および画像復号化装置を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図２７Ａ、図２７Ｂおよび図２７Ｃは、上記各実施の形態の画像符号化装置および画像復号化装置による処理を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図２７Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスク本体を示す。図２７Ａは、記録媒体本体であるフレキシブルディスク本体の物理フォーマットの例を示している。フレキシブルディスク本体ＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスク本体ＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図２７Ｃは、フレキシブルディスク本体ＦＤに上記プログラムの記録再生を行うための構成を示す。画像符号化装置および画像復号化装置の処理を実現する上記プログラムをフレキシブルディスク本体ＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク内のプログラムにより、上記画像符号化装置および画像復号化装置による処理をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムＣｓに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

以上のように、本発明によれば、画像符号化装置がＲＡＵの先頭にＲＡＵマップを付加し、画像復号化装置がその付加されたＲＡＵマップを各ピクチャの復号前に参照するため、復号処理を削減することができ、特に、特殊再生機能が重視されるパッケージメディアの再生品質を向上することができる。したがって、本発明の実用的価値は高い。

以上、本発明について上記各実施の形態およびその各変形例を用いて説明したが、本発明はこれらに限定されるものではない。即ち、本発明は、矛盾することない範囲で、上記各実施の形態およびその各変形例を組み合わせてもよく、他の周知慣用技術を組み合わせてもよい。

なお、ブロック図（図１０および図１７など）の各機能ブロックは典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサーで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。

本発明に係る画像符号化装置および画像復号化装置は、ＶＣ−１のストリームを再生する際に、高速再生などの特殊再生機能を備える機器全般に適用することができ、特殊再生機能が重視される光ディスク関連機器において特に有効である。

本願におけるこれらの目的および他の目的や、効果、特徴は、実施の形態を示す付属図面に関する以下の説明から明確になる。当該図面において、
図１Ａは、ＭＰＥＧ２のストリームの構成図である。 図１Ｂは、ＭＰＥＧ２のストリームの構成図である。 図２Ａは、ＭＰＥＧ２で使用されているピクチャ間の予測構造例を示す図である。 図２Ｂは、ＭＰＥＧ２で使用されているピクチャ間の予測構造例を示す図である。 図３は、従来のＶＣ−１のストリームの構成図である。 図４は、従来の画像符号化装置の構成を示すブロック図である。 図５は、従来の画像復号化装置の構成を示すブロック図である。 図６は、従来の画像復号化装置の動作を示すフローチャートである。 図７は、従来の画像符号化装置により作成されたストリームにおける高速再生時の課題を示す図である。 図８は、本発明の実施の形態１に係るＶＣ−１のストリームに含まれるＲＡＵの構造の一例を示す図である。 図９Ａは、ＲＡＵマップＭＩのシンタックスの一例を示す図である。 図９Ｂは、ＲＡＵマップＭＩのシンタックスの他の例を示す図である。 図９Ｃは、ＲＡＵマップＭＩのシンタックスの他の例を示す図である。 図９Ｄは、ＲＡＵマップＭＩのシンタックスの他の例を示す図である。 図１０は、本発明の実施の形態１における画像復号化装置の構成を示すブロック図である。 図１１は、本発明の実施の形態１における画像復号化装置の動作を示すフローチャートである。 図１２は、本発明の実施の形態１における画像復号化装置がＲＡＵマップを解析する動作を示すフローチャートである。 図１３Ａは、本発明の実施の形態１における画像復号化装置によって高速再生されるＲＡＵを示す図である。 図１３Ｂは、図１３Ａに対応するＲＡＵマップＭＩを示す図である。 図１３Ｃは、本発明の実施の形態１における画像復号化装置が図１３ＡのＲＡＵを有するストリームＳＴＲを特殊再生する際の動作を示すフローチャートである。 図１４は、実施の形態１における変形例１の画像復号化装置による再生方法を示す説明図である。 図１５は、実施の形態１における変形例１の画像復号化装置による再生方法を示すフローチャートである。 図１６Ａは、実施の形態１における変形例２の完全静止画区間を有するＲＡＵを示す図である。 図１６Ｂは、実施の形態１における変形例２の漸次リフレッシュ静止画区間を有するＲＡＵを示す図である。 図１６Ｃは、実施の形態１における変形例２の他の漸次リフレッシュ静止画区間を有するＲＡＵを示す図である。 図１７は、本発明の実施の形態２における画像符号化装置の構成を示すブロック図である。 図１８は、本発明の実施の形態２における画像符号化装置の動作を示すフローチャートである。 図１９Ａは、Ｂ−ｓｋｉｐピクチャの予測構造を示す図である。 図１９Ｂは、Ｂ−ｓｋｉｐピクチャの予測構造を示す図である。 図２０Ａは、本発明の実施の形態３におけるＢＩピクチャに基づく飛び込み再生を説明するための説明図である。 図２０Ｂは、本発明の実施の形態３におけるＢＩピクチャに基づく他の飛び込み再生を説明するための説明図である。 図２０Ｃは、本発明の実施の形態３におけるＢＩピクチャに基づくさらに他の飛び込み再生を説明するための説明図である。 図２１は、本発明の実施の形態３におけるＲＡＵマップのシンタックスの他の例を示す図である。 図２２は、本発明の実施の形態３における画像復号化装置のブロック図である。 図２３は、本発明の実施の形態３における画像復号化装置３００の動作を示すフローチャートである。 図２４は、本発明の実施の形態３の変形例に係る画像復号化装置の動作を説明するための説明図である。 図２５は、本発明の実施の形態４における画像符号化装置のブロック図である。 図２６は、本発明の実施の形態４における画像符号化装置の符号化の動作を示すフローチャートである。 図２７Ａは、本発明の画像符号化方法および画像復号化方法を実現するためのプログラムを記録した記録媒体を説明するための説明図である。 図２７Ｂは、本発明の画像符号化方法および画像復号化方法を実現するためのプログラムを記録した記録媒体を説明するための説明図である。 図２７Ｃは、本発明の画像符号化方法および画像復号化方法を実現するためのプログラムを記録した記録媒体を説明するための説明図である。

Claims (17)

1. １つまたは複数のピクチャを含むアクセス単位ごとに前記各ピクチャを符号化して画像符号化信号を生成する画像符号化装置であって、
   符号化対象のアクセス単位が、当該アクセス単位の符号化に他のアクセス単位の参照が許可されているオープンタイプのアクセス単位である場合に、符号化対象ピクチャを符号化することにより、前記画像符号化信号のアクセス単位内において、復号順で先頭のピクチャよりも表示順で前に配置された、他のピクチャから独立して復号可能な独立ピクチャを生成する符号化手段と、
   前記画像符号化信号のアクセス単位において、前記独立ピクチャが前記先頭のピクチャの表示順で直前にあるか否かを示す補助情報を生成する情報生成手段と、
   前記画像符号化信号のアクセス単位内に、前記情報生成手段で生成された補助情報を書き込む書き込み手段と
   を備えることを特徴とする画像符号化装置。
2. 前記情報生成手段は、前記独立ピクチャが前記先頭のピクチャの表示順で直前にあるか否かを示すフラグと、前記先頭のピクチャの表示順の直前で連続する前記独立ピクチャの枚数とを含む前記補助情報を生成する
   ことを特徴とする請求項１記載の画像符号化装置。
3. 前記情報生成手段は、前記画像符号化信号のアクセス単位内における各ピクチャの復号順または表示順に、前記各ピクチャのピクチャタイプを示す前記補助情報を生成する
   ことを特徴とする請求項１記載の画像符号化装置。
4. 前記書き込み手段は、前記画像符号化信号のアクセス単位内の何れのピクチャよりも前に前記補助情報を書き込む
   ことを特徴とする請求項３記載の画像符号化装置。
5. 前記符号化手段は、アクセス単位内において、先頭の画面内符号化ピクチャよりも表示順で前にあって復号順で後にあるとともに、ピクチャ内の全てのブロックが画面内符号化されているという特性を有する前記独立ピクチャを生成し、前記特性を示すピクチャタイプを前記独立ピクチャに含める
   ことを特徴とする請求項１記載の画像符号化装置。
6. アクセス単位ごとに１つまたは複数のピクチャを含む画像符号化信号を復号化する画像復号化装置であって、
   前記画像符号化信号のアクセス単位には、当該アクセス単位において、復号順で先頭のピクチャよりも表示順で前に配置された、他のピクチャから独立して復号可能な独立ピクチャが、前記先頭のピクチャの表示順の直前にあるか否かを示す補助情報が格納されており、
   前記画像復号化装置は、
   前記アクセス単位が、当該アクセス単位の復号化に他のアクセス単位の参照が許可されているオープンタイプのアクセス単位であるか否かを判別するタイプ判別手段と、
   前記タイプ判別手段により前記アクセス単位がオープンタイプのアクセス単位であると判別されたときには、前記アクセス単位から前記補助情報を取得する情報取得手段と、
   前記情報取得手段により取得された補助情報を参照することにより、前記アクセス単位の中から、復号化すべきピクチャを抽出する抽出手段と、
   前記抽出手段により抽出されたピクチャを復号化する復号化手段と
   を備えることを特徴とする画像復号化装置。
7. 前記抽出手段は、
   前記補助情報を参照することにより、前記独立ピクチャが前記先頭のピクチャの表示順で直前にあるか否かを判別し、
   直前にあると判別したときには、前記独立ピクチャを復号化すべきピクチャとして抽出し、直前にないと判別したときには、前記独立ピクチャを復号化すべきピクチャとして抽出しない
   ことを特徴とする請求項６記載の画像復号化装置。
8. 前記補助情報は、前記独立ピクチャが前記先頭のピクチャの表示順で直前にあるか否かを示すフラグと、前記先頭のピクチャの表示順の直前で連続する前記独立ピクチャの枚数とを含み、
   前記抽出手段は、
   前記補助情報に含まれるフラグおよび枚数を参照することにより、前記独立ピクチャが前記先頭のピクチャの表示順の直前で１枚以上連続するか否かを判別し、
   １枚以上連続すると判別したときには、前記アクセス単位に含まれるピクチャのうち、１枚以上連続する前記独立ピクチャの先頭から表示順で配列されるピクチャを、復号化すべきピクチャとして抽出し、
   １枚以上連続しないと判別したときには、前記アクセス単位に含まれるピクチャのうち、前記復号順で先頭のピクチャから表示順で配列されるピクチャを、復号化すべきピクチャとして抽出する
   ことを特徴とする請求項７記載の画像復号化装置。
9. 前記補助情報は、前記アクセス単位内における各ピクチャの復号順または表示順に、前記各ピクチャのピクチャタイプを示し、
   前記抽出手段は、
   前記補助情報の示す前記各ピクチャのピクチャタイプを参照することにより、前記独立ピクチャが前記先頭のピクチャの表示順の直前で１枚以上連続するか否かを判別し、
   １枚以上連続すると判別したときには、前記アクセス単位に含まれるピクチャのうち、１枚以上連続する前記独立ピクチャの先頭から表示順で配列されるピクチャを、復号化すべきピクチャとして抽出し、
   １枚以上連続しないと判別したときには、前記アクセス単位に含まれるピクチャのうち、前記復号順で先頭のピクチャから表示順で配列されるピクチャを、復号化すべきピクチャとして抽出する
   ことを特徴とする請求項７記載の画像復号化装置。
10. アクセス単位ごとに１つまたは複数のピクチャを含む画像符号化信号であって、
    前記画像符号化信号のアクセス単位において、復号順で先頭のピクチャよりも表示順で前に配置された、他のピクチャから独立して復号可能な独立ピクチャが、前記先頭のピクチャの表示順の直前にあるか否かを示す補助情報
    を有することを特徴とする画像符号化信号。
11. 前記補助情報は、前記アクセス単位内の何れのピクチャよりも前に格納されている
    ことを特徴とする請求項１０記載の画像符号化信号。
12. １つまたは複数のピクチャを含むアクセス単位ごとに前記各ピクチャを符号化して画像符号化信号を生成する画像符号化方法であって、
    符号化対象のアクセス単位が、当該アクセス単位の符号化に他のアクセス単位の参照が許可されているオープンタイプのアクセス単位である場合に、符号化対象ピクチャを符号化することにより、前記画像符号化信号のアクセス単位内において、復号順で先頭のピクチャよりも表示順で前に配置された、他のピクチャから独立して復号可能な独立ピクチャを生成し、
    前記画像符号化信号のアクセス単位において、前記独立ピクチャが前記先頭のピクチャの表示順で直前にあるか否かを示す補助情報を生成し、
    前記画像符号化信号のアクセス単位内に、前記情報生成手段で生成された補助情報を書き込む
    ことを特徴とする画像符号化方法。
13. アクセス単位ごとに１つまたは複数のピクチャを含む画像符号化信号を復号化する画像復号化方法であって、
    前記画像符号化信号のアクセス単位には、当該アクセス単位において、復号順で先頭のピクチャよりも表示順で前に配置された、他のピクチャから独立して復号可能な独立ピクチャが、前記先頭のピクチャの表示順の直前にあるか否かを示す補助情報が格納されており、
    前記画像復号化方法は、
    前記アクセス単位が、当該アクセス単位の復号化に他のアクセス単位の参照が許可されているオープンタイプのアクセス単位であるか否かを判別し、
    前記アクセス単位がオープンタイプのアクセス単位であると判別されたときには、前記アクセス単位から前記補助情報を取得し、
    取得された補助情報を参照することにより、前記アクセス単位の中から、復号化すべきピクチャを抽出し、
    抽出されたピクチャを復号化する
    ことを特徴とする画像復号化方法。
14. １つまたは複数のピクチャを含むアクセス単位ごとに前記各ピクチャを符号化して画像符号化信号を生成するためのプログラムであって、
    符号化対象のアクセス単位が、当該アクセス単位の符号化に他のアクセス単位の参照が許可されているオープンタイプのアクセス単位である場合に、符号化対象ピクチャを符号化することにより、前記画像符号化信号のアクセス単位内において、復号順で先頭のピクチャよりも表示順で前に配置された、他のピクチャから独立して復号可能な独立ピクチャを生成し、
    前記画像符号化信号のアクセス単位において、前記独立ピクチャが前記先頭のピクチャの表示順で直前にあるか否かを示す補助情報を生成し、
    前記画像符号化信号のアクセス単位内に、前記情報生成手段で生成された補助情報を書き込む
    ことをコンピュータに実行させることを特徴とするプログラム。
15. アクセス単位ごとに１つまたは複数のピクチャを含む画像符号化信号を復号化するためのプログラムであって、
    前記画像符号化信号のアクセス単位には、当該アクセス単位において、復号順で先頭のピクチャよりも表示順で前に配置された、他のピクチャから独立して復号可能な独立ピクチャが、前記先頭のピクチャの表示順の直前にあるか否かを示す補助情報が格納されており、
    前記プログラムは、
    前記アクセス単位が、当該アクセス単位の復号化に他のアクセス単位の参照が許可されているオープンタイプのアクセス単位であるか否かを判別し、
    前記アクセス単位がオープンタイプのアクセス単位であると判別されたときには、前記アクセス単位から前記補助情報を取得し、
    取得された補助情報を参照することにより、前記アクセス単位の中から、復号化すべきピクチャを抽出し、
    抽出されたピクチャを復号化する
    ことをコンピュータに実行させることを特徴とするプログラム。
16. １つまたは複数のピクチャを含むアクセス単位ごとに前記各ピクチャを符号化して画像符号化信号を生成する集積回路であって、
    符号化対象のアクセス単位が、当該アクセス単位の符号化に他のアクセス単位の参照が許可されているオープンタイプのアクセス単位である場合に、符号化対象ピクチャを符号化することにより、前記画像符号化信号のアクセス単位内において、復号順で先頭のピクチャよりも表示順で前に配置された、他のピクチャから独立して復号可能な独立ピクチャを生成する符号化手段と、
    前記画像符号化信号のアクセス単位において、前記独立ピクチャが前記先頭のピクチャの表示順で直前にあるか否かを示す補助情報を生成する情報生成手段と、
    前記画像符号化信号のアクセス単位内に、前記情報生成手段で生成された補助情報を書き込む書き込み手段と
    を備えることを特徴とする集積回路。
17. アクセス単位ごとに１つまたは複数のピクチャを含む画像符号化信号を復号化する集積回路であって、
    前記画像符号化信号のアクセス単位には、当該アクセス単位において、復号順で先頭のピクチャよりも表示順で前に配置された、他のピクチャから独立して復号可能な独立ピクチャが、前記先頭のピクチャの表示順の直前にあるか否かを示す補助情報が格納されており、
    前記集積回路は、
    前記アクセス単位が、当該アクセス単位の復号化に他のアクセス単位の参照が許可されているオープンタイプのアクセス単位であるか否かを判別するタイプ判別手段と、
    前記タイプ判別手段により前記アクセス単位がオープンタイプのアクセス単位であると判別されたときには、前記アクセス単位から前記補助情報を取得する情報取得手段と、
    前記情報取得手段により取得された補助情報を参照することにより、前記アクセス単位の中から、復号化すべきピクチャを抽出する抽出手段と、
    前記抽出手段により抽出されたピクチャを復号化する復号化手段と
    を備えることを特徴とする集積回路。

Images