JP2006319963A - プログラム、情報処理装置、情報処理方法、並びに、記録媒体 - Google Patents

Abstract

【課題】インデックスファイルとプロクシファイルを生成する。
【解決手段】ビットストリーム解析部３２は、ビットストリーム取得部３１により取得されたビットストリームを解析するとともに、エンコーダ３６、および、プロクシファイル記憶部３７により実行される処理の結果を解析し、インデックスファイルを生成し、インデックスファイル記憶部３３に供給して記憶させ、更に、ＩピクチャおよびＰピクチャを、デコーダ３４に供給する。デコーダ３４は、ＩピクチャおよびＰピクチャをデコードして、Ｐピクチャに対応する非圧縮ベースバンド画像を生成し、エンコーダ３６に供給する。エンコーダ３６は、供給されたＰピクチャに対応する非圧縮ベースバンド画像データを、フレーム内符号化によりＩピクチャとしてエンコードし、生成されたＩピクチャをプロクシファイル記憶部３７に供給して、プロクシファイルを生成させる。本発明は、再生装置に適用できる。
【選択図】図２

Description

本発明は、プログラム、情報処理装置、情報処理方法、並びに、記録媒体に関し、特に、ランダム再生を行う場合に用いて好適な、プログラム、情報処理装置、情報処理方法、並びに、記録媒体に関する。

動画像データの代表的な符号化方式としては、ＭＰＥＧ（Moving picture experts gro
up)符号化方式に代表される動き補償予測符号化方式を挙げることができる。

動き補償予測符号化方式には、大別してイントラ符号化（フレーム内符号化）とインター符号化（フレーム間参照符号化）の２種類の符号化方式がある。イントラ符号化では、被符号化画像内のマクロブロック単位の相関関係に基づいて符号化が行われる。インター符号化では、被符号化画像に時間的に前後する画像が参照画像とされて、その参照画像から生成される予測画像と被符号化画像との差分が符号化される（例えば、特許文献１参照）。

特開平８−１０２９５１号公報

従来のＭＰＥＧのデコードにおいて、Ｐフレームがデコードされる場合、参照画像としての直前のＩフレームまたはＰフレームがデコードされて参照画像が生成され、これを基に目的とするＰフレームがデコードされる。このため、ＧＯＰの最後のほうに位置するＰフレームがデコードされる場合、目的とするＰフレームをデコードするために複数のフレームをデコードする必要が生じる。

また、Ｂフレームがデコードされる場合、その前後のＰフレームを参照画像として利用する必要があり、デコードしたいＢフレームのデコード前に、前後のＰフレームをデコードしておく必要がある。

したがって、ランダム再生（スクラブ再生とも称する）などにおいて、ストリーム内で時間的に解離したＰフレーム、Ｂフレームを再生したい場合、それ以外のフレームをそれぞれ参照画像として用いるためにデコードする時間がかかってしまい、必要な映像を短時間にデコードして出力することができない。

本発明はこのような状況に鑑みてなされたものであり、ランダム再生を行う場合に、必要な映像を短時間に出力することができるようにするものである。

本発明の一側面のプログラムは、ビットストリームのうち、前方向予測符号化フレームを復号する前方向予測符号化フレーム復号ステップと、前方向予測符号化フレーム復号ステップの処理により復号された前方向予測符号化フレームをフレーム内符号化する符号化ステップと、ビットストリームを解析する解析ステップと、符号化ステップの処理により生成された符号化データに関する符号化情報と解析ステップの処理による解析結果とを基に、ビットストリームを復号するために利用可能な属性情報を生成する属性情報生成ステップとを含む処理をコンピュータに実行させる。

符号化ステップの処理により符号化された符号化データ、および、属性情報生成ステップの処理により生成された属性情報を基に、ビットストリームを復号するビットストリーム復号ステップを更に含ませるようにすることができる。

ビットストリーム復号ステップの処理には、復号されるフレームの符号化タイプを判断する判断ステップと、判断ステップの処理により、復号されるフレームがビットストリームのうちのフレーム内符号化フレームであると判断された場合、ビットストリームのうちの復号されるフレーム内符号化フレームを復号する第１の復号ステップと、判断ステップの処理により、復号されるフレームがビットストリームのうちの前方向予測符号化フレームであると判断された場合、符号化ステップの処理により符号化された符号化データのうち、復号される前方向予測符号化フレームに対応する符号化データを復号する第２の復号ステップと、判断ステップの処理により、復号されるフレームがビットストリームのうちの両方向予測符号化フレームであると判断された場合、両方向予測符号化フレームの復号に必要なビットストリームのうちのフレーム内符号化フレームを復号して参照画像を生成するか、または、符号化ステップの処理により符号化された符号化データのうち、両方向予測符号化フレームの復号に必要なビットストリームの前方向予測符号化フレームに対応する符号化データを復号して参照画像を生成する参照画像生成ステップと、参照画像生成ステップの処理により生成された参照画像を参照して、ビットストリームのうちの両方向予測符号化フレームを復号する第３の復号ステップとを含ませるようにすることができる。

符号化ステップの処理では、前方向予測符号化フレーム復号ステップの処理により復号された前方向予測符号化フレームを、固定レートのフレーム内符号化データに符号化させるようにすることができる。

符号化ステップの処理では、前方向予測符号化フレーム復号ステップの処理により復号された前方向予測符号化フレームを、変動レートのフレーム内符号化データに符号化させるようにすることができる。

前方向予測符号化フレーム復号ステップの処理では、ビットストリームのうち、所定数の前方向予測符号化フレームを選択的に復号させ、符号化ステップの処理では、前方向予測符号化フレーム復号ステップの処理により復号された所定数の前方向予測符号化フレームをフレーム内符号化させるようにすることができる。

１フレームに対応する画像の表示内に復号処理を実行することが可能なフレーム数と、前方向予測符号化フレームの数を基に、前方向予測符号化フレーム復号ステップの処理により選択的に復号される所定数の前方向予測符号化フレームを設定する設定ステップを更に含ませるようにすることができる。

１フレームに対応する画像の表示時間内に復号処理を実行することが可能なフレーム数を算出する算出ステップを更に含ませるようにすることができる。

前方向予測符号化フレーム復号ステップの処理では、ビットストリームのうち、所定数の前方向予測符号化フレームの連続数が最も小さくなるように、復号される前方向予測符号化フレームを所定数選択的に復号させるようにすることができる。

本発明の一側面の情報処理装置は、ビットストリームのうち、前方向予測符号化フレームを復号する前方向予測符号化フレーム復号手段と、前方向予測符号化フレーム復号手段により復号された前方向予測符号化フレームをフレーム内符号化する符号化手段と、ビットストリームを解析し、ビットストリームの解析結果および符号化手段により生成された符号化データに関する符号化情報を基に、ビットストリームを復号するために利用可能な属性情報を生成する属性情報生成手段とを備える。

符号化手段により生成された符号化データ、および、属性情報生成手段により生成された属性情報を基に、ビットストリームを復号するビットストリーム復号手段を更に備えさせるようにすることができる。

本発明の一側面の情報処理方法は、ビットストリームのうち、前方向予測符号化フレームを復号する前方向予測符号化フレーム復号ステップと、前方向予測符号化フレーム復号ステップの処理により復号された前方向予測符号化フレームをフレーム内符号化する符号化ステップと、ビットストリームを解析する解析ステップと、符号化ステップの処理により生成された符号化データに関する符号化情報と解析ステップの処理による解析結果とを基に、ビットストリームを復号するために利用可能な属性情報を生成する属性情報生成ステップとを含む。

本発明の一側面においては、前方向予測符号化フレームが復号されて、復号された前方向予測符号化フレームがフレーム内符号化され、ビットストリームが解析され、符号化に関する情報と解析結果とを基に、属性情報が生成される。このフレーム内符号化データおよび属性情報は、ビットストリームの復号に利用することが可能である。

本発明の一側面によれば、ビットストリームの属性情報を生成することができ、特に、前方向予測符号化フレームが復号されて、復号された前方向予測符号化フレームがフレーム内符号化されるので、フレーム内符号化されたフレームと、属性情報を用いて、ビットストリームを高速にランダム再生することが可能となる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面のプログラムまたは情報処理方法は、ビットストリームのうち、前方向予測符号化フレーム（例えば、Ｐピクチャ）を復号する前方向予測符号化フレーム復号ステップ（例えば、図１１のステップＳ５の処理）と、前方向予測符号化フレーム復号ステップの処理により復号された前方向予測符号化フレームをフレーム内符号化する符号化ステップ（例えば、図１１のステップＳ７の処理）と、ビットストリームを解析する解析ステップ（例えば、図１１のステップＳ３の処理）と、符号化ステップの処理により生成された符号化データに関する符号化情報（例えば、図３のProxy File Picture Size、Proxy File Address）と解析ステップの処理による解析結果とを基に、ビットストリームを復号するために利用可能な属性情報（例えば、インデックスファイル）を生成する属性情報生成ステップ（例えば、図１１のステップＳ１１の処理）とを含む処理をコンピュータに実行させる。

符号化ステップの処理により符号化された符号化データ、および、属性情報生成ステップの処理により生成された属性情報を基に、ビットストリームを復号するビットストリーム復号ステップ（例えば、図１２のステップＳ４３乃至ステップＳ５０の処理）を更に含むことができる。

ビットストリーム復号ステップの処理は、復号されるフレームの符号化タイプを判断する判断ステップ（例えば、図１２のステップＳ４３またはステップＳ４４の処理）と、判断ステップの処理により、復号されるフレームがビットストリームのうちのフレーム内符号化フレーム（例えば、Ｉピクチャ）であると判断された場合、ビットストリームのうちの復号されるフレーム内符号化フレームを復号する第１の復号ステップ（図１２のステップＳ４６の処理）と、判断ステップの処理により、復号されるフレームがビットストリームのうちの前方向予測符号化フレーム（例えば、Ｐピクチャ）であると判断された場合、符号化ステップの処理により符号化された符号化データのうち、復号される前方向予測符号化フレームに対応する符号化データを復号する第２の復号ステップ（図１２のステップＳ４５の処理）と、判断ステップの処理により、復号されるフレームがビットストリームのうちの両方向予測符号化フレーム（例えば、Ｂピクチャ）であると判断された場合、両方向予測符号化フレームの復号に必要なビットストリームのうちのフレーム内符号化フレームを復号して参照画像を生成するか、または、符号化ステップの処理により符号化された符号化データのうち、両方向予測符号化フレームの復号に必要なビットストリームの前方向予測符号化フレームに対応する符号化データを復号して参照画像を生成する参照画像生成ステップ（図１２のステップＳ４８の処理）と、参照画像生成ステップの処理により生成された参照画像を参照して、ビットストリームのうちの両方向予測符号化フレームを復号する第３の復号ステップ（図１２のステップＳ４９の処理）とを含むことができる。

符号化ステップの処理では、前方向予測符号化フレーム復号ステップの処理により復号された前方向予測符号化フレームを、固定レートのフレーム内符号化データに符号化する（例えば、図４に示されるようにして符号化する）ことができる。

符号化ステップの処理では、前方向予測符号化フレーム復号ステップの処理により復号された前方向予測符号化フレームを、変動レートのフレーム内符号化データに符号化する（例えば、図５に示されるようにして符号化する）ことができる。

前方向予測符号化フレーム復号ステップの処理では、ビットストリームのうち、所定数の前方向予測符号化フレームを選択的に（例えば、図１４乃至図１８を用いて説明したように）復号し、符号化ステップの処理では、前方向予測符号化フレーム復号ステップの処理により復号された所定数の前方向予測符号化フレームをフレーム内符号化することができる。

１フレームに対応する画像の表示内に復号処理を実行することが可能なフレーム数（例えば、デコード可能フレーム数）と、前方向予測符号化フレームの数を基に、前方向予測符号化フレーム復号ステップの処理により選択的に復号される所定数の前方向予測符号化フレームを設定する設定ステップ（例えば、図１９に示される処理）を更に含むことができる。

１フレームに対応する画像の表示時間内に復号処理を実行することが可能なフレーム数（例えば、デコード可能フレーム数）を算出する算出ステップ（例えば、図１９のステップＳ８１の処理）を更に含むことができる。

前方向予測符号化フレーム復号ステップの処理では、ビットストリームのうち、所定数の前方向予測符号化フレームの連続数が最も小さくなるように（例えば、図１４乃至図１８を用いて説明したように）、復号される前方向予測符号化フレームを所定数選択的に復号することができる。

本発明の一側面の情報処理装置は、ビットストリームを復号するために利用可能な情報を生成する情報処理装置（たとえば、図１の再生装置１または図９のパーソナルコンピュータ２０１）であって、ビットストリームのうち、前方向予測符号化フレーム（Ｐピクチャ）を復号する前方向予測符号化フレーム復号手段（例えば、図２のデコーダ３４）と、前方向予測符号化フレーム復号手段により復号された前方向予測符号化フレームをフレーム内符号化する符号化手段（例えば、図２のエンコーダ３６）と、ビットストリームを解析し、ビットストリームの解析結果および符号化手段により生成された符号化データに関する符号化情報（例えば、図３のProxy File Picture Size、Proxy File Address）を基に、ビットストリームを復号するために利用可能な属性情報（例えば、インデックスファイル）を生成する属性情報生成手段（例えば、図２のビットストリーム解析部３２）とを備える。

符号化手段により生成された符号化データ、および、属性情報生成手段により生成された属性情報を基に、ビットストリームを復号するビットストリーム復号手段（例えば、図６の再生部１２）を更に備えることができる。

以下、図を参照して、本発明の実施の形態について説明する。

図１に、本発明を適用した再生装置１の構成例を示す。

再生装置１は、変換部１１と再生部１２とにより構成されている。

変換部１１は、例えば、Mpeg2 LongGOPストリームなどのフレーム間参照符号化によって符号化されたビットストリーム（Ｉピクチャ（フレーム内符号化フレーム）、Ｐピクチャ（前方向予測符号化フレーム）、および、Ｂピクチャ（両方向予測符号化フレーム）により構成されているビットストリーム）の供給を受け、再生部１２においてデコード（復号）される場合に参照されるインデックスファイルを生成するとともに、供給されたビットストリームのうちのＰピクチャをエンコード（符号化）してＩピクチャに変換することによってプロクシファイルを生成し、インデックスファイルおよびプロクシファイルを再生部１２に供給する。変換部１１の詳細については、図２を用いて後述する。

再生部１２は、Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャが含まれているビットストリームの供給を受けるとともに、変換部１１からインデックスファイルおよびプロクシファイルの供給を受け、ユーザの操作入力に基づいて、ビットストリームをデコードし、ユーザの所望の位置から再生する。再生部１２の詳細については、図６を用いて後述する。

図２は、図１の変換部１１の更に詳細な構成例を示すブロック図である。

ビットストリーム取得部３１は、Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャが含まれているビットストリームの供給を受け、ビットストリーム解析部３２に供給する。

ビットストリーム解析部３２は、Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャが含まれているビットストリームの供給を受け、このうち、ＩピクチャおよびＰピクチャを、デコーダ３４に供給する。

また、ビットストリーム解析部３２は、デコーダ３４、エンコーダ３６、および、プロクシファイル記憶部３７を制御する。また、ビットストリーム解析部３２は、供給されたビットストリームを解析するとともに、エンコーダ３６により実行される処理の結果、および、後述するプロクシインデックス記憶部３８に記憶される情報を解析し、図３に示されるインデックス（index）ファイルを生成し、インデックスファイル記憶部３３に供給する。

図３に示されるインデックスファイルには、ビットストリーム取得部３１により取得され、ビットストリーム解析部３２に供給されたオリジナルのビットストリームをデコードする場合に参照される情報が記載されている。具体的には、インデックスファイルには、ディスプレイオーダ（Display Order）におけるピクチャの並び順と、ストリームオーダ（Stream Order）におけるピクチャの並び順、そして、ディスプレイオーダからストリームオーダへピクチャの並びを変換させるためのピクチャのずれ量（Temporal Offset）が記載されている。また、インデックスファイルには、ストリームオーダにおけるシーケンスヘッダ（Sequence Header）の位置を示す情報が、図中では、シーケンスヘッダありを１、なしを０として記載され、前方向または後ろ方向への参照画像の有無を示す情報（Forward/Backward Prediction（Picture Type)）が記載されている。

なお、前方向または後ろ方向への参照画像の有無を示す情報は、この例においては、供給されるビットストリームがOpenGOP形式であるものとして、前方向参照フレーム（すなわちＰピクチャ）を「１０」、両方向参照フレーム（すなわちＢピクチャ）を「１１」、そして、フレーム内符号化データ（すなわちＩピクチャ）を「００」として記載されるものとする。なお、供給されるビットストリームがClosedGOP形式である場合、フレーム内符号化データ（すなわちＩピクチャ）に続く２枚のＢピクチャは、後ろ方向のみを参照するので、「０１」が記載されるものとする。

そして、インデックスファイルには、それぞれのピクチャのピクチャサイズ（Picture Size）と、ピクチャのストリーム内または記録領域内でのアドレス（Address）が記載されている。また、インデックスファイルには、そのピクチャとキーフレームとなるピクチャ（ここでは、フレーム内符号化処理が行われているＩピクチャ）との距離を示す情報（Key Frame Offset（decimal)）や、デコーダの仮想入力バッファの蓄積量を９０KHzクロックの時間で示すVbvDelay（VBV:Video buffer verifier）が記載されている。さらに、インデックスファイルには、そのピクチャをデコードするために必要となる前方向画像のうち、最も再生フレームから遠いフレームとの間のフレーム数（深さ）を示す深さ情報（Depth of Past Frames for Decoding）が記載されている。

更に、インデックスファイルには、プロクシファイルに含まれている、オリジナルストリームにおけるＰピクチャに対応するフレームであってエンコーダ３６によりエンコードされたＩピクチャに関する符号化情報として、ピクチャサイズ（Proxy File Picture Size）と、それらのフレームのアドレス（Proxy File Address）とが記載されている。これらの情報は、後述するプロクシインデックス記憶部３８に記憶されている。

プロクシファイルの詳細については後述する。

インデックスファイル記憶部３３は、ビットストリーム解析部３２から供給される、図３を用いて説明したインデックスファイルを記憶し、再生部１２に出力する。

デコーダ３４は、ビットストリーム解析部３２から供給されたＩピクチャおよびＰピクチャをデコードして、非圧縮ベースバンド画像を生成し、Ｐピクチャに対応する非圧縮ベースバンド画像データをエンコーダ３６に供給する。このとき、デコーダ３４は、生成された非圧縮ベースバンド画像が、その後デコードされるフレームの参照画像として必要となる場合、生成された非圧縮ベースバンド画像を参照画像用メモリ３５にも供給して記憶させ、Ｐピクチャをデコードする場合、参照画像用メモリ３５に記憶されている参照用画像を適宜参照する。

エンコーダ３６は、供給されたＰピクチャに対応する非圧縮ベースバンド画像データを、フレーム内符号化によりＩピクチャとしてエンコードし、生成されたＩピクチャをプロクシファイル記憶部３７に供給する。また、エンコーダ３６は、圧縮処理時（Ｉピクチャ生成時）のパラメータとして、例えば、圧縮レートなどを設定することができる。

図４を参照して、エンコーダ３６から出力されるＩピクチャのビットレートを固定にする場合について説明する。

エンコーダ３６は、出力されるＩピクチャのビットレートを固定にする場合、例えば、プロクシファイル記憶部３７の記憶容量などに応じた所定のビットレートとなるように、Ｉピクチャを生成する。一般的に、Ｉピクチャよりも、前方参照を使ったＰピクチャの方が、情報量が少ないので、Ｐピクチャを再圧縮してＩピクチャにエンコードする場合のビットレートは、変換前（Ｐピクチャ）のビットレートよりも大きなビットレートとする方が、画質が維持しやすく、好適である。また、このビットレートを、ユーザにより設定可能なようにしても良い。

次に、図５を参照して、エンコーダ３６から出力されるＩピクチャのビットレートを変動とする場合について説明する。

エンコーダ３６は、ビットストリーム解析部３２、または、デコーダ３４から、オリジナルのビットストリームのＩピクチャ（GOP単位で先頭のＩピクチャ）のレートを取得し、その値に応じたビットレートとなるように、Ｉピクチャを生成する。一般に、オリジナルの圧縮ストリームのＩピクチャのビットレートは、そのＧＯＰにおける映像の複雑さを反映している。したがって、Ｐピクチャから変換されて生成されるＩピクチャのビットレートも、ＧＯＰにおける映像の複雑さを反映している先頭のＩピクチャのビットレートに応じて変動させることにより、画質の劣化を防止することが可能となる。

そして、プロクシファイル記憶部３７は、エンコーダ３６から供給された、図４または図５を用いて説明したようにして生成され、エンコーダ３６から供給されたＩピクチャのデータを基に、プロクシファイル（proxy、すなわち、代理データファイル）を生成して記憶し、再生部１２に出力する。

プロクシインデックス記憶部３８は、エンコーダ３６から、供給されたＰピクチャに対応する非圧縮ベースバンド画像データがフレーム内符号化によりＩピクチャとしてエンコードされてＩピクチャが生成されるごとに、生成されたＩピクチャに関する符号化情報として、ピクチャサイズ（Proxy File Picture Size）と、それらのフレームのアドレス（Proxy File Address）とをプロクシインデックスとして取得して記憶し、ビットストリーム解析部３２に供給する。

図６は、図１の再生部１２の更に詳細な構成例を示すブロック図である。

再生部１２は、操作入力取得部５１、デコード処理部５２、および、再生映像出力部５３により構成されている。

操作入力取得部５１は、ユーザの操作入力を受け、ユーザの操作入力を示す信号を、デコード処理部５２に供給する。

デコード処理部５２は、インデックスファイル取得部６１、デコード制御部６２、ビットストリーム取得部６３、プロクシファイル取得部６４、スイッチ６５、デコーダ６６、および、参照画像用メモリ６７で構成され、操作入力取得部５１から供給されるユーザの操作入力に基づいて、デコード処理を実行し、再生映像出力部５３に供給する。

インデックスファイル取得部６１は、変換部１１のインデックスファイル記憶部３３から出力されるインデックスファイルを取得し、デコード制御部６２に供給する。

ビットストリーム取得部６３は、再生装置１に供給されたオリジナルのビットストリームを取得して、操作入力取得部５１から供給されるユーザの操作入力に基づいて、再生出力されるフレーム、または、再生出力されるフレームのデコードに必要なフレームを、スイッチ６５に出力する。

プロクシファイル取得部６４は、変換部１１のプロクシファイル記憶部３７から出力されたプロクシファイル、すなわち、Ｐピクチャから変換されて生成されたＩピクチャのデータを取得し、操作入力取得部５１から供給されるユーザの操作入力に基づいて、再生出力されるフレーム、または、再生出力されるフレームのデコードに必要なフレームを、スイッチ６５に出力する。

スイッチ６５は、デコード制御部６２の制御に基づいて、ビットストリーム取得部６３から供給されたオリジナルのビットストリーム、または、プロクシファイル取得部６４から供給されたＰピクチャから変換されて生成されたＩピクチャのいずれかをデコーダ６６に供給する。

デコード制御部６２は、インデックスファイル取得部６１から供給されたインデックスファイルを基に、スイッチ６５を切り替えて、デコーダ６６に供給されるビットストリームを制御する。具体的には、デコード制御部６２は、再生出力したいフレームが、オリジナルのビットストリームにおけるＩピクチャである場合、ビットストリーム取得部６３により供給される、再生装置１に供給されたオリジナルのビットストリームのＩピクチャがデコーダ６６に供給されるようにスイッチ６５を制御する。また、デコード制御部６２は、再生出力したいフレームが、オリジナルのビットストリームにおけるＰピクチャである場合、プロクシファイル取得部６４から供給される、Ｐピクチャから変換されて生成されたＩピクチャのデータがデコーダ６６に供給されるようにスイッチ６５を制御する。また、デコード制御部６２は、再生出力したいフレームが、オリジナルのビットストリームにおけるＢピクチャである場合、プロクシファイル取得部６４から供給される、Ｐピクチャから変換されて生成されたＩピクチャのデータがデコーダ６６に供給されるようにスイッチ６５を制御し、これらがデコードされて参照画像が生成された後、オリジナルのビットストリームのＢピクチャがデコーダ６６に供給されるようにスイッチ６５を制御する。

デコーダ６６は、スイッチ６５から供給された圧縮フレーム画像データをデコードして、非圧縮ベースバンド画像を生成し、再生映像出力部５３に供給する。このとき、デコーダ３４は、生成された非圧縮ベースバンド画像が、その後デコードされるフレームの参照画像として必要となる場合、生成された非圧縮ベースバンド画像を参照画像用メモリ６７にも供給して記憶させ、ＰピクチャまたはＢピクチャをデコードする場合、参照画像用メモリ６７に記憶されている参照用画像を適宜参照する。

再生映像出力部５３は、デコーダ６６から供給された、デコード済みの非圧縮の画像データ（ベースバンド画像データ）に対して、必要に応じて、例えば、色補正やサイズ補正、スロー再生時におけるフィールドコントロールなど、デコードされた画像が正しく再生出力されるように各種補正を行って、補正後の出力ベースバンド画像データを出力する。

次に、図７を参照して、再生部１２において、オリジナルのビットストリームでのＰピクチャをデコードする場合について説明する。

例えば、Mpeg2 LongGOPのビットストリームにおいて、Ｐ１１フレームを再生出力する場合、従来においては、図７Ａに示されるように、Ｐ１１をふくむＧＯＰの先頭のＩピクチャであるＩ２フレームをデコードし、次いで、Ｐ５，Ｐ８フレームをデコードして参照フレーム画像データを生成した後、目的となるＰ１１フレームをデコードすることができるようになされていた。

これに対して、本発明を適用した再生部１２においてＰ１１フレームを再生出力する場合、図７Ｂに示されるように、Ｐ１１フレームに対応するフレーム内圧縮されたＩピクチャであるＩ１１フレームをプロクシファイルから抽出してデコードし、再生出力すればよい。

したがって、本発明を適用した再生部１２においてＰ１１フレームを再生出力する場合、従来のデコード回数４回と比較して、デコード回数は１回のみとなり、高速に指定されたフレームを再生出力することができる。

次に、図８を参照して、再生部１２において、オリジナルのビットストリームでのＢピクチャをデコードする場合について説明する。

例えば、Mpeg2 LongGOPのビットストリームにおいて、Ｂ１２フレームを再生出力する場合、従来においては、図８Ａに示されるように、Ｂ１２をふくむＧＯＰの先頭のＩピクチャであるＩ２フレームをデコードし、次いで、Ｐ５，Ｐ８，Ｐ１１，Ｐ１４フレームをデコードして参照フレーム画像データを生成した後、目的となるＢ１２フレームをデコードすることができるようになされていた。

これに対して、本発明を適用した再生部１２においてＢ１２フレームを再生出力する場合、図８Ｂに示されるように、Ｂ１２フレームの参照画像として必要なＰ１１フレームおよびＰ１４フレームに対応する、フレーム内圧縮されたＩピクチャであるＩ１１フレームおよびＩ１４フレームをデコードし、これらを参照画像として目的となるＢ１２フレームをデコードして再生出力すればよい。

したがって、本発明を適用した再生部１２においてＢ１２フレームを再生出力する場合、従来のデコード回数６回と比較して、デコード回数は３回となり、高速に指定されたフレームを再生出力することができる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、再生装置６１は、図９に示されるようなパーソナルコンピュータ２０１により構成される。

図９において、CPU（Central Processing Unit）２２１は、ROM（Read Only Memory）２２２に記憶されているプログラム、またはＨＤＤ２２６からRAM（Random Access Memory）２２３にロードされたプログラムに従って各種の処理を実行する。RAM２２３にはまた、CPU２２１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU２２１、ROM２２２、およびRAM２２３は、バス２２４を介して相互に接続されている。このバス２２４にはまた、インタフェース（Ｉ／Ｆ）２２５−１乃至２２５−３、ＨＤＤ（hard Disc Drive）２２６、映像特殊効果音声ミキシング処理部２２７、および、信号処理部２２８も接続されている。

インタフェース２２５−１には、キーボード２０２、マウス２０３などの入力デバイスが接続されている。インタフェース２２５−２には、記憶装置２０４が接続され、情報を授受することができるようになされている。また、インタフェース２２５−３には、外部映像記録再生装置２０５−１乃至２０５−ｍが接続され、情報を授受することができるようになされている。ＨＤＤ２２６は、ハードディスクをドライブし、各種情報を記憶することができるようになされている。

映像特殊効果音声ミキシング処理部２２７は、信号処理部２２８、並びに、記憶装置２０４および映像記録再生装置２０５−１乃至２０５−ｍとも接続され、記憶装置２０４および映像記録再生装置２０５−１乃至２０５−ｍのいずれかから供給された、または、バス２２４を介して、ＨＤＤ２２６から供給された映像信号に特殊効果を施したり、音声をミキシングするなどして、信号処理部２２８に供給させて出力させたり、記憶装置２０４および映像記録再生装置２０５−１乃至２０５−ｍのうちのいずれかに供給させて保存させる。

信号処理部２２８は、ディスプレイ２２９およびスピーカ２３０とも接続され、例えば、映像特殊効果音声ミキシング処理部２２７などから供給された映像信号を、ディスプレイ２２９に供給して表示させたり、音声信号を、スピーカ２３０に供給して音声出力させる。

ディスプレイ２２９は、例えば、CRT（Cathode Ray Tube)、LCD（Liquid Crystal display）などよりなり、信号処理部２２８から供給される映像を表示する。スピーカは、信号処理部２２８から供給される音声を再生出力する。

バス２２４にはまた、必要に応じてドライブ２３１が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア２０６が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてＨＤＤ２２６にインストールされる。

図９を用いて説明したパーソナルコンピュータ２０１において、ソフトウェアにより、本発明を適用した処理が実行される場合の機能の一例について説明するための機能ブロック図を図１０に示す。

なお、図２、図６または図９における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

ＣＰＵ２２１が所定のプログラムを実行することによって、パーソナルコンピュータ２０１は、図２のビットストリーム解析部３２、デコーダ３４、および、エンコーダ３６、並びに、図６のデコード制御部６２、スイッチ６５、デコーダ６６、および、再生映像出力部５３と同等の機能を有する。

ＣＰＵ２２１は、マウス２０２またはキーボード２０３などの入力デバイスによって入力されたユーザの操作を基に、記憶装置２０４、外部映像記録再生装置２０５、または、ＨＤＤ２２６のうちのいずれかの領域に対応するビットストリーム記憶部２８１に記録されているビットストリームのうちのＩピクチャおよびＰピクチャを、参照画像用メモリ３５に対応するＲＡＭ２２３の領域を利用してデコードし、ＰピクチャのみをＩピクチャとしてエンコードすることにより、プロクシファイルを生成して、記憶装置２０４、外部映像記録再生装置２０５、または、ＨＤＤ２２６のうちのいずれかの領域に対応するプロクシファイル記憶部３７に記憶させる。

更に、ＣＰＵ２２１は、Ｐピクチャに対応する非圧縮ベースバンド画像データがフレーム内符号化によりＩピクチャとしてエンコードされてＩピクチャが生成されるごとに、生成されたＩピクチャに関する符号化情報として、ピクチャサイズ（Proxy File Picture Size）と、それらのフレームのアドレス（Proxy File Address）とを、プロクシインデックスとしてプロクシインデックス記憶部３８に対応するＲＡＭ２２３の領域に保存させるとともに、ビットストリームを解析し、プロクシインデックス記憶部３８に保存されていたプロクシインデックスを取得して、図３を用いて説明したインデックスファイルを生成し、記憶装置２０４、外部映像記録再生装置２０５、または、ＨＤＤ２２６のうちのいずれかの領域に対応するインデックスファイル記憶部３３に記憶させる。

そして、ＣＰＵ２２１は、マウス２０２またはキーボード２０３などの入力デバイスによって入力されたユーザの操作を基に、再生出力させるフレームの指令を受け、記憶装置２０４、外部映像記録再生装置２０５、または、ＨＤＤ２２６のうちのいずれかの領域に対応するインデックスファイル記憶部３３に記憶されているインデックスファイルを参照して、図７および図８を用いて説明した場合と同様にして、参照画像用メモリ６７に対応するＲＡＭ２２３の領域を利用してデコードを実行する。

具体的には、ＣＰＵ２２１のデコード制御部６２は、再生出力されるフレームがオリジナルのビットストリームにおけるＩピクチャである場合、ビットストリーム記憶部３８１に記憶されているビットストリームのうちの対応するＩピクチャを、デコーダ６６に供給してデコードさせる。そして、ＣＰＵ２２１のデコード制御部６２は、再生出力されるフレームがオリジナルのビットストリームにおけるＰピクチャである場合、プロクシファイル記憶部３７に記憶されているプロクシファイルのうちの対応するＩピクチャを、デコーダ６６に供給してデコードさせる。また、ＣＰＵ２２１のデコード制御部６２は、再生出力されるフレームがオリジナルのビットストリームにおけるＢピクチャである場合、ビットストリーム記憶部３８１に記憶されているビットストリームのうち再生されるＢピクチャの前後のＩピクチャ、または、プロクシファイル記憶部３７に記憶されているプロクシファイルのうち再生されるＢピクチャの前後のＰピクチャに対応するＩピクチャを、デコーダ６６に供給してデコードさせて、参照画像用メモリ６７に対応するＲＡＭ２２３の領域に記憶させ、それらを参照画像として、オリジナルのビットストリームにおける再生されるＢピクチャをデコーダ６６に供給してデコードさせる。

そして、デコードされたフレーム画像データは、ＣＰＵ２２１の再生映像出力部５３により各種処理が施されて、ディスプレイ２２９に出力されて表示される。

次に、図１１のフローチャートを参照して、図１の再生装置１のうちの図２を用いて説明した変換部１１、または、図９および図１０を用いて説明したパーソナルコンピュータのＣＰＵ２２１において実行されるプロクシファイル生成処理１について説明する。

ステップＳ１において、ビットストリーム取得部３１（ＣＰＵ２２１）は、オリジナルのビットストリームを取得し、ビットストリーム解析部３２（ＣＰＵ２２１のビットストリーム解析部３２）に供給する。

ステップＳ２において、ビットストリーム解析部３２（ＣＰＵ２２１のビットストリーム解析部３２）は、供給されたオリジナルのビットストリームのうちの１ピクチャを読み込む。

ステップＳ３において、ビットストリーム解析部３２（ＣＰＵ２２１のビットストリーム解析部３２）は、読み込んだピクチャを解析する。すなわち、ビットストリーム解析部３２は、図３を用いて説明したインデックスファイルのうちの対応するピクチャの情報を取得する。

ステップＳ４において、ビットストリーム解析部３２（ＣＰＵ２２１のビットストリーム解析部３２）は、読み込んだピクチャは、ＩピクチャまたはＰピクチャであるか否かを判断する。ステップＳ４において、ＩピクチャまたはＰピクチャではない、すなわち、Ｂピクチャであると判断された場合、処理は、後述するステップＳ１０に進む。

ステップＳ４において、ＩピクチャまたはＰピクチャであると判断された場合、ステップＳ５において、ビットストリーム解析部３２（ＣＰＵ２２１のビットストリーム解析部３２）は、読み込んだＩピクチャまたはＰピクチャをデコーダ３４に供給する。デコーダ３４は、供給されたＩピクチャまたはＰピクチャをデコードして、参照画像用メモリ３５に格納する。

ステップＳ６において、デコーダ３４（ＣＰＵ２２１のデコーダ３４）は、デコードされたピクチャは、Ｐピクチャであるか否かを判断する。ステップＳ６において、デコードされたピクチャは、Ｐピクチャではない、すなわち、Ｉピクチャであると判断された場合、処理は、後述するステップＳ１０に進む。

ステップＳ６において、デコードされたピクチャは、Ｐピクチャであると判断された場合、ステップＳ７において、デコーダ３４（ＣＰＵ２２１のデコーダ３４）は、デコードしたＰピクチャに対応する非圧縮画像フレームをエンコーダ３６（ＣＰＵ２２１のエンコーダ３６）に供給する。エンコーダ３６は、供給された非圧縮画像フレームをＩピクチャとしてエンコードし、プロクシファイル記憶部３７（記憶装置２０４、外部映像記録再生装置２０５、または、ＨＤＤ２２６のうちのいずれかの領域に対応するプロクシファイル記憶部３７）に供給する。

ステップＳ８において、プロクシファイル記憶部３７（記憶装置２０４、外部映像記録再生装置２０５、または、ＨＤＤ２２６のうちのいずれかの領域に対応するプロクシファイル記憶部３７）は、エンコードされて生成されたＩピクチャにより構成されるプロクシファイルを記憶する。

ステップＳ９において、エンコーダ３６は、生成されたＩピクチャに関する符号化情報として、ピクチャサイズ（Proxy File Picture Size）と、それらのフレームのアドレス（Proxy File Address）とのインデックス情報、すなわち、プロクシインデックスを、プロクシインデックス記憶部３８に供給する。プロクシインデックス記憶部３８は、該当するピクチャのプロクシインデックスを記憶する。

ステップＳ４において、読み込んだピクチャはＩピクチャまたはＰピクチャではない、すなわち、Ｂピクチャであると判断された場合、ステップＳ６において、デコードされたピクチャは、Ｐピクチャではない、すなわち、Ｉピクチャであると判断された場合、または、ステップＳ９の処理の終了後、ステップＳ１０において、ビットストリーム解析部３２（ＣＰＵ２２１）は、全てのピクチャの処理が終了したか否かを判断する。ステップＳ１０において、全てのピクチャの処理が終了していないと判断された場合、処理は、ステップＳ２に戻り、それ以降の処理が繰り返される。

ステップＳ１０において、全てのピクチャの処理が終了したと判断された場合、ステップＳ１１において、ビットストリーム解析部３２（ＣＰＵ２２１のビットストリーム解析部３２）は、それぞれのピクチャの解析結果と、プロクシインデックス記憶部３８に記憶されている、エンコーダ３６によってＩピクチャとしてエンコードされたフレーム、すなわち、ＰピクチャからＩピクチャに変換されたフレームのピクチャサイズ（Proxy File Picture Size）とアドレス（Proxy File Address）を基に、図３を用いて説明したインデックスファイルを生成し、インデックスファイル記憶部３３（記憶装置２０４、外部映像記録再生装置２０５、または、ＨＤＤ２２６のうちのいずれかの領域に対応するインデックスファイル記憶部３３）に供給して記憶させ、処理が終了される。

このような処理により、オリジナルのビットストリームにおけるＰピクチャがデコードされたのち、Ｉピクチャとしてエンコードされることによって生成されたＩピクチャによるプロクシファイルと、オリジナルのビットストリームおよびプロクシファイルに含まれるＩピクチャ（オリジナルのビットストリームではＰピクチャ）に関する情報が記載されたインデックスファイルとが生成される。

次に、図１２のフローチャートを参照して、図１の再生装置１のうちの図６を用いて説明した再生部１２、または、図９および図１０を用いて説明したパーソナルコンピュータのＣＰＵ２２１において実行されるランダム再生処理１について説明する。

ステップＳ４１において、ビットストリーム取得部６３（ＣＰＵ２２１）は、オリジナルのビットストリームを取得し、プロクシファイル取得部６４（ＣＰＵ２２１）は、変換部１１において生成されたプロクシファイルを取得し、インデックスファイル取得部６１（ＣＰＵ２２１）は、変換部１１において生成されたインデックスファイルを取得する。

ステップＳ４２において、デコード制御部６２（ＣＰＵ２２１のデコード制御部６２）は、操作入力取得部５１により取得されたユーザの操作入力を基に、次に再生される１ピクチャ分のインデックスデータを読み込む。

ステップＳ４３において、デコード制御部６２（ＣＰＵ２２１のデコード制御部６２）は、次に再生されるピクチャは、Ｂピクチャであるか否かを判断する。

ステップＳ４３において、次に再生されるピクチャはＢピクチャではない、すなわち、ＩピクチャまたはＰピクチャであると判断された場合、ステップＳ４４において、デコード制御部６２（ＣＰＵ２２１のデコード制御部６２）は、次に再生されるピクチャは、オリジナルストリームにおけるＰピクチャであるか否かを判断する。

ステップＳ４４において、次に再生されるピクチャはオリジナルストリームにおけるＰピクチャであると判断された場合、ステップＳ４５において、デコード制御部６２（ＣＰＵ２２１のデコード制御部６２）は、スイッチ６５（ＣＰＵ２２１のスイッチ６５）を制御して、プロクシファイル取得部６４により取得されたプロクシファイルに含まれるＩピクチャ、すなわち、オリジナルストリームのＰピクチャに対応するＩピクチャをデコーダ６６（ＣＰＵ２２１のデコーダ６６）に供給する。デコーダ６６は、供給されたＩピクチャをデコードし、再生映像出力部５３（ＣＰＵ２２１の再生映像出力部５３）に供給して出力させ、処理は、後述するステップＳ５０に進む。

ステップＳ４４において、次に再生されるピクチャはオリジナルストリームにおけるＰピクチャではない、すなわち、オリジナルストリームにおけるＩピクチャであると判断された場合、ステップＳ４６において、デコード制御部６２（ＣＰＵ２２１のデコード制御部６２）は、スイッチ６５を制御して、ビットストリーム取得部６３により取得されたオリジナルのビットストリームのうち、対応するＩピクチャをデコーダ６６に供給する。デコーダ６６は、供給されたＩピクチャをデコードし、再生映像出力部５３（ＣＰＵ２２１の再生映像出力部５３）に供給して出力させ、処理は、後述するステップＳ５０に進む。

ステップＳ４３において、次に再生されるピクチャはＢピクチャであると判断された場合、ステップＳ４７において、デコード制御部６２（ＣＰＵ２２１のデコード制御部６２）は、インデックスファイル取得部６１により取得されたインデックスファイルを参照して、デコードするべきＢピクチャの前後のオリジナルのビットストリームＩピクチャ、または、プロクシファイルのＩピクチャを、スイッチ６５を制御して、デコーダ６６に供給する。デコーダ６６は、供給されたＩピクチャを読み込む。

ステップＳ４８において、デコーダ６６（ＣＰＵ２２１のデコーダ６６）は、読み込まれたＩピクチャをデコードして、参照画像用メモリ６７（ＲＡＭ２２３の参照画像用メモリ６７に対応する領域）に格納する。

ステップＳ４９において、デコード制御部６２（ＣＰＵ２２１のデコード制御部６２）は、スイッチ６５を制御して、ビットストリーム取得部６３により取得されたオリジナルのビットストリームのうち、再生するべきＢピクチャをデコーダ６６に供給する。デコーダ６６は、供給されたＢピクチャを、参照画像用メモリ６７に格納されている参照画像を参照してデコードし、再生映像出力部５３（ＣＰＵ２２１の再生映像出力部５３）に供給して出力させる。

ステップＳ４５、ステップＳ４６、または、ステップＳ４９の処理の終了後、ステップＳ５０において、デコード制御部６２（ＣＰＵ２２１のデコード制御部６２）は、再生の指令を受けた全てのピクチャの処理が終了したか否かを判断する。ステップＳ５０において、再生の指令を受けた全てのピクチャの処理が終了していないと判断された場合、処理は、ステップＳ４２に戻り、それ以降の処理が繰り返される。ステップＳ５０において、再生の指令を受けた全てのピクチャの処理が終了したと判断された場合、処理は終了される。

このような処理により、ＰピクチャやＢピクチャをデコードするためにかかる時間は、図７および図８を用いて説明した様に、従来における場合よりも短縮される。

このように、本発明を適用した再生装置１は、圧縮されたビットストリームの供給を受け、これを解析してインデックスファイルを生成するとともに、ＰピクチャをＩピクチャに変換してプロクシファイルを生成する変換部１１と、圧縮されたビットストリーム、インデックスファイル、および、プロクシファイルを基に、ユーザの操作入力にしたがって、所定のフレームのデコード処理を高速に実現する再生部１２とで構成されている。

また、本発明を適用したパーソナルコンピュータ２０１は、所定のプログラムを実行することによって、図１の再生装置１と同様の変換部１１および再生部１２の機能を有することができる。

変換部１１においては、供給されたオリジナルのビットストリームから、ＩピクチャとＰピクチャのみがデコードされて、Ｐピクチャに対応するフレームのみが、再度、Ｉピクチャとしてエンコードされることにより、プロクシファイルが生成される。

そのとき、生成されるプロクシファイルのＩピクチャのデータレートは、固定レートであっても良いし、オリジナルのビットストリームの対応するＧＯＰの先頭のＩピクチャのフレームレートに応じて変動させても（可変レートとしても）良い。

そして、変換部１１において生成されるインデックスファイルには、オリジナルのビットストリームのデコードに必要な情報のみならず、プロクシファイルに含まれるＩピクチャ、すなわち、オリジナルのビットストリームにおいてＰピクチャであったフレームが、Ｉピクチャとしてエンコードされたフレームに関するピクチャサイズやアドレスなどの情報が含まれる。

再生部１２においては、インデックスファイルが参照されて、オリジナルのビットストリームにおけるＩピクチャをデコードして再生出力する場合には、オリジナルのビットストリームの対応するＩピクチャがデコードされ、オリジナルのビットストリームにおけるＰピクチャをデコードして再生出力する場合には、プロクシファイルの対応するＩピクチャ（オリジナルのビットストリームにおけるＰピクチャ）がデコードされ、オリジナルのビットストリームにおけるＢピクチャをデコードして再生出力する場合には、再生出力されるＢピクチャの前後のオリジナルのビットストリームのＩピクチャ、または、プロクシファイルのＩピクチャ（オリジナルのビットストリームにおけるＰピクチャ）がデコードされて参照画像として用いられ、オリジナルのビットストリームのＢピクチャがデコードされるようになされている。

これにより、ランダム生成におけるデコード時間を短縮することが可能となる。

また、上述したように、ＰピクチャをIピクチャに変換するＰＩ変換を行い、変換前のストリームと変換された部分とを切り替えながらデコード処理に用いるようにすることにより、デコード時間を短縮しランダムアクセス性能を向上することが出来る。しかしながら、編集や再生を行う前に、元々のストリームのうちＰピクチャの部分をＩピクチャに変換する処理のために時間がかかってしまう。例えば、１GOPが１５フレームのストリームのうちＰピクチャが５フレームあったとすると、その５フレーム分を全てデコードして、Iピクチャに変換する（デコードした後再エンコードする）ための時間がかかってしまう。

そこで、図２のビットストリーム解析部３２は、ＰＩ変換を行うときに、全てのＰピクチャをIピクチャに変換するのではなく、必要に応じて、一部のＰピクチャのみをＩピクチャに変換してプロクシファイルを生成して記憶するように、デコーダ３４、エンコーダ３６、プロクシファイル記憶部３７を制御するようにしてもよい。

ＰＩ変換を行う処理時間は、Iピクチャに変換する（デコードした後再エンコードする）Ｐピクチャの個数に依存するため、変換するピクチャの枚数を減らすことができれば、処理時間（プロクシファイルの生成時間）を短縮することができる。ビットストリーム解析部３２は、変換後のストリームをデコードするのに必要な最長フレーム数がデコーダの能力を超えないことを、変換するピクチャの枚数を決定するための判断基準とすると好適である。変換後のストリームをデコードするのに必要な最長フレーム数（以下、デコード可能フレーム数とも称する）は、例えば、再生モードがスクラブ再生であるか、通常再生であるかによっても異なる。

具体的には、デコード可能フレーム数は、例えば、予め設定されて（フレーム数が直接指定されて）いてもよいし、上位アプリケーションにより指定されるようになされていてもよい。例えば、デコード可能フレーム数は、デコード処理に用いられるデコーダやCPUの数やクロック周波数によって、設定されるようにしてもよい。このような場合、ビットストリーム解析部３２は、デコード可能フレーム数を算出する必要は無く、指定されるデコード可能フレーム数を取得するようにすればよい。

これに対して、例えば、上位アプリケーションからデコード処理に与えることができる時間配分Ｔ（例えば、20ms）のみが指定された場合には、ビットストリーム解析部３２は、デコード可能フレーム数を算出する必要がある。

また、このとき、ビットストリーム解析部３２は、変換するＰピクチャができるだけ連続しないようにＩピクチャに変換されるＰピクチャを選択するようにすると、デコード可能フレーム数に対するＩピクチャに変換されるＰピクチャの数が少なくなるため、好適である。

図１３を参照して、１ＧＯＰ１５フレーム、Ｐピクチャの数Ｎ＝４の場合（ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ）におけるＰＩ変換のバリエーションについて説明する。

例えば、ＰＩ変換を行わなかった場合、有効なシーケンス（Ｂピクチャを除くＩピクチャおよびＰピクチャの５フレームのピクチャタイプ）は、ＩＰＰＰＰとなり、最長デコード時間は、Open GOPであり、かつ、ストリームの先頭のＧＯＰではない場合の、ストリームオーダにおいてＩピクチャに続く２枚のＢピクチャ（例えば、図７や図８におけるＢ０Ｂ１）をデコードする場合の７フレーム分のデコードにかかる時間となる。

そして、上述したように、４枚のＰピクチャをすべてＰＩ変換した場合、有効なシーケンスは、ＩＩＩＩＩとなり、最長デコード時間は、いずれかのＢピクチャをデコードする場合の３フレーム分のデコードにかかる時間となる。

これに対して、変換する対象のＰピクチャを全て変換するのでなく、一定数に減らすことにより、ランダムデコードの最長デコード時間が、図１３に示されるように変動する。すなわち、４枚のＰピクチャのうちの１枚のみをＰＩ変換した場合、変換するＰピクチャができるだけ連続しないようにＩピクチャに変換されるＰピクチャを選択することにより、有効なシーケンスは、ＩＰＩＰＰまたはＩＰＰＩＰとなり、最長デコード時間は、５フレーム分のデコードにかかる時間となる。また、４枚のＰピクチャのうちの２枚のみをＰＩ変換した場合、変換するＰピクチャができるだけ連続しないようにＩピクチャに変換されるＰピクチャを選択することにより、有効なシーケンスは、ＩＰＩＩＰ、ＩＩＰＩＰ、または、ＩＰＩＰＩとなり、最長デコード時間は、４フレーム分のデコードにかかる時間となる。

なお、４枚のＰピクチャのうちの１枚のみをＰＩ変換した場合、および、４枚のＰピクチャのうちの２枚のみをＰＩ変換した場合において、最長デコード時間が短くなるのは、変換するＰピクチャができるだけ連続しないようにＩピクチャに変換されるＰピクチャを選択した場合、すなわち、図１３に示される有効なシーケンスにおける場合のみであり、例えば２ピクチャをＰＩ変換する場合であれば、変換後のシーケンスにおいてＰピクチャが２フレーム連続しないように変換されるＰピクチャを選んだ場合であり、１ピクチャをＰＩ変換する場合であれば、変換後のシーケンスにおいてＰピクチャが３フレーム連続しないように変換されるＰピクチャを選んだ場合である。

次に、図１４乃至図１８を参照して、変換する対象のＰピクチャを全て変換するのでなく、一定数に減らした場合の具体的なデコード処理について説明する。

図１４を参照して、４枚のＰピクチャのうちの１枚のみをＰＩ変換し、有効シーケンスをＩＰＩＰＰとした場合のデコード処理について説明する。

図１４Ａに示されるように、ディスプレイオーダにおいて、Ｂ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５，Ｂ６，Ｂ７，Ｐ８，Ｂ９・・・と並んでいる１５枚のフレームに含まれる４枚のＰピクチャのうちのＰ８ピクチャをＩピクチャに変換して、プロクシファイルとしてＩ８ピクチャを用意した場合、デコード時間が最長になるのはＢ０またはＢ１をデコードする場合であり、そのときにデコードする必要があるのは、図１４Ｂに示されるように、参照画像であるＩ８，Ｐ１１，Ｐ１４，Ｉ２に加えて、Ｂ０またはＢ１（図１４Ｂにおいては、Ｂ０と図示されている）の５ピクチャ分である。

次に、図１５を参照して、同様に４枚のＰピクチャのうちの１枚のみをＰＩ変換し、有効シーケンスをＩＰＰＩＰとした場合のデコード処理について説明する。

図１５Ａに示されるように、ディスプレイオーダにおいて、Ｂ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５，Ｂ６，Ｂ７，Ｐ８，Ｂ９・・・と並んでいる１５枚のフレームに含まれる４枚のＰピクチャのうちのＰ１１ピクチャをＩピクチャに変換して、プロクシファイルとしてＩ１１ピクチャを用意した場合、デコード時間が最長になるのはＢ９またはＢ１０をデコードする場合であり、そのときにデコードする必要があるのは、図１５Ｂに示されるように、参照画像であるＩ２，Ｐ５，Ｐ８，Ｉ１１に加えて、Ｂ９またはＢ１０（図１５Ｂにおいては、Ｂ９と図示されている）の５ピクチャ分である。

なお、４枚のＰピクチャのうちの１枚のみをＰＩ変換した全ての場合において最長デコード時間が５ピクチャ分になるわけでない。すなわち、最長デコード時間が５ピクチャ分になるのは、図１４および図１５に示されるように、変換後のＰピクチャが３枚連続しないようにした場合のみである。それ以外の場合、例えば、変換後のシーケンスがＩＩＰＰＰとなった場合やＩＰＰＰＩとなった場合などは、最長デコード時間が６ピクチャ分必要なケースが発生してしまい、ＰＩ変換の効果が減少してしまう。

次に、図１６を参照して、４枚のＰピクチャのうちの２枚をＰＩ変換し、有効シーケンスをＩＰＩＩＰとした場合のデコード処理について説明する。

図１６Ａに示されるように、ディスプレイオーダにおいて、Ｂ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５，Ｂ６，Ｂ７，Ｐ８，Ｂ９・・・と並んでいる１５枚のフレームに含まれる４枚のＰピクチャのうちのＰ８ピクチャおよびＰ１１ピクチャをＩピクチャに変換して、プロクシファイルとしてＩ８ピクチャおよびＩ１１ピクチャを用意した場合、デコード時間が最長になるのはＢ６またはＢ７、もしくは、Ｂ０またはＢ１をデコードする場合であり、そのときにデコードする必要があるのは、図１６Ｂに示されるように、参照画像であるＩ２，Ｐ５，Ｉ８に加えて、Ｂ６またはＢ７（図１６Ｂにおいては、Ｂ６と図示されている）の４ピクチャ分となるか、参照画像であるＩ１１，Ｐ１４，Ｉ２に加えて、Ｂ０またはＢ１（図１６Ｂにおいては、Ｂ０と図示されている）の４ピクチャ分となる。

同様に、図１７は、４枚のＰピクチャのうちの２枚をＰＩ変換し、有効シーケンスをＩＩＰＩＰとした場合のデコード処理について説明するための図であり、図１８は、４枚のＰピクチャのうちの２枚をＰＩ変換し、有効シーケンスをＩＰＩＰＩとした場合のデコード処理について説明するための図である。

図１７Ａに示されるように、ディスプレイオーダにおいて、Ｂ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５，Ｂ６，Ｂ７，Ｐ８，Ｂ９・・・と並んでいる１５枚のフレームに含まれる４枚のＰピクチャのうちのＰ５ピクチャおよびＰ１１ピクチャをＩピクチャに変換して、プロクシファイルとしてＩ５ピクチャおよびＩ１１ピクチャを用意した場合、デコード時間が最長になるのはＢ９またはＢ１０、もしくは、Ｂ０またはＢ１をデコードする場合であり、そのときにデコードする必要があるのは、図１７Ｂに示されるように、参照画像であるＩ５，Ｐ８，Ｉ１１に加えて、Ｂ９またはＢ１０（図１７Ｂにおいては、Ｂ９と図示されている）の４ピクチャ分となるか、参照画像であるＩ１１，Ｐ１４，Ｉ２に加えて、Ｂ０またはＢ１（図１７Ｂにおいては、Ｂ０と図示されている）の４ピクチャ分となる。

また、図１８Ａに示されるように、ディスプレイオーダにおいて、Ｂ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５，Ｂ６，Ｂ７，Ｐ８，Ｂ９・・・と並んでいる１５枚のフレームに含まれる４枚のＰピクチャのうちのＰ８ピクチャおよびＰ１４ピクチャをＩピクチャに変換して、プロクシファイルとしてＩ８ピクチャおよびＩ１４ピクチャを用意した場合、デコード時間が最長になるのはＢ６またはＢ７、もしくは、Ｂ１２またはＢ１３をデコードする場合であり、そのときにデコードする必要があるのは、図１８Ｂに示されるように、参照画像であるＩ２，Ｐ５，Ｉ８に加えて、Ｂ６またはＢ７（図１８Ｂにおいては、Ｂ６と図示されている）の４ピクチャ分となるか、参照画像であるＩ８，Ｐ１１，Ｉ１４に加えて、Ｂ１２またはＢ１３（図１８Ｂにおいては、Ｂ１２と図示されている）の４ピクチャ分となる。

なお、この場合においても同様に、４枚のＰピクチャのうちの２枚をＰＩ変換した全ての場合において最長デコード時間が４ピクチャ分になるわけでない。すなわち、最長デコード時間が４ピクチャ分になるのは、図１６乃至図１８に示されるように、変換後のＰピクチャが２枚連続しないようにした場合のみである。それ以外の場合、例えば、変換後のシーケンスがＩＩＰＰＩとなった場合やＩＰＰＩＩとなった場合などは、ＰＩ変換の効果が減少してしまう。

また、図１４乃至図１８においては、ＩピクチャまたはＰピクチャの間のＢピクチャの数がそれぞれ２である場合について説明したが、ＩピクチャまたはＰピクチャの間のＢピクチャの数が２以上のいかなる数であっても、連続するＢピクチャのデコードのために必要となる参照画像の枚数は同一であるので、それぞれの場合における最長デコード時間は同様であることは言うまでもない。

次に、図１９のフローチャートを参照して、変換するＰピクチャの設定処理について説明する。

ステップＳ８１において、図２０を用いて後述するデコード可能フレーム数算出処理が実行されて、デコード可能フレーム数が求められる。

なお、変換部１１のビットストリーム解析部３２は、例えば、デコード可能フレーム数が、予め定められていたり、上位アプリケーションから指定されるようになされている場合、ステップＳ８１においてデコード可能フレーム数算出処理を実行することなく、予め定められている、または、上位アプリケーションから指定されるデコード可能フレーム数を取得するようにすればよい。

ステップＳ８２において、変換部１１のビットストリーム解析部３２は、ビットストリーム取得部３１により取得されるビットストリームの１ＧＯＰ中のＰピクチャの数をＮ、デコード可能フレーム数をＸとして、Ｎ＋３＞Ｘであるか否かを判断する。

ステップＳ８２において、Ｎ＋３＞Ｘではないと判断された場合、ステップＳ８３において、ビットストリーム解析部３２は、ＰＩ変換を行わないものとして、処理が終了される。

Ｎ＋３≦Ｘである場合、ＰＩ変換を行わないビットストリームにおいて最もデコード時間がかかってしまうフレームのデコード処理のために必要となる時間は、デコード可能フレーム数Ｘをデコードするために必要となる時間よりも短い。すなわち、このような場合は、ＰＩ変換を行う必要がない。

ステップＳ８２において、Ｎ＋３＞Ｘであると判断された場合、換言すれば、ＰＩ変換を行わないビットストリームにおいて最もデコード時間がかかってしまうフレームのデコード処理のために必要となる時間は、デコード可能フレーム数Ｘをデコードするために必要となる時間よりも長いと判断された場合、ステップＳ８４において、ビットストリーム解析部３２は、ＰＩ変換後のシーケンスにおいてデコード処理が間に合うＰピクチャの最大連続数であるＰＩスキップ数Ｓを、仮に、Ｘ−３とする。

ステップＳ８５において、ビットストリーム解析部３２は、Ｓ＝Ｘ−３である場合において、Ｎ／Ｓ＞１であるか否かを判断する。

ステップＳ８５において、Ｎ／Ｓ＞１であると判断された場合、ステップＳ８６において、ビットストリーム解析部３２は、ＰＩスキップ数Ｓを、Ｘ−３とする。

ステップＳ８５において、Ｎ／Ｓ＞１ではないと判断された場合、ステップＳ８７において、ビットストリーム解析部３２は、ＰＩスキップ数Ｓを、Ｎ／２（ただし、整数でない場合は、近い値の整数）とする。

ステップＳ８６またはステップＳ８７の処理の終了後、ステップＳ８８において、ビットストリーム解析部３２は、ＰＩスキップ数Ｓを基に、変換するＰピクチャを設定し、処理が終了される。

このような処理により、デコード可能フレーム数と１ＧＯＰ中のＰピクチャの数を基に、ＰＩ変換後のシーケンスにおいてデコード処理が間に合うＰピクチャの最大連続数であるＰＩスキップ数が求められ、これを基に、Ｉピクチャに変換されるＰピクチャが設定される。このようにして、ＰＩ変換されるＰピクチャの数をできるだけ減少させた場合、すべてのＰピクチャをＩピクチャに返還する場合と比較して、プロクシファイルを生成するための時間を削減することが可能となる。Ｉピクチャに変換されるＰピクチャの具体的な設定の例については、図２１を用いて後述する。

次に、図２０のフローチャートを参照して、図１９のステップＳ８１において実行されるデコード可能フレーム数算出処理について説明する。

ステップＳ１０１において、ビットストリーム解析部３２は、例えば、１秒間３０フレームや１秒間１５フレームなど、単位時間当たりの表示フレーム数を設定する。

ステップＳ１０２において、ビットストリーム解析部３２は、１フレーム表示サイクルのうち、他の処理に使う時間を引いて、１フレームの表示に対してデコード処理に与えられる時間Ｔを設定する。

具体的には、例えば、デコード以外の処理に１フレームあたり１３ｍｓ使われるとすると、１秒３０フレーム表示の場合、１/３０＝３３ｍｓ，３３-１３＝２０ｍｓとなり、２０ｍｓが１フレームの表示に対してデコード処理に与えられる時間Ｔと設定され、１秒１５フレーム表示の場合、１／１５＝６６ｍｓ，６６−１３＝５３ｍｓとなり、５３ｍｓが１フレームの表示に対してデコード処理に与えられる時間Ｔと設定される。

ステップＳ１０３において、ビットストリーム解析部３２は、デコード対象ストリームを１ＧＯＰ以上デコードし、平均１フレームデコード時間Ａを計測する。

そして、ステップＳ１０４において、ビットストリーム解析部３２は、Ｔ÷Ａを演算し、Ｔ÷Ａ以下の整数の最大値をデコード可能フレーム数Ｘとし、処理は、図１９のステップＳ８１に戻り、ステップＳ８２に進む。

このような処理により、デコード可能フレーム数Ｘが算出され、ＰＩ変換されるＰピクチャの設定に用いられる。

図２１を用いて、１ＧＯＰに含まれるＰピクチャの数ＮがＮ＝１１である場合におけるデコード可能フレーム数Ｘと、ＰＩスキップ数Ｓとの関係、および、Ｉピクチャに変換されるＰピクチャの設定について説明する。

例えば、Ｘ＝４，Ｓ＝１の場合、ＰＩ変換後のＰピクチャは連続して存在してはいけないため、ＰＩ変換後のシーケンスは、ＩＰＩＰＩＰＩＰＩＰＩＰとなる。また、例えば、Ｘ＝５，Ｓ＝２の場合、ＰＩ変換後のＰピクチャは２枚しか連続させることができないため、ＰＩ変換後のシーケンスは、ＩＰＰＩＰＰＩＰＰＩＰＰとなる。また、例えば、Ｘ＝６，Ｓ＝３の場合、ＰＩ変換後のＰピクチャは３つまでしか連続させることができないため、ＰＩ変換後のシーケンスは、ＩＰＰＰＩＰＰＰＩＰＰＰとなる。

また、例えば、Ｘ＝７，Ｓ＝４の場合、ＰＩ変換後のＰピクチャは４枚まで連続させることができるため、ＰＩ変換後のシーケンスは、単純には、ＩＰＰＰＰＩＰＰＰＰＩＰとしてもよく、Ｐピクチャの連続数が４枚以下で、かつ、Ｉピクチャへの変換数が２枚以下であれば、これ以外のシーケンス（例えば、ＩＰＰＰＰＩＰＰＰＩＰＰなど）としてもよい。ただし、連続するＰピクチャの数は、できるだけ少ないほうが好ましいため、Ｘ＝７，Ｓ＝４における場合は、Ｘ＝６，Ｓ＝３における場合と同様にして、有効シーケンスをＩＰＰＰＩＰＰＰＩＰＰＰとしたほうが、ＰＩ変換されるピクチャ数が同一であって最長のデコード時間をより短縮することができ、好適である。

また、例えば、Ｘ＝８，Ｓ＝５の場合、ＰＩ変換後のＰピクチャは５枚まで連続させることができるため、ＰＩ変換後のシーケンスは、ＩＰＰＰＰＰＩＰＰＰＰＰとなる。更に、例えば、Ｘ＝９，Ｓ＝５の場合、上述したステップＳ８５において、Ｎ／Ｓ＞１であると判断されるので、ビットストリーム解析部３２は、ＰＩスキップ数Ｓを、Ｎ／２（ただし、整数でない場合は、近い値の整数）よりＳ＝５とする。なお、１４（＝Ｎ＋３）＞Ｘ≧１０の場合においても、上述したステップＳ８５においてＮ／Ｓ＞１であると判断されるので、ビットストリーム解析部３２は、ＰＩスキップ数ＳをＳ＝５とする。このとき、ＰＩ変換後のシーケンスは、ＩＰＰＰＰＰＩＰＰＰＰＰとなる。

また、Ｘ≧１４（＝Ｎ＋３）である場合、ＰＩ変換の必要はないと判断される。

次に、図２２のフローチャートを参照して、図１の再生装置１のうちの図２を用いて説明した変換部１１、または、図９および図１０を用いて説明したパーソナルコンピュータのＣＰＵ２２１において実行されるプロクシファイル生成処理２について説明する。

ステップＳ１３１乃至ステップＳ１３６において、図１１を用いて説明したステップＳ１乃至ステップＳ６と同様の処理が実行される。

すなわち、ビットストリーム取得部３１（ＣＰＵ２２１）は、オリジナルのビットストリームを取得し、ビットストリーム解析部３２（ＣＰＵ２２１のビットストリーム解析部３２）に供給する。ビットストリーム解析部３２（ＣＰＵ２２１のビットストリーム解析部３２）は、供給されたオリジナルのビットストリームのうちの１ピクチャを読み込んで解析する。すなわち、ビットストリーム解析部３２は、図３を用いて説明したインデックスファイルのうちの対応するピクチャの情報を取得する。

そして、ビットストリーム解析部３２（ＣＰＵ２２１のビットストリーム解析部３２）は、読み込んだピクチャは、ＩピクチャまたはＰピクチャであるか否かを判断する。ＩピクチャまたはＰピクチャではない、すなわち、Ｂピクチャであると判断された場合、処理は、後述するステップＳ１４１に進む。

ＩピクチャまたはＰピクチャであると判断された場合、ビットストリーム解析部３２（ＣＰＵ２２１のビットストリーム解析部３２）は、読み込んだＩピクチャまたはＰピクチャをデコーダ３４に供給する。デコーダ３４は、供給されたＩピクチャまたはＰピクチャをデコードして、参照画像用メモリ３５に格納する。

そして、デコーダ３４（ＣＰＵ２２１のデコーダ３４）は、デコードされたピクチャは、Ｐピクチャであるか否かを判断する。デコードされたピクチャは、Ｐピクチャではない、すなわち、Ｉピクチャであると判断された場合、処理は、後述するステップＳ１４１に進む。

ステップＳ１３６において、デコードされたピクチャは、Ｐピクチャであると判断された場合、ステップＳ１３７において、デコーダ３４（ＣＰＵ２２１のデコーダ３４）は、ビットストリーム解析部３２の制御に基づいて、そのＰピクチャは、上述した、変換するＰピクチャの設定処理においてＩピクチャへ変換されると設定された、変換の必要なＰピクチャであるか否かを判断する。ステップＳ１３７において、変換の必要なＰピクチャではないと判断された場合、処理は、後述するステップＳ１４１に進む。

ステップＳ１３７において、変換の必要なＰピクチャであると判断された場合、ステップＳ１３８において、デコーダ３４（ＣＰＵ２２１のデコーダ３４）は、デコードしたＰピクチャに対応する非圧縮画像フレームをエンコーダ３６（ＣＰＵ２２１のエンコーダ３６）に供給する。エンコーダ３６は、供給された非圧縮画像フレームをＩピクチャとしてエンコードし、プロクシファイル記憶部３７（記憶装置２０４、外部映像記録再生装置２０５、または、ＨＤＤ２２６のうちのいずれかの領域に対応するプロクシファイル記憶部３７）に供給する。

ステップＳ１３９において、プロクシファイル記憶部３７（記憶装置２０４、外部映像記録再生装置２０５、または、ＨＤＤ２２６のうちのいずれかの領域に対応するプロクシファイル記憶部３７）は、エンコードされて生成されたＩピクチャにより構成されるプロクシファイルを記憶する。

ステップＳ１４０において、エンコーダ３６は、生成されたＩピクチャに関する符号化情報として、ピクチャサイズ（Proxy File Picture Size）と、それらのフレームのアドレス（Proxy File Address）とのインデックス情報、すなわち、プロクシインデックスを、プロクシインデックス記憶部３８に供給する。プロクシインデックス記憶部３８は、該当するピクチャのプロクシインデックスを記憶する。

ステップＳ１３４において、読み込んだピクチャはＩピクチャまたはＰピクチャではない、すなわち、Ｂピクチャであると判断された場合、ステップＳ１３６において、デコードされたピクチャは、Ｐピクチャではない、すなわち、Ｉピクチャであると判断された場合、ステップＳ１３７において、変換の必要なＰピクチャではないと判断された場合、または、ステップＳ１４０の処理の終了後、ステップＳ１４１において、ビットストリーム解析部３２（ＣＰＵ２２１）は、全てのピクチャの処理が終了したか否かを判断する。ステップＳ１４１において、全てのピクチャの処理が終了していないと判断された場合、処理は、ステップＳ１３２に戻り、それ以降の処理が繰り返される。

ステップＳ１４１において、全てのピクチャの処理が終了したと判断された場合、ステップＳ１４２において、ビットストリーム解析部３２（ＣＰＵ２２１のビットストリーム解析部３２）は、それぞれのピクチャの解析結果と、プロクシインデックス記憶部３８に記憶されている、エンコーダ３６によってＩピクチャとしてエンコードされたフレーム、すなわち、ＰピクチャからＩピクチャに変換されたフレームのピクチャサイズ（Proxy File Picture Size）とアドレス（Proxy File Address）を基に、図３を用いて説明したインデックスファイルを生成し、インデックスファイル記憶部３３（記憶装置２０４、外部映像記録再生装置２０５、または、ＨＤＤ２２６のうちのいずれかの領域に対応するインデックスファイル記憶部３３）に供給して記憶させ、処理が終了される。

このような処理により、オリジナルのビットストリームにおけるＰピクチャのうち、Ｉピクチャへ変換されると設定されたＰピクチャがデコードされたのち、Ｉピクチャとしてエンコードされることによって生成されたＩピクチャによるプロクシファイルと、オリジナルのビットストリームおよびプロクシファイルに含まれるＩピクチャ（オリジナルのビットストリームではＰピクチャ）に関する情報が記載されたインデックスファイルとが生成される。

次に、図２３のフローチャートを参照して、図１の再生装置１のうちの図６を用いて説明した再生部１２、または、図９および図１０を用いて説明したパーソナルコンピュータのＣＰＵ２２１において実行されるランダム再生処理２について説明する。

ステップＳ１７１乃至ステップＳ１７４において、図１２を用いて説明したステップＳ４１乃至ステップＳ４４と同様の処理が実行される。

すなわち、ビットストリーム取得部６３（ＣＰＵ２２１）は、オリジナルのビットストリームを取得し、プロクシファイル取得部６４（ＣＰＵ２２１）は、変換部１１において生成されたプロクシファイルを取得し、インデックスファイル取得部６１（ＣＰＵ２２１）は、変換部１１において生成されたインデックスファイルを取得する。

そして、デコード制御部６２（ＣＰＵ２２１のデコード制御部６２）は、操作入力取得部５１により取得されたユーザの操作入力を基に、次に再生される１ピクチャ分のインデックスデータを読み込み、次に再生されるピクチャは、Ｂピクチャであるか否かを判断する。Ｂピクチャではないと判断された場合、処理は、後述するステップＳ１７８に進む。

次に再生されるピクチャはＢピクチャではない、すなわち、ＩピクチャまたはＰピクチャであると判断された場合、デコード制御部６２（ＣＰＵ２２１のデコード制御部６２）は、次に再生されるピクチャは、オリジナルストリームにおけるＰピクチャであるか否かを判断する。オリジナルストリームにおけるＰピクチャではないと判断された場合、処理は、後述するステップＳ１７７に進む。

そして、ステップＳ１７４において、次に再生されるピクチャはオリジナルストリームにおけるＰピクチャであると判断された場合、ステップＳ１７５において、デコード制御部６２（ＣＰＵ２２１のデコード制御部６２）は、次に再生されるＰピクチャは、プロクシファイルの作成時にＩピクチャに変換されたＰピクチャであるか否かを判断する。

ステップＳ１７５において、次に再生されるＰピクチャは、プロクシファイルの作成時にＩピクチャに変換されたＰピクチャであると判断された場合、ステップＳ１７６において、デコード制御部６２（ＣＰＵ２２１のデコード制御部６２）は、スイッチ６５（ＣＰＵ２２１のスイッチ６５）を制御して、プロクシファイル取得部６４により取得されたプロクシファイルに含まれるＩピクチャ、すなわち、オリジナルストリームのＰピクチャに対応するＩピクチャをデコーダ６６（ＣＰＵ２２１のデコーダ６６）に供給する。デコーダ６６は、供給されたＩピクチャをデコードし、再生映像出力部５３（ＣＰＵ２２１の再生映像出力部５３）に供給して出力させ、処理は、後述するステップＳ１８１に進む。

ステップＳ１７４において、次に再生されるピクチャはオリジナルストリームにおけるＰピクチャではない、すなわち、オリジナルストリームにおけるＩピクチャであると判断された場合、または、ステップＳ１７５において、次に再生されるＰピクチャは、プロクシファイルの作成時にＩピクチャに変換されたＰピクチャではない（すなわち、プロクシファイルの作成時にＩピクチャに変換されていないＰピクチャである）と判断された場合、ステップＳ１７７において、デコード制御部６２（ＣＰＵ２２１のデコード制御部６２）は、スイッチ６５を制御して、ビットストリーム取得部６３により取得されたオリジナルのビットストリームのうち、対応するＩピクチャまたはＰピクチャをデコーダ６６に供給する。デコーダ６６は、供給されたＩピクチャまたはＰピクチャをデコードし、再生映像出力部５３（ＣＰＵ２２１の再生映像出力部５３）に供給して出力させ、処理は、後述するステップＳ１８１に進む。

なお、Ｐピクチャをデコードするために参照されるべきＰピクチャが、プロクシファイルの作成時にＩピクチャに変換されたＰピクチャである場合、参照画像として、プロクシファイルに含まれるＩピクチャが用いられることは、言うまでもない。

ステップＳ１７３において、次に再生されるピクチャはＢピクチャであると判断された場合、ステップＳ１７８において、デコード制御部６２（ＣＰＵ２２１のデコード制御部６２）は、インデックスファイル取得部６１により取得されたインデックスファイルを参照して、デコードするべきＢピクチャの前後のオリジナルのビットストリームＩピクチャ、または、Ｐピクチャ、もしくは、プロクシファイルのＩピクチャを、スイッチ６５を制御して、デコーダ６６に供給する。デコーダ６６は、供給されたＩピクチャ、または、Ｐピクチャを読み込む。

ステップＳ１７９において、デコーダ６６（ＣＰＵ２２１のデコーダ６６）は、読み込まれたＩピクチャ、または、Ｐピクチャをデコードして、参照画像用メモリ６７（ＲＡＭ２２３の参照画像用メモリ６７に対応する領域）に格納する。

ステップＳ１８０において、デコード制御部６２（ＣＰＵ２２１のデコード制御部６２）は、スイッチ６５を制御して、ビットストリーム取得部６３により取得されたオリジナルのビットストリームのうち、再生するべきＢピクチャをデコーダ６６に供給する。デコーダ６６は、供給されたＢピクチャを、参照画像用メモリ６７に格納されている参照画像を参照してデコードし、再生映像出力部５３（ＣＰＵ２２１の再生映像出力部５３）に供給して出力させる。

ステップＳ１７６、ステップＳ１７７、または、ステップＳ１８０の処理の終了後、ステップＳ１８１において、デコード制御部６２（ＣＰＵ２２１のデコード制御部６２）は、再生の指令を受けた全てのピクチャの処理が終了したか否かを判断する。ステップＳ１８１において、再生の指令を受けた全てのピクチャの処理が終了していないと判断された場合、処理は、ステップＳ１７２に戻り、それ以降の処理が繰り返される。ステップＳ１８１において、再生の指令を受けた全てのピクチャの処理が終了したと判断された場合、処理は終了される。

このような処理により、プロクシファイルの生成にかかった時間は、図１１および図１２を用いて説明した場合と比較して短いのにもかかわらず、ＰピクチャやＢピクチャをデコードするためにかかる時間は、従来における場合よりも短縮されるため、デコード処理に破綻が生じない。

このようにすることにより、デコード可能フレーム数に応じて、ＰＩ変換されるＰピクチャ（デコードされた後、Ｉピクチャに再エンコードされるＰピクチャ）の数が求められて、いずれのＰピクチャが変換されるかが設定されるので、ＰピクチャをＩピクチャに変換するために必要となる変換時間（換言すれば、プロクシファイルの生成時間）を減少させながら、プロクシファイルを利用して、デコード処理における最長デコード時間を少なくすることが可能になる。

なお、ここでは、変換部１１および再生部１２を有する再生装置１が１つの装置として構成されているものとして説明したが、変換部１１および再生部１２は、それぞれ異なる装置として構成されていても良いことは言うまでもない。

また、上述した一連の処理は、上述したように、ハードウエアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図９に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM（Compact Disk-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア２０６により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２２２や、ＨＤＤ２２６に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した再生装置の構成を示すブロック図である。 図１の変換部の構成を示すブロック図である。 インデックスファイルについて説明するための図である。 Ｉピクチャのビットレートを固定にする場合について説明するための図である。 Ｉピクチャのビットレートを変動にする場合について説明するための図である。 図１の再生部の構成を示すブロック図である。 Ｐピクチャをランダム再生する場合について説明するための図である。 Ｂピクチャをランダム再生する場合について説明するための図である。 パーソナルコンピュータの構成を示すブロック図である。 図９のパーソナルコンピュータにおいて実現される機能について説明するための機能ブロック図である。 プロクシファイル生成処理１について説明するためのフローチャートである。 ランダム再生処理１について説明するためのフローチャートである。 ＰＩ変換数を変更した場合について説明するための図である。 最小デコード数について説明するための図である。 最小デコード数について説明するための図である。 最小デコード数について説明するための図である。 最小デコード数について説明するための図である。 最小デコード数について説明するための図である。 変換するＰピクチャの設定処理について説明するためのフローチャートである。 デコード可能フレーム数算出処理について説明するためのフローチャートである。 変換するＰピクチャの設定について説明するための図である。 プロクシファイル生成処理２について説明するためのフローチャートである。 ランダム再生処理２について説明するためのフローチャートである。

符号の説明

１ 再生装置， １１ 変換部， １２ 再生部， ３１ ビットストリーム取得部， ３２ ビットストリーム解析部， ３３ インデックスファイル記憶部， ３４ デコーダ， ３５ 参照画像用メモリ， ３６ エンコーダ， ３７ プロクシファイル記憶部， ５１ 操作入力取得部， ５２ デコード処理部， ５３ 再生映像出力部， ６１ インデックスファイル取得部， ６２ デコード制御部， ６３ ビットストリーム取得部， ６４ プロクシファイル取得部， ６５ スイッチ， ６６ デコーダ， ６７ 参照画像用メモリ， ２０１ パーソナルコンピュータ， ２０２ マウス， ２０３ キーボード， ２０４ 記憶装置， ２０５ 外部映像記録再生装置， ２２１ ＣＰＵ， ２２２ ＲＯＭ， ２２３ ＲＡＭ， ２２６ ＨＤＤ

Claims (13)

1. ビットストリームのうち、前方向予測符号化フレームを復号する前方向予測符号化フレーム復号ステップと、
   前記前方向予測符号化フレーム復号ステップの処理により復号された前記前方向予測符号化フレームをフレーム内符号化する符号化ステップと、
   前記ビットストリームを解析する解析ステップと、
   前記符号化ステップの処理により生成された符号化データに関する符号化情報と前記解析ステップの処理による解析結果とを基に、前記ビットストリームを復号するために利用可能な属性情報を生成する属性情報生成ステップと
   を含む処理をコンピュータに実行させるためのプログラム。
2. 前記符号化ステップの処理により符号化された符号化データ、および、前記属性情報生成ステップの処理により生成された前記属性情報を基に、前記ビットストリームを復号するビットストリーム復号ステップ
   を更に含む処理をコンピュータに実行させる請求項１に記載のプログラム。
3. 前記ビットストリーム復号ステップの処理は、
   復号されるフレームの符号化タイプを判断する判断ステップと、
   前記判断ステップの処理により、復号されるフレームが前記ビットストリームのうちのフレーム内符号化フレームであると判断された場合、前記ビットストリームのうちの復号される前記フレーム内符号化フレームを復号する第１の復号ステップと、
   前記判断ステップの処理により、復号されるフレームが前記ビットストリームのうちの前方向予測符号化フレームであると判断された場合、前記符号化ステップの処理により符号化された符号化データのうち、復号される前記前方向予測符号化フレームに対応する前記符号化データを復号する第２の復号ステップと、
   前記判断ステップの処理により、復号されるフレームが前記ビットストリームのうちの両方向予測符号化フレームであると判断された場合、前記両方向予測符号化フレームの復号に必要な前記ビットストリームのうちのフレーム内符号化フレームを復号して参照画像を生成するか、または、前記符号化ステップの処理により符号化された符号化データのうち、前記両方向予測符号化フレームの復号に必要な前記ビットストリームの前方向予測符号化フレームに対応する前記符号化データを復号して参照画像を生成する参照画像生成ステップと、
   前記参照画像生成ステップの処理により生成された前記参照画像を参照して、前記ビットストリームのうちの両方向予測符号化フレームを復号する第３の復号ステップと
   を含む請求項２に記載のプログラム。
4. 前記符号化ステップの処理では、前記前方向予測符号化フレーム復号ステップの処理により復号された前記前方向予測符号化フレームを、固定レートのフレーム内符号化データに符号化する
   請求項１に記載のプログラム。
5. 前記符号化ステップの処理では、前記前方向予測符号化フレーム復号ステップの処理により復号された前記前方向予測符号化フレームを、変動レートのフレーム内符号化データに符号化する
   請求項１に記載のプログラム。
6. 前記前方向予測符号化フレーム復号ステップの処理では、前記ビットストリームのうち、所定数の前方向予測符号化フレームを選択的に復号し、
   前記符号化ステップの処理では、前記前方向予測符号化フレーム復号ステップの処理により復号された所定数の前記前方向予測符号化フレームをフレーム内符号化する
   請求項１に記載のプログラム。
7. １フレームに対応する画像の表示内に復号処理を実行することが可能なフレーム数と、前方向予測符号化フレームの数を基に、前記前方向予測符号化フレーム復号ステップの処理により選択的に復号される前記所定数の前記前方向予測符号化フレームを設定する設定ステップを更に含む
   請求項６に記載のプログラム。
8. １フレームに対応する画像の表示時間内に復号処理を実行することが可能なフレーム数を算出する算出ステップを更に含む
   請求項７に記載のプログラム。
9. 前記前方向予測符号化フレーム復号ステップの処理では、前記ビットストリームのうち、所定数の前方向予測符号化フレームの連続数が最も小さくなるように、復号される前方向予測符号化フレームを所定数選択的に復号する
   請求項６に記載のプログラム。
10. ビットストリームを復号するために利用可能な情報を生成する情報処理装置において、
    前記ビットストリームのうち、前方向予測符号化フレームを復号する前方向予測符号化フレーム復号手段と、
    前記前方向予測符号化フレーム復号手段により復号された前記前方向予測符号化フレームをフレーム内符号化する符号化手段と、
    前記ビットストリームを解析し、前記ビットストリームの解析結果および前記符号化手段により生成された符号化データに関する符号化情報を基に、前記ビットストリームを復号するために利用可能な属性情報を生成する属性情報生成手段と
    を備える情報処理装置。
11. 前記符号化手段により生成された符号化データ、および、前記属性情報生成手段により生成された前記属性情報を基に、前記ビットストリームを復号するビットストリーム復号手段
    を更に備える請求項１０に記載の情報処理装置。
12. ビットストリームを復号するために利用可能な情報を生成する情報処理装置の情報処理方法において、
    前記ビットストリームのうち、前方向予測符号化フレームを復号する前方向予測符号化フレーム復号ステップと、
    前記前方向予測符号化フレーム復号ステップの処理により復号された前記前方向予測符号化フレームをフレーム内符号化する符号化ステップと、
    前記ビットストリームを解析する解析ステップと、
    前記符号化ステップの処理により生成された符号化データに関する符号化情報と前記解析ステップの処理による解析結果とを基に、前記ビットストリームを復号するために利用可能な属性情報を生成する属性情報生成ステップと
    を含む情報処理方法。
13. 請求項１に記載のプログラムが記録されている記録媒体。

Images