以下図面について、本発明の一実施の形態を詳述する。
(1)原理
例えばNを15、Mを3とするMPEG方式(ロングGOP(Long GOP))の圧縮符号化処理では、図1に示すように、各GOP内の3番目のフレーム画像がフレーム内符号化処理されてIピクチャに変換される。また6番目、9番目、12番目及び15番目のフレーム画像は、時間的に先行するIピクチャ又はPピクチャを用いて順方向予測符号化処理されてPピクチャに変換される。
さらに、これ以外の1番目及び2番目のフレーム画像は、前のGOPの最後のPピクチャ及び自GOPのIピクチャを用いて双方向予測符号化処理されてBピクチャに変換され、以下、4番目及び5番目、7番目及び8番目、10番目及び11番目並びに13番目及び14番目のフレーム画像はそれぞれ自GOP内の前後のIピクチャ又はPピクチャを用いて双方向予測符号化処理されてBピクチャに変換される。
従って、かかる圧縮符号化処理により得られた符号化データにおける各GOPのピクチャ構造は、当該GOPを構成する各ピクチャを、そのピクチャタイプを表すアルファベット(I、P、B)と表示する順番(1、2、3、……)を表す数字との組み合わせで表すものとすると、B1、B2、I3、B4、B5、P6、B7、B8、P9、B10、B11、P12、B13、B14、P15という表示順(ディスプレイオーダ)で表すことができる。
この場合において、Bピクチャは時間的に先行するIピクチャ又はPピクチャだけでなく、時間的に後行するIピクチャ又はPピクチャをも参照して符号化及び復号化されるため、符号化や復号化の際に、その参照すべきIピクチャ又はPピクチャが予め符号化又は復号化されている必要がある。
そこでMPEG方式では、図2に示すように、GOPごとにフレーム画像をI3、B1、B2、P6、B4、B5、P9、B7、B8、P12、B10、B11、P15、B13、B14という符号化順(コーディングオーダ)に並び替えて圧縮符号化処理を行い、このようにして得られた各符号化データをそのピクチャ構造のままMPEGストリームデータとして記録媒体に記録し、又は復号化側に送信するようになされている。
ところで、図1について上述したように、Nが15、Mが3のMPEGストリームデータを復号化する場合、ピクチャI3〜B14については自GOPの復号化データのみを参照して復号化することができる。しかしながら、ピクチャB1、B2については自GOPのピクチャI3の復号化データのほかに直前のGOPのピクチャP15の復号化データが必要となる。そして、直前のGOPのピクチャP15を復号化するためには、直前のGOPのピクチャI3、P6、P9、P12の復号化データが必要となる。
そこで従来では、例えば図3(A)に示すように、ピクチャ構造がI3、B1、B2、P6、B4、B5、P9、B7、B8、P12、B10、B11、P15、B13、B14という符号化順(コーディングオーダ)で読み込まれる(GOP単位で読み込まれる)MPEGストリームデータD1について、図3(B)に示すように、(n−1)番目のGOP(n-1)のピクチャI3、P6、P9、P12、P15及びn番目のGOP(n)のピクチャI3、B1、B2、P6、B4、B5、P9、B7、B8、P12、B10、B11、P15、B13、B14を1個のMPEG復号器により順次復号化処理する。
そして、図3(C)に示すように、例えばn番目のGOP(n)のピクチャをP15、B14、B13、P12、B11、B10、P9、B8、B7、P6、B5、B4、I3、B2、B1の表示順(ディスプレイオーダ)に並び替えて表示させることにより1倍速でのリバース再生を行うことができる。
ところが、このとき(n−1)番目のGOP(n-1)のピクチャI3の復号化処理を開始してから、n番目のGOP(n)のピクチャP15を表示させるまでには、19フレーム期間分の時間が必要となることとなる。
また、従来では、例えば図4(A)に示すようにピクチャ構造がn番目のGOP(n)のピクチャの最後尾に、次の(n+1)番目のGOP(n+1)のピクチャI3、B1、B2を付加した構造であるI3、B1、B2、P6、B4、B5、P9、B7、B8、P12、B10、B11、P15、B13、B14、I3、B1、B2という符号化順(コーディングオーダ)で読み込まれる(いわゆるGOPずれで読み込まれる)MPEGストリームデータD1について、図4(B)に示すように、n番目のGOP(n)のピクチャB1、B2を除いたピクチャI3、P6、B4、B5、P9、B7、B8、P12、B10、B11、P15、B13、B14と、次の(n+1)番目のGOP(n+1)のピクチャI3、B1、B2を1個のMPEG復号器により順次復号化処理する。
そして、図4(C)に示すように、例えば(n+1)番目のGOP(n+1)及びn番目のGOP(n)のピクチャをB2、B1、P15、B14、B13、P12、B11、B10、P9、B8、B7、P6、B5、B4、I3という表示順(ディスプレイオーダ)に並び替えて表示させることによって、1倍速でのリバース再生を行うことができる。
ところが、このときn番目のGOP(n)のピクチャI3の復号化処理を開始してから、(n+1)番目のGOP(n+1)のピクチャB2を表示させるまでには、16フレーム期間分の時間が必要となることとなる。
そこで、本実施の形態による再生装置では、複数個のMPEG復号器によって並列的に復号化処理することで、n番目のGOP(n)のピクチャの復号化処理を開始してから表示するピクチャまでの再生の遅延を短縮する。
すなわち、例えば図5(A)に示すように、上述と同様のGOP単位で読み込まれるMPEGストリームデータD1について、図5(B)に示すように、任意のn番目のGOP(n)の表示するピクチャ及び当該ピクチャを復号化するために必要なピクチャによるピクチャ群を生成する。このとき図5(C)のように例えば表示するピクチャをn番目のGOP(n)のピクチャP15であるとすると、このようにして生成されたn番目のGOP(n)のピクチャI3、P6、P9、P12、P15というピクチャ群は、任意のn番目のGOP(n)のピクチャの復号化処理を開始してから表示するピクチャまでの再生遅延が最も短縮されることが分かる。
そして、このようにn番目のGOP(n)における表示するピクチャ及び当該ピクチャを復号化するために必要なピクチャによるピクチャ群(以下、これを再生遅延短縮ピクチャ群と呼ぶ)PDSのMPEGストリームデータD1をMPEG復号器により復号化することにより、図5(C)のように例えば任意のn番目のGOP(n)の表示するピクチャであるピクチャP15をリバース再生画像として表示させる。
このようにして本実施の形態による再生装置は、かかる原理を利用して、例えば図5(A)のようなピクチャ構造がI3、B1、B2、P6、B4、B5、P9、B7、B8、P12、B10、B11、P15、B13、B14という符号化順(コーディングオーダ)で読み込まれる(GOP単位で読み込まれる)MPEGストリームデータD1について、図5(B)について上述した再生遅延短縮ピクチャ群PDSを順次生成し、これら生成した再生遅延短縮ピクチャ群PDSを複数個のMPEG復号器によって並列的に復号化処理することで、n番目のGOP(n)のピクチャの復号化処理を開始してから表示するピクチャまでの再生遅延を短縮し得るようになされた点を第1の特徴としている。
このとき、n番目のGOP(n)のピクチャI3の復号化処理を開始してから、n番目のGOP(n)のピクチャP15を表示させるまでに、5フレーム期間分の時間のみが必要となることとなる。
一方、このようにMPEGストリームデータD1に基づくリバース再生動画像を表示する場合、BピクチャはIピクチャ又はPピクチャから参照されるために、n番目のGOP(n)における表示するピクチャがIピクチャ又はPピクチャであるときには、当該Iピクチャ又はPピクチャから参照されるBピクチャにおいてもこれらIピクチャ又はPピクチャと共に復号化処理を行ったほうが復号化処理の効率が良いことが分かる。
そこで、本実施の形態による再生装置は、リバース再生動作時には、再生遅延短縮ピクチャ群PDSを、n番目のGOP(n)における表示するIピクチャ又はPピクチャ、当該Iピクチャ又はPピクチャを復号化するために必要なピクチャ及び表示するIピクチャ又はPピクチャから参照されるBピクチャの組み合わせで再生遅延短縮ピクチャ群PDSを生成する(図7(B)参照)ことにより、MPEGストリームデータD1の復号化処理の効率をより向上させ得るようになされた点を第2の特徴としている。
この場合において、MPEGストリームデータD1に基づくリバース再生動画像を表示する際、復号化したピクチャをそのまま(フレーム単位で)表示することも考えられるが、この方法によると、比較的動きが少ない静止画的な性質を持っている動画像では有利であるが、動きの激しい動画像では表示されるリバース再生動画像の動きが滑らかさのないぎこちない動きになる問題がある。また、この動きのぎこちなさは、リバース再生動作を倍速再生表示した場合にさらに増大することとなる。
このとき本実施の形態による再生装置は、リバース再生動画像を表示する際、復号化したピクチャのフレーム画像をフレーム単位で表示するだけではなく、フィールド単位で表示するようになされている。つまり、リバース再生動作時の倍速に応じて、表示すべき各ピクチャを順次復号化処理すると共に、これら復号化処理した各ピクチャのフレーム画像を構成する2つのフィールドをリバース再生速度に応じて順次合成処理するようにして表示すべき画像(以下、これを合成画像という)を順次生成する。
すなわち、このとき復号化処理した各ピクチャのフレーム画像を構成する2つのフィールドで表示した場合には、復号化処理した各ピクチャのフレーム画像は、時間的に先に表示される画像であるピクチャ内のトップフィールド(以下、これをピクチャ内トップフィールドと呼ぶ)と、時間的に後に表示される画像であるピクチャ内のボトムフィールド(以下、これをピクチャ内ボトムフィールドと呼ぶ)から構成されている(図17(B)参照)。
ここで、例えばトップフィールドデータのピクチャ内ボトムフィールドを重心移動させ、表示すべき合成画像のトップフィールド(以下、これを合成画像内トップフィールドと呼ぶ)として選択した場合には、当該ピクチャ内ボトムフィールド間のフィールド間隔が等間隔又はほぼ等間隔になるように、合成画像内のボトムフィールド(以下、これを合成画像内ボトムフィールドと呼ぶ)を選択することによって、表示すべき合成画像のフィールド間の間隔を調整する(図16(H)参照)。
つまり、表示すべき合成画像を構成する2つのフィールドのうち、合成画像データ内トップフィールドと合成画像データ内ボトムフィールドとのフィールド間隔が等間隔又はほぼ等間隔になるように各ピクチャのフレーム画像を選択して合成画像を生成し得るようになされている。
従って、リバース再生動画像のすべての合成画像がこのように生成されるものである場合には、表示される合成画像の合成画像内トップフィールドと合成画像内ボトムフィールドとのフィールド間隔が等間隔又はほぼ等間隔に表示されることとなり、より滑らかにリバース再生動画像を表示できることとなる(図16(H)参照)。
そこで、本実施の形態による再生装置は、表示すべき合成画像のフィールド間の間隔を等間隔又はほぼ等間隔になるように調整し、順次合成するようにして表示すべき合成画像を順次生成し得るようにした点を第3の特徴としている。
他方、このようにしてリバース再生動画像を表示するに際し、表示するピクチャを生成するのに最も時間を要するのは表示するピクチャがピクチャB1又はピクチャB2の場合である(図7(F)参照)。
これは、ピクチャB1又はピクチャB2を復号化するために、直前のGOPのピクチャI3、P6、P9、P12、P15及び自GOPのピクチャI3をそれぞれ復号化処理しなければならないからである。そして、このような場合に生成される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を当該生成された順番で複数個のMPEG復号器に順番に振り分けた場合に、当該複数個のMPEG復号器では復号化処理が間に合わなくなることがある(図18(D)、(E)参照)。
そこで、本実施の形態による再生装置は、上述のように表示するピクチャを生成するのに時間を要する再生遅延短縮ピクチャ群PDSを順番にかかわらず複数個のMPEG復号器に振り分けることにより、MPEGストリームデータD1の復号化処理の効率をより向上させ得るようになされた点を第4の特徴としている。
以下、本実施の形態による再生装置について詳述する。
(2)第1の実施の形態
(2−1)第1の実施の形態による再生装置の構成
図6において、1は全体として本実施の形態による再生装置を示し、例えばハードディスク装置等からなるストレージ部2に記憶保持されたAV(Audio Video)コンテンツの中からユーザにより指定されたAVコンテンツのMPEGストリームデータ(N=15、M=3)を、ユーザにより指定された任意の再生方向及び再生速度で再生又はリバース再生し得るようになされている。
すなわちこの再生装置1の場合、操作部3が操作されて、ストレージ部2に記憶保持されているAVコンテンツの中からユーザが所望するAVコンテンツ、その方向及び速度が指定されると、これに応じた操作信号S1が復号化コントロール部4の制御部5に与えられる。
この復号化コントロール部4は、再生装置1全体の動作制御を司る制御部5が、メモリ制御部6、データ分配部7及びデータ選別部8とから構成されている。また制御部5は、CPU(Central Processing Unit)、ROM(Read Only Memory)5A及びRAM(Random Access Memory)を含むマイクロコンピュータ構成でなり、例えば操作部3から与えられる操作信号S1と、ROM5Aに予め格納された制御プログラムとに基づいて、ストレージ部2、メモリ制御部6、データ分配部7、データ選別部8及びMPEG復号部10をそれぞれ制御する。
かくして制御部5は、供給される操作信号S1に応じた読出し制御信号S2をストレージ部2に送出し、ストレージ部2は、制御部5の制御のもとに、そのとき記憶保持しているAVコンテンツのうちの指定されたAVコンテンツのMPEGストリームデータD1をGOPを基本単位としてユーザにより指定された速度で読み出し、これをメモリ制御部6に送出する。
メモリ制御部6は、例えば数GOP分のMPEGストリームデータD1を記憶し得るメモリ9が接続されており、供給されるMPEGストリームデータD1をメモリ9に格納させる。
そしてメモリ制御部6は、操作部3において順方向の再生方向が選択された通常再生動作時には、制御部5の制御のもとに、当該メモリ9を用いながら、格納されたMPEGストリームデータD1をGOPを基本単位としてユーザにより指定された速度で読み出し、これをデータ分配部7に送出する。
データ分配部7は、制御部5の制御のもとに、供給されるMPEGストリームデータD1をMPEG復号部10内の対応する第1〜第5のMPEG復号器10A〜10Eに振り分ける。
このときこのMPEG復号部10は、合計5個の第1〜第5のMPEG復号器10A〜10Eから構成されており、制御部5の制御のもとに、指定された速度に応じて、第1〜第5のMPEG復号器10A〜10Eの中からデータ分配部7によりMPEGストリームデータD1が振り分けられる1〜5個の第1〜第5のMPEG復号器10A〜10Eのみが稼働する。そしてこれら稼働した第1〜第5のMPEG復号器10A〜10Eは、制御部5の制御のもとに、供給されるMPEGストリームデータD1を順次復号化処理し、得られたベースバンドのストリームデータ(以下、これをベースバンドストリームデータと呼ぶ)D2をデータ選別部8に送出する。
データ選別部8は、制御部5の制御のもとに、稼働中の第1〜第5のMPEG復号器10A〜10Eからそれぞれ供給されるベースバンドストリームデータD2に対して表示するピクチャを選択し、また必要時に例えばカラーコレクションなどのエフェクト処理等を施し、かくして得られた選択ベースバンドストリームデータD3を表示部11に送出する。
この結果この選択ベースバンドストリームデータD3に基づいて、ユーザにより指定されたAVコンテンツの動画像が順方向の再生方向で、かつユーザにより指定された速度で表示部11に表示される。
一方、メモリ制御部6は、操作部3において逆方向の再生方向が選択されたリバース再生動作時には、制御部5の制御のもとに、メモリ9を用いて逆方向の表示順(ディスプレイオーダ)への並び替えを考慮しながら、図5について上述した再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次生成し、これらを最終的な再生画像出力タイミングに合わせてデータ分配部7に送出する。
データ分配部7は、制御部5の制御のもとに、供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1をMPEG復号部10内の対応する第1〜第5のMPEG復号器10A〜10Eに振り分ける。
このときこのMPEG復号部10は、制御部5の制御のもとに、指定された速度に応じて、第1〜第5のMPEG復号器10A〜10Eの中からデータ分配部7により再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられる1〜5個の第1〜第5のMPEG復号器10A〜10Eのみが稼働する。そしてこれら稼働した第1〜第5のMPEG復号器10A〜10Eは、制御部5の制御のもとに、供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次復号化処理し、得られたベースバンドストリームデータD2をデータ選別部8に送出する。
データ選別部8は、制御部5の制御のもとに、稼働中の第1〜第5のMPEG復号器10A〜10Eからそれぞれ供給されるベースバンドストリームデータD2に対して表示するピクチャを選択し、また必要時にエフェクト処理等を施し、かくして得られた選択ベースバンドストリームデータD3を表示部11に送出する。
この結果この選択ベースバンドストリームデータD3に基づいて、ユーザにより指定されたAVコンテンツの動画像が逆方向の再生方向で、かつユーザにより指定された速度で表示部11に表示される。
(2−2)リバース再生動作時における再生装置1の具体的処理
次に、リバース再生動作時における再生装置1の具体的な処理内容について説明する。
(2−2−1)1倍速リバース再生動作時における再生装置1の具体的処理
1倍速リバース再生動作時、ストレージ部2は、図7(A)に示すように、指定されたAVコンテンツのMPEGストリームデータD1を例えばGOPを基本単位として1倍速で順次読み出し、これをメモリ制御部6に送出して、当該MPEGストリームデータD1をメモリ9に格納させる。
メモリ制御部6は、制御部5の制御のもとに、メモリ9に格納されるMPEGストリームデータD1に基づいて、逆方向の表示順(ディスプレイオーダ)への並び替えを考慮しながら、図5について上述した再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次生成し、これらを最終的な再生画像出力タイミングに合わせてデータ分配部7に送出する。
データ分配部7は、制御部5の制御のもとに、これら再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次循環的に第1〜第5のMPEG復号器10A〜10Eに振り分ける。従って、k=1、2、……として、第1のMPEG復号器10Aには、(5k−4)番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられ、第2のMPEG復号器10Bには、(5k−3)番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられ、第3のMPEG復号器10Cには、(5k−2)番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられ、第4のMPEG復号器10Dには、(5k−1)番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられ、第5のMPEG復号器10Eには、5k番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられる。
第1のMPEG復号器10Aは、図7(B)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を例えば0番目のGOP(0)のピクチャB13の符号化データがストレージ部2から読み出されたタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を順次復号化処理する。また第1のMPEG復号器10Aは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第2のMPEG復号器10Bは、図7(C)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第1のMPEG復号器10Aが0番目のGOP(0)のピクチャP15についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を順次復号化処理する。また第2のMPEG復号器10Bは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第3のMPEG復号器10Cは、図7(D)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第2のMPEG復号器10Bが0番目のGOP(0)のピクチャB11についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を順次復号化処理する。また第3のMPEG復号器10Cは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第4のMPEG復号器10Dは、図7(E)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第3のMPEG復号器10Cが0番目のGOP(0)のピクチャB7についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を順次復号化処理する。また第4のMPEG復号器10Dは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第5のMPEG復号器10Eは、図7(F)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第4のMPEG復号器10Dが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから1フレーム期間分先のタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を順次復号化処理する。また第5のMPEG復号器10Eは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
データ選別部8は、図7(G)に示すように、第1のMPEG復号器10Aが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから5フレーム期間分後のタイミングで処理を開始する。このときデータ選別部8は、制御部5の制御のもとに、第1〜第5のMPEG復号器10A〜10Eから与えられるベースバンドストリームデータD2について、表示するピクチャを選択する。すなわち、第1のMPEG復号器10Aから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP15、B14、B13を選択し、第2のMPEG復号器10Bから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP12、B11、B10を選択し、第3のMPEG復号器10Cから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP9、B8、B7を選択し、第4のMPEG復号器10Dから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP6、B5、B4を選択し、第5のMPEG復号器10Eから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャI3、B1、B2を選択する。
そしてデータ選別部8は、これら選択したベースバンドストリームデータD2を必要に応じてエフェクト処理等を施し、かくして得られた選択ベースバンドストリームデータD3を表示部11に送出する。
このようにしてこの再生装置1においては、選択ベースバンドストリームデータD3を生成し、この選択ベースバンドストリームデータD3に基づく1倍速リバース再生動画像を表示部11に表示させる。このとき、この再生装置1においては、0番目のGOP(0)のピクチャI3の復号化処理を開始してから、0番目のGOP(0)のピクチャP15を表示させるまでに、5フレーム期間分の時間のみが必要となることとなる。
(2−2−2)2倍速リバース再生動作時における再生装置1の具体的処理
2倍速リバース再生動作時、ストレージ部2は、図8(A)に示すように、指定されたAVコンテンツのMPEGストリームデータD1を例えばGOPを基本単位として2倍速で順次読み出し、これをメモリ制御部6に送出して、当該MPEGストリームデータD1をメモリ9に格納させる。
メモリ制御部6は、制御部5の制御のもとに、メモリ9に格納されるMPEGストリームデータD1に基づいて、逆方向の表示順(ディスプレイオーダ)への並び替えを考慮しながら、図5について上述した再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次生成し、これらを最終的な再生画像出力タイミングに合わせてデータ分配部7に送出する。
データ分配部7は、制御部5の制御のもとに、これら再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を1倍速リバース再生動作時と同様に順次循環的に第1〜第5のMPEG復号器10A〜10Eに振り分ける。
第1のMPEG復号器10Aは、図8(B)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を例えば0番目のGOP(0)のピクチャB10の符号化データがストレージ部2から読み出されたタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第1のMPEG復号器10Aは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第2のMPEG復号器10Bは、図8(C)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第1のMPEG復号器10Aが0番目のGOP(0)のピクチャP9についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第2のMPEG復号器10Bは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第3のMPEG復号器10Cは、図8(D)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第2のMPEG復号器10Bが0番目のGOP(0)のピクチャP12についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第3のMPEG復号器10Cは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第4のMPEG復号器10Dは、図8(E)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第3のMPEG復号器10Cが0番目のGOP(0)のピクチャP9についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第4のMPEG復号器10Dは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第5のMPEG復号器10Eは、図8(F)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第3のMPEG復号器10Cが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから2フレーム期間分先のタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第5のMPEG復号器10Eは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
データ選別部8は、図8(G)に示すように、第1のMPEG復号器10Aが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから5フレーム期間分後のタイミングで処理を開始する。すなわちデータ選別部8は、制御部5の制御のもとに、第1〜第5のMPEG復号器10A〜10Eから与えられるベースバンドストリームデータD2について、表示するピクチャを選択する。すなわち、第1のMPEG復号器10Aから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP15、B13を選択し、第2のMPEG復号器10Bから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャB11を選択し、第3のMPEG復号器10Cから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP9、B7を選択し、第4のMPEG復号器10Dから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャB5を選択し、第5のMPEG復号器10Eから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャI3、B1を選択する。
そしてデータ選別部8は、これら選択したベースバンドストリームデータD2を必要に応じてエフェクト処理等を施し、かくして得られた選択ベースバンドストリームデータD3を表示部11に送出する。
このようにしてこの再生装置1においては、選択ベースバンドストリームデータD3を生成し、この選択ベースバンドストリームデータD3に基づく2倍速リバース再生動画像を表示部11に表示させる。このとき、この再生装置1においては、0番目のGOP(0)のピクチャI3の復号化処理を開始してから、0番目のGOP(0)のピクチャP15を表示させるまでに、5フレーム期間分の時間のみが必要となることとなる。
(2−2−3)3倍速リバース再生動作時における再生装置1の具体的処理
3倍速リバース再生動作時、ストレージ部2は、図9(A)に示すように、指定されたAVコンテンツのMPEGストリームデータD1を例えばGOPを基本単位として3倍速で順次読み出し、これをメモリ制御部6に送出して、当該MPEGストリームデータD1をメモリ9に格納させる。
メモリ制御部6は、制御部5の制御のもとに、メモリ9に格納されるMPEGストリームデータD1に基づいて、逆方向の表示順(ディスプレイオーダ)への並び替えを考慮しながら、図5について上述した再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次生成し、これらを最終的な再生画像出力タイミングに合わせてデータ分配部7に送出する。
データ分配部7は、制御部5の制御のもとに、これら再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を1倍速リバース再生動作時と同様に順次循環的に第1〜第5のMPEG復号器10A〜10Eに振り分ける。
第1のMPEG復号器10Aは、図9(B)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を例えば0番目のGOP(0)のピクチャB1の符号化データがストレージ部2から読み出されたタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第1のMPEG復号器10Aは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第2のMPEG復号器10Bは、図9(C)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第1のMPEG復号器10Aが0番目のGOP(0)のピクチャP15についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第2のMPEG復号器10Bは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第3のMPEG復号器10Cは、図9(D)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第2のMPEG復号器10Bが0番目のGOP(0)のピクチャP9についての復号化処理をし終えたタイミングから1フレーム期間分後のタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第3のMPEG復号器10Cは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第4のMPEG復号器10Dは、図9(E)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第3のMPEG復号器10Cが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから3フレーム期間分先のタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第4のMPEG復号器10Dは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第5のMPEG復号器10Eは、図9(F)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第4のMPEG復号器10Dが−1番目のGOP(-1)のピクチャP15についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第5のMPEG復号器10Eは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
データ選別部8は、図9(G)に示すように、第1のMPEG復号器10Aが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから5フレーム期間分後のタイミングで処理を開始する。すなわちデータ選別部8は、制御部5の制御のもとに、第1〜第5のMPEG復号器10A〜10Eから与えられるベースバンドストリームデータD2について、表示するピクチャを選択する。すなわち、第1のMPEG復号器10Aから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP15、P12を選択し、第2のMPEG復号器10Bから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP9、P6を選択し、第3のMPEG復号器10Cから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャI3を選択し、第4のMPEG復号器10Dから与えられるベースバンドストリームデータD2から−1番目のGOP(-1)のピクチャP15、P12を選択し、第5のMPEG復号器10Eから与えられるベースバンドストリームデータD2から−1番目のGOP(-1)のピクチャP9、P6を選択する。
そしてデータ選別部8は、これら選択したベースバンドストリームデータD2を必要に応じてエフェクト処理等を施し、かくして得られた選択ベースバンドストリームデータD3を表示部11に送出する。
このようにしてこの再生装置1においては、選択ベースバンドストリームデータD3を生成し、この選択ベースバンドストリームデータD3に基づく3倍速リバース再生動画像を表示部11に表示させる。このとき、この再生装置1においては、0番目のGOP(0)のピクチャI3の復号化処理を開始してから、0番目のGOP(0)のピクチャP15を表示させるまでに、5フレーム期間分の時間のみが必要となることとなる。
(2−2−4)5倍速リバース再生動作時における再生装置1の具体的処理
5倍速リバース再生動作時、ストレージ部2は、図10(A)に示すように、指定されたAVコンテンツのMPEGストリームデータD1を例えばGOPを基本単位として5倍速で順次読み出し、これをメモリ制御部6に送出して、当該MPEGストリームデータD1をメモリ9に格納させる。
メモリ制御部6は、制御部5の制御のもとに、メモリ9に格納されるMPEGストリームデータD1に基づいて、逆方向の表示順(ディスプレイオーダ)への並び替えを考慮しながら、図5について上述した再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次生成し、これらを最終的な再生画像出力タイミングに合わせてデータ分配部7に送出する。
データ分配部7は、制御部5の制御のもとに、これら再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を1倍速リバース再生動作時と同様に順次循環的に第1〜第5のMPEG復号器10A〜10Eに振り分ける。
第1のMPEG復号器10Aは、図10(B)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を例えば0番目のGOP(0)のピクチャB1の符号化データがストレージ部2から読み出されたタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第1のMPEG復号器10Aは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第2のMPEG復号器10Bは、図10(C)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第1のMPEG復号器10Aが0番目のGOP(0)のピクチャP6についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第2のMPEG復号器10Bは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第3のMPEG復号器10Cは、図10(D)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第2のMPEG復号器10Bが0番目のGOP(0)のピクチャP12についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第3のMPEG復号器10Cは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第4のMPEG復号器10Dは、図10(E)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第3のMPEG復号器10Cが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから1フレーム期間分先のタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第4のMPEG復号器10Dは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第5のMPEG復号器10Eは、図10(F)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第4のMPEG復号器10Dが0番目のGOP(0)のピクチャP6についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第5のMPEG復号器10Eは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
データ選別部8は、図10(G)に示すように、第1のMPEG復号器10Aが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから5フレーム期間分後のタイミングで処理を開始する。すなわちデータ選別部8は、制御部5の制御のもとに、第1〜第5のMPEG復号器10A〜10Eから与えられるベースバンドストリームデータD2について、表示するピクチャを選択する。すなわち、第1のMPEG復号器10Aから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP15を選択し、第2のMPEG復号器10Bから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャB10を選択し、第3のMPEG復号器10Cから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャB5を選択し、第4のMPEG復号器10Dから与えられるベースバンドストリームデータD2から1番目のGOP(1)のピクチャP15を選択し、第5のMPEG復号器10Eから与えられるベースバンドストリームデータD2から1番目のGOP(1)のピクチャB10を選択する。
そしてデータ選別部8は、これら選択したベースバンドストリームデータD2を必要に応じてエフェクト処理等を施し、かくして得られた選択ベースバンドストリームデータD3を表示部11に送出する。
このようにしてこの再生装置1においては、選択ベースバンドストリームデータD3を生成し、この選択ベースバンドストリームデータD3に基づく5倍速リバース再生動画像を表示部11に表示させる。このとき、この再生装置1においては、0番目のGOP(0)のピクチャI3の復号化処理を開始してから、0番目のGOP(0)のピクチャP15を表示させるまでに、5フレーム期間分の時間のみが必要となることとなる。
(2−3)リバース再生動作処理手順
ここで、上述のようなリバース再生動作時における制御部5の制御処理は、当該制御部5内のROM5Aに格納された制御プログラムに基づき、図11及び図12に示すリバース再生動作処理手順RT1に従って行われる。
すなわち制御部5は、操作部3が操作されて再生すべきAVコンテンツ及びその再生速度が指定され、リバース再生動作が選択されると、このリバース再生動作処理手順RT1をステップSP0において開始し、続くステップSP1において、そのAVコンテンツにおいてリバース再生表示を開始するピクチャ(すなわちリバース再生動作時に最初に表示するピクチャ)を決定する。なお本実施の形態では、このピクチャとして、例えばいずれのリバース再生動作時においても、0番目のGOP(0)のピクチャP15を決定するようになされている。
続いて制御部5は、ステップSP2に進んで、ユーザにより指定された再生速度に応じて、表示すべきピクチャを算出し決定する。従って、例えば2倍速リバース再生が指定された場合には、図8に示すように、各GOPのピクチャP15、B13、B11、P9、B7、B5、I3、B1を表示することが決定される。
続いて制御部5は、ステップSP3に進んで、逆方向の表示順(ディスプレイオーダ)への並び替えを考慮しながら、ステップSP2において表示することを決定したIピクチャ又はPピクチャと、それらを復号化処理する際に復号化処理が必要となるピクチャと、表示するIピクチャ又はPピクチャから参照されるBピクチャの組み合わせに応じて各再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を算出する。
例えば、2倍速リバース再生が指定された場合には、図8(B)に示すように、表示することを決定したPピクチャである0番目のGOP(0)のピクチャP15と、この0番目のGOP(0)のピクチャP15を復号化するために必要な0番目のGOP(0)のピクチャI3、P6、P9、P12と、表示するIピクチャ又はPピクチャから参照されるBピクチャである0番目のGOP(0)のピクチャB13とが算出される。
続いて制御部5は、ステップSP4に進んで、リバース再生動画像の表示開始時刻を適当に設定し、この後ステップSP5及びステップSP6において、ステップSP3において算出した再生遅延短縮ピクチャ群PDSの復号化処理の開始タイミングを計算する。
すなわち制御部5は、ステップSP5において、ステップSP1で選択した表示開始ピクチャをステップSP4で設定した表示開始時刻に表示し、その後ステップSP2で決定した各ピクチャを順次表示するために、各再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1の復号化処理を終了しなければならないタイミングをそれぞれ算出する。
例えば図8(G)のようにリバース再生動画像を表示する場合、表示するピクチャである0番目のGOP(0)のピクチャB13の表示が開始される時点までに当該ピクチャB13の復号化処理が終了していなければならない。従って、その時点がこの再生遅延短縮ピクチャ群PDSの最も遅い復号化処理の終了タイミングとなる。そこで制御部5は、この時点をその再生遅延短縮ピクチャ群PDSの復号化処理の終了タイミングとして算出する。
また制御部5は、これと同様にして、その後例えば図8(G)のようにリバース再生動画像を表示するために、各再生遅延短縮ピクチャ群PDSの復号化処理を終了しなければならないタイミングをそれぞれ算出する。
そして制御部5は、この後ステップSP6に進んで、各再生遅延短縮ピクチャ群PDSの復号化処理の終了タイミングとその各再生遅延短縮ピクチャ群PDSの復号化処理すべきピクチャ数分の時間に基づいて、各再生遅延短縮ピクチャ群PDSが復号化処理をそれぞれ開始すべき開始タイミングを順次算出し、その後使用するMPEG復号器を第1〜第5のMPEG復号器10A〜10Eから決定する。また制御部5は、この後これら使用する第1〜第5のMPEG復号器10A〜10Eに対して再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1をどのように振り分けるかの振り分け方を決定する。なお、このときに再生遅延短縮ピクチャ群PDSを当該生成された順番で複数個のMPEG復号器に順番に振り分けた場合に、当該複数個のMPEG復号器では復号化処理が間に合わなくなるときには、再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を復号化が間に合うように入れ替えることとなる。
例えば図8(B)のような場合、0番目のGOP(0)のピクチャB13を含む再生遅延短縮ピクチャ群の復号化処理すべきピクチャ数が6であることから、その再生遅延短縮ピクチャ群PDSの復号化処理の開始タイミングが、当該再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1の復号化終了タイミングよりも6フレーム期間分だけ先のタイミングであることが分かる。
そして例えば2倍速再生が指定された場合には、図8(B)〜(F)において明らかなように、5個の第1〜第5のMPEG復号器10A〜10Eを復号化処理に使用するMPEG復号器として決定する。また制御部5は、図8(B)〜(F)のようにこの後上述の再生遅延短縮ピクチャ群PDSを単位としてMPEGストリームデータD1をこれら第1〜第5のMPEG復号器10A〜10Eに振り分ける振分け方を決定することとなる。
続いて制御部5は、この後ステップSP7に進んで、いずれかの第1〜第5のMPEG復号器10A〜10Eがそのとき振り分けられる再生遅延短縮ピクチャ群PDSに対する復号化処理を開始すべきタイミングとなったか否かを判断する。そして制御部5は、このステップSP7において否定結果を得るとステップSP12に進み、これに対して肯定結果を得るとステップSP8に進んで当該制御部5内に格納されているメモリ9のMPEGストリームデータD1の書込み状況や書込みアドレスを管理するメモリ管理データを参照し、表示するピクチャを含むGOPのMPEGストリームデータD1がメモリ9に格納されているか否かを判断する。そして制御部5は、このステップSP8において肯定結果を得るとステップSP10に進み、これに対して否定結果を得るとステップSP9に進んでストレージ部2を制御して、表示するピクチャの復号化処理を開始するまでに対応するGOPのMPEGストリームデータD1をメモリ制御部6に読出し、その後メモリ制御部6を制御して、対応するGOPのMPEGストリームデータD1のメモリ書込みアドレスを決定し、当該MPEGストリームデータD1をメモリ9内の対応するアドレスに格納させる。そして制御部5は、このときのメモリ書込みアドレスに基づいてメモリ管理データを更新する。
例えば、メモリ9内に対応するMPEGストリームデータD1が格納されておらず、2倍速で読み出しされる場合、図8(F)において明らかなように、第5のMPEG復号器10Eにおいて−1番目のGOP(-1)のピクチャP15の復号化が開始される時点までに当該ピクチャP15の読出し処理が終了していなければならない。従って、その時点がこのピクチャP15を含む再生遅延短縮ピクチャ群PDSのMPEGストリームD3の最も遅い読み出し処理タイミングとなる。そこで制御部5は、この時点からそのMPEGストリームデータD1の読み出し処理の開始タイミングを算出して読み出し処理を開始し、当該MPEGストリームデータD1をメモリ9に格納させる。
続いて制御部5は、この後ステップSP10に進んで、メモリ制御部6を制御して、メモリ読出しアドレスに基づいて対応する再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1をデータ分配部7に読み出して、その後データ分配部7を制御して、この再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1をMPEG復号部10内の対応する第1〜第5のMPEG復号器10A〜10Eに順次振り分けて、第1〜第5のMPEG復号器10A〜10Eにおいて復号化処理を開始させる。そして制御部5は、メモリ制御部6を制御して、表示するピクチャを含むGOPのMPEGストリームデータD1の復号化が終了したときに、このときのメモリ読出しアドレスに基づいてメモリ管理データを更新する。
例えば、図8(B)〜(F)において明らかなように、再生遅延短縮ピクチャ群PDSに対して復号化処理をそれぞれ開始すべき開始タイミングにおいて、再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1をMPEG復号部10内の第1〜第5のMPEG復号器10A〜10Eに順次振り分け、第1〜第5のMPEG復号器10A〜10Eにおいて復号化処理を開始させる。
続いて制御部5は、この後ステップSP11に進んで、MPEG復号部10を制御して、所定のタイミングでベースバンドストリームデータD2の各ピクチャをデータ選別部8に送出し、その後データ選別部8を制御して、表示部11への表示順(ディスプレイオーダ)に従い、当該ベースバンドストリームデータD2のうち表示するピクチャを選択する。
例えば図8(B)のような場合、第1のMPEG復号器10Aから供給される再生遅延短縮ピクチャ群PDSのベースバンドストリームデータD2から表示するピクチャである0番目のGOP(0)のピクチャP15とピクチャB13を選択する。また、その後もこれと同様にして、再生遅延短縮ピクチャ群PDSのベースバンドストリームデータD2から表示するピクチャを順次選択する。この結果、表示するピクチャを逆方向の表示順(ディスプレイオーダ)に並べ替えることができるようになされている。
続いて制御部5は、この後ステップSP12に進んで、表示部11への表示タイミングとなったか否かを判断する。そして制御部5は、このステップSP12において否定結果を得るとステップSP14に進み、これに対して肯定結果を得るとステップSP13に進んで表示するピクチャを順次表示部11に送出し、この結果表示するピクチャに基づくリバース再生動画像が表示部11に表示される。
続いて制御部5は、ステップSP14に進んで、操作部3からの操作信号S1に基づいて、ユーザがリバース再生動作を停止すべき操作(以下、これを停止操作と呼ぶ)を行ったか否かを判断し、否定結果を得るとステップSP8に戻り、この後ステップSP7〜ステップSP14について同様の処理を繰り返す。そして制御部5は、やがてユーザが停止操作を行うことによりステップSP14において肯定結果を得ると、ステップSP15に進んでこのリバース再生動作処理手順RT1を終了する。
このようにして制御部5は、ストレージ部2、メモリ制御部6、データ分配部7、データ選別部8及びMPEG復号部10を制御して、指定されたAVコンテンツを指定された速度でリバース再生してなるリバース再生動画像を表示部11に表示させ得るようになされている。
(2−4)第1の実施の形態による動作及び効果
以上の構成において、この再生装置1では、ユーザにより指定されたAVコンテンツのMPEGストリームデータD1を指定された再生速度でストレージ部2から読み出し、当該MPEGストリームデータD1を表示するピクチャ及び当該ピクチャを復号化するのに必要なピクチャでなる再生遅延短縮ピクチャ群PDS単位で複数個の第1〜第5のMPEG復号器10A〜10Eに振り分けて、これら複数個の第1〜第5のMPEG復号器10A〜10Eにおいて並列的に復号化処理する。
従って、この再生装置1では、図5について上述した原理により、ピクチャの復号化処理を開始してから実際にピクチャを表示するまでの再生遅延を短縮することができる。
またこの再生装置1では、再生遅延短縮ピクチャ群PDSを表示するIピクチャ又はPピクチャ、当該Iピクチャ又はPピクチャを復号化するために必要なピクチャ及び当該Iピクチャ又はPピクチャから参照されるBピクチャの組み合わせで再生遅延短縮ピクチャ群PDSを生成し、複数個の第1〜第5のMPEG復号器10A〜10Eに振り分けて、これら複数個の第1〜第5のMPEG復号器10A〜10Eにおいて並列的に復号化処理することにより、この再生装置1の復号化処理の効率をより向上させることができる。
以上の構成によれば、ユーザにより指定されたAVコンテンツのMPEGストリームデータD1を指定された再生速度でストレージ部2から読み出し、当該MPEGストリームデータD1を表示するピクチャ及び当該ピクチャを復号化するのに必要なピクチャでなる再生遅延短縮ピクチャ群PDS単位で複数個の第1〜第5のMPEG復号器10A〜10Eに振り分けて、これら複数個の第1〜第5のMPEG復号器10A〜10Eにおいて並列的に復号化処理するようにしたことにより、図5について上述した原理により、ピクチャの復号化処理を開始してから最初に表示するピクチャまでの再生遅延を短縮することができ、かくしてMPEGストリームデータのリバース再生動作時の応答性を向上し得る再生装置が実現できる。
(3)第2の実施の形態
(3−1)第2の実施の形態による再生装置の構成
図6との対応部分に同一符号を付して示す図13において、20は全体として第2の実施の形態による再生装置を示し、上述した第1の実施の形態による再生装置1(図6)とは、MPEG復号部21におけてMPEG復号器の個数が異なり、またデータ選別部8においてベースバンドストリームデータの選別及び合成処理を行うことを除いて同様に構成されている。このときMPEG復号部21は、この実施の形態の場合では合計6個の第1〜第6のMPEG復号器21A〜21Fから構成されている。
またデータ選別部8は、制御部5の制御のもとに、稼働中の第1〜第6のMPEG復号器21A〜21Fからそれぞれ供給されるベースバンドストリームデータD2に対して、インターレースの動画像にするために、フィールド単位で、かつフィールド間の間隔が等間隔になるようなピクチャのフィールドを選択して合成する合成処理や必要時にエフェクト処理等を施し、かくして得られた合成ベースバンドストリームデータD4を表示部11に送出する。
(3−2)フィールド単位でのリバース再生動作時における再生装置20の具体的処理
次に、フィールド単位でのリバース再生動作時における再生装置20の具体的な処理内容について説明する。
(3−2−1)1倍速リバース再生動作時における再生装置20の具体的処理
1倍速リバース再生動作時、ストレージ部2は、図14(A)に示すように、指定されたAVコンテンツのMPEGストリームデータD1を例えばGOPを基本単位として1倍速で順次読み出し、これをメモリ制御部6に送出して、当該MPEGストリームデータD1をメモリ9に格納させる。
メモリ制御部6は、制御部5の制御のもとに、メモリ9に格納されるMPEGストリームデータD1に基づいて、逆方向の表示順(ディスプレイオーダ)への並び替えを考慮しながら、図5について上述した再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次生成し、これらを最終的な再生画像出力タイミングに合わせてデータ分配部7に送出する。
データ分配部7は、制御部5の制御のもとに、これら再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第1の実施の形態による1倍速リバース再生動作時と同様に順次循環的に第1〜第5のMPEG復号器21A〜21Eに振り分ける。
第1〜第5のMPEG復号器21A〜21Eは、図14(B)〜(F)に示すように、第1の実施の形態による1倍速リバース再生動作時と同様にそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
データ選別部8は、図14(G)に示すように、第1のMPEG復号器21Aが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから5フレーム期間分後のタイミングで処理を開始する。すなわちデータ選別部8は、制御部5の制御のもとに、第1〜第5のMPEG復号器21A〜21Eから与えられるベースバンドストリームデータD2について、表示するピクチャを選択する。すなわち、第1のMPEG復号器21Aから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP15、B14、B13を選択し、第2のMPEG復号器21Bから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP12、B11、B10を選択し、第3のMPEG復号器21Cから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP9、B8、B7を選択し、第4のMPEG復号器21Dから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP6、B5、B4を選択し、第5のMPEG復号器21Eから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャI3、B1、B2を選択する。
そしてデータ選別部8は、これら選択したベースバンドストリームデータD2について、1倍速リバース再生動作時の場合では、図15(A)のピクチャの詳細構成を示した図15(B)に示すように、例えば最初に表示するピクチャのピクチャ内ボトムフィールドであるピクチャP15のフィールドP15bと次に表示するピクチャのピクチャ内ボトムフィールドであるピクチャB14のフィールドB14bを選択し、図14(G)に示すように、合成画像内トップフィールドに重心移動させ、当該合成画像内トップフィールド間のフィールド間隔が等間隔になるように、ピクチャP15のフィールドP15tを選択し、図14(G)に示すように、当該ピクチャP15のフィールドP15tを合成画像内ボトムフィールドに重心移動させて、合成画像内ボトムフィールドとして表示させるようにして合成画像を生成する。すなわち、ピクチャP15のフィールドP15bとピクチャP15のフィールドP15tとを反転させて表示させるようにして合成画像を生成する。そしてこの後同様にしてこのような合成画像を順次生成して、この合成画像に対して必要に応じてエフェクト処理を施し、かくして得られた合成ベースバンドストリームデータD4を表示部11に送出する。
このようにしてこの再生装置20においては、合成ベースバンドストリームデータD4を生成し、この合成ベースバンドストリームデータD4に基づく1倍速リバース再生動画像を表示部11に表示させる。このとき、この再生装置20においては、0番目のGOP(0)のピクチャI3の復号化処理を開始してから、0番目のGOP(0)のピクチャP15を表示させるまでに、5フレーム期間分の時間のみが必要となることとなる。
(3−2−2)2倍速リバース再生動作時における再生装置20の具体的処理
2倍速リバース再生動作時、ストレージ部2は、図16(A)に示すように、指定されたAVコンテンツのMPEGストリームデータD1を例えばGOPを基本単位として2倍速で順次読み出し、これをメモリ制御部6に送出して、当該MPEGストリームデータD1をメモリ9に格納させる。
メモリ制御部6は、制御部5の制御のもとに、メモリ9に格納されるMPEGストリームデータD1に基づいて、逆方向の表示順(ディスプレイオーダ)への並び替えを考慮しながら、図5について上述した再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次生成し、これらを最終的な再生画像出力タイミングに合わせてデータ分配部7に送出する。
データ分配部7は、制御部5の制御のもとに、これら再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次循環的に第1〜第6のMPEG復号器21A〜21Fに振り分ける。従って、k=1,2,……として、第1のMPEG復号器21Aには、(6k−5)番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられ、第2のMPEG復号器21Bには、(6k−4)番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられ、第3のMPEG復号器21Cには、(6k−3)番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられ、第4のMPEG復号器21Dには、(6k−2)番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられ、第5のMPEG復号器21Eには、(6k−1)番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられ、第6のMPEG復号器21Fには、6k番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられる。
第1のMPEG復号器21Aは、図16(B)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を例えば0番目のGOP(0)のピクチャB10の符号化データがストレージ部2から読み出されたタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第1のMPEG復号器21Aは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第2のMPEG復号器21Bは、図16(C)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第1のMPEG復号器21Aが0番目のGOP(0)のピクチャP9についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第2のMPEG復号器21Bは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第3のMPEG復号器21Cは、図16(D)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第2のMPEG復号器21Bが0番目のGOP(0)のピクチャP12についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第3のMPEG復号器21Cは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第4のMPEG復号器21Dは、図16(E)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第3のMPEG復号器21Cが0番目のGOP(0)のピクチャP9についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第4のMPEG復号器21Dは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第5のMPEG復号器21Eは、図16(F)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第4のMPEG復号器21Dが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから2フレーム期間分先のタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第5のMPEG復号器21Eは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第6のMPEG復号器21Fは、図16(G)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第5のMPEG復号器21Eが−1番目のGOP(-1)のピクチャP9についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第6のMPEG復号器21Fは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
データ選別部8は、図16(H)に示すように、第1のMPEG復号器21Aが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから6フレーム期間分後のタイミングで処理を開始する。すなわちデータ選別部8は、制御部5の制御のもとに、第1〜第6のMPEG復号器21A〜21Fから与えられるベースバンドストリームデータD2について、表示するピクチャを選択する。すなわち、第1のMPEG復号器21Aから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP15、B14、B13を選択し、第2のMPEG復号器21Bから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP12、B11、B10を選択し、第3のMPEG復号器21Cから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP9、B8、B7を選択し、第4のMPEG復号器21Dから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP6、B5、B4を選択し、第5のMPEG復号器21Eから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャI3、B2、B1を選択し、第6のMPEG復号器21Fから与えられるベースバンドストリームデータD2から0番目のGOP(1)のピクチャP15、B14、B13を選択する。
そしてデータ選別部8は、これら選択したベースバンドストリームデータD2について、2倍速リバース再生動作時の場合では、図17(A)のピクチャの詳細構成を示した図17(B)に示すように、例えば上段に表示するピクチャ(トップフィールドデータ)のピクチャ内ボトムフィールドであるピクチャP15のフィールドP15bと次に表示するピクチャ(トップフィールドデータ)のピクチャ内ボトムフィールドであるピクチャP13のフィールドP13bを選択し、図16(G)のように合成画像内トップフィールドに重心移動させ、当該合成画像内トップフィールド間のフィールド間隔が等間隔になるように、図17(B)の下段に表示されたピクチャ(ボトムフィールドデータ)のピクチャ内トップフィールドであるピクチャB14のフィールドB14bを選択し、図16(G)に示すように、当該ピクチャのフィールドB14bをそのまま合成画像内ボトムフィールドとして表示させるようにして合成画像を生成する。そしてこの後同様にしてこのような合成画像を順次生成して、この合成画像に対して必要に応じてエフェクト処理を施し、かくして得られた合成ベースバンドストリームデータD4を表示部11に送出する。
このようにしてこの再生装置20においては、合成ベースバンドストリームデータD4を生成し、この合成ベースバンドストリームデータD4に基づく2倍速リバース再生動画像を表示部11に表示させる。このとき、この再生装置20においては、0番目のGOP(0)のピクチャI3の復号化処理を開始してから、0番目のGOP(0)のピクチャP15を表示させるまでに、6フレーム期間分の時間のみが必要となることとなる。
(3−2−3)3倍速リバース再生動作時における再生装置20の具体的処理
3倍速リバース再生動作時、ストレージ部2は、図18(A)に示すように、指定されたAVコンテンツのMPEGストリームデータD1を例えばGOPを基本単位として3倍速で順次読み出し、これをメモリ制御部6に送出して、当該MPEGストリームデータD1をメモリ9に格納させる。
メモリ制御部6は、制御部5の制御のもとに、メモリ9に格納されるMPEGストリームデータD1に基づいて、逆方向の表示順(ディスプレイオーダ)への並び替えを考慮しながら、図5について上述した再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次生成し、これらを最終的な再生画像出力タイミングに合わせてデータ分配部7に送出する。
データ分配部7は、制御部5の制御のもとに、これら再生遅延短縮ピクチャ群PDSのMPEGストリームデータを2倍速リバース再生動作時と同様に順次循環的に第1〜第6のMPEG復号器21A〜21Fに振り分ける。
このときデータ分配部7は、制御部5の制御のもとに、表示するピクチャを生成するのに時間を要する再生遅延短縮ピクチャ群PDSをその前の再生遅延短縮ピクチャ群PDSと入れ換えて振り分けし得るようになされている。
第1のMPEG復号器21Aは、図18(B)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を例えば0番目のGOP(0)のピクチャB7の符号化データがストレージ部2から読み出されたタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第1のMPEG復号器21Aは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第2のMPEG復号器21Bは、図18(C)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第1のMPEG復号器21Aが0番目のGOP(0)のピクチャP9についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第2のMPEG復号器21Bは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第3のMPEG復号器21Cは、図18(D)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第2のMPEG復号器21Bが0番目のGOP(0)のピクチャP9についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第3のMPEG復号器21Cは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第4のMPEG復号器21Dは、図18(E)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第3のMPEG復号器21Cが0番目のGOP(0)のピクチャP9についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第4のMPEG復号器21Dは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第5のMPEG復号器21Eは、図18(F)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第4のMPEG復号器21Dが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから3フレーム期間分先のタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第5のMPEG復号器21Eは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第6のMPEG復号器21Fは、図18(G)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第5のMPEG復号器21Eが−1番目のGOP(-1)のピクチャP9についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第6のMPEG復号器21Fは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
データ選別部8は、図18(G)に示すように、第1のMPEG復号器21Aが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから6フレーム期間分後のタイミングで処理を開始する。すなわちデータ選別部8は、制御部5の制御のもとに、第1〜第6のMPEG復号器21A〜21Fから与えられるベースバンドストリームデータD2について、表示するピクチャを選択する。すなわち、第1のMPEG復号器21Aから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP15、B14を選択し、第2のMPEG復号器21Bから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP12、B11を選択し、第3のMPEG復号器21Cから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP9、B8を選択し、第4のMPEG復号器21Dから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP6、B5を選択し、第5のMPEG復号器21Eから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャI3、B2を選択し、第6のMPEG復号器21Fから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP15、B14を選択する。
そしてデータ選別部8は、これら選択したベースバンドストリームデータD2について、3倍速リバース再生動作時の場合では、図19(A)のピクチャの詳細構成を示した図19(B)に示すように、例えば上段に表示するピクチャ(トップフィールドデータ)のピクチャ内ボトムフィールドであるピクチャP15のフィールドP15bと次に表示するピクチャ(トップフィールドデータ)のピクチャ内ボトムフィールドであるピクチャP12のフィールドP12bを選択し、図18(G)のように合成画像内トップフィールドに重心移動させ、当該ピクチャ内トップフィールド間のフィールド間隔が等間隔になるように、図19(B)の下段に表示されたピクチャ(ボトムフィールドデータ)のピクチャ内トップフィールドであるピクチャB14のフィールドB14tを選択し、図18(G)に示すように当該ピクチャB14のフィールドB14tを合成画像内ボトムフィールドに重心移動させて、合成画像内ボトムフィールドとして表示させるようにして合成画像を生成する。そしてこの後同様にしてこのような合成画像を順次生成して、この合成画像に対して必要に応じてエフェクト処理を施し、かくして得られた合成ベースバンドストリームデータD4を表示部11に送出する。
このようにしてこの再生装置20においては、合成ベースバンドストリームデータD4を生成し、この合成ベースバンドストリームデータD4に基づく3倍速リバース再生動画像を表示部11に表示させる。このとき、この再生装置20においては、0番目のGOP(0)のピクチャI3の復号化処理を開始してから、0番目のGOP(0)のピクチャP15を表示させるまでに、6フレーム期間分の時間のみが必要となることとなる。
(3−3)フィールド単位でのリバース再生動作処理手順
ここで、上述のようなフィールド単位でのリバース再生動作時における制御部5の制御処理は、当該制御部5内のROM5Aに格納された制御プログラムに基づき、図20及び図21に示すフィールド単位でのリバース再生動作処理手順RT2に従って行われる。
すなわち制御部5は、操作部3が操作されて再生すべきAVコンテンツ及びその再生速度が指定され、リバース再生動作が選択されると、このフィールド単位でのリバース再生動作処理手順RT2をステップSP16において開始し、続くステップSP17において、第1の実施の形態によるリバース再生動作処理手順RT1のステップSP1と同様の処理を施す。
続いて制御部5は、ステップSP18に進んで、ユーザにより指定された再生速度に応じて、合成画像内トップフィールド及び合成画像内ボトムフィールドとして表示すべきピクチャと、その組み合わせを算出して決定する。従って、例えば2倍速リバース再生が指定された場合には、図17(A)の上段に示すように、各GOPのピクチャP15、B13、B11、P9、B7、B5、I3、B1がそれぞれ合成画像内トップフィールドとして決定されると共に、図8の下段に示すように、各GOPのピクチャB14、B12、B10、B8、B6、B4、B2がそれぞれ合成画像内ボトムフィールドとして決定され、これらを図16(H)のように合成するようにして合成画像を生成することが決定される。
続いて制御部5は、ステップSP19に進んで、逆方向の表示順(ディスプレイオーダ)への並び替えを考慮しながら、ステップSP18において合成画像内トップフィールド又は合成画像内ボトムフィールドとして表示することを決定したIピクチャ又はPピクチャと、それらを復号化処理する際に復号化処理が必要となるピクチャと、表示するIピクチャ又はPピクチャから参照されるBピクチャの組み合わせに応じて各再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を算出する。
例えば、2倍速リバース再生が指定された場合には、図16(B)に示すように、表示することを決定したPピクチャである0番目のGOP(0)のピクチャP15と、そのときのボトムフィールドとして表示されるGOP(0)のピクチャB14と、これら0番目のGOP(0)のピクチャP15、P14を復号化するために必要な0番目のGOP(0)のピクチャI3、P6、P9、P12が算出される。
続いて制御部5は、ステップSP19に進んで、ステップSP19〜ステップSP26において、上述の第1の実施の形態によるリバース再生動作処理手順RT1のステップSP4〜ステップSP10と同様の処理を施す。
続いて制御部5は、ステップSP27に進んで、MPEG復号部21を制御して、所定のタイミングでベースバンドストリームデータD2の各ピクチャをデータ選別部8に送出し、その後データ選別部8を制御して、表示部11への表示順(ディスプレイオーダ)に従い、当該ベースバンドストリームデータD2から表示するピクチャを選択し、これら選択した表示するピクチャを合成するようにして合成画像を生成する。
例えば図16(B)のような場合、第1のMPEG復号器21Aから供給される再生遅延短縮ピクチャ群PDSのベースバンドストリームデータD2から表示するピクチャである0番目のGOP(0)のピクチャP15及びピクチャB14を選択する。そしてピクチャP15を合成画像内トップフィールドとして選択し、ピクチャB14を合成画像内ボトムフィールドとして合成するようにして合成画像を生成する。また、その後もこれと同様にして、再生遅延短縮ピクチャ群PDSのベースバンドストリームデータD2から表示するピクチャを順次選択して合成するようにして合成画像を生成する。この結果、表示するピクチャを逆方向の表示順(ディスプレイオーダ)に並べ替えることができるようになされている。
続いて制御部5は、ステップSP28に進んで、ステップSP28〜ステップSP30において、上述の第1の実施の形態によるリバース再生動作処理手順RT1のステップSP12〜ステップSP15と同様の処理を施す。そして制御部5は、やがてユーザが停止操作を行うことによりステップSP30において肯定結果を得ると、ステップSP31に進んでこのフィールド単位でのリバース再生動作処理手順RT2を終了する。
このようにして制御部5は、ストレージ部2、メモリ制御部6、データ分配部7、データ選別部8及びMPEG復号部21を制御して、指定されたAVコンテンツを指定された速度で、かつフィールド単位でリバース再生してなるリバース再生動画像を表示部11に表示させ得るようになされている。
(3−4)第2の実施の形態による動作及び効果
以上の構成において、この再生装置20では、再生速度に応じて合成画像内トップフィールドと合成画像内ボトムフィールドとのフィールド間隔が等間隔又はほぼ等間隔になるようにピクチャを選択して合成画像を生成する。
従って、表示すべきピクチャのフィールド間の間隔を調整するようにしたことにより、より滑らかにリバース再生動画像を表示することができる。
またこの再生装置20では、表示するピクチャを復号化するのに時間を要する再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順番にかかわらず第1〜第6のMPEG復号器21A〜21Fに振り分けることにより、MPEGストリームデータD1の復号化処理の効率をより向上させることができる。
以上の構成によれば、再生速度に応じて合成画像内トップフィールドと合成画像内ボトムフィールドとのフィールド間隔が等間隔又はほぼ等間隔になるようにピクチャを選択して合成画像を生成し、表示すべきピクチャのフィールド間の間隔を調整するようにしたことにより、より滑らかにリバース再生動画像を表示し得、かくしてMPEGストリームデータのリバース再生動作時の応答性を向上し、かつより滑らかにリバース再生動画像を表示し得る再生装置が実現できる。
(4)他の実施の形態
なお上述の実施の形態においては、データ分配部7において再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を例えば図7のように5個の第1〜第5のMPEG復号器10A〜10Eに振り分けた場合について述べたが、本発明はこれに限らず、例えば図22に示すように、再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を3個の第1〜第3のMPEG復号器10A〜10Cに振り分けることにより、より少ないMPEG復号器によって復号化処理を行うことができ、要は復号化処理が間に合うならばいずれの数のMPEG復号器を適用することができる。
また上述の実施の形態においては、データ分配部7において再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を例えば図7のように5個の第1〜第5のMPEG復号器10A〜10Eに振り分けた場合について述べたが、本発明はこれに限らず、第1〜第5のMPEG復号器10A〜10Eに内蔵された図示しないメモリに必要フレーム数分復号化されたピクチャを格納することにより、例えば図23(B)に示すように、再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1をピクチャI3、P6、P9、P12、B11、B10、P15、B14、B13の符号化データのように構成するようにしても良く、要は、表示することを決定したIピクチャ又はPピクチャと、それらを復号化処理する際に復号化処理が必要となるピクチャと、表示するIピクチャ又はPピクチャから参照されるBピクチャの組み合わせをこの他種々の組み合わせにすることにより、復号化するMPEG復号器の数に応じてピクチャの復号化処理を開始してから最初に表示するピクチャまでのフレーム期間を任意に選ぶことができる。
さらに上述の実施の形態においては、トップフィールドデータのピクチャ内ボトムフィールドを重心移動させ、合成画像内トップフィールドとして選択した場合について述べたが、本発明はこれに限らず、図24(H)に示すように、トップフィールドデータのピクチャ内トップフィールドを、合成画像内トップフィールドとして選択した場合にも、上述と同様に合成画像内ボトムフィールドを当該合成画像内トップフィールド間のフィールド間隔が等間隔又はほぼ等間隔になるように選択することによって、表示すべきフレーム画像のフィールド間の間隔を調整することができる。
さらに上述の実施の形態においては、データ分配部7において再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を図9のように5個の第1〜第5のMPEG復号器10A〜10Eに振り分けた場合について述べたが、本発明はこれに限らず、第1〜第5のMPEG復号器10A〜10Eに内蔵された図示しないメモリに必要フレーム数分復号化されたピクチャを格納することにより、図25に示すように、再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第1〜第5のMPEG復号器10A〜10Eに振り分けることができ、また図9に示すような3倍速リバース再生動作時で、かつ上述のように0番目のGOP(0)のピクチャP15からリバース再生する場合、これらを例えば第1のMPEG復号器10Aのみにより復号化処理することもできる。
さらに上述の実施の形態においては、Iピクチャ(I)、Pピクチャ(P)及びBピクチャ(B)をすべて同じ復号化処理時間がかかるとして復号化処理を行った場合について述べたが、本発明はこれに限らず、実際上Iピクチャ(I)又はPピクチャ(P)を復号化処理する場合には、Bピクチャ(B)ほど復号化処理に時間がかからないことから、上述のように1フレーム期間ごとにすべて同じタイミングで同期させる必要がなく、それぞれのタイミングで復号化処理を行うことにより、さらに復号化処理の効率を向上させることができる。
さらに上述の実施の形態においては、復号化処理する際に復号化処理が必要となるピクチャI3をデータ選別部8において選択しない場合について述べたが、本発明はこれに限らず、当該ピクチャI3が表示するピクチャである場合には、復号化処理する際に復号化処理が必要となるピクチャI3のいずれかをデータ選別部8において選択することにより、表示するピクチャであるときのピクチャI3の復号化の時間を短縮することができる。
さらに上述の実施の形態においては、GOPのピクチャ構造におけるMPEGストリームデータを、Nを15、Mを3とした場合について述べたが、本発明はこれに限らず、この他種々のGOPのピクチャ構造におけるMPEGストリームデータについても広く適用することができる。
さらに上述の実施の形態においては、指定された倍速で読み込まれたMPEGストリームデータに対して、最初の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を、対応する第1のMPEG復号器10Aにおいて所定のタイミングで復号化を開始した場合について述べたが、本発明にはこれに限らず、再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1の復号化を開始するタイミングは、対応するMPEGストリームデータD1がすでにメモリ9に格納されているならばどのタイミングで復号化を開始するようにしても良い。
さらに上述の実施の形態においては、MPEG復号部10が5個の第1〜第5のMPEG復号器10A〜10Eから構成されている場合について述べたが、本発明はこれに限らず、例えばMPEGストリームデータを復号化する回路であっても良く、要は所定数のMPEGストリームデータを復号化する機構であれば良い。
さらに上述の実施の形態においては、データ分配部7において、第1のMPEG復号器10Aから順次再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を振分けた場合について述べたが、本発明はこれに限らず、第1のMPEG復号器10A以外の第2〜第5のMPEG復号器10Eから順次再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1の振分けを開始するようにしても良い。
さらに上述の実施の形態においては、データ分配部7において、第1のMPEG復号器10Aから順番に順次再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を振分けた場合について述べたが、本発明はこれに限らず、例えば順番に関わらず復号化の終了した第1〜第5のMPEG復号器10A〜10Eに順次再生遅延短縮ピクチャ群のMPEGストリームデータD1を振分けるようにしても良く、この他種々の順番で再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を振分ける場合についても広く適用することができる。
さらに上述の実施の形態においては、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出した場合について述べたが、本発明はこれに限らず、所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を第1〜第5のMPEG復号器10A〜10Eに内蔵されたメモリに順次格納すると共に、データ選別部8において所定のタイミングで第1〜第5のMPEG復号器10A〜10EからベースバンドストリームデータD2を読み出して、ベースバンドストリームデータD2から表示するピクチャを選択するようにしても良く、また第1〜第5のMPEG復号器10A〜10EにおいてベースバンドストリームデータD2から表示するピクチャのみを選択してデータ選別部8に送出するようにしても良く、この他種々の選択方法を適用することができる。
さらに上述の実施の形態においては、1倍速〜3倍速及び5倍速リバース再生動作時における再生装置の具体的処理について述べたが、本発明はこれに限らず、例えば4倍速リバース再生動作時における再生装置の具体的処理等、2倍速以上の任意の倍速リバース再生動作時における再生装置の具体的処理について広く適用することができる。
さらに上述の実施の形態においては、表示開始ピクチャはすべて0番目のGOP(0)のピクチャP15から開始した場合について述べたが、本発明はこれに限らず、例えば5番目のGOP(5)のピクチャI3や(n+2)番目のGOP(n+2)のピクチャB7から開始する場合等この他種々のGOPのピクチャから開始する場合についても広く適用することができる。
さらに上述の実施の形態においては、ストレージ部2をハードディスク装置等から構成した場合について述べたが、本発明はこれに限らず、例えば、光ディスク、光磁気ディスク、半導体メモリ、磁気ディスク等の種々の記録媒体に適用することができる。
さらに上述の実施の形態においては、ストレージ部2又は表示部11の接続形態を接続ケーブル等を介して接続し、再生装置として一体化されている場合について述べたが、本発明はこれに限らず、例えば外部から有線または無線で接続されるようにしても良く、この他種々の接続形態で接続するようにしてもよい。
さらに上述の実施の形態においては、一連の処理をそれぞれの機能を有するハードウェアにより実行させた場合について述べたが、本発明はこれに限らず、ソフトウェアにより実行させるようにしても良い。このとき、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータに対して、各種プログラムをインストールすることで各種の機能を実行することが可能となり、例えば汎用のパーソナルコンピュータなどに例えば記録媒体からインストールされる。そしてこの記録媒体は、例えば、光ディスク、光磁気ディスク、半導体メモリ、磁気ディスク等の種々の記録媒体を含むことは言うまでもない。また例えば汎用のパーソナルコンピュータなどに例えばインターネット等のネットワークを介してダウンロードすることによって、各種プログラムをインストールするようにしても良い。
さらに上述の実施の形態においては、復号化コントロール部4及びMPEG復号部10、21は同一の拡張カード(例えば、PCI(Peripheral Component Interconnect)カード、PCI−EXPRESSカード)に搭載する形態に限らず、例えばPCI−EXPRESSなどの技術によりカード間の転送速度が高い場合には、それぞれ別の拡張カードに搭載しても良い。さらに、制御部5の一部又は全部の機能(例えば、圧縮ストリームデータの読出し指示)は、システム全体を制御するCPU(例えば、パーソナルコンピュータの主CPU)に行わせることも可能である。
1、20……再生装置、2……ストレージ部、3……操作部、4……復号化コントロール部、5……制御部、6……メモリ制御部、7……データ分配部、8……データ選別部、9……メモリ、10、21……MPEG復号部、10A〜10E、21A〜21F……MPEG復号器、PDS……再生遅延短縮ピクチャ群。