JP4120055B2 - 再生装置及び再生方法 - Google Patents
再生装置及び再生方法 Download PDFInfo
- Publication number
- JP4120055B2 JP4120055B2 JP26369898A JP26369898A JP4120055B2 JP 4120055 B2 JP4120055 B2 JP 4120055B2 JP 26369898 A JP26369898 A JP 26369898A JP 26369898 A JP26369898 A JP 26369898A JP 4120055 B2 JP4120055 B2 JP 4120055B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- screen
- frame memory
- picture
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ方式等により圧縮された符号化データを再生する再生装置及び再生方法に関するものであり、より詳しくは、そのような再生装置及び再生方法における逆方向再生技術に関する。
【０００２】
【従来の技術】
従来より、動画像を複数フレームにわたる時間軸方向の相関を利用して圧縮する方式として、ＭＰＥＧ(Motion Picture Cording Experts Group)方式が広く用いられている。例えば、ＭＰＥＧ方式を採用したビデオに関して、ISO-13818-2において規格化されている。
【０００３】
ＭＰＥＧ方式では、ランダムアクセスを可能とするために、画面内だけの閉じた情報による符号化画像であるフレーム内予測符号化画像を定期的に挿入し、このフレーム内予測符号化画像が少なくとも１枚入った画面群構造を持つようにしている。これをＧＯＰ（Group Of Pictures）と呼ぶ。
【０００４】
このようなＭＰＥＧ方式におけるＧＯＰの構造について、ＧＯＰ構造の一例を示す図７を参照して説明する。
【０００５】
ＭＰＥＧ方式では、画像に、Ｉピクチャ、Ｐピクチャ、Ｂピクチャという３つのタイプを規定している。Ｉピクチャは、フレーム内予測符号化画像である。Ｐピクチャは、すでに符号化された時間的に前のフレームを参照して作られるフレーム間順方向予測符号化画像である。Ｂピクチャは、時間的に前後の２フレームを参照して予測する双方向予測符号化画像である。そして、ＭＰＥＧ方式において、１つのＧＯＰには、少なくとも一つのＩピクチャが含まれる。
【０００６】
図７は、このようなＧＯＰの構造の一例を示している。なお、図７（ａ）は、復号の処理順序（デコーディングオーダー）に従って各ピクチャが並んだＧＯＰの構造を示しており、図７（ｂ）は、原画面の順序（プレゼンテーションオーダー）に従って各ピクチャが並んだ状態を示している。
【０００７】
図７の例において、１つのＧＯＰは、１５フレームで構成され、１枚のＩピクチャと、４枚のＰピクチャと、１０枚のＢピクチャとからなる。なお、図７において、ピクチャＩ，Ｐ，Ｂに付された添え字は、それらのピクチャのプレゼンテーションオーダーを示している。
【０００８】
図７の例において、例えば、ピクチャＩ2は、それ単独で符号化されており、ピクチャＰ5は、ピクチャＩ2を参照してフレーム間予測符号化されており、ピクチャＢ3，Ｂ4は、ピクチャＩ2及びピクチャＰ5の２つを参照してフレーム間予測符号化されている。したがって、ピクチャＩ2は、それ単独で復号できるが、ピクチャＰ5の復号には、ピクチャＩ2を復号したデータが必要であり、ピクチャＢ3，Ｂ4の復号には、ピクチャＩ2及びピクチャＰ5を復号したデータが必要である。
【０００９】
このように、ＭＰＥＧ方式では、双方向予測符号化画像であるＢピクチャが存在するため、例えば図７（ａ）と図７（ｂ）とに示すように、符号化処理や復号処理の処理順序と、原画面の順序とが異なるものとなる。すなわち、例えば図７（ａ）に示すような順序で復号された各ピクチャを、図７（ｂ）のような適切な順序に並び替えて表示することで、もとの動画像が復元される。したがって、符号化されたフレームを復号するには、Ｉ，Ｐ，Ｂの各ピクチャの相関を考慮しながら、正しい順序で順次復号していく作業を必要とする。
【００１０】
【発明が解決しようとする課題】
以上のようなＭＰＥＧ方式で符号化されたデータは、時間軸方向に対して逆方向の再生（以下、単に逆方向再生と称する。）を高速に行うことが難しいという問題があった。以下、この問題について説明する。
【００１１】
例えば、図７の例において、ピクチャＢ12から逆方向再生する場合には、Ｂ12，Ｐ11，Ｂ10，Ｂ9，Ｐ8，Ｂ7，Ｂ6，Ｐ5，Ｂ4，Ｂ3，Ｉ2，Ｂ1，Ｂ0，・・・という順番でピクチャを表示しなければならない。
【００１２】
しかし、上述したように、ＭＰＥＧ方式では、時間軸方向に従って順次復号していく必要があることから、例えばピクチャＢ12を復号するためには、Ｉ2，Ｐ5，Ｐ8，Ｐ11，Ｐ14をこの順に復号していかなければならない。そして、ピクチャＢ12の復号が完了し、次にピクチャＰ11を復号するためには、再度、Ｉ2，Ｐ5，Ｐ8を復号していかなければならない。
【００１３】
更に表示が進み、ピクチャＢ1を復号する必要が生じた時点では、図７の例では、１つ前のＧＯＰの最後のＰピクチャがピクチャＢ1の復号に必要となっているので、１つ前のＧＯＰのＩ2，Ｐ5，Ｐ8，Ｐ11，Ｐ14の各ピクチャを順次復号していかなければならない。
【００１４】
このように、ＧＯＰ先頭から順次復号していく処理は、逆方向再生時に、各ピクチャを表示する毎に行われる。そこで、各ピクチャの表示間隔を一定にするためには、復号過程に要する最大時間で律速する必要がある。このため、逆方向再生の速度に制限が加わり、従来は、逆方向再生を高速に行うことができなかった。
【００１５】
なお、この問題は、ＭＰＥＧ方式で符号化されたデータを逆方向再生するときに限らず、複数フレームにわたる時間軸方向の相関を利用して圧縮された符号化データを逆方向再生するときに共通の問題である。
【００１６】
本発明は、以上のような従来の実情に鑑みて提案されたものであり、ＭＰＥＧ方式等により画像データが圧縮されてなる符号化データの逆方向再生をより高速に行うことが可能な再生装置及び再生方法を提供することを目的としている。
【００１７】
【課題を解決するための手段】
本発明に係る再生装置は、画像データが複数フレームにわたる時間軸方向の相関を利用して圧縮された符号化データを再生する再生装置であって、符号化データを復号する復号手段と、復号手段によって復号された画面のデータが保存される少なくとも４つ以上のフレームメモリとを有する。そして、符号化データを時間軸方向に対して逆方向に再生する際に、下記の第１乃至第３の処理を順次繰り返し行う。
【００１８】
（ａ）各画面の符号化データを順次復号して、復号した各画面のデータをフレームメモリに順次保存していくとともに、空いているフレームメモリがないときには、時間的に古い画面のデータが保存されているフレームメモリから順次上書きしていく第１の処理。
【００１９】
（ｂ）再生対象の画面まで復号が進み、再生対象の画面の復号が完了したら、再生対象の画面のデータをフレームメモリから読み出して、当該画面のデータを出力する第２の処理。
【００２０】
（ｃ）再生対象の画面のデータの出力がなされたら、出力の終わった画面のデータが保存されていたフレームメモリを空きとして、まだフレームメモリにデータが保存されている画面に連続する画面のデータを復号するために必要な画面のデータが復号されるように復号処理を行い空いている当該フレームメモリに保存する第３の処理。
【００２２】
以上のような本発明に係る再生装置では、フレームメモリを用いて上記第１乃至第３の処理を順次繰り返し行うことで逆方向再生を行うようにしているので、逆方向再生時に繰り返し同じフレームを復号するという処理を削減することができる。すなわち、本発明に係る再生装置では、より少ない回数の復号処理にて、逆方向再生を行うことができる。
【００２３】
また、本発明に係る再生方法は、画像データが複数フレームにわたる時間軸方向の相関を利用して圧縮された符号化データを、時間軸方向に対して逆方向に再生する再生方法であって、下記の第１乃至第３の処理を順次繰り返し行うことで、符号化データを時間軸方向に対して逆方向に順次再生する。
【００２４】
（ａ）各画面の符号化データを順次復号して、復号した各画面のデータを少なくとも４つ以上のフレームメモリに順次保存していくとともに、空いているフレームメモリがないときには、最初に復号した画面のデータが保存されているフレームメモリから順次上書きしていく第１の処理。
【００２５】
（ｂ）再生対象の画面まで復号が進み、再生対象の画面の復号が完了したら、再生対象の画面のデータをフレームメモリから読み出して、当該画面のデータを出力する第２の処理。
【００２６】
（ｃ）再生対象の画面のデータの出力がなされたら、出力の終わった画面のデータが保存されていたフレームメモリを空きとして、まだフレームメモリにデータが保存されている画面に連続する画面のデータを復号するために必要な画面のデータが復号されるように復号処理を行い空いている当該フレームメモリに保存する第３の処理。
【００２８】
以上のような本発明に係る再生方法では、フレームメモリを用いて上記第１乃至第３の処理を順次繰り返し行うことで逆方向再生を行うようにしているので、逆方向再生時に繰り返し同じフレームを復号するという処理を削減することができる。すなわち、本発明に係る再生方法では、より少ない回数の復号処理にて、逆方向再生を行うことができる。
【００２９】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
【００３０】
本発明を適用した再生装置の一構成例を図１に示す。この再生装置１は、逆方向再生機能を有しており、図１に示すように、ドライブ装置２と、ＲＦ処理部３と、デマルチプレクサ４と、ビデオバッファ５と、復号器６と、復号切替器７と、メモリ８と、表示切替器９と、ビデオデコーダ１０と、表示装置１１と、制御装置１２とを備えている。
【００３１】
ドライブ装置２は、光ディスク等の記録媒体２０からデータを読み出して、ＲＦ信号として出力する。ＲＦ処理部３は、ドライブ装置２からＲＦ信号を受け取り、当該ＲＦ信号に対して波形等化及び２値化等の所定の信号処理を施して再生データを生成し、当該再生データを出力する。
【００３２】
デマルチプレクサ４は、ＲＦ処理部３から再生データを受け取り、当該再生データの多重化をほどき、ＭＥＰＧ方式のビデオデータとする。ビデオバッファ５は、デマルチプレクサ４からビデオデータを受け取り、当該ビデオデータを一時的に保存するとともに、当該ビデオデータを適切なタイミングにて復号器６に供給する。
【００３３】
復号器６は、ビデオバッファ５からビデオデータを受け取り、当該ビデオデータを復号してもとのピクチャのデータとする。メモリ８は、５ピクチャ分のフレームメモリからなり、復号器６により復号されたピクチャのデータを受け取り、当該データをいずれかのフレームメモリに保存する。
【００３４】
復号切替器７は、復号したピクチャのデータを、メモリ８のどのフレームメモリに保存するかの切替を行う。すなわち、復号切替器７は、復号したピクチャのデータをどのフレームメモリに保存するかを選択する機構として機能する。
【００３５】
表示切替器９は、メモリ８に保存されたピクチャのデータのうち、どのフレームメモリからピクチャのデータを読み出すかを選択する。すなわち、表示切替器９は、どのフレームメモリからピクチャのデータを読み出して表示するかを選択する機構として機能する。
【００３６】
ビデオデコーダ１０は、表示切替器９により選択されたフレームメモリから読み出されたピクチャのデータを受け取り、当該データをビデオ信号に変換する。表示装置１１は、ビデオデコーダ１０からビデオ信号を受け取り、当該ビデオ信号に基づき映像を表示する。
【００３７】
制御装置１２は、以上のようなドライブ装置２、ＲＦ処理部３、デマルチプレクサ４、復号器６、復号切替器７、表示切替器９及びビデオデコーダ１０の動作を制御する。
【００３８】
つぎに、以上のような再生装置１による逆方向再生について説明する。
【００３９】
この再生装置１では、５ピクチャ分のフレームメモリを用いて、復号手順を効率化することで、高速な逆方向再生が可能となっている。すなわち、この再生装置１は、逆方向再生を行う際に、下記の第１乃至第３の処理を順次繰り返し行う。
【００４０】
（ａ）各ピクチャを順次復号して、復号した各ピクチャをフレームメモリに順次保存していくとともに、空いているフレームメモリがないときには、最初に復号したピクチャが保存されているフレームメモリから順次上書きしていく。
【００４１】
（ｂ）再生対象のピクチャまで復号が進み、再生対象のピクチャの復号が完了したら、そこで復号を一時停止して、再生対象のピクチャをフレームメモリから読み出して、当該ピクチャを表示装置１１に表示する。
【００４２】
（ｃ）再生対象のピクチャの表示がなされたら、表示の終わったピクチャが保存されていたフレームメモリを空きとして、まだフレームメモリにデータが保存されているピクチャに連続するピクチャが復号されるように復号処理を再開する。
【００４３】
このような逆方向再生を行うときの制御は、ピクチャの復号処理に関する制御（以下、復号処理制御と称する。）と、復号したピクチャの表示処理に関する制御（以下、表示処理制御と称する。）とに大別でき、これらが相互に関わり合って動作することで、上記のような逆方向再生が実現される。以下、復号処理制御と表示処理制御とについて、それぞれ説明する。
【００４４】
まず、復号処理制御について説明する。
【００４５】
復号処理制御において、再生装置１は、制御装置１２により復号器６及び復号切替器７を制御することで、フレームメモリを許される限り使用して、ピクチャの復号を順次行う。このとき、フレームメモリを使い切ってもまだ再生対象のピクチャに到達しない場合には、最初に復号したピクチャが保存されているフレームメモリ（すなわち、時間的に後に表示されるピクチャが保存されているフレームメモリ）から順次上書きしていき、再生対象のピクチャが復号されるまで復号処理を順次進めていく。
【００４６】
再生対象のピクチャまで復号が完了したら、一旦復号を停止し、表示処理制御によりフレームメモリに空きができるまで待つ。このとき、制御装置１２は、ドライブ装置２やＲＦ処理部３に、必要なデータを再度供給する準備をするように指示を出しておく。
【００４７】
表示処理制御によって表示が進むと空きのフレームメモリができるが、この空きのフレームメモリができた段階で処理を再開し、前回の復号処理で復号されたピクチャに連続する一つ手前のピクチャを再生対象ピクチャとして、前回と同様に復号処理を順次進めていく。復号処理制御では、以上の動作を繰り返し行うことで、逆方向再生時に連続した復号処理を行う。
【００４８】
このような復号処理制御の具体的な処理フローを図２に示す。
【００４９】
図２に示すように、復号処理制御では、先ず、ステップＳ１−１において、空いているフレームメモリがあるかを判別する。空いているフレームメモリがある場合は、ステップＳ１−２へ進み、空いているフレームメモリがない場合は、ステップＳ１−３へ進む。
【００５０】
ステップＳ１−２では、ピクチャの復号を行う。このときの復号処理は、現在、フレームメモリにあるピクチャに連続するピクチャが順次復号されるように行う。そして、１ピクチャ分の復号が完了したら、ステップＳ１−１へ戻って処理を繰り返す。
【００５１】
ステップＳ１−３では、現在表示されているピクチャまでの連続したピクチャがフレームメモリ上にあるかを判別する。ある場合には、表示制御処理によりフレームメモリに空きができるまで、ステップＳ１−１へ戻って処理を繰り返し、ない場合には、ステップＳ１−４へ進む。
【００５２】
ステップＳ１−４では、時間的に古いピクチャ（すなわち最初に復号したピクチャ）が保存されているフレームメモリを空きにする。そして、ステップＳ１−１へ戻って処理を繰り返す。
【００５３】
以上のような処理フローに従って処理を行うことにより、復号処理制御がなされる。
【００５４】
つぎに、表示処理制御について説明する。
【００５５】
表示処理制御は、逆方向再生時に、再生対象のピクチャが復号された段階で、当該ピクチャの表示動作を開始する。そして、再生対象となるピクチャの復号が完了している限り、指定された表示間隔に従って、ピクチャの逆順での表示を順次進めていく。また、表示処理制御では、表示が終了したピクチャが保存されていたフレームメモリを順次空き領域としていく。表示処理制御では、以上の動作を繰り返し行うことで、連続した逆方向再生を行う。
【００５６】
このような表示処理制御の具体的な処理フローを図３に示す。
【００５７】
図３に示すように、表示処理制御では、先ず、ステップＳ２−１において、次に表示されるピクチャの復号が完了しているかを判別する。復号が完了していない場合は、復号処理制御により復号が完了するまで待ち状態となり、ステップＳ２−１の処理を繰り返す。一方、復号が完了している場合は、ステップＳ２−２へ進む。
【００５８】
ステップＳ２−２では、ピクチャの表示を行う。次に、ステップＳ２−３において、表示を行ったピクチャが保存されていたフレームメモリを空きにする。次に、ステップＳ２−４において、指定された表示間隔に従って一定時間待った上で、ステップＳ２−１へ戻って処理を繰り返す。
【００５９】
以上のような処理フローに従って処理を行うことにより、表示処理制御がなされる。
【００６０】
以上のような復号処理制御及び表示処理制御を行うことによりなされる逆方向再生について、更に具体的な例を挙げて説明する。
【００６１】
なお、ここでは、図４（ａ）に示すようなＧＯＰ構造を有する画像データを、図４（ｂ）に示すように、ピクチャＰ14から逆方向に再生して表示していくとする。なお、図７のところで説明したように、Ｉピクチャはフレーム内予測符号化画像、Ｐピクチャはフレーム間順方向予測符号化画像、Ｂピクチャは双方向予測符号化画像である。
【００６２】
図４（ｂ）に示すように逆方向再生を行うときの、再生装置１のフレームメモリの使われ方を図５に示す。なお、図５は、５ピクチャ分のフレームメモリにピクチャが格納されていく様子を順次示している。
【００６３】
先ず、図５（ａ）に示すように、ピクチャＩ2，Ｐ5，Ｐ8，Ｐ11，Ｂ9を順次復号し、フレームメモリに格納していく。ピクチャＢ9を復号した段階でフレームメモリに空きが無くなったが、まだ表示対象のピクチャＰ14に到達していないため、図５（ｂ）に示すように、最初に復号したピクチャＩ2に、新たに復号したピクチャＢ10を上書きする。同様に、図５（ｃ）に示すように、ピクチャＰ14，Ｂ12，Ｂ13を復号し、それらをピクチャＰ5，Ｐ8，Ｂ9にそれぞれ上書きする。
【００６４】
これにより、図５（ｃ）に示すように、表示開始可能なピクチャが連続して復号されたこととなる。すると、表示処理制御により、図５（ｃ）の下段の番号の順に表示が開始される。すなわち、ピクチャＰ14，Ｂ13，Ｂ12，Ｐ11，Ｂ10が、この順にフレームメモリから読み出されて、順次表示される。
【００６５】
このとき、表示はピクチャＰ14から開始されるが、ピクチャＰ14の表示が完了した段階で、図５（ｄ）に示すように、ピクチャＰ14を保存していたフレームメモリは空きにする。フレームメモリに空きができたことで、復号処理制御により再び復号処理が開始される。このとき、フレームメモリ上には、ピクチャＢ13，Ｂ12，Ｐ11，Ｂ10が存在しており、次には、これらに連続するピクチャＢ9，Ｐ8，・・・を復号することが望まれる。
【００６６】
そこで、ピクチャＢ9，Ｐ8，・・・を復号するために、改めてピクチャＩ2を復号し、復号したピクチャＩ2を空いているフレームメモリに保存する。以下同様に、ピクチャＢ13の表示が完了し、フレームメモリに空きができた段階で、そのフレームメモリにピクチャＰ5を復号して保存し、次に、ピクチャＢ12の表示が完了し、フレームメモリに空きができた段階で、そのフレームメモリにピクチャＰ8を復号して保存する。図５（ｅ）は、ここまでのプロセスが行われた状態を示している。
【００６７】
この段階ではまだピクチャＢ9に到達していないが、この段階でフレームメモリに空きが無くなったとする。この場合は、図５（ｆ）に示すように、時間的に古いピクチャであるピクチャＩ2に、新たに復号したピクチャＢ9を上書きする。これにより、図５（ｆ）に示すように、表示開始可能なピクチャが連続して復号されたこととなるので、表示処理制御により引き続き図５（ｆ）の下段の番号の順に表示が継続して行われる。そして、以上の処理を連続して進めていくことにより逆方向再生が実現される。
【００６８】
以上のように、逆方向再生を行うときに５枚のフレームメモリを有効に使用することで、逆方向再生時に繰り返し同じピクチャを復号するという処理を削減することが可能となり、少ない回数の復号処理にて、逆方向再生を行うことができる。したがって、以上のように逆方向再生を行うことで、高速な逆方向再生が可能となる。
【００６９】
なお、以上の説明では、５ピクチャ分のフレームメモリを用いる場合を例に挙げたが、本発明では、４ピクチャ分以上のフレームメモリがあれば良く、上記の例に限定されるものでない。ただし、フレームメモリの数が多いほど、逆方向再生時に繰り返し同じピクチャを復号するという処理を減らすことができるので、より高速な逆方向再生が可能となる。
【００７０】
そこで、以下に第２の例として、１０ピクチャ分のフレームメモリがある場合について説明する。なお、本例でも、図４（ａ）に示すようなＧＯＰ構造を有する画像データを、図４（ｂ）に示すように、ピクチャＰ14から逆方向に再生して表示していくものとする。
【００７１】
先ず、図６（ａ）に示すように、ピクチャＩ2，Ｐ5，Ｂ3，Ｂ4，Ｐ8，Ｂ6，Ｂ7，Ｐ11，Ｂ9，Ｂ10を順次復号し、フレームメモリに格納していく。
【００７２】
ピクチャＢ10を復号した段階でフレームメモリに空きが無くなったが、まだ表示対象のピクチャＰ14に到達していないため、図６（ｂ）に示すように、最初に復号したピクチャＩ2に、新たに復号したピクチャＰ14を上書きする。これにより、最初に表示対象となるピクチャＰ14の復号が完了したが、この段階では、ピクチャＰ14に連続するピクチャの復号が完了していない。そこで、図６（ｃ）に示すように、ピクチャＢ12，Ｂ13を復号し、それらをピクチャＢ3，Ｂ4が保存されていたフレームメモリに上書きする。
【００７３】
これにより、図６（ｃ）に示すように、表示開始可能なピクチャが連続して復号されたこととなる。すると、表示処理制御により、図６（ｃ）の下段の番号の順に表示が開始される。すなわち、ピクチャＰ14，Ｂ13，Ｂ12，Ｐ11，Ｂ10，Ｂ9，・・・が、この順にフレームメモリから読み出されて、順次表示される。このとき、表示はピクチャＰ14から開始されるが、ピクチャＰ14の表示が完了した段階で、図６（ｄ）に示すように、ピクチャＰ14を保存していたフレームメモリは空きにする。
【００７４】
フレームメモリに空きができたことで、復号処理制御により再び復号処理が開始される。このとき、フレームメモリ上には、ピクチャＢ13，Ｂ12，Ｐ11，Ｂ10，Ｂ9，Ｐ8，Ｂ7，Ｂ6，Ｐ5までが存在しており、次には、これらに連続するピクチャＢ4，Ｂ3，・・・を復号することが望まれる。
【００７５】
そこで、ピクチャＢ4，Ｂ3，・・・を復号するために、改めてピクチャＩ2を復号し、復号したピクチャＩ2を空いているフレームメモリに保存する。以下同様に、ピクチャＢ13の表示が完了し、フレームメモリに空きができた段階で、そのフレームメモリにピクチャＢ3を復号して保存し、次に、ピクチャＢ12の表示が完了し、フレームメモリに空きができた段階で、そのフレームメモリにピクチャＢ4を復号して保存する。図６（ｅ）は、ここまでのプロセスが行われた状態を示している。
【００７６】
さらに表示が進み、フレームメモリに空きができると、次は、ピクチャＢ1，Ｂ0を復号する必要があるが、ここで、ピクチャＢ1，Ｂ0の復号には、ピクチャＩ2と、一つ前のＧＯＰのピクチャＰ’14とが必要であるとする。この場合、一つ前のＧＯＰのピクチャＩ’2から復号を開始していき、ピクチャＰ’14まで復号し、ピクチャＰ’14まで復号が完了したら、ピクチャＢ1，Ｂ0の復号を開始する。
【００７７】
図６（ｆ）及び図６（ｇ）は、このようなピクチャＢ0，Ｂ1の復号に至るプロセスを示している。図６（ｆ）は、ピクチャＰ8までの表示が完了し、ピクチャＰ11，Ｂ10，Ｂ9，Ｐ8が保存されていた各フレームメモリに、一つ前のＧＯＰのピクチャＩ’2，Ｐ’5，Ｐ’8，Ｐ’11をそれぞれ上書きした状態を示している。また、図６（ｇ）は、一つ前のＧＯＰのピクチャＩ’2が保存されていたフレームメモリにピクチャＰ’14を上書きし、それを受けて、ピクチャＢ1，Ｂ0を復号し、復号したピクチャＢ1，Ｂ0を、一つ前のＧＯＰのピクチャＰ’5，Ｐ’8が保存されていたフレームメモリに上書きした状態を示している。
【００７８】
なお、このように一つ前のＧＯＰのピクチャを復号していくとき、一つ前のＧＯＰの始めの方にあるピクチャＢ’3，Ｂ’4は、フレームメモリが１０ピクチャ分であることから判断して、ピクチャＢ1，Ｂ0を復号する段階で復号したとしても、明らかに後から上書きされることとなる。そこで、このように一つ前のＧＯＰのピクチャを復号していくときには、一つ前のＧＯＰの始めの方にあるピクチャＢ’3，Ｂ’4は、この段階では復号処理を行わないようにする。このように、Ｂピクチャの一部を飛ばして復号処理を進めていくことで、不要な復号処理を削減して、逆方向再生を更に高速化することができる。
【００７９】
以上のような処理を連続して進めていくことにより、１０ピクチャ分のフレームメモリを用いての逆方向再生が実現される。 そして、以上のように、より多くのフレームメモリを用いることで、逆方向再生時に繰り返し同じピクチャを復号するという処理を更に削減することが可能となり、より少ない回数の復号処理にて、逆方向再生を行うことができる。したがって、以上のように、より多くのフレームメモリを用いて逆方向再生を行うことで、画期的に高速な逆方向再生が可能となる。
【００８０】
なお、逆方向再生時に繰り返し同じピクチャを復号するという処理を削減するという観点から言えば、フレームメモリを増やすとしても、１つのＧＯＰに含まれるピクチャ分のフレームメモリがあれば十分である。すなわち、本例では、最大でも１５ピクチャ分のフレームメモリがあれば十分であり、１５ピクチャ分のフレームメモリがあれば、繰り返し同じピクチャを復号するという処理を全く行うことなく、逆方向再生を非常に高速に行うことができる。
【００８１】
【発明の効果】
以上詳細に説明したように、本発明によれば、ＭＰＥＧ方式等により画像データが圧縮されてなる符号化データの逆方向再生をより高速に行うことが可能となる。
【００８２】
しかも、本発明は、単純にフレームメモリを増やすだけで、逆方向再生を高速化することができる。すなわち、本発明によれば、コストの増加を最小限に抑えつつ、逆方向再生の高速を図ることができる。
【００８３】
また、例えば、本発明を画像データの編集機能を備えた再生装置に適用すれば、編集時の操作性が画期的に向上し、編集に要する時間を大幅に短縮することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した再生装置の一構成例を示すブロック図である。
【図２】復号処理制御の処理フローを示す図である。
【図３】表示処理制御の処理フローを示す図である。
【図４】ＧＯＰ（Group Of Pictures）の構造の一例を示す図であり、（ａ）は復号処理順序に従って各ピクチャが並んだＧＯＰの構造を示す図、（ｂ）は逆方向再生を行うときの各画面の表示順序を示す図である。
【図５】本発明を適用して行われる逆方向再生の具体例を説明するための図であり、５ピクチャ分のフレームメモリを用いた場合の処理の一例を示す図である。
【図６】本発明を適用して行われる逆方向再生の具体例を説明するための図であり、１０ピクチャ分のフレームメモリを用いた場合の処理の一例を示す図である。
【図７】ＧＯＰ（Group Of Pictures）の構造の一例を示す図であり、（ａ）は復号の処理順序（デコーディングオーダー）に従って各ピクチャが並んだＧＯＰの構造を示す図、（ｂ）は原画面の順序（プレゼンテーションオーダー）に従って各ピクチャが並んだ状態を示す図である。
【符号の説明】
１ 再生装置、 ２ ドライブ装置、 ３ ＲＦ処理部、 ４ デマルチプレクサ、 ５ ビデオバッファ、 ６ 復号器、 ７ 復号切替器、 ８ メモリ、 ９ 表示切替器、 １０ ビデオデコーダ、 １１ 表示装置、 １２ 制御装置、 ２０ 記録媒体
【発明の属する技術分野】
本発明は、ＭＰＥＧ方式等により圧縮された符号化データを再生する再生装置及び再生方法に関するものであり、より詳しくは、そのような再生装置及び再生方法における逆方向再生技術に関する。
【０００２】
【従来の技術】
従来より、動画像を複数フレームにわたる時間軸方向の相関を利用して圧縮する方式として、ＭＰＥＧ(Motion Picture Cording Experts Group)方式が広く用いられている。例えば、ＭＰＥＧ方式を採用したビデオに関して、ISO-13818-2において規格化されている。
【０００３】
ＭＰＥＧ方式では、ランダムアクセスを可能とするために、画面内だけの閉じた情報による符号化画像であるフレーム内予測符号化画像を定期的に挿入し、このフレーム内予測符号化画像が少なくとも１枚入った画面群構造を持つようにしている。これをＧＯＰ（Group Of Pictures）と呼ぶ。
【０００４】
このようなＭＰＥＧ方式におけるＧＯＰの構造について、ＧＯＰ構造の一例を示す図７を参照して説明する。
【０００５】
ＭＰＥＧ方式では、画像に、Ｉピクチャ、Ｐピクチャ、Ｂピクチャという３つのタイプを規定している。Ｉピクチャは、フレーム内予測符号化画像である。Ｐピクチャは、すでに符号化された時間的に前のフレームを参照して作られるフレーム間順方向予測符号化画像である。Ｂピクチャは、時間的に前後の２フレームを参照して予測する双方向予測符号化画像である。そして、ＭＰＥＧ方式において、１つのＧＯＰには、少なくとも一つのＩピクチャが含まれる。
【０００６】
図７は、このようなＧＯＰの構造の一例を示している。なお、図７（ａ）は、復号の処理順序（デコーディングオーダー）に従って各ピクチャが並んだＧＯＰの構造を示しており、図７（ｂ）は、原画面の順序（プレゼンテーションオーダー）に従って各ピクチャが並んだ状態を示している。
【０００７】
図７の例において、１つのＧＯＰは、１５フレームで構成され、１枚のＩピクチャと、４枚のＰピクチャと、１０枚のＢピクチャとからなる。なお、図７において、ピクチャＩ，Ｐ，Ｂに付された添え字は、それらのピクチャのプレゼンテーションオーダーを示している。
【０００８】
図７の例において、例えば、ピクチャＩ2は、それ単独で符号化されており、ピクチャＰ5は、ピクチャＩ2を参照してフレーム間予測符号化されており、ピクチャＢ3，Ｂ4は、ピクチャＩ2及びピクチャＰ5の２つを参照してフレーム間予測符号化されている。したがって、ピクチャＩ2は、それ単独で復号できるが、ピクチャＰ5の復号には、ピクチャＩ2を復号したデータが必要であり、ピクチャＢ3，Ｂ4の復号には、ピクチャＩ2及びピクチャＰ5を復号したデータが必要である。
【０００９】
このように、ＭＰＥＧ方式では、双方向予測符号化画像であるＢピクチャが存在するため、例えば図７（ａ）と図７（ｂ）とに示すように、符号化処理や復号処理の処理順序と、原画面の順序とが異なるものとなる。すなわち、例えば図７（ａ）に示すような順序で復号された各ピクチャを、図７（ｂ）のような適切な順序に並び替えて表示することで、もとの動画像が復元される。したがって、符号化されたフレームを復号するには、Ｉ，Ｐ，Ｂの各ピクチャの相関を考慮しながら、正しい順序で順次復号していく作業を必要とする。
【００１０】
【発明が解決しようとする課題】
以上のようなＭＰＥＧ方式で符号化されたデータは、時間軸方向に対して逆方向の再生（以下、単に逆方向再生と称する。）を高速に行うことが難しいという問題があった。以下、この問題について説明する。
【００１１】
例えば、図７の例において、ピクチャＢ12から逆方向再生する場合には、Ｂ12，Ｐ11，Ｂ10，Ｂ9，Ｐ8，Ｂ7，Ｂ6，Ｐ5，Ｂ4，Ｂ3，Ｉ2，Ｂ1，Ｂ0，・・・という順番でピクチャを表示しなければならない。
【００１２】
しかし、上述したように、ＭＰＥＧ方式では、時間軸方向に従って順次復号していく必要があることから、例えばピクチャＢ12を復号するためには、Ｉ2，Ｐ5，Ｐ8，Ｐ11，Ｐ14をこの順に復号していかなければならない。そして、ピクチャＢ12の復号が完了し、次にピクチャＰ11を復号するためには、再度、Ｉ2，Ｐ5，Ｐ8を復号していかなければならない。
【００１３】
更に表示が進み、ピクチャＢ1を復号する必要が生じた時点では、図７の例では、１つ前のＧＯＰの最後のＰピクチャがピクチャＢ1の復号に必要となっているので、１つ前のＧＯＰのＩ2，Ｐ5，Ｐ8，Ｐ11，Ｐ14の各ピクチャを順次復号していかなければならない。
【００１４】
このように、ＧＯＰ先頭から順次復号していく処理は、逆方向再生時に、各ピクチャを表示する毎に行われる。そこで、各ピクチャの表示間隔を一定にするためには、復号過程に要する最大時間で律速する必要がある。このため、逆方向再生の速度に制限が加わり、従来は、逆方向再生を高速に行うことができなかった。
【００１５】
なお、この問題は、ＭＰＥＧ方式で符号化されたデータを逆方向再生するときに限らず、複数フレームにわたる時間軸方向の相関を利用して圧縮された符号化データを逆方向再生するときに共通の問題である。
【００１６】
本発明は、以上のような従来の実情に鑑みて提案されたものであり、ＭＰＥＧ方式等により画像データが圧縮されてなる符号化データの逆方向再生をより高速に行うことが可能な再生装置及び再生方法を提供することを目的としている。
【００１７】
【課題を解決するための手段】
本発明に係る再生装置は、画像データが複数フレームにわたる時間軸方向の相関を利用して圧縮された符号化データを再生する再生装置であって、符号化データを復号する復号手段と、復号手段によって復号された画面のデータが保存される少なくとも４つ以上のフレームメモリとを有する。そして、符号化データを時間軸方向に対して逆方向に再生する際に、下記の第１乃至第３の処理を順次繰り返し行う。
【００１８】
（ａ）各画面の符号化データを順次復号して、復号した各画面のデータをフレームメモリに順次保存していくとともに、空いているフレームメモリがないときには、時間的に古い画面のデータが保存されているフレームメモリから順次上書きしていく第１の処理。
【００１９】
（ｂ）再生対象の画面まで復号が進み、再生対象の画面の復号が完了したら、再生対象の画面のデータをフレームメモリから読み出して、当該画面のデータを出力する第２の処理。
【００２０】
（ｃ）再生対象の画面のデータの出力がなされたら、出力の終わった画面のデータが保存されていたフレームメモリを空きとして、まだフレームメモリにデータが保存されている画面に連続する画面のデータを復号するために必要な画面のデータが復号されるように復号処理を行い空いている当該フレームメモリに保存する第３の処理。
【００２２】
以上のような本発明に係る再生装置では、フレームメモリを用いて上記第１乃至第３の処理を順次繰り返し行うことで逆方向再生を行うようにしているので、逆方向再生時に繰り返し同じフレームを復号するという処理を削減することができる。すなわち、本発明に係る再生装置では、より少ない回数の復号処理にて、逆方向再生を行うことができる。
【００２３】
また、本発明に係る再生方法は、画像データが複数フレームにわたる時間軸方向の相関を利用して圧縮された符号化データを、時間軸方向に対して逆方向に再生する再生方法であって、下記の第１乃至第３の処理を順次繰り返し行うことで、符号化データを時間軸方向に対して逆方向に順次再生する。
【００２４】
（ａ）各画面の符号化データを順次復号して、復号した各画面のデータを少なくとも４つ以上のフレームメモリに順次保存していくとともに、空いているフレームメモリがないときには、最初に復号した画面のデータが保存されているフレームメモリから順次上書きしていく第１の処理。
【００２５】
（ｂ）再生対象の画面まで復号が進み、再生対象の画面の復号が完了したら、再生対象の画面のデータをフレームメモリから読み出して、当該画面のデータを出力する第２の処理。
【００２６】
（ｃ）再生対象の画面のデータの出力がなされたら、出力の終わった画面のデータが保存されていたフレームメモリを空きとして、まだフレームメモリにデータが保存されている画面に連続する画面のデータを復号するために必要な画面のデータが復号されるように復号処理を行い空いている当該フレームメモリに保存する第３の処理。
【００２８】
以上のような本発明に係る再生方法では、フレームメモリを用いて上記第１乃至第３の処理を順次繰り返し行うことで逆方向再生を行うようにしているので、逆方向再生時に繰り返し同じフレームを復号するという処理を削減することができる。すなわち、本発明に係る再生方法では、より少ない回数の復号処理にて、逆方向再生を行うことができる。
【００２９】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
【００３０】
本発明を適用した再生装置の一構成例を図１に示す。この再生装置１は、逆方向再生機能を有しており、図１に示すように、ドライブ装置２と、ＲＦ処理部３と、デマルチプレクサ４と、ビデオバッファ５と、復号器６と、復号切替器７と、メモリ８と、表示切替器９と、ビデオデコーダ１０と、表示装置１１と、制御装置１２とを備えている。
【００３１】
ドライブ装置２は、光ディスク等の記録媒体２０からデータを読み出して、ＲＦ信号として出力する。ＲＦ処理部３は、ドライブ装置２からＲＦ信号を受け取り、当該ＲＦ信号に対して波形等化及び２値化等の所定の信号処理を施して再生データを生成し、当該再生データを出力する。
【００３２】
デマルチプレクサ４は、ＲＦ処理部３から再生データを受け取り、当該再生データの多重化をほどき、ＭＥＰＧ方式のビデオデータとする。ビデオバッファ５は、デマルチプレクサ４からビデオデータを受け取り、当該ビデオデータを一時的に保存するとともに、当該ビデオデータを適切なタイミングにて復号器６に供給する。
【００３３】
復号器６は、ビデオバッファ５からビデオデータを受け取り、当該ビデオデータを復号してもとのピクチャのデータとする。メモリ８は、５ピクチャ分のフレームメモリからなり、復号器６により復号されたピクチャのデータを受け取り、当該データをいずれかのフレームメモリに保存する。
【００３４】
復号切替器７は、復号したピクチャのデータを、メモリ８のどのフレームメモリに保存するかの切替を行う。すなわち、復号切替器７は、復号したピクチャのデータをどのフレームメモリに保存するかを選択する機構として機能する。
【００３５】
表示切替器９は、メモリ８に保存されたピクチャのデータのうち、どのフレームメモリからピクチャのデータを読み出すかを選択する。すなわち、表示切替器９は、どのフレームメモリからピクチャのデータを読み出して表示するかを選択する機構として機能する。
【００３６】
ビデオデコーダ１０は、表示切替器９により選択されたフレームメモリから読み出されたピクチャのデータを受け取り、当該データをビデオ信号に変換する。表示装置１１は、ビデオデコーダ１０からビデオ信号を受け取り、当該ビデオ信号に基づき映像を表示する。
【００３７】
制御装置１２は、以上のようなドライブ装置２、ＲＦ処理部３、デマルチプレクサ４、復号器６、復号切替器７、表示切替器９及びビデオデコーダ１０の動作を制御する。
【００３８】
つぎに、以上のような再生装置１による逆方向再生について説明する。
【００３９】
この再生装置１では、５ピクチャ分のフレームメモリを用いて、復号手順を効率化することで、高速な逆方向再生が可能となっている。すなわち、この再生装置１は、逆方向再生を行う際に、下記の第１乃至第３の処理を順次繰り返し行う。
【００４０】
（ａ）各ピクチャを順次復号して、復号した各ピクチャをフレームメモリに順次保存していくとともに、空いているフレームメモリがないときには、最初に復号したピクチャが保存されているフレームメモリから順次上書きしていく。
【００４１】
（ｂ）再生対象のピクチャまで復号が進み、再生対象のピクチャの復号が完了したら、そこで復号を一時停止して、再生対象のピクチャをフレームメモリから読み出して、当該ピクチャを表示装置１１に表示する。
【００４２】
（ｃ）再生対象のピクチャの表示がなされたら、表示の終わったピクチャが保存されていたフレームメモリを空きとして、まだフレームメモリにデータが保存されているピクチャに連続するピクチャが復号されるように復号処理を再開する。
【００４３】
このような逆方向再生を行うときの制御は、ピクチャの復号処理に関する制御（以下、復号処理制御と称する。）と、復号したピクチャの表示処理に関する制御（以下、表示処理制御と称する。）とに大別でき、これらが相互に関わり合って動作することで、上記のような逆方向再生が実現される。以下、復号処理制御と表示処理制御とについて、それぞれ説明する。
【００４４】
まず、復号処理制御について説明する。
【００４５】
復号処理制御において、再生装置１は、制御装置１２により復号器６及び復号切替器７を制御することで、フレームメモリを許される限り使用して、ピクチャの復号を順次行う。このとき、フレームメモリを使い切ってもまだ再生対象のピクチャに到達しない場合には、最初に復号したピクチャが保存されているフレームメモリ（すなわち、時間的に後に表示されるピクチャが保存されているフレームメモリ）から順次上書きしていき、再生対象のピクチャが復号されるまで復号処理を順次進めていく。
【００４６】
再生対象のピクチャまで復号が完了したら、一旦復号を停止し、表示処理制御によりフレームメモリに空きができるまで待つ。このとき、制御装置１２は、ドライブ装置２やＲＦ処理部３に、必要なデータを再度供給する準備をするように指示を出しておく。
【００４７】
表示処理制御によって表示が進むと空きのフレームメモリができるが、この空きのフレームメモリができた段階で処理を再開し、前回の復号処理で復号されたピクチャに連続する一つ手前のピクチャを再生対象ピクチャとして、前回と同様に復号処理を順次進めていく。復号処理制御では、以上の動作を繰り返し行うことで、逆方向再生時に連続した復号処理を行う。
【００４８】
このような復号処理制御の具体的な処理フローを図２に示す。
【００４９】
図２に示すように、復号処理制御では、先ず、ステップＳ１−１において、空いているフレームメモリがあるかを判別する。空いているフレームメモリがある場合は、ステップＳ１−２へ進み、空いているフレームメモリがない場合は、ステップＳ１−３へ進む。
【００５０】
ステップＳ１−２では、ピクチャの復号を行う。このときの復号処理は、現在、フレームメモリにあるピクチャに連続するピクチャが順次復号されるように行う。そして、１ピクチャ分の復号が完了したら、ステップＳ１−１へ戻って処理を繰り返す。
【００５１】
ステップＳ１−３では、現在表示されているピクチャまでの連続したピクチャがフレームメモリ上にあるかを判別する。ある場合には、表示制御処理によりフレームメモリに空きができるまで、ステップＳ１−１へ戻って処理を繰り返し、ない場合には、ステップＳ１−４へ進む。
【００５２】
ステップＳ１−４では、時間的に古いピクチャ（すなわち最初に復号したピクチャ）が保存されているフレームメモリを空きにする。そして、ステップＳ１−１へ戻って処理を繰り返す。
【００５３】
以上のような処理フローに従って処理を行うことにより、復号処理制御がなされる。
【００５４】
つぎに、表示処理制御について説明する。
【００５５】
表示処理制御は、逆方向再生時に、再生対象のピクチャが復号された段階で、当該ピクチャの表示動作を開始する。そして、再生対象となるピクチャの復号が完了している限り、指定された表示間隔に従って、ピクチャの逆順での表示を順次進めていく。また、表示処理制御では、表示が終了したピクチャが保存されていたフレームメモリを順次空き領域としていく。表示処理制御では、以上の動作を繰り返し行うことで、連続した逆方向再生を行う。
【００５６】
このような表示処理制御の具体的な処理フローを図３に示す。
【００５７】
図３に示すように、表示処理制御では、先ず、ステップＳ２−１において、次に表示されるピクチャの復号が完了しているかを判別する。復号が完了していない場合は、復号処理制御により復号が完了するまで待ち状態となり、ステップＳ２−１の処理を繰り返す。一方、復号が完了している場合は、ステップＳ２−２へ進む。
【００５８】
ステップＳ２−２では、ピクチャの表示を行う。次に、ステップＳ２−３において、表示を行ったピクチャが保存されていたフレームメモリを空きにする。次に、ステップＳ２−４において、指定された表示間隔に従って一定時間待った上で、ステップＳ２−１へ戻って処理を繰り返す。
【００５９】
以上のような処理フローに従って処理を行うことにより、表示処理制御がなされる。
【００６０】
以上のような復号処理制御及び表示処理制御を行うことによりなされる逆方向再生について、更に具体的な例を挙げて説明する。
【００６１】
なお、ここでは、図４（ａ）に示すようなＧＯＰ構造を有する画像データを、図４（ｂ）に示すように、ピクチャＰ14から逆方向に再生して表示していくとする。なお、図７のところで説明したように、Ｉピクチャはフレーム内予測符号化画像、Ｐピクチャはフレーム間順方向予測符号化画像、Ｂピクチャは双方向予測符号化画像である。
【００６２】
図４（ｂ）に示すように逆方向再生を行うときの、再生装置１のフレームメモリの使われ方を図５に示す。なお、図５は、５ピクチャ分のフレームメモリにピクチャが格納されていく様子を順次示している。
【００６３】
先ず、図５（ａ）に示すように、ピクチャＩ2，Ｐ5，Ｐ8，Ｐ11，Ｂ9を順次復号し、フレームメモリに格納していく。ピクチャＢ9を復号した段階でフレームメモリに空きが無くなったが、まだ表示対象のピクチャＰ14に到達していないため、図５（ｂ）に示すように、最初に復号したピクチャＩ2に、新たに復号したピクチャＢ10を上書きする。同様に、図５（ｃ）に示すように、ピクチャＰ14，Ｂ12，Ｂ13を復号し、それらをピクチャＰ5，Ｐ8，Ｂ9にそれぞれ上書きする。
【００６４】
これにより、図５（ｃ）に示すように、表示開始可能なピクチャが連続して復号されたこととなる。すると、表示処理制御により、図５（ｃ）の下段の番号の順に表示が開始される。すなわち、ピクチャＰ14，Ｂ13，Ｂ12，Ｐ11，Ｂ10が、この順にフレームメモリから読み出されて、順次表示される。
【００６５】
このとき、表示はピクチャＰ14から開始されるが、ピクチャＰ14の表示が完了した段階で、図５（ｄ）に示すように、ピクチャＰ14を保存していたフレームメモリは空きにする。フレームメモリに空きができたことで、復号処理制御により再び復号処理が開始される。このとき、フレームメモリ上には、ピクチャＢ13，Ｂ12，Ｐ11，Ｂ10が存在しており、次には、これらに連続するピクチャＢ9，Ｐ8，・・・を復号することが望まれる。
【００６６】
そこで、ピクチャＢ9，Ｐ8，・・・を復号するために、改めてピクチャＩ2を復号し、復号したピクチャＩ2を空いているフレームメモリに保存する。以下同様に、ピクチャＢ13の表示が完了し、フレームメモリに空きができた段階で、そのフレームメモリにピクチャＰ5を復号して保存し、次に、ピクチャＢ12の表示が完了し、フレームメモリに空きができた段階で、そのフレームメモリにピクチャＰ8を復号して保存する。図５（ｅ）は、ここまでのプロセスが行われた状態を示している。
【００６７】
この段階ではまだピクチャＢ9に到達していないが、この段階でフレームメモリに空きが無くなったとする。この場合は、図５（ｆ）に示すように、時間的に古いピクチャであるピクチャＩ2に、新たに復号したピクチャＢ9を上書きする。これにより、図５（ｆ）に示すように、表示開始可能なピクチャが連続して復号されたこととなるので、表示処理制御により引き続き図５（ｆ）の下段の番号の順に表示が継続して行われる。そして、以上の処理を連続して進めていくことにより逆方向再生が実現される。
【００６８】
以上のように、逆方向再生を行うときに５枚のフレームメモリを有効に使用することで、逆方向再生時に繰り返し同じピクチャを復号するという処理を削減することが可能となり、少ない回数の復号処理にて、逆方向再生を行うことができる。したがって、以上のように逆方向再生を行うことで、高速な逆方向再生が可能となる。
【００６９】
なお、以上の説明では、５ピクチャ分のフレームメモリを用いる場合を例に挙げたが、本発明では、４ピクチャ分以上のフレームメモリがあれば良く、上記の例に限定されるものでない。ただし、フレームメモリの数が多いほど、逆方向再生時に繰り返し同じピクチャを復号するという処理を減らすことができるので、より高速な逆方向再生が可能となる。
【００７０】
そこで、以下に第２の例として、１０ピクチャ分のフレームメモリがある場合について説明する。なお、本例でも、図４（ａ）に示すようなＧＯＰ構造を有する画像データを、図４（ｂ）に示すように、ピクチャＰ14から逆方向に再生して表示していくものとする。
【００７１】
先ず、図６（ａ）に示すように、ピクチャＩ2，Ｐ5，Ｂ3，Ｂ4，Ｐ8，Ｂ6，Ｂ7，Ｐ11，Ｂ9，Ｂ10を順次復号し、フレームメモリに格納していく。
【００７２】
ピクチャＢ10を復号した段階でフレームメモリに空きが無くなったが、まだ表示対象のピクチャＰ14に到達していないため、図６（ｂ）に示すように、最初に復号したピクチャＩ2に、新たに復号したピクチャＰ14を上書きする。これにより、最初に表示対象となるピクチャＰ14の復号が完了したが、この段階では、ピクチャＰ14に連続するピクチャの復号が完了していない。そこで、図６（ｃ）に示すように、ピクチャＢ12，Ｂ13を復号し、それらをピクチャＢ3，Ｂ4が保存されていたフレームメモリに上書きする。
【００７３】
これにより、図６（ｃ）に示すように、表示開始可能なピクチャが連続して復号されたこととなる。すると、表示処理制御により、図６（ｃ）の下段の番号の順に表示が開始される。すなわち、ピクチャＰ14，Ｂ13，Ｂ12，Ｐ11，Ｂ10，Ｂ9，・・・が、この順にフレームメモリから読み出されて、順次表示される。このとき、表示はピクチャＰ14から開始されるが、ピクチャＰ14の表示が完了した段階で、図６（ｄ）に示すように、ピクチャＰ14を保存していたフレームメモリは空きにする。
【００７４】
フレームメモリに空きができたことで、復号処理制御により再び復号処理が開始される。このとき、フレームメモリ上には、ピクチャＢ13，Ｂ12，Ｐ11，Ｂ10，Ｂ9，Ｐ8，Ｂ7，Ｂ6，Ｐ5までが存在しており、次には、これらに連続するピクチャＢ4，Ｂ3，・・・を復号することが望まれる。
【００７５】
そこで、ピクチャＢ4，Ｂ3，・・・を復号するために、改めてピクチャＩ2を復号し、復号したピクチャＩ2を空いているフレームメモリに保存する。以下同様に、ピクチャＢ13の表示が完了し、フレームメモリに空きができた段階で、そのフレームメモリにピクチャＢ3を復号して保存し、次に、ピクチャＢ12の表示が完了し、フレームメモリに空きができた段階で、そのフレームメモリにピクチャＢ4を復号して保存する。図６（ｅ）は、ここまでのプロセスが行われた状態を示している。
【００７６】
さらに表示が進み、フレームメモリに空きができると、次は、ピクチャＢ1，Ｂ0を復号する必要があるが、ここで、ピクチャＢ1，Ｂ0の復号には、ピクチャＩ2と、一つ前のＧＯＰのピクチャＰ’14とが必要であるとする。この場合、一つ前のＧＯＰのピクチャＩ’2から復号を開始していき、ピクチャＰ’14まで復号し、ピクチャＰ’14まで復号が完了したら、ピクチャＢ1，Ｂ0の復号を開始する。
【００７７】
図６（ｆ）及び図６（ｇ）は、このようなピクチャＢ0，Ｂ1の復号に至るプロセスを示している。図６（ｆ）は、ピクチャＰ8までの表示が完了し、ピクチャＰ11，Ｂ10，Ｂ9，Ｐ8が保存されていた各フレームメモリに、一つ前のＧＯＰのピクチャＩ’2，Ｐ’5，Ｐ’8，Ｐ’11をそれぞれ上書きした状態を示している。また、図６（ｇ）は、一つ前のＧＯＰのピクチャＩ’2が保存されていたフレームメモリにピクチャＰ’14を上書きし、それを受けて、ピクチャＢ1，Ｂ0を復号し、復号したピクチャＢ1，Ｂ0を、一つ前のＧＯＰのピクチャＰ’5，Ｐ’8が保存されていたフレームメモリに上書きした状態を示している。
【００７８】
なお、このように一つ前のＧＯＰのピクチャを復号していくとき、一つ前のＧＯＰの始めの方にあるピクチャＢ’3，Ｂ’4は、フレームメモリが１０ピクチャ分であることから判断して、ピクチャＢ1，Ｂ0を復号する段階で復号したとしても、明らかに後から上書きされることとなる。そこで、このように一つ前のＧＯＰのピクチャを復号していくときには、一つ前のＧＯＰの始めの方にあるピクチャＢ’3，Ｂ’4は、この段階では復号処理を行わないようにする。このように、Ｂピクチャの一部を飛ばして復号処理を進めていくことで、不要な復号処理を削減して、逆方向再生を更に高速化することができる。
【００７９】
以上のような処理を連続して進めていくことにより、１０ピクチャ分のフレームメモリを用いての逆方向再生が実現される。 そして、以上のように、より多くのフレームメモリを用いることで、逆方向再生時に繰り返し同じピクチャを復号するという処理を更に削減することが可能となり、より少ない回数の復号処理にて、逆方向再生を行うことができる。したがって、以上のように、より多くのフレームメモリを用いて逆方向再生を行うことで、画期的に高速な逆方向再生が可能となる。
【００８０】
なお、逆方向再生時に繰り返し同じピクチャを復号するという処理を削減するという観点から言えば、フレームメモリを増やすとしても、１つのＧＯＰに含まれるピクチャ分のフレームメモリがあれば十分である。すなわち、本例では、最大でも１５ピクチャ分のフレームメモリがあれば十分であり、１５ピクチャ分のフレームメモリがあれば、繰り返し同じピクチャを復号するという処理を全く行うことなく、逆方向再生を非常に高速に行うことができる。
【００８１】
【発明の効果】
以上詳細に説明したように、本発明によれば、ＭＰＥＧ方式等により画像データが圧縮されてなる符号化データの逆方向再生をより高速に行うことが可能となる。
【００８２】
しかも、本発明は、単純にフレームメモリを増やすだけで、逆方向再生を高速化することができる。すなわち、本発明によれば、コストの増加を最小限に抑えつつ、逆方向再生の高速を図ることができる。
【００８３】
また、例えば、本発明を画像データの編集機能を備えた再生装置に適用すれば、編集時の操作性が画期的に向上し、編集に要する時間を大幅に短縮することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した再生装置の一構成例を示すブロック図である。
【図２】復号処理制御の処理フローを示す図である。
【図３】表示処理制御の処理フローを示す図である。
【図４】ＧＯＰ（Group Of Pictures）の構造の一例を示す図であり、（ａ）は復号処理順序に従って各ピクチャが並んだＧＯＰの構造を示す図、（ｂ）は逆方向再生を行うときの各画面の表示順序を示す図である。
【図５】本発明を適用して行われる逆方向再生の具体例を説明するための図であり、５ピクチャ分のフレームメモリを用いた場合の処理の一例を示す図である。
【図６】本発明を適用して行われる逆方向再生の具体例を説明するための図であり、１０ピクチャ分のフレームメモリを用いた場合の処理の一例を示す図である。
【図７】ＧＯＰ（Group Of Pictures）の構造の一例を示す図であり、（ａ）は復号の処理順序（デコーディングオーダー）に従って各ピクチャが並んだＧＯＰの構造を示す図、（ｂ）は原画面の順序（プレゼンテーションオーダー）に従って各ピクチャが並んだ状態を示す図である。
【符号の説明】
１ 再生装置、 ２ ドライブ装置、 ３ ＲＦ処理部、 ４ デマルチプレクサ、 ５ ビデオバッファ、 ６ 復号器、 ７ 復号切替器、 ８ メモリ、 ９ 表示切替器、 １０ ビデオデコーダ、 １１ 表示装置、 １２ 制御装置、 ２０ 記録媒体
Claims (2)
- 画像データが複数フレームにわたる時間軸方向の相関を利用して圧縮された符号化データを再生する再生装置であって、
符号化データを復号する復号手段と、
上記復号手段によって復号された画面のデータが保存されるフレームメモリを少なくとも４つ以上を有し、
符号化データを時間軸方向に対して逆方向に再生する際に、各画面の符号化データを順次復号して、復号した各画面のデータをフレームメモリに順次保存していくとともに、空いているフレームメモリがないときには、時間的に古い画面のデータが保存されているフレームメモリから順次上書きしていく第１の処理と、
再生対象の画面まで復号が進み、再生対象の画面の復号が完了したら、再生対象の画面のデータをフレームメモリから読み出して、当該画面のデータを出力する第２の処理と、
再生対象の画面のデータの出力がなされたら、出力の終わった画面のデータが保存されていたフレームメモリを空きとして、まだフレームメモリにデータが保存されている画面に連続する画面のデータを復号するために必要な画面のデータが復号されるように復号処理を行い空いている当該フレームメモリに保存する第３の処理と、
を順次繰り返し行うことを特徴とする再生装置。 - 画像データが複数フレームにわたる時間軸方向の相関を利用して圧縮された符号化データを、時間軸方向に対して逆方向に再生する再生方法であって、
各画面の符号化データを順次復号して、復号した各画面のデータを少なくとも４つ以上のフレームメモリに順次保存していくとともに、空いているフレームメモリがないときには、時間的に古い画面のデータが保存されているフレームメモリから順次上書きしていく第１の処理と、
再生対象の画面まで復号が進み、再生対象の画面の復号が完了したら、再生対象の画面のデータをフレームメモリから読み出して、当該画面のデータを出力する第２の処理と、
再生対象の画面のデータの出力がなされたら、出力の終わった画面のデータが保存されていたフレームメモリを空きとして、まだフレームメモリにデータが保存されている画面に連続する画面のデータを復号するために必要な画面のデータが復号されるように復号処理を行い空いている当該フレームメモリに保存する第３の処理と、
を順次繰り返し行うことで、符号化データを時間軸方向に対して逆方向に順次再生することを特徴とする再生方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26369898A JP4120055B2 (ja) | 1998-09-17 | 1998-09-17 | 再生装置及び再生方法 |
| US09/396,268 US6751400B1 (en) | 1998-09-17 | 1999-09-15 | Reproducing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26369898A JP4120055B2 (ja) | 1998-09-17 | 1998-09-17 | 再生装置及び再生方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000101969A JP2000101969A (ja) | 2000-04-07 |
| JP4120055B2 true JP4120055B2 (ja) | 2008-07-16 |
Family
ID=17393103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26369898A Expired - Fee Related JP4120055B2 (ja) | 1998-09-17 | 1998-09-17 | 再生装置及び再生方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4120055B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8236337B2 (en) | 2005-05-24 | 2012-08-07 | Selenium, Ltd. | Anti-microbial orthodontic compositions and appliances and methods of production and use thereof |
| CN104754268A (zh) * | 2015-03-26 | 2015-07-01 | 广东欧珀移动通信有限公司 | 录制倒序视频的方法及装置 |
| US9370187B2 (en) | 2005-05-24 | 2016-06-21 | Selenium, Ltd. | Selenium-based biocidal formulations and methods of use thereof |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100457899B1 (ko) * | 2000-08-25 | 2004-11-18 | 마츠시타 덴끼 산교 가부시키가이샤 | 복호 장치, 표시 장치, 전자 장치, 무선 통신 단말 장치및 복호 방법 |
| US7555042B2 (en) | 2003-01-08 | 2009-06-30 | Samsung Electronics Co., Ltd. | Method and apparatus for reverse play |
| KR20050098230A (ko) * | 2003-02-19 | 2005-10-11 | 마쯔시다덴기산교 가부시키가이샤 | 화상 복호화 장치, 화상 부호화 장치 및 그 방법 |
| EP1633128A1 (en) * | 2004-09-02 | 2006-03-08 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for decoding encoded groups of pictures of a video sequence and presenting said video sequence and said groups of pictures in temporally backward direction |
| JP4682759B2 (ja) * | 2005-09-08 | 2011-05-11 | ソニー株式会社 | 再生装置、再生方法および再生プログラム |
| JP2009124521A (ja) * | 2007-11-16 | 2009-06-04 | Hitachi Kokusai Electric Inc | 映像再生装置 |
| CN111866549B (zh) | 2019-04-29 | 2023-03-24 | 腾讯科技（深圳）有限公司 | 一种视频处理方法及装置、终端、存储介质 |
-
1998
- 1998-09-17 JP JP26369898A patent/JP4120055B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8236337B2 (en) | 2005-05-24 | 2012-08-07 | Selenium, Ltd. | Anti-microbial orthodontic compositions and appliances and methods of production and use thereof |
| US9370187B2 (en) | 2005-05-24 | 2016-06-21 | Selenium, Ltd. | Selenium-based biocidal formulations and methods of use thereof |
| CN104754268A (zh) * | 2015-03-26 | 2015-07-01 | 广东欧珀移动通信有限公司 | 录制倒序视频的方法及装置 |
| CN104754268B (zh) * | 2015-03-26 | 2017-09-22 | 广东欧珀移动通信有限公司 | 录制倒序视频的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000101969A (ja) | 2000-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7519266B1 (en) | Eliminating picture format artifacts in MPEG trick modes | |
| EP1438845B1 (en) | Fast motion trick mode using non-progressive dummy predictive pictures | |
| JP3877759B2 (ja) | バッファメモリを有するテレビジョン受信機 | |
| US7398005B2 (en) | Trick mode playback of recorded video | |
| JP3996204B2 (ja) | ビデオ画像を記録し及び再生する方法及び装置 | |
| JP3552506B2 (ja) | 再生方法及び再生装置 | |
| KR100474429B1 (ko) | 썸네일 탐색화면을 제공하는 동영상 재생장치 및 썸네일탐색화면 제공방법 | |
| US7149410B2 (en) | Trick modes using non-progressive dummy bidirectional predictive pictures | |
| JP4120055B2 (ja) | 再生装置及び再生方法 | |
| JPH08140042A (ja) | 画像データの再生装置及び記録再生装置 | |
| US20040233806A1 (en) | Recording device and method, recording medium and program | |
| US6873786B2 (en) | Reverse trick modes on non-progressive video using special groups of pictures | |
| US6978082B1 (en) | AV decoder control method and AV decoder control apparatus | |
| JPH07264542A (ja) | 動画像復号化装置 | |
| JP3301274B2 (ja) | 符号化映像データの復号装置 | |
| JP4834636B2 (ja) | 映像再生装置及び映像再生方法 | |
| JP4284830B2 (ja) | 動画像編集復号化装置及びその方法 | |
| JP3039416B2 (ja) | 映像記憶再生装置 | |
| JP4120056B2 (ja) | 再生装置及び再生方法 | |
| JP3036579B2 (ja) | Ｖｏｄシステムにおける特殊再生方式 | |
| US5892883A (en) | Recording of a data reduced digital video signal in slant tracks on a record carrier | |
| JP2005080073A (ja) | 画像再生装置および画像データの逆方向再生方法 | |
| KR100511013B1 (ko) | 비디오화상을기록및재생하는방법및장치 | |
| JP3178347B2 (ja) | 映像出力装置 | |
| US8149679B2 (en) | Recording/reproducing device and method, recording medium, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050803 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060921 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061003 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080401 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080414 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110509 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110509 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120509 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |