JP3919115B2 - 復号化装置、復号化方法、復号化プログラム及び復号化プログラムが記録された記録媒体、並びにリバース再生装置、リバース再生方法、リバース再生プログラム及びリバース再生プログラムが記録された記録媒体 - Google Patents

復号化装置、復号化方法、復号化プログラム及び復号化プログラムが記録された記録媒体、並びにリバース再生装置、リバース再生方法、リバース再生プログラム及びリバース再生プログラムが記録された記録媒体 Download PDF

Info

Publication number
JP3919115B2
JP3919115B2 JP2004238753A JP2004238753A JP3919115B2 JP 3919115 B2 JP3919115 B2 JP 3919115B2 JP 2004238753 A JP2004238753 A JP 2004238753A JP 2004238753 A JP2004238753 A JP 2004238753A JP 3919115 B2 JP3919115 B2 JP 3919115B2
Authority
JP
Japan
Prior art keywords
picture
decoding
reproduction
decoded
delay shortened
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004238753A
Other languages
English (en)
Other versions
JP2006060415A (ja
Inventor
純一 荻窪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004238753A priority Critical patent/JP3919115B2/ja
Priority to US11/204,565 priority patent/US8041194B2/en
Priority to EP20050255051 priority patent/EP1635566A3/en
Priority to KR20050075351A priority patent/KR20060050530A/ko
Priority to CNB2005101160085A priority patent/CN100566423C/zh
Publication of JP2006060415A publication Critical patent/JP2006060415A/ja
Application granted granted Critical
Publication of JP3919115B2 publication Critical patent/JP3919115B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本発明は、復号化装置、復号化方法、プログラム及び記録媒体並びに復号化制御装置及び復号化制御方法に関し、例えばMPEG(Moving Picture Experts Group)方式で予測符号化された動画像をリバース再生する復号化装置に適用して好適なものである。
従来、動画像を効率的に圧縮する方法としてMPEG方式がある。MPEG方式は、複数のフレーム画像から構成されるGOP(Group Of Picture)を単位として、フレーム相関を利用して各フレーム画像を順次圧縮符号化するもので、各フレーム画像をそれぞれそのGOP内における順番に応じてIピクチャ、Pピクチャ又はBピクチャのいずれかのタイプの圧縮符号化画像に変換するものである。
ここでIピクチャは、フレーム内で完結するように符号化されたフレーム内符号化画像であり、Pピクチャは、時間的に先行するIピクチャ又はPピクチャから現在を予測することにより得られるフレーム間順方向予測符号化画像である。またBピクチャは、時間的に先行するIピクチャ又はPピクチャと、時間的に後行するIピクチャ又はPピクチャとから現在を予測することにより得られる双方向予測符号化画像である。
なお、以下においては、1GOPに含まれるフレーム数をN、Iピクチャ又はPピクチャが現れる周期をMで表す。従って、例えば1GOPにおけるIピクチャ(I)、Pピクチャ(P)及びBピクチャ(B)の並びが「I,B,B,P,B,B,P,B,B,P,B,B,P,B,B」である場合には、Nが15、Mが3となる。
このようにMPEG方式ではフレーム相関を利用してGOP単位で圧縮符号化処理を行うため、1倍速の処理能力を有する1個のMPEG復号器(以下、すべてMPEG復号器は1倍速の処理能力をもつとする)を用いてのリバース再生処理に制約が生じる。なお、リバース再生とは、非圧縮映像信号、即ち、ベースバンド信号の状態において、撮像時の方向(順方向)とは反対の時間軸方向に映像を表示し進めることである。
例えばMPEG方式で圧縮符号化された動画像を1個のMPEG復号器を用いてリバース再生する方法として、Iピクチャだけを復号化して再生する方法があるが、この方法によると、リバース再生を行うことは可能であるが、ユーザが任意の再生速度を指定することができず、またリバース再生動画像が飛び飛びの動きになって、動きの自然な(なめらかな)リバース再生を実現することができないという制約がある。
これはMPEG方式では、フレーム相関を利用して各フレーム画像を圧縮符号化するために、Iピクチャ以外のPピクチャやBピクチャを復号化する際に、そのPピクチャやBピクチャを符号化する際に参照したPピクチャやIピクチャが予め復号化されている必要があり、この結果、1個のMPEG復号器では復号化処理が間に合わなくなることによる。
この場合において、従来、MPEG方式で復号化処理するときには、例えばBピクチャを復号化する際に必要なIピクチャ及び又はPピクチャを先に復号化してフレームメモリ9に記憶し、後にこのフレームメモリ9に記憶されたIピクチャ及び又はPピクチャを参照してBピクチャを復号化処理することにより、1倍速ですべてのピクチャを復号化してリバース再生を行う方法が提案されている(例えば特許文献1参照)。
そしてこの方法を利用すれば、1GOP内に存在するIピクチャだけではなくPピクチャ及びBピクチャも復号化するので、Iピクチャだけを復号化して再生する方法に比べて、なめらかなリバース再生を実現することができる利点がある。
特開2000−175151公報
ところで、近年、例えば編集装置などでは、図26に示すように、1GOPを基本単位として読み込まれるMPEGストリームデータ(図26(A))を、1個のMPEG復号器により順方向からGOPの各ピクチャを復号化処理(図26(B))してメモリに格納し、復号化されたGOPの各ピクチャをメモリ内においてGOPの各ピクチャを逆方向の順番に並び替えて読み出すことによって1倍速でのリバース再生(図26(C))を行うことができるようになされている。
このとき、MPEG復号器において復号化処理が開始されてから実際にリバース再生が開始されるまでは、1GOP分のレーテンシー(Latency)を必要とする。つまり1GOPの再生遅延が生じることとなり、1GOPのフレーム期間分の時間が必要となる。従って、かかるMPEGストリームデータを用いて、例えば編集作業などを行う際に、通常再生に比べリバース再生となると応答が遅くなるという問題がある。そして、この応答性の遅延は、GOPを長くするいわゆるロングGOP(Long GOP)のようにフレーム数Nを大きくする場合にさらに増大することとなる。
本発明は以上の点を考慮してなされたもので、複数のフレーム画像からなる所定の符号化処理単位の符号化データにおけるリバース再生動作時の応答性を向上し得る復号化装置、復号化方法、プログラム及び記録媒体並びに復号化制御装置及び復号化制御方法を提案しようとするものである。
かかる課題を解決するために本発明においては、リバース再生する際に、符号化された符号化動画像データを復号化する復号化装置において、符号化動画像データをリバース再生の再生速度に応じて読み出すように符号化動画像データが記憶された記憶装置を制御する読出制御部と、読出制御部によって読み出された符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成部と、読出制御部によって読み出された符号化動画像データを、再生遅延短縮ピクチャ群生成部によって生成された複数の再生遅延短縮ピクチャ群を単位として、符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、振分部によって振り分けられた複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して復号対象ピクチャを復号化する複数の復号化部とを設けるようにした。
この結果この復号化装置では、符号化データの復号化処理を開始してから実際に再生画像を表示するまでの再生遅延を短縮することができる。
また本発明においては、リバース再生する際に、符号化された符号化動画像データを復号化する復号化方法において、符号化動画像データをリバース再生の再生速度に応じて読み出すように符号化動画像データが記憶された記憶装置を制御する読出制御ステップと、読出制御ステップにおいて読み出された符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成ステップと、読出制御ステップにおいて読み出された符号化動画像データを、再生遅延短縮ピクチャ群生成ステップにおいて生成された複数の再生遅延短縮ピクチャ群を単位として、符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、振分ステップにおいて振り分けられた複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して復号対象ピクチャを復号化する複数の復号化ステップとを設けるようにした。
この結果この復号化方法では、符号化データの復号化処理を開始してから実際に再生画像を表示するまでの再生遅延を短縮することができる。
さらに本発明においては、符号化動画像データをリバース再生する際に、コンピュータに対して、符号化動画像データをリバース再生の再生速度に応じて読み出すように符号化動画像データが記憶された記憶装置を制御する読出制御ステップと、読出制御ステップにおいて読み出された符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成ステップと、読出制御ステップにおいて読み出された符号化動画像データを、再生遅延短縮ピクチャ群生成ステップにおいて生成された複数の再生遅延短縮ピクチャ群を単位として、符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、振分ステップにおいて振り分けられた複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して復号対象ピクチャを復号化する複数の復号化ステップとを実行させるようにした。
この結果このプログラムでは、符号化データの復号化処理を開始してから実際に再生画像を表示するまでの再生遅延を短縮することができる。
さらに本発明においては、符号化動画像データをリバース再生する際に、コンピュータに対して、符号化動画像データをリバース再生の再生速度に応じて読み出すように符号化動画像データが記憶された記憶装置を制御する読出制御ステップと、読出制御ステップにおいて読み出された符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成ステップと、読出制御ステップにおいて読み出された符号化動画像データを、再生遅延短縮ピクチャ群生成ステップにおいて生成された複数の再生遅延短縮ピクチャ群を単位として、符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、振分ステップにおいて振り分けられた複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して復号対象ピクチャを復号化する複数の復号化ステップとを実行させるようにした。
この結果この記録媒体では、符号化データの復号化処理を開始してから実際に再生画像を表示するまでの再生遅延を短縮することができる。
さらに本発明においては、符号化された符号化動画像データをリバース再生するリバース再生装置において、符号化動画像データをリバース再生の再生速度に応じて読み出すように符号化動画像データが記憶された記憶装置を制御する読出制御部と、読出制御部によって読み出された符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成部と、読出制御部によって読み出された符号化動画像データを、再生遅延短縮ピクチャ群生成部によって生成された複数の再生遅延短縮ピクチャ群を単位として、符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、振分部によって振り分けられた複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して復号対象ピクチャを復号化する複数の復号化部と、復号化された復号対象ピクチャに基づいて、リバース再生する際の再生画像データを生成する再生画像データ生成部とを設けるようにした。
この結果この復号化制御装置では、符号化データの復号化処理を開始してから実際に再生画像を表示するまでの再生遅延を短縮することができる。
さらに本発明においては、符号化された符号化動画像データをリバース再生するリバース再生方法において、符号化動画像データをリバース再生の再生速度に応じて読み出すように符号化動画像データが記憶された記憶装置を制御する読出制御ステップと、読出制御ステップにおいて読み出された符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成ステップと、読出制御ステップにおいて読み出された符号化動画像データを、再生遅延短縮ピクチャ群生成ステップにおいて生成された複数の再生遅延短縮ピクチャ群を単位として、符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、振分ステップにおいて振り分けられた複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して復号対象ピクチャを復号化する複数の復号化ステップと、復号化された復号対象ピクチャに基づいて、リバース再生する際の再生画像データを生成する再生画像データ生成ステップとを設けるようにした。
この結果この復号化制御方法では、符号化データの復号化処理を開始してから実際に再生画像を表示するまでの再生遅延を短縮することができる。
さらに本発明においては、符号化された符号化動画像データをリバース再生する際に、コンピュータに対して、符号化動画像データをリバース再生の再生速度に応じて読み出すように符号化動画像データが記憶された記憶装置を制御する読出制御ステップと、読出制御ステップにおいて読み出された符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成ステップと、読出制御ステップにおいて読み出された符号化動画像データを、再生遅延短縮ピクチャ群生成ステップにおいて生成された複数の再生遅延短縮ピクチャ群を単位として、符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、振分ステップにおいて振り分けられた複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して復号対象ピクチャを復号化する複数の復号化ステップと、復号化された復号対象ピクチャに基づいて、リバース再生する際の再生画像データを生成する再生画像データ生成ステップとを実行させるようにした。
この結果この復号化制御装置では、符号化データの復号化処理を開始してから実際に再生画像を表示するまでの再生遅延を短縮することができる。
さらに本発明においては、符号化された符号化動画像データをリバース再生する際に、コンピュータに対して、符号化動画像データをリバース再生の再生速度に応じて読み出すように符号化動画像データが記憶された記憶装置を制御する読出制御ステップと、読出制御ステップにおいて読み出された符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成ステップと、読出制御ステップにおいて読み出された符号化動画像データを、再生遅延短縮ピクチャ群生成ステップにおいて生成された複数の再生遅延短縮ピクチャ群を単位として、符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、振分ステップにおいて振り分けられた複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して復号対象ピクチャを復号化する複数の復号化ステップと、復号化された復号対象ピクチャに基づいて、リバース再生する際の再生画像データを生成する再生画像データ生成ステップとを実行させるようにした。
この結果この復号化制御方法では、符号化データの復号化処理を開始してから実際に再生画像を表示するまでの再生遅延を短縮することができる。
本発明によれば、リバース再生する際に、符号化された符号化動画像データを復号化する復号化装置において、符号化動画像データをリバース再生の再生速度に応じて読み出すように符号化動画像データが記憶された記憶装置を制御する読出制御部と、読出制御部によって読み出された符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成部と、読出制御部によって読み出された符号化動画像データを、再生遅延短縮ピクチャ群生成部によって生成された複数の再生遅延短縮ピクチャ群を単位として、符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、振分部によって振り分けられた複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して復号対象ピクチャを復号化する複数の復号化部とを設けるようにしたことにより、ピクチャ画像データの復号化処理を開始してから実際に再生画像を表示するまでの再生遅延を短縮することができ、かくしてバース再生動作時の応答性を向上し得る復号化装置を実現することができる。
また本発明によれば、リバース再生する際に、符号化された符号化動画像データを復号化する復号化方法において、符号化動画像データをリバース再生の再生速度に応じて読み出すように符号化動画像データが記憶された記憶装置を制御する読出制御ステップと、読出制御ステップにおいて読み出された符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成ステップと、読出制御ステップにおいて読み出された符号化動画像データを、再生遅延短縮ピクチャ群生成ステップにおいて生成された複数の再生遅延短縮ピクチャ群を単位として、符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、振分ステップにおいて振り分けられた複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して復号対象ピクチャを復号化する複数の復号化ステップとを設けるようにしたことにより、ピクチャ画像データの復号化処理を開始してから実際に再生画像を表示するまでの再生遅延を短縮することができ、かくしてバース再生動作時の応答性を向上し得る復号化方法を実現することができる。
さらに本発明によれば、符号化された符号化動画像データをリバース再生する際に、コンピュータに対して、符号化動画像データをリバース再生の再生速度に応じて読み出すように符号化動画像データが記憶された記憶装置を制御する読出制御ステップと、読出制御ステップにおいて読み出された符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成ステップと、読出制御ステップにおいて読み出された符号化動画像データを、再生遅延短縮ピクチャ群生成ステップにおいて生成された複数の再生遅延短縮ピクチャ群を単位として、符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、振分ステップにおいて振り分けられた複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して復号対象ピクチャを復号化する複数の復号化ステップとを実行させるようにしたことにより、ピクチャ画像データの復号化処理を開始してから実際に再生画像を表示するまでの再生遅延を短縮することができ、かくしてリバース再生動作時の応答性を向上し得る復号化プログラムを実現することができる。
さらに本発明によれば、符号化された符号化動画像データをリバース再生する際に、コンピュータに対して、符号化動画像データをリバース再生の再生速度に応じて読み出すように符号化動画像データが記憶された記憶装置を制御する読出制御ステップと、読出制御ステップにおいて読み出された符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成ステップと、読出制御ステップにおいて読み出された符号化動画像データを、再生遅延短縮ピクチャ群生成ステップにおいて生成された複数の再生遅延短縮ピクチャ群を単位として、符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、振分ステップにおいて振り分けられた複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して復号対象ピクチャを復号化する複数の復号化ステップとを実行させるようにしたことにより、ピクチャ画像データの復号化処理を開始してから実際に再生画像を表示するまでの再生遅延を短縮することができ、かくしてバース再生動作時の応答性を向上し得る復号化プログラムを記録した記録媒体を実現することができる。
さらに本発明によれば、符号化された符号化動画像データをリバース再生するリバース再生装置において、符号化動画像データをリバース再生の再生速度に応じて読み出すように符号化動画像データが記憶された記憶装置を制御する読出制御部と、読出制御部によって読み出された符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成部と、読出制御部によって読み出された符号化動画像データを、再生遅延短縮ピクチャ群生成部によって生成された複数の再生遅延短縮ピクチャ群を単位として、符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、振分部によって振り分けられた複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して復号対象ピクチャを復号化する複数の復号化部と、復号化された復号対象ピクチャに基づいて、リバース再生する際の再生画像データを生成する再生画像データ生成部とを設けるようにしたことにより、ピクチャ画像データの復号化処理を開始してから実際に再生画像を表示するまでの再生遅延を短縮することができ、かくしてバース再生動作時の応答性を向上し得るリバース再生装置を実現することができる。
さらに本発明によれば、符号化された符号化動画像データをリバース再生するリバース再生方法において、符号化動画像データをリバース再生の再生速度に応じて読み出すように符号化動画像データが記憶された記憶装置を制御する読出制御ステップと、読出制御ステップにおいて読み出された符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成ステップと、読出制御ステップにおいて読み出された符号化動画像データを、再生遅延短縮ピクチャ群生成ステップにおいて生成された複数の再生遅延短縮ピクチャ群を単位として、符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、振分ステップにおいて振り分けられた複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して復号対象ピクチャを復号化する複数の復号化ステップと、復号化された復号対象ピクチャに基づいて、リバース再生する際の再生画像データを生成する再生画像データ生成ステップとを設けるようにしたことにより、ピクチャ画像データの復号化処理を開始してから実際に再生画像を表示するまでの再生遅延を短縮することができ、かくしてバース再生動作時の応答性を向上し得るリバース再生方法を実現することができる。
さらに本発明によれば、符号化された符号化動画像データをリバース再生する際に、コンピュータに対して、符号化動画像データをリバース再生の再生速度に応じて読み出すように符号化動画像データが記憶された記憶装置を制御する読出制御ステップと、読出制御ステップにおいて読み出された符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成ステップと、読出制御ステップにおいて読み出された符号化動画像データを、再生遅延短縮ピクチャ群生成ステップにおいて生成された複数の再生遅延短縮ピクチャ群を単位として、符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、振分ステップにおいて振り分けられた複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して復号対象ピクチャを復号化する複数の復号化ステップと、復号化された復号対象ピクチャに基づいて、リバース再生する際の再生画像データを生成する再生画像データ生成ステップとを実行させるようにしたことにより、ピクチャ画像データの復号化処理を開始してから実際に再生画像を表示するまでの再生遅延を短縮することができ、かくしてバース再生動作時の応答性を向上し得る復号化プログラムを実現することができる。
さらに本発明によれば、符号化された符号化動画像データをリバース再生する際に、コンピュータに対して、符号化動画像データをリバース再生の再生速度に応じて読み出すように符号化動画像データが記憶された記憶装置を制御する読出制御ステップと、読出制御ステップにおいて読み出された符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成ステップと、読出制御ステップにおいて読み出された符号化動画像データを、再生遅延短縮ピクチャ群生成ステップにおいて生成された複数の再生遅延短縮ピクチャ群を単位として、符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、振分ステップにおいて振り分けられた複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して復号対象ピクチャを復号化する複数の復号化ステップと、復号化された復号対象ピクチャに基づいて、リバース再生する際の再生画像データを生成する再生画像データ生成ステップとを実行させるようにしたことにより、ピクチャ画像データの復号化処理を開始してから実際に再生画像を表示するまでの再生遅延を短縮することができ、かくしてバース再生動作時の応答性を向上し得る復号化プログラムを記録した記録媒体を実現することができる。
以下図面について、本発明の一実施の形態を詳述する。
(1)原理
例えばNを15、Mを3とするMPEG方式(ロングGOP(Long GOP))の圧縮符号化処理では、図1に示すように、各GOP内の3番目のフレーム画像がフレーム内符号化処理されてIピクチャに変換される。また6番目、9番目、12番目及び15番目のフレーム画像は、時間的に先行するIピクチャ又はPピクチャを用いて順方向予測符号化処理されてPピクチャに変換される。
さらに、これ以外の1番目及び2番目のフレーム画像は、前のGOPの最後のPピクチャ及び自GOPのIピクチャを用いて双方向予測符号化処理されてBピクチャに変換され、以下、4番目及び5番目、7番目及び8番目、10番目及び11番目並びに13番目及び14番目のフレーム画像はそれぞれ自GOP内の前後のIピクチャ又はPピクチャを用いて双方向予測符号化処理されてBピクチャに変換される。
従って、かかる圧縮符号化処理により得られた符号化データにおける各GOPのピクチャ構造は、当該GOPを構成する各ピクチャを、そのピクチャタイプを表すアルファベット(I、P、B)と表示する順番(1、2、3、……)を表す数字との組み合わせで表すものとすると、B1、B2、I3、B4、B5、P6、B7、B8、P9、B10、B11、P12、B13、B14、P15という表示順(ディスプレイオーダ)で表すことができる。
この場合において、Bピクチャは時間的に先行するIピクチャ又はPピクチャだけでなく、時間的に後行するIピクチャ又はPピクチャをも参照して符号化及び復号化されるため、符号化や復号化の際に、その参照すべきIピクチャ又はPピクチャが予め符号化又は復号化されている必要がある。
そこでMPEG方式では、図2に示すように、GOPごとにフレーム画像をI3、B1、B2、P6、B4、B5、P9、B7、B8、P12、B10、B11、P15、B13、B14という符号化順(コーディングオーダ)に並び替えて圧縮符号化処理を行い、このようにして得られた各符号化データをそのピクチャ構造のままMPEGストリームデータとして記録媒体に記録し、又は復号化側に送信するようになされている。
ところで、図1について上述したように、Nが15、Mが3のMPEGストリームデータを復号化する場合、ピクチャI3〜B14については自GOPの復号化データのみを参照して復号化することができる。しかしながら、ピクチャB1、B2については自GOPのピクチャI3の復号化データのほかに直前のGOPのピクチャP15の復号化データが必要となる。そして、直前のGOPのピクチャP15を復号化するためには、直前のGOPのピクチャI3、P6、P9、P12の復号化データが必要となる。
そこで従来では、例えば図3(A)に示すように、ピクチャ構造がI3、B1、B2、P6、B4、B5、P9、B7、B8、P12、B10、B11、P15、B13、B14という符号化順(コーディングオーダ)で読み込まれる(GOP単位で読み込まれる)MPEGストリームデータD1について、図3(B)に示すように、(n−1)番目のGOP(n-1)のピクチャI3、P6、P9、P12、P15及びn番目のGOP(n)のピクチャI3、B1、B2、P6、B4、B5、P9、B7、B8、P12、B10、B11、P15、B13、B14を1個のMPEG復号器により順次復号化処理する。
そして、図3(C)に示すように、例えばn番目のGOP(n)のピクチャをP15、B14、B13、P12、B11、B10、P9、B8、B7、P6、B5、B4、I3、B2、B1の表示順(ディスプレイオーダ)に並び替えて表示させることにより1倍速でのリバース再生を行うことができる。
ところが、このとき(n−1)番目のGOP(n-1)のピクチャI3の復号化処理を開始してから、n番目のGOP(n)のピクチャP15を表示させるまでには、19フレーム期間分の時間が必要となることとなる。
また、従来では、例えば図4(A)に示すようにピクチャ構造がn番目のGOP(n)のピクチャの最後尾に、次の(n+1)番目のGOP(n+1)のピクチャI3、B1、B2を付加した構造であるI3、B1、B2、P6、B4、B5、P9、B7、B8、P12、B10、B11、P15、B13、B14、I3、B1、B2という符号化順(コーディングオーダ)で読み込まれる(いわゆるGOPずれで読み込まれる)MPEGストリームデータD1について、図4(B)に示すように、n番目のGOP(n)のピクチャB1、B2を除いたピクチャI3、P6、B4、B5、P9、B7、B8、P12、B10、B11、P15、B13、B14と、次の(n+1)番目のGOP(n+1)のピクチャI3、B1、B2を1個のMPEG復号器により順次復号化処理する。
そして、図4(C)に示すように、例えば(n+1)番目のGOP(n+1)及びn番目のGOP(n)のピクチャをB2、B1、P15、B14、B13、P12、B11、B10、P9、B8、B7、P6、B5、B4、I3という表示順(ディスプレイオーダ)に並び替えて表示させることによって、1倍速でのリバース再生を行うことができる。
ところが、このときn番目のGOP(n)のピクチャI3の復号化処理を開始してから、(n+1)番目のGOP(n+1)のピクチャB2を表示させるまでには、16フレーム期間分の時間が必要となることとなる。
そこで、本実施の形態による再生装置では、複数個のMPEG復号器によって並列的に復号化処理することで、n番目のGOP(n)のピクチャの復号化処理を開始してから表示するピクチャまでの再生の遅延を短縮する。
すなわち、例えば図5(A)に示すように、上述と同様のGOP単位で読み込まれるMPEGストリームデータD1について、図5(B)に示すように、任意のn番目のGOP(n)の表示するピクチャ及び当該ピクチャを復号化するために必要なピクチャによるピクチャ群を生成する。このとき図5(C)のように例えば表示するピクチャをn番目のGOP(n)のピクチャP15であるとすると、このようにして生成されたn番目のGOP(n)のピクチャI3、P6、P9、P12、P15というピクチャ群は、任意のn番目のGOP(n)のピクチャの復号化処理を開始してから表示するピクチャまでの再生遅延が最も短縮されることが分かる。
そして、このようにn番目のGOP(n)における表示するピクチャ及び当該ピクチャを復号化するために必要なピクチャによるピクチャ群(以下、これを再生遅延短縮ピクチャ群と呼ぶ)PDSのMPEGストリームデータD1をMPEG復号器により復号化することにより、図5(C)のように例えば任意のn番目のGOP(n)の表示するピクチャであるピクチャP15をリバース再生画像として表示させる。
このようにして本実施の形態による再生装置は、かかる原理を利用して、例えば図5(A)のようなピクチャ構造がI3、B1、B2、P6、B4、B5、P9、B7、B8、P12、B10、B11、P15、B13、B14という符号化順(コーディングオーダ)で読み込まれる(GOP単位で読み込まれる)MPEGストリームデータD1について、図5(B)について上述した再生遅延短縮ピクチャ群PDSを順次生成し、これら生成した再生遅延短縮ピクチャ群PDSを複数個のMPEG復号器によって並列的に復号化処理することで、n番目のGOP(n)のピクチャの復号化処理を開始してから表示するピクチャまでの再生遅延を短縮し得るようになされた点を第1の特徴としている。
このとき、n番目のGOP(n)のピクチャI3の復号化処理を開始してから、n番目のGOP(n)のピクチャP15を表示させるまでに、5フレーム期間分の時間のみが必要となることとなる。
一方、このようにMPEGストリームデータD1に基づくリバース再生動画像を表示する場合、BピクチャはIピクチャ又はPピクチャから参照されるために、n番目のGOP(n)における表示するピクチャがIピクチャ又はPピクチャであるときには、当該Iピクチャ又はPピクチャから参照されるBピクチャにおいてもこれらIピクチャ又はPピクチャと共に復号化処理を行ったほうが復号化処理の効率が良いことが分かる。
そこで、本実施の形態による再生装置は、リバース再生動作時には、再生遅延短縮ピクチャ群PDSを、n番目のGOP(n)における表示するIピクチャ又はPピクチャ、当該Iピクチャ又はPピクチャを復号化するために必要なピクチャ及び表示するIピクチャ又はPピクチャから参照されるBピクチャの組み合わせで再生遅延短縮ピクチャ群PDSを生成する(図7(B)参照)ことにより、MPEGストリームデータD1の復号化処理の効率をより向上させ得るようになされた点を第2の特徴としている。
この場合において、MPEGストリームデータD1に基づくリバース再生動画像を表示する際、復号化したピクチャをそのまま(フレーム単位で)表示することも考えられるが、この方法によると、比較的動きが少ない静止画的な性質を持っている動画像では有利であるが、動きの激しい動画像では表示されるリバース再生動画像の動きが滑らかさのないぎこちない動きになる問題がある。また、この動きのぎこちなさは、リバース再生動作を倍速再生表示した場合にさらに増大することとなる。
このとき本実施の形態による再生装置は、リバース再生動画像を表示する際、復号化したピクチャのフレーム画像をフレーム単位で表示するだけではなく、フィールド単位で表示するようになされている。つまり、リバース再生動作時の倍速に応じて、表示すべき各ピクチャを順次復号化処理すると共に、これら復号化処理した各ピクチャのフレーム画像を構成する2つのフィールドをリバース再生速度に応じて順次合成処理するようにして表示すべき画像(以下、これを合成画像という)を順次生成する。
すなわち、このとき復号化処理した各ピクチャのフレーム画像を構成する2つのフィールドで表示した場合には、復号化処理した各ピクチャのフレーム画像は、時間的に先に表示される画像であるピクチャ内のトップフィールド(以下、これをピクチャ内トップフィールドと呼ぶ)と、時間的に後に表示される画像であるピクチャ内のボトムフィールド(以下、これをピクチャ内ボトムフィールドと呼ぶ)から構成されている(図17(B)参照)。
ここで、例えばトップフィールドデータのピクチャ内ボトムフィールドを重心移動させ、表示すべき合成画像のトップフィールド(以下、これを合成画像内トップフィールドと呼ぶ)として選択した場合には、当該ピクチャ内ボトムフィールド間のフィールド間隔が等間隔又はほぼ等間隔になるように、合成画像内のボトムフィールド(以下、これを合成画像内ボトムフィールドと呼ぶ)を選択することによって、表示すべき合成画像のフィールド間の間隔を調整する(図16(H)参照)。
つまり、表示すべき合成画像を構成する2つのフィールドのうち、合成画像データ内トップフィールドと合成画像データ内ボトムフィールドとのフィールド間隔が等間隔又はほぼ等間隔になるように各ピクチャのフレーム画像を選択して合成画像を生成し得るようになされている。
従って、リバース再生動画像のすべての合成画像がこのように生成されるものである場合には、表示される合成画像の合成画像内トップフィールドと合成画像内ボトムフィールドとのフィールド間隔が等間隔又はほぼ等間隔に表示されることとなり、より滑らかにリバース再生動画像を表示できることとなる(図16(H)参照)。
そこで、本実施の形態による再生装置は、表示すべき合成画像のフィールド間の間隔を等間隔又はほぼ等間隔になるように調整し、順次合成するようにして表示すべき合成画像を順次生成し得るようにした点を第3の特徴としている。
他方、このようにしてリバース再生動画像を表示するに際し、表示するピクチャを生成するのに最も時間を要するのは表示するピクチャがピクチャB1又はピクチャB2の場合である(図7(F)参照)。
これは、ピクチャB1又はピクチャB2を復号化するために、直前のGOPのピクチャI3、P6、P9、P12、P15及び自GOPのピクチャI3をそれぞれ復号化処理しなければならないからである。そして、このような場合に生成される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を当該生成された順番で複数個のMPEG復号器に順番に振り分けた場合に、当該複数個のMPEG復号器では復号化処理が間に合わなくなることがある(図18(D)、(E)参照)。
そこで、本実施の形態による再生装置は、上述のように表示するピクチャを生成するのに時間を要する再生遅延短縮ピクチャ群PDSを順番にかかわらず複数個のMPEG復号器に振り分けることにより、MPEGストリームデータD1の復号化処理の効率をより向上させ得るようになされた点を第4の特徴としている。
以下、本実施の形態による再生装置について詳述する。
(2)第1の実施の形態
(2−1)第1の実施の形態による再生装置の構成
図6において、1は全体として本実施の形態による再生装置を示し、例えばハードディスク装置等からなるストレージ部2に記憶保持されたAV(Audio Video)コンテンツの中からユーザにより指定されたAVコンテンツのMPEGストリームデータ(N=15、M=3)を、ユーザにより指定された任意の再生方向及び再生速度で再生又はリバース再生し得るようになされている。
すなわちこの再生装置1の場合、操作部3が操作されて、ストレージ部2に記憶保持されているAVコンテンツの中からユーザが所望するAVコンテンツ、その方向及び速度が指定されると、これに応じた操作信号S1が復号化コントロール部4の制御部5に与えられる。
この復号化コントロール部4は、再生装置1全体の動作制御を司る制御部5が、メモリ制御部6、データ分配部7及びデータ選別部8とから構成されている。また制御部5は、CPU(Central Processing Unit)、ROM(Read Only Memory)5A及びRAM(Random Access Memory)を含むマイクロコンピュータ構成でなり、例えば操作部3から与えられる操作信号S1と、ROM5Aに予め格納された制御プログラムとに基づいて、ストレージ部2、メモリ制御部6、データ分配部7、データ選別部8及びMPEG復号部10をそれぞれ制御する。
かくして制御部5は、供給される操作信号S1に応じた読出し制御信号S2をストレージ部2に送出し、ストレージ部2は、制御部5の制御のもとに、そのとき記憶保持しているAVコンテンツのうちの指定されたAVコンテンツのMPEGストリームデータD1をGOPを基本単位としてユーザにより指定された速度で読み出し、これをメモリ制御部6に送出する。
メモリ制御部6は、例えば数GOP分のMPEGストリームデータD1を記憶し得るメモリ9が接続されており、供給されるMPEGストリームデータD1をメモリ9に格納させる。
そしてメモリ制御部6は、操作部3において順方向の再生方向が選択された通常再生動作時には、制御部5の制御のもとに、当該メモリ9を用いながら、格納されたMPEGストリームデータD1をGOPを基本単位としてユーザにより指定された速度で読み出し、これをデータ分配部7に送出する。
データ分配部7は、制御部5の制御のもとに、供給されるMPEGストリームデータD1をMPEG復号部10内の対応する第1〜第5のMPEG復号器10A〜10Eに振り分ける。
このときこのMPEG復号部10は、合計5個の第1〜第5のMPEG復号器10A〜10Eから構成されており、制御部5の制御のもとに、指定された速度に応じて、第1〜第5のMPEG復号器10A〜10Eの中からデータ分配部7によりMPEGストリームデータD1が振り分けられる1〜5個の第1〜第5のMPEG復号器10A〜10Eのみが稼働する。そしてこれら稼働した第1〜第5のMPEG復号器10A〜10Eは、制御部5の制御のもとに、供給されるMPEGストリームデータD1を順次復号化処理し、得られたベースバンドのストリームデータ(以下、これをベースバンドストリームデータと呼ぶ)D2をデータ選別部8に送出する。
データ選別部8は、制御部5の制御のもとに、稼働中の第1〜第5のMPEG復号器10A〜10Eからそれぞれ供給されるベースバンドストリームデータD2に対して表示するピクチャを選択し、また必要時に例えばカラーコレクションなどのエフェクト処理等を施し、かくして得られた選択ベースバンドストリームデータD3を表示部11に送出する。
この結果この選択ベースバンドストリームデータD3に基づいて、ユーザにより指定されたAVコンテンツの動画像が順方向の再生方向で、かつユーザにより指定された速度で表示部11に表示される。
一方、メモリ制御部6は、操作部3において逆方向の再生方向が選択されたリバース再生動作時には、制御部5の制御のもとに、メモリ9を用いて逆方向の表示順(ディスプレイオーダ)への並び替えを考慮しながら、図5について上述した再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次生成し、これらを最終的な再生画像出力タイミングに合わせてデータ分配部7に送出する。
データ分配部7は、制御部5の制御のもとに、供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1をMPEG復号部10内の対応する第1〜第5のMPEG復号器10A〜10Eに振り分ける。
このときこのMPEG復号部10は、制御部5の制御のもとに、指定された速度に応じて、第1〜第5のMPEG復号器10A〜10Eの中からデータ分配部7により再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられる1〜5個の第1〜第5のMPEG復号器10A〜10Eのみが稼働する。そしてこれら稼働した第1〜第5のMPEG復号器10A〜10Eは、制御部5の制御のもとに、供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次復号化処理し、得られたベースバンドストリームデータD2をデータ選別部8に送出する。
データ選別部8は、制御部5の制御のもとに、稼働中の第1〜第5のMPEG復号器10A〜10Eからそれぞれ供給されるベースバンドストリームデータD2に対して表示するピクチャを選択し、また必要時にエフェクト処理等を施し、かくして得られた選択ベースバンドストリームデータD3を表示部11に送出する。
この結果この選択ベースバンドストリームデータD3に基づいて、ユーザにより指定されたAVコンテンツの動画像が逆方向の再生方向で、かつユーザにより指定された速度で表示部11に表示される。
(2−2)リバース再生動作時における再生装置1の具体的処理
次に、リバース再生動作時における再生装置1の具体的な処理内容について説明する。
(2−2−1)1倍速リバース再生動作時における再生装置1の具体的処理
1倍速リバース再生動作時、ストレージ部2は、図7(A)に示すように、指定されたAVコンテンツのMPEGストリームデータD1を例えばGOPを基本単位として1倍速で順次読み出し、これをメモリ制御部6に送出して、当該MPEGストリームデータD1をメモリ9に格納させる。
メモリ制御部6は、制御部5の制御のもとに、メモリ9に格納されるMPEGストリームデータD1に基づいて、逆方向の表示順(ディスプレイオーダ)への並び替えを考慮しながら、図5について上述した再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次生成し、これらを最終的な再生画像出力タイミングに合わせてデータ分配部7に送出する。
データ分配部7は、制御部5の制御のもとに、これら再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次循環的に第1〜第5のMPEG復号器10A〜10Eに振り分ける。従って、k=1、2、……として、第1のMPEG復号器10Aには、(5k−4)番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられ、第2のMPEG復号器10Bには、(5k−3)番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられ、第3のMPEG復号器10Cには、(5k−2)番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられ、第4のMPEG復号器10Dには、(5k−1)番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられ、第5のMPEG復号器10Eには、5k番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられる。
第1のMPEG復号器10Aは、図7(B)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を例えば0番目のGOP(0)のピクチャB13の符号化データがストレージ部2から読み出されたタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を順次復号化処理する。また第1のMPEG復号器10Aは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第2のMPEG復号器10Bは、図7(C)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第1のMPEG復号器10Aが0番目のGOP(0)のピクチャP15についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を順次復号化処理する。また第2のMPEG復号器10Bは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第3のMPEG復号器10Cは、図7(D)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第2のMPEG復号器10Bが0番目のGOP(0)のピクチャB11についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を順次復号化処理する。また第3のMPEG復号器10Cは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第4のMPEG復号器10Dは、図7(E)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第3のMPEG復号器10Cが0番目のGOP(0)のピクチャB7についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を順次復号化処理する。また第4のMPEG復号器10Dは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第5のMPEG復号器10Eは、図7(F)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第4のMPEG復号器10Dが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから1フレーム期間分先のタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を順次復号化処理する。また第5のMPEG復号器10Eは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
データ選別部8は、図7(G)に示すように、第1のMPEG復号器10Aが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから5フレーム期間分後のタイミングで処理を開始する。このときデータ選別部8は、制御部5の制御のもとに、第1〜第5のMPEG復号器10A〜10Eから与えられるベースバンドストリームデータD2について、表示するピクチャを選択する。すなわち、第1のMPEG復号器10Aから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP15、B14、B13を選択し、第2のMPEG復号器10Bから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP12、B11、B10を選択し、第3のMPEG復号器10Cから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP9、B8、B7を選択し、第4のMPEG復号器10Dから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP6、B5、B4を選択し、第5のMPEG復号器10Eから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャI3、B1、B2を選択する。
そしてデータ選別部8は、これら選択したベースバンドストリームデータD2を必要に応じてエフェクト処理等を施し、かくして得られた選択ベースバンドストリームデータD3を表示部11に送出する。
このようにしてこの再生装置1においては、選択ベースバンドストリームデータD3を生成し、この選択ベースバンドストリームデータD3に基づく1倍速リバース再生動画像を表示部11に表示させる。このとき、この再生装置1においては、0番目のGOP(0)のピクチャI3の復号化処理を開始してから、0番目のGOP(0)のピクチャP15を表示させるまでに、5フレーム期間分の時間のみが必要となることとなる。
(2−2−2)2倍速リバース再生動作時における再生装置1の具体的処理
2倍速リバース再生動作時、ストレージ部2は、図8(A)に示すように、指定されたAVコンテンツのMPEGストリームデータD1を例えばGOPを基本単位として2倍速で順次読み出し、これをメモリ制御部6に送出して、当該MPEGストリームデータD1をメモリ9に格納させる。
メモリ制御部6は、制御部5の制御のもとに、メモリ9に格納されるMPEGストリームデータD1に基づいて、逆方向の表示順(ディスプレイオーダ)への並び替えを考慮しながら、図5について上述した再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次生成し、これらを最終的な再生画像出力タイミングに合わせてデータ分配部7に送出する。
データ分配部7は、制御部5の制御のもとに、これら再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を1倍速リバース再生動作時と同様に順次循環的に第1〜第5のMPEG復号器10A〜10Eに振り分ける。
第1のMPEG復号器10Aは、図8(B)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を例えば0番目のGOP(0)のピクチャB10の符号化データがストレージ部2から読み出されたタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第1のMPEG復号器10Aは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第2のMPEG復号器10Bは、図8(C)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第1のMPEG復号器10Aが0番目のGOP(0)のピクチャP9についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第2のMPEG復号器10Bは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第3のMPEG復号器10Cは、図8(D)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第2のMPEG復号器10Bが0番目のGOP(0)のピクチャP12についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第3のMPEG復号器10Cは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第4のMPEG復号器10Dは、図8(E)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第3のMPEG復号器10Cが0番目のGOP(0)のピクチャP9についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第4のMPEG復号器10Dは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第5のMPEG復号器10Eは、図8(F)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第3のMPEG復号器10Cが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから2フレーム期間分先のタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第5のMPEG復号器10Eは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
データ選別部8は、図8(G)に示すように、第1のMPEG復号器10Aが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから5フレーム期間分後のタイミングで処理を開始する。すなわちデータ選別部8は、制御部5の制御のもとに、第1〜第5のMPEG復号器10A〜10Eから与えられるベースバンドストリームデータD2について、表示するピクチャを選択する。すなわち、第1のMPEG復号器10Aから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP15、B13を選択し、第2のMPEG復号器10Bから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャB11を選択し、第3のMPEG復号器10Cから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP9、B7を選択し、第4のMPEG復号器10Dから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャB5を選択し、第5のMPEG復号器10Eから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャI3、B1を選択する。
そしてデータ選別部8は、これら選択したベースバンドストリームデータD2を必要に応じてエフェクト処理等を施し、かくして得られた選択ベースバンドストリームデータD3を表示部11に送出する。
このようにしてこの再生装置1においては、選択ベースバンドストリームデータD3を生成し、この選択ベースバンドストリームデータD3に基づく2倍速リバース再生動画像を表示部11に表示させる。このとき、この再生装置1においては、0番目のGOP(0)のピクチャI3の復号化処理を開始してから、0番目のGOP(0)のピクチャP15を表示させるまでに、5フレーム期間分の時間のみが必要となることとなる。
(2−2−3)3倍速リバース再生動作時における再生装置1の具体的処理
3倍速リバース再生動作時、ストレージ部2は、図9(A)に示すように、指定されたAVコンテンツのMPEGストリームデータD1を例えばGOPを基本単位として3倍速で順次読み出し、これをメモリ制御部6に送出して、当該MPEGストリームデータD1をメモリ9に格納させる。
メモリ制御部6は、制御部5の制御のもとに、メモリ9に格納されるMPEGストリームデータD1に基づいて、逆方向の表示順(ディスプレイオーダ)への並び替えを考慮しながら、図5について上述した再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次生成し、これらを最終的な再生画像出力タイミングに合わせてデータ分配部7に送出する。
データ分配部7は、制御部5の制御のもとに、これら再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を1倍速リバース再生動作時と同様に順次循環的に第1〜第5のMPEG復号器10A〜10Eに振り分ける。
第1のMPEG復号器10Aは、図9(B)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を例えば0番目のGOP(0)のピクチャB1の符号化データがストレージ部2から読み出されたタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第1のMPEG復号器10Aは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第2のMPEG復号器10Bは、図9(C)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第1のMPEG復号器10Aが0番目のGOP(0)のピクチャP15についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第2のMPEG復号器10Bは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第3のMPEG復号器10Cは、図9(D)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第2のMPEG復号器10Bが0番目のGOP(0)のピクチャP9についての復号化処理をし終えたタイミングから1フレーム期間分後のタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第3のMPEG復号器10Cは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第4のMPEG復号器10Dは、図9(E)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第3のMPEG復号器10Cが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから3フレーム期間分先のタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第4のMPEG復号器10Dは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第5のMPEG復号器10Eは、図9(F)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第4のMPEG復号器10Dが−1番目のGOP(-1)のピクチャP15についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第5のMPEG復号器10Eは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
データ選別部8は、図9(G)に示すように、第1のMPEG復号器10Aが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから5フレーム期間分後のタイミングで処理を開始する。すなわちデータ選別部8は、制御部5の制御のもとに、第1〜第5のMPEG復号器10A〜10Eから与えられるベースバンドストリームデータD2について、表示するピクチャを選択する。すなわち、第1のMPEG復号器10Aから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP15、P12を選択し、第2のMPEG復号器10Bから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP9、P6を選択し、第3のMPEG復号器10Cから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャI3を選択し、第4のMPEG復号器10Dから与えられるベースバンドストリームデータD2から−1番目のGOP(-1)のピクチャP15、P12を選択し、第5のMPEG復号器10Eから与えられるベースバンドストリームデータD2から−1番目のGOP(-1)のピクチャP9、P6を選択する。
そしてデータ選別部8は、これら選択したベースバンドストリームデータD2を必要に応じてエフェクト処理等を施し、かくして得られた選択ベースバンドストリームデータD3を表示部11に送出する。
このようにしてこの再生装置1においては、選択ベースバンドストリームデータD3を生成し、この選択ベースバンドストリームデータD3に基づく3倍速リバース再生動画像を表示部11に表示させる。このとき、この再生装置1においては、0番目のGOP(0)のピクチャI3の復号化処理を開始してから、0番目のGOP(0)のピクチャP15を表示させるまでに、5フレーム期間分の時間のみが必要となることとなる。
(2−2−4)5倍速リバース再生動作時における再生装置1の具体的処理
5倍速リバース再生動作時、ストレージ部2は、図10(A)に示すように、指定されたAVコンテンツのMPEGストリームデータD1を例えばGOPを基本単位として5倍速で順次読み出し、これをメモリ制御部6に送出して、当該MPEGストリームデータD1をメモリ9に格納させる。
メモリ制御部6は、制御部5の制御のもとに、メモリ9に格納されるMPEGストリームデータD1に基づいて、逆方向の表示順(ディスプレイオーダ)への並び替えを考慮しながら、図5について上述した再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次生成し、これらを最終的な再生画像出力タイミングに合わせてデータ分配部7に送出する。
データ分配部7は、制御部5の制御のもとに、これら再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を1倍速リバース再生動作時と同様に順次循環的に第1〜第5のMPEG復号器10A〜10Eに振り分ける。
第1のMPEG復号器10Aは、図10(B)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を例えば0番目のGOP(0)のピクチャB1の符号化データがストレージ部2から読み出されたタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第1のMPEG復号器10Aは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第2のMPEG復号器10Bは、図10(C)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第1のMPEG復号器10Aが0番目のGOP(0)のピクチャP6についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第2のMPEG復号器10Bは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第3のMPEG復号器10Cは、図10(D)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第2のMPEG復号器10Bが0番目のGOP(0)のピクチャP12についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第3のMPEG復号器10Cは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第4のMPEG復号器10Dは、図10(E)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第3のMPEG復号器10Cが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから1フレーム期間分先のタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第4のMPEG復号器10Dは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第5のMPEG復号器10Eは、図10(F)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第4のMPEG復号器10Dが0番目のGOP(0)のピクチャP6についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第5のMPEG復号器10Eは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
データ選別部8は、図10(G)に示すように、第1のMPEG復号器10Aが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから5フレーム期間分後のタイミングで処理を開始する。すなわちデータ選別部8は、制御部5の制御のもとに、第1〜第5のMPEG復号器10A〜10Eから与えられるベースバンドストリームデータD2について、表示するピクチャを選択する。すなわち、第1のMPEG復号器10Aから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP15を選択し、第2のMPEG復号器10Bから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャB10を選択し、第3のMPEG復号器10Cから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャB5を選択し、第4のMPEG復号器10Dから与えられるベースバンドストリームデータD2から1番目のGOP(1)のピクチャP15を選択し、第5のMPEG復号器10Eから与えられるベースバンドストリームデータD2から1番目のGOP(1)のピクチャB10を選択する。
そしてデータ選別部8は、これら選択したベースバンドストリームデータD2を必要に応じてエフェクト処理等を施し、かくして得られた選択ベースバンドストリームデータD3を表示部11に送出する。
このようにしてこの再生装置1においては、選択ベースバンドストリームデータD3を生成し、この選択ベースバンドストリームデータD3に基づく5倍速リバース再生動画像を表示部11に表示させる。このとき、この再生装置1においては、0番目のGOP(0)のピクチャI3の復号化処理を開始してから、0番目のGOP(0)のピクチャP15を表示させるまでに、5フレーム期間分の時間のみが必要となることとなる。
(2−3)リバース再生動作処理手順
ここで、上述のようなリバース再生動作時における制御部5の制御処理は、当該制御部5内のROM5Aに格納された制御プログラムに基づき、図11及び図12に示すリバース再生動作処理手順RT1に従って行われる。
すなわち制御部5は、操作部3が操作されて再生すべきAVコンテンツ及びその再生速度が指定され、リバース再生動作が選択されると、このリバース再生動作処理手順RT1をステップSP0において開始し、続くステップSP1において、そのAVコンテンツにおいてリバース再生表示を開始するピクチャ(すなわちリバース再生動作時に最初に表示するピクチャ)を決定する。なお本実施の形態では、このピクチャとして、例えばいずれのリバース再生動作時においても、0番目のGOP(0)のピクチャP15を決定するようになされている。
続いて制御部5は、ステップSP2に進んで、ユーザにより指定された再生速度に応じて、表示すべきピクチャを算出し決定する。従って、例えば2倍速リバース再生が指定された場合には、図8に示すように、各GOPのピクチャP15、B13、B11、P9、B7、B5、I3、B1を表示することが決定される。
続いて制御部5は、ステップSP3に進んで、逆方向の表示順(ディスプレイオーダ)への並び替えを考慮しながら、ステップSP2において表示することを決定したIピクチャ又はPピクチャと、それらを復号化処理する際に復号化処理が必要となるピクチャと、表示するIピクチャ又はPピクチャから参照されるBピクチャの組み合わせに応じて各再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を算出する。
例えば、2倍速リバース再生が指定された場合には、図8(B)に示すように、表示することを決定したPピクチャである0番目のGOP(0)のピクチャP15と、この0番目のGOP(0)のピクチャP15を復号化するために必要な0番目のGOP(0)のピクチャI3、P6、P9、P12と、表示するIピクチャ又はPピクチャから参照されるBピクチャである0番目のGOP(0)のピクチャB13とが算出される。
続いて制御部5は、ステップSP4に進んで、リバース再生動画像の表示開始時刻を適当に設定し、この後ステップSP5及びステップSP6において、ステップSP3において算出した再生遅延短縮ピクチャ群PDSの復号化処理の開始タイミングを計算する。
すなわち制御部5は、ステップSP5において、ステップSP1で選択した表示開始ピクチャをステップSP4で設定した表示開始時刻に表示し、その後ステップSP2で決定した各ピクチャを順次表示するために、各再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1の復号化処理を終了しなければならないタイミングをそれぞれ算出する。
例えば図8(G)のようにリバース再生動画像を表示する場合、表示するピクチャである0番目のGOP(0)のピクチャB13の表示が開始される時点までに当該ピクチャB13の復号化処理が終了していなければならない。従って、その時点がこの再生遅延短縮ピクチャ群PDSの最も遅い復号化処理の終了タイミングとなる。そこで制御部5は、この時点をその再生遅延短縮ピクチャ群PDSの復号化処理の終了タイミングとして算出する。
また制御部5は、これと同様にして、その後例えば図8(G)のようにリバース再生動画像を表示するために、各再生遅延短縮ピクチャ群PDSの復号化処理を終了しなければならないタイミングをそれぞれ算出する。
そして制御部5は、この後ステップSP6に進んで、各再生遅延短縮ピクチャ群PDSの復号化処理の終了タイミングとその各再生遅延短縮ピクチャ群PDSの復号化処理すべきピクチャ数分の時間に基づいて、各再生遅延短縮ピクチャ群PDSが復号化処理をそれぞれ開始すべき開始タイミングを順次算出し、その後使用するMPEG復号器を第1〜第5のMPEG復号器10A〜10Eから決定する。また制御部5は、この後これら使用する第1〜第5のMPEG復号器10A〜10Eに対して再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1をどのように振り分けるかの振り分け方を決定する。なお、このときに再生遅延短縮ピクチャ群PDSを当該生成された順番で複数個のMPEG復号器に順番に振り分けた場合に、当該複数個のMPEG復号器では復号化処理が間に合わなくなるときには、再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を復号化が間に合うように入れ替えることとなる。
例えば図8(B)のような場合、0番目のGOP(0)のピクチャB13を含む再生遅延短縮ピクチャ群の復号化処理すべきピクチャ数が6であることから、その再生遅延短縮ピクチャ群PDSの復号化処理の開始タイミングが、当該再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1の復号化終了タイミングよりも6フレーム期間分だけ先のタイミングであることが分かる。
そして例えば2倍速再生が指定された場合には、図8(B)〜(F)において明らかなように、5個の第1〜第5のMPEG復号器10A〜10Eを復号化処理に使用するMPEG復号器として決定する。また制御部5は、図8(B)〜(F)のようにこの後上述の再生遅延短縮ピクチャ群PDSを単位としてMPEGストリームデータD1をこれら第1〜第5のMPEG復号器10A〜10Eに振り分ける振分け方を決定することとなる。
続いて制御部5は、この後ステップSP7に進んで、いずれかの第1〜第5のMPEG復号器10A〜10Eがそのとき振り分けられる再生遅延短縮ピクチャ群PDSに対する復号化処理を開始すべきタイミングとなったか否かを判断する。そして制御部5は、このステップSP7において否定結果を得るとステップSP12に進み、これに対して肯定結果を得るとステップSP8に進んで当該制御部5内に格納されているメモリ9のMPEGストリームデータD1の書込み状況や書込みアドレスを管理するメモリ管理データを参照し、表示するピクチャを含むGOPのMPEGストリームデータD1がメモリ9に格納されているか否かを判断する。そして制御部5は、このステップSP8において肯定結果を得るとステップSP10に進み、これに対して否定結果を得るとステップSP9に進んでストレージ部2を制御して、表示するピクチャの復号化処理を開始するまでに対応するGOPのMPEGストリームデータD1をメモリ制御部6に読出し、その後メモリ制御部6を制御して、対応するGOPのMPEGストリームデータD1のメモリ書込みアドレスを決定し、当該MPEGストリームデータD1をメモリ9内の対応するアドレスに格納させる。そして制御部5は、このときのメモリ書込みアドレスに基づいてメモリ管理データを更新する。
例えば、メモリ9内に対応するMPEGストリームデータD1が格納されておらず、2倍速で読み出しされる場合、図8(F)において明らかなように、第5のMPEG復号器10Eにおいて−1番目のGOP(-1)のピクチャP15の復号化が開始される時点までに当該ピクチャP15の読出し処理が終了していなければならない。従って、その時点がこのピクチャP15を含む再生遅延短縮ピクチャ群PDSのMPEGストリームD3の最も遅い読み出し処理タイミングとなる。そこで制御部5は、この時点からそのMPEGストリームデータD1の読み出し処理の開始タイミングを算出して読み出し処理を開始し、当該MPEGストリームデータD1をメモリ9に格納させる。
続いて制御部5は、この後ステップSP10に進んで、メモリ制御部6を制御して、メモリ読出しアドレスに基づいて対応する再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1をデータ分配部7に読み出して、その後データ分配部7を制御して、この再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1をMPEG復号部10内の対応する第1〜第5のMPEG復号器10A〜10Eに順次振り分けて、第1〜第5のMPEG復号器10A〜10Eにおいて復号化処理を開始させる。そして制御部5は、メモリ制御部6を制御して、表示するピクチャを含むGOPのMPEGストリームデータD1の復号化が終了したときに、このときのメモリ読出しアドレスに基づいてメモリ管理データを更新する。
例えば、図8(B)〜(F)において明らかなように、再生遅延短縮ピクチャ群PDSに対して復号化処理をそれぞれ開始すべき開始タイミングにおいて、再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1をMPEG復号部10内の第1〜第5のMPEG復号器10A〜10Eに順次振り分け、第1〜第5のMPEG復号器10A〜10Eにおいて復号化処理を開始させる。
続いて制御部5は、この後ステップSP11に進んで、MPEG復号部10を制御して、所定のタイミングでベースバンドストリームデータD2の各ピクチャをデータ選別部8に送出し、その後データ選別部8を制御して、表示部11への表示順(ディスプレイオーダ)に従い、当該ベースバンドストリームデータD2のうち表示するピクチャを選択する。
例えば図8(B)のような場合、第1のMPEG復号器10Aから供給される再生遅延短縮ピクチャ群PDSのベースバンドストリームデータD2から表示するピクチャである0番目のGOP(0)のピクチャP15とピクチャB13を選択する。また、その後もこれと同様にして、再生遅延短縮ピクチャ群PDSのベースバンドストリームデータD2から表示するピクチャを順次選択する。この結果、表示するピクチャを逆方向の表示順(ディスプレイオーダ)に並べ替えることができるようになされている。
続いて制御部5は、この後ステップSP12に進んで、表示部11への表示タイミングとなったか否かを判断する。そして制御部5は、このステップSP12において否定結果を得るとステップSP14に進み、これに対して肯定結果を得るとステップSP13に進んで表示するピクチャを順次表示部11に送出し、この結果表示するピクチャに基づくリバース再生動画像が表示部11に表示される。
続いて制御部5は、ステップSP14に進んで、操作部3からの操作信号S1に基づいて、ユーザがリバース再生動作を停止すべき操作(以下、これを停止操作と呼ぶ)を行ったか否かを判断し、否定結果を得るとステップSP8に戻り、この後ステップSP7〜ステップSP14について同様の処理を繰り返す。そして制御部5は、やがてユーザが停止操作を行うことによりステップSP14において肯定結果を得ると、ステップSP15に進んでこのリバース再生動作処理手順RT1を終了する。
このようにして制御部5は、ストレージ部2、メモリ制御部6、データ分配部7、データ選別部8及びMPEG復号部10を制御して、指定されたAVコンテンツを指定された速度でリバース再生してなるリバース再生動画像を表示部11に表示させ得るようになされている。
(2−4)第1の実施の形態による動作及び効果
以上の構成において、この再生装置1では、ユーザにより指定されたAVコンテンツのMPEGストリームデータD1を指定された再生速度でストレージ部2から読み出し、当該MPEGストリームデータD1を表示するピクチャ及び当該ピクチャを復号化するのに必要なピクチャでなる再生遅延短縮ピクチャ群PDS単位で複数個の第1〜第5のMPEG復号器10A〜10Eに振り分けて、これら複数個の第1〜第5のMPEG復号器10A〜10Eにおいて並列的に復号化処理する。
従って、この再生装置1では、図5について上述した原理により、ピクチャの復号化処理を開始してから実際にピクチャを表示するまでの再生遅延を短縮することができる。
またこの再生装置1では、再生遅延短縮ピクチャ群PDSを表示するIピクチャ又はPピクチャ、当該Iピクチャ又はPピクチャを復号化するために必要なピクチャ及び当該Iピクチャ又はPピクチャから参照されるBピクチャの組み合わせで再生遅延短縮ピクチャ群PDSを生成し、複数個の第1〜第5のMPEG復号器10A〜10Eに振り分けて、これら複数個の第1〜第5のMPEG復号器10A〜10Eにおいて並列的に復号化処理することにより、この再生装置1の復号化処理の効率をより向上させることができる。
以上の構成によれば、ユーザにより指定されたAVコンテンツのMPEGストリームデータD1を指定された再生速度でストレージ部2から読み出し、当該MPEGストリームデータD1を表示するピクチャ及び当該ピクチャを復号化するのに必要なピクチャでなる再生遅延短縮ピクチャ群PDS単位で複数個の第1〜第5のMPEG復号器10A〜10Eに振り分けて、これら複数個の第1〜第5のMPEG復号器10A〜10Eにおいて並列的に復号化処理するようにしたことにより、図5について上述した原理により、ピクチャの復号化処理を開始してから最初に表示するピクチャまでの再生遅延を短縮することができ、かくしてMPEGストリームデータのリバース再生動作時の応答性を向上し得る再生装置が実現できる。
(3)第2の実施の形態
(3−1)第2の実施の形態による再生装置の構成
図6との対応部分に同一符号を付して示す図13において、20は全体として第2の実施の形態による再生装置を示し、上述した第1の実施の形態による再生装置1(図6)とは、MPEG復号部21におけてMPEG復号器の個数が異なり、またデータ選別部8においてベースバンドストリームデータの選別及び合成処理を行うことを除いて同様に構成されている。このときMPEG復号部21は、この実施の形態の場合では合計6個の第1〜第6のMPEG復号器21A〜21Fから構成されている。
またデータ選別部8は、制御部5の制御のもとに、稼働中の第1〜第6のMPEG復号器21A〜21Fからそれぞれ供給されるベースバンドストリームデータD2に対して、インターレースの動画像にするために、フィールド単位で、かつフィールド間の間隔が等間隔になるようなピクチャのフィールドを選択して合成する合成処理や必要時にエフェクト処理等を施し、かくして得られた合成ベースバンドストリームデータD4を表示部11に送出する。
(3−2)フィールド単位でのリバース再生動作時における再生装置20の具体的処理
次に、フィールド単位でのリバース再生動作時における再生装置20の具体的な処理内容について説明する。
(3−2−1)1倍速リバース再生動作時における再生装置20の具体的処理
1倍速リバース再生動作時、ストレージ部2は、図14(A)に示すように、指定されたAVコンテンツのMPEGストリームデータD1を例えばGOPを基本単位として1倍速で順次読み出し、これをメモリ制御部6に送出して、当該MPEGストリームデータD1をメモリ9に格納させる。
メモリ制御部6は、制御部5の制御のもとに、メモリ9に格納されるMPEGストリームデータD1に基づいて、逆方向の表示順(ディスプレイオーダ)への並び替えを考慮しながら、図5について上述した再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次生成し、これらを最終的な再生画像出力タイミングに合わせてデータ分配部7に送出する。
データ分配部7は、制御部5の制御のもとに、これら再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第1の実施の形態による1倍速リバース再生動作時と同様に順次循環的に第1〜第5のMPEG復号器21A〜21Eに振り分ける。
第1〜第5のMPEG復号器21A〜21Eは、図14(B)〜(F)に示すように、第1の実施の形態による1倍速リバース再生動作時と同様にそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
データ選別部8は、図14(G)に示すように、第1のMPEG復号器21Aが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから5フレーム期間分後のタイミングで処理を開始する。すなわちデータ選別部8は、制御部5の制御のもとに、第1〜第5のMPEG復号器21A〜21Eから与えられるベースバンドストリームデータD2について、表示するピクチャを選択する。すなわち、第1のMPEG復号器21Aから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP15、B14、B13を選択し、第2のMPEG復号器21Bから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP12、B11、B10を選択し、第3のMPEG復号器21Cから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP9、B8、B7を選択し、第4のMPEG復号器21Dから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP6、B5、B4を選択し、第5のMPEG復号器21Eから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャI3、B1、B2を選択する。
そしてデータ選別部8は、これら選択したベースバンドストリームデータD2について、1倍速リバース再生動作時の場合では、図15(A)のピクチャの詳細構成を示した図15(B)に示すように、例えば最初に表示するピクチャのピクチャ内ボトムフィールドであるピクチャP15のフィールドP15bと次に表示するピクチャのピクチャ内ボトムフィールドであるピクチャB14のフィールドB14bを選択し、図14(G)に示すように、合成画像内トップフィールドに重心移動させ、当該合成画像内トップフィールド間のフィールド間隔が等間隔になるように、ピクチャP15のフィールドP15tを選択し、図14(G)に示すように、当該ピクチャP15のフィールドP15tを合成画像内ボトムフィールドに重心移動させて、合成画像内ボトムフィールドとして表示させるようにして合成画像を生成する。すなわち、ピクチャP15のフィールドP15bとピクチャP15のフィールドP15tとを反転させて表示させるようにして合成画像を生成する。そしてこの後同様にしてこのような合成画像を順次生成して、この合成画像に対して必要に応じてエフェクト処理を施し、かくして得られた合成ベースバンドストリームデータD4を表示部11に送出する。
このようにしてこの再生装置20においては、合成ベースバンドストリームデータD4を生成し、この合成ベースバンドストリームデータD4に基づく1倍速リバース再生動画像を表示部11に表示させる。このとき、この再生装置20においては、0番目のGOP(0)のピクチャI3の復号化処理を開始してから、0番目のGOP(0)のピクチャP15を表示させるまでに、5フレーム期間分の時間のみが必要となることとなる。
(3−2−2)2倍速リバース再生動作時における再生装置20の具体的処理
2倍速リバース再生動作時、ストレージ部2は、図16(A)に示すように、指定されたAVコンテンツのMPEGストリームデータD1を例えばGOPを基本単位として2倍速で順次読み出し、これをメモリ制御部6に送出して、当該MPEGストリームデータD1をメモリ9に格納させる。
メモリ制御部6は、制御部5の制御のもとに、メモリ9に格納されるMPEGストリームデータD1に基づいて、逆方向の表示順(ディスプレイオーダ)への並び替えを考慮しながら、図5について上述した再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次生成し、これらを最終的な再生画像出力タイミングに合わせてデータ分配部7に送出する。
データ分配部7は、制御部5の制御のもとに、これら再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次循環的に第1〜第6のMPEG復号器21A〜21Fに振り分ける。従って、k=1,2,……として、第1のMPEG復号器21Aには、(6k−5)番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられ、第2のMPEG復号器21Bには、(6k−4)番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられ、第3のMPEG復号器21Cには、(6k−3)番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられ、第4のMPEG復号器21Dには、(6k−2)番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられ、第5のMPEG復号器21Eには、(6k−1)番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられ、第6のMPEG復号器21Fには、6k番目の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1が振り分けられる。
第1のMPEG復号器21Aは、図16(B)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を例えば0番目のGOP(0)のピクチャB10の符号化データがストレージ部2から読み出されたタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第1のMPEG復号器21Aは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第2のMPEG復号器21Bは、図16(C)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第1のMPEG復号器21Aが0番目のGOP(0)のピクチャP9についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第2のMPEG復号器21Bは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第3のMPEG復号器21Cは、図16(D)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第2のMPEG復号器21Bが0番目のGOP(0)のピクチャP12についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第3のMPEG復号器21Cは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第4のMPEG復号器21Dは、図16(E)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第3のMPEG復号器21Cが0番目のGOP(0)のピクチャP9についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第4のMPEG復号器21Dは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第5のMPEG復号器21Eは、図16(F)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第4のMPEG復号器21Dが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから2フレーム期間分先のタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第5のMPEG復号器21Eは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第6のMPEG復号器21Fは、図16(G)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第5のMPEG復号器21Eが−1番目のGOP(-1)のピクチャP9についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第6のMPEG復号器21Fは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
データ選別部8は、図16(H)に示すように、第1のMPEG復号器21Aが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから6フレーム期間分後のタイミングで処理を開始する。すなわちデータ選別部8は、制御部5の制御のもとに、第1〜第6のMPEG復号器21A〜21Fから与えられるベースバンドストリームデータD2について、表示するピクチャを選択する。すなわち、第1のMPEG復号器21Aから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP15、B14、B13を選択し、第2のMPEG復号器21Bから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP12、B11、B10を選択し、第3のMPEG復号器21Cから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP9、B8、B7を選択し、第4のMPEG復号器21Dから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP6、B5、B4を選択し、第5のMPEG復号器21Eから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャI3、B2、B1を選択し、第6のMPEG復号器21Fから与えられるベースバンドストリームデータD2から0番目のGOP(1)のピクチャP15、B14、B13を選択する。
そしてデータ選別部8は、これら選択したベースバンドストリームデータD2について、2倍速リバース再生動作時の場合では、図17(A)のピクチャの詳細構成を示した図17(B)に示すように、例えば上段に表示するピクチャ(トップフィールドデータ)のピクチャ内ボトムフィールドであるピクチャP15のフィールドP15bと次に表示するピクチャ(トップフィールドデータ)のピクチャ内ボトムフィールドであるピクチャP13のフィールドP13bを選択し、図16(G)のように合成画像内トップフィールドに重心移動させ、当該合成画像内トップフィールド間のフィールド間隔が等間隔になるように、図17(B)の下段に表示されたピクチャ(ボトムフィールドデータ)のピクチャ内トップフィールドであるピクチャB14のフィールドB14bを選択し、図16(G)に示すように、当該ピクチャのフィールドB14bをそのまま合成画像内ボトムフィールドとして表示させるようにして合成画像を生成する。そしてこの後同様にしてこのような合成画像を順次生成して、この合成画像に対して必要に応じてエフェクト処理を施し、かくして得られた合成ベースバンドストリームデータD4を表示部11に送出する。
このようにしてこの再生装置20においては、合成ベースバンドストリームデータD4を生成し、この合成ベースバンドストリームデータD4に基づく2倍速リバース再生動画像を表示部11に表示させる。このとき、この再生装置20においては、0番目のGOP(0)のピクチャI3の復号化処理を開始してから、0番目のGOP(0)のピクチャP15を表示させるまでに、6フレーム期間分の時間のみが必要となることとなる。
(3−2−3)3倍速リバース再生動作時における再生装置20の具体的処理
3倍速リバース再生動作時、ストレージ部2は、図18(A)に示すように、指定されたAVコンテンツのMPEGストリームデータD1を例えばGOPを基本単位として3倍速で順次読み出し、これをメモリ制御部6に送出して、当該MPEGストリームデータD1をメモリ9に格納させる。
メモリ制御部6は、制御部5の制御のもとに、メモリ9に格納されるMPEGストリームデータD1に基づいて、逆方向の表示順(ディスプレイオーダ)への並び替えを考慮しながら、図5について上述した再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順次生成し、これらを最終的な再生画像出力タイミングに合わせてデータ分配部7に送出する。
データ分配部7は、制御部5の制御のもとに、これら再生遅延短縮ピクチャ群PDSのMPEGストリームデータを2倍速リバース再生動作時と同様に順次循環的に第1〜第6のMPEG復号器21A〜21Fに振り分ける。
このときデータ分配部7は、制御部5の制御のもとに、表示するピクチャを生成するのに時間を要する再生遅延短縮ピクチャ群PDSをその前の再生遅延短縮ピクチャ群PDSと入れ換えて振り分けし得るようになされている。
第1のMPEG復号器21Aは、図18(B)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を例えば0番目のGOP(0)のピクチャB7の符号化データがストレージ部2から読み出されたタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第1のMPEG復号器21Aは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第2のMPEG復号器21Bは、図18(C)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第1のMPEG復号器21Aが0番目のGOP(0)のピクチャP9についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第2のMPEG復号器21Bは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第3のMPEG復号器21Cは、図18(D)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第2のMPEG復号器21Bが0番目のGOP(0)のピクチャP9についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第3のMPEG復号器21Cは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第4のMPEG復号器21Dは、図18(E)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第3のMPEG復号器21Cが0番目のGOP(0)のピクチャP9についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第4のMPEG復号器21Dは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第5のMPEG復号器21Eは、図18(F)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第4のMPEG復号器21Dが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから3フレーム期間分先のタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第5のMPEG復号器21Eは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
第6のMPEG復号器21Fは、図18(G)に示すように、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第5のMPEG復号器21Eが−1番目のGOP(-1)のピクチャP9についての復号化処理を開始するタイミングで復号化処理を開始し、当該再生遅延短縮ピクチャ群PDS内の各ピクチャの符号化データ(MPEGストリームデータD1)を復号化処理する。また第6のMPEG復号器21Fは、これ以降に与えられる再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1についてもそれぞれ所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出する。
データ選別部8は、図18(G)に示すように、第1のMPEG復号器21Aが0番目のGOP(0)のピクチャI3についての復号化処理を開始するタイミングから6フレーム期間分後のタイミングで処理を開始する。すなわちデータ選別部8は、制御部5の制御のもとに、第1〜第6のMPEG復号器21A〜21Fから与えられるベースバンドストリームデータD2について、表示するピクチャを選択する。すなわち、第1のMPEG復号器21Aから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP15、B14を選択し、第2のMPEG復号器21Bから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP12、B11を選択し、第3のMPEG復号器21Cから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP9、B8を選択し、第4のMPEG復号器21Dから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP6、B5を選択し、第5のMPEG復号器21Eから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャI3、B2を選択し、第6のMPEG復号器21Fから与えられるベースバンドストリームデータD2から0番目のGOP(0)のピクチャP15、B14を選択する。
そしてデータ選別部8は、これら選択したベースバンドストリームデータD2について、3倍速リバース再生動作時の場合では、図19(A)のピクチャの詳細構成を示した図19(B)に示すように、例えば上段に表示するピクチャ(トップフィールドデータ)のピクチャ内ボトムフィールドであるピクチャP15のフィールドP15bと次に表示するピクチャ(トップフィールドデータ)のピクチャ内ボトムフィールドであるピクチャP12のフィールドP12bを選択し、図18(G)のように合成画像内トップフィールドに重心移動させ、当該ピクチャ内トップフィールド間のフィールド間隔が等間隔になるように、図19(B)の下段に表示されたピクチャ(ボトムフィールドデータ)のピクチャ内トップフィールドであるピクチャB14のフィールドB14tを選択し、図18(G)に示すように当該ピクチャB14のフィールドB14tを合成画像内ボトムフィールドに重心移動させて、合成画像内ボトムフィールドとして表示させるようにして合成画像を生成する。そしてこの後同様にしてこのような合成画像を順次生成して、この合成画像に対して必要に応じてエフェクト処理を施し、かくして得られた合成ベースバンドストリームデータD4を表示部11に送出する。
このようにしてこの再生装置20においては、合成ベースバンドストリームデータD4を生成し、この合成ベースバンドストリームデータD4に基づく3倍速リバース再生動画像を表示部11に表示させる。このとき、この再生装置20においては、0番目のGOP(0)のピクチャI3の復号化処理を開始してから、0番目のGOP(0)のピクチャP15を表示させるまでに、6フレーム期間分の時間のみが必要となることとなる。
(3−3)フィールド単位でのリバース再生動作処理手順
ここで、上述のようなフィールド単位でのリバース再生動作時における制御部5の制御処理は、当該制御部5内のROM5Aに格納された制御プログラムに基づき、図20及び図21に示すフィールド単位でのリバース再生動作処理手順RT2に従って行われる。
すなわち制御部5は、操作部3が操作されて再生すべきAVコンテンツ及びその再生速度が指定され、リバース再生動作が選択されると、このフィールド単位でのリバース再生動作処理手順RT2をステップSP16において開始し、続くステップSP17において、第1の実施の形態によるリバース再生動作処理手順RT1のステップSP1と同様の処理を施す。
続いて制御部5は、ステップSP18に進んで、ユーザにより指定された再生速度に応じて、合成画像内トップフィールド及び合成画像内ボトムフィールドとして表示すべきピクチャと、その組み合わせを算出して決定する。従って、例えば2倍速リバース再生が指定された場合には、図17(A)の上段に示すように、各GOPのピクチャP15、B13、B11、P9、B7、B5、I3、B1がそれぞれ合成画像内トップフィールドとして決定されると共に、図8の下段に示すように、各GOPのピクチャB14、B12、B10、B8、B6、B4、B2がそれぞれ合成画像内ボトムフィールドとして決定され、これらを図16(H)のように合成するようにして合成画像を生成することが決定される。
続いて制御部5は、ステップSP19に進んで、逆方向の表示順(ディスプレイオーダ)への並び替えを考慮しながら、ステップSP18において合成画像内トップフィールド又は合成画像内ボトムフィールドとして表示することを決定したIピクチャ又はPピクチャと、それらを復号化処理する際に復号化処理が必要となるピクチャと、表示するIピクチャ又はPピクチャから参照されるBピクチャの組み合わせに応じて各再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を算出する。
例えば、2倍速リバース再生が指定された場合には、図16(B)に示すように、表示することを決定したPピクチャである0番目のGOP(0)のピクチャP15と、そのときのボトムフィールドとして表示されるGOP(0)のピクチャB14と、これら0番目のGOP(0)のピクチャP15、P14を復号化するために必要な0番目のGOP(0)のピクチャI3、P6、P9、P12が算出される。
続いて制御部5は、ステップSP19に進んで、ステップSP19〜ステップSP26において、上述の第1の実施の形態によるリバース再生動作処理手順RT1のステップSP4〜ステップSP10と同様の処理を施す。
続いて制御部5は、ステップSP27に進んで、MPEG復号部21を制御して、所定のタイミングでベースバンドストリームデータD2の各ピクチャをデータ選別部8に送出し、その後データ選別部8を制御して、表示部11への表示順(ディスプレイオーダ)に従い、当該ベースバンドストリームデータD2から表示するピクチャを選択し、これら選択した表示するピクチャを合成するようにして合成画像を生成する。
例えば図16(B)のような場合、第1のMPEG復号器21Aから供給される再生遅延短縮ピクチャ群PDSのベースバンドストリームデータD2から表示するピクチャである0番目のGOP(0)のピクチャP15及びピクチャB14を選択する。そしてピクチャP15を合成画像内トップフィールドとして選択し、ピクチャB14を合成画像内ボトムフィールドとして合成するようにして合成画像を生成する。また、その後もこれと同様にして、再生遅延短縮ピクチャ群PDSのベースバンドストリームデータD2から表示するピクチャを順次選択して合成するようにして合成画像を生成する。この結果、表示するピクチャを逆方向の表示順(ディスプレイオーダ)に並べ替えることができるようになされている。
続いて制御部5は、ステップSP28に進んで、ステップSP28〜ステップSP30において、上述の第1の実施の形態によるリバース再生動作処理手順RT1のステップSP12〜ステップSP15と同様の処理を施す。そして制御部5は、やがてユーザが停止操作を行うことによりステップSP30において肯定結果を得ると、ステップSP31に進んでこのフィールド単位でのリバース再生動作処理手順RT2を終了する。
このようにして制御部5は、ストレージ部2、メモリ制御部6、データ分配部7、データ選別部8及びMPEG復号部21を制御して、指定されたAVコンテンツを指定された速度で、かつフィールド単位でリバース再生してなるリバース再生動画像を表示部11に表示させ得るようになされている。
(3−4)第2の実施の形態による動作及び効果
以上の構成において、この再生装置20では、再生速度に応じて合成画像内トップフィールドと合成画像内ボトムフィールドとのフィールド間隔が等間隔又はほぼ等間隔になるようにピクチャを選択して合成画像を生成する。
従って、表示すべきピクチャのフィールド間の間隔を調整するようにしたことにより、より滑らかにリバース再生動画像を表示することができる。
またこの再生装置20では、表示するピクチャを復号化するのに時間を要する再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を順番にかかわらず第1〜第6のMPEG復号器21A〜21Fに振り分けることにより、MPEGストリームデータD1の復号化処理の効率をより向上させることができる。
以上の構成によれば、再生速度に応じて合成画像内トップフィールドと合成画像内ボトムフィールドとのフィールド間隔が等間隔又はほぼ等間隔になるようにピクチャを選択して合成画像を生成し、表示すべきピクチャのフィールド間の間隔を調整するようにしたことにより、より滑らかにリバース再生動画像を表示し得、かくしてMPEGストリームデータのリバース再生動作時の応答性を向上し、かつより滑らかにリバース再生動画像を表示し得る再生装置が実現できる。
(4)他の実施の形態
なお上述の実施の形態においては、データ分配部7において再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を例えば図7のように5個の第1〜第5のMPEG復号器10A〜10Eに振り分けた場合について述べたが、本発明はこれに限らず、例えば図22に示すように、再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を3個の第1〜第3のMPEG復号器10A〜10Cに振り分けることにより、より少ないMPEG復号器によって復号化処理を行うことができ、要は復号化処理が間に合うならばいずれの数のMPEG復号器を適用することができる。
また上述の実施の形態においては、データ分配部7において再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を例えば図7のように5個の第1〜第5のMPEG復号器10A〜10Eに振り分けた場合について述べたが、本発明はこれに限らず、第1〜第5のMPEG復号器10A〜10Eに内蔵された図示しないメモリに必要フレーム数分復号化されたピクチャを格納することにより、例えば図23(B)に示すように、再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1をピクチャI3、P6、P9、P12、B11、B10、P15、B14、B13の符号化データのように構成するようにしても良く、要は、表示することを決定したIピクチャ又はPピクチャと、それらを復号化処理する際に復号化処理が必要となるピクチャと、表示するIピクチャ又はPピクチャから参照されるBピクチャの組み合わせをこの他種々の組み合わせにすることにより、復号化するMPEG復号器の数に応じてピクチャの復号化処理を開始してから最初に表示するピクチャまでのフレーム期間を任意に選ぶことができる。
さらに上述の実施の形態においては、トップフィールドデータのピクチャ内ボトムフィールドを重心移動させ、合成画像内トップフィールドとして選択した場合について述べたが、本発明はこれに限らず、図24(H)に示すように、トップフィールドデータのピクチャ内トップフィールドを、合成画像内トップフィールドとして選択した場合にも、上述と同様に合成画像内ボトムフィールドを当該合成画像内トップフィールド間のフィールド間隔が等間隔又はほぼ等間隔になるように選択することによって、表示すべきフレーム画像のフィールド間の間隔を調整することができる。
さらに上述の実施の形態においては、データ分配部7において再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を図9のように5個の第1〜第5のMPEG復号器10A〜10Eに振り分けた場合について述べたが、本発明はこれに限らず、第1〜第5のMPEG復号器10A〜10Eに内蔵された図示しないメモリに必要フレーム数分復号化されたピクチャを格納することにより、図25に示すように、再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を第1〜第5のMPEG復号器10A〜10Eに振り分けることができ、また図9に示すような3倍速リバース再生動作時で、かつ上述のように0番目のGOP(0)のピクチャP15からリバース再生する場合、これらを例えば第1のMPEG復号器10Aのみにより復号化処理することもできる。
さらに上述の実施の形態においては、Iピクチャ(I)、Pピクチャ(P)及びBピクチャ(B)をすべて同じ復号化処理時間がかかるとして復号化処理を行った場合について述べたが、本発明はこれに限らず、実際上Iピクチャ(I)又はPピクチャ(P)を復号化処理する場合には、Bピクチャ(B)ほど復号化処理に時間がかからないことから、上述のように1フレーム期間ごとにすべて同じタイミングで同期させる必要がなく、それぞれのタイミングで復号化処理を行うことにより、さらに復号化処理の効率を向上させることができる。
さらに上述の実施の形態においては、復号化処理する際に復号化処理が必要となるピクチャI3をデータ選別部8において選択しない場合について述べたが、本発明はこれに限らず、当該ピクチャI3が表示するピクチャである場合には、復号化処理する際に復号化処理が必要となるピクチャI3のいずれかをデータ選別部8において選択することにより、表示するピクチャであるときのピクチャI3の復号化の時間を短縮することができる。
さらに上述の実施の形態においては、GOPのピクチャ構造におけるMPEGストリームデータを、Nを15、Mを3とした場合について述べたが、本発明はこれに限らず、この他種々のGOPのピクチャ構造におけるMPEGストリームデータについても広く適用することができる。
さらに上述の実施の形態においては、指定された倍速で読み込まれたMPEGストリームデータに対して、最初の再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を、対応する第1のMPEG復号器10Aにおいて所定のタイミングで復号化を開始した場合について述べたが、本発明にはこれに限らず、再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1の復号化を開始するタイミングは、対応するMPEGストリームデータD1がすでにメモリ9に格納されているならばどのタイミングで復号化を開始するようにしても良い。
さらに上述の実施の形態においては、MPEG復号部10が5個の第1〜第5のMPEG復号器10A〜10Eから構成されている場合について述べたが、本発明はこれに限らず、例えばMPEGストリームデータを復号化する回路であっても良く、要は所定数のMPEGストリームデータを復号化する機構であれば良い。
さらに上述の実施の形態においては、データ分配部7において、第1のMPEG復号器10Aから順次再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を振分けた場合について述べたが、本発明はこれに限らず、第1のMPEG復号器10A以外の第2〜第5のMPEG復号器10Eから順次再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1の振分けを開始するようにしても良い。
さらに上述の実施の形態においては、データ分配部7において、第1のMPEG復号器10Aから順番に順次再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を振分けた場合について述べたが、本発明はこれに限らず、例えば順番に関わらず復号化の終了した第1〜第5のMPEG復号器10A〜10Eに順次再生遅延短縮ピクチャ群のMPEGストリームデータD1を振分けるようにしても良く、この他種々の順番で再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を振分ける場合についても広く適用することができる。
さらに上述の実施の形態においては、データ分配部7から供給される再生遅延短縮ピクチャ群PDSのMPEGストリームデータD1を所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を順次データ選別部8に送出した場合について述べたが、本発明はこれに限らず、所定のタイミングで順次復号化処理し、この結果として得られたベースバンドストリームデータD2を第1〜第5のMPEG復号器10A〜10Eに内蔵されたメモリに順次格納すると共に、データ選別部8において所定のタイミングで第1〜第5のMPEG復号器10A〜10EからベースバンドストリームデータD2を読み出して、ベースバンドストリームデータD2から表示するピクチャを選択するようにしても良く、また第1〜第5のMPEG復号器10A〜10EにおいてベースバンドストリームデータD2から表示するピクチャのみを選択してデータ選別部8に送出するようにしても良く、この他種々の選択方法を適用することができる。
さらに上述の実施の形態においては、1倍速〜3倍速及び5倍速リバース再生動作時における再生装置の具体的処理について述べたが、本発明はこれに限らず、例えば4倍速リバース再生動作時における再生装置の具体的処理等、2倍速以上の任意の倍速リバース再生動作時における再生装置の具体的処理について広く適用することができる。
さらに上述の実施の形態においては、表示開始ピクチャはすべて0番目のGOP(0)のピクチャP15から開始した場合について述べたが、本発明はこれに限らず、例えば5番目のGOP(5)のピクチャI3や(n+2)番目のGOP(n+2)のピクチャB7から開始する場合等この他種々のGOPのピクチャから開始する場合についても広く適用することができる。
さらに上述の実施の形態においては、ストレージ部2をハードディスク装置等から構成した場合について述べたが、本発明はこれに限らず、例えば、光ディスク、光磁気ディスク、半導体メモリ、磁気ディスク等の種々の記録媒体に適用することができる。
さらに上述の実施の形態においては、ストレージ部2又は表示部11の接続形態を接続ケーブル等を介して接続し、再生装置として一体化されている場合について述べたが、本発明はこれに限らず、例えば外部から有線または無線で接続されるようにしても良く、この他種々の接続形態で接続するようにしてもよい。
さらに上述の実施の形態においては、一連の処理をそれぞれの機能を有するハードウェアにより実行させた場合について述べたが、本発明はこれに限らず、ソフトウェアにより実行させるようにしても良い。このとき、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータに対して、各種プログラムをインストールすることで各種の機能を実行することが可能となり、例えば汎用のパーソナルコンピュータなどに例えば記録媒体からインストールされる。そしてこの記録媒体は、例えば、光ディスク、光磁気ディスク、半導体メモリ、磁気ディスク等の種々の記録媒体を含むことは言うまでもない。また例えば汎用のパーソナルコンピュータなどに例えばインターネット等のネットワークを介してダウンロードすることによって、各種プログラムをインストールするようにしても良い。
さらに上述の実施の形態においては、復号化コントロール部4及びMPEG復号部10、21は同一の拡張カード(例えば、PCI(Peripheral Component Interconnect)カード、PCI−EXPRESSカード)に搭載する形態に限らず、例えばPCI−EXPRESSなどの技術によりカード間の転送速度が高い場合には、それぞれ別の拡張カードに搭載しても良い。さらに、制御部5の一部又は全部の機能(例えば、圧縮ストリームデータの読出し指示)は、システム全体を制御するCPU(例えば、パーソナルコンピュータの主CPU)に行わせることも可能である。
本発明は、MPEG方式による復号化装置の他、これに類似する符号化又は復号化のアルゴリズムを有する方式の復号化装置に適用することができる。
GOPのピクチャ構成例を示す略線図である。 MPEGストリームデータの構成例を示す略線図である。 従来の1倍速リバース再生時における処理を示す略線図である。 従来の1倍速リバース再生時における処理を示す略線図である。 再生遅延短縮ピクチャ群の構成例を示す略線図である。 第1の実施の形態による再生装置の構成を示すブロック図である。 1倍速リバース再生動作時における再生装置の具体的処理を示すタイミングチャートである。 2倍速リバース再生動作時における再生装置の具体的処理を示すタイミングチャートである。 3倍速リバース再生動作時における再生装置の具体的処理を示すタイミングチャートである。 5倍速リバース再生動作時における再生装置の具体的処理を示すタイミングチャートである。 リバース再生動作処理手順を示すフローチャートである。 リバース再生動作処理手順を示すフローチャートである。 第2の実施の形態による再生装置の構成を示すブロック図である。 1倍速リバース再生動作時における再生装置の具体的処理を示すタイミングチャートである。 1倍速再生動作時における再生装置の合成処理の説明に供する略線図である。 2倍速リバース再生動作時における再生装置の具体的処理を示すタイミングチャートである。 2倍速再生動作時における再生装置の合成処理の説明に供する略線図である。 3倍速リバース再生動作時における再生装置の具体的処理を示すタイミングチャートである。 3倍速再生動作時における再生装置の合成処理の説明に供する略線図である。 フィールド単位でのリバース再生動作処理手順を示すフローチャートである。 フィールド単位でのリバース再生動作処理手順を示すフローチャートである。 他実施の形態による1倍速リバース再生動作時における再生装置の具体的処理を示すタイミングチャートである。 他実施の形態による1倍速リバース再生動作時における再生装置の具体的処理を示すタイミングチャートである。 他実施の形態による2倍速リバース再生動作時における再生装置の具体的処理を示すタイミングチャートである。 他実施の形態による3倍速リバース再生動作時における再生装置の具体的処理を示すタイミングチャートである。 従来の1倍速リバース再生時における処理を示す略線図である。
符号の説明
1、20……再生装置、2……ストレージ部、3……操作部、4……復号化コントロール部、5……制御部、6……メモリ制御部、7……データ分配部、8……データ選別部、9……メモリ、10、21……MPEG復号部、10A〜10E、21A〜21F……MPEG復号器、PDS……再生遅延短縮ピクチャ群。

Claims (21)

  1. リバース再生する際に、符号化された符号化動画像データを復号化する復号化装置において、
    上記符号化動画像データをリバース再生の再生速度に応じて読み出すように上記符号化動画像データが記憶された記憶装置を制御する読出制御部と、
    上記読出制御部によって読み出された上記符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、上記リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成部と、
    上記読出制御部によって読み出された上記符号化動画像データを、上記再生遅延短縮ピクチャ群生成部によって生成された上記複数の再生遅延短縮ピクチャ群を単位として、上記符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、
    上記振分部によって振り分けられた上記複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して上記復号対象ピクチャを復号化する複数の復号化部と
    を具えることを特徴とする復号化装置。
  2. 上記再生遅延短縮ピクチャ群生成部は、
    上記復号対象ピクチャを、各再生遅延短縮ピクチャ群内で上記符号化動画像データの符号化順とは逆方向になるように並べ替え、
    上記振分部は、
    上記復号対象ピクチャが、上記符号化動画像データの符号化順とは逆方向になる順番で上記復号化部によって復号化されるように、上記再生遅延短縮ピクチャ群を上記複数の復号化部に振り分ける
    ことを特徴とする請求項1に記載の復号化装置。
  3. 上記再生遅延短縮ピクチャ群生成部は、
    上記復号化の対象となる上記ピクチャ画像データが所定の復号化速度で復号化されるように、上記復号化の対象となる上記ピクチャ画像データを選定する
    ことを特徴とする請求項1に記載の復号化装置。
  4. 上記振分部は、
    上記再生遅延短縮ピクチャ群を上記複数の復号化部に循環的に振り分ける
    ことを特徴とする請求項1に記載の復号化装置。
  5. 上記再生遅延短縮ピクチャ群生成部は、
    上記符号化動画像データから、等間隔若しくはほぼ等間隔となるように上記復号化対象ピクチャを選択する
    ことを特徴とする請求項1に記載の復号化装置。
  6. 上記再生遅延短縮ピクチャ群生成部は、
    各再生遅延短縮ピクチャ群に上記復号対象ピクチャが均一又はほぼ均一な数だけ含まれるように上記再生遅延短縮ピクチャ群を生成する
    ことを特徴とする請求項1に記載の復号化装置。
  7. 上記符号化動画像データは、
    単独で復号化が可能な第1のピクチャと、予測によって得られる第2のピクチャとでなる
    ことを特徴とする請求項1に記載の復号化装置。
  8. 上記符号化動画像データは、
    MPEG(Moving Picture Experts Group)規格に準じて符号化されたデータであり、
    上記第1のピクチャは、
    Iピクチャであり、
    上記第2のピクチャは、
    PピクチャとBピクチャとでなる
    ことを特徴とする請求項1に記載の復号化装置。
  9. 上記振分部は、
    上記読出制御部による読出しのタイミングが最も遅い上記復号化の対象となる上記Bピクチャを復号化するのに必要となる上記参照ピクチャが読み出されるタイミングに基づいて、上記再生遅延短縮ピクチャ群を上記復号化部に振り分けるタイミングを決定する
    ことを特徴とする請求項8に記載の復号化装置。
  10. 上記振分部は、
    上記読出制御部による読出しのタイミングが最も遅い上記復号化の対象となる上記Bピクチャを復号化するのに必要となる上記参照ピクチャに対して、上記読出制御部による読出しの終了時点で上記復号化部による復号化が開始されるように、上記再生遅延短縮ピクチャ群を振り分ける
    ことを特徴とする請求項8に記載の復号化装置。
  11. 上記読出制御部は、
    上記符号化動画像データをリバース再生の再生速度に応じた読出速度で符号化処理単位ごとに読み出すように上記符号化データが記憶された記憶装置を制御する
    ことを特徴とする請求項1に記載の復号化装置。
  12. 上記符号化動画像データは、
    MPEG(Moving Picture Experts Group)規格に準じて符号化されたデータであり、
    上記符号化処理単位は、
    GOP(Group Of Picture)である
    ことを特徴とする請求項11に記載の復号化装置。
  13. リバース再生する際に、符号化された符号化動画像データを復号化する復号化方法において、
    上記符号化動画像データをリバース再生の再生速度に応じて読み出すように上記符号化動画像データが記憶された記憶装置を制御する読出制御ステップと、
    上記読出制御ステップにおいて読み出された上記符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、上記リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成ステップと、
    上記読出制御ステップにおいて読み出された上記符号化動画像データを、上記再生遅延短縮ピクチャ群生成ステップにおいて生成された上記複数の再生遅延短縮ピクチャ群を単位として、上記符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、
    上記振分ステップにおいて振り分けられた上記複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して上記復号対象ピクチャを復号化する複数の復号化ステップと
    を具えることを特徴とする復号化方法。
  14. 符号化動画像データをリバース再生する際に、
    コンピュータに対して、
    上記符号化動画像データをリバース再生の再生速度に応じて読み出すように上記符号化動画像データが記憶された記憶装置を制御する読出制御ステップと、
    上記読出制御ステップにおいて読み出された上記符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、上記リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成ステップと、
    上記読出制御ステップにおいて読み出された上記符号化動画像データを、上記再生遅延短縮ピクチャ群生成ステップにおいて生成された上記複数の再生遅延短縮ピクチャ群を単位として、上記符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、
    上記振分ステップにおいて振り分けられた上記複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して上記復号対象ピクチャを復号化する複数の復号化ステップと
    を実行させることを特徴とする復号化プログラム。
  15. 符号化動画像データをリバース再生する際に、
    コンピュータに対して、
    上記符号化動画像データをリバース再生の再生速度に応じて読み出すように上記符号化動画像データが記憶された記憶装置を制御する読出制御ステップと、
    上記読出制御ステップにおいて読み出された上記符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、上記リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成ステップと、
    上記読出制御ステップにおいて読み出された上記符号化動画像データを、上記再生遅延短縮ピクチャ群生成ステップにおいて生成された上記複数の再生遅延短縮ピクチャ群を単位として、上記符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、
    上記振分ステップにおいて振り分けられた上記複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して上記復号対象ピクチャを復号化する複数の復号化ステップと
    を実行させる復号化プログラムが記録されたことを特徴とする記録媒体。
  16. 符号化された符号化動画像データをリバース再生するリバース再生装置において、
    上記符号化動画像データをリバース再生の再生速度に応じて読み出すように上記符号化動画像データが記憶された記憶装置を制御する読出制御部と、
    上記読出制御部によって読み出された上記符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、上記リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成部と、
    上記読出制御部によって読み出された上記符号化動画像データを、上記再生遅延短縮ピクチャ群生成部によって生成された上記複数の再生遅延短縮ピクチャ群を単位として、上記符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、
    上記振分部によって振り分けられた上記複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して上記復号対象ピクチャを復号化する複数の復号化部と、
    復号化された復号対象ピクチャに基づいて、リバース再生する際の再生画像データを生成する再生画像データ生成部と
    を具えることを特徴とするリバース再生装置。
  17. 上記再生遅延短縮ピクチャ群生成部は、
    上記復号対象ピクチャが、各再生遅延短縮ピクチャ群内で上記符号化動画像データの符号化順とは逆方向になるように並べ替え、
    上記振分部は、
    上記復号対象ピクチャが、上記符号化動画像データとは逆方向になる順番で、かつ上記再生画像データ生成部によって使用される直前に上記復号化部によって復号化されるように、上記再生遅延短縮ピクチャ群を上記複数の復号化部に振り分ける
    ことを特徴とする請求項16に記載のリバース再生装置。
  18. 上記ピクチャは、
    2つのフィールドピクチャで構成され、
    上記再生遅延短縮ピクチャ群生成部は、
    上記フィールドピクチャから、等間隔若しくはほぼ等間隔となるように上記復号対象ピクチャを選択し、
    上記再生画像データ生成部は、
    上記ピクチャを構成する2つのフィールドピクチャのうち、一方のフィールドピクチャとは異なる他方のフィールドピクチャを取得した場合には、当該他方のフィールドピクチャの重心を移動させることにより、上記一方のフィールドピクチャとして使用する
    ことを特徴とする請求項16に記載のリバース再生装置。
  19. 符号化された符号化動画像データをリバース再生するリバース再生方法において、
    上記符号化動画像データをリバース再生の再生速度に応じて読み出すように上記符号化動画像データが記憶された記憶装置を制御する読出制御ステップと、
    上記読出制御ステップにおいて読み出された上記符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、上記リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成ステップと、
    上記読出制御ステップにおいて読み出された上記符号化動画像データを、上記再生遅延短縮ピクチャ群生成ステップにおいて生成された上記複数の再生遅延短縮ピクチャ群を単位として、上記符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、
    上記振分ステップにおいて振り分けられた上記複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して上記復号対象ピクチャを復号化する複数の復号化ステップと、
    復号化された復号対象ピクチャに基づいて、リバース再生する際の再生画像データを生成する再生画像データ生成ステップと
    を具えることを特徴とするリバース再生方法。
  20. 符号化された符号化動画像データをリバース再生する際に、
    コンピュータに対して、
    上記符号化動画像データをリバース再生の再生速度に応じて読み出すように上記符号化動画像データが記憶された記憶装置を制御する読出制御ステップと、
    上記読出制御ステップにおいて読み出された上記符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、上記リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成ステップと、
    上記読出制御ステップにおいて読み出された上記符号化動画像データを、上記再生遅延短縮ピクチャ群生成ステップにおいて生成された上記複数の再生遅延短縮ピクチャ群を単位として、上記符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、
    上記振分ステップにおいて振り分けられた上記複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して上記復号対象ピクチャを復号化する複数の復号化ステップと、
    復号化された復号対象ピクチャに基づいて、リバース再生する際の再生画像データを生成する再生画像データ生成ステップと
    を実行させることを特徴とするリバース再生プログラム。
  21. 符号化された符号化動画像データをリバース再生する際に、
    コンピュータに対して、
    上記符号化動画像データをリバース再生の再生速度に応じて読み出すように上記符号化動画像データが記憶された記憶装置を制御する読出制御ステップと、
    上記読出制御ステップにおいて読み出された上記符号化動画像データを構成するピクチャのうち、復号化の対象となる復号対象ピクチャと当該復号対象ピクチャを復号化するのに必要な参照ピクチャとでなる複数の再生遅延短縮ピクチャ群を、上記リバース再生の再生順を考慮しながら並べ替えて生成する再生遅延短縮ピクチャ群生成ステップと、
    上記読出制御ステップにおいて読み出された上記符号化動画像データを、上記再生遅延短縮ピクチャ群生成ステップにおいて生成された上記複数の再生遅延短縮ピクチャ群を単位として、上記符号化動画像データを復号化する複数の復号化部にそれぞれ振り分ける振分部と、
    上記振分ステップにおいて振り分けられた上記複数の再生遅延短縮ピクチャ群に含まれる参照ピクチャを利用して上記復号対象ピクチャを復号化する複数の復号化ステップと、
    復号化された復号対象ピクチャに基づいて、リバース再生する際の再生画像データを生成する再生画像データ生成ステップと
    を実行させることを特徴とするリバース再生プログラムが記録された記録媒体。
JP2004238753A 2004-08-18 2004-08-18 復号化装置、復号化方法、復号化プログラム及び復号化プログラムが記録された記録媒体、並びにリバース再生装置、リバース再生方法、リバース再生プログラム及びリバース再生プログラムが記録された記録媒体 Expired - Fee Related JP3919115B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004238753A JP3919115B2 (ja) 2004-08-18 2004-08-18 復号化装置、復号化方法、復号化プログラム及び復号化プログラムが記録された記録媒体、並びにリバース再生装置、リバース再生方法、リバース再生プログラム及びリバース再生プログラムが記録された記録媒体
US11/204,565 US8041194B2 (en) 2004-08-18 2005-08-16 Decode control apparatus, decode control method, computer program, and recording medium
EP20050255051 EP1635566A3 (en) 2004-08-18 2005-08-16 Decode control apparatus, decode control method, computer program, and recording medium
KR20050075351A KR20060050530A (ko) 2004-08-18 2005-08-17 복호화 장치 및 복호화 방법, 프로그램, 기록 매체, 복호화제어 장치 및 복호화 제어 방법
CNB2005101160085A CN100566423C (zh) 2004-08-18 2005-08-18 解码设备和解码方法以及反向回放设备和反向回放方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004238753A JP3919115B2 (ja) 2004-08-18 2004-08-18 復号化装置、復号化方法、復号化プログラム及び復号化プログラムが記録された記録媒体、並びにリバース再生装置、リバース再生方法、リバース再生プログラム及びリバース再生プログラムが記録された記録媒体

Publications (2)

Publication Number Publication Date
JP2006060415A JP2006060415A (ja) 2006-03-02
JP3919115B2 true JP3919115B2 (ja) 2007-05-23

Family

ID=35501304

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004238753A Expired - Fee Related JP3919115B2 (ja) 2004-08-18 2004-08-18 復号化装置、復号化方法、復号化プログラム及び復号化プログラムが記録された記録媒体、並びにリバース再生装置、リバース再生方法、リバース再生プログラム及びリバース再生プログラムが記録された記録媒体

Country Status (5)

Country Link
US (1) US8041194B2 (ja)
EP (1) EP1635566A3 (ja)
JP (1) JP3919115B2 (ja)
KR (1) KR20060050530A (ja)
CN (1) CN100566423C (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916750B2 (en) * 2005-12-28 2011-03-29 Intel Corporation Transaction layer packet compression
JP4720543B2 (ja) * 2006-03-01 2011-07-13 ソニー株式会社 データ処理装置、データ処理方法およびデータ処理プログラム、記録媒体、ならびに、再生装置、再生方法および再生プログラム
JP4297121B2 (ja) * 2006-03-01 2009-07-15 ソニー株式会社 再生装置および再生方法
JP2007312002A (ja) * 2006-05-17 2007-11-29 Toshiba Corp Mpegビデオ再生装置、およびmpegビデオ再生方法
CN101536519B (zh) * 2006-11-07 2012-04-04 索尼株式会社 电子设备、内容再现方法以及内容解码方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3290512B2 (ja) * 1992-08-24 2002-06-10 三菱電機株式会社 磁気記録再生装置
JP3491365B2 (ja) * 1995-01-31 2004-01-26 ソニー株式会社 符号化データ復号方法および復号装置
US6480664B1 (en) * 1995-06-07 2002-11-12 Hou-Chun Ting Trick mode VTR which generates trick play data from a stream of images containing intra-pictures and predictive pictures and selects specific DCT coefficients for intra-pictures
DE19543017A1 (de) * 1995-11-18 1997-05-22 Thomson Brandt Gmbh Verfahren zur Erzeugung von Bildsequenzen für einen schnellen Suchvorgang bei einem Filmabspielgerät und Vorrichtung zur Durchführung des Verfahrens
JPH10322661A (ja) 1997-03-19 1998-12-04 Sony Corp 画像復号装置及び画像復号方法
US20030113096A1 (en) * 1997-07-07 2003-06-19 Kabushiki Kaisha Toshiba Multi-screen display system for automatically changing a plurality of simultaneously displayed images
US6571052B1 (en) * 1997-07-11 2003-05-27 Mitsubishi Denki Kabushiki Kaisha Moving picture playback apparatus
JP2000175151A (ja) 1998-12-03 2000-06-23 Sony Corp Mpeg再生装置及びmpeg再生方法
EP1156674A1 (en) 2000-05-19 2001-11-21 THOMSON multimedia Method and device for decoding a video data stream in special reproduction modes
US7292772B2 (en) 2000-05-29 2007-11-06 Sony Corporation Method and apparatus for decoding and recording medium for a coded video stream
JP4906197B2 (ja) 2000-05-29 2012-03-28 ソニー株式会社 復号装置および方法、並びに記録媒体
US7274857B2 (en) 2001-12-31 2007-09-25 Scientific-Atlanta, Inc. Trick modes for compressed video streams
JP2003244643A (ja) 2002-02-18 2003-08-29 Hitachi Ltd 情報再生装置、情報再生方法
JP2004238753A (ja) 2003-02-05 2004-08-26 Teijin Ltd 織物用高機能繊維
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding

Also Published As

Publication number Publication date
US20060039677A1 (en) 2006-02-23
US8041194B2 (en) 2011-10-18
KR20060050530A (ko) 2006-05-19
EP1635566A3 (en) 2006-05-03
CN1750661A (zh) 2006-03-22
CN100566423C (zh) 2009-12-02
JP2006060415A (ja) 2006-03-02
EP1635566A2 (en) 2006-03-15

Similar Documents

Publication Publication Date Title
JP4281721B2 (ja) データ処理装置、データ処理方法、プログラムおよび記録媒体
CN100508585C (zh) 用于控制数字视频比特流逆向播放的装置和方法
JP2005514817A5 (ja)
JP2007036495A (ja) 再生装置、圧縮装置、記録装置及び再生方法
KR20060050530A (ko) 복호화 장치 및 복호화 방법, 프로그램, 기록 매체, 복호화제어 장치 및 복호화 제어 방법
CN1293754C (zh) 改变以改进影片格式记录的视频图像的重放速度的方法和***
JP4244974B2 (ja) データ処理システム、再生装置、データ処理装置、再生方法、データ処理方法、プログラムおよび記録媒体
JPH0983867A (ja) 編集システムおよび映像信号送出システム
KR100556506B1 (ko) 트릭 플레이 특징들을 갖는 디지털 비디오 플레이백
US8280220B2 (en) Reproduction apparatus, data processing system, reproduction method, program, and storage medium
JPH09186966A (ja) ビデオ再生方法及び再生システム
JP2004112769A (ja) 復号制御装置、および復号制御方法、情報処理装置、および情報処理方法、並びにプログラム
US7433288B2 (en) Recording device and method, recording medium and program
KR20040055786A (ko) 비디오 데이터 신호를 재생하는 장치, 기록매체와 방법
JP4492487B2 (ja) データ処理装置、データ処理システム、プログラムおよび記録媒体
JP2553813B2 (ja) 映像信号符号化装置および映像信号復号化再生装置
JPH07264542A (ja) 動画像復号化装置
JP2005341168A (ja) 復号化装置及び方法
JPH11252507A (ja) 映像信号再生装置及びその方法並びに映像信号記録再生装置及びその方法
JP2001103424A (ja) 符号化ビットストリーム記録及び/又は再生装置、並びに記録媒体
JP4281722B2 (ja) 再生装置、再生方法、プログラムおよび記録媒体
JP3906610B2 (ja) データ再生装置及びデータ再生方法
JP4120056B2 (ja) 再生装置及び再生方法
JPH07222096A (ja) 信号蓄積供給方法及び装置
JP2003244643A (ja) 情報再生装置、情報再生方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100223

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110223

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120223

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130223

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees