JP4591549B2 - 再生処理装置、および再生処理方法、並びにプログラム - Google Patents

Description

本発明は、再生処理装置、および再生処理方法、並びにプログラムに関する。さらに詳細には、デコード処理を伴う再生処理を実行する再生処理装置、および再生処理方法、並びにプログラムに関する。

例えば画像データを記録媒体に記録する際、あるいはネットワークなどを介して送信する際には、データ容量を削減するための圧縮が行われる。データ再生に際しては、圧縮データをデコード（伸張または復号とも呼ばれる）して再生することになる。

例えば、フレーム間符号化をベースとする一連のＭＰＥＧ規格（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ：ＩＳＯ／ＩＥＣ１１１７２−２，ＩＳＯ／ＩＥＣ１３８１８−２、ＩＳＯ／ＩＥＣ１４４９６−２）は圧縮率と画質におけるコストパフォーマンスが高く、デジタルＴＶ放送，ＤＶＤ−Ｖｉｄｅｏ，Ｂｌｕ−Ｒａｙなど、多くのアプリケーションで採用されている。

ＭＰＥＧに基づく映像符号化処理においては、
フレーム内符号化フレーム（以下、Ｉピクチャと称す）、
フレーム間符号化フレーム（以下、Ｐピクチャと称す）、
フレーム内挿符号化フレーム（以下、Ｂピクチャと称す）
の３種類の圧縮データが生成される。多くの場合Ｉピクチャから始まるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）の列として、順にビットストリーム（以下、ストリームと称す）として出力される。

Ｉ（Ｉｎｔｒａ ｃｏｄｅｄ）ピクチャは、当該フレームのデータのみを用いてデコードが可能なフレームである。
Ｐ（Ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｅｄ）ピクチャは、当該フレーム以前にデコードされたＩピクチャまたはＰピクチャのデータと当該フレームのデータとを用いてデコードが可能なフレームである。
Ｂ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｅ）ピクチャは、時間的に前後する２枚のＩピクチャまたはＰピクチャのデータと当該フレームのデータを用いてデコードが可能なフレームである。

Ｂピクチャは、デコードに際して表示順で後方に位置するフレームを参照してデコードされる。そのため、Ｂピクチャを符号化する場合には、順を入れ替えて符号化する。符号化されるデータは、多くの場合Ｉピクチャから始まるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）の列として、順にビットストリーム（以下、ストリームと称す）として出力される。

ＩピクチャとＰピクチャとは、デコードに際して表示順で後方に位置するフレ−ムを参照することなくデコードされる。そのため、ＩピクチャとＰピクチャとを符号化する場合には、順を入れ替えることなく、表示順のまま符号化される。ＭＰＥＧストリームをデコードする際には、ストリームから符号化順でフレームを読み込んだ後、符号化順にデコードされる。映像の出力は表示順に行われる。

しかし、再生速度に対してデコード処理速度が十分でなければ（全てのピクチャをデコードした場合に処理が間に合わない）は、必要なピクチャだけをデコードする必要がある。

従来の再生処理装置における一般的なデコード処理例について図１に示すフローチャートを参照して説明する。多くの装置では実時間における１フレーム期間（ＮＴＳＣの場合１／２９．９７秒）に、圧縮された画像の伸張が完了できるようデコーダの処理能力が設計されている。このようなシステムでは、計画的にデコードを行わなければならない。

まず、ステップＳ１１において、ＭＰＥＧ圧縮データからデコード処理対象のピクチャを抽出する。これは、前述のＩ／Ｐ／Ｂピクチャのいずれかの種類のピクチャである。ステップＳ１２において、抽出ピクチャのデコード処理を実行する。このステップＳ１２において実行するデコード処理の態様は、前述したようにＩ／Ｐ／Ｂピクチャ各々において異なる態様となる。

ステップＳ１２におけるピクチャのデコード処理が終了すると、ステップＳ１３において、次のピクチャのデコードまで待機する。この待機時間は、再生速度に応じたものであり、例えば早送り再生などを実行する場合には待機時間は短くなる。その後、ステップＳ１４においてデコードした画像を表示装置に出力して再生を行う。ステップＳ１４の再生表示処理の後、ステップＳ１１に戻り、次のデコードデータを抽出して同様の処理を繰り返す。

図１に示すフローに従ったデコード処理は、ＩＰＢピクチャの全てのデコードを実行して再生する処理シーケンスである。しかし、例えば高速早送り再生を行う場合、図１に示すフローを実行するとデコードが再生速度に追随できなくなることがある。このような事態を避けるために、デコード対象のピクチャを選択して一部のピクチャについてのデコード処理を省略することがある。例えば、特許文献１，２には、Ｂピクチャのデコードを省略することで高速画像再生を実現したシステムが開示されている。

デコード対象のピクチャを選択して高速再生を可能とした再生処理シーケンスについて図２に示すフローチャートを参照して説明する。図２に示すフローは、ＩＰＢピクチャ中、Ｂピクチャ、またはＢピクチャとＰピクチャのデコードを省略して高速再生に追随することを可能とした処理である。この処理は、「Ｂスキップ」や「ＰＢスキップ」と呼ばれる。

まず、ステップＳ２１において、ＭＰＥＧ圧縮データからデコード処理対象のピクチャを抽出する。これは、前述のＩ／Ｐ／Ｂピクチャのいずれかの種類のピクチャである。次のステップＳ２２では、抽出されたピクチャの種類を判別する。

「Ｂスキップ」処理を行う場合、抽出ピクチャがＢピクチャである場合は、デコードを実行することなく、ステップＳ２１に戻り、次のピクチャを選択する。
「ＰＢスキップ」処理を行う場合、抽出ピクチャがＰピクチャまたはＢピクチャである場合は、デコードを実行することなく、ステップＳ２１に戻り、次のピクチャを選択する。

ステップＳ２３に進みデコードを実行するのは、「Ｂスキップ」処理の場合と、「ＰＢスキップ」処理とでは異なり、以下のような設定となる。
「Ｂスキップ」処理を行う場合は、抽出ピクチャがＩピクチャまたはＰピクチャである場合である。
「ＰＢスキップ」処理を行う場合は、抽出ピクチャがＩピクチャである場合である。

ステップＳ２３では、抽出ピクチャ（Ｉピクチャ、またはＩ／Ｐピクチャ）のデコード処理を実行する。ステップＳ２３におけるピクチャのデコード処理が終了すると、ステップＳ２４において、次のピクチャのデコードまで待機する。その後、ステップＳ２５においてデコードした画像を表示装置に出力して再生を行う。ステップＳ２５の再生表示後、ステップＳ２１に戻り、次のデコードデータを抽出して同様の処理を繰り返す。

このようにデコード対象のピクチャを選別して処理を行うことで、高速再生に追随したデコードが可能となる。

一般的なＭＰＥＧデータでは、Ｂピクチャは概ね３ピクチャに２枚の割合で含まれており、理論的にはデコード処理を高速化することなくＢスキップにより３倍速再生が実現できる。しかしながら、Ｂピクチャの割合はＭＥＰＧの仕様で決定されているわけではなく、また、Ｂピクチャは不均一に存在する。

このようなストリームに対して、図２に示すフローに従ったＢスキップ再生を行うと、再生速度が不均一となるという問題がある。また、Ｐピクチャ、Ｂピクチャをスキップする（Ｉピクチャのみをデコードして表示する）と、概ね１５倍速相当の再生が行えるが、この場合も同様、Ｉピクチャの不均一性により、再生速度が不均一となるという問題が発生する。

さらに高速な早送りを実現する場合、ＰＢスキップに加えて、ｎ枚中にｎ−１枚のＩピクチャをスキップするといった処理も提案されている。このような処理を行なう場合、再生速度は概ね１５×ｎ倍速の高速再生が可能である。しかし、この処理の場合、再生速度はある規定された速度、すなわち、ｎ＝整数とした再生速度のみを選択することが必要であり、任意の再生速度に対応できないという問題がある。

さらに、逆方向再生処理を行う場合、ＭＰＥＧの性質としてＩピクチャを基点に正方向にしかデコードできないためＩピクチャのみを再生するのが一般的である。この場合、１５倍速以上の逆方向再生については正方向と同様の問題がある。すなわち高速逆方向再生の速度は、ｎ＝整数とした所定の速度に制限される。また、１５倍速未満の逆方向再生については、同一のＩピクチャを表示し続けるのが最も簡単であり一般的であるが、表示フレームの更新が疎らになるという問題が発生する。

上記の問題に加えて、再生速度を変更する場合には、プログラムの処理フローを変更する必要があり、ユーザの操作に対して再生速度が反映されるまでにタイムラグが発生するという問題がある。
特開平７−１５４７４３号公報 特開２００７−１２９４８９号公報

本発明は、例えば上記問題点に鑑みてなされたものであり、様々な速度での再生処理をスムーズに行い品質の高い再生画像を生成するデコード処理や表示処理を実現する再生処理装置、および再生処理方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
符号化データのデコード処理を実行するデコード部と、
前記デコード部におけるデコード処理のシーケンスを設定するデコード処理スケジューリング部と、
前記デコード部におけるデコード結果から表示フレームを選択する表示フレーム選択部を有し、
前記デコード処理スケジューリング部は、未来の表示予定フレームの表示に必要となるデコード対象データのシーケンスを設定し、前記シーケンスに従って前記デコード部に対する待ち行列であるキューをキューの空き発生に応じて順次設定する構成であり、
前記表示フレーム選択部は、各表示タイミングにおいて表示予定フレームのデコードの完了状況を確認し、未完了の場合は再生態様に応じて表示フレームを選択する構成であり、
表示部における表示状態が一時停止処理状態である場合は、直前表示フレームの再表示を実行し、
表示部における表示状態が正方向再生処理状態である場合は、表示予定フレームより前の過去フレーム中、最も近傍のデコード済みフレームを表示フレームとして選択する処理を行い、
表示部における表示状態が逆方向再生処理状態である場合は、表示予定フレームより後の未来フレーム中、最も近傍のデコード済みフレームを表示フレームとして選択する処理を行う構成である再生処理装置にある。

さらに、本発明の再生処理装置の一実施態様において、前記デコード処理スケジューリング部は、前記キューの空きを監視し、空きが発生した場合には前記シーケンスに従って順次キューを設定する構成である。

さらに、本発明の再生処理装置の一実施態様において、前記デコード処理スケジューリング部は、現在表示フレームの次の表示予定フレームの表示に必要となるデコード対象データに加えて、さらにその後の表示予定フレームの表示に必要となるデコード対象データも前記デコード部に対する待ち行列であるキューとして設定する構成である。

さらに、本発明の再生処理装置の一実施態様において、前記デコード処理スケジューリング部は、再生速度に基づいて表示間隔ごとの未来の表示予定フレームを解析し、表示予定フレームの表示に必要となるデコード対象データを表示させるために必要なデコード対象データも前記デコード部に対する待ち行列であるキューとして設定する構成である。

さらに、本発明の再生処理装置の一実施態様において、前記符号化データはＩピクチャ、Ｐピクチャ、Ｂピクチャを構成要素とするＭＰＥＧデータであり、前記デコード処理スケジューリング部は、未来の表示予定フレームがＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれであるかを判別して、判別結果に従ってデコードシーケンスを設定する構成である。

さらに、本発明の再生処理装置の一実施態様において、前記符号化データはＩピクチャ、Ｐピクチャ、Ｂピクチャを構成要素とするＭＰＥＧデータであり、前記デコード処理スケジューリング部は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャに対応して設定されたデコード予測時間を取得し、デコード対象データの種類に応じてデコードシーケンスを設定する構成である。

さらに、本発明の第２の側面は、
符号化データのデコード処理を実行するデコード部と、
前記デコード部におけるデコード処理のシーケンスを設定するデコード処理スケジューリング部と、
前記デコード部におけるデコード結果から表示フレームを選択する表示フレーム選択部を有し、
前記デコード処理スケジューリング部は、未来の表示予定フレームの表示に必要となるデコード対象データのシーケンスを設定し、前記シーケンスに従って前記デコード部に対する待ち行列であるキューをキューの空き発生に応じて順次設定する構成であり、
前記表示フレーム選択部は、各表示タイミングにおいて表示予定フレームのデコードの完了状況を確認し、未完了の場合は再生態様に応じて表示フレームを選択する構成であり、
表示部における表示状態が一時停止処理状態である場合は、直前表示フレームの再表示を実行し、
表示部における表示状態が正方向再生処理状態である場合は、表示予定フレームより前の過去フレーム中、最も近傍のデコード済みフレームを表示フレームとして選択する処理を行い、
表示部における表示状態が逆方向再生処理状態である場合は、表示予定フレームより後の未来フレーム中、最も近傍のデコード済みフレームを表示フレームとして選択する処理を行う構成を有する集積回路にある。

さらに、本発明の第３の側面は、
再生処理装置において実行する再生処理方法であり、
デコード部が、符号化データのデコード処理を実行するデコードステップと、
デコード処理スケジューリング部が、前記デコード部におけるデコード処理のシーケンスを設定するデコード処理スケジューリングステップと、
表示フレーム選択部が、前記デコードステップにおけるデコード結果から表示フレームを選択する表示フレーム選択ステップを有し、
前記デコード処理スケジューリングステップは、未来の表示予定フレームの表示に必要となるデコード対象データのシーケンスを設定し、前記シーケンスに従って前記デコード部に対する待ち行列であるキューをキューの空き発生に応じて順次設定するステップを含み、
前記表示フレーム選択ステップは、各表示タイミングにおいて表示予定フレームのデコードの完了状況を確認し、未完了の場合は再生態様に応じて表示フレームを選択し、
表示部における表示状態が一時停止処理状態である場合は、直前表示フレームの再表示を実行し、
表示部における表示状態が正方向再生処理状態である場合は、表示予定フレームより前の過去フレーム中、最も近傍のデコード済みフレームを表示フレームとして選択する処理を行い、
表示部における表示状態が逆方向再生処理状態である場合は、表示予定フレームより後の未来フレーム中、最も近傍のデコード済みフレームを表示フレームとして選択する処理を行う再生処理方法にある。

さらに、本発明の第４の側面は、
再生処理装置において再生処理を実行させるプログラムであり、
デコード部に、符号化データのデコード処理を実行させるデコードステップと、
デコード処理スケジューリング部に、前記デコード部におけるデコード処理のシーケンスを設定させるデコード処理スケジューリングステップと、
表示フレーム選択部に、前記デコードステップにおけるデコード結果から表示フレームを選択させる表示フレーム選択ステップを有し、
前記デコード処理スケジューリングステップは、未来の表示予定フレームの表示に必要となるデコード対象データのシーケンスを設定し、前記シーケンスに従って前記デコード部に対する待ち行列であるキューをキューの空き発生に応じて順次設定するステップを含み、
前記表示フレーム選択ステップは、各表示タイミングにおいて表示予定フレームのデコードの完了状況を確認し、未完了の場合は再生態様に応じて表示フレームを選択し、
表示部における表示状態が一時停止処理状態である場合は、直前表示フレームの再表示を実行し、
表示部における表示状態が正方向再生処理状態である場合は、表示予定フレームより前の過去フレーム中、最も近傍のデコード済みフレームを表示フレームとして選択する処理を行い、
表示部における表示状態が逆方向再生処理状態である場合は、表示予定フレームより後の未来フレーム中、最も近傍のデコード済みフレームを表示フレームとして選択する処理を行うプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成によれば、例えばＭＰＥＧ符号化データのデコード再生を行う構成において、デコード処理スケジューリング部が、未来の表示予定フレームの表示に必要となるデコード対象データのシーケンスを設定して、設定シーケンスに従ってデコード部に対する待ち行列であるキューをキューの空き発生に応じて順次設定し、表示フレーム選択部が各表示タイミングにおいて表示予定フレームのデコードの完了状況を確認し、未完了の場合は、表示予定フレームの近傍のデコード済みのフレームを表示フレームとして選択する。本構成により、例えば高速再生処理などにおいて、各表示タイミングの表示予定フレームのデコードが完了していない場合でも、近傍のフレームの表示が実行されることになり、揺らぎの少ない高品質な画像再生処理が実現される。

以下、本発明の再生処理装置、および再生処理方法、並びにプログラムの詳細について説明する。

本発明の再生処理装置の一構成例を図３に示す。図３に示す再生処理装置１００は、例えば記録媒体１０１に格納されたデータや通信ＩＦ１０２を介して入力するデータをデコードして表示部１０７に表示する処理を行う。再生処理装置１００は、図３に示すように、記録媒体１０１、通信ＩＦ１０２、データ入力部１０３、バッファ（キュー格納部）１０４、デコード部１０５、フレームバッファ１０６、表示制御部１０７、表示部１０８、制御部１０９を有する。

記録媒体１０１は、例えばハードディスクや光ディスク等により形成され、ＭＰＥＧ方式等でフレーム間予測符号化された映像データなどが記録され、通常再生速度より高速な再生が可能である。通信ＩＦ１０２は、無線または有線ネットワークを介してＭＰＥＧ方式で圧縮された符号化データを外部から受信する。

データ入力部１０３は、記録媒体１０１、または通信ＩＦ１０２を介して符号化データを入力してバッファ（キュー格納部）１０４に書き込む。この処理は、制御部１０９の制御の下で実行される。

デコード部１０５は、バッファ（キュー格納部）１０４に書き込まれたデータを取り出してデコード処理を行う。例えばＭＰＥＧデータを更生するＩピクチャ、Ｐピクチャ、Ｂピクチャ各々について、各ピクチャに対応したデコード処理を実行する。

デコード部１０５のデコード結果は、フレームバッファ１０６に格納される。表示制御部１０７は、フレームバッファ１０６からデコードされたフレームデータを取得して、例えばＬＣＤなどによって構成される表示部１０８に対して出力する。なお、表示制御部１０７は、高速再生、逆方向再生など、設定された再生態様に応じて選択されたフレームデータを表示部１０８に出力して表示する。制御部１０９は、上述した一連の処理、すなわち、バッファ(キュー格納部)１０４に対するキューの設定、デコード部１０５におけるデコード処理、表示制御部１０７の表示再生処理など、一連の処理の制御を実行する。

例えば、本発明の再生処理装置１００の表示部１０８は１秒間に約３０フレームの画像フレームデータの表示を行う。以下の説明では、１フレームの表示期間は、［１／２９．９７秒］とする。ただし、これは以下に示す実施例を説明するための一例であり、本発明は、この他の表示態様においても適用可能である。

デコード部１０５は、１フレーム表示期間（＝１／２９．９７秒）に複数枚のフレームデータをデコードすることが可能な構成を持つ。

本発明の再生処理装置１００の制御部１０９、デコード部１０５、表示制御部１０７において実行する処理のシーケンスについて図４を参照して説明する。

本発明の再生処理装置１００の実行するデコードと再生処理おいては、図４に示すステップＳ１０１〜Ｓ１０５の順に処理が進行する。制御部１０９は、図に示すように、機能的な処理部として、デコード処理スケジューリング部２１１、デコード処理要求部２１２、表示フレーム選択部２１３を有している。

まず、ステップＳ１０１において、制御部１０９のデコード処理スケジューリング部２１１において、デコード処理のスケジューリング処理を行う。この処理は、未来に表示すべき表示予定フレームを選択し、選択したフレームの表示に必要なデコード対象のフレーム（ピクチャ）のシーケンスを設定して図３に示すバッファ（キュー格納部）１０４にキューを設定する処理である。

例えば、表示部１０８における１つのフレーム表示時間が１／２９．９７秒である場合、まず、現在の表示フレームと再生速度から計算した１／２９．９７秒後の表示フレーム、２／２９．９７秒後のフレーム等、ｎ／２９．９７秒後の表示フレームを未来に表示する予定のフレームとして選択する。次に、これらの表示に必要となるピクチャをデコード対象として選択してデコード処理のスケジュールを設定しデコード処理の順番を決定する。この決定に従って図３に示すバッファ（キュー格納部）１０４に対してデコードの待ち行列としてのキューを設定する。

なお、前述したように、ＭＰＥＧ符号化データは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３種類のフレームデータから構成されている。
これらの符号化フレームは、それぞれデコード処理態様が異なる。すなわち、各フレームは以下のような性質を持つ。
Ｉ（Ｉｎｔｒａ ｃｏｄｅｄ）ピクチャは、当該フレームのデータのみを用いてデコードが可能なフレームである。
Ｐ（Ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｅｄ）ピクチャは、当該フレーム以前にデコードされたＩピクチャまたはＰピクチャのデータと当該フレームのデータとを用いてデコードが可能なフレームである。
Ｂ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｅ）ピクチャは、時間的に前後する２枚のＩピクチャまたはＰピクチャのデータと当該フレームのデータを用いてデコードが可能なフレームである。

従って、表示予定のフレームがＩピクチャであるか、Ｐピクチャであるか、Ｂピクチャであるかによって、デコードシーケンスは異なる。制御部１０９のデコード処理スケジューリング部２１１は、表示予定フレームのピクチャ種類に応じてデコード処理のシーケンスを設定することになる。

具体的には、表示予定ピクチャがＩピクチャであれば、そのＩピクチャのみをデコード対象として設定すればよい。
しかし、表示予定ピクチャがＰピクチャであれば、そのＰピクチャ以前のＩピクチャまたはＰピクチャとそのＰピクチャをデコード対象として設定することが必要となる。
また、表示予定ピクチャがＢピクチャであれば、そのＢピクチャ前後のＩピクチャまたはＰピクチャとそのＢピクチャをデコード対象として設定することが必要となる。
制御部１０９のデコード処理スケジューリング部２１１は、このように、表示予定フレームのピクチャ種類に応じてデコード処理のシーケンスを決定し、この決定に従って図３に示すバッファ（キュー格納部）１０４に対してデコードの待ち行列としてのキューを設定する。

なお、制御部１０９のデコード処理スケジューリング部２１１は、表示部１０８における表示態様情報（高速再生（何倍速）、再生方向（正方向、逆方向）、一次停止状態か否かなど）の情報を入力して、これらの情報を考慮してデコードシーケンスを決定することになる。例えば、５倍速の高速再生であれば、５つおきのフレームが表示できるようにデコードシーケンスを設定するなどの処理を行なう。

具体的なデコードシーケンス設定例について、図５を参照して説明する。例えば、ＭＰＥＧデータが、図５に示すように、ＩＢＢＰＢＢＰＢＢＰＢＢＰのようにフレーム対応のピクチャが設定されていると想定する。

このＭＰＥＧデータの５つおきのフレームを表示対象として選択して各フレームの表示時間を１／２９．９７秒とすれば５倍速の再生が実行できる。すなわち、図に示すＩピクチャ３０１、Ｂピクチャ３０２、Ｂピクチャ３０３を表示フレームとすればよい。

Ｉピクチャ３０１は、このＩピクチャのみのデコード処理によって表示フレームを生成することができる。しかし、フレーム３０２，３０３は、Ｂピクチャであり、このＢピクチャの再生を行うためには、その前後のＩピクチャまたはＰピクチャのデコードも併せて行うことが必要となる。

すなわち、デコードシーケンスは図５に示す（１）〜（６）のピクチャを順番にデコードするシーケンスとして設定することが必要である。制御部１０９のデコード処理スケジューリング部２１１は、このような表示フレームのピクチャ種別に応じてデコード処理の順番を設定することになる。

制御部１０９のデコードスケジューリング部２１１は、図３に示すパッファ（キュー格納部）１０４に空きがある場合に、決定したデコード順番に従って新たなキューを設定する。すなわち、現在の再生速度から計算したフレーム間隔（ｎ／２９．９７秒）後に表示予定のフレームを表示させるために必要なピクチャのデコード対象ピクチャのシーケンスを決定してパッファ（キュー格納部）１０４にデコード待ちピクチャであることを示す待ち行列としてのキューを設定する。

このように、制御部１０９のデコードスケジューリング部２１１は、未来の表示予定フレームの表示に必要となるデコード対象データのシーケンスを設定し、シーケンスに従ってデコード部１０５に対する待ち行列であるキューをキューの空き発生に応じて順次設定する。この処理によって、デコード部１０５は、キューが存在する限り休むことなく連続的にデコード処理を実行することができる。

なお、前述したように、Ｂピクチャ、Ｐピクチャのように参照フレームが必要な場合は、これらのピクチャに先行してデコードの必要なピクチャを選択して先行するキューとして設定する。この処理は、図３に示すパッファ（キュー格納部）１０４に空きがある限り、続けられる。バッファ（キュー格納部）１０４に空きがなくなった場合は空きが発生するまで待機することになる。

バッファ（キュー格納部）１０４の深さ（設定可能なキューの数）は、デコーダ部の処理能力に応じて決定する構成とすることが好ましい。例えば、表示部１０８の１フレーム表示期間（１／２９．９７秒）以内に、デコード部１０５がデコード可能なフレーム数に対応した数に設定することで、ミスによるストールを最小限に留められる。

図４に戻り、処理シーケンスについての説明を続ける。制御部１０９のデコード処理スケジューリング部２１１のデコードスケジューリング処理の後、制御部１０９のデコード処理要求部２１２は、ステップＳ１０２において、デコード処理スケジューリング部２１１の設定したシーケンスに従ってデコード部１０５に対してデコード要求を行う。これは、図３に示すバッファ（キュー格納部）１０４に設定されたキューの順番に従って行なわれる。

デコード部１０５は、ステップＳ１０３において、制御部１０９のデコード処理要求部２１２からの要求順にデコード処理を実行する。デコード結果は、フレームバッファ１０６に格納される。

次に、ステップＳ１０４において、制御部１０９の表示フレーム選択部２１３は、表示制御部１０７に対して、表示フレームの選択情報を出力する。表示フレーム選択部２１３は、デコード処理の完了状況に応じて表示するフレームデータを選択する。具体的な処理例については後述する。

次に、ステップＳ１０５において、表示制御部１０７は、制御部１０９の表示フレーム選択部２１３から指定されるフレーム情報に従って、表示部１０８に対してデコードされたフレーム画像の出力を実行する。

表示フレーム選択部２１３の実行する表示フレーム選択処理のシーケンスについて、図６に示すフローチャートを参照して説明する。

表示フレーム選択部２１３は、デコード処理スケジューリング部２１１の設定した表示予定のフレーム情報や、デコード部１０５のデコード処理情報（処理完了情報）を入力し、さらに、表示部における表示（再生）態様情報（高速再生（何倍速）、再生方向（正方向、逆方向）、一次停止状態か否かなど）を入力して表示フレームの選択処理を行う。

まず、ステップＳ２０１において、表示フレーム選択部２１３は、デコード処理スケジューリング部２１１の設定した表示予定のフレーム情報と、デコード部１０５のデコード処理情報（処理完了情報）に基づいて、次の出力予定フレームのデコード処理が完了し、出力可能な状態にあるか否かを判定する。デコード処理が完了し、出力可能な状態にある場合は、ステップＳ２０２に進み、出力予定フレームを予定通り表示部に出力するための処理を実行する。

一方、出力予定フレームのデコード処理が完了しておらず、出力可能な状態にない場合は、ステップＳ２０３に進む。ステップＳ２０３では、表示部における表示態様（再生態様）が一時停止状態であるか否かを確認する。一時停止状態とは、同じフレームの連続表示状態である。この場合は、ステップＳ２０４に進み、表示処理を実行中のフレームを繰り返し表示する。

一方。表示処理が一時停止状態にない場合は、ステップＳ２０５に進む。ステップＳ２０５では、再生処理が正方向再生であるか逆方向再生であるかを確認する。再生方向が正方向再生である場合は、ステップＳ２０６に進む。

ステップＳ２０６では、出力予定フレームより前のデコード済みフレームから、出力予定フレームに最も近いフレームを選択して出力する。例えば、先に説明した図５と同様の図を図７に示して説明する。図７に示す例において、Ｂピクチャ３０２が出力予定フレームである場合に、このＢピクチャ３０２のデコードが完了していない場合を想定する。

この場合、Ｂピクチャ３０２より前の先行フレーム４００中から、デコード済みのピクチャフレームが表示対象として選択される。例えば、図７に示す例では、デコード順番は（１）〜（６）の順番に実行される。従って、Ｂピクチャ３０２のデコードが完了してなくても、Ｐピクチャ４０１のデコードが完了している場合がある。この場合は、Ｐピクチャ４０１が表示フレームとして選択され、Ｂピクチャ３０２の代替フレームとして表示されることになる。Ｐピクチャ４０１のデコードも完了していない場合は、Ｉピクチャ３０１が表示される。

このように、ステップＳ２０６では、出力予定フレームより前のデコード済みフレームから、出力予定フレームに最も近いフレームを選択して出力する。

また、ステップＳ２０５において、再生方向が逆方向再生であると判定した場合は、ステップＳ２０７に進む。ステップＳ２０７では、出力予定フレームより後のデコード済みフレームから、出力予定フレームに最も近いフレームを選択して出力する。

例えば、先に説明した図７に示す例において、Ｂピクチャ３０２が出力予定フレームである場合に、このＢピクチャ３０２のデコードが完了していない場合、Ｂピクチャ３０２より後にある後続フレーム４２０のデコード済みピクチャが表示フレームとして選択される。例えばＰピクチャ４２１が表示フレームとして選択され、Ｂピクチャ３０２の代替フレームとして表示されることになる。

このように、制御部１０９の表示フレーム選択部２１３は、フレームバッファの中からデコード済のものを探索し、そのフレームが見つかった場合はそのフレームを表示フレームとして選択する。見つからなかった（デコードが完了していなかった）場合は、その時の再生速度に応じて、以下に示すフレームを選択する。

一時停止状態：当該フレームがデコード完了するまで、直前に表示していたフレームを再表示する
正方向再生時：デコード済フレームの中から、当該フレームよりも過去のフレームの範囲で、当該フレームに最も近いフレームを選択する
逆方向再生時：デコード済フレームの中から、当該フレームよりも未来のフレームの範囲で、当該フレームに最も近いフレームを選択する
上記のように表示フレームを選択することにより、正方向再生から一時停止状態に戻った場合などに、意図しない方向に表示フレームが進捗することを防げる。

このようなデコード・表示制御を行うことにより、
・高速再生時の再生速度の揺らぎを抑え、
・ユーザのインタラクトに対して低遅延で反応し、
・再生方向・速度によらず同一のアルゴリズムで動作可能なシンプルな再生処理装置が実現できる。

なお、再生速度や再生方向は、ユーザ操作により変更可能であり、このユーザの操作情報に応じて制御部１０９は、デコードシーケンスや表示フレームを動的に変更し決定する。表示フレーム選択部２１３は、各表示タイミングでデコードが完了しているフレームの中から、最も適したフレームを選択する。

次に、図８と図９を参照して本発明の再生処理装置によるデコードおよび表示処理と、従来のデコード処理を実行した場合の差異について説明する。デコード処理の対象となる符号化データの例として、ＧＯＰ構造がＩＢＢＰＢＢＰＢＢ...（ｏｐｅｎ ｇｏｐ）で、５倍速再生する場合について説明する。

図８は、本発明の処理方式に従ったデコードおよび表示シーケンス、
図９は、従来の処理方式に従ったデコードおよび表示シーケンス、
これらを示している。

まず、図８を参照して本発明の処理方式に従ったデコードおよび表示シーケンスについて説明する。図８の上段に、デコード対象のＭＰＥＧデータを構成するピクチャシーケンスを示している。ＩＢＢＰＢＢＰＢＢ...がピクチャ種別を示している。ピクチャＮｏ.０〜４１までのピクチャである。５倍速再生を行う場合、再生予定フレームは、図に示す時刻（０）〜（８）に対応するピクチャのデコードフレームとなる。すなわち、
（０）Ｉピクチャ
（１）Ｂピクチャ
（２）Ｂピクチャ
（３）Ｉピクチャ
（４）Ｂピクチャ
（５）Ｂピクチャ
（６）Ｉピクチャ
（７）Ｂピクチャ
（８）Ｂピクチャ
これらのピクチャのデコードフレームが各時刻（０）〜（８）において表示できれば完全な５倍速再生表示がなされる。すなわち、これらのフレームをそれぞれ１フレーム表示期間（１／２９．９７ｓｅｃ）単位で、順次表示することで、５倍速再生が実行されることになる。

しかし、これらの時刻（０）〜（８）に表示予定のピクチャのデコードフレームを生成する場合、ＩピクチャについてはＩピクチャのみのデコード処理を行えばよいが、ＢピクチャまたはＰピクチャのデコードフレームを生成する場合には、そのピクチャ以外の参照ピクチャのデコード処理も必要となる。

図に示すアンダーラインを示すＰピクチャが、上記時刻（０）〜（８）に含まれるＢピクチャのデコードフレームを生成する場合に参照フレームとしてデコードを行うことが必要となるピクチャである。

この図８に示す設定では、時刻（０）〜（８）においてＩＢＢピクチャのデコードフレームの表示処理の繰り返しとなる設定である。従って、全ての表示予定フレームを確実に表示するためには、ＩＢＢの３フレーム表示期間に７つのピクチャ（ＩＰＰＢＰＰＢ）をデコードする必要がある。従って、図８に示す設定の５倍速表示処理を実行するために必要となる理論的なデコード部のデコード処理速度は、表示速度の約７／３倍以上のデコード処理速度となる。ただし、デコード時間はピクチャ態様に応じて異なり、このデコード速度によって再生表示処理に追随できることが保証されるものではない。

図８に示すタイミングチャートの例は、デコード部１０５のデコード処理速度を表示速度の２．５倍として設定し、各ピクチャのデコード処理時間が均等であると仮定して設定したタイミングチャートである。すなわち、デコード部１０５は、１フレームの表示期間（１／２９．９７ｓｅｃ）に２．５フレーム相当のピクチャのデコードを実行することができる。また、デコード部に対するピクチャの待ち行列として設定可能なキューの深さは３段としている。

図８を参照して、本発明の処理方式に従ったデコードおよび表示シーケンスについて説明する。
図８には、
（ａ）本発明の処理方式に従ったデコードおよび表示シーケンスにおいて実際に表示されるフレーム（ピクチャ）、
（ｂ）デコード処理シーケンス
これらのデータを示している。

先に説明したように、本発明の構成において、制御部１０９のデコード処理スケジューリング部２１１は、キューに空きが生じた場合に、未来の表示フレームの表示に必要となるデコード対象ピクチャを順次キューに設定する。従ってデコード処理は、図８（ｂ）デコード処理シーケンスに示すように休みなくデコード部１０５において実行される。
以下、時刻（０）から、５倍速の高速再生の表示およびデコード処理を開始した場合の各時刻の処理について説明する。

［時刻（０）］
この時刻（０）時点の表示予定ピクチャはピクチャＮｏ．０のＩピクチャ（Ｉ０）である。しかし、この時点で、Ｉピクチャ（Ｉ０）のデコードは完了していないため表示は実行されない。
次の表示タイミングである時刻（１）での表示予定のピクチャは、ピクチャＮｏ．５のＢピクチャ（Ｂ５）である。Ｂピクチャ（Ｂ５）の表示のためには、Ｂピクチャ（Ｂ５）の前後の参照ピクチャ（Ｐ３），（Ｐ６）を先行してデコードすることが必要となる。

従って、時刻（０）から、デコード処理と表示処理を開始する場合、デコード部は、時刻（０）から、Ｉ０，Ｐ３，Ｐ６，Ｂ５の順でデコードする必要がある。
しかし、デコード部に対するピクチャの待ち行列として設定可能なキューの深さは３段であるため、まず、時刻（０）において、Ｉ０，Ｐ３，Ｐ６までの３つのピクチャがキュー（図３に示すバッファ（キュー格納部）１０４）に設定される。デコード部１０５は、このキューの先頭から順（Ｉ０，Ｐ３，Ｐ６）にデコード処理を実行する。なお、図８（ｂ）デコードの欄に示す１つの四角は、デコード部１０５の１つのフレーム（ピクチャ）に対するデコード処理時間を示している。

このシーケンス例において、デコード部は前述したように１フレームの表示期間（１／２９．９７ｓｅｃ）に２．５フレーム相当のピクチャのデコードを実行する。従って、時刻（０）〜（１）の期間に、キューに設定された（Ｉ０，Ｐ３，Ｐ６）の３ピクチャ中、Ｉ０，Ｐ３の２つのピクチャについてはデコードが完了し、Ｐ６のデコード期間に時刻（１）になる。

［時刻（１）］
時刻（０）から１フレームの表示期間（１／２９．９７ｓｅｃ）経過後の時刻（１）での表示予定フレームは、Ｂピクチャ（Ｂ５）である。
しかし、この時刻（１）において、Ｂピクチャ（Ｂ５）のデコードは完了しておらず、Ｂピクチャ（Ｂ５）を表示することはできない。

この場合、先に、図６のフローのステップＳ２０６の処理として説明したように、出力予定フレーム［Ｂピクチャ（Ｂ５）］より前のデコード済みフレームから、出力予定フレームに最も近い過去フレームを選択して出力する。図８に示す例では、時刻（１）の時点でデコードが完了しているフレームは、Ｉ０，Ｐ３のみである。このＩ０，Ｐ３の中で、出力予定フレーム（Ｂ５）に最も近い過去フレームはピクチャ（Ｐ３）である。従って、時刻（１）の時点からの１フレーム表示期間（１／２９．９７ｓｅｃ）は、ピクチャ（Ｐ３）のデコードフレームの表示を行う。

図８（ａ）に示すように、時刻（１）〜（２）の期間にはピクチャ（Ｐ３）が表示されることになる。このピクチャ（Ｐ３）は本来の５倍速再生時の表示予定ピクチャ（Ｂ５）の２つ前（過去）のフレームである。図８（ａ）には、本来の表示予定フレームと実際に表示されるフレームとのフレーム差をフレーム差分として示している。この時刻（１）〜（２）の期間における表示フレーム差分は（−２）となる。（−２）は、実際の表示フレーム（Ｐ３）が、表示予定ピクチャ（Ｂ５）の２つ前（過去）のフレームであることを示している。未来フレームを（＋）、過去フレームを（−）として示す。

制御部１０９における表示フレーム選択部２１３の表示フレーム選択処理は、各表示フレームの切り替え時刻ごとに繰り返し実行される。すなわち、先に図６を参照して説明したフローチャートに従った表示フレーム選択処理が各表示タイミングにおいて繰り返し実行される。図８の例では（０），（１），（２）・・・の各時刻、またはその直前に表示フレーム選択処理が行われることになる。

なお、制御部１０９のデコード処理スケジューリング部２１１のバッファ（キュー格納部）１０４に対するキュー設定処理は、キューの空き状態に応じて順次行われる。どのピクチャをキューに設定するかは、デコード処理スケジューリング部２１１の設定情報と、キュー設定タイミングによって決定する。すなわち、新たなキューを設定するタイミングにおいて表示がなされていない未来の表示予定フレームの表示に必要なデコードピクチャを順次キューに設定する。

制御部１０９のデコード処理スケジューリング部２１１は、未来に表示予定のフレームを表示させるために必要なピクチャのデコード対象ピクチャのシーケンスを決定してパッファ（キュー格納部）１０４にデコード待ちピクチャであることを示す待ち行列としてのキューを設定する。このキュー設定によりデコード部１０５は、キューが存在する限り休むことなく連続的にデコード処理を実行することができる。

この例では、時刻（０）のタイミングにおいてキューにＩ０，Ｐ３，Ｏ６が設定され、デコード部においてこれらのキューの先頭から、順次デコード処理が実行される。時刻（０）〜時刻（１）の期間にＩ０，Ｐ１のデコードが完了し、Ｐ６のデコードの最中に時刻（１）となる。

この時刻（１）〜（２）の期間において、未来の表示予定フレームの表示に必要なデコードピクチャは、時刻（２）以降の表示予定フレームの表示に必要なデコードピクチャであり、これらのピクチャがキューに設定されることになる。

図に示す例において、時刻（２）の表示予定フレームはピクチャＮｏ．１０のピクチャ（Ｂ１０）である。ピクチャＢ１０の表示処理に必要となるデコード対象ピクチャは、Ｂ９，Ｂ１２，Ｂ１０である。キューにはまだデコードが終わっていないピクチャ（Ｐ６）が残っているため、Ｐ９，Ｐ１２の２つのキューが順次設定される。

［時刻（２）］
時刻（１）から１フレームの表示期間（１／２９．９７ｓｅｃ）経過後の時刻（２）での表示予定フレームは、Ｂピクチャ（Ｂ１０）である。
しかし、この時刻（２）において、Ｂピクチャ（Ｂ１０）のデコードは完了しておらず、Ｂピクチャ（Ｂ１０）を表示することはできない。時刻（２）において、Ｐ９、Ｐ１２までデコードが完了している。

この場合、先に、図６のフローのステップＳ２０６の処理として説明したように、出力予定フレーム［Ｂピクチャ（Ｂ１０）］より前のデコード済みフレームから、出力予定フレーム［Ｂピクチャ（Ｂ１０）］に最も近い過去フレームを選択して出力するという処理を行う。図８に示す例では、出力予定フレーム（Ｂ１０）に最も近い過去フレームでデコード完了済みのピクチャはピクチャ（Ｐ９）である。従って、時刻（２）の時点からの１フレーム表示期間（１／２９．９７ｓｅｃ）は、ピクチャ（Ｐ９）のデコードフレームの表示が実行される。

図８（ａ）に示すように、時刻（２）〜（３）の期間にはピクチャ（Ｐ９）が表示されることになる。このピクチャ（Ｐ９）は本来の５倍速再生時の表示予定ピクチャ（Ｂ１０）の１つ前（過去）のフレームである。この時刻（２）〜（３）の期間における表示フレーム差分は（−１）となる。

制御部１０９のデコード処理スケジューリング部２１１は、時刻（２）〜（３）の期間も、キューの空きに応じて新たなキュー設定を行う。デコード処理スケジューリング部２１１は、この時刻（２）〜（３）の期間に未来の表示タイミングである時刻（３），（４）・・において表示するフレームに基づいて設定するキューを決定する。

図に示す例において、時刻（３）の表示予定フレームはピクチャＮｏ．１５のピクチャ（Ｉ１５）である。ピクチャＩ１５の表示処理に必要となるデコード対象ピクチャはＩ１５のみである。ピクチャＩ１５をキューに設定しても残り２つ分のキュー設定が可能であり、この場合、制御部１０９のデコード処理スケジューリング部２１１は、さらに次の表示タイミングである時刻（４）において表示するフレームの表示処理に必要となるデコード対象ピクチャを選択してキューに設定する。

図に示す例において、時刻（４）の表示予定フレームはピクチャＮｏ．２０のピクチャ（Ｂ２０）である。ピクチャＢ２０の表示処理に必要となるデコード対象ピクチャはＰ１８，Ｐ２１，Ｂ２０である。これらのピクチャからキュー設定可能な２つのピクチャＰ２０，Ｐ２１が、キューに設定される。デコード部１０５は、キューに設定された順に、デコード処理を行う。

［時刻（３）］
時刻（２）から１フレームの表示期間（１／２９．９７ｓｅｃ）経過後の時刻（３）での表示予定フレームは、Ｉピクチャ（Ｉ１５）である。
この時刻（３）において、Ｉピクチャ（Ｉ１５）のデコードは完了している。従って、時刻（３）では、Ｉピクチャ（Ｉ１５）が表示される。

図８（ａ）に示すように、時刻（３）〜（４）の期間にはピクチャ（Ｉ１５）が表示されることになる。このピクチャ（Ｉ１５）は本来の５倍速再生時の表示予定ピクチャ（Ｉ１５）に一致する。従って、この時刻（３）〜（４）の期間における表示フレーム差分は（０）となる。

制御部１０９のデコード処理スケジューリング部２１１は、時刻（３）〜（４）の期間も、キューの空きに応じて新たなキュー設定を行う。デコード処理スケジューリング部２１１は、この時刻（３）〜（４）の期間に未来の表示タイミングである時刻（４），（５）・・において表示するフレームに基づいて設定するキューを決定する。

図に示す例において、時刻（４）の表示予定フレームはピクチャＮｏ．２０のピクチャ（Ｂ２０）である。ピクチャＢ２０の表示処理に必要となるデコード対象ピクチャはＰ１８，Ｐ２１，Ｂ２０である。Ｐ１８，Ｐ２１はすでにキュー設定済みであり、Ｂ２０を新たにキューに設定する。さらに、キューの空きに応じて、時刻（５）の表示予定フレーム［Ｂピクチャ（Ｂ２５）］の表示処理に必要となるデコード対象ピクチャＰ２４を設定する。デコード部１０５は、キューに設定された順に、デコード処理を行う。

［時刻（４）］
時刻（３）から１フレームの表示期間（１／２９．９７ｓｅｃ）経過後の時刻（４）での表示予定フレームは、Ｂピクチャ（Ｂ２０）である。
この時刻（４）において、Ｂピクチャ（Ｂ２０）のデコードは完了している。従って、時刻（４）では、Ｂピクチャ（Ｂ２０）が表示される。

図８（ａ）に示すように、時刻（４）〜（５）の期間にはＢピクチャ（Ｂ２０）が表示されることになる。このＢピクチャ（Ｂ２０）は本来の５倍速再生時の表示予定ピクチャに一致する。従って、この時刻（４）〜（５）の期間における表示フレーム差分は（０）となる。

制御部１０９のデコード処理スケジューリング部２１１は、時刻（４）〜（５）の期間も、キューの空きに応じて新たなキュー設定を行う。デコード処理スケジューリング部２１１は、この時刻（４）〜（５）の期間に未来の表示タイミングである時刻（５），（６）・・において表示するフレームに基づいて設定するキューを決定する。

図に示す例において、時刻（５）の表示予定フレームはピクチャＮｏ．２５のピクチャ（Ｂ２５）である。ピクチャＢ２５の表示処理に必要となるデコード対象ピクチャはＰ２４，Ｐ２７，Ｂ２５である。Ｐ２４はすでにキュー設定済みであり、Ｐ２７、Ｂ２５を新たにキューに設定する。さらに、キューの空きに応じて、時刻（６）の表示予定フレーム［Ｉピクチャ（Ｉ３０）］の表示処理に必要となるデコード対象ピクチャＩ３０を設定する。デコード部１０５は、キューに設定された順に、デコード処理を行う。

［時刻（５）］
時刻（４）から１フレームの表示期間（１／２９．９７ｓｅｃ）経過後の時刻（５）での表示予定フレームは、Ｉピクチャ（Ｉ２５）である。
この時刻（５）において、Ｉピクチャ（Ｉ２５）のデコードは完了している。従って、時刻（５）では、Ｉピクチャ（Ｉ２５）が表示される。

図８（ａ）に示すように、時刻（５）〜（６）の期間にはＩピクチャ（Ｉ２５）が表示されることになる。このＩピクチャ（Ｉ２５）は本来の５倍速再生時の表示予定ピクチャに一致する。従って、この時刻（５）〜（６）の期間における表示フレーム差分は（０）となる。

制御部１０９のデコード処理スケジューリング部２１１は、時刻（５）〜（６）の期間も、キューの空きに応じて新たなキュー設定を行う。デコード処理スケジューリング部２１１は、この時刻（５）〜（６）の期間に未来の表示タイミングである時刻（６），（７）・・において表示するフレームに基づいて設定するキューを決定する。

図に示す例において、時刻（６）の表示予定フレームはピクチャＮｏ．３０のピクチャ（Ｉ３０）である。ピクチャＩ３０の表示処理に必要となるデコード対象ピクチャはＩ３０である。Ｉ３０はすでにキュー設定済みである。さらに、キューの空きに応じて、時刻（７）の表示予定フレーム［Ｂピクチャ（Ｂ３５）］の表示処理に必要となるデコード対象ピクチャＰ３３，Ｐ３６，Ｂ３５を、キューの空きに応じて、順次設定する。デコード部１０５は、キューに設定された順に、デコード処理を行う。

［時刻（６）］
時刻（５）から１フレームの表示期間（１／２９．９７ｓｅｃ）経過後の時刻（６）での表示予定フレームは、Ｉピクチャ（Ｉ３０）である。
この時刻（６）において、Ｉピクチャ（Ｉ３０）のデコードは完了している。従って、時刻（６）では、Ｉピクチャ（Ｉ３０）が表示される。

図８（ａ）に示すように、時刻（６）〜（７）の期間にはＩピクチャ（Ｉ３０）が表示されることになる。このＩピクチャ（Ｉ３０）は本来の５倍速再生時の表示予定ピクチャに一致する。従って、この時刻（６）〜（７）の期間における表示フレーム差分は（０）となる。

制御部１０９のデコード処理スケジューリング部２１１は、時刻（６）〜（７）の期間も、キューの空きに応じて新たなキュー設定を行う。デコード処理スケジューリング部２１１は、この時刻（６）〜（７）の期間に未来の表示タイミングである時刻（７），（８）・・において表示するフレームに基づいて設定するキューを決定する。

図に示す例において、時刻（７）の表示予定フレームはピクチャＮｏ．３５のピクチャ（Ｂ３５）である。ピクチャＢ３５の表示処理に必要となるデコード対象ピクチャはＰ３３，Ｐ３６，Ｂ３５である。Ｐ３３，Ｐ３６はすでにキュー設定済みであり、Ｐ３５を新たにキューに設定する。さらに、キューの空きに応じて、時刻（８）の表示予定フレーム［Ｂピクチャ（Ｂ４０）］の表示処理に必要となるデコード対象ピクチャＰ３９，Ｐ４２を設定する。デコード部１０５は、キューに設定された順に、デコード処理を行う。

以下、同様の処理を繰り返す。このように、本発明の制御部１０９のデコード処理スケジューリング処理部２１１は、デコード部１０５におけるデコード処理の待ち行列としてのキューに、未来の表示フレームの表示処理に必要となるデコード対象ピクチャを、連続的に設定する。この処理によって、デコード処理は待機時間を持つことなく、連続的な処理が実現される。

また、制御部１０９の表示フレーム選択処理部２１３は、各表示タイミングである時刻（０）、（１）、（２）、・・・において、デコード部１０５におけるデコード処理の完了したフレーム中、表示予定フレームに近い先行（過去）フレーム（正方向再生の場合）を選択して表示する。
このような処理を実行する。なお、逆方向再生においては、表示予定フレームに近い後続（未来）フレームを選択して表示する。

この結果として、表示予定フレームのデコードが表示タイミングにおいて完了していない場合でも表示予定フレームにより近い再生時間に対応するフレームデータが表示されることになる。図８に示す例では、図８（ａ）に示すように、表示予定フレームと実際の表示フレームの差分は、
時刻（１）〜時刻（２）＝−２フレーム
時刻（２）〜時刻（３）＝−１フレーム
時刻（３）〜時刻（４）＝０フレーム
時刻（４）〜時刻（５）＝０フレーム
時刻（５）〜時刻（６）＝０フレーム
時刻（６）〜時刻（７）＝０フレーム
時刻（７）〜時刻（８）＝０フレーム
となっている。すなわち、最大でも２フレームのずれであり、完全な５倍速の高速再生と大差のない再生処理が実現されることになる。

次に、図９を参照して、一般的な従来型の高速再生処理におけるデコードおよび表示シーケンスについて説明する。なお、図９に示す従来の処理方式に従ったデコードおよび表示シーケンスは、各表示タイミング（時刻（０），（１），（２）・・・）において、次の表示タイミングの表示フレームを選択して、その表示に必要なデコード対象ピクチャを順次デコードシーケンスとして設定してデコード処理を行なう設定である。ただし、各時刻において、前の時刻に設定したデコードシーケンスに従ったデコードが完了していない場合は、次の時刻でのデコード処理は実行しない。

例えば、時刻（０）では、時刻（１）の表示フレームを選択し、選択した表示フレームのデコード対象ピクチャ列をデコードシーケンスとして設定してデコードを開始する。
時刻（１）では、時刻（２）の表示フレームを選択し、選択した表示フレームのデコード対象ピクチャ列をデコードシーケンスとして設定してデコードを開始する。
ただし、時刻（１）において、時刻（０）において設定したデコードシーケンスが完了していない場合は、時刻（１）においては、時刻（２）用の表示フレーム対応のデコード処理は省略される。
この処理を繰り返し実行する。

このデコードシーケンスにおいて、各表示タイミングで表示予定のフレームのデコードが完了していない場合は、前の表示タイミングにおいて表示されていたフレーム、または表示予定であったフレームを表示する。
このようなシーケンスによってデコードおよび表示処理を実行する。
以下、時刻（０）以降の詳細処理について説明する。

［時刻（０）］
この時刻（０）時点の表示予定ピクチャはピクチャＮｏ．０のＩピクチャ（Ｉ０）である。しかし、この時点で、Ｉピクチャ（Ｉ０）のデコードは完了していないため表示は実行されない。
次の表示タイミングである時刻（１）での表示予定のピクチャは、ピクチャＮｏ．５のＢピクチャ（Ｂ５）である。Ｂピクチャ（Ｂ５）の表示のためには、Ｂピクチャ（Ｂ５）の前後の参照ピクチャ（Ｐ３），（Ｐ６）を先行してデコードすることが必要となる。

従って、時刻（０）から、デコード処理と表示処理を開始する場合、デコード部は、時刻（０）から、Ｉ０，Ｐ３，Ｐ６，Ｂ５の順でデコードする必要がある。
デコード部に対するピクチャの待ち行列として、この順番にキューが設定され、デコード部は、キュー先頭から順（Ｉ０，Ｐ３，Ｐ６，Ｂ５）にデコード処理を実行する。なお、図９（ｂ）デコードに示す１つの四角は、デコード部のデコード処理時間を示している。

デコード部は、図８の処理と同様、１フレームの表示期間（１／２９．９７ｓｅｃ）に２．５フレーム相当のピクチャのデコードを実行する。従って、時刻（０）〜（１）の期間に、Ｉ０，Ｐ３の２つのピクチャについてはデコードが完了し、Ｐ６のデコード期間に時刻（１）になる。

［時刻（１）］
時刻（０）から１フレームの表示期間（１／２９．９７ｓｅｃ）経過後の時刻（１）での表示予定フレームは、Ｂピクチャ（Ｂ５）である。
しかし、この時刻（１）において、Ｂピクチャ（Ｂ５）のデコードは完了しておらず、Ｂピクチャ（Ｂ５）を表示することはできない。

従来シーケンスでは、表示予定フレームのデコードが完了せず、表示が出来ない場合、前の表示タイミングの表示フレームを継続して表示する。この例では、時刻（０）の表示フレームを継続表示することになるが、時刻（０）の表示フレームはないため、時刻（１）においても画像の表示は開始できないことになる。

また、この従来型のシーケンスは、先に説明したように各表示時刻において、前の表示時刻に設定したデコードシーケンスに従ったデコードが完了していない場合は、次の時刻でのデコード処理は実行しない。本例では、時刻（０）で設定したデコードシーケンス（Ｉ０，Ｐ３，Ｐ６，Ｂ５）のデコードが、時刻（１）において完了していないため、時刻（１）では、次の表示タイミングである時刻（２）の表示フレームのためのデコード処理が省略される。

この結果、デコード部のデコード処理は、図９（ｂ）に示すように処理を実行していない待機時間が各所発生する。

［時刻（２）］
時刻（１）から１フレームの表示期間（１／２９．９７ｓｅｃ）経過後の時刻（２）での表示予定フレームは、Ｂピクチャ（Ｂ１０）である。
しかし、この時刻（２）において、Ｂピクチャ（Ｂ１０）のデコードは完了しておらず、Ｂピクチャ（Ｂ１０）を表示することはできない。

先に説明したように、この従来シーケンスでは、各表示タイミングで表示予定のフレームのデコードが完了していない場合は、前の表示タイミングにおいて表示されていたフレーム、または表示予定であったフレームを表示する。この場合、前の時刻（１）の表示予定フレームであるピクチャ（Ｂ５）が表示される。従って、時刻（２）の時点からの１フレーム表示期間（１／２９．９７ｓｅｃ）は、ピクチャ（Ｂ５）のデコードフレームの表示が実行される。この時刻（２）〜（３）の期間における表示フレーム差分は（−５）となる。

時刻（２）では、時刻（３）の表示フレームを選択し、選択した表示フレームのデコード対象ピクチャ列をデコードシーケンスとして設定してデコードを開始する。時刻（３）の表示予定フレームはピクチャＮｏ．１５のピクチャ（Ｉ１５）である。ピクチャＩ１５の表示処理に必要となるデコード対象ピクチャはＩ１５のみである。

時刻（２）からピクチャＩ１５のみをデコード対象として設定してデコードが開始される。従来シーケンスでは、次の時刻に表示するためのデータのみをデコード対象とする。従って、デコード部が処理可能であっても待機する時間が発生する。

［時刻（３）］
時刻（２）から１フレームの表示期間（１／２９．９７ｓｅｃ）経過後の時刻（３）での表示予定フレームは、Ｉピクチャ（Ｉ１５）である。
この時刻（３）において、Ｉピクチャ（Ｉ１５）のデコードは完了しており、Ｉピクチャ（Ｉ１５）が表示される。この時刻（２）〜（３）の期間における表示フレーム差分は（０）となる。

時刻（３）では、時刻（４）の表示フレームを選択し、選択した表示フレームのデコード対象ピクチャ列をデコードシーケンスとして設定してデコードを開始する。時刻（４）の表示予定フレームはピクチャＮｏ．２０のピクチャ（Ｂ２０）である。ピクチャＢ２０の表示処理に必要となるデコード対象ピクチャはＰ１８，Ｐ２１，Ｂ２０である。

このピクチャＰ１８，Ｐ２１，Ｂ２０に対するデコードが、時刻（３）から開始される。しかし、Ｂ２０のデコード期間中に、時刻（４）になってしまう。

［時刻（４）］
時刻（３）から１フレームの表示期間（１／２９．９７ｓｅｃ）経過後の時刻（４）での表示予定フレームは、Ｂピクチャ（Ｂ２０）である。
この時刻（４）において、Ｂピクチャ（Ｂ２０）のデコードは完了していない。従って、時刻（４）では、時刻（３）の表示フレームであるＩピクチャ（Ｉ１５）が継続して表示される。従って、この時刻（４）〜（５）の期間における表示フレーム差分は（−５）となる。

先に説明したように各表示時刻において、前の表示時刻に設定したデコードシーケンスに従ったデコードが完了していない場合は、次の時刻でのデコード処理は実行しない。本例では、時刻（３）で設定したデコードシーケンス（Ｐ１８，Ｐ２１，Ｂ２０）のデコードが、時刻（４）において完了していないため、時刻（４）では、次の表示タイミングである時刻（５）の表示フレームのためのデコード処理が省略される。

［時刻（５）］
時刻（４）から１フレームの表示期間（１／２９．９７ｓｅｃ）経過後の時刻（５）での表示予定フレームは、Ｂピクチャ（Ｂ２５）である。
しかし、この時刻（５）において、Ｂピクチャ（Ｂ２５）のデコードは完了しておらず、Ｂピクチャ（Ｂ２５）を表示することはできない。

先に説明したように、この従来シーケンスでは、各表示タイミングで表示予定のフレームのデコードが完了していない場合は、前の表示タイミングにおいて表示されていたフレーム、または表示予定であったフレームを表示する。この場合、前の時刻（４）の表示予定フレームであるピクチャ（Ｂ２０）が表示される。この時刻（５）〜（６）の期間における表示フレーム差分は（−５）となる。

時刻（５）では、時刻（６）の表示フレームを選択し、選択した表示フレームのデコード対象ピクチャ列をデコードシーケンスとして設定してデコードを開始する。時刻（６）の表示予定フレームはＩピクチャ（Ｉ３０）である。ピクチャＩ３０の表示処理に必要となるデコード対象ピクチャはＩ３０のみである。

時刻（５）からピクチャＩ３０のみをデコード対象として設定してデコードが開始される。従来シーケンスでは、次の時刻に表示するためのデータのみをデコード対象とする。従って、デコード部が処理可能であっても待機する時間が発生する。

［時刻（６）］
時刻（５）から１フレームの表示期間（１／２９．９７ｓｅｃ）経過後の時刻（６）での表示予定フレームは、Ｉピクチャ（Ｉ３０）である。
この時刻（６）において、Ｉピクチャ（Ｉ３０）のデコードは完了しており、Ｉピクチャ（Ｉ３０）が表示される。この時刻（６）〜（７）の期間における表示フレーム差分は（０）となる。

時刻（６）では、時刻（７）の表示フレームを選択し、選択した表示フレームのデコード対象ピクチャ列をデコードシーケンスとして設定してデコードを開始する。時刻（７）の表示予定フレームはピクチャＮｏ．３５のピクチャ（Ｂ３５）である。ピクチャＢ３５の表示処理に必要となるデコード対象ピクチャはＰ３３，Ｐ３６，Ｂ３５である。

このピクチャＰ３３，Ｐ３６，Ｂ３５に対するデコードが、時刻（６）から開始される。しかし、Ｂ３５のデコード期間中に、時刻（７）になってしまう。このようなシーケンスでデコード処理、表示処理が実行される。

図８、図９を比較して理解されるように、図８に示す本発明の処理シーケンスでは、デコード処理に空き時間が発生することがないが、図９の従来型のシーケンスではデコード処理が飛び飛びに行われて処理が実行されていない期間が多く発生している。

この結果として、図９に示す従来のシーケンスでは、図９（ａ）に示すように、表示予定フレームと実際の表示フレームの差分が大きくなる。フレーム差は以下に示すとおりである。
時刻（１）〜時刻（２）＝表示なし
時刻（２）〜時刻（３）＝−５フレーム
時刻（３）〜時刻（４）＝０フレーム
時刻（４）〜時刻（５）＝−５フレーム
時刻（５）〜時刻（６）＝−５フレーム
時刻（６）〜時刻（７）＝０フレーム
時刻（７）〜時刻（８）＝−５フレーム
となっている。すなわち、最大でも５フレームのずれが発生し、完全な５倍速の高速再生との差が大きくなり、乱れた再生画像となってしまう。

図８を参照して説明した本発明に従ったデコード再生処理シーケンスと、図９を参照して説明した従来型のシーケンスに従ったデコード再生処理シーケンスにおける表示予定画像と、実際に表示される画像のフレーム差分の比較データを図１０に示す。図１０に示す比較データから理解されるように、本発明の処理では、従来型処理に比較してフレーム差分が小さく、良好な高速再生画像が得られる。

なお、図８を参照して説明した処理例では、デコード部１０５におけるデコード処理時間をすべてのピクチャにおいて均一として仮定したが、実際はピクチャ種別や、ピクチャに含まれる情報によって異なることが予想される。従って、制御部１０９は、デコード予定のピクチャ種別、さらに可能であればピクチャの構成情報を取得して、これらの情報に基づいてデコード処理スケジューリングを行う構成としてもよい。

例えば、Ｉピクチャのデコード処理時間を８ｍｓ、Ｐピクチャのデコード処理時間を５ｍｓ、Ｂピクチャのデコード処理時間を３ｍｓのように、あらかじめ予測されるデコード処理時間を保持し、これらの処理時間に応じてデコードシーケンスを組み立てるといった処理を行う。

図８に示すデコードキューは、１つのフレームの表示期間（２９．９７ｓｅｃ）に２．５個のデコードピクチャを設定するような構成としていたが、上記のようなカクピクチャ対応のデコード処理時間を考慮することで、１つのフレームの表示期間（２９．９７ｓｅｃ）に、さらに多くのデコードピクチャを設定した処理を行なう構成とすることができる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理は、例えば集積回路などのハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、例えばＭＰＥＧ符号化データのデコード再生を行う構成において、デコード処理スケジューリング部が、未来の表示予定フレームの表示に必要となるデコード対象データのシーケンスを設定して、設定シーケンスに従ってデコード部に対する待ち行列であるキューをキューの空き発生に応じて順次設定し、表示フレーム選択部が各表示タイミングにおいて表示予定フレームのデコードの完了状況を確認し、未完了の場合は、表示予定フレームの近傍のデコード済みのフレームを表示フレームとして選択する。本構成により、例えば高速再生処理などにおいて、各表示タイミングの表示予定フレームのデコードが完了していない場合でも、近傍のフレームの表示が実行されることになり、揺らぎの少ない高品質な画像再生処理が実現される。

従来の再生処理装置における一般的なデコード処理例について説明するフローチャートを示す図である。 デコード対象のピクチャを選択して高速再生を可能とした再生処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る再生処理装置の一構成例をについて説明する図である。 本発明の一実施例に係る再生処理装置１００の制御部１０９、デコード部１０５、表示制御部１０７において実行する処理について説明する図である。 本発明の一実施例に係る再生処理装置の実行する具体的なデコードシーケンス設定例について説明する図である。 本発明の一実施例に係る再生処理装置の表示フレーム選択部２１３の実行する表示フレーム選択処理のシーケンスについて説明するフローチャートを示す図である。 出力予定フレームより前のデコード済みフレームから、出力予定フレームに最も近いフレームを選択して出力する処理の一例について説明する図である。 本発明の再生処理装置によるデコードおよび表示処理のシーケンスの一例について説明する図である。 従来型の再生処理装置によるデコードおよび表示処理のシーケンスの一例について説明する図である。 本発明の再生処理装置によるデコードおよび表示処理と、従来型の再生処理装置によるデコードおよび表示処理における表示フレームと表示予定フレームの差分の比較データを示す図である。

符号の説明

１００ 再生処理装置
１０１ 記録媒体
１０２ 通信ＩＦ
１０３ データ入力部
１０４ バッファ（キュー格納部）
１０５ デコード部
１０６ フレームバッファ
１０７ 表示制御部
１０８ 表示部
１０９ 制御部
２１１ デコード処理スケジューリング部
２１２ デコード処理要求部
２１３ 表示フレーム選択部

Claims (9)

1. 符号化データのデコード処理を実行するデコード部と、
   前記デコード部におけるデコード処理のシーケンスを設定するデコード処理スケジューリング部と、
   前記デコード部におけるデコード結果から表示フレームを選択する表示フレーム選択部を有し、
   前記デコード処理スケジューリング部は、未来の表示予定フレームの表示に必要となるデコード対象データのシーケンスを設定し、前記シーケンスに従って前記デコード部に対する待ち行列であるキューをキューの空き発生に応じて順次設定する構成であり、
   前記表示フレーム選択部は、各表示タイミングにおいて表示予定フレームのデコードの完了状況を確認し、未完了の場合は再生態様に応じて表示フレームを選択する構成であり、
   表示部における表示状態が一時停止処理状態である場合は、直前表示フレームの再表示を実行し、
   表示部における表示状態が正方向再生処理状態である場合は、表示予定フレームより前の過去フレーム中、最も近傍のデコード済みフレームを表示フレームとして選択する処理を行い、
   表示部における表示状態が逆方向再生処理状態である場合は、表示予定フレームより後の未来フレーム中、最も近傍のデコード済みフレームを表示フレームとして選択する処理を行う構成である再生処理装置。
2. 前記デコード処理スケジューリング部は、
   前記キューの空きを監視し、空きが発生した場合には前記シーケンスに従って順次キューを設定する構成である請求項１に記載の再生処理装置。
3. 前記デコード処理スケジューリング部は、
   現在表示フレームの次の表示予定フレームの表示に必要となるデコード対象データに加えて、さらにその後の表示予定フレームの表示に必要となるデコード対象データも前記デコード部に対する待ち行列であるキューとして設定する構成である請求項１に記載の再生処理装置。
4. 前記デコード処理スケジューリング部は、
   再生速度に基づいて表示間隔ごとの未来の表示予定フレームを解析し、表示予定フレームの表示に必要となるデコード対象データを表示させるために必要なデコード対象データも前記デコード部に対する待ち行列であるキューとして設定する構成である請求項１に記載の再生処理装置。
5. 前記符号化データはＩピクチャ、Ｐピクチャ、Ｂピクチャを構成要素とするＭＰＥＧデータであり、
   前記デコード処理スケジューリング部は、
   未来の表示予定フレームがＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれであるかを判別して、判別結果に従ってデコードシーケンスを設定する構成である請求項１に記載の再生処理装置。
6. 前記符号化データはＩピクチャ、Ｐピクチャ、Ｂピクチャを構成要素とするＭＰＥＧデータであり、
   前記デコード処理スケジューリング部は、
   Ｉピクチャ、Ｐピクチャ、Ｂピクチャに対応して設定されたデコード予測時間を取得し、デコード対象データの種類に応じてデコードシーケンスを設定する構成である請求項１に記載の再生処理装置。
7. 符号化データのデコード処理を実行するデコード部と、
   前記デコード部におけるデコード処理のシーケンスを設定するデコード処理スケジューリング部と、
   前記デコード部におけるデコード結果から表示フレームを選択する表示フレーム選択部を有し、
   前記デコード処理スケジューリング部は、未来の表示予定フレームの表示に必要となるデコード対象データのシーケンスを設定し、前記シーケンスに従って前記デコード部に対する待ち行列であるキューをキューの空き発生に応じて順次設定する構成であり、
   前記表示フレーム選択部は、各表示タイミングにおいて表示予定フレームのデコードの完了状況を確認し、未完了の場合は再生態様に応じて表示フレームを選択する構成であり、
   表示部における表示状態が一時停止処理状態である場合は、直前表示フレームの再表示を実行し、
   表示部における表示状態が正方向再生処理状態である場合は、表示予定フレームより前の過去フレーム中、最も近傍のデコード済みフレームを表示フレームとして選択する処理を行い、
   表示部における表示状態が逆方向再生処理状態である場合は、表示予定フレームより後の未来フレーム中、最も近傍のデコード済みフレームを表示フレームとして選択する処理を行う構成を有する集積回路。
8. 再生処理装置において実行する再生処理方法であり、
   デコード部が、符号化データのデコード処理を実行するデコードステップと、
   デコード処理スケジューリング部が、前記デコード部におけるデコード処理のシーケンスを設定するデコード処理スケジューリングステップと、
   表示フレーム選択部が、前記デコードステップにおけるデコード結果から表示フレームを選択する表示フレーム選択ステップを有し、
   前記デコード処理スケジューリングステップは、未来の表示予定フレームの表示に必要となるデコード対象データのシーケンスを設定し、前記シーケンスに従って前記デコード部に対する待ち行列であるキューをキューの空き発生に応じて順次設定するステップを含み、
   前記表示フレーム選択ステップは、各表示タイミングにおいて表示予定フレームのデコードの完了状況を確認し、未完了の場合は再生態様に応じて表示フレームを選択し、
   表示部における表示状態が一時停止処理状態である場合は、直前表示フレームの再表示を実行し、
   表示部における表示状態が正方向再生処理状態である場合は、表示予定フレームより前の過去フレーム中、最も近傍のデコード済みフレームを表示フレームとして選択する処理を行い、
   表示部における表示状態が逆方向再生処理状態である場合は、表示予定フレームより後の未来フレーム中、最も近傍のデコード済みフレームを表示フレームとして選択する処理を行う再生処理方法。
9. 再生処理装置において再生処理を実行させるプログラムであり、
   デコード部に、符号化データのデコード処理を実行させるデコードステップと、
   デコード処理スケジューリング部に、前記デコード部におけるデコード処理のシーケンスを設定させるデコード処理スケジューリングステップと、
   表示フレーム選択部に、前記デコードステップにおけるデコード結果から表示フレームを選択させる表示フレーム選択ステップを有し、
   前記デコード処理スケジューリングステップは、未来の表示予定フレームの表示に必要となるデコード対象データのシーケンスを設定し、前記シーケンスに従って前記デコード部に対する待ち行列であるキューをキューの空き発生に応じて順次設定するステップを含み、
   前記表示フレーム選択ステップは、各表示タイミングにおいて表示予定フレームのデコードの完了状況を確認し、未完了の場合は再生態様に応じて表示フレームを選択し、
   表示部における表示状態が一時停止処理状態である場合は、直前表示フレームの再表示を実行し、
   表示部における表示状態が正方向再生処理状態である場合は、表示予定フレームより前の過去フレーム中、最も近傍のデコード済みフレームを表示フレームとして選択する処理を行い、
   表示部における表示状態が逆方向再生処理状態である場合は、表示予定フレームより後の未来フレーム中、最も近傍のデコード済みフレームを表示フレームとして選択する処理を行うプログラム。

Images