JP4362480B2 - レジューム再生システム - Google Patents

Description

本発明は、任意の形式の動画ファイルの再生を行う機器単独または機器間での、再生中断位置からの再生再開および操作者が指定した任意の位置からの再生再開（レジューム再生）方式に関し、特に端末を用いた場合の再生再開方式に関する。

従来から、動画ファイルを任意の途中位置から再生する手法についての提案がなされている。例えば、動画像符号化データと、その動画像符号化データのいくつかのフレームについて、フレーム情報を予め設定しておくことにより、任意のフレームからの途中再生を行う方法が開示されている（例えば、特許文献１参照）。動画像符号化データをデータAとし、フレーム情報をデータBとして、途中フレームからの再生を説明する。フレーム情報には、動画像符号化データの途中フレームを再生するときに必要となる参照画像データと、途中フレームの符号化データとが、データAのどの位置に格納されているかを示すアドレスが記述されている。

フレーム情報は、動画像符号化データを構成する全フレームのうちの、いくつかのフレームについて設定される。そして、フレーム情報が設定されているフレームは任意に選択可能であり、任意に選択されているフレームについてランダムアクセスが可能になる。従って、結果的に任意のフレームをランダムアクセスできることになる。このようなフレーム情報の構成例を図８に示す。図８に示すフレーム構成は、第Ｉフレームの復号用参照画像データと第Ｉフレームの動画像符号化データ格納アドレスというようにフレーム毎のデータとアドレスとが対応付けされて格納されている。

また、フレーム情報を別の構成とすることも可能である。別の構成例について図９に示す。図９に示す構成例においては、フレーム情報は、参照画像データと、途中フレームの符号化データと、その途中フレームに続く各フレームの符号化データと、により構成される。あるフレーム情報に含まれる符号化データは、次のフレーム情報における最初の符号化データのフレーム直前のフレームのものである。この場合も、フレーム情報は動画像を構成する全フレームのうちのいくつかのフレームに設定される。そして、フレーム情報が設定されるフレームは、任意に選択可能である。従って、任意に選択されるフレームについて、ランダムアクセスが可能になる。尚、フレーム情報全体には、動画像を構成する全フレームが含まれることになる。
特開平7-203358号公報

上記特許文献１に開示された方法では、予め動画像符号化データの全フレームを含むフレーム情報を設定しておくことが必要であり、その内容は、複数の参照画像データと、それに続く符号化データのアドレス又は符号化データそのものと、が含まれている。すなわち、特許文献１におけるフレーム情報とは、動画像符号化データの任意の部分を抜き出してファイル化したものと言うことができる。このような方法では、フレーム情報を予め設定する工数と、フレーム情報を格納しておく記憶領域と、が必要となる。

ところで、動画像符号化データ内のフレーム数が多くなるほど、すなわち再生時間が長くなるほどフレーム情報は増加し、大量の記憶領域を必要となる。また、上記の方法では、動画像符号化データの任意位置からの途中再生の度に操作者が途中フレームを指定する必要がある。

本発明は、動画像符号化データを再生途中で停止した場合に、同じの動画像符号化データを次回再生する際に、前回停止位置からのスムーズな再生を行う技術を提供することを目的とする。

本発明に係るレジューム再生技術は、動画ファイルを再生途中で停止するか、または任意に指定した位置を記憶しておくことにより、同一の動画ファイルを次回再生する際に、自動的に前回停止位置からの再生を行う再生再開機能を有する。再生再開機能を、以降、「レジューム再生機能」と称する。

すなわち、本発明は、動画ファイルの再生を行う端末において、操作者が再生操作を行うGUI部と、画像、音声、テロップ等の異なる種別のデータからなる動画ファイルと、再生動作に関する制御情報を記述した再生情報ファイルと、再生停止時点の任意フレーム数分の再生処理参照ファイルを記憶する記憶部と、動画ファイルの再生処理を行う動画ファイル処理部と、再生情報ファイルの読み書きおよび解析を行う再生情報ファイル処理部と、動画ファイル処理部と再生情報ファイル処理部の制御を行う動作管理部と、をもつ。

これにより、操作者が再生を中断した位置、または任意に指定した位置から再生再開を行うレジューム再生を可能とし、また動画ファイルの任意位置からの途中再生の為の付随的な設定ファイルの作成を不要とする。

本発明のレジューム再生システムでは、任意の動画ファイルの再生中断位置および、任意の位置からの再生再開が可能となる。また、レジューム再生に必要な再生制御情報、再生処理参照データをファイル化しているため、再生再開機能は、レジューム再生システムを搭載した端末単独および、異なる端末間で実行することが可能である。従って、操作がより簡単になり、また操作に関する自由度が向上するという利点がある。

本発明の一実施の形態によるレジューム再生システムの構成例を示す図である。 図２Ｂとともに、本発明の一実施の形態によるレジューム再生システムにおいて、操作者が初めて動画ファイルを再生し、再生情報ファイルが作成されるまでの処理の流れを示すフローチャート図である。 本発明の一実施の形態によるレジューム再生システムにおいて、操作者が初めて動画ファイルを再生し、再生情報ファイルが作成されるまでの処理の流れを示すフローチャート図であり、図２Ａに続く図である。 図３Ｂ、図３Cとともに、本発明の一実施の形態によるレジューム再生システムにおいて、動画ファイルと再生情報ファイルとからレジューム再生を行う動作の流れを示すフローチャート図である。 本発明の一実施の形態によるレジューム再生システムにおいて、動画ファイルと再生情報ファイルとからレジューム再生を行う動作の流れを示すフローチャート図であり、図３Ａに続く図である。 本発明の一実施の形態によるレジューム再生システムにおいて、動画ファイルと再生情報ファイルとからレジューム再生を行う動作の流れを示すフローチャート図であり、図３Ｂに続く図である。 本発明の一実施の形態によるレジューム再生システムにおける動画ファイルの基本構成例を示す図である。 本発明の一実施の形態による動画ファイル処理部の構成例を示す図である。 本発明の一実施の形態によるレジューム再生システムにおける再生処理参照ファイルの構成例を示す図である。 本発明の一実施の形態によるレジューム再生システムにおける再生情報ファイルの構成例を示す図である。 一般的なフレーム情報の構成例を示す図であり、第Ｉフレームの復号用参照画像データと第Ｉフレームの動画像符号化データ格納アドレスというようにフレーム毎のデータとアドレスとが対応付けされて格納されている構成を示す図である。 図８とは異なるフレーム情報例を示す図であり、フレーム情報は、参照画像データと、途中フレームの符号化データと、その途中フレームに続く各フレームの符号化データと、により構成される様子を示す図である。

以下、本発明の実施の形態によるレジューム再生システムについて図面を参照しつつ説明を行う。図１は、本実施の形態によるレジューム再生機能に関するシステム構成（以下、「レジューム再生システム」と称する。）を示すブロック図である。図１に示すように、本実施の形態によるレジューム再生システムは、任意の形式の動画データの再生を行う端末において、操作者が編集操作を行うためのGUI部（入力操作部）11と、レジューム再生動作に関する処理の制御を行う動作管理部12と、動画ファイルの再生に関る処理の制御を行う動画ファイル処理部13と、レジューム再生を実行するための制御情報を処理する再生情報ファイル処理部15と、記憶部17A、記憶部17Bと、を含んで構成される。動画ファイル処理部13は、動画ファイルに含まれる、異なる種別のデータを種別毎に再生する処理および記録する処理を行うデータ処理部14を有している。

再生情報ファイル処理部15は、再生情報の解析を行う解析部16を備えている。記憶部17Aは、レジューム再生システムを搭載した端末の内部にあり、動画ファイル18Aと、再生情報ファイル19Aと、再生処理参照ファイル20Aと、をそれぞれ記憶する記憶領域を有する。記憶部17Bは、外部のネットワーク上にあり、記憶部17Aと同様に、動画ファイル18Bと、再生情報ファイル19Bと、再生処理参照ファイル20Bと、をそれぞれ記憶する記憶領域を有する。

ここで、図１に示すレジューム再生システムにおいて、操作者が動画ファイルのレジューム再生を行う際の処理の流れについて図２Ａ、図２Ｂ及び図３Ａ、図３Ｂ、図３Cに示すフローチャート図を参照しつつ説明を行う。

図２Ａ、図２Ｂは、操作者が初めて動画ファイルを再生し、再生情報ファイルの作成が行われるまでの流れを示すフローチャート図である。適宜図１も参照して説明を行う。図１及び図２Ａ、２Ｂを参照しつつ処理の流れを説明する、まず、ステップS201において、操作者からの操作イベントにより、GUI部11が、再生すべき動画ファイル名を取得する。

ステップS202において、動作管理部12は、GUI部11から取得した動画ファイル名を動画ファイル処理部13に通知する。動画ファイル処理部13は、ステップS203において記憶部17Aまたは記憶部17Bから該当する動画ファイル（動画ファイル）を読み込む。端末内部の記憶部17Aと、外部ネットワーク上の記憶部17Bとの使い分けは、通常ファイル名指定の際のパス名を判別することにより行う。

例えば、本実施の形態の例においては、端末内部の記憶部17Aの場合は、ドライブ名＋動画ファイル名の組み合わせからなり、外部ネットワーク上の記憶部17Bの場合は、URL＋動画ファイル名の組み合わせを提示する。例えば、c:\resume\douga_file.拡張子の場合は記憶部17Aを意味し、http://www.resume.com/douga_file.拡張子の場合は記憶部17Bを意味する。本実施の形態においては、記憶部17A内のファイルが指定されたとして説明する。

次に、動画ファイルについて説明する。動画ファイルは通常、画像データ、音声データ、テロップデータ等複数の異なる種別のデータから成る。ファイルの容量を小さくする為に、画像データ、音声データには符号化処理を施し、データを圧縮して保持する場合が多い。この場合、データを再生する為には、復号化処理を行う必要がある。符号化の方式としては、１つの基本フレームデータおよび、その差分フレームデータを生成する方法と、１つ１つのフレームでデータを完結させる方法がある。

前者はフレーム間予測を用いた画像の符号化方式および復号化方式として公知の手法であり、画像ではMPEG4,H.263等の方式があり、音声ではAMRという方式が有名である。１つ１つのフレームが完結している方式は、モーションJPEGという方式があり、１つ１つのフレームをJEPGという符号化方式を用いている。１つ１つのフレームが基本フレームであると考えることが可能である。

動画ファイルにはアニメーションも存在する。ベクトルアニメーションと呼ばれる手法では、１つの基本フレームデータと差分フレームデータの関係があり、差分フレームデータには、基本フレームデータで設定されている座標値毎の差分値が記録される。本実施の形態では、動画ファイルの形式として普及している手法を用いて説明する。すなわち、画像データ、音声データはフレーム間予測を用いて符号化されており、画像データ、音声データ、さらにテキストデータ（テロップ）等、異なる種別のデータが多重化されているファイル形式である場合を前提とする。以降、動画ファイルは、前記多重化ファイルであることとして、説明を続ける。

動画ファイルの処理を行う場合、データ処理部14の詳細な構成を図５に示す。データ処理部14は、分離部141、画像処理部142、音声処理部143、テロップ処理部144からなる。分離部141は、ステップS204において、動画ファイル18Aに含まれる画像データと、音声データと、テロップデータと、を分離する。

ここで、図４を参照しつつ、上記動画ファイル18Aの基本構成例について説明を行う。図４に示すように、動画ファイルは、ヘッダ部41とデータ部42とに大別される。ヘッダ部41は、ファイル内に含まれる画像符号化形式、音声符号化形式等の符号化形式種別と、データ部内において、最小管理単位に分割して格納されている画像データ、音声データ、テロップデータのそれぞれの管理単位の位置を示すアドレス等が含まれている。データ部42には、画像データ、音声データ、テロップデータのそれぞれの最小管理単位が複数格納されている。ここで、データの最小管理単位とは、画像、音声のストリームデータ、および、一連の文字列を分割したものであり、例えば、画像では１フレーム＝１最小管理単位Ｖ１、Ｖ２、…、音声では任意の複数フレーム＝１最小管理単位Ａ１、Ａ２、…、テロップでは同一のテロップ属性を持つ任意の複数文字＝１最小管理単位Ｔ１、Ｔ２、…、となるように定義されている。

分離部141における分離処理とは、ヘッダ部41の最小管理単位のアドレスを検索し、画像、音声。テロップ毎に最小管理単位のデータを取り出し、一連の画像および音声のストリームデータ、テロップ全文字を、ワークメモリ上に再構築する処理を指す。

次に、画像のストリームデータの内容について説明する。ストリームデータは、フレーム単位のデータが連続した一連のデータであり、基本フレームデータすなわちIフレームと、差分フレームデータすなわちPフレームとからなる。

Iフレームは、１フレームの復号化に必要な情報の全てのデータを含むフレームであり、Pフレームは、直前のフレームからの差分データのみを有するフレームである。すなわち、例えば画像データを復号化する際には、最初に、Iフレームを用いて１フレーム分の復号化処理を行い、引き続き、１フレーム分の復号化処理済みデータと、差分のみのPフレームとに基づいて、次の１フレーム分の復号化処理を行う。

次に、ステップS205において、動画ファイル処理部13は、画像処理部142と音声処理部143とテロップ処理部144とにそれぞれ対応するデータを転送し、動画ファイル18Aの復号化処理を行う。ステップS206において、動画ファイル処理部13は、動画ファイル18A内に予め設定された再生すべき時間と、復号化処理の経過時間とが一致するか否かを判定することにより、再生時間が満了したか否かを判定する。YESの場合、ステップS217に進み、復号化処理を停止し動画ファイル18Aの再生を終了する。NOの場合、ステップS207に進む。

ステップS207において、動作管理部12は、操作者からのイベントにより再生停止イベント、または再生情報ファイル生成指示イベントが発生したか否かを判定する。再生停止イベントまたは、再生情報ファイル生成指示イベントが発生している場合（YESの場合）はステップS208へ進み、レジューム再生を行うための関連ファイルの作成に移行する。再生停止イベントが発生していない場合（NOの場合）は、ステップS204へ戻り、動画ファイル18Aの分離処理を継続する。

ステップS208において、動作管理部12は操作者からのイベントによりレジューム再生モードが指定されているか否かを判別する。YESの場合、ステップS209へ進みレジューム再生を行うための関連ファイルの作成を継続する。NOの場合、ステップS218へ進み復号化処理を停止し動画ファイル18Aの再生を終了する（エンド）。

ステップS209において、画像処理部142は、再生停止イベントまたは、再生情報ファイル生成指示イベント発生後、動画ファイルから少なくとも１フレーム分のデータを含む任意数分のフレームデータを取り出す。次いで、複数のフレームデータのうち少なくとも１フレーム分のデータを復号化処理し、引き続き再符号化処理を行う。次いで、再符号化処理により生成した基本フレームと、先に動画ファイルから取り出した残りのフレームデータを結合し、再生処理参照用データとして端末内のワークメモリに一時的に保存する。勿論、動画ファイルから取り出した任意数のフレームデータ全てを再符号化しても良い。

動画ファイル処理部13は、ステップS210において、全ての復号化処理を停止する。次いで、ステップS211において、動画ファイル処理部13は、復号化処理を実行した経過時間すなわち再生経過時間と、復号化処理中に実行した最後のIフレームの復号化処理時間すなわちIフレーム処理時間を動作管理部12へ通知する。

ステップS212において、動作管理部12は、再生経過時間とIフレーム処理時間との差分を検出し、ステップS213において、その差分の値が予め設定された閾値以下であるか否かを判定する。ここで、閾値とは、レジューム再生の効果があるか否かを判定することができる値である。ステップS213における判定結果が閾値以下である場合には、ステップS215に進み、閾値以上である場合はステップS214に進み、ステップS214において、動画処理部142は、前記ワークメモリに保存した再生処理参照用データを再生処理参照ファイルとして、記憶部17Aに記憶する。

再生処理参照ファイルの構成について、図６を参照しつつ説明する。図６に示すように、再生処理参照ファイルは、大きくヘッダ部61とデータ部65に分かれており、ヘッダ部61には、任意のファイルがレジューム再生に適応するものであるか否かを示す処理判定コード62と、対応する動画ファイル名63と、ファイル内に格納した全てのフレームデータの数を示すフレーム数64と、再生処理参照用データ66とを含む。

後述するレジューム再生動作では、画像の再生開始位置を画像ストリームデータ内のIフレームに合わせるか否かの判定を行う。しかしながら、再生開始位置をIフレームに合わせて再生を行う場合、Iフレームが先頭にしか存在しない動画ファイルや、Iフレームの間隔が大きい動画ファイルでは、操作者が再生を停止した位置と、実際にレジューム再生を開始する位置との間の誤差が大きくなる。具体的には、再生経過時間とIフレーム処理時間との差分が誤差となる。

前述の閾値は、操作者が再生を停止した位置と、実際にレジューム再生を行う開始位置との許容誤差を示すものであり、誤差が閾値以下である場合、画像ストリームデータ内のIフレームからのレジューム再生を行い、誤差が閾値よりも大きい場合、再符号化処理により作成した１フレーム分のデータ、すなわち新規に作成したIフレームからのレジューム再生を行う。

これにより、操作者の意図した停止位置と実際の再生開始位置との間の誤差を最小限にすることができる。また、不要な符号化処理とレジューム再生用にのみ使用するファイル、すなわち再生処理参照ファイルの作成を行わずに済ませることができる。ステップS213における差分値が閾値より大きい場合には、ステップS214へ進み、動画ファイル処理部13は再生処理参照ファイルを記憶部17Aに記録する。差分値が閾値以下の場合は、ステップS215へ進む。

本レジューム再生システムにおいては、勿論、ステップS211からステップS213までの通知および判定処理を行わず、必ず再生処理参照ファイルを記録してもよい。この場合、必ず再生処理参照ファイルのサイズ分だけ記憶部の領域を使用することになるが、レジューム再生を開始する位置の精度は向上することになる。

ステップS215において、動作管理部12は再生した動画ファイル名と再生経過時間とを再生情報ファイル処理部15へ通知する。次いで、ステップS216において、再生情報処理部15は、動画ファイル名と再生経過時間とに基づいて再生情報ファイルを作成し、記憶部17Aへ記録する。ここで、再生情報ファイルの構成例について図７を参照しつつ説明する。図７に示すように、再生情報ファイルは、任意のファイルがレジューム再生に適応するものであるか否かを示す処理判定コード71と、対応する動画ファイル名72と、動画ファイル18Aの再生開始位置を示す再生開始時間73とを含む。本レジューム再生システムにおける処理は、記憶部17Aに再生情報ファイルを記録した後、全ての再生動作を終了する。

次に、図３Ａ、図３Ｂ、図３Ｃに示すフローチャート図を参照しつつ、図２Ａ、図２Ｂを参照して説明した処理により動画ファイル18Aと再生情報ファイル19Aとに基づいて行われるレジューム再生の処理手順について説明する。

ステップS301において、GUI部は再生する動画ファイル名を取得する。続いて、動作管理部12は、ステップS302において、操作者からのイベントによりレジューム再生モードが指定されているか否かを判別する。レジューム再生モードが指定されている場合は、ステップS304へ進む。レジューム再生モードが指定されていない場合は、ステップS303へ進み、動作管理部12は再生する動画ファイル名を動画ファイル処理部13へ通知する。動画ファイル処理部13は該当する動画ファイルを読み込み、ファイルの先頭から復号化処理を開始する。ステップS304において、動作管理部12は動画ファイル名を再生情報ファイル処理部15へ通知する。ステップS305において、再生情報ファイル処理部15は、動画ファイル名に対応する再生情報ファイルを読み込む。

ここで、動画ファイル名に対応する再生情報ファイル名の一例を示す。動画ファイル名が、SAMPLE.拡張子Aという名称であった場合に、再生情報ファイル名はSAMPLE.拡張子Bとしておくことにより、２つのファイルの対応付けが可能となる。拡張子Aは動画ファイルであることを示し、拡張子Bは再生情報ファイルであることを示す。

ステップS306において、解析部16は再生情報ファイルに記述された処理判定コードが、レジューム再生用として適合しており、かつ、再生情報ファイルに記述された動画ファイル名が動作管理部12により通知された動画ファイル名と一致するか否かの判定を行う。動画ファイル名が一致する場合は、ステップS307へ進む。動画ファイル名が一致しない場合は、ステップS303に進み、動作管理部12は再生する動画ファイル名を動画ファイル処理部13へ通知する。動画ファイル処理部13は該当する動画ファイルを読み込み、ファイルの先頭から復号化処理を開始する。

ステップS307において、再生情報ファイル処理部15は、再生情報ファイルに記述された再生開始時間を動作管理部12へ通知する。ステップS308において、動作管理部12は再生する動画ファイル名と再生開始時間とを動画ファイル処理部13へ通知する。動画ファイル処理部13は、ステップS309において、動画ファイル名に対応する再生処理参照ファイル20Aが記憶部17A内に存在するか否かを検索する。再生処理参照ファイル20Aが記憶部17A内に存在する場合は、ステップS311に進む。再生処理参照ファイ20Aが記憶部17A内に存在しない場合は、ステップS310に進み、動画ファイルを読み込んだ後に、再生開始時間の直前に位置するIフレームから復号化処理を開始する。

ステップS311において、動画ファイル処理部13は再生処理参照ファイルを読み込む。

ステップS312において、画像処理部142は再生処理参照ファイル内の処理判定コードがレジューム再生用として適合しており、かつ再生処理参照ファイルに記述された動画ファイル名が動作管理部12により通知された動画ファイル名と一致するか否かの判定を行う。

動画ファイル名が一致する場合は、ステップS313へ進む。動画ファイル名が一致しない場合はステップS310に進み、動画ファイルを読み込んだ後に、再生開始時間の直前に位置するIフレームから復号化処理を開始する。

ステップS313において、動画ファイル処理部13は動画ファイルを読み込み、さらに再生処理参照ファイル内のフレームデータの復号化処理を行う。ステップS314にて、再生開始時間の位置からS313で復号化したフレーム数分だけ前方へ進んだ位置にあるPフレームから復号化処理を開始する。

ステップS315において、動画ファイル処理部13は分離部141と画像処理部142と音声処理部143とテロップ処理部144とを制御しつつ、動画ファイルの復号化を行う。ステップS316において、動画ファイル処理部13は、動画ファイル内に予め設定された再生すべき時間と復号化処理の経過時間とが一致するか否かにより、再生時間が満了したか否かを判定する。再生時間が満了した場合（YESの場合）は、ステップS317に進み、動画ファイル処理部13は全ての復号化処理を停止し、動画ファイルに対応する再生情報ファイルと再生処理参照ファイルが存在する場合、それらのファイルを削除する。再生情報ファイルおよび再生処理参照ファイルを削除した後に、本レジューム再生システムは全ての再生動作を終了する。

再生時間が満了していない場合（NOの場合）は、ステップS318に進む。ステップS318において、動作管理部12は、操作者からのイベントにより再生停止イベントまたは、再生情報ファイル生成指示イベントが発生したか否かを判定する。再生停止イベントまたは再生情報ファイル生成指示イベントが発生している場合（YESの場合）、ステップS319へ進み、レジューム再生を行う為の関連ファイルの作成に移行する。再生停止イベントが発生していない場合（NOの場合）、ステップS315に戻り、動画ファイルの分離処理を継続する。

ステップS319において、画像処理部142は、再生中断イベントまたは、再生情報ファイル生成指示イベント発生後、動画ファイルから少なくとも１フレーム分のデータを含む任意数分のフレームデータを取り出す。次いで、複数のフレームデータのうち少なくとも１フレーム分のデータを復号化処理し、引き続き再符号化処理を行う。

次いで、再符号化処理により生成した基本フレームと、先に動画ファイルから取り出した残りのフレームデータを結合し、再生処理参照用データとして端末内のワークメモリに一時的に保存する。勿論、動画ファイルから取り出した任意数のフレームデータ全てを再符号化しても良い。

動画ファイル処理部13は、ステップS320において、全ての復号化処理を停止する。次いで、ステップS321において、動画ファイル処理部13は、復号化処理を実行した経過時間すなわち再生経過時間と、復号化処理中に実行した最後のIフレームの復号化処理時間すなわちIフレーム処理時間を動作管理部12へ通知する。

ステップS322において、動作管理部12は、再生経過時間とIフレーム処理時間との差分を検出し、ステップS323において、その差分の値が予め設定された閾値以下であるか否かを判定する。ここで、閾値とは、レジューム再生の効果があるか否かを判定することができる値である。ステップS323における判定結果が閾値以下である場合には、ステップS325に進み、閾値以上である場合はステップS324に進み、ステップS324において、動画処理部142は、前記ワークメモリに保存した再生処理参照用データを再生処理参照ファイルとして、記憶部17Aに記憶する。

ステップS325において、動作管理部12は再生した動画ファイル名と再生経過時間とを再生情報ファイル処理部１５へ通知する。ステップS326において、再生情報ファイル処理部15は、動画ファイル名と再生経過時間とに基づいて、再生情報ファイルを既存の再生情報ファイルに上書きし、記憶部17Aへ記録する。

レジューム再生システムは、再生情報ファイルを記録後、全ての再生動作を終了する。

前述のフローチャート図では、フレーム間予測を用いて符号化した画像データ、音声データと、テキストデータ（テロップ）等、異なる種別のデータを多重化した形式の動画ファイルについて説明した。ここで、他のファイル形式の場合について説明する。１つ１つの画像フレームが完結している形式の動画ファイルでは、各フレームが基本フレームとなる為、再生処理参照ファイルの生成処理は不要となる。レジューム再生システムにおいては、任意のフレームの再生再開位置を指定する再生情報ファイルの生成のみ行えば良い。

ベクトルアニメーション形式の動画ファイルでは、フレーム間予測形式の動画ファイルと同様に、基本フレームデータと差分フレームデータの関係がある為、再生再開位置は、基本フレームの位置、または再生処理参照フレームの位置に依存する。

再生処理参照フレームは、差分フレームデータの再生を行った際の各座標の差分値を蓄積しておき、再生情報ファイル生成指示イベントが発生した時点で、直前に処理した基本フレームの各座標値に、蓄積した座標差分値を反映することにより生成する。そして生成した再生処理参照フレームを再生処理参照ファイルとして記憶する。

前述の実施の形態においては、フレーム間予測を用いた画像データから再生処理参照データを生成する為に、再符号化処理を行い、基本フレームを生成する手法を提示した。勿論、再生処理参照データを生成する手法は再符号化処理だけではない。

復号化したフレームをそのままYUV形式、RGB形式の画像データとして再生処理参照データとしても良い。この場合、符号化処理を行わない為、再生処理参照データのファイルサイズは大きくなるが、再生再開時の画質は品位が向上する。

前述のフローチャート図では、レジューム再生システムを搭載した端末単独での動作を説明したが、記憶部17A内の動画ファイル、再生情報ファイル、再生処理参照ファイルを、同様のレジューム再生システムを搭載した他の端末に転送することによって、レジューム再生を実行することも可能である。

以上において説明したように、本実施の形態によるレジューム再生システムを用いると、任意の再生中断位置から動画ファイルの再生を再開することが可能となる。また、レジューム再生に必要な再生制御情報と再生処理参照データとをファイル化しているため、再生再開機能は、レジューム再生システムを搭載した端末単独で、或いは、他の異なる端末との間で実行することが可能である。

さらに、レジューム再生時において、操作者の意図する再生再開位置と実際の再生再開位置との許容誤差を閾値として設定しておき、再生処理参照ファイルの作成の判定に用いることにより、不要なファイルを作成することなく、動画ファイルの任意の位置からの途中再生を行うことが可能となる。

本発明は、種々の多重化データのレジューム再生に適用可能である。

Claims (19)

1. 動画ファイルの再生を行う動画ファイル再生装置であって、
   前記動画ファイルと、前記動画ファイルの再生位置を含む再生処理に関する制御情報を記述した再生情報ファイルと、任意の単位フレーム数分の動画ファイルからなる再生処理参照ファイルと、を記憶する記憶部と、
   前記動画ファイルの再生処理を行う動画ファイル処理部と、
   前記再生情報ファイルの読み書きおよび解析を行う再生情報ファイル処理部と、
   前記動画ファイル処理部と前記再生情報ファイル処理部とを制御する動作管理部と、
   任意のフレーム位置で一のフレームの複合化に必要な情報の全てのデータを含む基本フレームを再構成する処理を行う基本フレーム再構成手段と
   を有する動画ファイル再生装置。
2. 動画ファイルの再生を行う動画ファイル再生装置であって、
   前記動画ファイルと、前記動画ファイルの再生位置を含む再生処理に関する制御情報を記述した再生情報ファイルと、任意の単位フレーム数分の動画ファイルからなる再生処理参照ファイルと、を記憶する記憶部と、
   前記動画ファイルの再生処理を行う動画ファイル処理部と、
   前記再生情報ファイルの読み書きおよび解析を行う再生情報ファイル処理部と、
   前記動画ファイル処理部と前記再生情報ファイル処理部とを制御する動作管理部と、
   動画ファイルの再生中に再生を停止する命令を受けた場合に、再生停止位置付近の一のフレームの複合化に必要な情報の全てのデータを含む基本フレームを再構成する処理を行う基本フレーム再構成手段と
   を備えることを特徴とする動画ファイル再生装置。
3. 動画ファイルの再生を行う動画ファイル再生装置であって、
   前記動画ファイルと、前記動画ファイルの再生位置を含む再生処理に関する制御情報を記述した再生情報ファイルと、任意の単位フレーム数分の動画ファイルからなる再生処理参照ファイルと、を記憶する記憶部と、
   前記動画ファイルの再生処理を行う動画ファイル処理部と、
   前記再生情報ファイルの読み書きおよび解析を行う再生情報ファイル処理部と、
   動画ファイルの再生位置を指定した場合に、その指定された再生位置付近の一のフレームの複合化に必要な情報の全てのデータを含む基本フレームを再構成する処理を行う基本フレーム再構成手段と
   を備えることを特徴とする動画ファイル再生装置。
4. 動画ファイルの再生を行う動画ファイル再生装置であって、
   前記動画ファイルと、前記動画ファイルの再生位置を含む再生処理に関する制御情報を記述した再生情報ファイルと、任意の単位フレーム数分の動画ファイルからなる再生処理参照ファイルと、を記憶する記憶部と、
   前記動画ファイルの再生処理を行う動画ファイル処理部と、
   前記再生情報ファイルの読み書きおよび解析を行う再生情報ファイル処理部と、
   前記動画ファイル処理部と前記再生情報ファイル処理部とを制御する動作管理部と、
   動画ファイルの再生停止中に動画ファイルの再生を開始する命令を受けた場合に、再生停止位置付近の一のフレームの複合化に必要な情報の全てのデータを含む基本フレームを再構成する処理を行う基本フレーム再構成手段と
   を備えることを特徴とする動画ファイル再生装置。
5. 前記基本フレーム再構成手段は、前記動画ファイルと前記再生情報ファイルとに基づいて、前記再生処理参照ファイルを生成することを特徴とする請求項１から４までのいずれか１項に記載の動画ファイル再生装置。
6. 前記動画ファイル処理部は、動画ファイルに含まれる異なる種別のデータを種別毎に再生する処理または記録する処理のうち少なくとも一方を行うデータ処理部を有することを特徴とする請求項１から５までのいずれか１項に記載の動画ファイル再生装置。
7. 前記再生情報ファイルには、少なくとも再生すべき動画ファイルの再生開始時間が記載されていることを特徴とする請求項１から６までのいずれか１項に記載の動画ファイル再生装置。
8. 前記動画ファイル処理部は、前記動画ファイルの再生処理中の再生経過時間と、動画ファイルに含まれる基本フレーム（一のフレームの複合化に必要な情報の全てのデータを含むフレーム）の再生処理を行った基本フレーム処理時間と、を前記動作管理部へ通知する手段を有することを特徴とする請求項１から７までのいずれか１項に記載の動画ファイル再生装置。
9. 前記データ処理部は、再生情報ファイルを作成するタイミングを指示するイベント発生時点の次の任意数のフレームを動画ファイルから取り出す手段と、
   その取り出した位置での基本フレームを再構成する処理を行う基本フレーム再構成手段と、
   その再構成した基本フレームに基づいて、その周辺の任意数のフレームについて差分フレームを再構成する差分フレーム再構成手段と、
   前記基本フレームと直前フレームとを結合して１つの再生処理参照ファイルを生成する手段と
   を有することを特徴とする請求項６から８までのいずれか１項に記載の動画ファイル再生装置。
10. 前記動作管理部は、再生開始時間と基本フレーム処理時間との差分を検出し、検出した
    差分値が任意の閾値以内であるか否かを判定する判定手段を有することを特徴とする請求項１から９までのいずれか１項に記載の動画ファイル再生装置。
11. 前記動画ファイル処理部は、前記動画ファイル内の任意の基本フレームから再生処理を開始するか、或いは、再生処理参照ファイル内のフレームデータの再生を行った後、引き続き差分フレームの再生処理を行うか否かを選択可能であることを特徴とする請求項１から１０までのいずれか１項に記載の動画ファイル再生装置。
12. 操作者がレジューム再生を行うか否かを設定するモード値と、再生する動画ファイル名と、再生イベントと停止イベントとのうちの少なくともいずれか一方と、動画ファイル再生中の任意の位置で再生情報ファイルを作成するタイミングを指示するイベントと、を取得するインターフェースを有する入力操作部を備えたことを特徴とする請求項１から１１までのいずれか１項に記載の動画ファイル再生装置。
13. 動画ファイルの再生を行う動画ファイル再生装置であって、
    動画ファイルの再生中に再生を停止する命令を受けた場合に、その次の任意の数のフレームを、一のフレームの複合化に必要な情報の全てのデータを含む基本フレームとして再構成する処理を行うことを特徴とする動画ファイル再生装置。
14. 操作者からの操作イベントにより、再生すべき動画ファイル名を取得するステップと、
    該動画ファイル名に該当する動画ファイルを取得し、該動画ファイルが異なる種別のデータを多重化したファイルフォーマットであった場合、各種別毎のデータに分離するステップと、
    １フレームの再生に必要な情報の全てのデータを含む基本フレームに関する再生処理と、直前のフレームからの差分データのみを有する差分フレームの再生処理を行うステップと、
    基本フレームを含むファイルを操作している操作者からの操作イベントにより再生停止命令または再生情報ファイルの生成命令が発せられたか否かを判定し、再生停止イベントまたは、再生情報ファイル生成命令が発生している場合に、レジューム再生を行うための関連ファイルを作成し、再生処理を行った任意フレーム数分のデータから基本フレームを生成するステップとを有する動画ファイル再生方法。
15. さらに、復号化処理を実行した再生経過時間と、前記新規Ｉフレームの復号化処理時間をとの差分を検出するステップと、前記差分値が予め設定された閾値以下であるか否かを判定するステップと、動画再生の効果があるか否かを判定する基準値である閾値以上である場合は再符号化データを記憶するステップと、
    を有することを特徴とする請求項１４に記載の動画ファイル再生方法。
16. さらに、多重化データの再生開始位置を元から存在するＩフレームに合わせるか前記新規Ｉフレームに合わせるか否かの判定を行うステップと
    を有することを特徴とする請求項１４又は１５に記載の動画ファイル再生方法。
17. 操作イベントにより動画再生モードが指定されているか否かを判別するステップと、
    動画再生モードが指定されている場合に、Ｉフレームを含むデータのファイル名に対応する再生情報ファイルを読み込むステップと、
    再生情報ファイルに記述された再生ファイル名と再生開始時間とに基づいて、前記動画ファイル名に対応する再生処理参照ファイルを検索し、再生処理参照ファイルが存在する場合は、前記再生処理参照ファイルを読み込み、再生処理参照ファイルを復号化し、再生開始時間の位置にあるＰフレームから復号化処理を開始し、再生処理参照ファイルが存在しない場合は、再生開始時間の直前に位置するＩフレームから復号化処理を開始するステップと
    を有する動画ファイル再生方法。
18. 請求項１４から１７までのいずれか１項に記載の方法をコンピュータに実行させるためのプログラム。
19. 前記動画ファイルは、動画ファイルと、音声データと、テロップデータと、を有することを特徴とする請求項１から１３までのいずれかに記載の動画ファイル再生装置。

Images