JP2014003425A - 映像再生装置、プログラム、映像再生方法及びサーバシステム - Google Patents

Abstract

【課題】 複数の取得映像から所与の時間以下の複数の再生映像を生成し、同時再生することで、複数の取得映像の内容把握を容易にする映像再生装置、プログラム、映像再生方法及びサーバシステム等を提供すること。
【解決手段】 映像再生装置は、複数の取得映像を取得する取得部１００と、取得した複数の取得映像に加工処理を行って、複数の再生映像を生成する生成部２００と、生成された複数の再生映像の同時再生処理を行う再生部３００を含み、生成部２００は、再生時間を所与の時間以下とする再生時間変更処理を、前記加工処理として取得映像に対して行うことで、再生映像を生成する。
【選択図】 図３

Description

本発明は、映像再生装置、プログラム、映像再生方法及びサーバシステム等に関する。

従来、複数の映像（動画像）の内容把握を容易にするために種々の手法が用いられてきた。例えば、１つの映像に付き１枚の代表フレームを静止画像として抽出し、抽出した静止画像を一覧表示する手法がある。しかし、１枚の静止画像だけではそれぞれの映像の内容を把握することは難しい。

それに対して、１つの映像を複数の静止画像で代表することで内容把握を助けようとする手法がある。例えば特許文献１や特許文献２では、１つの映像から複数の静止画像を抽出し、抽出した複数の静止画像を漫画風にコマ割りした枠に当てはめて表示することで、映像の内容把握性を高める手法が開示されている。

また特許文献３には、所定時間以下で且つ１つのシーンのみを含むという条件で長時間の映像を複数のビデオクリップレットに分割し、ビデオクリップレットごとにサムネイル（キーフレームとしての静止画像）を表示する手法が開示されている。特許文献３では、ユーザの興味や重要度に応じて、サムネイルの表示順等を設定することで、長時間映像全体の内容把握性を高めている。

また特許文献４には、長さの異なる複数の映像から同じ枚数のサムネイルを抽出して横に並べることで、複数の映像の長さがそれぞれ異なる場合であっても内容把握を容易にする手法が開示されている。

特開２０１０−１９１９３４号公報 特開２０１１−６６５４６号公報 特開２００４−２３７９９号公報 特開２０００−１４８７７１号公報

上述した手法では、１つの映像から複数の静止画像を抽出して表示することで、内容把握性を高めている。しかし、このような手法では表示領域（例えばディスプレイ等の表示部）の大きさ（或いは解像度）が問題となる。表示される静止画像は、内容把握を妨げない程度の大きさを有することが必要となるため、表示領域上に配置できる数が限られるためである。つまり、１つの映像から多数の静止画像を抽出した場合、一度に表示対象とできる映像の数が少なくなってしまい、複数映像の効率的な内容把握が妨げられる。逆に、１つの映像から抽出する静止画像を少なくすると、多数の映像を一度に表示対象とできるが、各映像から内容把握に十分な枚数の静止画像を抽出できなくなってしまう。

また、サムネイルを選択することで、当該サムネイルの抽出元となった映像を再生する、あるいは、当該サムネイルの抽出元となった映像から抽出された別のサムネイルに切り替える手法も用いられているが、その場合の再生処理は、複数の映像の同時再生等を考慮しておらず、複数の映像の把握を容易にするものではない。

本発明の幾つかの態様によれば、複数の取得映像から所与の時間以下の複数の再生映像を生成し、同時再生することで、複数の取得映像の内容把握を容易にする映像再生装置、プログラム、映像再生方法及びサーバシステム等を提供することが可能になる。

本発明の一態様は、複数の取得映像を取得する取得部と、取得した複数の前記取得映像に加工処理を行って、複数の再生映像を生成する生成部と、生成された複数の前記再生映像の同時再生処理を行う再生部と、を含み、前記生成部は、再生時間を所与の時間以下とする再生時間変更処理を、前記加工処理として前記取得映像に対して行うことで、前記再生映像を生成する映像再生装置に関係する。

本発明の一態様では、映像再生装置は取得映像に対して、再生時間変更処理を行って所与の時間以下の再生映像を生成し、生成した複数の再生映像の同時再生処理を行う。これにより、複数の取得映像に基づく映像が同時に再生され、且つその再生時間に上限が設けられることになるため、長い時間をかけず容易に複数の取得映像の内容把握を行うこと等が可能になる。

また、本発明の一態様では、前記生成部は、前記取得映像に含まれるフレーム画像のうち、一部のフレーム画像を抽出する第１の再生時間変更処理、及び前記取得映像の再生フレームレートを変更する第２の再生時間変更処理の少なくとも一方の処理を、前記再生時間変更処理として行って前記再生映像を生成してもよい。

これにより、再生処理としてフレーム画像抽出処理又は再生フレームレート変更処理の少なくとも一方を行うことが可能になる。

また、本発明の一態様では、前記生成部は、複数の前記再生映像のそれぞれの前記再生時間の差異を所与の閾値よりも小さくすることで、複数の前記再生映像の前記再生時間をそろえる前記再生時間変更処理を実行してもよい。

これにより、生成される複数の再生映像の再生時間をそろえること等が可能になる。

また、本発明の一態様では、基準フレーム画像数をｓ（ｓは整数）、所与のフレーム数閾値をｔ（ｔは整数）とした場合に、前記生成部は、複数の前記取得映像から、それぞれｓとの差異がｔ以下となる数のフレーム画像を抽出する前記第１の再生時間変更処理を行うことで、前記再生時間がそろえられた複数の前記再生映像を生成してもよい。

これにより、フレーム画像抽出処理を行って、複数の再生映像の再生時間をそろえることが可能になる。

また、本発明の一態様では、前記生成部は、前記取得映像に含まれるフレーム画像の数が多い場合には、前記取得映像に含まれるフレーム画像の数が少ない場合に比べて前記再生フレームレートを高くする前記第２の再生時間変更処理を行うことで、前記再生時間がそろえられた複数の前記再生映像を生成してもよい。

これにより、再生フレームレート変更処理を行って、複数の再生映像の再生時間をそろえることが可能になる。

また、本発明の一態様では、前記生成部は、複数の前記取得映像から、それぞれ一部のフレーム画像を抽出する前記第１の再生時間変更処理を行って複数の中間映像を生成し、複数の前記中間映像に対して、前記中間映像に含まれるフレーム画像の数が多い場合には、前記中間映像に含まれるフレーム画像の数が少ない場合に比べて前記再生フレームレートを高くする前記第２の再生時間変更処理を行って前記複数の再生映像を生成することで、前記再生時間がそろえられた複数の前記再生映像を生成してもよい。

これにより、フレーム画像抽出処理と再生フレームレート変更処理を組み合わせて、複数の再生映像の再生時間をそろえることが可能になる。

また、本発明の一態様では、第１の取得映像に対して前記再生時間変更処理を行うことで取得される第１の再生映像の前記再生時間をＴ１とし、第２の取得映像に対して前記再生時間変更処理を行うことで取得される第２の再生映像の前記再生時間をＴ２とした場合に、前記生成部は、ｋ１×Ｔ１と、ｋ２×Ｔ２（ｋ１，ｋ２は１以上の整数）の差異を所与の閾値よりも小さくする前記再生時間変更処理を実行してもよい。

これにより、繰り返し再生を行った場合に、各再生映像の総再生時間をそろえる再生時間変更処理を行うこと等が可能になる。

また、本発明の一態様では、前記生成部は、前記取得映像のシーンチェンジ情報、前記取得映像において撮像された被写体情報、及びユーザ入力情報の少なくとも１つに基づいて、前記再生映像の前記再生時間の上限である前記所与の時間を設定してもよい。

これにより、シーンチェンジ情報、被写体情報、ユーザ入力情報等に基づいて、再生映像の再生時間の上限を設定すること等が可能になる。

また、本発明の一態様では、前記生成部は、前記シーンチェンジ情報により表される前記取得映像のシーンチェンジ回数が多いほど、前記再生映像の前記再生時間の上限である前記所与の時間を長く設定してもよい。

これにより、シーンチェンジ回数に基づいて、再生映像の再生時間の上限を設定することが可能になる。

また、本発明の一態様では、前記生成部は、前記被写体情報により表される前記取得映像中の被写体数が多いほど、前記再生映像の前記再生時間の上限である前記所与の時間を長く設定してもよい。

これにより、取得映像中の被写体数に基づいて、再生映像の再生時間の上限を設定することが可能になる。

また、本発明の一態様では、前記生成部は、前記再生時間変更処理の処理内容を設定する設定部と、前記設定部で設定された処理内容に基づいて、前記取得映像に対して前記再生時間変更処理を行って前記再生映像を生成する作成部と、を含んでもよい。

これにより、処理内容の設定と、再生映像の生成を段階的に行うこと等が可能になる。

また、本発明の一態様では、前記生成部は、ユーザによる作業の中断指示が入力された場合に、前記設定部における設定情報を保存するか、前記作成部で生成された前記再生映像を保存するかを選択する処理を行う選択部を含んでもよい。

これにより、作業中断時等に保存される情報を選択することが可能になる。

また、本発明の一態様では、前記生成部は、前記ユーザによる作業の前記中断指示が入力された場合に、前記設定部における前記設定内容、及び前記作成部で生成された前記再生映像のうち、前記選択部により選択された情報を記憶する記憶部と、前記作業の再開指示が入力された場合に、前記記憶部に記憶された前記情報の読み込み処理を行う読込部と、を含んでもよい。

これにより、選択された情報を保存し、必要に応じて読み込むことで、作業状態の効率的な復元等が可能になる。

また、本発明の一態様では、前記再生部は、複数の前記再生映像のそれぞれの再生開始タイミングの差異を所与の開始タイミング閾値よりも小さくすることで、複数の前記再生映像の前記再生開始タイミングをそろえる再生処理を行ってもよい。

これにより、複数の再生映像の再生開始タイミングをそろえること等が可能になる。

また、本発明の一態様では、前記再生部は、複数の前記再生映像のそれぞれの再生終了タイミングの差異を所与の終了タイミング閾値よりも小さくすることで、複数の前記再生映像の前記再生終了タイミングをそろえる再生処理を行ってもよい。

これにより、複数の再生映像の再生終了タイミングをそろえること等が可能になる。

また、本発明の一態様では、前記再生部は、前記再生映像の前記再生時間、前記再生映像に対応する前記取得映像の前記再生時間、及び前記再生映像に対応する前記取得映像の取得時間情報の少なくとも１つに基づいて、同時に再生する複数の前記再生映像の表示画面における配置情報を設定してもよい。

これにより、再生時間や取得時間情報とに基づいて、各再生映像の表示画面上での配置等を変更することが可能になる。

また、本発明の一態様では、前記再生部は、前記再生映像の前記再生時間、又は前記再生映像に対応する前記取得映像の前記再生時間が、単調増加或いは単調減少する順序に、複数の前記再生映像を並び替えるソート処理を行い、前記ソート処理の結果に基づいて、前記表示画面における配置基準位置及び映像サイズの少なくとも一方を、前記配置情報として設定してもよい。

これにより、再生時間に基づいて再生映像に対してソート処理を行った上で、ソート処理に基づいて、各再生映像の表示画面上での配置等を変更することが可能になる。

また、本発明の一態様では、ユーザからの入力を受け付ける入力受付部を含み、前記入力受付部が前記ユーザからの同時操作指示を受け付けた場合に、前記再生部は、複数の前記再生動画の前記同時再生処理、同時早送り処理、同時巻き戻し処理、及び同時停止処理の少なくとも１つの処理を行ってもよい。

これにより、複数の再生映像に対する操作指示を行うインタフェースを実現すること等が可能になる。

また、本発明の一態様では、前記入力受付部が前記ユーザからの前記所与の時間の設定指示を受け付けた場合に、前記生成部は、前記設定指示により指示された時間に、前記再生映像の前記再生時間の上限である前記所与の時間を設定してもよい。

これにより、インタフェースを介したユーザ入力情報に基づいて、再生映像の再生時間の上限を設定すること等が可能になる。

本発明の他の態様は、上記各部としてコンピュータを機能させるプログラムに関係する。

本発明の他の態様は、複数の取得映像を取得し、取得した複数の前記取得映像に加工処理を行って、複数の再生映像を生成し、生成された複数の前記再生映像の同時再生処理を行い、前記加工処理は、前記取得映像に対する、再生時間を所与の時間以下とする再生時間変更処理である映像再生方法に関係する。

本発明の他の態様は、複数の取得映像をネットワークを介して受信する受信処理部と、取得した複数の前記取得映像に加工処理を行って、複数の再生映像を生成する生成部と、端末に複数の再生映像を同時再生させる再生処理を行う再生部と、複数の前記再生映像を前記端末に送信する送信処理部と、を含み、前記生成部は、再生時間を所与の時間以下とする再生時間変更処理を、前記加工処理として前記取得映像に対して行うことで、前記再生映像を生成するサーバシステムに関係する。

従来手法の説明図。 表示領域のサイズと表示対象となる映像数、各映像から抽出される静止画像の数の関係を説明する図。 映像再生装置のシステム構成例。 生成部の構成例。 第１の実施形態の取得映像に対する再生時間変更処理を説明する図。 第１の実施形態の再生映像の例。 表示画面の例。 表示画面の他の例。 表示画面の他の例。 表示画面の他の例。 サーバシステムの構成例。 第２の実施形態の取得映像に対する再生時間変更処理を説明する図。 第２の実施形態の再生映像の例。 第２の実施形態の取得映像に対する再生時間変更処理を説明する他の図。 第２の実施形態の再生映像の他の例。 第２の実施形態の再生映像の他の例。 第２の実施形態の再生映像の他の例。 繰り返し再生により再生開始タイミング等をそろえる例。 第３の実施形態の取得映像の例。 第３の実施形態の再生映像の例。 図２１（Ａ）〜図２１（Ｃ）は第４の実施形態の再生時間変更処理を説明する図。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
まず本実施形態の手法について説明する。特許文献１〜４に示したように、映像の内容を把握するために、映像から複数のサムネイル（静止画像）を抽出し、抽出した静止画像を並べて表示する手法が知られている。例えば、図１に示す手法を用いればよく、このようにすることで、映像を１枚の静止画像で代表する場合に比べて内容把握が容易になる。

しかし複数の映像（元々異なる映像であってもよいし、１つの長時間映像を複数に分割して得られるものであってもよい）の内容を効率的に把握しようとした場合、１つの映像から複数の静止画像を抽出したのでは表示領域の大きさや解像度により問題が生じうる。

１つの静止画像の表示に用いられる画素数が少ない場合、或いは画素数が多くても１画素あたりの大きさ（例えば表示素子の大きさ）が小さい場合には、表示される画像がつぶれてしまい内容の把握が困難となる。つまり表示領域（ディスプレイ等）の大きさ、解像度等に依存して、当該表示領域に一度に表示できる静止画像の枚数は制限されることになる。そのため、１つの映像から複数の静止画像を抽出し並べる手法では、１つの映像から抽出できる静止画像の枚数、或いは一度に表示対象とできる映像の数が制限されてしまう。

図２を用いて具体例を示す。図２のように、大きさ等の制約から一度に表示しても内容把握に差し支えない画像の枚数が１６枚であるケースでは、同時に表示する映像の数をａ、１映像から抽出される静止画像の枚数（例えば平均枚数）をｂとした場合に、ａ×ｂ≦１６となる必要がある。ａを大きくしてしまうと、必然的にｂが小さくなってしまう。例えばａ＝８とすればｂ＝２となり、１つの映像当たり２枚の静止画像しか抽出できない。抽出される静止画像枚数が少なければ内容把握は容易ではなく好ましくない。逆にｂを大きくすると、ａが小さくなってしまい内容把握の効率が低下する。例えばｂ＝１６とすると、１つの映像から１６枚の静止画像を抽出して並べて表示できるため、その映像の内容把握性は高まる。しかし、一度に表示対象とできる映像が１つになってしまい、複数の映像の内容を把握するためには画面を切り替える等の処理が必要となり非効率である。

これらの問題は、表示領域に制約があるにもかかわらず、静止画像の表示を前提としたために、一度に提示できる情報量が少なくなってしまうという点に起因している。特許文献３では、サムネイルを選択すると、選択されたサムネイルの抽出元となった映像を再生する（動画像を表示する）手法も開示されており、このようにすれば所与の表示領域内で提示できる情報量は増やすことができる。しかし、その際の再生処理は同時再生等は考慮されておらず、映像の内容把握には実際に再生して視聴する必要があったというそもそもの（静止画像で代表するという手法が必要となった）課題に対応していない。

そこで本出願人は、複数の取得映像に対して、それぞれ再生時間変更処理を行って複数の再生映像を生成し、生成した複数の再生映像を同時に再生する手法を提案する。具体的には、図５に示すように取得映像Ａ１〜Ａ４が取得された場合に、それぞれに再生時間変更処理を行って図６に示すように再生映像Ｂ１〜Ｂ４を生成する。そして、生成した再生映像Ｂ１〜Ｂ４を図７に示したように並べて再生する。この際、再生映像は所与の上限時間以下になるように生成される。このようにすれば、それぞれの映像についてある程度の大きさ、解像度の表示領域を確保した上で、当該領域内で動画像の再生（或いは静止画像のスライドショーであってもよい）が行われるため、各映像について内容把握に十分な情報を提供することが可能になる。さらに、再生映像の再生時間には上限（例えば数秒〜数十秒、場合によってはもっと長くてもよい）が設定されているため、内容把握に要する時間も抑えることができる。

以下、第１〜第４の実施形態について詳細に説明する。第１の実施形態では、映像再生装置の基本的な構成及び処理内容について説明する。第２〜第４の実施形態では、複数の再生映像の再生時間がそろえられる例について説明する。第２の実施形態では再生時間変更処理として、フレーム画像抽出処理を行う例について説明し、第３の実施形態では再生時間変更処理として、再生フレームレート変更処理を行う例について説明する。また、第４の実施形態ではフレーム画像抽出処理と再生フレームレート変更処理を併用する例について説明する。

２．第１の実施形態
第１の実施形態について説明する。具体的には、映像再生装置のシステム構成例を説明した後、生成部で行われる再生時間変更処理について説明し、その後再生部での再生処理の例について述べる。また、生成部の構成や、再生部での再生処理の変形例についても説明する。

２．１ システム構成例
図３に本実施形態の映像再生装置のシステム構成例を示す。映像再生装置は、取得部１００と、生成部２００と、再生部３００を含む。ただし、映像再生装置は図３の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

取得部１００は、複数の取得映像を取得する。ここで取得映像はデジタルカメラ等の撮像装置により撮像された映像等が考えられる。撮像装置等は本実施形態の映像再生装置とは別体として設けられることが想定されるが、映像再生装置が撮像部等を有し、当該撮像部において撮像された映像を取得映像としてもよい。また、取得部１００は、複数の監視カメラ映像からのライブ映像を取得する場合のように、撮像タイミングと取得タイミングが非常に近いものであってもよいし、時間的に離れた過去の時点で撮像された映像を取得するものであってもよい。

生成部２００は、取得部１００が取得した複数の取得映像のそれぞれに対して再生時間変更処理を行い、再生時間が所与の時間以下となるような複数の再生映像を生成する。具体的な処理については後述する。

再生部３００は、生成部２００で生成された複数の再生映像の同時再生処理を行う。なお、本明細書中での同時再生という用語は、所与のタイミングにおいて、第１の映像と、第１の映像とは異なる第２の映像とがともに再生状態にあるということを指すものである。よって、同時再生処理が行われた場合に、所与のタイミングにおいて複数の再生映像の全てが再生状態にある必要はないし、複数の再生映像の再生開始タイミングや再生終了タイミングが必ずしもそろえられるわけではない。再生部での具体的な再生処理については後述する。

２．２ 生成部
次に本実施形態の生成部２００での再生時間変更処理について説明する。生成部２００の具体的な構成例を図４に示す。生成部２００は、設定部２１０と、作成部２２０と、選択部２３０と、記憶部２４０（保存部）と、読込部２５０を含む。ただし、生成部２００は図４の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。例えば、作業の中断、或いは生成・使用した情報の再利用等を考慮しないのであれば、選択部２３０、記憶部２４０、読込部２５０を省略してもよい。

設定部２１０は、取得映像に対して行う再生時間変更処理の処理内容を決定する。本実施形態であれば、取得映像から一部のフレーム画像（特に連続するフレーム画像）を抽出する処理を、再生時間変更処理として行うという設定をする。ここでのフレーム画像とは、映像（動画像）を構成する静止画像の一枚一枚を表すものである。それとともに、再生映像の再生時間の上限値を設定する。この上限値は、映像再生装置の出荷時等に設定されている値をそのまま用いるものであってもよいし、ユーザから入力された値を用いるものであってもよい。或いは、シーンチェンジ情報や、撮像されている被写体情報のように、取得映像から得られる情報に基づいて設定してもよい。シーンチェンジ情報を用いる場合には、例えば取得映像のシーンチェンジ回数が多いほど上限値を大きくする手法を用いればよい。また、被写体情報を用いる場合には、特定の被写体の撮像回数（例えば特定の人物の撮像回数であってもよいし、個人を特定せず人物が撮像された回数を全て合算したものでもよい）が多いほど上限値を大きくする手法を用いればよい。再生時間変更処理としてフレーム画像抽出処理を行う場合には、再生時間の上限値に応じて抽出されるフレーム画像枚数の上限値が決定されることになる。

なお、取得映像の複数のフレーム画像の中から、具体的にどのフレーム画像を抽出するかを決定する手法については、多くの従来技術が存在する。シーンとシーンの切り替わりであるシーンチェンジ箇所を用いる、或いは所与の基準に従って設定した重要度、興味度等を用いる、といった種々の手法が考えられるが、この点については本実施形態は任意の手法を適用可能であり、詳細な説明は省略する。

作成部２２０は、設定部２１０で設定された処理内容に従って、取得映像に対して再生時間変更処理を行って再生映像を生成する。処理結果の具体例を図５、図６に示す。上述したように、本実施形態では設定部２１０により、所与の数（再生時間の上限値に基づき設定される値であり、図６の例では３）以下の連続するフレーム画像を抽出するという設定がされている。よって、作成部２２０では、図５に示した取得画像Ａ１〜Ａ４に対してそれぞれ３つ以下のフレーム画像を抽出し、図６に示した再生映像Ｂ１〜Ｂ４を生成する。なお、Ａ１に対する再生時間変更処理によりＢ１が生成されるものであり、同様にＡ２とＢ２、Ａ３とＢ３、Ａ４とＢ４が対応する。なお、本実施形態においては、抽出フレーム画像数の上限値が設定されているが、下限値に特に制限はないため、抽出フレーム画像数の上限値よりも少ないフレーム画像数となる再生映像が生成されてもよい（図６のＢ２やＢ４）。

以上の処理により、再生映像を生成することができる。ただし、設定部２１０での設定内容や、作成部２２０の出力である再生映像の保存、再利用等を考慮して、生成部２００は他の処理を行ってもよい。なぜなら、一旦生成した再生映像を後でもう一度利用するという可能性があるためである。具体的には、ユーザの作業（単純な内容把握であってもよいし、内容把握に基づく他の作業、例えば映像の編集作業であってもよい）が中断された場合を考える。ここで中断とは、映像再生装置自体が動作を停止することも考えられるし、他の再生映像の再生処理に移行することも考えられる。この場合、中断前に再生されていた再生映像は、作業再開時にもう一度利用される可能性が高いため、削除せずに保存しておくとよい。このようにすれば、作業再開時に高速で再生処理を開始することが可能となる。しかし、再生映像は比較的時間が短いことが想定されるとはいえ、動画データ（或いは複数の静止画データ）となるためデータ量が大きく、全てを保存していたのでは記憶領域を圧迫する。

よって本実施形態では、全ての再生映像を保存するのではなく、一部は削除することで保存に必要な記憶領域を少なくする。その際には、削除対象となる再生映像の生成に用いた設定情報（設定部２１０で設定された処理内容を表す情報）を記憶する。このようにすれば、当該設定情報に基づいて取得映像に対して再生時間変更処理を行うことで、削除した再生映像に対応する（狭義には一致する）再生映像が生成できるため、再生処理に支障を来すことがない。さらに、設定情報とは所定のパラメータ等で表現されることが想定されるため、再生映像そのものに比べてデータ量は十分小さいものとなる。ただし、再度の再生時間変更処理が必要となる以上、再生映像を保存する場合に比べると、再生再開までに時間を要することになる。

以上のことから、本実施形態では保存されるデータ量、及び再生再開時の処理負荷、処理時間等を考慮して適切な保存手法を選択する。具体的には、図４の選択部２３０は、所与の再生映像が保存の対象となった場合に、作成部２２０で生成された再生映像そのものを保存するのか、設定部２１０での設定情報を保存するのかの選択処理を行う。選択手法は種々考えられるが、例えば何らかの手法により当該再生映像が再度再生処理の対象となる可能性を判定し、可能性が高いものは再生映像を保存し、可能性が低いものは設定情報を保存するという選択処理を行えばよい。

記憶部２４０は、選択部２３０において選択された情報を保存する。読込部２５０は、保存対象となった再生映像が再度必要になった場合に、記憶部２４０に保存された情報を読み出して出力する。記憶部２４０に再生映像が保存されている場合には、再生映像を出力すればよいし、設定情報が保存されている場合には、設定情報を出力する。読込部２５０から設定情報が出力された場合には、作成部２２０では当該設定情報と取得映像とに基づいて、再度再生映像を生成する処理を行うことになる。

２．３ 再生部
次に再生部３００での再生処理の例について説明する。図７に表示部に表示される再生画面の例を示す。再生部３００での再生処理（表示制御）により、表示部に図７の画面が表示されることになる。なお、本実施形態では表示部は映像再生装置に含まれるものであってもよいし、映像再生装置とは別体として設けられ、再生部３００からの出力信号に基づいて表示を行うものであってもよい。

本実施形態では、複数の再生映像それぞれについて表示領域が設けられ（再生映像が図３のＢ１〜Ｂ４の場合にはそれぞれ図７の１〜４に対応）、再生部３００での再生処理により、複数の再生映像が同時再生される。このようにすれば、１つの画像に対して十分な大きさの領域を用いた上で、多くの映像を同時に表示対象とすることができ、複数の映像の効率的な内容把握が可能になる。

ここで、複数の再生映像は、再生開始タイミングがそろえられる（狭義には同時に再生開始される）ものや、再生終了タイミングがそろえられる（狭義には同時に再生が終了される）ものであってもよいが、それに限定されない。しかし、上述したように再生映像の再生時間には上限が設けられているため、最後の再生映像の再生開始から起算して、遅くとも上限時間経過後には全ての映像の再生が終了していることが保証されることになる。つまり、映像の内容把握のために長時間の再生が必要となる可能性を抑止できる。

また、本実施形態では複数の映像の同時再生を想定しているため、その場合の操作及び内容把握を効率的にするためのインタフェースを備えてもよい。例えば、映像再生において広く用いられる再生、停止、早送り、巻き戻し等のためのインタフェース（狭義にはそれぞれに対応するボタン）は、各映像ごとに設けられてもよいが、複数の映像を対象としたものを設けてもよい。図７の例であれば、再生等のボタンは画面下部に１つずつ設けられており、所与のボタンが押されると、当該ボタンに対応する操作を全ての映像に対して行う。例えば、停止ボタンが押された場合には、表示領域１〜４において再生されている再生映像Ｂ１〜Ｂ４の全てに対して、停止処理が行われることになる。

ただし、それぞれの再生映像に対して個別に操作を行うことを妨げるものではなく、例えば表示領域上にマウスカーソル（広義にはポインティングデバイス）を移動させた場合に、当該表示領域に対応する再生映像に対する操作指示を行うためのボタンが表示されるようにしてもよい。また、個別操作の他の例としては、図８に示したようにマウスカーソルの位置に対応する表示領域のサイズを拡大してもよい。複数の再生映像のうち、どれかに注目しているのであれば、その映像について視聴しやすくすることでユーザの内容把握を助けることになるためである。

また、表示画面上での各再生映像の表示領域の配置については種々の変形実施が可能である。一例としては、再生映像の再生時間に応じて配置を変更してもよい。例えば、再生時間の長い方から順に再生映像をソートし、ソート結果に応じて表示画面での配置を決定する。画面左上（図７では１に対応）ほど再生時間が長く、右下（図７では４に対応）ほど再生時間が短いように配置すれば、右下の方から先に再生が終了していくことが想定される。この際、ユーザは最初は画面全体に注目して映像を視聴するが、右下の方から先に再生が終了していくため、注目する領域を左上方向に狭めていくことが可能になる。つまり、再生時間をランダムに並べる場合に比べて、注目すべき領域を効率的に狭めていくことができるため、映像視聴時のユーザ負担を軽減することが可能になる。

また、再生映像の元となった取得映像の再生時間に基づいてソートしてもよい。なぜなら、再生映像の再生時間と、その元となった取得映像の再生時間は、基本的には（例えば設定部２１０においてそのような設定をしない限りは）対応関係を持つとは限らない。つまり、ユーザの見る表示画面からは取得映像の長さが簡単には把握できない状態となっている可能性がある。取得映像の再生時間に応じて再生映像をソートし、ソート結果に応じて表示画面での配置を決定することで、表示画面においてもわかりやすい形で取得映像の再生時間の長さをユーザに提示することが可能になる。なお、ソート結果による配置の変更とは、位置の変更には限定されず、表示領域のサイズを変更するものであってもよい。例えば、図９に示したように、取得映像の再生時間が長いほど、対応する再生映像の表示領域のサイズを大きくすることによっても、取得映像の再生時間に関する情報をユーザに提示することが可能である。図９の例では表示領域３に対応する再生映像の再生時間が長く、表示領域２に対応する再生映像の再生時間が短いことになる。

同様に、所与の操作をしない限りユーザからは確認できない情報に基づき再生映像をソートすることで、当該情報をユーザに提示してもよい。例えば、図１０に示したように取得映像の撮像日時（或いは取得部１００での取得日時）等に関する情報に基づいて、再生映像をソートしてもよい。

その他、再生部３００での再生処理については種々の変形実施が可能である。

また、以上の本実施形態は、ネットワークを介して情報の送受信を行うサーバシステムにより実現されてもよい。図１１にサーバシステムの構成例を示す。サーバシステム２０は、受信処理部１１０と、生成部２００と、再生部３００と、送信処理部４００を含む。サーバシステムはネットワーク３０を介して端末装置（１０−１等）と接続されている。サーバシステム２０は１つのサーバから構成されるものに限定されず、複数のサーバから構成されてもよい。その場合、複数のサーバは物理的に近い位置に配置される必要はなく、インターネット等のネットワーク３０を介して相互に接続されるものであってもよい。

サーバシステム２０は、例えば端末装置からネットワーク３０を介して複数の映像を受信処理部１１０において受信する。そして、生成部２００で上述した再生時間変更処理を行って再生映像を生成する。サーバシステム２０の再生部３００は、サーバシステム２０自身での再生を行うのではなく、端末装置において同時再生するための制御情報を生成するものであることが想定される。送信処理部４００は、生成された複数の再生映像及び、必要に応じて再生部３００で生成された再生用の制御情報を端末装置に送信する。端末装置側では、サーバシステム２０から送られた複数の再生映像の同時再生処理を行う。

なお、処理対象となる取得映像は、端末装置から受信するものには限定されず、例えば他のサーバ（映像管理サーバ等）から受信してもよい。サーバシステム２０において上述した処理を行う場合には、端末装置（携帯電話等のデバイスを想定）で当該処理を行う必要がなくなる。よって端末装置自体の処理能力が低い場合、或いは生成した再生映像の同時再生処理が複数の端末装置で行われる場合等に効果を発揮する。

以上の本実施形態では、映像再生装置は図３に示したように、複数の取得映像を取得する取得部１００と、取得した複数の取得映像に加工処理を行って、複数の再生映像を生成する生成部２００と、生成された複数の再生映像の同時再生処理を行う再生部３００とを含む。そして生成部２００は、再生時間を所与の時間以下とする再生時間変更処理を、前記加工処理として取得映像に対して行うことで、再生映像を生成する。

ここで、同時再生処理とは上述したように所与のタイミングにおいて、複数の再生映像が再生状態とする処理を表すものである。ただし、本実施形態の再生部３００は同時再生処理以外の再生処理（例えば通常の再生装置で行われる単一の映像の再生処理）を行ってもよい。

これにより、複数の映像が取得された場合に、それぞれの映像から再生時間が所与の時間以下となる映像（再生映像）を生成し、それらを同時再生することが可能になる。通常、表示部等の表示領域自体には制約があること、仮に当該制約がなくてもユーザが一度に把握できる画角には限界があることを考慮すれば、限られた範囲において一度にある程度の数の取得映像の情報を提示し、且つ各映像についての情報量を多くできる本実施形態の手法は非常に有用である。特に、再生映像の再生時間に上限を設けているため、全ての再生映像の再生終了までに要する時間を制限することが可能になり、比較的短時間で多くの映像の内容把握を行うことが可能になる。

また、生成部２００は、取得映像に含まれるフレーム画像のうち、一部のフレーム画像を抽出する第１の再生時間変更処理、及び取得映像の再生フレームレートを変更する第２の再生時間変更処理の少なくとも一方の処理を、再生時間変更処理として行って再生映像を生成してもよい。

これにより、第１の再生時間変更処理（フレーム画像抽出処理）及び第２の再生時間変更処理（再生フレームレート変更処理）の少なくとも一方により、再生時間を変更することで、取得映像から再生映像を生成することが可能になる。本実施形態及び後述する第２の実施形態ではフレーム画像抽出処理を行い、第３の実施形態では再生フレームレート変更処理を行っている。また、後述する第４の実施形態では第１，第２の再生時間変更処理の両方を行っている。仮に再生映像の再生時間が同じという条件であれば、フレーム画像抽出処理を行う場合には、再生映像は取得映像に比べてフレーム画像数が少なくなるため、１フレーム画像当たりの再生時間は再生フレームレート変更処理を行う場合に比べて長くでき、ユーザによる視聴（及び表示されるフレーム画像の内容把握）が容易になる。なおフレーム画像抽出処理では、取得映像の一部のフレーム画像しか再生映像には含まれないため、抽出対象となるフレーム画像を適切に選択しないと、取得映像の内容把握が困難となる可能性があることには留意すべきであるが、この点については任意の手法を適用可能であるため、詳細な説明については省略する。

また、生成部２００は、取得映像のシーンチェンジ情報、取得映像において撮像された被写体情報、及びユーザ入力情報の少なくとも１つに基づいて、再生映像の再生時間の上限である前記所与の時間を設定してもよい。例えば、シーンチェンジ情報により表される取得映像のシーンチェンジ回数が多いほど、前記所与の時間を長く設定してもよい。或いは、被写体情報により表される取得映像中の被写体数が多いほど、前記所与の時間を長く設定してもよい。

これにより、種々の手法により再生時間の上限値を設定することが可能になる。仮に全ての再生映像が同時に再生開始されればその開始時点から、そうでなくても最後の再生映像の再生が開始された時点から、設定した上限値に対応する時間経過後には全ての再生映像の再生が一度は終了することになる。つまり、ユーザ入力情報（操作部等のインタフェースを介してユーザから入力される情報）に基づいて上限値が設定される場合には、ユーザが取得映像の内容把握にかけられる時間が入力されるようにすればよく、その場合ユーザの意向を適切に反映した上限値を設定できる。また、シーンとシーンの切り替わりであるシーンチェンジは、その映像の特徴をよく表す部分となる可能性が高い。そのような特徴的な部分は映像の内容把握に有用であるため、フレーム画像抽出処理を行うのであれば可能な限り再生映像に抽出されるようにしたい。よって、シーンチェンジ回数が多い場合には再生時間の上限値を多くし、抽出対象となるフレーム画像の数を多くするとよい。なお、再生フレームレート変更処理を行うのであれば、取得映像の全てのフレーム画像が用いられることが想定されるが、その場合でも再生時間が長い方が再生時間が短い場合に比べて、再生フレームレートを低くすることができ、１フレーム画像当たりの表示時間が長くなる。特徴的な部分が多ければ、しっかり観察すべきフレーム画像も多いことから、再生フレームレート変更処理を行う場合であっても、シーンチェンジ回数が多ければ再生時間の上限値を大きくするとよい。同様に、特定の被写体が撮像されているシーンは、その映像にとって特徴的な部分となる可能性があることから、被写体数や当該被写体が撮像されているか否か等の情報から再生時間の上限値を決定してもよい。

また、生成部２００は、図４に示したように、再生時間変更処理の処理内容を設定する設定部２１０と、設定部２１０で設定された処理内容に基づいて、取得映像に対して再生時間変更処理を行って再生映像を生成する作成部２２０とを含んでもよい。

これにより、生成部２００での処理を細分化して段階的に実行すること等が可能になる。

また、生成部２００は、図４に示したように、ユーザによる作業の中断指示が入力された場合に、設定部２１０における設定内容を保存するか、作成部２２０で生成された再生映像を保存するかを選択する処理を行う選択部２３０を含んでもよい。

ここで、作業とはユーザによる複数の取得映像の内容把握作業（或いは、内容把握に基づく映像編集作業等であってもよい）であり、作業の中断指示は、例えば後述する入力受付部等に対するユーザの入力に基づいて行われる。

これにより、現在の処理を中断して、それまでの処理内容を一時的に記憶領域に退避させる場合に、再生映像そのものを保存するか、再生時間変更処理の処理内容を表す設定情報を保存するかを選択することが可能になる。再生映像の保存は、再生処理の再開時に高速で中断前の状態を復元できる利点があり、設定情報の保存は、処理内容を保存するのに必要な記憶領域が少なくてすむという利点がある。つまり、映像再生装置のリソース等に応じて、より望ましい方を選択することになる。

また、生成部２００は、図４に示したように、作業の中断指示が入力された場合に、設定部における設定内容、及び作成部で生成された再生映像のうち、選択部２３０により選択された情報を記憶する記憶部２４０と、作業の再開指示が入力された場合に、記憶部２４０に記憶された情報の読み込み処理を行う読込部２５０とを含んでもよい。

これにより、実際に作業状態を表す情報を一旦退避させた上で、必要に応じて再び読み込んで作業状態を復元することが可能になる。

また、再生部３００は、複数の再生映像のそれぞれの再生開始タイミングの差異を所与の開始タイミング閾値よりも小さくすることで、複数の再生映像の再生開始タイミングをそろえる再生処理を行ってもよい。或いは、再生部３００は、複数の再生映像のそれぞれの再生終了タイミングの差異を所与の終了タイミング閾値よりも小さくすることで、複数の再生映像の再生終了タイミングをそろえる再生処理を行ってもよい。

これにより、再生開始タイミングと再生終了タイミングの少なくとも一方をそろえることが可能になる。なお、本実施形態において「そろえる」とは、上述したようにそのタイミングの差異が所与の閾値以下になっていればよく、完全に一致している必要はない。図７の１〜４のように、本実施形態では表示画面中に複数の表示領域があることが想定されるが、ユーザはこのうちの再生状態となっている部分に注目するはずである。その場合、開始も終了もそろっていないとすれば、一部が再生開始しているのに他が開始していない、或いは一部は再生継続中であるのに他はすでに再生が終了しているということが当然に起こり、ユーザが注目すべき範囲が変動する回数が多くなることから、映像の内容把握には好ましくない。よって、開始タイミングと終了タイミングの少なくとも一方はそろえることが内容把握には好ましい。なお、両方をそろえる場合には、第２〜４の実施形態で述べるように、各再生映像の再生時間もそろえる必要がある。

また、再生部３００は、再生映像の再生時間、再生映像に対応する取得映像の再生時間、及び再生映像に対応する取得映像の取得時間情報の少なくとも１つに基づいて、同時に再生する複数の再生映像の表示画面における配置情報を設定してもよい。具体的には、再生部３００は、再生映像の再生時間、又は再生映像に対応する取得映像の再生時間が、単調増加或いは単調減少する順序に、複数の前記再生映像を並び替えるソート処理を行い、ソート処理の結果に基づいて、表示画面における配置基準位置及び映像サイズの少なくとも一方を、前記配置情報として設定してもよい。

ここで、配置基準位置とは、表示領域（図７の１〜４のそれぞれに対応）の表示画面上での位置を表すものであり、例えば各表示領域の左上の点が、表示画面に設定された座標系においてどの座標に対応するかを表すものである。また、映像サイズとは表示領域の形状（基本的には縦横比が１６：９や４：３となる長方形となる）、及びその大きさ（縦方向のピクセル数及び横方向のピクセル数等）を表すものである。

これにより、種々の情報に基づいて、各再生映像の表示画面における配置等を変更することが可能になる。特に、再生時間や取得時間等の情報は、再生映像を再生しているだけでは把握することが難しいため、再生画面から直感的に把握できるようにすることは有用である。例えば、図９に示すように各表示領域の大きさを異ならせてもよいし、図１０に示したように左上方向から右下方向へ向かって、ソートされて配置されるようにしてもよい。

また、映像再生装置は、ユーザからの入力を受け付ける入力受付部を含んでもよい。そして、入力受付部がユーザからの同時操作指示を受け付けた場合に、再生部３００は、複数の再生動画の同時再生処理、同時早送り処理、同時巻き戻し処理、及び同時停止処理の少なくとも１つの処理を行ってもよい。或いは、入力受付部がユーザからの所与の時間の設定指示を受け付けた場合に、生成部２００は、設定指示により指示された時間に、再生映像の再生時間の上限である前記所与の時間を設定してもよい。

ここで、入力受付部は映像再生装置のインタフェースを広く表すものである。例えば、物理的に設けられたボタン、キーボード、マウスを表すものでもよいし、図７の下部に示したように表示画面中に表示されるものであってもよい（この場合、操作は図８のようにマウスで行ってもよいし、表示画面がタッチパネルであれば接触感知により行ってもよい）。

これにより、入力受付部により受け付けた情報に基づく処理が可能になる。特に再生処理では、本実施形態が複数の再生映像の同時再生を想定していることから、一回の操作（例えばボタンの一回の押下等）により複数の再生映像に対して指示を行えることには利点がある。よって、図７等に示したように、全ての再生映像に対して、再生、停止等を指示するインタフェースを備えるとよい。また、入力受付部は再生処理に関する指示だけではなく、再生映像の生成等に関する指示、例えば再生時間の上限値の設定指示等に用いられてもよい。

なお、本実施形態の映像再生装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の映像再生装置等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

また、以上の本実施形態は、図１１に示したように、複数の取得映像をネットワークを介して受信する受信処理部１１０と、取得した複数の取得映像に加工処理を行って、複数の再生映像を生成する生成部２００と、端末（１０−１等）に複数の再生映像を同時再生させる再生処理を行う再生部３００と、複数の再生映像を前記端末に送信する送信処理部４００とを含むサーバシステムにも適用可能である。そして、生成部２００は、再生時間を所与の時間以下とする再生時間変更処理を、前記加工処理として取得映像に対して行うことで、再生映像を生成する。

これにより、図１１を用いて上述したように、本実施形態の処理を実行するサーバシステムを実現することが可能になる。

３．第２の実施形態
次に第２の実施形態について説明する。本実施形態は第１の実施形態に比べて、生成部２００における再生時間変更処理（具体的には設定部２１０での処理内容の設定）が異なるものである。具体的には、再生時間変更処理としてフレーム画像抽出処理を行う点では同様であるが、全ての再生映像の再生時間をある程度そろえる点が異なる。以下、具体例を４つに分けて説明する。なお、取得部１００及び再生部３００については、第１の実施形態と同様であるため詳細な説明は省略する。

３．１ 連続フレーム画像抽出
まず連続するフレーム画像抽出処理について説明する。図１２に示したように、取得映像Ｃ１〜Ｃ４のそれぞれに対して、連続するフレーム画像を抽出する点では第１の実施形態と同様である。ただし、本実施形態では、抽出フレーム画像数の上限を設定するだけでなく、各再生映像のフレーム画像数の差異が所与の閾値よりも小さくなるように設定する。これは例えば、基準フレーム画像数ｓと、フレーム画像数閾値ｔを設定した場合に、各再生映像から抽出するフレーム画像数が、ｓとの差がｔ以下となるようにすれば実現できる。

この場合、図１３のＤ１〜Ｄ４に示したように、複数の再生映像の再生時間がある程度そろった（図１３の例であれば一致した）状態となる。本実施形態の他の例や、第３，第４の実施形態においても、再生時間をそろえる手法について説明するが、このようにすれば同時再生処理における再生開始タイミング及び再生終了タイミングをほぼそろえることが可能になる。つまり、再生中には、一部の再生映像の再生が開始していない、或いは終了しているという状態になることを抑止できるため、ユーザにとって表示画面中の注目すべき領域を変化させる必要がない。よって、ユーザにとっては映像が一部だけ再生しているという状況を考慮しなくてもよいため、映像視聴の際の負担軽減等が可能になる。ただし、第１の実施形態で述べたように、複数の再生映像のうち特定の映像に注目したいということが確定しているのであれば、その映像だけを再生する等の処理を行ってもよい。

３．２ 不連続フレーム画像抽出
また、抽出されるフレーム画像は連続するものには限定されない。各再生映像から一部のフレーム画像を抽出し、その際に各再生映像のフレーム画像数の差異が所与の閾値よりも小さくなるように設定する点は同様であるが、図１４のＥ１〜Ｅ４に示したように連続しないフレーム画像を抽出してもよい。この場合の再生映像は図１５のＦ１〜Ｆ４となる。

抽出フレーム画像を連続するものに限定しないことで、取得映像におけるフレーム画像位置が大きく異なるフレーム画像を再生映像に含めることが可能になる。例えば、ともに特徴的ではあるが、その間が大きく離れている２つのフレーム画像があった場合、連続フレーム画像抽出処理ではその両方が抽出される可能性は低くなり、取得映像の内容把握性を考えると好ましくない可能性がある。しかし、この手法であれば、取得映像におけるフレーム画像位置によらず特徴的なフレーム画像を抽出できるため、内容把握性を高められる可能性がある。

ただし、不連続フレーム画像抽出処理を行った場合には、再生フレームレートを考慮する必要がある。連続フレーム画像抽出処理であれば、再生映像は（途中にシーンチェンジを挟む可能性はあるが）基本的には各フレーム画像間の差異が少ない一連の映像となるため、高速で再生しても問題ない。例えば、録画時のフレームレートと同程度（毎秒１５フレームや、３０フレーム等）であってもよい。しかし、不連続フレーム画像抽出処理では、各フレーム画像間で撮像対象が大きく異なる可能性が高い。つまり、そのような映像を毎秒１５フレームのようなスピードで再生してしまっては、ユーザによる内容把握は困難となる。よって、この場合には再生フレームレートを低くするとよく、具体的には動画像の再生というよりは静止画像のスライドショーに近い程度（毎秒１〜２フレーム等）にすることが好ましい。

３．３ 黒色フレーム画像挿入
また、フレーム画像抽出処理の段階では、抽出されるフレーム画像の数をそろえない実施形態であってもよい。例えば、連続、不連続を問わず、図６のＢ１〜Ｂ４に示したように、上限値だけ定められた異なる数のフレーム画像を抽出する。そして、フレーム画像数が極端に少ない映像（例えば上述の基準フレーム画像数ｓ、フレーム数閾値ｔを考えた場合にフレーム画像数がｓ−ｔよりも小さくなる映像）については、フレーム画像数の条件を満たすように黒色フレーム画像を挿入する。具体的には、図１６のＧ１〜Ｇ４のうち、Ｇ２及びＧ４に示したように黒色フレーム画像を挿入し、挿入後のＧ１〜Ｇ４を再生映像とする。このようにすれば、抽出フレーム画像数が大きく異なったとしても、再生映像に含まれるフレーム画像数をそろえる（各再生映像のフレーム画像数の差異を小さくする）ことが可能になる。

このようにすれば、特徴的でないフレーム画像が再生映像に含まれることで、かえって内容把握の妨げになることを抑止できる。また、再生映像を繰り返して再生する場合には、２回目以降の再生であっても、再生開始タイミング及び再生終了タイミングをある程度そろえることが可能になる。

３．４ 繰り返し再生
また、抽出されるフレーム画像の数をそろえず、黒色フレーム画像の挿入も行わなくてもよい。ただし、所与の回数繰り返して再生した場合に、全ての再生映像の再生開始タイミング及び再生終了タイミングをある程度そろえるようにする。

具体的には、Ｎ個の再生映像の再生時間がＴ１〜ＴＮである場合に、Ｔ１〜ＴＮの差異を所与の閾値以下にするのではなく、ｋ１×Ｔ１，ｋ２×Ｔ２、ｋ３×Ｔ３、・・・ｋＮ×ＴＮ（ｋ１〜ｋＮは１以上の整数）の差異を所与の閾値以下とする。

具体例を図を用いて説明する。図１７のＨ１〜Ｈ４の再生時間は、再生フレームレートを毎秒１フレームとすれば、Ｈ１が３秒、Ｈ２が２秒、Ｈ３が４秒、Ｈ４が１秒となる。このままでは各再生映像の再生時間（特にＨ３とＨ４の再生時間）の差が大きい。しかし、図１８に示したようにＨ１を４回、Ｈ２を６回、Ｈ３を３回、Ｈ４を１２回繰り返して再生した場合には、各再生映像の再生時間の合計は１２秒となり、全ての再生映像についてそろえられることになる。つまり、繰り返し再生を前提とするのであれば、抽出フレーム画像数については厳密にそろえないという手法を用いてもよいことになる。

なお、各再生映像の再生時間の最小公倍数に相当する時間だけかければ、どのような再生時間の組み合わせであってもタイミングをそろえることは可能である。しかし、その最小公倍数があまりに大きいのでは、タイミングをそろえるまでに要する時間が長くなり、第２の実施形態で説明している再生時間等をそろえる手法のメリットがなくなってしまう。よって、繰り返し再生の手法を効果的に用いるのであれば、再生時間の最小公倍数が所与の公倍数閾値よりも小さくなるような組み合わせの再生時間となるように、各取得映像から抽出するフレーム画像数に制限を設けることが好ましい。

以上の本実施形態では、生成部２００は、複数の再生映像のそれぞれの再生時間の差異を所与の閾値よりも小さくすることで、複数の再生映像の再生時間をそろえる再生時間変更処理を実行する。例えば、基準フレーム画像数をｓ（ｓは整数）、所与のフレーム数閾値をｔ（ｔは整数）とした場合に、生成部２００は、複数の取得映像から、それぞれｓとの差異がｔ以下となる数のフレーム画像を抽出する第１の再生時間変更処理を行うことで、再生時間がそろえられた複数の再生映像を生成できる。

ここで、再生時間をそろえる処理も、再生開始タイミング等をそろえる処理と同様に、完全に一致させるものに限定されず、各再生映像の再生時間の差異が所与の閾値以下となればよいものである。

これにより、複数の再生映像の再生時間をそろえることが可能になる。特に、再生開始タイミングをそろえれば、再生終了タイミングもそろうことが想定されるため、処理中の大部分のタイミングにおいて、全ての再生映像が再生状態にある、或いは全ての再生映像が停止（再生終了）状態にあることになる。つまり、ユーザにとって注目すべき領域の変動（これは視線方向の変動等に対応）が少なくなるため、映像の内容把握が容易となる。

また、第１の取得映像に対して再生時間変更処理を行うことで取得される第１の再生映像の再生時間をＴ１、第２の取得映像に対して再生時間変更処理を行うことで取得される第２の再生映像の再生時間をＴ２とした場合に、生成部２００は、ｋ１×Ｔ１と、ｋ２×Ｔ２（ｋ１，ｋ２は１以上の整数）の差異を所与の閾値よりも小さくする再生時間変更処理を実行してもよい。

これにより、図１７，図１８に示した処理が可能になる。この場合、繰り返し再生を行い、再生時間×繰り返し回数がそろえばよい。よって、各再生映像の再生時間がそろっていなくても、再生時間がそろっている場合と同様の効果が期待できる。

４．第３の実施形態
次に第３の実施形態について説明する。本実施形態では、再生時間変更処理として再生フレームレート変更処理を行う。なお、取得部１００及び再生部３００については第１の実施形態と同様であるため詳細な説明は省略する。

映像の再生時間は、当該映像に含まれるフレーム画像数と、再生フレームレートにより決定される。例えば、９０フレームからなる映像があった場合、再生フレームレートが毎秒１０フレームであれば再生時間は９秒となるし、再生フレームレートが毎秒３０フレームであれば再生時間は３秒となる。つまり、取得映像に含まれるフレーム画像数が大きく異なったとしても、再生フレームレートを映像ごとに適切に変更して再生映像を生成することで、再生映像の再生時間をある程度そろえることが可能になる。具体的には、含まれるフレーム画像数が多い取得映像に対しては、含まれるフレーム画像数が少ない取得映像に比べて、再生フレームレートを大きくする再生時間変更処理を行う。

具体例を図を用いて説明する。図１９のＩ１〜Ｉ４が取得映像として取得された場合、Ｉ３はフレーム画像数が多く、Ｉ２はフレーム画像数が少ない。よって、Ｉ３の再生フレームレートをＩ２の再生フレームレートに比べて大きく設定することで、再生映像の再生時間をそろえる。この結果、生成される再生映像は図２０のＪ１〜Ｊ４となり再生時間がそろえられる。なお、再生時間に上限値を設ける点については第１の実施形態等と同様であるため、Ｊ１〜Ｊ４の再生時間が再生時間の上限値以下となるように、再生フレームレートが決定されることになる。

このようにすれば、再生映像の再生時間をそろえることができるため、第２の実施形態と同様の効果が得られる。また、本実施形態では取得映像のフレーム画像数が多いほど、つまり取得映像の再生時間が長いほど、再生フレームレートが高くなる。よって、ユーザは再生速度の違いにより取得映像の再生時間の長さを把握することも可能になる。

以上の本実施形態では、第２の実施形態と同様に、生成部２００は、複数の再生映像のそれぞれの再生時間の差異を所与の閾値よりも小さくすることで、複数の再生映像の再生時間をそろえる再生時間変更処理を実行する。例えば、生成部２００は、取得映像に含まれるフレーム画像の数が多い場合には、取得映像に含まれるフレーム画像の数が少ない場合に比べて再生フレームレートを高くする第２の再生時間変更処理を行うことで、再生時間がそろえられた複数の再生映像を生成してもよい。

これにより、図１９，図２０に示した処理が可能になる。この場合、取得映像に含まれるフレーム画像は、全て再生映像にも含まれることが想定されるため、特徴的な（取得映像の内容把握に効果的な）フレーム画像が再生映像において欠損することを抑止できる。さらに、取得映像に含まれるフレーム画像数が多いほど（つまり取得映像の再生時間が長いほど）、再生フレームレートが高くなるため、再生スピードから取得映像の再生時間を推測することも可能となる。

５．第４の実施形態
次に第４の実施形態について説明する。本実施形態では、フレーム画像抽出処理及び再生フレームレート変更処理の両方を、再生時間変更処理として行う。なお、取得部１００及び再生部３００については第１の実施形態と同様であるため詳細な説明は省略する。

具体的には、取得映像から一部のフレーム画像を抽出して中間映像を生成する。この中間映像に含まれるフレーム画像数（取得映像から抽出されるフレーム画像数）については、複数の中間映像の間でそろえられている必要はない。その後、複数の中間映像に対して再生フレームレート変更処理を行う。この際、第３の実施形態と同様に、含まれるフレーム画像数が多い中間映像に対しては、含まれるフレーム画像数が少ない中間映像に比べて、再生フレームレートを大きくする再生時間変更処理を行う。

具体例を図を用いて説明する。図２１（Ａ）のＫ１、Ｋ２が取得映像として取得された場合、それぞれから一部のフレーム画像を抽出し、図２１（Ｂ）に示した中間画像Ｌ１、Ｌ２を生成する。そして、Ｌ１、Ｌ２のそれぞれに含まれるフレーム画像数に応じた再生フレームレート変更処理を行い（ここではＬ２に比べてＬ１の再生フレームレートを高くする）、図２１（Ｃ）のＭ１、Ｍ２に示したように最終的な再生映像を生成する。なお、図２１（Ａ）〜図２１（Ｃ）では取得映像等を２つとしたが、３つ以上であってもよいことはいうまでもない。

この場合にも、上述してきた実施形態と同様の効果が得られる。

以上の本実施形態では、第２の実施形態と同様に、生成部２００は、複数の再生映像のそれぞれの再生時間の差異を所与の閾値よりも小さくすることで、複数の再生映像の再生時間をそろえる再生時間変更処理を実行する。例えば、生成部２００は、複数の取得映像から、それぞれ一部のフレーム画像を抽出する第１の再生時間変更処理を行って複数の中間映像を生成し、複数の中間映像に対して、中間映像に含まれるフレーム画像の数が多い場合には、中間映像に含まれるフレーム画像の数が少ない場合に比べて再生フレームレートを高くする第２の再生時間変更処理を行って複数の再生映像を生成することで、再生時間がそろえられた複数の再生映像を生成してもよい。

これにより、図２１（Ａ）〜図２１（Ｃ）に示したように、フレーム画像抽出処理と再生フレームレート変更処理の両方を組み合わせた再生時間変更処理を行うことが可能になる。

以上、本発明を適用した４つの実施の形態１〜４およびその変形例について説明したが、本発明は、各実施の形態１〜４やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜４や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜４や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

１０ 端末装置、２０ サーバシステム、３０ ネットワーク、１００ 取得部、
１１０ 受信処理部、２００ 生成部、２１０ 設定部、２２０ 作成部、
２３０ 選択部、２４０ 記憶部、２５０ 読込部、３００ 再生部、
４００ 送信処理部

Claims (22)

1. 複数の取得映像を取得する取得部と、
   取得した複数の前記取得映像に加工処理を行って、複数の再生映像を生成する生成部と、
   生成された複数の前記再生映像の同時再生処理を行う再生部と、
   を含み、
   前記生成部は、
   再生時間を所与の時間以下とする再生時間変更処理を、前記加工処理として前記取得映像に対して行うことで、前記再生映像を生成することを特徴とする映像再生装置。
2. 請求項１において、
   前記生成部は、
   前記取得映像に含まれるフレーム画像のうち、一部のフレーム画像を抽出する第１の再生時間変更処理、及び前記取得映像の再生フレームレートを変更する第２の再生時間変更処理の少なくとも一方の処理を、前記再生時間変更処理として行って前記再生映像を生成することを特徴とする映像再生装置。
3. 請求項２において、
   前記生成部は、
   複数の前記再生映像のそれぞれの前記再生時間の差異を所与の閾値よりも小さくすることで、複数の前記再生映像の前記再生時間をそろえる前記再生時間変更処理を実行することを特徴とする映像再生装置。
4. 請求項３において、
   基準フレーム画像数をｓ（ｓは整数）、所与のフレーム数閾値をｔ（ｔは整数）とした場合に、
   前記生成部は、
   複数の前記取得映像から、それぞれｓとの差異がｔ以下となる数のフレーム画像を抽出する前記第１の再生時間変更処理を行うことで、前記再生時間がそろえられた複数の前記再生映像を生成することを特徴とする映像再生装置。
5. 請求項３において、
   前記生成部は、
   前記取得映像に含まれるフレーム画像の数が多い場合には、前記取得映像に含まれるフレーム画像の数が少ない場合に比べて前記再生フレームレートを高くする前記第２の再生時間変更処理を行うことで、前記再生時間がそろえられた複数の前記再生映像を生成することを特徴とする映像再生装置。
6. 請求項３において、
   前記生成部は、
   複数の前記取得映像から、それぞれ一部のフレーム画像を抽出する前記第１の再生時間変更処理を行って複数の中間映像を生成し、
   複数の前記中間映像に対して、前記中間映像に含まれるフレーム画像の数が多い場合には、前記中間映像に含まれるフレーム画像の数が少ない場合に比べて前記再生フレームレートを高くする前記第２の再生時間変更処理を行って前記複数の再生映像を生成することで、
   前記再生時間がそろえられた複数の前記再生映像を生成することを特徴とする映像再生装置。
7. 請求項１又は２において、
   第１の取得映像に対して前記再生時間変更処理を行うことで取得される第１の再生映像の前記再生時間をＴ１とし、第２の取得映像に対して前記再生時間変更処理を行うことで取得される第２の再生映像の前記再生時間をＴ２とした場合に、
   前記生成部は、
   ｋ１×Ｔ１と、ｋ２×Ｔ２（ｋ１，ｋ２は１以上の整数）の差異を所与の閾値よりも小さくする前記再生時間変更処理を実行することを特徴とする映像再生装置。
8. 請求項１乃至７のいずれかにおいて、
   前記生成部は、
   前記取得映像のシーンチェンジ情報、前記取得映像において撮像された被写体情報、及びユーザ入力情報の少なくとも１つに基づいて、前記再生映像の前記再生時間の上限である前記所与の時間を設定することを特徴とする映像再生装置。
9. 請求項８において、
   前記生成部は、
   前記シーンチェンジ情報により表される前記取得映像のシーンチェンジ回数が多いほど、前記再生映像の前記再生時間の上限である前記所与の時間を長く設定することを特徴とする映像再生装置。
10. 請求項８において、
    前記生成部は、
    前記被写体情報により表される前記取得映像中の被写体数が多いほど、前記再生映像の前記再生時間の上限である前記所与の時間を長く設定することを特徴とする映像再生装置。
11. 請求項１乃至１０のいずれかにおいて、
    前記生成部は、
    前記再生時間変更処理の処理内容を設定する設定部と、
    前記設定部で設定された処理内容に基づいて、前記取得映像に対して前記再生時間変更処理を行って前記再生映像を生成する作成部と、
    を含むことを特徴とする映像再生装置。
12. 請求項１１において、
    前記生成部は、
    ユーザによる作業の中断指示が入力された場合に、前記設定部における設定情報を保存するか、前記作成部で生成された前記再生映像を保存するかを選択する処理を行う選択部を含むことを特徴とする映像再生装置。
13. 請求項１２において、
    前記生成部は、
    前記ユーザによる作業の前記中断指示が入力された場合に、前記設定部における前記設定内容、及び前記作成部で生成された前記再生映像のうち、前記選択部により選択された情報を記憶する記憶部と、
    前記作業の再開指示が入力された場合に、前記記憶部に記憶された前記情報の読み込み処理を行う読込部と、
    を含むことを特徴とする映像再生装置。
14. 請求項１乃至１３のいずれかにおいて、
    前記再生部は、
    複数の前記再生映像のそれぞれの再生開始タイミングの差異を所与の開始タイミング閾値よりも小さくすることで、複数の前記再生映像の前記再生開始タイミングをそろえる再生処理を行うことを特徴とする映像再生装置。
15. 請求項１乃至１４のいずれかにおいて、
    前記再生部は、
    複数の前記再生映像のそれぞれの再生終了タイミングの差異を所与の終了タイミング閾値よりも小さくすることで、複数の前記再生映像の前記再生終了タイミングをそろえる再生処理を行うことを特徴とする映像再生装置。
16. 請求項１乃至１５のいずれかにおいて、
    前記再生部は、
    前記再生映像の前記再生時間、前記再生映像に対応する前記取得映像の前記再生時間、及び前記再生映像に対応する前記取得映像の取得時間情報の少なくとも１つに基づいて、同時に再生する複数の前記再生映像の表示画面における配置情報を設定することを特徴とする映像再生装置。
17. 請求項１６において、
    前記再生部は、
    前記再生映像の前記再生時間、又は前記再生映像に対応する前記取得映像の前記再生時間が、単調増加或いは単調減少する順序に、複数の前記再生映像を並び替えるソート処理を行い、
    前記ソート処理の結果に基づいて、前記表示画面における配置基準位置及び映像サイズの少なくとも一方を、前記配置情報として設定することを特徴とする映像再生装置。
18. 請求項１乃至１７のいずれかにおいて、
    ユーザからの入力を受け付ける入力受付部を含み、
    前記入力受付部が前記ユーザからの同時操作指示を受け付けた場合に、
    前記再生部は、
    複数の前記再生動画の前記同時再生処理、同時早送り処理、同時巻き戻し処理、及び同時停止処理の少なくとも１つの処理を行うことを特徴とする映像再生装置。
19. 請求項１８において、
    前記入力受付部が前記ユーザからの前記所与の時間の設定指示を受け付けた場合に、
    前記生成部は、
    前記設定指示により指示された時間に、前記再生映像の前記再生時間の上限である前記所与の時間を設定することを特徴とする映像再生装置。
20. 複数の取得映像を取得する取得部と、
    取得した複数の前記取得映像に加工処理を行って、複数の再生映像を生成する生成部と、
    生成された複数の前記再生映像の同時再生処理を行う再生部として、
    コンピュータを機能させ、
    前記生成部は、
    再生時間を所与の時間以下とする再生時間変更処理を、前記加工処理として前記取得映像に対して行うことで、前記再生映像を生成することを特徴とするプログラム。
21. 複数の取得映像を取得し、
    取得した複数の前記取得映像に加工処理を行って、複数の再生映像を生成し、
    生成された複数の前記再生映像の同時再生処理を行い、
    前記加工処理は、前記取得映像に対する、再生時間を所与の時間以下とする再生時間変更処理であることを特徴とする映像再生方法。
22. 複数の取得映像をネットワークを介して受信する受信処理部と、
    取得した複数の前記取得映像に加工処理を行って、複数の再生映像を生成する生成部と、
    端末に複数の再生映像を同時再生させる再生処理を行う再生部と、
    複数の前記再生映像を前記端末に送信する送信処理部と、
    を含み、
    前記生成部は、
    再生時間を所与の時間以下とする再生時間変更処理を、前記加工処理として前記取得映像に対して行うことで、前記再生映像を生成することを特徴とするサーバシステム。

Images