JP2012151817A - 再生装置および撮像装置 - Google Patents

Abstract

【課題】特定の被写体の動きに関して、動画像の中でユーザが希望するシーンを簡単に再生することができなかった。
【解決手段】再生装置は、動画像の再生を制御する再生制御部１１１と、再生される動画像が表示される表示部１９と、動画像として撮影された被写体の中から、移動する主役被写体を特定する主役特定部１１２と、表示部１９に表示されている動画像に対する入力操作を検出する操作検出部１１３と、表示部１９に表示されている動画像について、入力操作の時点で主役被写体が存在しない位置が入力操作によって指定された場合に、当該位置を指定位置として検出する位置検出部１１４と、主役被写体が指定位置に存在する画像を、動画像を構成する複数の画像の中から特定画像として検索する特定画像検索部１１５とを備える。再生制御部１１１は、動画像の再生時に入力操作が検出されると、検索された特定画像を頭出し再生するように制御する。
【選択図】図１

Description

本発明は、動画像の頭出し再生を行う技術に関する。

従来、動画像から注目被写体を切り出して拡大し、拡大した静止画を並べて表示することにより、注目被写体を見やすくした画像を提供する技術が知られている（特許文献１参照）。

一方、動画像は全部を見ると時間がかかるため、途中から、あるいはその一部のみを効率的に鑑賞したいという声は多い。従来、動画像の中の一部の場面だけを再生したい場合には、早送りまたは巻き戻し再生をすることによってその場面を頭出しして、再生を行っていた。また、インデックスマークが付された位置を自動で頭出しできる再生装置も知られているが、このような再生装置でも、予めインデックスマークをその位置に手動入力しておく必要があった。

また、動画のダイジェスト版を作成するために、動画に付帯している音声に基づいてシーンの変化点を検出して、無音シーンや会話シーンを判別し、判別結果に基づいて、ダイジェスト動画を作成する方法が開示されている（特許文献２参照）。

特開２００４−１７８３６８号公報 特開２００６−５００４５号公報

しかしながら、従来の技術では、特定の被写体の動きに関して、動画像の中でユーザが希望するシーンを簡単に再生することはできなかった。

本発明は、特定の被写体の動きに関して、動画像中でユーザが希望するシーンを容易に頭出し再生する技術を提供することを目的とする。

本発明のある態様に係る再生装置は、動画像の再生を制御する再生制御部と、再生される動画像が表示される表示部と、動画像として撮影された被写体の中から、移動する主役被写体を特定する主役特定部と、前記表示部に表示されている動画像に対する入力操作を検出する操作検出部と、前記表示部に表示されている動画像について、前記入力操作の時点で前記主役被写体が存在しない位置が前記入力操作によって指定された場合に、当該位置を指定位置として検出する位置検出部と、前記主役被写体が前記指定位置に存在する画像を、前記動画像を構成する複数の画像の中から特定画像として検索する特定画像検索部と、を備える。前記再生制御部は、動画像の再生時に、前記操作検出部によって前記入力操作が検出されると、前記特定画像検索部によって検索された特定画像を頭出し再生するように制御する。

本発明によれば、入力操作によって指定された指定位置に主役被写体が存在する画像を、容易に頭出し再生することができる。

一実施の形態における再生装置を備えたデジタルカメラの構成を示すブロック図である。 再生する動画について説明するための図である。 ジャンプ再生モード設定時のジャンプ再生表示の一例を説明するための図である。 ジャンプ再生モード設定時のジャンプ再生表示の別の一例を説明するための図である。 ジャンプ再生モード設定時のジャンプ再生表示のさらに別の一例を説明するための図である。 ジャンプ再生モード設定時のジャンプ再生表示のさらに別の一例を説明するための図である。 ジャンプ再生モード設定時のジャンプ再生表示のさらに別の一例を説明するための図である。 ユーザが主役被写体を指定する際の指定方法の一例を説明するための図である。 動画の再生時に、主役被写体の移動軌跡を表示部に表示させた状態を示す図である。 撮影方向やズーム比が変わった場合に、主役被写体を特定する方法を説明するための図である。 一実施の形態における再生装置を備えたデジタルカメラ１によって行われる処理内容を示すフローチャートである。 図１１に示すフローチャートに続くフローチャートである。

図１は、一実施の形態における再生装置を備えたデジタルカメラ１の構成を示すブロック図である。デジタルカメラ１は、制御部１１と、プログラム／データ記憶部１２と、操作部１３と、タッチパネル１４と、撮像部１５と、ＳＤＲＡＭ１６と、画像処理部１７と、表示ドライバー部１８と、表示部１９と、圧縮伸長部２０と、再生部２１と、記録部２２と、画像記憶部２３と、バス２５とを備える。このデジタルカメラ１は、動画撮影機能を有する。

制御部（ＣＰＵ）１１は、プログラム／データ記憶部１２に記憶された制御プログラムに従って動作し、カメラの全体制御を行う。制御部１１内には、再生制御部１１１、主役特定部１１２、操作検出部１１３、位置検出部１１４、および、特定画像検索部１１５が設けられている。再生制御部１１１、主役特定部１１２、操作検出部１１３、位置検出部１１４、および、特定画像検索部１１５は、制御プログラムにより実行される処理の一部であるため、制御部１１に含まれる機能部として説明する。再生装置は、かかる制御部１１と表示部１９から主に構成されるが、詳細は後述する。

再生制御部１１１は、後述する再生部２１が画像の再生を行う際の再生制御を行う。

主役特定部１１２は、画像内で、動きのある被写体を、自動的に、あるいはユーザの指示によって、主役被写体として特定する。動きのある被写体とは、例えば、人、動物、車である。ユーザによっていずれかの被写体が特定された場合には、ユーザによって特定された被写体を主役被写体とする。また、ユーザによって主役被写体が特定されない場合であって、動きのある被写体が複数検出された場合、主役特定部１１２は、サイズの最も大きい被写体を主役被写体として特定する。ただし、サイズの大きい被写体ではなく、動きが最も大きい被写体を主役被写体として特定するようにしてもよい。

操作検出部１１３は、ユーザによる操作部１３およびタッチパネル１４の操作、および、操作の態様を検出する。

位置検出部１１４は、操作検出部１１３によって検出されたタッチパネル１４のタッチ位置に基づいて、表示部１９に表示中の画像の対応する位置を検出する。位置検出部１１４は、表示部１９に表示されている動画像について、入力操作の時点で主役被写体が存在しない位置が入力操作によって指定された場合に、当該位置を指定位置として検出する。位置検出部１１４は、また、動画の再生に応じて、画像上での主役位置を順次記憶させることによって、主役位置の移動軌跡を作成する。作成された主役位置の移動軌跡は、画像記憶部２３に記録される。

特定画像検索部１１５は、主役被写体が画像上の指定された位置に存在する画像を、表示部１９に表示中の動画を構成する複数の画像の中から検索する。このとき、動画を構成する全ての画像の中から検索せずに、所定フレーム（例えば、１０フレーム）または所定時間（例えば、０．５秒）ごとの間引いた画像を検索するようにしてもよい。

動画の内容によっては、主役被写体が画像上の指定された位置を複数回通過することもあり、その場合には、複数の画像が検出の対象となる。そのような場合、特定画像検索部１１５は、撮影時間が最も早い画像を優先して検出する。場合によっては、撮影時間が遅い画像を優先して検出するようにしてもよい。

制御部１１には、プログラム／データ記憶部１２、操作部１３、タッチパネル１４、および、バス２５が接続されている。プログラム／データ記憶部１２には、前述したように、制御部１１において実行するプログラムが記憶されており、各種データも記憶されている。

操作部１３は、ユーザがカメラに指示を与えるための各種操作部材を有する。各種操作部材には、例えば、電源釦、レリーズ釦、ＯＫ釦、十字釦、再生釦、テレワイド釦等が含まれる。操作部１３に含まれる各種操作部材の操作状態は、制御部１１の操作検出部１１３によって検出される。

タッチパネル１４は、表示部１９の前面に配置され、または表示部１９と一体に構成されている。ユーザが表示部１９の画面をタッチすると、操作検出部１１３によって、タッチ位置およびタッチ方向が検出される。

バス２５には、制御部１１の他に、撮像部１５、ＳＤＲＡＭ１６、画像処理部１７、表示ドライバー部１８、圧縮伸長部２０、再生部２１、および、記録部２２が接続されている。

撮像部１５は、被写体像を結像させるための撮影レンズ、被写体像を画像データに変換するための撮像素子、および、これらの処理回路、撮影レンズの光路中に介挿された絞りおよびシャッタ等を含む。撮像部１５によって生成された静止画像や連続画像の画像データはバス２５に出力される。

ＳＤＲＡＭ１６は、電気的に書き換え可能な揮発性の一時記憶メモリであり、撮像部１５から出力される静止画像や連続画像の画像データの一時記憶に用いられる。

画像処理部１７は、デジタル画像データのデジタル的増幅（デジタルゲイン調整処理）、ホワイトバランス、色補正、ガンマ（γ）補正、コントラスト補正、ライブビュー表示用画像生成、動画画像生成、インデックス画像（縮小画像）生成等の各種画像処理を行う。

圧縮伸長部２０は、ＳＤＲＡＭ１６に一時記憶された静止画像や連続画像の画像データをＪＰＥＧやＴＩＦＦ等の圧縮方式により圧縮し、また表示等のために伸長するための回路である。なお、画像圧縮は、ＪＰＥＧ、ＴＩＦＦ、ＭＰＥＧに限らず、他の圧縮方式も適用できる。

表示ドライバー部１８は、表示部１９と接続されており、表示部１９に画像を表示させる。表示部１９は、カメラ本体の背面等に配置された液晶モニタや有機ＥＬ等のディスプレイである。

再生部２１は、再生制御部１１１からの指示に基づいて、画像の再生を行う。特に、再生部２１は、表示部１９に表示中の動画を構成する複数の画像の中から、制御部１１の特定画像検索部１１５で検索された画像データを読み出す。読み出された画像データは、圧縮伸長部２０において伸長され、伸長された画像データに基づいて、表示部１９に画像が再生表示される。

記録部２２は、圧縮伸長部２０で圧縮された画像データを画像記憶部２３に記録させる。画像記憶部２３は、再生部２１に接続されており、カメラ本体に内蔵、または装填可能な画像データの記録媒体である。

一実施の形態におけるデジタルカメラ１（再生装置）では、動画再生時の再生モードとして、通常の動画再生モードに加えて、ジャンプ再生モードを設定することができる。

ジャンプ再生モードについて説明する。図２は、以下で例として用いる動画について説明するための図である。図２（Ａ）および図２（Ｂ）は、再生する動画を構成する複数の静止画の中の撮影開始と終了の画像であり、それぞれ時刻ｔ＝０（秒）およびｔ＝３０（秒）のときの画像を表している。また、図２（Ｃ）は、以後の説明のために、３秒間隔の主要被写体の位置をまとめて表している。図２（Ｃ）は、実際に撮影で得られる画像ではない。

図２（Ａ）〜図２（Ｃ）において、主役被写体は、道路２６を走っている人物２８である。すなわち、画像上では、道路２６、家２７、および、人物２８が写っているが、動きのある被写体である人物２８が主役被写体として特定される。図２（Ｃ）に示すように、時刻ｔ＝０（秒）からｔ＝３０（秒）までの間で、３秒間隔の主要被写体の位置をそれぞれｐ１、ｐ２、ｐ３、ｐ４、ｐ５、ｐ６、ｐ７、ｐ８、ｐ９、ｐ１０、ｐ１１と表す。

図３は、ジャンプ再生モード設定時のジャンプ再生表示の一例を説明するための図である。図３（Ａ）は、順方向再生のためのタッチパネル操作を説明するための図であり、図３（Ｂ）は、図３（Ａ）に示すタッチパネル操作による再生表示を説明するための図である。ジャンプ再生モード設定時には、図３（Ａ）に示すように、主役被写体を示す矢印のアイコン３３、および、ジャンプ再生モードに設定されていることを示すアイコン３４が表示部１９に表示される。

ユーザは、主役被写体が通過する予定の道路２６上の１点をタッチし、タッチパネルに指をタッチしたまま、道路２６上の別の地点まで指を動かす摺動操作を行う。順方向再生を行うためには、主役被写体が移動する方向に摺動操作を行う必要がある。図３（Ａ）に示す例では、指３１が摺動操作の開始位置（第１の位置）を表しており、指３２が摺動操作の終了位置（第２の位置）を表している。

図３（Ａ）に示すような指の摺動操作が行われると、制御部１１の位置検出部１１４は、摺動操作の開始位置、および、摺動操作の終了位置にそれぞれ対応する画像上の位置を特定する。特定画像検索部１１５は、摺動操作の開始位置に主役被写体が存在する画像、および、摺動操作の終了位置に主役被写体が存在する画像を、表示部１９に表示中の動画を構成する複数の画像の中から検索する。ここでは、指３１に対応する摺動操作の開始位置は、図２（Ｃ）のｐ５の位置であり、指３２に対応する摺動操作の終了位置は、図２（Ｃ）のｐ９の位置とする。

再生制御部１１１は、摺動操作の開始位置に主役被写体が存在する画像を開始画像とする頭出し再生を行うように、再生制御を行う。より具体的には、撮影時間順に、主役被写体がｐ５の位置に存在する画像から、主役被写体がｐ９の位置に存在する画像までの間の複数の画像で構成される動画を繰り返し再生するように、再生制御を行う。

ジャンプ再生表示時には、図３（Ｂ）に示すように、ジャンプ再生表示中であることを示すアイコン３５が表示部１９に表示される。また、アイコン３５の横には、再生する動画の再生時間範囲も表示される。図３（Ｂ）に示す例では、主役被写体がｐ５の位置に存在する画像が再生時間で１５秒後の画像であり、主役被写体がｐ９の位置に存在する画像が再生時間で２４秒後の画像であるため、１５〜２４と表示されている。

なお、図３（Ｂ）において、実線の矢印３６は、ジャンプ再生表示時に、主役被写体が移動する方向を示しており、点線の矢印３７は、主役被写体がｐ９の位置までくると、繰り返し再生を行うために、主役被写体がｐ５の位置に戻ることを示している。矢印３６、３７は、説明のための表示で、画面には表示されない。

ただし、繰り返し再生を行わずに、主役被写体がｐ５の位置に存在する画像を開始画像とし、主役被写体がｐ９の位置に存在する画像を終了画像とする動画再生を１度だけ行うようにしてもよい。

図４は、ジャンプ再生モード設定時のジャンプ再生表示の別の一例を説明するための図である。図４（Ａ）は、逆方向再生のためのタッチパネル操作を説明するための図であり、図４（Ｂ）は、図４（Ａ）に示すタッチパネル操作による再生表示を説明するための図である。

逆方向再生を行うためには、主役被写体が移動する方向とは逆の方向に摺動操作を行う必要がある。図４（Ａ）に示す例では、指４１が摺動操作の開始位置（第１の位置）を表しており、指４２が摺動操作の終了位置（第２の位置）を表している。

図４（Ａ）に示すような指の摺動操作が行われると、制御部１１の位置検出部１１４は、摺動操作の開始位置、および、摺動操作の終了位置にそれぞれ対応する画像上の位置を特定する。特定画像検索部１１５は、摺動操作の開始位置に主役被写体が存在する画像、および、摺動操作の終了位置に主役被写体が存在する画像を、表示部１９に表示中の動画を構成する複数の画像の中から検索する。ここでは、摺動操作の開始位置は、図２（Ｃ）のｐ９の位置であり、摺動操作の終了位置は、図２（Ｃ）のｐ５の位置とする。

再生制御部１１１は、摺動操作の開始位置に主役被写体が存在する画像を開始画像とする頭出し再生を行うように、再生制御を行う。より具体的には、撮影時間順に、主役被写体がｐ５の位置に存在する画像から、主役被写体がｐ９の位置に存在する画像までの間の複数の画像で構成される動画を、逆方向に繰り返し再生するように、再生制御を行う。逆方向というのは、撮影した順とは逆の順という意味であり、主役被写体がｐ９の位置に存在する画像から、主役被写体がｐ５の位置に存在する画像へと動画を再生する。図４（Ｂ）において、実線の矢印４６は、逆方向再生時に、主役被写体が移動する方向を示しており、点線の矢印４７は、主役被写体がｐ５の位置までくると、繰り返し再生を行うために、主役被写体がｐ９の位置に戻ることを示している。

逆方向再生時には、図４（Ｂ）に示すように、逆方向再生であることを示すアイコン４５も同時に表示される。順方向再生を示すアイコン３５は、右方向を示すアイコンであったが、逆方向再生を示すアイコン４５は、左方向を示すアイコンとなっている。このようなアイコン３５，４５を表示することにより、ユーザは、順方向再生か逆方向再生かを容易に判別することができる。

なお、逆方向再生においても、繰り返し再生を行わずに、主役被写体がｐ９の位置に存在する画像を開始画像とし、主役被写体がｐ５の位置に存在する画像を終了画像とする動画再生を１度だけ行うようにしてもよい。

図５は、ジャンプ再生モード設定時のジャンプ再生表示のさらに別の一例を説明するための図である。図５（Ａ）は、指定位置まで早送り再生を行うためのタッチパネル操作を説明するための図であり、図５（Ｂ）は、図５（Ａ）に示すタッチパネル操作による再生表示を説明するための図である。現在の被写体の表示位置よりも、時間的に後に被写体が存在する位置が特定されると、早送り再生が行われる。

主役被写体を移動させたい位置まで早送り再生するためには、現在再生中の動画で主役被写体が存在する位置を基準として、移動させたい位置（指定位置）を指でダブルタップすればよい。ダブルタップとは、タッチパネル１４を叩くタップ操作を２回繰り返す操作のことである。図５（Ａ）に示す例では、指５１がダブルタップをした位置を表している。

図５（Ａ）に示すようなダブルタップ操作が行われると、制御部１１の位置検出部１１４は、ダブルタップ操作が行われた位置に対応する画像上の位置を特定する。特定画像検索部１１５は、ダブルタップされた位置に主役被写体が存在する画像を、表示部１９に表示中の動画を構成する複数の画像の中から検索する。ここでは、ダブルタップされた位置は、図２（Ｃ）のｐ５の位置とする。

再生制御部１１１は、ダブルタップされた位置に主役被写体が存在する画像まで、動画を早送り再生し、ダブルタップされた位置に主役被写体が存在する画像から、通常の速度で動画再生を行うように、再生制御を行う。すなわち、ダブルタップされた位置に主役被写体が存在する画像を動画の開始画像とする頭出し再生制御を行う。

図５（Ｂ）は、ダブルタップされた位置まで動画が早送りされた状態を示している。図５（Ｂ）において、矢印５６は、主役被写体がｐ５の位置に存在する画像まで早送り再生が行われたことを示している。すなわち、再生時間５秒の画像（図５（Ａ））から、再生時間１５秒の画像（図５（Ｂ））へと早送り再生が行われたことになる。なお、指定位置まで早送り再生をせずに、指定位置の画像から再生を開始するようにしてもよい。

図６は、ジャンプ再生モード設定時のジャンプ再生表示のさらに別の一例を説明するための図である。図６（Ａ）は、指定位置まで逆戻し再生を行うためのタッチパネル操作を説明するための図であり、図６（Ｂ）は、図６（Ａ）に示すタッチパネル操作による再生表示を説明するための図である。現在の被写体の表示位置よりも、以前に被写体が存在していた位置が特定されると、逆戻し再生が行われる。

主役被写体を移動させたい位置まで逆戻し再生するためには、現在再生中の動画で主役被写体が存在する位置を基準として、逆戻し再生によって移動させたい位置（指定位置）を指でダブルタップすればよい。図６（Ａ）に示す例では、指６１がダブルタップをした位置を表している。

図６（Ａ）に示すようなダブルタップ操作が行われると、制御部１１の位置検出部１１４は、ダブルタップ操作が行われた位置に対応する画像上の位置を特定する。特定画像検索部１１５は、ダブルタップされた位置に主役被写体が存在する画像を、表示部１９に表示中の動画を構成する複数の画像の中から検索する。ここでは、ダブルタップされた位置は、図２（Ｃ）のｐ５の位置とする。

再生制御部１１１は、ダブルタップされた位置に主役被写体が存在する画像まで、動画を逆戻し再生し、ダブルタップされた位置に主役被写体が存在する画像から、通常の動画再生を行うように、再生制御を行う。すなわち、ダブルタップされた位置に主役被写体が存在する画像を動画の開始画像とする頭出し再生制御を行う。

図６（Ｂ）は、ダブルタップされた位置まで動画が逆戻しされた状態を示している。図６（Ｂ）において、矢印６６は、主役被写体がｐ５の位置に存在する画像まで逆戻し再生が行われたことを示している。すなわち、再生時間２７秒の画像（図６（Ａ））から、再生時間１５秒の画像（図６（Ｂ））へと逆戻し再生が行われたことになる。

図７は、ジャンプ再生モード設定時のジャンプ再生表示のさらに別の一例を説明するための図である。図７（Ａ）は、指定位置に主役被写体が存在する画像を静止画表示するためのタッチパネル操作を説明するための図であり、図７（Ｂ）は、図７（Ａ）に示すタッチパネル操作による再生表示を説明するための図である。

指定位置に主役被写体が存在する画像を静止画表示するためには、指定位置を所定時間以上タッチすればよい。所定時間は、例えば、１秒である。図７（Ａ）に示す例では、一定の位置で指７１が所定時間以上（長時間）タッチする操作を表している。

図７（Ａ）に示すような長時間タッチ操作が行われると、制御部１１の位置検出部１１４は、長時間タッチ操作が行われた位置に対応する画像上の位置を特定する。特定画像検索部１１５は、長時間タッチ操作された位置に主役被写体が存在する画像を、表示部１９に表示中の動画を構成する複数の画像の中から検索する。ここでは、長時間タッチ操作された位置は、図２（Ｃ）のｐ５の位置とする。

再生制御部１１１は、特定画像検索部１１５で検索された画像を静止画として再生するように再生制御を行う。図７（Ｂ）は、指７１で長時間タッチ操作が行われた位置に主役被写体が存在する画像が表示部１９に表示された状態を示している。表示部１９には、また、指定位置に主役被写体が存在する静止画の表示であることを示すアイコン７５も表示される。このアイコン７５は、順方向再生であることを示すアイコン３５と、逆方向再生であることを示すアイコン４５とを組み合わせたような形状となっている。そして、かかる静止画表示状態で、再度主役被写体にタッチ操作されると、動画再生が再開される。

主役被写体は、ユーザが指定することができる。図８は、ユーザが主役被写体を指定する際の指定方法の一例を説明するための図である。ユーザは、タッチパネルを指で触れて、３人の被写体のうちで、主役被写体として指定したい被写体を指で囲む操作を行う。図８に示す点線８１は、指で囲む操作が行われたことを示している。制御部１１の主役特定部１１２は、操作検出部１１３の検出結果、および、位置検出部１１４の検出結果に基づいて、主役被写体を特定する。

ただし、ユーザが主役被写体を特定する方法は、図８に示す方法に限定されることはない。例えば、指で直接タッチされた被写体を主役被写体として特定するようにしてもよい。

また、ジャンプ再生モードが設定された場合であって、動画の再生が最後まで一度行われた場合には、その再生期間中に主役被写体の移動軌跡を求めておいて、主役被写体の移動軌跡を表示部１９に表示してもよい。主役被写体の移動軌跡は、動画の再生時に、画像上での主役被写体の位置を順次記憶させることによって作成する。図９は、動画の再生時に、作成された主役被写体の移動軌跡９１を表示部１９に重畳表示させた状態を示す図である。主役被写体の移動軌跡９１を表示部１９に重畳表示させることによって、主役被写体の通過位置が可視化されるので、ユーザは、上述したタッチ操作がより確実にできるようになる。なお、移動軌跡を表示しないように切り替えることも可能である。

ここで、上述した説明では、簡便のために、動画撮影時の撮影方向やズーム比がほとんど変わらない例を用いた。しかし、撮影途中で撮影方向やズーム比が変わるような動画像でも、主役被写体を特定することはできる。

図１０は、撮影方向やズーム比が変わった場合に、主役被写体を特定する方法を説明するための図である。図１０（Ａ）は、再生時間０秒、すなわち、動画撮影開始時の画像である。また、図１０（Ｂ）は、再生時間１５秒の画像であり、図１０（Ｃ）は、再生時間３０秒の画像である。図１０（Ａ）、図１０（Ｂ）、図１０（Ｃ）に示すように、撮影時間が進むにつれて、主役被写体を拡大表示するために、ズームアップされている。

撮影方向やズーム比が変わった場合でも、画像上の被写体の形状や色に基づいて、既知の方法により、主役被写体を特定することができる。図１０に示す例では、例えば、道路１１２の形状や色、および、主役被写体１１１の形状や色などに基づいて、主役被写体１１１を特定する。そして、撮影方向やズーム比が変わることで、撮影開始から終了までに、背景も変化していくが、背景の形状や色から、背景の相互関係を判断する。例えば、図１０の（Ａ）と（Ｃ）の道路１１２が同一の道路であると判断することで、（Ａ）→（Ｂ）→（Ｃ）の相互関係を決定する。このようにして、図１０（Ａ）の画像で右下隅付近が指定された場合でも、その指定位置が図１０（Ｃ）の画像では、略中央寄りの位置に対応する位置であると決定することができる。

また、上記説明では、指定位置は、「現在表示部に表示されている画像での位置」としたが、指定位置を「表示部上での物理的な位置」としてもよい。つまり、撮影方向やズーム比がほぼ一定であれば、「現在表示部に表示されている画像での位置」でも「表示部上での物理的な位置」でも差はないが、撮影方向やズーム比が途中で変化する場合には、両者は当然相違する。

つまり、表示部画面の右下隅が指定された場合には、これまでの例では、「指定された時点の画像の右下隅位置」が指定位置とされ、特定画像検索部１１５は、「指定された時点の画像の右下隅位置」に特定被写体が存在する画像を検索していた。

一方、指定位置を「表示部上での物理的な位置」とされる場合には、特定画像検索部１１５は、表示部の画面の右下隅位置に特定被写体が存在する画像を検索するようにする。特定画像検索部１１５に、指定位置としていずれの方式を採用させるかは、事前に選択できるようにすればよい。

図１１は、一実施の形態における再生装置を備えたデジタルカメラ１によって行われる処理内容を示すフローチャートである。デジタルカメラ１が静止画・動画の再生を行う再生モードに設定されると、制御部１１は、再生対象の動画データを画像記憶部２３から読み出して、動画の再生処理を開始する。

ステップＳ１１では、デジタルカメラ１がジャンプ再生モードに設定されたか否かを判定する。デジタルカメラ１がジャンプ再生モードに設定されたと判定すると、ステップＳ１２に進む。

ステップＳ１２では、主役特定部１１２によって、再生対象の動画を構成する複数の画像に基づいて、動きのある被写体を主役被写体として特定する。例えば、再生対象の動画を構成する複数の画像のうち、最初の数秒の画像に基づいて、主役被写体を特定する。上述したように、動きのある被写体が複数検出された場合には、サイズの最も大きい被写体を主要被写体として特定してもよいし、動きが最も大きい被写体を主要被写体として特定してもよい。

ステップＳ１３では、ユーザによって、主役被写体を指定する操作が行われたか否かを判定する。主役被写体を指定する操作とは、例えば、図８を用いて説明したように、被写体を指で囲む操作である。主役被写体が特定できなかった場合や、意図する被写体が特定できなかった場合に、主役被写体を指定する操作が行われる。操作検出部１１３によって、主役被写体を指定する操作が検出されると、ステップＳ１４に進み、主役被写体を指定する操作が検出されなかった場合には、ステップＳ１５に進む。

ステップＳ１４では、主役特定部１１２によって、ユーザの操作に応じて、主役被写体を特定する。このため、位置検出部１１４は、操作検出部１１３によって検出されたタッチパネル１４のタッチ位置に基づいて、表示されている画像上の対応する位置を検出する。主役特定部１１２は、位置検出部１１４によって検出された画像上の位置に基づいて、主役被写体を特定する。図８を用いて説明したように、被写体を指で囲む操作が行われた場合には、位置検出部１１４によって複数の位置が検出され、検出された複数の位置で囲まれた被写体を主役被写体として特定する。この時には、動画像を一時停止させてもよい。

ステップＳ１５では、主役被写体の移動軌跡が記録されているか否かを判定する。過去に再生対象の動画が最後まで再生されたことがあり、主役被写体の移動軌跡が記録されていると判定するとステップＳ１７に進み、移動軌跡が記録されていないと判定するとステップＳ１６に進む。

ステップＳ１６では、位置検出部１１４によって、画像上での主役被写体の移動軌跡を動画像の進行に合わせて作成する。作成した主役被写体の移動軌跡は、画像記憶部２３に記録するとともに、ジャンプ再生モード時に、図９に示すように、表示部１９に重畳表示するようにしてもよい。移動軌跡が既に記録されている主役被写体が特定された場合には、当然にステップＳ１６の処理は省略される。また、動画が最後まで再生されなかった場合でも、再生された位置までの移動軌跡を記録しておいてもよい。

ステップＳ１７では、ユーザによって画面上の位置を指定するタッチ操作が行われたか否かを判定する。操作検出部１１３によって、画面上の位置を指定するタッチ操作が検出されるとステップＳ１８に進み、位置を指定するタッチ操作が検出されなかった場合には、ステップＳ１１に戻る。

ステップＳ１８では、表示対象の動画を構成する複数の画像の中から、指定された位置に主役被写体が存在する画像を検索する。このため、位置検出部１１４は、タッチパネル１４のタッチ位置に基づいて、表示部１９に表示中の画像の位置を検出する。特定画像検索部１１５は、主役被写体が画像上の指定された位置に存在する画像を、表示対象の動画を構成する複数の画像の中から検索する。

ステップＳ１９では、ステップＳ１８の画像検索処理の結果、該当する画像が存在したか否かを判定する。該当する画像が存在しなかったと判定するとステップＳ１１に戻り、該当する画像が存在したと判定すると、図１２のステップＳ２１に進む。

なお、表示部１９に移動軌跡を重畳表示している場合には、ユーザが移動軌跡上の位置を指定するため、指定位置に主役被写体が存在する画像が存在しなかったと判定される可能性は低くなる。

一方、ステップＳ１１において、デジタルカメラ１がジャンプ再生モードに設定されていないと判定すると、ステップＳ５１に進む。

ステップＳ５１では、通常の動画再生を行う。

図１２のステップＳ２１では、ユーザによるタッチパネル１４のタッチ操作が摺動操作であるか否かを判定する。タッチ操作が摺動操作であると判定すると、ステップＳ２２に進む。

ステップＳ２２では、摺動操作の摺動方向が順方向、すなわち、主役被写体の移動方向と同じ方向であるか否かを判定する。摺動操作の摺動方向が順方向であると判定するとステップＳ２３に進む。

ステップＳ２３では、再生制御部１１１によって、主役被写体が摺動操作の開始位置に存在する画像から、摺動操作の終了位置に存在する画像までの間の複数の画像で構成される動画を順方向に繰り返し再生するように、再生制御を行う（図３（Ｂ）参照）。

一方、ステップＳ２２において、摺動操作の摺動方向が逆方向、すなわち、主役被写体の移動方向と逆の方向であるか否かを判定する。摺動操作の摺動方向が逆方向であると判定するとステップＳ２４に進む。

ステップＳ２４では、再生制御部１１１によって、主役被写体が摺動操作の開始位置に存在する画像から、摺動操作の終了位置に存在する画像までの間の複数の画像で構成される動画を、逆方向に繰り返し再生するように、再生制御を行う（図４（Ｂ）参照）。ステップＳ２３あるいはステップＳ２４で、繰り返し再生を解除する所定の操作がなされると、その操作時点から通常の動画再生を再開してステップＳ３１に進む。前述のように、繰り返し再生が設定されていない場合には、１回の再生後にステップＳ３１に進む。

一方、ステップＳ２１において、ユーザによるタッチパネル１４のタッチ操作が摺動操作ではないと判定すると、ステップＳ２５に進む。ステップＳ２５では、ユーザによるタッチパネル１４のタッチ操作がダブルタップ操作であるか否かを判定する。タッチ操作がダブルタップ操作であると判定するとステップＳ２６に進む。

ステップＳ２６では、ダブルタップされた位置に主役被写体が存在する画像が、現在再生中の画像よりも時間的に後に撮影された画像であるか否かを判定する。ダブルタップされた位置に主役被写体が存在する画像は、図１１のステップＳ１８で検索された画像である。ダブルタップされた位置に主役被写体が存在する画像が、現在再生中の画像よりも時間的に後に撮影された画像であると判定すると、ステップＳ２７に進み、時間的に前に撮影された画像であると判定すると、ステップＳ２８に進む。

ステップＳ２７において、再生制御部１１１は、ダブルタップされた位置に主役被写体が存在する画像まで、動画を早送り再生し、ダブルタップされた位置に主役被写体が存在する画像から、通常の動画再生を行うように、再生制御を行う（図５参照）。

一方、ステップＳ２８において、再生制御部１１１は、ダブルタップされた位置に主役被写体が存在する画像まで、動画を逆戻し再生し、ダブルタップされた位置に主役被写体が存在する画像から、通常の動画再生を行うように、再生制御を行う（図６参照）。

一方、ステップＳ２５において、ユーザによるタッチパネル１４のタッチ操作がダブルタップ操作ではないと判定すると、ステップＳ２９に進む。ステップＳ２９では、ユーザによるタッチパネル１４のタッチ操作が所定時間以上の押下操作であるか否かを判定する。タッチ操作が所定時間以上の押下操作であると判定するとステップＳ３０に進み、所定時間以上の押下操作ではないと判定すると、ステップＳ３１に進む。

ステップＳ３０において、再生制御部１１１は、所定時間以上押下された位置に主役被写体が存在する画像を静止画として再生するように再生制御を行う（図７参照）。所定時間以上押下された位置に主役被写体が存在する画像とは、図１１のステップＳ１８で検索された画像である。静止画再生を解除する所定の操作が行われた場合には、その静止画位置から動画再生を再開して、ステップＳ３１に進む。

ステップＳ３１では、動画の再生を終了する操作が行われたか否かを判定する。例えば、ユーザによって電源オフ操作や、撮影操作が行われると、再生終了の操作が行われたと判定して、フローチャートの処理を終了する。一方、動画の再生を終了する操作が行われていないと判定すると、図１１のステップＳ１１に戻る。

以上、一実施の形態における再生装置によれば、動画像として撮影された被写体の中から、移動する主役被写体を特定するとともに、表示部１９に表示されている動画像に対する入力操作によって指定された指定位置を検出する。そして、主役被写体が指定位置に存在する画像を、動画像を構成する複数の画像の中から特定画像として検索し、検索した特定画像を頭出し再生するように制御する。これにより、ユーザの入力操作によって指定された指定位置に主役被写体が存在する画像を、容易に頭出し再生することができる。ユーザは、頭出し再生したい位置を指定する操作を行うだけでよく、利便性が高い。

再生制御部１１１は、特定画像を静止画として再生することができる。これにより、主役被写体が指定位置に存在する静止画像を容易に再生表示させることができる。

再生制御部１１１は、特定画像を開始画像とする動画像を再生することができる。これにより、動画像の中から、所望の位置を容易に頭出し再生することができる。

一実施の形態における再生装置によれば、指定位置として第１の位置および第２の位置の２つが検出された場合、特定画像検索部１１５は、主役被写体が第１の位置に存在する第１の画像と、第２の位置に存在する第２の画像を特定画像として検索する。再生制御部１１１は、第１の画像から第２の画像までの間の複数の画像で構成される動画像を再生するように制御する。これにより、動画像の中で再生したい範囲のみを容易に表示させることができる。

上記第１の位置および第２の位置は、タッチパネル１４上での摺動操作の開始位置および終了位置に対応する画像上の位置として検出することができる。これにより、ユーザは、動画像の中で再生したい範囲を、タッチパネル１４上での摺動操作より容易に指定することができる。

一実施の形態における再生装置によれば、第１の位置に主役被写体が存在する画像が第２の位置に主役被写体が存在する画像よりも時間的に前に撮影された画像である場合には、第１の画像から第２の画像までの間の複数の画像で構成される動画像を順方向に再生する。また、第１の位置に主役被写体が存在する画像が第２の位置に主役被写体が存在する画像よりも時間的に後に撮影された画像である場合に、第１の画像から第２の画像までの間の複数の画像で構成される動画像を逆方向に再生する。これにより、動画像の順方向の再生だけでなく、逆方向の再生も容易に行うことができる。

また、動画像を構成する複数の画像上における主役被写体の位置に基づいて、主役被写体の移動軌跡を作成し、再生する動画像の対応する位置に移動軌跡を重畳させて再生する。これにより、ユーザは、主役被写体が通過する位置、または、通過した位置を容易に指定することができる。

なお、上述した一実施の形態の説明では、再生装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、コンピュータにて、ソフトウェア処理を行う構成も可能である。この場合、コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを再生プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている再生プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の再生装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この再生プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該再生プログラムを実行するようにしても良い。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。

上述した一実施の形態では、再生装置を搭載したカメラをデジタルカメラとして説明したが、動画再生機能を有するカメラであれば、ビデオカメラやムービーカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでもよい。

各頭出し再生の種類とタッチ操作の関係について説明したが、この関係は一例を示すものであって、その関係に固定されることはない。例えば、長時間タッチの操作によって、その位置に主役被写体がある静止画が表示されるよう説明したが、別な種類のタッチ操作によって、静止画表示が行われるように制御してもよい。

タッチパネル１４を設けない構成とすることもできる。その場合、例えば、動画とともに矢印のアイコンを表示部１９に表示させ、十字釦やタッチパッド等の操作によって、矢印のアイコンの位置を移動させて、頭出し再生する位置を指定するようにすることができる。

上述した説明では、動画を最後まで一度再生した場合に、主役被写体の移動軌跡を求めて、表示部１９に表示するものとしたが、動画の再生時に、過去の移動軌跡を求めて、表示部１９に随時表示するようにしてもよい。

１１…制御部
１３…操作部
１４…タッチパネル
１５…撮像部
１９…表示部
２１…再生部
２３…画像記憶部
１１１…再生制御部
１１２…主役特定部
１１３…操作検出部
１１４…位置検出部（指定位置検出部）
１１５…特定画像検索部

本発明は、特定の被写体の動きに関して、動画像中でユーザが希望する範囲のシーンを容易に頭出し再生する技術を提供することを目的とする。

本発明のある態様に係る再生装置は、動画像の再生を制御する再生制御部と、再生される動画像が表示される表示部と、前記表示部に設けられるタッチパネル部と、動画像として撮影された被写体の中から、移動する主役被写体を特定する主役特定部と、前記タッチパネル部に対する入力操作を検出する操作検出部と、前記表示部に表示されている動画像について、前記入力操作として前記主役被写体の移動方向に沿っての摺動操作が行われた場合に、当該摺動操作の開始位置及び終了位置をそれぞれ第１の位置及び第２の位置として検出する位置検出部と、前記主役被写体が前記第１の位置に存在する画像から前記第２の位置に前記主役被写体が存在する画像までの範囲の画像を、前記動画像を構成する画像の中から検索する特定画像検索部と、を備える。前記再生制御部は、前記第１の位置から前記第２の位置までの範囲の動画像を再生するように制御する。

本発明によれば、入力操作によって指定された指定位置の範囲に主役被写体が存在する画像を、容易に頭出し再生することができる。

ジャンプ再生モードについて説明する。図２は、以下で例として用いる動画について説明するための図である。図２（Ａ）および図２（Ｂ）は、再生する動画を構成する複数の静止画の中の撮影開始と終了の画像であり、それぞれ時刻ｔ＝０（秒）およびｔ＝３０（秒）のときの画像を表している。また、図２（Ｃ）は、以後の説明のために、３秒間隔の主役被写体の位置をまとめて表している。図２（Ｃ）は、実際に撮影で得られる画像ではない。

図２（Ａ）〜図２（Ｃ）において、主役被写体は、道路２６を走っている人物２８である。すなわち、画像上では、道路２６、家２７、および、人物２８が写っているが、動きのある被写体である人物２８が主役被写体として特定される。図２（Ｃ）に示すように、時刻ｔ＝０（秒）からｔ＝３０（秒）までの間で、３秒間隔の主役被写体の位置をそれぞれｐ１、ｐ２、ｐ３、ｐ４、ｐ５、ｐ６、ｐ７、ｐ８、ｐ９、ｐ１０、ｐ１１と表す。

ステップＳ１２では、主役特定部１１２によって、再生対象の動画を構成する複数の画像に基づいて、動きのある被写体を主役被写体として特定する。例えば、再生対象の動画を構成する複数の画像のうち、最初の数秒の画像に基づいて、主役被写体を特定する。上述したように、動きのある被写体が複数検出された場合には、サイズの最も大きい被写体を主役被写体として特定してもよいし、動きが最も大きい被写体を主役被写体として特定してもよい。

本発明のある態様に係る再生装置は、動画像の再生を制御する再生制御部と、再生される動画像が表示される表示部と、前記表示部に設けられるタッチパネル部と、動画像として撮影された被写体の中から、移動する主役被写体を特定する主役特定部と、前記タッチパネル部に対する入力操作を検出する操作検出部と、前記表示部に表示されている動画像について、前記入力操作として前記主役被写体の移動方向に沿っての摺動操作が行われた場合に、当該摺動操作の開始位置及び終了位置をそれぞれ第１の位置及び第２の位置として検出する位置検出部と、前記主役被写体が前記第１の位置に存在する第１の画像から前記第２の位置に前記主役被写体が存在する第２の画像までの範囲の画像を、前記動画像を構成する画像の中から検索する特定画像検索部と、を備え、前記再生制御部は、前記第１の位置から前記第２の位置までの範囲の動画像を再生するように制御すると共に、前記第１の位置に前記主役被写体が存在する第１の画像が前記第２の位置に前記主役被写体が存在する第２の画像よりも時間的に前に撮影された画像である場合に、前記第１の画像から前記第２の画像までの間の複数の画像で構成される動画像を順方向に再生し、前記第１の位置に前記主役被写体が存在する第１の画像が前記第２の位置に前記主役被写体が存在する第２の画像よりも時間的に後に撮影された画像である場合に、前記第１の画像から前記第２の画像までの間の複数の画像で構成される動画像を逆方向に再生する。

Claims (13)

1. 動画像の再生を制御する再生制御部と、
   再生される動画像が表示される表示部と、
   動画像として撮影された被写体の中から、移動する主役被写体を特定する主役特定部と、
   前記表示部に表示されている動画像に対する入力操作を検出する操作検出部と、
   前記表示部に表示されている動画像について、前記入力操作の時点で前記主役被写体が存在しない位置が前記入力操作によって指定された場合に、当該位置を指定位置として検出する位置検出部と、
   前記主役被写体が前記指定位置に存在する画像を、前記動画像を構成する複数の画像の中から特定画像として検索する特定画像検索部と、
   を備え、
   前記再生制御部は、動画像の再生時に、前記操作検出部によって前記入力操作が検出されると、前記特定画像検索部によって検索された特定画像を頭出し再生するように制御する、
   ことを特徴とする再生装置。
2. 前記表示部に設けられるタッチパネル部をさらに備え、
   前記操作検出部は、前記タッチパネル部を介して前記入力操作を検出する、
   ことを特徴とする請求項１に記載の再生装置。
3. 前記操作検出部は、前記入力操作として、前記指定位置の検出と共に、前記タッチパネル部に対するタッチ操作の態様を検出し、
   前記再生制御部は、前記タッチ操作の態様に応じて、前記特定画像の再生を異ならせる、
   ことを特徴とする請求項２に記載の再生装置。
4. 前記主役特定部は、前記撮影された被写体の中から、動きの大きい被写体を前記主役被写体として特定する、
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の再生装置。
5. 前記再生制御部は、前記特定画像を静止画として再生する、
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の再生装置。
6. 前記再生制御部は、前記特定画像を開始画像とする動画像を再生するように制御する、
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の再生装置。
7. 前記再生制御部は、前記特定画像までを早送り再生し、当該特定画像から通常の速度で再生する、
   ことを特徴とする請求項６に記載の再生装置。
8. 前記特定画像検索部は、前記位置検出部によって第１の位置および第２の位置の２つの指定位置が検出された場合に、前記主役被写体が前記第１の位置に存在する第１の画像と、前記主役被写体が前記第２の位置に存在する第２の画像を前記特定画像として検索し、
   前記再生制御部は、前記第１の画像から前記第２の画像までの間の複数の画像で構成される動画像を再生するように制御する、
   ことを特徴とする請求項２に記載の再生装置。
9. 前記位置検出部は、前記操作検出部によって前記タッチパネル部上での摺動操作が検出された場合、前記摺動操作の開始位置および終了位置に対応する画像上の位置をそれぞれ前記第１の位置および前記第２の位置として検出する、
   ことを特徴とする請求項８に記載の再生装置。
10. 前記再生制御部は、前記第１の位置に前記主役被写体が存在する画像が前記第２の位置に前記主役被写体が存在する画像よりも時間的に前に撮影された画像である場合に、前記第１の画像から前記第２の画像までの間の複数の画像で構成される動画像を順方向に再生し、前記第１の位置に前記主役被写体が存在する画像が前記第２の位置に前記主役被写体が存在する画像よりも時間的に後に撮影された画像である場合に、前記第１の画像から前記第２の画像までの間の複数の画像で構成される動画像を逆方向に再生する、
    ことを特徴とする請求項８または請求項９に記載の再生装置。
11. 前記再生制御部は、前記第１の画像から前記第２の画像までの間の複数の画像で構成される動画像についての前記順方向あるいは逆方向への再生を繰り返し行う、
    ことを特徴とする請求項１０に記載の再生装置。
12. 前記位置検出部は、動画像を構成する複数の画像上における前記主役被写体の位置に基づいて、前記主役被写体の移動軌跡を作成し、
    前記再生制御部は、再生する動画像の対応する位置に前記移動軌跡を重畳させて再生するように制御する、
    ことを特徴とする請求項１から請求項４のいずれか一項に記載の再生装置。
13. 撮像により動画像データを生成する撮像部と、
    請求項１から請求項１２のいずれか一項に記載の再生装置と、
    を備えることを特徴とする撮像装置。