JP5558187B2 - 電子機器及び画像処理プログラム - Google Patents

Description

本発明の実施形態は、情報の編集を支援する電子機器及び当該機器で実行される画像処理プログラムに関する。

近年、デジタルフォトフレーム等と称される画像再生装置が普及し始めている。デジタルフォトフレームは、例えば、カード型記憶メディアに格納される複数枚の静止画像を所定時間間隔で順次表示する機能を有している。例えばパーソナルコンピュータやデジタルカメラ等においても、デジタルフォトフレームと同様に、複数枚の静止画像を所定時間間隔で順次表示する機能を有するものが一般的である。

複数の画像を、時刻情報や画像特徴量等に基づいて、関連する画像毎のグループに分類する技術が提案されている。複数の画像は、例えばイベント毎に複数のグループに分類される。

特開２００９−２６５８７４号公報

デジタルフォトフレームのような画像再生装置は、グループに属する画像を順次表示することにより、例えば、イベント毎の写真をユーザに提示することができる。しかし、この方法では、入力される全ての画像に対する解析が完了した後に、それら画像の表示が開始されるので、入力された画像をユーザが観賞できるまでに長い時間を要する可能性がある。換言すると、画像間の関連等を考慮して画像を提示する際には、予め画像に対する解析を行う必要があるため、ユーザは解析が完了するまで画像を観賞することができない可能性がある。

本発明の実施形態は上述の事情を考慮してなされたものであり、写真等の素材が入力されてから、解析された当該素材を用いた動画像が生成されるまでの時間を短縮できる電子機器及び画像処理プログラムを提供することを目的とする。

上述の課題を解決するため、本発明の一実施形態による電子機器は、複数の素材が素材情報に基づいて分類された複数のグループを示すグループ情報を生成するグループ化手段と、前記グループ化手段による処理に対応する処理量よりも処理量が多く、前記複数のグループの各々に属する素材に対応する分析情報を生成する分析情報生成手段と、前記分析情報が生成される前の期間において、前記素材情報と前記グループ情報とに基づいて、前記複数の素材の内の第１の条件を満たす第１の素材を含む動画像を生成し、前記分析情報が生成された後の期間において、前記素材情報と前記グループ情報と前記分析情報とに基づいて、前記複数の素材の内の第２の条件を満たす第２の素材を含む動画像を生成する動画像生成手段とを具備する。

本発明の一実施形態に係る電子機器の外観を示す斜視図。 同実施形態の電子機器のシステム構成を示すブロック図。 同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムの機能構成を示すブロック図。 同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムが用いる素材情報の例を示す図。 同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムが用いるグループ情報の例を示す図。 同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムが用いるオブジェクト情報の例を示す図。 同実施形態の電子機器によって実行される素材分析処理の手順の例を示すフローチャート。 同実施形態の電子機器によって実行される合成動画生成処理の手順の例を示すフローチャート。 同実施形態の電子機器によって実行される素材分析処理の手順の別の例を示すフローチャート。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ１０として実現されている。図１に示すように、本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＬＣＤ（liquid crystal display）１７が組み込まれている。ディスプレイユニット１２は、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在にコンピュータ本体１１に取り付けられている。

コンピュータ本体１１は、薄い箱形の筐体を有しており、その上面には、キーボード１３、本コンピュータ１０を電源オン／電源オフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、スピーカ１８Ａ，１８Ｂなどが配置されている。入力操作パネル１５上には、各種操作ボタンが設けられている。

また、コンピュータ本体１１の右側面には、例えばＵＳＢ（universal serial bus）２．０規格のＵＳＢケーブルやＵＳＢデバイスを接続するためのＵＳＢコネクタ１９が設けられている。

図２は、本コンピュータ１０のシステム構成を示す図である。
本コンピュータ１０は、図２に示されているように、ＣＰＵ（central processing unit）１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、ＧＰＵ（Graphics Processing Unit）１０５、ＶＲＡＭ（ビデオＲＡＭ:random access memory）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ（basic input/output system-read only memory）１０７、ＬＡＮ（local area network）コントローラ１０８、ハードディスクドライブ（ＨＤＤ）１０９、光ディスクドライブ（ＯＤＤ）１１０、ＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１３、ＥＥＰＲＯＭ（electrically erasable programmable ROM）１１４等を備える。

ＣＰＵ１０１は、本コンピュータ１０内の各部の動作を制御するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、及び動画像再生アプリケーションプログラム２０２のような各種アプリケーションプログラムを実行する。動画像再生アプリケーションプログラム２０２は、例えばＨＤＤ１０９等に格納された各種デジタルコンテンツを再生するソフトウェアである。この動画像再生アプリケーションプログラム２０２は、動画像生成機能を有している。この動画像生成機能は、例えば、ＨＤＤ１０９等に格納された写真等の素材（デジタルコンテンツ）を用いて、合成動画（動画像）を作成する機能である。さらに、この動画像生成機能は、動画像に用いる素材を複数のグループに分類し、素材を分析する機能を含む。動画像再生アプリケーションプログラム２０２は、素材を用いて作成された動画像を再生し、画面（ＬＣＤ１７）に表示する。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、例えば、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。

ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。

サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイス及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９及びＯＤＤ１１０を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。

サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂに出力する。ＬＡＮコントローラ１０８は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線ＬＡＮコントローラ１１２は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。ＵＳＢコントローラ１１１Ａは、（ＵＳＢコネクタ１９を介して接続される）例えばUSB 2.0規格に対応した外部機器との通信を実行する。例えば、ＵＳＢコントローラ１１１Ａは、例えば、デジタルカメラに格納されている画像データファイルを受信するために使用される。カードコントローラ１１１Ｂは、コンピュータ本体１１に設けられたカードスロットに挿入される、ＳＤカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。

ＥＣ／ＫＢＣ１１３は、電力管理のためのエンベデッドコントローラと、キーボード１３及びタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ１１３は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０を電源オン／電源オフする機能を有している。

次に、図３を参照して、以上のような構成を有するコンピュータ１０上で動作する動画像再生アプリケーションプログラム２０２の一機能構成を説明する。ここでは、動画像再生アプリケーションプログラム２０２が有する機能のうち、動画像生成機能を実現するための構成例について説明する。この動画像生成機能は、インタフェース部（上述のＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ等）を介して外部デバイス（デジタルカメラ、メモリカード等）から格納された素材データ５１だけでなく、ＨＤＤ１０９内の所定のディレクトリに格納された素材データ５１やネットワークを介して格納された素材データ５１等に対しても適用することができる。なお、この素材データ５１は、例えば、静止画像データ３０１Ａ、音声データ３０１Ｂ、動画像データ３０１Ｃ等である。

動画像再生アプリケーションプログラム２０２は、素材入力部２１０、素材分析部２１１及び動画再生部２２０を備える。

素材入力部２１０は、ＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ等のインタフェース部を介して、素材データ５１が入力されたことに応答して、素材データ５１をＨＤＤ１０９内の素材データベース３０１に格納する。素材データベース３０１は、生成される動画像に用いられる素材データ５１を格納するためのデータベースである。具体的には、素材データベース３０１には、素材データ５１である、静止画像データ３０１Ａ、音声データ３０１Ｂ、動画像データ３０１Ｃ等が格納される。素材データベース３０１に格納された素材データ５１は、合成動画の素材候補として用いられる。また、素材入力部２１０は、素材データ５１がＨＤＤ１０９に格納されたことを素材分析部２１１及び動画再生部２２０に通知する。

素材分析部２１１と動画再生部２２０とは並列して処理を行う。具体的には、素材分析部２１１は、素材入力部２１０からの通知に応答して、素材データ５１をグループ化し、グループ毎に分析する処理を開始する。素材分析部２１１は、素材データ５１に付加された素材情報３０２Ａ、グループ化により生成されたグループ情報３０２Ｂ、及びグループ毎の分析により生成された分析情報３０２Ｃを、ＨＤＤ１０９内の素材情報データベース３０２に格納する。一方、動画再生部２２０は、素材入力部２１０からの通知に応答して、素材データ５１を用いて合成動画（動画像）を生成し、生成された合成動画を再生（表示）する処理を開始する。その際、動画再生部２２０は、素材情報データベース３０２を参照することにより、所定の条件を満たす素材データ５１を素材データベース３０１から抽出し、合成動画を生成する。

素材分析部２１１は、素材データ５１のグループ化が完了したとき、素材情報３０２Ａとグループ情報３０２Ｂとを、素材情報データベース３０２に格納する。そして、素材分析部２１１は、グループ毎に素材データ５１を分析する処理により生成された分析情報３０２Ｃを順次、素材情報データベース３０２に追加する。そのため、素材分析部２１１によるグループ化、及びグループ毎の分析が進行することに伴って、動画再生部２２０が、合成動画に用いる素材データ５１を抽出する際に参照できる、素材情報データベース３０２内の情報が増加する。

具体的には、素材分析部２１１によって、分析対象の一つのグループに属する素材データ５１が分析されている期間内、及び分析される前の期間内（分析情報３０２Ｃが生成される前の期間）では、動画再生部２２０は、当該グループに属する素材データ５１に対応する素材情報３０２Ａとグループ情報３０２Ｂとを用いて、合成動画を生成する。したがって、動画再生部２２０は、素材データ５１が素材データベース３０１に格納されるとすぐに（素材分析部２１１による素材情報３０２Ａ及びグループ情報３０２Ｂの格納に応答して）、素材データ５１を用いた合成動画を再生することができる。

また、素材分析部２１１によって、分析対象のグループに属する素材データ５１の分析が完了した後（分析情報３０２Ｃが生成された後の期間）では、動画再生部２２０は、当該グループに属する素材データ５１に対応する素材情報３０２Ａとグループ情報３０２Ｂに加えて、分析情報３０２Ｃも用いて合成動画を生成する。分析情報３０２Ｃが追加されることにより、動画再生部２２０は、登場する人物やイベント、場所等が考慮された、ユーザによる視聴により適した合成動画を再生することができる。以下では、素材分析部２１１と動画再生部２２０による処理についてそれぞれ説明する。

素材分析部２１１は、素材５１を分析し、素材５１に対応する素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを生成する。素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃは、素材データベース３０１（ＨＤＤ１０９）に格納された素材データ５１の中から目的の素材を探し出すために用いられる。素材分析部２１１は、素材情報生成部２１２、グループ情報生成部２１３及び分析情報生成部２１４を備える。

素材情報生成部２１２は、各素材５１に付加された素材情報３０２Ａを素材情報データベース３０２に格納する。また、素材情報生成部２１２は、生成した素材情報３０２Ａをグループ情報生成部２１３に出力する。図４は、素材情報３０２Ａの一構成例を示す。素材情報３０２Ａは、例えば、素材ＩＤ、ファイルパス、ファイルサイズ、ファイル形式、生成日時、生成地点、種類、画像サイズ、再生時間、入力経路を示す情報を含む。「素材ＩＤ」は、素材５１に一意に割り当てられる識別情報である。「ファイルパス」は、素材５１が格納される場所を示す。「ファイルサイズ」は、素材５１のデータサイズを示す。「ファイル形式」は、素材５１のファイルのタイプ（例えば、ｍｐｅｇ，ｊｐｅｇ，ｍｐ３等）を示す。「生成日時」は、素材５１が生成された日時を表す時刻情報を示す。「生成地点」は、素材５１が生成された場所を表す位置情報を示す。「種類」は、素材５１の種類（例えば、静止画像、音声、動画像等）を示す。「画像サイズ」は、素材５１が静止画像３０１Ａ又は動画像３０１Ｃであるときに、その画像サイズを示す。「再生時間」は、素材５１が音声３０１Ｂ又は動画像３０１Ｃであるときに、その再生時間を示す。「入力経路」は、素材５１がコンピュータ１０に入力された経路（例えば、外部記憶メディア、外部記憶装置、ネットワーク上のサーバ等）を示す。

図３に戻り、グループ情報生成部２１３は、素材入力部２１０を介して入力された複数の素材５１を、各素材５１に対応する素材情報３０２Ａに基づいて複数のグループに分類する。グループ情報生成部２１３は、入力された複数の素材を、例えば生成日時（時刻情報）に基づいて複数のグループに分類する。具体的には、グループ情報生成部２１３は、例えば、生成日時が時間的に連続する２つの素材データ５１において、その生成日時の差がしきい値より小さいときに、これら２つの素材データ５１を同一のグループに分類する。また、グループ情報生成部２１３は、例えば、生成日時の差がしきい値以上であるときに、これら２つの素材データ５１を別のグループに分類する。グループ情報生成部２１３は、各素材５１が分類されたグループを示すグループ情報３０２Ｂを生成し、素材情報データベース３０２に格納する。グループ情報生成部２１３は、生成したグループ情報３０２Ｂを分析情報生成部２１４に出力する。

図５は、グループ情報３０２Ｂの一構成例を示す。グループ情報３０２Ｂは、素材ＩＤ及びグループＩＤを含む。素材ＩＤは、上述のように、素材５１に一意に割り当てられる識別情報である。グループＩＤは、グループに一意に割り当てられる識別情報である。

なお、素材５１が生成日時に基づいてグループに分類される際には、一つのグループに属する素材５１が一つのイベント中に生成された素材５１であることが想定される。例えば、「入学式」や「運動会」、「結婚式」等のイベントに対応する期間内に撮影された写真が、一つのグループに分類されることが想定される。その際には、グループ情報３０２Ｂにイベント名を示す情報を加えてもよい。すなわち、グループ情報生成部２１３は、例えば、イベント名に「入学式」が設定されたグループ情報３０２Ｂを生成する。このイベント名は、例えば、スケジュール管理ソフトウェア等により、ユーザのカレンダーに記載されたイベント情報を用いて設定される。

図３に戻り、分析情報生成部２１４は、素材データ５１が分類された複数のグループの各々について、当該グループに属する素材データ５１を分析する。すなわち、分析情報生成部２１４は、グループ毎に当該グループに属する素材データ５１を分析する。なお、以下では、分析対象の素材データ５１が静止画像データ３０１Ａである場合を想定する。

分析情報生成部２１４は、例えば、静止画像データ３０１Ａから顔画像を検出する顔検出処理を実行する。顔画像は、例えば、静止画像データ３０１Ａの特徴を解析し、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって検出することができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。顔検出処理により、静止画像３０１Ａ内に含まれる各顔画像の位置（座標）、サイズ、正面度等が検出される。また、分類情報生成部２１４は、検出された顔画像が笑顔である度合いを示す笑顔度を算出してもよい。

さらに、分類情報生成部２１４は検出された顔画像を分類してもよい。分類情報生成部２１４は、静止画像データ３０１Ａから検出された複数の顔画像を、同一の人物と推定される顔画像別のグループに分類する。また、分類情報生成部２１４は検出された顔画像に対応する人物を識別してもよい。その場合、分類情報生成部２１４は、例えば、識別する人物の顔画像特徴サンプルを用いて、検出された顔画像がその人物であるか否かを判定する。分類情報生成部２１４は、上述の結果に基づき、検出された顔画像に人物毎の顔ＩＤを付与する。分析情報生成部２１４は、以上のような分析の結果を示す分析情報３０２Ｃを生成する。

図６は、分析情報３０２Ｃの一構成例を示す。分析情報３０２Ｃは、例えば、素材ＩＤと顔画像情報とを含む。素材ＩＤは、素材５１（静止画像データ３０１Ａ）に一意に割り当てられる識別情報である。顔画像情報は、上述の顔検出処理による分析結果に基づく情報を示す。したがって、顔画像情報は、例えば、顔画像、サイズ、位置、笑顔度、顔ＩＤを示す情報を含む。なお、分析情報３０２Ｃには、１つの静止画像３０１Ａから検出された顔画像に対応する数だけ、顔画像情報が格納される。

また、分類情報生成部２１４は、静止画像データ３０１Ａから人物（顔画像を含む全身や体の一部等）、風景（海、山、花等）、動物（犬、猫、魚等）等のオブジェクトを検出（認識）し、それら分析結果（検出結果）を示す情報を含む分析情報３０２Ｃを生成してもよい。さらに、分類情報生成部２１４は、素材情報３０２Ａや静止画像データ３０１Ａから撮影時刻、撮影位置等を推定し、それら分析結果（推定結果）を示す情報を含む分析情報３０２Ｃを生成してもよい。その場合、図６に示すように、分析情報３０２Ｃには、人物画像、サイズ、位置、及び人物ＩＤを含む人物画像情報、風景画像、サイズ、位置、及び属性を含む風景情報、動物画像、サイズ、位置、及び属性を含む動物情報、撮影時刻、並びに撮影位置が含まれる。

なお、分析情報生成部２１４は、音声データ３０１Ｂを分析し、検出された声に対応する人物の情報等を含む分析情報３０２Ｃを生成してもよい。また、分析情報生成部２１４は、動画像データ３０１Ｃに含まれる各画像フレームを、静止画像データ３０１Ａと同様に分析し、上述の顔画像情報等を含む分析情報３０２Ｃを生成してもよい。

分析情報生成部２１４は、生成された分析情報３０２Ｃを分析情報データベース３０２に格納する。なお、素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃは、各々が生成されたときに限らず、一つの素材５１に対応する情報（素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃ）が生成されたとき、一つのグループに属する全ての素材５１に対応する情報が生成されたとき等に、素材情報データベース３０２に格納されてもよい。また、分析情報生成部２１４は、一つのグループに属する全ての素材５１の分析が完了したことに応答して、動画再生部２２０（素材情報抽出部２２１）に当該グループの分析が完了した旨を通知する。

動画再生部２２０は、素材情報抽出部２２１、合成動画生成部２２２、合成動画出力部２２３、及び生成通知部２２４を備える。
素材情報抽出部２２１は、素材情報データベース３０２から、格納されている素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを抽出する。また、素材情報抽出部２２１は、分析情報生成部２１４からの通知に応答して、分析が完了したグループに対応する分析情報３０２Ｃを素材情報データベース３０２から抽出する。素材抽出部２１４は、抽出した素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを合成動画生成部２２２に出力する。

合成動画生成部２２２は、抽出された素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃに基づいて、所定の条件を満たす素材データ５１を素材データベース３０１から抽出する。より具体的には、合成動画生成部２２２は、分析情報３０２Ｃが生成される前の期間において、素材情報３０２Ａ及びグループ情報３０２Ｂに基づいて、所定の条件（第１の条件）を満たす素材データ５１を素材データベース３０１から抽出する。また、合成動画生成部２２２は、分析情報３０２Ｃが生成された後の期間において、素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃに基づいて、所定の条件（第２の条件）を満たす素材データ５１を素材データベース３０１から抽出する。上述のように、分析情報生成部２１４は、グループ毎に、当該グループに属する素材データ５１を分析する。そのため、分析が完了したグループに属する素材データ５１の分析情報３０２Ｃが、素材情報データベース３０２に格納されている際には、合成動画生成部２２２は、素材情報３０２Ａ、グループ情報３０２Ｂ、及び分析が既に完了したグループに対応する分析情報３０２Ｃに基づいて、所定の条件を満たす素材データ５１を素材データベース３０１から抽出する。また、合成動画生成部２２２は、分析情報３０２Ｃに基づいて、分析が完了したグループに属する素材５１から、所定の条件を満たす素材５１を抽出してもよい。この「所定の条件」は、例えば、日時、人物、場所（地点）等を指定する条件である。

合成動画生成部２２２は、例えば、素材情報３０２Ａに基づいて、指定された期間に生成された素材５１を抽出する。また、合成動画生成部２２２は、例えば、分析情報３０２Ｃに含まれる顔画像情報に基づいて、指定された人物の顔画像を含む素材５１を抽出する。さらに、合成動画生成部２２２は、例えば、グループ情報３０２Ｂ及び分析情報３０２Ｃに基づいて、指定されたイベントに対応するグループに属する素材５１のうち、指定された人物の顔画像を含む素材５１を抽出する。

次いで、合成動画生成部２２２は、抽出された素材５１を含む合成動画を生成する。合成動画生成部２２２は、例えば、各々が所定のタイミング（順序）で表示される複数の静止画像３０１Ａを含む合成動画を生成する。また、この合成動画は、所定のタイミングで出力される音声データ３０１Ｂを含んでもよい。合成動画生成部２２２は、生成した合成動画を合成動画出力部２２３に出力する。また、合成動画生成部２２２は、合成動画が生成されたことを生成通知部２２４に通知する。

合成動画出力部２２３は、合成動画生成部２２２から入力された合成動画を出力する。合成動画出力部２２３は、合成動画を再生し、画面（ＬＣＤ１７）に表示する。また、合成動画出力部２２３は、合成動画をエンコードし、エンコードした合成動画のファイルを所定の記憶装置（例えば、ＨＤＤ１０９等）に格納してもよい。

また、生成通知部２２４は、合成動画が生成されたことをユーザに通知する。具体的には、生成通知部２２４は、例えば、合成動画が生成されたことを示すメッセージを画面（ＬＣＤ１７）に表示する。また、生成通知部２２４は、例えば、合成動画を再生することを選択するボタンと合成動画をファイルに出力することを選択するボタンとを表示してもよい。その場合、合成動画出力部２２３は、選択されたボタンに応じて合成動画を再生又はファイル出力する。

なお、生成通知部２２４は、分析情報生成部２１４からの、グループ毎の素材５１の分析処理が完了したことを示す通知に応答して、グループ毎の素材５１の分析処理が完了したことを示すメッセージを表示してもよい。その場合、ユーザは、分析処理によって生成された分析情報３０２Ｃを用いて、合成動画に用いる素材データ５１を選択してもよい。例えば、ユーザは、分析情報３０２Ｃに含まれる顔画像情報を用いて作成された顔画像のリストから、合成動画に用いたい人物を選択する。合成動画生成部２２２は、選択された人物の顔画像を含む素材５１を抽出し、この素材５１を含む合成動画を生成する。

上述のように、素材分析部２１１は、素材５１に予め付加された情報を含む素材情報３０２Ａ、素材５１を分類したグループの情報を示すグループ情報３０２Ｂ、及び素材５１を分析した結果を示す分析情報３０２Ｃを生成する。なお、分析情報３０２Ｃを生成する処理は、グループ情報３０２Ｂを生成する処理よりも、処理量が多いことがある。例えば、静止画像３０１Ａ（素材５１）内に含まれる顔画像を検出した結果を示す、分析情報３０２Ｃを生成する処理は、素材５１に付加された素材情報３０２Ａ（例えば、時刻情報）に基づいて決定されるグループを示すグループ情報３０２Ｂを生成する処理よりも、一般に処理負荷（処理量）が大きい。換言すると、分析情報３０２Ｃを生成する処理に要する時間は、グループ情報３０２Ｂを生成する処理に要する時間よりも長い可能性が高い。そのため、例えば、多数の素材５１が入力され、全ての素材５１に対する分析が完了した後に、それら素材５１を用いた合成動画を再生する際には、入力された素材５１をユーザが観賞（視聴）できるまでに長い時間を要する可能性がある。

また、素材５１を用いた合成動画の生成では、入力された全ての素材５１を一度に分析する必要がないことも想定される。例えば、一つのイベント（入学式、結婚式等）に対応する合成動画が生成される際には、当該イベントに対応するグループに属する素材５１が分析されていればよい。つまり、分析情報３０２Ｃを生成する処理（分析処理）がグループ毎に完了した時点で、当該グループに属する素材５１の分析情報３０２Ｃに基づく、合成動画が生成され得る。

したがって本実施形態では、処理負荷が小さい素材情報３０２Ａ及びグループ情報３０２Ｂを生成する処理が完了した後、生成されたグループ情報３０２Ｂに基づいて、グループ毎に、当該グループに属する素材５１の分析情報３０２Ｃを生成する。そして、動画再生部２２０は、グループ毎に、当該グループに属する全ての素材５１の分析情報３０２Ｃが生成されたことに応答して、生成された分析情報３０２Ｃを用いて、所定の条件を満たす素材５１を抽出する。また、グループが「入学式」等のイベントに対応する際には、動画再生部２２０は、グループ毎に、当該グループに属する全ての素材５１の分析情報３０２Ｃが生成されたことに応答して、グループに属する素材５１を用いた合成動画を生成する。つまり、動画再生部２２０は、グループ毎に素材５１の分析処理が完了した時点で、当該グループに属する素材５１を用いた合成動画を生成することができる。したがって、動画再生部２２０は、素材５１が入力されてから、当該素材５１を用いた動画像が生成されるまでの時間を短縮することができる。

次いで、図７のフローチャートを参照して、動画像再生アプリケーション２０２によって実行される素材分析処理の手順を説明する。

まず、素材入力部２１０は、インタフェース部等を介して素材データ５１が入力されたか否かを判定する（Ｂ１０１）。素材データ５１が入力された場合（Ｂ１０１のＹＥＳ）、素材入力部２１０は、入力された素材データ５１を素材データベース３０１に格納する（Ｂ１０２）。素材情報生成部２１２は、素材データ５１に付加された時刻情報等の情報（メタデータ）を含む素材情報３０２Ａを、素材情報データベース３０２に格納する。素材データ５１が入力されていない場合（Ｂ１０１のＮＯ）、素材入力部２１０は、再度Ｂ１０１の処理を行う。

次いで、グループ情報生成部２１３は、入力された素材５１をグループ化する（Ｂ１０３）。グループ情報生成部２１３は、例えば、素材情報３０２Ａに含まれる、素材５１の生成日時に基づいて、複数の素材５１を複数のグループに分類する。具体的には、グループ情報生成部２１３は、例えば、生成日時が時間的に連続する２つの素材データ５１において、その生成日時の差がしきい値未満である場合に、これら２つの素材データ５１を同一のグループに分類し、生成日時の差がしきい値以上である場合に、これら２つの素材データ５１を別のグループに分類する。上述のように、生成日時の差がしきい値未満である素材データ５１が同一のグループに分類されることにより、例えば、「入学式」や「結婚式」で撮影された写真のような、イベントで生成された複数の素材５１が、イベント毎に同一のグループに分類される。グループ情報生成部２１３は、複数の素材５１が分類されたグループを示すグループ情報３０２Ｂを生成する。

そして、素材情報生成部２１２は素材情報３０２Ａを素材情報データベース３０２に格納し、グループ情報生成部２１３はグループ情報３０２Ｂを素材情報データベース３０２に格納する（Ｂ１０４）。

次いで、分析情報生成部２１４は、一つのグループ（分析対象のグループ）に属する全ての素材５１を分析し、その分析結果を示す分析情報３０２Ｃを生成する（Ｂ１０５）。具体的には、分析情報生成部２１４は、素材５１に含まれるオブジェクト（例えば、顔画像）を分析する処理（例えば、検出処理や認識処理）を行い、顔画像情報、人物情報、風景情報、動物情報、撮影時刻情報、撮影位置情報等を含む分析情報３０２Ｃを生成する。

分析情報生成部２１４は、生成された分析情報３０２Ｃを素材情報データベース３０２に格納する（Ｂ１０６）。そして、分析情報生成部２１４は、分析対象のグループに属する全ての素材５１の分析が完了したことを素材情報抽出部２２１に通知する（Ｂ１０７）。素材情報抽出部２２１は、この通知に応答して、素材情報データベース３０２から、分析対象のグループの分析情報３０２Ｃを読み出す。素材情報抽出部２２１による処理の詳細は、図８を参照して後述する。

そして、分析情報生成部２１４は、Ｂ１０１で入力された素材５１が分類された全てのグループについて、分析が完了したか否かを判定する（Ｂ１０８）。分析が完了していない場合（Ｂ１０８のＮＯ）、分析情報生成部２１４は、分析が完了していないグループを新たな分析対象のグループに設定し（Ｂ１０９）、Ｂ１０５以降の処理を実行する。分析が完了している場合（Ｂ１０８のＹＥＳ）、分析情報生成部２１４は素材分析処理を終了する。

また、図８は、動画像再生アプリケーション２０２によって実行される合成動画生成処理の手順を示すフローチャートである。この合成動画生成処理は、上述の素材分析処理と並行して実行される。すなわち、素材分析部２１１による素材５１の分析と、動画再生部２２０による合成動画の生成（再生）とが並行して行われる。

まず、素材情報抽出部２２１は、素材情報データベース３０２から、素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを抽出する（Ｂ２０１）。これら情報は、素材データベース３０１に格納された素材５１に対応する情報である。つまり、これら情報は、素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを生成（格納）するための素材分析処理が既に施された素材５１に対応する情報である。

次に、合成動画生成部２２２は、抽出された情報（素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃ）に基づいて、所定の条件を満たす素材５１を選択する（Ｂ２０２）。具体的には、合成動画生成部２２２は、抽出された情報に基づいて、所定の条件を満たす素材５１の素材ＩＤを抽出する。この所定の条件は、例えば、ユーザにより指定される。例えば、合成動画生成部２２２により、抽出された情報に基づいて選択可能な条件の候補（例えば、期間、人物、場所（地点）、イベント等）が提示され、ユーザは、合成動画を生成する条件（合成動画に用いる素材５１を抽出するための条件）を該候補から選択する。合成動画生成部２２２は、素材情報データベース３０２を参照して、選択された条件を満たす素材５１の素材ＩＤを抽出する。なお、この所定の条件は、合成動画生成部２２２によりランダムに設定されてもよい。その場合、例えば、合成動画が生成される度に、ランダムに設定される条件に基づく、異なる合成動画が生成され得る。

合成動画生成部２２２は、素材データベース３０１から選択した素材５１を抽出する（Ｂ２０３）。すなわち、合成動画生成部２２２は、抽出した素材ＩＤに基づいて、対応する素材５１を素材データベース３０１から抽出する。次いで、合成動画生成部２２２は、抽出した素材５１を用いて合成動画を生成する（Ｂ２０４）。合成動画生成部２２２は、生成した合成動画を合成動画出力部２２３に出力する。

合成動画出力部２２３は、合成動画の出力方法が再生とファイル出力のいずれであるかを判定する（Ｂ２０５）。合成動画を再生する出力方法が選択されている場合（Ｂ２０５の再生）、合成動画出力部２２３は、合成動画を再生し、画面に出力する（Ｂ２０６）。一方、合成動画をファイル出力する出力方法が選択されている場合（Ｂ２０５のファイル出力）、合成動画出力部２２３は、合成動画を所定の形式でファイルに出力する（Ｂ２０７）。

次いで、素材情報抽出部２２１は、分析情報生成部２１４から、分析対象のグループに属する全ての素材５１の分析が完了したことが通知されたか否かを判定する（Ｂ２０８）。分析対象のグループに属する全ての素材５１の分析が完了したことが通知されている場合（Ｂ２０８のＹＥＳ）、分析情報抽出部２２１は、素材情報データベース３０２から、この分析対象のグループ（分析が完了したことが通知されたグループ）に属する素材５１の分析情報３０２Ｃを抽出する（Ｂ２０９）。

分析対象のグループに属する全ての素材５１の分析が完了したことが通知されていない場合（Ｂ２０８のＮＯ）、又はＢ２０９における分析情報３０２Ｃの抽出が完了したとき、合成動画生成部２２２は、Ｂ２０２以降の処理を再度実行する。

以上の処理により、素材情報生成部２１２、グループ情報生成部２１３及び分析情報生成部２１４は、それぞれ、入力された素材５１の素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを生成する。分析情報生成部２１４は、一つのグループ（分析対象グループ）に属する全ての素材５１の分析が完了したことに応答して、素材情報抽出部２２１にその旨を通知する。素材情報抽出部２２１は、この通知に応じて、分析が完了したグループの分析情報３０２Ｃを抽出する。つまり、グループ毎の分析情報３０２Ｃが生成される度に、合成動画生成に用いられる分析情報３０２Ｃが更新（追加）される。合成動画生成部２２２は、更新された分析情報３０２Ｃに基づいて、合成動画に用いる素材５１を選択し、選択した素材５１を用いて合成動画を生成する。したがって、グループ毎の分析情報３０２Ｃが生成される度に、使用できる分析情報３０２Ｃが増加するため、合成動画生成部２２２は、指定される条件により適した素材５１を抽出することができる。また、一つのグループに属する全ての素材５１に対する分析が完了した時点で、当該グループに属する素材５１の分析情報３０２Ｃが使用できるようになるため、つまり、入力された全ての素材５１に対する分析が完了することを待たずに、分析が完了したグループ毎に素材５１の分析情報３０２Ｃが使用できるようになるため、素材５１が入力されてから、当該素材５１の分析情報３０２Ｃを用いて動画像が生成されるまでの時間を短縮できる。

次いで、図９のフローチャートを参照して、動画像再生アプリケーション２０２によって実行される素材分析処理の別の手順を説明する。
まず、素材入力部２１０は、インタフェース部等を介して素材データ５１が入力されたか否かを判定する（Ｂ３０１）。素材データ５１が入力された場合（Ｂ３０１のＹＥＳ）、素材入力部２１０は、入力された素材データ５１を素材データベース３０１に格納する（Ｂ３０２）。素材情報生成部２１２は、素材データ５１に付加された時刻情報等の情報（メタデータ）を用いて、素材情報３０２Ａを生成する。

次いで、グループ情報生成部２１３は、入力された素材５１をグループ化する（Ｂ３０３）。グループ情報生成部２１３は、例えば、素材情報３０２Ａに含まれる、素材５１の生成日時に基づいて、複数の素材５１を複数のグループに分類する。具体的には、グループ情報生成部２１３は、例えば、生成日時が時間的に連続する２つの素材データ５１において、その生成日時の差がしきい値未満である場合に、これら２つの素材データ５１を同一のグループに分類し、生成日時の差がしきい値以上である場合に、これら２つの素材データ５１を別のグループに分類する。上述のように、生成日時の差がしきい値未満である素材データ５１が同一のグループに分類されることにより、例えば、「入学式」や「結婚式」のようなイベントで生成された複数の素材５１が、イベント毎に同一のグループに分類される。グループ情報生成部２１３は、素材５１が分類されたグループを示すグループ情報３０２Ｂを生成する。

次いで、分析情報生成部２１４は、一つのグループ（分析対象のグループ）に属する全ての素材５１を分析し、その分析結果を示す分析情報３０２Ｃを生成する（Ｂ３０４）。具体的には、分析情報生成部２１４は、素材５１に含まれるオブジェクト（例えば、顔画像）を分析する処理（例えば、検出処理や認識処理）を行い、顔画像情報、人物情報、風景情報、動物情報、撮影時刻情報、撮影位置情報等を含む分析情報３０２Ｃを生成する。

分析情報生成部２１４は、生成された素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを素材情報データベース３０２に格納する（Ｂ３０５）。そして、分析情報生成部２１４は、分析対象のグループに属する全ての素材５１の分析が完了したことを素材情報抽出部２２１に通知する（Ｂ３０６）。素材情報抽出部２２１は、この通知に応答して、素材情報データベース３０２から、分析対象のグループの素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを読み出す。素材情報抽出部２２１による処理の詳細は、図８を参照して上述した通りである。

そして、分析情報生成部２１４は、Ｂ３０１で入力された素材５１が分類された全てのグループについて、分析が完了したか否かを判定する（Ｂ３０７）。分析が完了していない場合（Ｂ３０７のＮＯ）、分析情報生成部２１４は、分析が完了していないグループを新たな分析対象のグループに設定し、Ｂ３０５以降の処理を実行する（Ｂ３０８）。分析が完了している場合（Ｂ３０７のＹＥＳ）、分析情報生成部２１４は素材分析処理を終了する。

以上の処理により、素材情報生成部２１２、グループ情報生成部２１３及び分析情報生成部２１４は、それぞれ、入力された素材５１の素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを生成（格納）する。分析情報生成部２１４は、一つのグループ（分析対象グループ）に属する全ての素材５１の分析が完了したことに応答して、素材情報抽出部２２１にその旨を通知する。素材情報抽出部２２１は、この通知に応じて、分析が完了したグループの素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを抽出する。つまり、グループ毎の分析が完了する度に、合成動画生成に用いられる素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃが更新（追加）される。合成動画生成部２２２は、更新された素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃに基づいて、合成動画に用いる素材５１を選択し、選択した素材５１を用いて合成動画を生成する。したがって、グループ毎の分析が完了する度に、使用できる素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃが増加するため、合成動画生成部２２２は、指定される条件により適した素材５１を抽出することができる。また、一つのグループに属する全ての素材５１に対する分析が完了した時点で、当該グループに属する素材５１が使用できるようになるため、つまり、入力された全ての素材５１に対する分析が完了することを待たずに、分析が完了したグループ毎に素材５１が使用できるようになるため、素材５１が入力されてから、当該素材５１を用いた動画像が生成されるまでの時間を短縮できる。

以上説明したように、本実施形態によれば、素材が入力されてから、解析された当該素材を用いた動画像が生成されるまでの時間を短縮できる。本実施形態の動画像再生アプリケーション２０２は、入力された素材５１に対応する素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを生成する。動画像再生アプリケーション２０２は、一つのグループ（分析対象グループ）に属する全ての素材５１の分析が完了したことに応答して、当該完了したグループの分析情報３０２Ｃを用いて、合成動画に用いる素材５１を選択し、選択した素材５１を用いて合成動画を生成する。したがって、グループ毎の分析情報３０２Ｃが生成される度に、使用できる分析情報３０２Ｃが増加するため、合成動画生成部２２２は、指定される条件により適した素材５１を抽出することができる。また、入力された全ての素材５１に対する分析が完了することを待たずに、分析が完了したグループ毎に素材５１の分析情報３０２Ｃが使用できるようになるため、素材５１が入力されてから、当該素材５１を用いた動画像が生成されるまでの時間を短縮できる。

なお、本実施形態の素材分析処理及び合成動画生成処理の手順は全てソフトウェアによって実行することができる。このため、素材分析処理及び合成動画生成処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

また本発明の実施形態は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０９…ＨＤＤ、２０２…動画像再生アプリケーションプログラム、２１０…素材入力部、２１１…素材分析部、２１２…素材情報生成部、２１３…グループ情報生成部、２１４…分析情報生成部、２２０…動画再生部、２２１…素材情報抽出部、２２２…合成動画生成部、２２３…合成動画出力部、２２４…生成通知部、３０１…素材データベース、３０１Ａ…静止画像データ、３０１Ｂ…音声データ、３０１Ｃ…動画像データ、３０２…素材情報データベース、３０２Ａ…素材情報、３０２Ｂ…グループ情報、３０２Ｃ…分析情報、５１…素材データ。

Claims (18)

1. 複数の素材が素材情報に基づいて分類された複数のグループを示すグループ情報を生成するグループ化手段と、
   前記グループ化手段による処理に対応する処理量よりも処理量が多く、前記複数のグループの各々に属する素材に対応する分析情報を生成する分析情報生成手段と、
   前記分析情報が生成される前の期間において、前記素材情報と前記グループ情報とに基づいて、前記複数の素材の内の第１の条件を満たす第１の素材を含む動画像を生成し、前記分析情報が生成された後の期間において、前記素材情報と前記グループ情報と前記分析情報とに基づいて、前記複数の素材の内の第２の条件を満たす第２の素材を含む動画像を生成する動画像生成手段とを具備する電子機器。
2. 前記動画像生成手段は、前記複数のグループの内の一つのグループに対応する分析情報が生成されたことに応答して、当該分析情報と前記素材情報とに基づいて、当該グループに属する素材の内の前記第２の条件を満たす第２の素材を含む動画像を生成することを特徴とする請求項１記載の電子機器。
3. 前記複数の素材は静止画像を含み、
   前記分析情報は、前記静止画像に含まれる顔画像を示す情報を含むことを特徴とする請求項１記載の電子機器。
4. 前記素材情報は、前記複数の素材の各々が生成された日時を示す時刻情報及び場所を示す地点情報、前記複数の素材の各々の種類、前記複数の素材の各々のデータ形式及びデータサイズ、前記複数の素材の各々が格納される場所を示す場所情報、並びに前記複数の素材の各々が入力された経路を示す経路情報のうち、少なくとも一つを含むことを特徴とする請求項１記載の電子機器。
5. 前記複数の素材は、静止画像、音声、動画像のうち、少なくとも一つを含むことを特徴とする請求項１記載の電子機器。
6. 前記動画像が生成されたことをユーザに通知する通知手段をさらに具備することを特徴とする請求項１記載の電子機器。
7. コンピュータにより実行されるプログラムであって、前記プログラムは、
   複数の素材が素材情報に基づいて分類された複数のグループを示すグループ情報を生成する手順と、
   前記グループ情報を生成する手順に対応する処理量よりも処理量が多く、前記複数のグループの各々に属する素材に対応する分析情報を生成する手順と、
   前記分析情報が生成される前の期間において、前記素材情報と前記グループ情報とに基づいて、前記複数の素材の内の第１の条件を満たす第１の素材を含む動画像を生成し、前記分析情報が生成された後の期間において、前記素材情報と前記グループ情報と前記分析情報とに基づいて、前記複数の素材の内の第２の条件を満たす第２の素材を含む動画像を生成する手順とを前記コンピュータに実行させるプログラム。
8. 前記動画像を生成する手順は、前記複数のグループの内の一つのグループに対応する分析情報が生成されたことに応答して、当該分析情報と前記素材情報とに基づいて、当該グループに属する素材の内の前記第２の条件を満たす第２の素材を含む動画像を生成することを特徴とする請求項７記載のプログラム。
9. 前記複数の素材は静止画像を含み、
   前記分析情報は、前記静止画像に含まれる顔画像を示す情報を含むことを特徴とする請求項７記載のプログラム。
10. 前記素材情報は、前記複数の素材の各々が生成された日時を示す時刻情報及び場所を示す地点情報、前記複数の素材の各々の種類、前記複数の素材の各々のデータ形式及びデータサイズ、前記複数の素材の各々が格納される場所を示す場所情報、並びに前記複数の素材の各々が入力された経路を示す経路情報のうち、少なくとも一つを含むことを特徴とする請求項７記載のプログラム。
11. 前記複数の素材は、静止画像、音声、動画像のうち、少なくとも一つを含むことを特徴とする請求項７記載のプログラム。
12. 前記動画像が生成されたことをユーザに通知する手順を前記コンピュータにさらに実行させることを特徴とする請求項７記載のプログラム。
13. 複数の素材が素材情報に基づいて分類された複数のグループを示すグループ情報を生成し、
    前記グループ化手段による処理に対応する処理量よりも処理量が多く、前記複数のグループの各々に属する素材に対応する分析情報を生成する分析情報生成手段と、
    前記分析情報が生成される前の期間において、前記素材情報と前記グループ情報とに基づいて、前記複数の素材の内の第１の条件を満たす第１の素材を含む動画像を生成し、前記分析情報が生成された後の期間において、前記素材情報と前記グループ情報と前記分析情報とに基づいて、前記複数の素材の内の第２の条件を満たす第２の素材を含む動画像を生成する方法。
14. 前記動画像を生成することは、前記複数のグループの内の一つのグループに対応する分析情報が生成されたことに応答して、当該分析情報と前記素材情報とに基づいて、当該グループに属する素材の内の前記第２の条件を満たす第２の素材を含む動画像を生成することを特徴とする請求項１３記載の方法。
15. 前記複数の素材は静止画像を含み、
    前記分析情報は、前記静止画像に含まれる顔画像を示す情報を含むことを特徴とする請求項１３記載の方法。
16. 前記素材情報は、前記複数の素材の各々が生成された日時を示す時刻情報及び場所を示す地点情報、前記複数の素材の各々の種類、前記複数の素材の各々のデータ形式及びデータサイズ、前記複数の素材の各々が格納される場所を示す場所情報、並びに前記複数の素材の各々が入力された経路を示す経路情報のうち、少なくとも一つを含むことを特徴とする請求項１３記載の方法。
17. 前記複数の素材は、静止画像、音声、動画像のうち、少なくとも一つを含むことを特徴とする請求項１３記載の方法。
18. 前記動画像が生成されたことをユーザに通知することをさらに具備することを特徴とする請求項１３記載の方法。

Images