JP2021157007A - フォトムービー生成システム、フォトムービー生成装置、ユーザ端末、フォトムービー生成方法、及びプログラム - Google Patents

Abstract

【課題】 ユーザの好みの楽曲をフォトムービー付きで再生可能とし、ユーザが楽しんで音楽を視聴することができるフォトムービー生成システム等を提供する。【解決手段】 フォトムービー生成システム１において、サーバ２は、音響解析部２２、画像取得部２３、画像素材生成部２４、及びフォトムービー生成部２５等を備え、ユーザ端末３は、楽曲指定部３１、画像指定部３２、送信部３３、及び受信部３４等を備える。ユーザ端末３において楽曲及び画像を指定してサーバ２に音源データ（または楽曲ＩＤ）や画像データを送信すると、サーバ２は音源データの音響特徴量データ４５を取得し、音響特徴量データ４５から検出できる楽曲構成の変化に応じて画面が変化するフォトムービーを生成し、ユーザ端末３に送信する。ユーザ端末３はフォトムービーを音源データと同期再生する。【選択図】図４

Description

本発明は、フォトムービーを生成し、提供するフォトムービー生成システム等に関する。

クラウドフォトストレージサービスにおいて、クラウドストレージに保存されている写真を使用してフォトムービーを自動作成するサービスが提供されている（非特許文献１）。例えば、非特許文献１のクラウドフォトストレージサービスでは、ユーザがクラウドストレージに保存した画像からムービーにしたい写真や動画を選択し、予め用意されているいくつかのテーマの中から所望のテーマを選択すると、サービス側でムービーが自動生成される。

また、撮影した動画に印象の合った楽曲を付与する手法が報告されている（非特許文献２）。非特許文献２には、撮影した動画の特徴量（動画特徴量）を抽出し、音楽の特徴量（音楽特徴量）を抽出し、動画とメロディ・リズムの印象の関係性を算出し、ユーザの印象に合った楽曲を生成する手法が提案されている。

一方、特許文献１には、任意の音響データにおける印象またはタイミングを表す音響表現を取得する表現取得部と、音響表現に応じた視覚効果等を画像等に付与する効果付与部と、音響データ及び効果を付与した画像等を再生するディスプレイと、を備える音響再生装置について記載されている。これにより、市販の音楽データ等の音響コンテンツの音響表現を取得して、音響表現に応じた視覚効果等の付与を可能としている。

特開２０１３−１１４０８８号公報

Google（登録商標）フォト、"ムービーを作成"、［online］、［令和2年3月23日検索］、インターネット〈URL：https://photos.***.com/movies/create〉 清水柚里奈、他４名、"動画特徴量からの印象推定に基づく動画ＢＧＭの自動素材選出"、NICOGRAPH 2016,pp177-184

しかしながら、上述の非特許文献１のムービー作成機能では、フォトムービーに付加する音楽（ＢＧＭ）をユーザが選択することも可能であるが、選択できる音楽は、デフォルトのカテゴリー単位（dramatic、electronic、rockin'、upbeat、…等）か、或いはユーザ端末内の音楽アプリにある音楽のうちＤＲＭ（Digital
Rights Management；デジタル著作権管理）で保護されていない楽曲のみとしている。また、非特許文献２の提案手法は、動画の印象に合った楽曲を生成する手法である。よって、いずれの手法も市販のＣＤや音楽配信サービスによって得た楽曲をフォトムービーのＢＧＭに使用することができない。これに対し、特許文献１の手法は、市販の音楽データから音響表現を抽出し、音響表現に応じた視覚効果等の付与を可能とするものであるが、表現に対して設定された視覚効果が固定的であるため、何度か視聴するとユーザが飽きてしまうおそれがある。

本発明は上記の問題に鑑みてなされたものであり、ユーザの好みの楽曲をフォトムービー付きで再生可能とし、ユーザが楽しんで音楽を視聴することができるフォトムービー生成システム等を提供することを目的とする。

前述した課題を解決するための第１の発明は、サーバとユーザ端末とがネットワークを介して通信接続されたフォトムービー生成システムであって、前記ユーザ端末は、フォトムービーに使用する楽曲の指定を受け付け、指定された楽曲の音源データまたは楽曲の識別情報である楽曲ＩＤを前記サーバに送信する楽曲指定手段と、前記サーバから送信されたフォトムービーを受信し、再生する再生手段と、を備え、前記サーバは、前記ユーザ端末において指定された楽曲の音響特徴量データを取得する音響特徴量データ取得手段と、前記フォトムービーに使用する画像を取得する画像取得手段と、前記画像取得手段により取得した画像を使用し、前記音響特徴量データに基づき楽曲の変化に応じて表示が変化するフォトムービーを生成し、前記ユーザ端末に送信するフォトムービー生成手段と、を備えることを特徴とするフォトムービー生成システムである。

第１の発明によれば、サーバは、ユーザ端末において指定された楽曲の音響特徴量データを取得し、フォトムービーに使用する画像を取得すると、取得した画像を使用し、音響特徴量データに基づき楽曲の変化に応じて表示が変化するフォトムービーを生成し、ユーザ端末に送信する。ユーザ端末は、フォトムービーを受信して生成する。これにより、ユーザが指定した楽曲に対し、楽曲の変化に応じて表示が変化するフォトムービーを生成してユーザ端末に提供できるため、ユーザは、好きな楽曲をフォトムービー付きで視聴できる。このため、ユーザは音楽視聴をより楽しむことができる。

第１の発明のフォトムービー生成システムにおいて、前記サーバは、前記フォトムービーを構成する情報であるムービー構成情報を前記楽曲ＩＤに紐づけて記憶する記憶手段を備え、前記フォトムービー生成手段は、指定された楽曲ＩＤに紐づけて記憶されたムービー構成情報を参照し、前記記憶手段に記憶されているムービー構成情報と異なる構成のフォトムービーを生成する。これにより、同じ楽曲に対し異なるムービー表現を生成してユーザ端末に提供できるため、ユーザに多様な楽しみを提供できる。

また、前記サーバの記憶手段は、前記楽曲の音響特徴量データを前記楽曲ＩＤと紐づけて記憶し、前記音響特徴量データ取得手段は、前記記憶手段に記憶されている音響特徴量データを取得することを特徴とすることが望ましい。これにより、一度解析した楽曲については音響解析を省略することができるため、短時間でフォトムービーを提供できる。また、前記サーバの音響特徴量データ取得手段は、前記ユーザ端末において指定された楽曲の音響特徴量データをネットワークを介して通信接続された音楽配信サーバから取得するようにしてもよい。これによりサーバ側で音響解析処理を行うことなく音響特徴量データを取得でき、サーバの負荷を軽減できる。

また、前記サーバは、楽曲の音響解析処理を行って音響特徴量データを得る音響解析手段を更に備え、前記音響特徴量データ取得手段は、前記音響解析手段により得た音響特徴量データを取得するようにしてもよい。この際、前記サーバは、前記楽曲の音源データをネットワークを介して通信接続された音楽配信サーバから取得してもよいし、前記ユーザ端末から取得してもよい。これにより、ユーザの所望の楽曲に合ったフォトムービーを生成できる。

また、前記サーバのフォトムービー生成手段は、前記フォトムービーを音源を付加せずに生成し、前記楽曲の楽曲ＩＤと紐づけて出力し、前記ユーザ端末の再生手段は、前記フォトムービーに紐づけられた楽曲ＩＤに対応する楽曲の音源データを取得し、取得した音源データと前記フォトムービーとを同期して再生することが望ましい。これにより、音楽付きフォトムービーよりファイルサイズの小さいフォトムービーを生成でき、フォトムービーを保存するためのストレージ容量を節約できる。

また、前記サーバは、前記画像取得手段により取得した画像から画像素材を生成する画像素材生成手段を更に備え、前記フォトムービー生成手段は、前記画像素材生成手段により生成された画像素材を使用して前記フォトムービーを生成することが望ましい。
また、前記ユーザ端末は、前記フォトムービーに使用する画像を前記サーバに送信する画像送信手段を更に備え、前記サーバの画像取得手段は、前記ユーザ端末から送信された画像を受信することが望ましい。これにより、ユーザが指定した画像やその画像から生成された画像素材を使用してフォトムービーを生成できる。

第２の発明は、画像を取得する画像取得手段と、楽曲の音響特徴量データを取得する音響特徴量データ取得手段と、前記画像取得手段により取得した画像を使用し、前記音響特徴量データに基づき楽曲の変化に応じて表示が変化するフォトムービーを生成するフォトムービー生成手段と、を備えることを特徴とするフォトムービー生成装置である。

第２の発明により、楽曲の音響特徴量データに基づいて楽曲の変化に応じて表示が変化するフォトムービーを生成することが可能となる。

第３の発明は、画像を取得する画像取得手段と、楽曲の音源データを取得する音源データ取得手段と、前記音源データを解析して音響特徴量データを取得する音響解析手段と、前記画像取得手段により取得した画像を使用し、前記音響特徴量データに基づき楽曲の変化に応じて表示が変化するフォトムービーを生成するフォトムービー生成手段と、を備えることを特徴とするフォトムービー生成装置である。

第３の発明により、取得した音源データについて音響解析を実施して音響特徴量データを取得し、音響特徴量データに基づいて楽曲の変化に応じて表示が変化するフォトムービーを生成することが可能となる。

第４の発明は、サーバとネットワークを介して通信接続可能なユーザ端末であって、楽曲の指定を受け付け、指定された楽曲の音源データまたは楽曲の識別情報である楽曲ＩＤを前記サーバに送信する楽曲指定手段と、前記サーバから送信された、前記楽曲の変化に応じて表示が変化するフォトムービーを受信し、再生する再生手段と、を備えることを特徴とするユーザ端末である。

第４の発明により、ユーザ端末において、楽曲を指定してサーバに楽曲の音源データまたは楽曲の識別情報である楽曲ＩＤをサーバに送信すると、前記楽曲の変化に応じて表示が変化するフォトムービーをサーバから受信し、再生することが可能となる。

第５の発明は、サーバとユーザ端末とがネットワークを介して通信接続されたフォトムービー生成システムにおけるフォトムービー生成方法であって、前記ユーザ端末が、フォトムービーに使用する楽曲の指定を受け付け、指定された楽曲の音源データまたは楽曲の識別情報である楽曲ＩＤを前記サーバに送信するステップと、前記サーバが、画像を取得するステップと、前記サーバが、前記ユーザ端末において指定された楽曲の音響特徴量データを取得するステップと、前記サーバが、前記画像を使用し、前記音響特徴量データに基づき楽曲の変化に応じて表示が変化するフォトムービーを生成し、前記ユーザ端末に送信するステップと、前記ユーザ端末が、前記サーバから送信されたフォトムービーを受信し、再生するステップと、を含むことを特徴とするフォトムービー生成方法である。

第５の発明によれば、サーバは、ユーザ端末において指定された楽曲の音響特徴量データを取得し、フォトムービーに使用する画像を取得すると、取得した画像を使用し、音響特徴量データに基づき楽曲の変化に応じて表示が変化するフォトムービーを生成し、ユーザ端末に送信する。ユーザ端末は、フォトムービーを受信して生成する。これにより、ユーザが指定した楽曲に対し、楽曲の変化に応じて表示が変化するフォトムービーを生成してユーザ端末に提供できるため、ユーザは、好きな楽曲をフォトムービー付きで視聴できる。このため、ユーザは音楽視聴をより楽しむことができる。

第６の発明は、コンピュータを、画像を取得する画像取得手段、楽曲の音響特徴量データを取得する音響特徴量データ取得手段、前記画像取得手段により取得した画像を使用し、前記音響特徴量データに基づき楽曲の変化に応じて表示が変化するフォトムービーを生成するフォトムービー生成手段、として機能させるためのプログラムである。

第６の発明により、コンピュータを第２の発明のフォトムービー生成装置として機能させることが可能となる。

第７の発明は、コンピュータを、画像を取得する画像取得手段、楽曲の音源データを取得する音源データ取得手段、前記音源データを解析して音響特徴量データを取得する音響解析手段、前記画像取得手段により取得した画像を使用し、前記音響特徴量データに基づき楽曲の変化に応じて表示が変化するフォトムービーを生成するフォトムービー生成手段、として機能させるためのプログラムである。

第７の発明により、コンピュータを第３の発明のフォトムービー生成装置として機能させることが可能となる。

第８の発明は、サーバとネットワークを介して通信接続可能なコンピュータを、楽曲の指定を受け付け、指定された楽曲の音源データまたは楽曲の識別情報である楽曲ＩＤを前記サーバに送信する楽曲指定手段、前記サーバから送信された、前記楽曲の変化に応じて表示が変化するフォトムービーを受信し、再生する再生手段、として機能させるためのプログラムである。

第８の発明により、コンピュータを第１及び第４の発明のユーザ端末として機能させることが可能となる。

本発明により、ユーザの好みの楽曲をフォトムービー付きで再生可能とし、ユーザが楽しんで音楽を視聴することができるフォトムービー生成システム等を提供することが可能となる。

フォトムービー生成システム１の全体構成を示す図 サーバ２のハードウェア構成を示す図 ユーザ端末３のハードウェア構成を示す図 フォトムービー生成システム１の機能構成を示す図 音響特徴量データ４５のデータ構成例を示す図 フォトムービー生成システム１が実行する処理の流れを示すフローチャート 音響解析処理の流れを示すフローチャート エフェクトテンプレート２２１の例を示す図 エフェクト対応テーブル２２３の例を示す図 フォトムービー生成処理の流れを示すフローチャート フォトムービー６１、６２、６３の例を示す図 ムービー構成情報２２４の例を示す図 フォトムービー生成システム１Ａの全体構成を示す図 音楽配信サーバ４のハードウェア構成を示す図 フォトムービー生成システム１Ａの機能構成を示す図 音源データ４４のデータ構成例を示す図 フォトムービー生成システム１Ａが実行する処理の流れを示すフローチャート

以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。

［第１の実施形態］
図１は本発明の第１の実施形態に係るフォトムービー生成システム１の全体構成を示す図である。図１に示すように、本発明に係るフォトムービー生成システム１は、ユーザ端末３及びサーバ２がネットワーク５を介して通信接続される。サーバ２は、ユーザ端末３からの要求に応答してフォトムービーを生成するコンピュータ（フォトムービー生成装置）であり、ユーザ端末３と通信接続される。

ユーザ端末３は、ユーザが利用する電子機器であり、フォトムービー生成システム１を利用するための専用のアプリケーションプログラム（以下、フォトムービーアプリという）を搭載する。またはユーザ端末３は、サーバ２がネットワーク５上に開設したＷＥＢサイトを閲覧可能なブラウザを搭載し、ＷＥＢサイトを介してサーバ２との間で処理を行うことによりフォトムービーの注文及び受信を行うものとしてもよい。ユーザ端末３は、例えば、スマートフォンやタブレット、ＰＣ、音楽プレーヤー、ゲーム機等により構成される。

図２は、サーバ２の構成を示す図である。図に示すように、サーバ２は、例えば制御部２０１、記憶部２０２、通信部２０３等をバス２０４等により接続して構成したコンピュータにより実現できる。但しこれに限ることなく、適宜様々な構成をとることができる。

制御部２０１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成される。ＣＰＵは、記憶部２０２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス２０４を介して接続された各部を駆動制御する。ＲＯＭは、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、ロードしたプログラムやデータを一時的に保持するとともに、制御部２０１が各種処理を行うために使用するワークエリアを備える。制御部２０１は、上記プログラムを読み出して実行することにより、サーバ２の各手段として機能する。

記憶部２０２は、例えば、ハードディスクドライブやソリッドステートドライブ、フラッシュメモリ等の記憶装置である。記憶部２０２には制御部２０１が実行するプログラムや、プログラム実行に必要なデータ、オペレーティングシステム等が格納されている。これらのプログラムコードは、制御部２０１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。また、サーバ２の記憶部２０２には、図４に示すように、エフェクトテンプレート２２１、一般画像素材２２２、エフェクト対応テーブル２２３、及びムービー構成情報２２４等のフォトムービーの生成に必要なデータが記憶される。これらのデータの詳細については後述する。

通信部２０３は、通信制御装置、通信ポート等を有し、ネットワーク５等との通信を制御する。ネットワーク５は、ＬＡＮ（Local Area Network）や、より広域に通信接続されたＷＡＮ（Wide
Area Network）、またはインターネット等の公衆の通信回線、基地局等を含む。ネットワーク５は有線、無線を問わない。サーバ２はネットワーク５を介してユーザ端末３と通信接続し、各種のデータを送受信可能である。
バス２０４は、各装置間の制御信号、データ信号等の授受を媒介する経路である。

図３は、ユーザ端末３の構成を示す図である。図に示すように、ユーザ端末３は、例えば制御部３０１、記憶部３０２、通信部３０３、表示部３０４、入力部３０５、周辺機器Ｉ／Ｆ部３０６、及び音声出力部３０７等をバス３０８等により接続して構成したコンピュータ等により実現できる。但しこれに限ることなく、適宜様々な構成をとることができる。制御部３０１、記憶部３０２、通信部３０３の構成は、サーバ２の制御部２０１、記憶部２０２、通信部２０３の構成と同様である。

表示部３０４は、例えば液晶パネル、ＣＲＴモニタ等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路（ビデオアダプタ等）で構成され、制御部３０１の制御により入力された表示情報をディスプレイ装置上に表示させる。なお、入力部３０５及び表示部３０４は、表示画面にタッチパネル等の入力装置を一体的に設けたタッチパネルディスプレイとしてもよい。

入力部３０５は、例えば、タッチパネル、キーボード、マウス等のポインティング・デバイス、テンキー等の入力装置であり、入力されたデータを制御部３０１へ出力する。

周辺機器Ｉ／Ｆ（インタフェース）部３０６は、周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部３０６を介して周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部３０６は、ＵＳＢ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。

音声出力部３０７は、制御部３０１から入力された音声データをスピーカから出力する。

なお、ユーザ端末３の記憶部３０２には後述する処理（図６）を実施するためのアプリケーションプログラム（フォトムービーアプリ）が格納され、このアプリケーションプログラムに従って後述する処理をユーザ端末３の制御部３０１が実行する。

次に、図４を参照してフォトムービー生成システム１の機能構成について説明する。図４に示すように、フォトムービー生成システム１において、サーバ２は、上述の記憶部２０２の他、音源データ取得部２１、音響解析部２２、画像取得部２３、画像素材生成部２４、及びフォトムービー生成部２５等を備える。ユーザ端末３は、上述の記憶部３０２、表示部３０４、音声出力部３０７の他、楽曲指定部３１、画像指定部３２、送信部３３、及び受信部３４等を備える。

ユーザ端末３の楽曲指定部３１は、ユーザから楽曲の指定を受け付ける。第１の実施形態において楽曲指定部３１は、ユーザ端末３の記憶部３０２に記憶されている音源データ、或いはＣＤ等から読み取った音源データの中からユーザの操作によって楽曲を指定する。

画像指定部３２は、ユーザからフォトムービーの画像素材として使用する画像の指定を受け付ける。指定する画像は、ユーザ端末３の記憶部３０２に記憶されている画像でもよいし、サーバ２の記憶部３０２に記憶されている一般画像素材２２２から指定してもよい。サーバ２の記憶部３０２に記憶されている一般画像素材２２２を指定する場合、例えば、サーバ２はユーザ端末３に対して一般画像素材２２２を選択するための画像選択画面を送信し、ユーザによる選択を受け付ける。

送信部３３は、楽曲指定部３１により指定された楽曲の音源データや画像指定部３２により指定された画像データを記憶部３０２から取得してサーバ２に送信する。指定画像がサーバ２の一般画像素材２２２である場合は、画像の指定情報（画像の識別情報等）を送信する。

記憶部３０２には、楽曲の音源データが楽曲の識別情報である楽曲ＩＤと紐づけて記憶される。楽曲の音源データはＣＤから読み込んだ音源データ、或いは音楽配信サービスのサーバからダウンロードした音源データ等である。また、記憶部３０２には、画像データが記憶される。画像データは、ユーザがカメラで撮影した画像やスキャナで読み取った画像、またはネットワーク５を介してダウンロードした画像等である。

楽曲ＩＤは、例えば、アルバム名＋アーティスト名＋曲名＋再生時間等の複合情報を使用する。音楽ＣＤデータベース（ＣＤＤＢ；Compact Disc DataBase）では、アルバム名、アーティスト名、及び曲名がＤｉｓｃ
ＩＤと紐づけて管理されている。ユーザ端末３に搭載されている音楽アプリは、音楽ＣＤのＴＯＣ（Table of Contents）という領域に記録されている情報からＤｉｓｃ ＩＤを算出し、ネットワーク５を介して音楽ＣＤデータベースにアクセスして、Ｄｉｓｃ ＩＤに対応するアルバム名、アーティスト名、及び曲名を得ることができる。本実施形態では、このようにして得たアルバム名、アーティスト名、及び曲名と、楽曲の再生時間等とを複合した情報を楽曲ＩＤとして使用するものとする。

サーバ２の音源データ取得部２１は、ユーザ端末３から送信された音源データ及び楽曲ＩＤを取得する。

音響解析部２２は、音源データ取得部２１が取得した音源データについて音響解析処理を行い、音響特徴量データ４５を取得する。

ここで、音響解析部２２による音響解析処理及び音響特徴量データ４５について説明する。図５は音響特徴量データ４５の一例を示す図である。音響解析処理では、楽曲構成（Ａメロ、Ｂメロ、サビ等）、楽曲のテンポ（ＢＰＭ；Beats Per Minute）、ビート（拍子）、特定の楽器の発音タイミング等の特徴量が解析される。また、これらに加え、和音進行（音楽の持つ曲調の流れ）、音量変化（聴感上の音量変化）、周波数重心（音楽の盛り上がり度合い）、音程パワー分離（音楽の持つ複雑さ）等の特徴量について解析してもよい。

音響解析処理は、公知の手法（例えば、株式会社ＣＲＩ・ミドルウェア、“超高速・高精度
楽曲解析ミドルウェアBEATWIZ（登録商標）”、[onine]、[令和２年３月１５日検索]、インターネット、< URL ：https://www.cri-mw.co.jp/product/amusement/beatwiz/index.html>、または、堀内直明、他５名共著、"Song
Surfing：類似フレーズで音楽ライブラリを散策する音楽再生システム"、PIONEER R&D（Vol.17,No.2/2007）等）を利用して行うことができる。なお、図５に示す音響特徴量データ４５は、一例であり、これに限定されない。音響解析部２２は、図５に示す音響特徴量データ４５の各項目以外の特徴量についても解析してもよい。

音響解析部２２は、音響解析処理の結果、取得した音響特徴量データ４５をフォトムービー生成部２５に出力するとともに、記憶部２０２に楽曲ＩＤと紐づけて記憶する。なお、音響解析部２２は、一度音響解析処理を実施した楽曲については、記憶部２０２に記憶されている音響特徴量データ４５を取得するのみとする。これにより、音響解析処理に要するサーバ２の負荷を削減でき、かつ処理時間を低減できる。

画像取得部２３は、ユーザ端末３から送信された画像データ、または一般画像素材２２２の指定情報を取得する。一般画像素材２２２の指定情報を取得した場合は、指定情報に従って記憶部２０２から一般画像素材２２２を取得する。

画像素材生成部２４は、画像取得部２３により取得した画像データから画像素材を生成する。画像素材生成部２４は、例えば、写真等の画像データから人物、動物、物品等の対象物を検出し、検出した対象物を切り出してそれぞれ個々の画像素材とする。画像素材生成部２４は、生成した画像素材をフォトムービー生成部２５に出力する。

フォトムービー生成部２５は、画像取得部２３により取得した画像または画像素材生成部２４により生成した画像素材を使用し、音響解析部２２から取得した音響特徴量データ４５に基づき楽曲の変化に応じて表示が変化するフォトムービーを生成する。フォトムービー生成部２５は、記憶部２０２に記憶されているエフェクト対応テーブル２２３及びエフェクトテンプレート２２１を参照して楽曲の変化に応じて表示が変化するフォトムービーを生成する。楽曲の変化は、音響特徴量データ４５の「楽曲構成」や「特定の楽器の発音タイミング」等から検出される。フォトムービー生成処理の詳細については、後述する。

なお、フォトムービー生成部２５が生成するフォトムービーは、音楽付きフォトムービーまたは音楽無しフォトムービーである。音楽付きフォトムービーはユーザ端末３から指定された楽曲の音源データをＢＧＭとして付加したフォトムービーである。すなわち、映像データと音声データとが含まれるフォトムービーである。音楽無しフォトムービーは、楽曲の音源（ＢＧＭ）を付加せずに映像データのみのフォトムービーである。音楽無しフォトムービーは再生時に楽曲の音源データと同期して再生される。

フォトムービー生成部２５は、フォトムービーを生成すると、データ（映像データ）をmpeg4方式等で圧縮符号化し、ユーザ端末３において再生可能なデータ形式に変換する。そして、フォトムービーの構成を表す情報であるムービー構成情報２２４を楽曲ＩＤと紐づけて記憶部２０２に記憶するとともに、フォトムービーのデータを楽曲ＩＤと紐づけてユーザ端末３に送信する。

ユーザ端末３の受信部３４は、サーバ２から送信されたフォトムービーを受信し、再生処理部３５へ送る。

再生処理部３５は、フォトムービーを再生する。音楽無しフォトムービーを受信した場合は、再生処理部３５は、フォトムービーに紐づけられた楽曲ＩＤに対応する楽曲の音源データを記憶部３０２から取得し、取得した音源データとフォトムービー（音楽無しフォトムービー）とを同期して再生する。再生処理部３５は、フォトムービーを復号して符号化前の映像データとし、表示部３０４に表示するとともに、音源データを同期再生して音声出力部３０７から出力する。

音楽付きフォトムービーを受信した場合は、再生処理部３５は、受信したフォトムービーのデータを復号して符号化前の映像データ及び音声データとし、映像を表示部３０４に表示するとともに、音声（音源）を音声出力部３０７から出力する。なお、フォトムービーの再生方法は、ストリーミング再生でもダウンロード再生でもよい。

次に、図６を参照して、フォトムービー生成システム１が実行する処理の流れを説明する。以下の説明では、ユーザ端末３の記憶部３０２には、フォトムービー生成システム１を利用するためのアプリであるフォトムービーアプリがインストールされ、ユーザ端末３の制御部３０１がこのフォトムービーアプリを読み出して実行する手順について説明する。

ユーザ端末３において、フォトムービーアプリを起動すると、ユーザ端末３の制御部３０１は、フォトムービーに使用する楽曲の指定（ステップＳ１０１）、及び画像の指定（ステップＳ１０２）を受け付ける。ステップＳ１０１〜ステップＳ１０２において、制御部３０１は、楽曲や画像を選択入力するための入力画面を表示してもよい。

第１の実施形態では、指定できる楽曲は、ユーザ端末３の記憶部３０２に記憶されている楽曲（音源データ）またはＣＤドライブにより読み取り可能な楽曲の音源データとする。また、指定できる画像は、ユーザ端末３の記憶部３０２に記憶されている画像、及びサーバ２に記憶されている一般画像素材２２２とする。

楽曲及び画像が指定されると、制御部３０１は、指定された音源データ及び画像データを記憶部３０２から取得し（ステップＳ１０３）、サーバ２に送信する（ステップＳ１０４）。なお、一般画像素材２２２が指定された場合は、制御部３０１は、指定された一般画像素材２２２の識別情報をサーバ２に送信する。

サーバ２は、音源データ及び画像データ（一般画像素材２２２が指定された場合は、一般画像素材２２２の識別情報）を受信すると（ステップＳ１０５）、制御部２０１（音響解析部２２）は、受信した音源データについて音響解析処理を実行し、楽曲の音響特徴量データ４５を取得する（ステップＳ１０６）。

図７は、音響解析処理の流れを示すフローチャートである。図７に示すように、制御部２０１（音響解析部２２）は楽曲の音源データを取得し（ステップＳ２０１）、音響解析処理を実行する（ステップＳ２０２）。音響解析処理では、楽曲のテンポ（ＢＰＭ；Beats Per Minute）、ビート（拍子）、楽曲構成（Ａメロ、Ｂメロ、サビ等）、特定の楽器の発音タイミング等が解析される。

制御部２０１は、音響解析結果を音響特徴量データ４５として、楽曲ＩＤと紐づけて記憶部２０２に記憶する（ステップＳ２０３）。音響特徴量データ４５を楽曲ＩＤと紐づけてサーバ２に記憶しておくことにより、一度解析した楽曲について、２回目以降は解析が不要となる。

また、サーバ２の制御部２０１（画像素材生成部２４）は、ステップＳ１０５で受信した画像データについて必要に応じて画像素材生成処理を実行し、画像データから画像素材を切り出す（ステップＳ１０７）。なお、受信した画像データをそのまま画像素材として使用してもよい。

サーバ２の制御部２０１（フォトムービー生成部２５）は、画像素材と所定のエフェクトテンプレート２２１を使用し、音響特徴量データ４５（例えば、「楽曲構成」の変化）に応じて画面が変化するフォトムービーを生成する（ステップＳ１０８）。

ここで、エフェクトテンプレート２２１及びエフェクト対応テーブル２２３について説明する。
エフェクトテンプレート２２１は、画像に所定の加工（エフェクト）を加えるためのプログラムであり、図８に示すように、複数のエフェクトテンプレート２２１がエフェクトＮｏ．及び使用画像枚数と対応付けて記憶されている。

エフェクトテンプレート２２１は、例えば、複数の表示画像を順に切り替える「画像切替」、画像をモノクロからカラーに変化させる「モノクロ→カラー」、画像の透過率を変化させる「透過率変化」、画像の表示位置を画面内で移動させる「画面移動」、画像を回転させる「回転」、画像を拡大させる「拡大」、画像を縮小させる「縮小」、表示画面内における画像の表示割合を変化させる「表示割合変化」、画像を出現させる「出現」、画像を拡大させながら移動させる「拡大移動」、画像を拡大させながら回転させる「拡大回転」、画像を縮小させながら移動させる「縮小移動」、画像を縮小させながら回転させる「縮小回転」、小画像を徐々に増加させていく「小画像増加」、複数の画像を一画面内に表示する「複数画像一画面表示」、一画面内に複数表示させた画像をスライドさせる「複数画像一画面表示＋スライド」等がある。

なお、図８に示すエフェクトテンプレート２２１は一例であり、他のエフェクトを含むものとしてもよい。また、各エフェクトについて移動量や変化の速さ等のパラメータを複数パターン用意してもよい。例えば、エフェクト「拡大」について、拡大率によって「拡大１」、「拡大２」、「拡大３」、…を用意したり、エフェクト「透過率変化」について、変化の速さによって「透過率変化１」、「透過率変化２」…を用意したりする。

制御部２０１（フォトムービー生成部２５）は、フォトムービーを生成するにあたり、どのエフェクトを使用するかを、エフェクト対応テーブル２２３を参照して決定する。図９はエフェクト対応テーブル２２３の例を示す図である。エフェクト対応テーブル２２３は、楽曲構成要素（イントロ、Ａメロ、Ｂメロ、Ｃメロ、ソロ、サビ等）とそれに適したエフェクトテンプレート２２１とを対応づけたテーブルであり、図９に示すように、複数のパターンが定義されている。

図９の例では、パターン（１）の場合、制御部２０１（フォトムービー生成部２５）は、楽曲の「イントロ」でエフェクト「モノクロ→カラー」を適用し、楽曲の「Ａメロ」でエフェクト「移動３」を適用し、楽曲の「Ｂメロ」でエフェクト「小画像増加」を適用し、楽曲の「Ｃメロ」で「複数画像一画面表示１」を適用し、楽曲の「ソロ」でエフェクト「拡大１」を適用し、楽曲の「サビ」でエフェクト「画像切替１」を適用する。

また、図９のパターン（２）の場合、制御部２０１（フォトムービー生成部２５）は、楽曲の「イントロ」でエフェクト「画像切替１」を適用し、楽曲の「Ａメロ」でエフェクト「縮小回転１」を適用し、楽曲の「Ｂメロ」でエフェクト「拡大回転１」を適用し、「Ｃメロ」でエフェクト「画面移動」を適用し、楽曲の「ソロ」でエフェクト「拡大２」を適用し、楽曲の「サビ」でエフェクト「画像切替２」を適用する。このように、複数のパターンのエフェクト適用例がエフェクト対応テーブル２２３に定義されている。

ステップＳ１０８において、制御部２０１（フォトムービー生成部２５）は、エフェクト対応テーブル２２３のどのパターンでフォトムービーを生成するかを、例えば図１０に示す処理により決定する。

図１０に示すように、サーバ２の制御部２０１（フォトムービー生成部２５）は、まず、楽曲ＩＤに対応するムービー構成情報２２４が記憶部２０２に記憶されているか否かを判定する（ステップＳ３０１）。ムービー構成情報２２４は、フォトムービーに使用する画像データや画像の切替タイミング、画像に適用するエフェクト等のフォトムービーを構成するための情報が格納されたデータである（図１２参照）。サーバ２で生成済みのフォトムービーについては、楽曲ＩＤと対応づけてムービー構成情報２２４が記憶部２０２に記憶されている。

ステップＳ３０１において、ユーザ端末３から送信された音源データの楽曲ＩＤに対応するムービー構成情報２２４が記憶部２０２に記憶されていない場合は（ステップＳ３０１；Ｎｏ）、その楽曲についてはフォトムービーを作成した履歴が無いため、サーバ２の制御部２０１は、エフェクト対応テーブル２２３から任意のパターンを読み出し（ステップＳ３０２）、読み出したパターンのエフェクト対応テーブル２２３に従ってフォトムービーを生成する（ステップＳ３０３）。

一方、ステップＳ３０１において、ユーザ端末３から送信された音源データの楽曲ＩＤに対応するムービー構成情報２２４が既に記憶部２０２に記憶されている場合は（ステップＳ３０１；Ｙｅｓ）、制御部２０１は、エフェクト対応テーブル２２３から未使用のパターンを読み出し（ステップＳ３０４）、読み出したパターンのエフェクト対応テーブル２２３に従ってフォトムービーを生成する（ステップＳ３０３）。このように、フォトムービーを作成したことがある楽曲については、２回目以降は別のパターンのフォトムービーが作成される。このため、同じ楽曲に対し異なるムービー表現を生成することができ、ユーザに多様な楽しみを提供できる。

図１１は、楽曲（音源データ４４）について生成される様々なフォトムービー６１、６２、６３の例を示す図である。図１１（ａ）のフォトムービー６１は、画像取得部２３により取得した画像７１、７２、７３、…をそのまま使用して生成したものである。楽曲（音源データ４４）の楽曲構成が変化するタイミング（ＡメロからＢメロに変わるタイミングｔ１、Ｂメロからサビに変わるタイミングｔ２等）で表示する画像が変更される。

また、図１１（ｂ）のフォトムービー６２は、画像取得部２３により取得した画像７１、７２、７３、…にエフェクトテンプレート２２１を適用したものである。楽曲（音源データ４４）の楽曲構成が変化するタイミング（ＡメロからＢメロに変わるタイミングｔ１、Ｂメロからサビに変わるタイミングｔ２）で画像が変更されるとともに、各区間（ｔ０〜ｔ１、ｔ１〜ｔ２、ｔ２〜）で所定のエフェクトが画像に施される。

図１１（ｂ）の例では、「Ａメロ」の区間ｔ０〜ｔ１において画像７１に対しエフェクト「モノクロ→カラー」が適用され、モノクロの画像７１ａからカラーの画像７１ｂへと徐々に変更される。次に、ＡメロからＢメロへ変わる時刻ｔ１で画像が切り替えるとともにエフェクトも「縮小回転１」に変更される。区間ｔ１〜ｔ２では、背景に画像７１、前景に画像７２を使用し、前景画像７２が画像７２ａの状態から画像７２ｂの状態へ縮小回転するアニメーションが生成される。次に、Ｂメロからサビへ変わる時刻ｔ２で画像が切り替えられるとともにエフェクトも「縮小回転２」に変更される。区間ｔ２〜は、背景に画像７１、前景に画像７３を使用し、前景画像７３が画像７３ａの状態から画像７３ｂの状態へ縮小回転するアニメーションが生成される。

また、図１１（ｃ）のフォトムービー６３は、画像取得部２３により取得した画像７４、７６、７９、…を背景画像とし、前景に画像素材７５、７７、８１、８２（画像素材生成部２４により生成した画像素材）を使用して生成したものである。楽曲（音源データ４４）の楽曲構成が変化するタイミング（ＡメロからＢメロに変わるタイミングｔ１、Ｂメロからサビに変わるタイミングｔ２）で背景画像が変更されるとともに、各区間（ｔ０〜ｔ１、ｔ１〜ｔ２、ｔ２〜）で前景画像に所定のエフェクトが施される。

図１１（ｃ）の例では、Ａメロの区間ｔ０〜ｔ１において画像７４が背景として表示され、前景の画像素材７５に対しエフェクト「画面移動」が適用されて画像７５ａ→７５ｂ→７５ｃに移動する。次に、ＡメロからＢメロへ変わる時刻ｔ１で背景画像が画像７６に切り替えられるとともに前景の画像素材７７に対し、エフェクト「交互表示」が適用されて、画像７７ａと画像７７ｂが交互に表示されるアニメーションが生成される。次に、Ｂメロからサビへ変わる時刻ｔ２で背景画像が画像７９に切り替えられるとともに前景の画像も画像素材８１、８２に変更される。区間ｔ２〜は、前景の画像素材８１、８２に対し、エフェクト「出現」が適用されて、バスドラムの発音タイミングに合わせて画像素材８１、８２が順に出現するように表示される。

制御部２０１（フォトムービー生成部２５）はフォトムービーを生成すると、生成したフォトムービーのムービー構成情報２２４を楽曲ＩＤと紐づけて記憶部２０２に記憶する。ムービー構成情報２２４は、図１２に示すように、楽曲ＩＤと紐づけて、楽曲構成、時間、適用エフェクト、使用画像枚数、使用画像ファイル名が格納される。

図１２の例は、楽曲ＩＤ「＊＊＊＊＊（アルバム名＋アーティスト名＋曲名＋再生時間等）」の楽曲をＢＧＭとするフォトムービーのムービー構成情報２２４である。楽曲構成「イントロ」の区間の時間は「０−１５」であり、「モノクロ→カラー１」のエフェクトが適用される。このエフェクトでの使用画像枚数は「１」枚であり、使用する画像のファイル名は「image15」である。

また、楽曲構成「Ａメロ」の区間の時間は「１５−５０」であり、「拡大回転３」のエフェクトが適用される。このエフェクトでの使用画像枚数は「２」枚であり、使用する画像のファイル名は、前景は「image8」（拡大回転する画像）、背景は「image2」である。

また、楽曲構成「Ｂメロ」の区間の時間は「５０−７０」であり、「縮小回転２」のエフェクトが適用される。このエフェクトでの使用画像枚数は「２」枚であり、使用する画像のファイル名は、前景は「image8」（縮小回転する画像）、背景は「image17」である。

また、楽曲構成「サビ」の区間の時間は「７０−１２０」であり、「画像切替５」のエフェクトが適用される。このエフェクトでの使用画像枚数は「５」枚であり、使用する画像のファイル名は、「image10」（最初に表示される画像）、「image11」（２番目に表示される画像）、「image12」（３番目に表示される画像）、「image13」（４番目に表示される画像）、「image14」（５番目に表示される画像）である。

また、楽曲構成「バスドラムタイミング」の時間（時刻）は「７０、１１０、１１１、１１２、１１３」であり、「出現５」のエフェクトが適用される。このエフェクトでの使用画像枚数は「６」枚であり、使用する画像のファイル名は、背景は「image15」、前景は「人物１」（最初のバスドラムタイミング（７０）において出現する画像）、「人物２」（２番目のバスドラムタイミング（１１０）において出現する画像）、「人物３」（３番目のバスドラムタイミング（１１１）において出現する画像）、「人物４」（４番目のバスドラムタイミング（１１２）において出現する画像）、「人物５」（５番目のバスドラムタイミング（１１３）において出現する画像）である。

ムービー構成情報２２４の「楽曲構成」と「時間」の項目は、楽曲の音響特徴量データ４５に対応している。「適用エフェクト」の項目は、図９に示すエフェクト対応テーブル２２３から取得され、「使用画像枚数」の項目は、図８に示すエフェクトテンプレート２２１から取得される。どのエフェクト対応テーブル２２３を使用するかは、制御部２０１（フォトムービー生成部２５）が図１０の処理を実行することにより決定される。また、「使用画像ファイル名」の項目は、画像取得部２３により取得した画像や画像素材生成部２４により生成した画像から、制御部２０１（フォトムービー生成部２５）が任意に決定する。

図６の説明に戻る。
ステップＳ１０８の処理によりフォトムービーが生成されると、サーバ２は生成したフォトムービーをユーザ端末３に送信する（ステップＳ１０９）。

ユーザ端末３はサーバ２から送信されるフォトムービーを受信し（ステップＳ１１０）、フォトムービーを再生する（ステップＳ１１１）。受信したフォトムービーが音楽付きフォトムービーである場合は、制御部３０１（再生処理部３５）は、受信したフォトムービーを復号し再生することで音楽及び映像が同期再生される。

また、受信したフォトムービーが音楽無しフォトムービーである場合は、制御部３０１（再生処理部３５）は、指定した楽曲を記憶部３０２から読み出し、フォトムービーと同期させて再生する。ユーザ端末３の制御部３０１（再生処理部３５）は、フォトムービーと音源データとを同期再生することで、楽曲構成の変化に応じて画面が変化するフォトムービーが再生される。

以上説明したように、第１の実施形態のフォトムービー生成システム１は、ユーザ端末３において楽曲及び画像を指定してサーバ２に音源データや画像データを送信すると、サーバ２側で音源データの音響解析処理を行い、音響特徴量データ４５に基づいてフォトムービーを生成する。ユーザ端末３は、サーバ２で生成したフォトムービーを受信し、音楽無しフォトムービーの場合は、音源データと同期再生する。

このように、フォトムービー生成システム１は、音響特徴量データ４５から検出できる楽曲の変化に応じて画面が変化するフォトムービーを生成してユーザに提供できる。また、サーバ２は、以前にフォトムービーを生成した楽曲については、ムービー構成情報２２４を蓄積記憶しておき、別のパターンのフォトムービーを生成するため、ユーザに多様な楽しみを提供できる。また、サーバ２は、以前に取得した音源データについては、音響特徴量データ４５を蓄積記憶しておくため、音響解析処理を省略して短時間でフォトムービーを生成できる。また、音楽無しフォトムービーを生成してユーザ端末３側で音源データと同期再生させることにより、音楽付きフォトムービーよりもファイルサイズを小さくでき、保存容量や通信容量を低減できる。

［第２の実施形態］
次に、第２の実施形態のフォトムービー生成システム１Ａについて説明する。第２の実施形態では、ユーザ端末３が音源データを持たない場合のシステム構成について説明する。

図１３は本発明の第２の実施形態に係るフォトムービー生成システム１Ａの全体構成を示す図である。図に示すように、フォトムービー生成システム１Ａは、ユーザ端末３及びサーバ２がネットワーク５を介して通信接続される。また、ユーザ端末３及びサーバ２は、楽曲データベース４０を備えた音楽配信サーバ４とネットワーク５を介して通信接続可能となっている。サーバ２及びユーザ端末３のハードウェア構成は第１の実施形態と同様である。第１の実施形態と同一の各部は同一の符号を付し、重複する説明を省略する。

図１４は、音楽配信サーバ４の構成を示す図である。図に示すように、音楽配信サーバ４は、例えば制御部４０１、記憶部４０２、通信部４０３等をバス４０４等により接続して構成したコンピュータにより実現できる。但しこれに限ることなく、適宜様々な構成をとることができる。制御部４０１、記憶部４０２、通信部４０３の構成は、サーバ２の制御部２０１、記憶部２０２、通信部２０３の構成と同様である。音楽配信サーバ４の楽曲データベース４０には、楽曲の音源データ４４及び音響特徴量データ４５が記憶される。

次に、図１５を参照して第２の実施形態のフォトムービー生成システム１Ａの機能構成について説明する。図に示すように、フォトムービー生成システム１Ａにおいて、サーバ２は、記憶部２０２、音響特徴量データ取得部２６、画像取得部２３、画像素材生成部２４、及びフォトムービー生成部２５等を備える。ユーザ端末３は、記憶部３０２、表示部３０４、音声出力部３０７の他、楽曲指定部３１、画像指定部３２、送信部３３、受信部３４、音源データ取得部３６等を備える。音楽配信サーバ４は、楽曲データベース４０、送信部４１、及び音響解析部４２を備える。

第２の実施形態のフォトムービー生成システム１Ａにおいて、第１の実施形態のフォトムービー生成システム１と異なる点は、サーバ２に音源データ取得部２１及び音響解析部２２を設けず、音響特徴量データ取得部２６を設けた点、ユーザ端末３の記憶部３０２に音源データを記憶せず音源データ取得部３６を設けた点、及び楽曲データベース４０及び音響解析部４２を備えた音楽配信サーバ４を備えた点である。

音楽配信サーバ４は、様々な楽曲の音源データ４４や音響特徴量データ４５、楽曲歌詞情報、楽曲書誌情報等を楽曲ＩＤと紐づけて楽曲データベース４０に記憶している。音源データ４４は、図１６に示すように、楽曲ＩＤに紐づけられて記憶されている。

音楽配信サーバ４の音響解析部４２は、楽曲データベース４０に記憶されている楽曲について音響解析処理を実施し、解析結果として音響特徴量データ４５を求め、楽曲ＩＤと紐づけて楽曲データベース４０に記憶する。音響特徴量データ４５は、図５に示す音響特徴量データ４５と同様とする。

音楽配信サーバ４の送信部４１は、ユーザ端末３からの要求に応じて音源データ４４をユーザ端末３に送信する。また、サーバ２からの要求に応じて音源データ４４や音響特徴量データ４５をサーバ２に送信する。

サーバ２の音響特徴量データ取得部２６は、ユーザ端末３の楽曲指定部３１により指定された楽曲の楽曲ＩＤを受信すると、楽曲ＩＤに対応する楽曲の音響特徴量データ４５を音楽配信サーバ４に要求し、取得する。

ユーザ端末３の音源データ取得部３６は、楽曲指定部３１により指定された楽曲の音源データ４４を音楽配信サーバ４に要求し、取得する。音楽無しフォトムービーがサーバ２から送信された場合、ユーザ端末３の再生処理部３５は、音源データ取得部３６によって音楽配信サーバ４から音源データを取得し、受信した音楽無しフォトムービーと同期再生する。

次に、図１７を参照して、第２の実施形態のフォトムービー生成システム１Ａにおける処理の流れを説明する。
ユーザ端末３において、フォトムービーアプリを起動すると、ユーザ端末３の制御部３０１は、フォトムービーに使用する楽曲の指定（ステップＳ４０１）、及び画像の指定（ステップＳ４０２）を受け付ける。ステップＳ４０１〜ステップＳ４０２において、制御部３０１は、楽曲や画像を選択入力するための入力画面を表示してもよい。

第２の実施形態では、指定できる楽曲は、音楽配信サーバ４の楽曲データベース４０に記憶されている楽曲（音源データ４４）とする。また、指定できる画像は、第１の実施形態と同様に、ユーザ端末３の記憶部３０２に記憶されている画像、及びサーバ２に記憶されている一般画像素材２２２とする。

楽曲及び画像が指定されると、制御部３０１は、指定された画像データを記憶部３０２から取得し（ステップＳ４０３）、指定された楽曲の楽曲ＩＤとともにサーバ２に送信する（ステップＳ４０４）。なお、一般画像素材２２２が指定された場合は、制御部３０１は、指定された一般画像素材２２２の識別情報をサーバ２に送信する。

サーバ２は、楽曲ＩＤ及び画像データ（一般画像素材２２２が指定された場合は、一般画像素材２２２の識別情報）を受信すると（ステップＳ４０５）、制御部２０１（音響特徴量データ取得部２６）は、受信した楽曲ＩＤに対応する音響特徴量データ４５を音楽配信サーバ４に要求する（ステップＳ４０６）。

音楽配信サーバ４はサーバ２から楽曲ＩＤに対応する音響特徴量データ４５の要求を受信すると（ステップＳ４０７）、要求された楽曲ＩＤに対応する音響特徴量データ４５を楽曲データベース４０から読み出し、サーバ２に送信する（ステップＳ４０８）。サーバ２は楽曲ＩＤに対応する音響特徴量データ４５を受信する（ステップＳ４０９）。

なお、ステップＳ４０８において、音楽配信サーバ４の楽曲データベース４０に該当する音響特徴量データ４５が記憶されていない場合、音楽配信サーバ４は要求された楽曲ＩＤの楽曲について音響解析部４２により音響解析処理を実行し、音響特徴量データ４５を得る。音楽配信サーバ４は音響特徴量データ４５を楽曲ＩＤと紐づけて楽曲データベース４０に記憶するとともに、要求元のサーバ２に送信する。

また、サーバ２の制御部２０１（画像素材生成部２４）は、ステップＳ４０５で受信した画像データについて必要に応じて画像素材生成処理を実行し、画像データから画像素材を切り出す（ステップＳ４１０）。なお、受信した画像データをそのまま画像素材として使用してもよい。

サーバ２の制御部２０１（フォトムービー生成部２５）は、画像素材と所定のエフェクトテンプレート２２１を使用し、音響特徴量データ４５（例えば、「楽曲構成」の変化）に応じて画面が変化するフォトムービー（音楽無しフォトムービー）を生成する（ステップＳ４１１）。

フォトムービーの生成方法は第１の実施形態と同様である。すなわち、制御部２０１（フォトムービー生成部２５）は、図１０に示すように、ユーザ端末３から指定された楽曲ＩＤに対応するムービー構成情報２２４が既に記憶部２０２に記憶されているか否かを判定し、記憶部２０２に記憶されていない場合はエフェクト対応テーブル２２３から任意のパターンのエフェクト対応テーブル２２３を使用してフォトムービーを生成する。

また、ユーザ端末３から指定された楽曲ＩＤに対応するムービー構成情報２２４が既に記憶部２０２に記憶されている場合は、制御部２０１は、エフェクト対応テーブル２２３から未使用のパターンのエフェクト対応テーブル２２３を読み出し（ステップＳ３０４）、読み出したパターンのエフェクト対応テーブル２２３に従ってフォトムービーを生成する。

制御部２０１（フォトムービー生成部２５）はフォトムービーを生成すると、生成したフォトムービーのムービー構成情報２２４を楽曲ＩＤと紐づけて記憶部２０２に記憶する。ムービー構成情報２２４は、図１２に示すように、楽曲ＩＤと紐づけて、楽曲構成、時間、適用エフェクト、使用画像枚数、使用画像ファイル名が格納される。また、サーバ２は生成したフォトムービーをユーザ端末３に送信する（ステップＳ４１２）。

ユーザ端末３はサーバ２からフォトムービーを受信すると（ステップＳ４１３）、再生処理を行う。受信したフォトムービーは音楽無しフォトムービーであるため、制御部３０１（再生処理部３５）は、ステップＳ４０１で指定した楽曲の楽曲ＩＤの音源データ４４を音楽配信サーバ４に要求する（ステップＳ４１４）。

音楽配信サーバ４は、ユーザ端末３から楽曲ＩＤの音源データ４４の要求を受信すると（ステップＳ４１５）、要求された楽曲ＩＤの音源データ４４を楽曲データベース４０から読み出し、要求元のユーザ端末３に送信する（ステップＳ４１６）。

ユーザ端末３は、音楽配信サーバ４から音源データ４４を受信すると（ステップＳ４１７）、ユーザ端末３の制御部３０１（再生処理部３５）は、ステップＳ４１３で受信した音楽無しフォトムービーと音源データ４４とを同期させて再生する（ステップＳ４１８）。これにより、楽曲構成の変化に応じて画面が変化するフォトムービーを再生できる。

なお、上述の例は、音楽無しフォトムービーを生成する場合の手順について説明したが、ステップＳ４０６でサーバ２に音楽配信サーバ４に対して音響特徴量データ４５の送信を要求する際に、音源データ４４の送信も要求し、該当の楽曲の音源データ４４を取得すれば、音楽付きフォトムービーを生成することも可能である。サーバ２により音楽付きフォトムービーが生成された場合、ユーザ端末３は音楽付きフォトムービーを受信し、制御部３０１（再生処理部３５）により受信したフォトムービーを復号し再生することで音楽及び映像が同時に再生される。

以上のように、第２の実施形態では、ユーザ端末３が音源データを持たず、サーバ２が音楽配信サーバ４から音響特徴量データ４５を取得してフォトムービーを生成するフォトムービー生成システム１Ａについて説明した。第２の実施形態のフォトムービー生成システム１Ａによれば、サーバ２は音響解析処理を実施せず、既に解析済みの音響特徴量データ４５を音楽配信サーバ４から取得してフォトムービーの生成に使用するため、サーバ２の処理負担が軽減される。また、ユーザ端末３とサーバ２との間で音源データ４４の送受信を行わないため、通信量が少なくなり、通信に要する時間が短縮される。

以上、添付図面を参照して、本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。例えば、音楽配信サーバ４に音響解析部４２や音響特徴量データ４５を持たず、サーバ２が音響解析部４２を備え、音楽配信サーバ４から受信した楽曲について音響解析処理を実施し、各楽曲の音響特徴量データ４５を蓄積記憶しておく構成としてもよい。

また、上述の実施形態では、サーバ２は、主に楽曲構成の変化に応じて表示が変化するフォトムービーを生成する例を示したが、本発明はこれに限定されず、楽曲構成以外の変化、例えば、楽曲のテンポの変化、ビート（拍子）の変化等に応じて表示が変化するフォトムービーを生成してもよい。その他、当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１・・・・・・・・・・フォトムービー生成システム
２・・・・・・・・・・サーバ
３・・・・・・・・・・ユーザ端末
４・・・・・・・・・・音楽配信サーバ
５・・・・・・・・・・ネットワーク
２１・・・・・・・・・音源データ取得部
２２・・・・・・・・・音響解析部
２３・・・・・・・・・画像取得部
２４・・・・・・・・・画像素材生成部
２５・・・・・・・・・フォトムービー生成部
２６・・・・・・・・・音響特徴量データ取得部
３１・・・・・・・・・楽曲指定部
３２・・・・・・・・・画像指定部
３３・・・・・・・・・送信部
３４・・・・・・・・・受信部
３５・・・・・・・・・再生処理部
３６・・・・・・・・・音源データ取得部
４０・・・・・・・・・楽曲データベース
４１・・・・・・・・・送信部
４２・・・・・・・・・音響解析部
４４・・・・・・・・・音源データ
４５・・・・・・・・・音響特徴量データ
６１、６２、６３・・・フォトムービー
２２１・・・・・・・・エフェクトテンプレート
２２２・・・・・・・・一般画像素材
２２３・・・・・・・・エフェクト対応テーブル
２２４・・・・・・・・ムービー構成情報
２０１、３０１・・・・制御部
２０２、３０２・・・・記憶部
２０３、３０３・・・・通信部
３０４・・・・・・・・入力部
３０５・・・・・・・・表示部
３０６・・・・・・・・周辺機器Ｉ／Ｆ部
３０７・・・・・・・・音声処理部

Claims (17)

1. サーバとユーザ端末とがネットワークを介して通信接続されたフォトムービー生成システムであって、
   前記ユーザ端末は、
   フォトムービーに使用する楽曲の指定を受け付け、指定された楽曲の音源データまたは楽曲の識別情報である楽曲ＩＤを前記サーバに送信する楽曲指定手段と、
   前記サーバから送信されたフォトムービーを受信し、再生する再生手段と、を備え、
   前記サーバは、
   前記ユーザ端末において指定された楽曲の音響特徴量データを取得する音響特徴量データ取得手段と、
   前記フォトムービーに使用する画像を取得する画像取得手段と、
   前記画像取得手段により取得した画像を使用し、前記音響特徴量データに基づき楽曲の変化に応じて表示が変化するフォトムービーを生成し、前記ユーザ端末に送信するフォトムービー生成手段と、
   を備えることを特徴とするフォトムービー生成システム。
2. 前記サーバは、
   前記フォトムービーを構成する情報であるムービー構成情報を前記楽曲ＩＤに紐づけて記憶する記憶手段を備え、
   前記フォトムービー生成手段は、指定された楽曲ＩＤに紐づけて記憶されたムービー構成情報を参照し、前記記憶手段に記憶されているムービー構成情報と異なる構成のフォトムービーを生成することを特徴とする請求項１に記載のフォトムービー生成システム。
3. 前記サーバの記憶手段は、前記楽曲の音響特徴量データを前記楽曲ＩＤと紐づけて記憶し、
   前記音響特徴量データ取得手段は、前記記憶手段に記憶されている音響特徴量データを取得することを特徴とする請求項２に記載のフォトムービー生成装置。
4. 前記サーバの音響特徴量データ取得手段は、
   前記ユーザ端末において指定された楽曲の音響特徴量データをネットワークを介して通信接続された音楽配信サーバから取得することを特徴とする請求項１または請求項２に記載のフォトムービー生成システム。
5. 前記サーバは、楽曲の音響解析処理を行って音響特徴量データを得る音響解析手段を更に備え、
   前記音響特徴量データ取得手段は、前記音響解析手段により得た音響特徴量データを取得することを特徴とする請求項１または請求項２に記載のフォトムービー生成システム。
6. 前記サーバは、前記楽曲の音源データをネットワークを介して通信接続された音楽配信サーバから取得することを特徴とする請求項５に記載のフォトムービー生成システム。
7. 前記サーバは、前記楽曲の音源データを前記ユーザ端末から取得することを特徴とする請求項５に記載のフォトムービー生成システム。
8. 前記サーバのフォトムービー生成手段は、前記フォトムービーを音源を付加せずに生成し、前記楽曲の楽曲ＩＤと紐づけて出力し、
   前記ユーザ端末の再生手段は、前記フォトムービーに紐づけられた楽曲ＩＤに対応する楽曲の音源データを取得し、取得した音源データと前記フォトムービーとを同期して再生する
   ことを特徴とする請求項１から請求項７のいずれかに記載のフォトムービー生成システム。
9. 前記サーバは、
   前記画像取得手段により取得した画像から画像素材を生成する画像素材生成手段を更に備え、
   前記フォトムービー生成手段は、前記画像素材生成手段により生成された画像素材を使用して前記フォトムービーを生成することを特徴とする請求項１から請求項８のいずれかに記載のフォトムービー生成システム。
10. 前記ユーザ端末は、前記フォトムービーに使用する画像を前記サーバに送信する画像送信手段を更に備え、
    前記サーバの画像取得手段は、前記ユーザ端末から送信された画像を受信することを特徴とする請求項１から請求項９のいずれかに記載のフォトムービー生成システム。
11. 画像を取得する画像取得手段と、
    楽曲の音響特徴量データを取得する音響特徴量データ取得手段と、
    前記画像取得手段により取得した画像を使用し、前記音響特徴量データに基づき楽曲の変化に応じて表示が変化するフォトムービーを生成するフォトムービー生成手段と、
    を備えることを特徴とするフォトムービー生成装置。
12. 画像を取得する画像取得手段と、
    楽曲の音源データを取得する音源データ取得手段と、
    前記音源データを解析して音響特徴量データを取得する音響解析手段と、
    前記画像取得手段により取得した画像を使用し、前記音響特徴量データに基づき楽曲の変化に応じて表示が変化するフォトムービーを生成するフォトムービー生成手段と、
    を備えることを特徴とするフォトムービー生成装置。
13. サーバとネットワークを介して通信接続可能なユーザ端末であって、
    楽曲の指定を受け付け、指定された楽曲の音源データまたは楽曲の識別情報である楽曲ＩＤを前記サーバに送信する楽曲指定手段と、
    前記サーバから送信された、前記楽曲の変化に応じて表示が変化するフォトムービーを受信し、再生する再生手段と、
    を備えることを特徴とするユーザ端末。
14. サーバとユーザ端末とがネットワークを介して通信接続されたフォトムービー生成システムにおけるフォトムービー生成方法であって、
    前記ユーザ端末が、フォトムービーに使用する楽曲の指定を受け付け、指定された楽曲の音源データまたは楽曲の識別情報である楽曲ＩＤを前記サーバに送信するステップと、
    前記サーバが、画像を取得するステップと、
    前記サーバが、前記ユーザ端末において指定された楽曲の音響特徴量データを取得するステップと、
    前記サーバが、前記画像を使用し、前記音響特徴量データに基づき楽曲の変化に応じて表示が変化するフォトムービーを生成し、前記ユーザ端末に送信するステップと、
    前記ユーザ端末が、前記サーバから送信されたフォトムービーを受信し、再生するステップと、
    を含むことを特徴とするフォトムービー生成方法。
15. コンピュータを、
    画像を取得する画像取得手段、
    楽曲の音響特徴量データを取得する音響特徴量データ取得手段、
    前記画像取得手段により取得した画像を使用し、前記音響特徴量データに基づき楽曲の変化に応じて表示が変化するフォトムービーを生成するフォトムービー生成手段、
    として機能させるためのプログラム。
16. コンピュータを、
    画像を取得する画像取得手段、
    楽曲の音源データを取得する音源データ取得手段、
    前記音源データを解析して音響特徴量データを取得する音響解析手段、
    前記画像取得手段により取得した画像を使用し、前記音響特徴量データに基づき楽曲の変化に応じて表示が変化するフォトムービーを生成するフォトムービー生成手段、
    として機能させるためのプログラム。
17. サーバとネットワークを介して通信接続可能なコンピュータを、
    楽曲の指定を受け付け、指定された楽曲の音源データまたは楽曲の識別情報である楽曲ＩＤを前記サーバに送信する楽曲指定手段、
    前記サーバから送信された、前記楽曲の変化に応じて表示が変化するフォトムービーを受信し、再生する再生手段、
    として機能させるためのプログラム。

Images