JP2005033554A - 画像再生システム及び画像再生プログラム、並びに画像再生方法 - Google Patents
画像再生システム及び画像再生プログラム、並びに画像再生方法 Download PDFInfo
- Publication number
- JP2005033554A JP2005033554A JP2003196679A JP2003196679A JP2005033554A JP 2005033554 A JP2005033554 A JP 2005033554A JP 2003196679 A JP2003196679 A JP 2003196679A JP 2003196679 A JP2003196679 A JP 2003196679A JP 2005033554 A JP2005033554 A JP 2005033554A
- Authority
- JP
- Japan
- Prior art keywords
- music
- image
- feature
- reproduction
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
【課題】利用者に負担をかけることなく簡易に扱え、演出効果を向上するのに好適な画像の再生を自動生成する画像再生システムを提供する。
【解決手段】音楽データに基づいて音楽のなかから音楽特徴点を検出し、画像データに基づいて各画像ごとにその特徴ベクトルを生成し、生成した特徴ベクトルに基づいて各画像の再生順序を示す再生スケジュールを作成する。そして、検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、再生スケジュールに従って複数の画像を音楽の再生に合わせて再生する。
【選択図】 図1
【解決手段】音楽データに基づいて音楽のなかから音楽特徴点を検出し、画像データに基づいて各画像ごとにその特徴ベクトルを生成し、生成した特徴ベクトルに基づいて各画像の再生順序を示す再生スケジュールを作成する。そして、検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、再生スケジュールに従って複数の画像を音楽の再生に合わせて再生する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、複数の画像を音楽の再生に合わせて再生するシステムおよびプログラム、並びに方法に係り、特に、利用者に負担をかけることなく簡易に扱え、演出効果を向上するのに好適な画像の再生を自動生成する画像再生システムおよび画像再生プログラム、並びに画像再生方法に関する。
【0002】
【従来の技術】
デジタルカメラ・デジタルビデオが広く普及し気軽に撮影する機会が増えたことに併せて記憶メディアの大容量化が進んだことで、ユーザは、大量の画像を保持するようになった。大量の画像を閲覧する場合には、スライドショーなどの順次再生するといった方法を利用することができる。
【0003】
従来、画像を順次再生する技術としては、例えば、特許文献1に開示されている画像データ逐次表示装置、および特許文献2に開示されているデジタルカメラがあった。
特許文献1記載の発明は、画像特徴量抽出部、類似度計算部、スライド条件設定部およびソート画像逐次表示部を有して構成されている。画像特徴量抽出部は、各画像データの画像特徴量を抽出する。類似度計算部は、キー画像データの画像特徴量とキー画像データ以外の各画像データ(検索対象画像データ)の画像特徴量との比較結果に基づき、各画像データのキー画像データに対する類似性の尺度となる類似度を計算する。ソート画像逐次表示部は、スライド条件設定部より得られるスライド条件設定値の類似度変化関数情報に基づき、キー画像データを起点として、類似度別画像ソート部より得られる類似度別ソート結果または類似度変化関数に沿って画像データを逐次表示してスライドショーを実行する。
【0004】
特許文献2記載の発明は、画像を再生する機能と、音楽を再生する機能とを有するデジタルカメラであって、複数の単位画像を順次再生するときの単位画像枚数、および各単位画像の再生時間に基づいて定められる、複数の単位画像を再生するのに要する画像再生時間と、画像とともに再生する音楽の再生に要する音楽再生時間とが一致した音楽付画像を再生する。
【0005】
【特許文献1】
特開2000−67057号公報
【特許文献2】
特開2001−339682号公報
【0006】
【発明が解決しようとする課題】
このように、特許文献1記載の発明にあっては、画像の類似度を考慮してスライドショーを実行する構成となっている。しかしながら、音楽の再生に合わせて画像を再生することで、演出効果の高い再生を実現しようとした場合、画像の再生に合わせて音楽を単にBGMとして流すだけでは、十分な演出効果が得られない。
【0007】
この点を解決したのが特許文献2記載の発明であり、画像再生時間と音楽再生時間とが一致するように画像を再生する構成となっているため、画像と音楽の再生時間が違和感なく一致し、ある程度の演出効果が期待できる。しかしながら、画像再生時間と音楽再生時間とが一致させるというだけでは、再生中において画像の切換タイミングと音楽の進行とが不一致となる場合があり、演出効果が不十分であるという問題があった。
【0008】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、利用者に負担をかけることなく簡易に扱え、演出効果を向上するのに好適な画像の再生を自動生成する画像再生システムおよび画像再生プログラム、並びに画像再生方法を提供することを目的としている。
【0009】
【課題を解決するための手段】
〔発明1〕
上記目的を達成するために、発明1の画像再生システムは、
複数の画像を音楽の再生に合わせて再生するシステムであって、
前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出し、前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成し、生成した特徴ベクトルに基づいて前記各画像の再生順序を決定し、前記検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生するようになっていることを特徴とする。
【0010】
このような構成であれば、音楽のなかから音楽特徴点が検出される。一方、各画像ごとにその画像の特徴ベクトルが生成され、生成された特徴ベクトルに基づいて各画像の再生順序が決定される。そして、検出された音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、決定された再生順序に従って、複数の画像が音楽の再生に合わせて再生される。
【0011】
これにより、音楽のなかの音楽特徴点の出現タイミングと画像の切換タイミングとを一致させて画像を再生することができるとともに、画像の特徴を考慮して画像を再生することができるので、従来に比して、比較的高い演出効果が期待できるという効果が得られる。
ここで、音楽特徴点とは、音楽的な特徴を示す特徴点をいい、これには、例えば、各小節の区切、複数小節単位での区切、音楽のなかでドラム等の特徴音が出現する時点、または音楽のなかで無音となる時点が含まれる。以下、発明2の画像再生システム、発明6の画像再生プログラム、および発明7の画像再生方法において同じである。
【0012】
また、音楽特徴点の検出は、どのように行ってもよく、例えば、音楽データに基づいて音楽特徴点を検出するようになっていてもよいし、楽譜をスキャナ等で取り込んで得た画像データに基づいて音楽特徴点を検出するようになっていてもよい。
また、特徴ベクトルの生成は、どのように行ってもよく、例えば、画像データに基づいて特徴ベクトルを生成するようになっていてもよいし、画像の特徴を記述した文書データに基づいて特徴ベクトルを生成するようになっていてもよい。
【0013】
また、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。以下、発明2の画像再生システムにおいて同じである。
〔発明2〕
さらに、発明2の画像再生システムは、
複数の画像を音楽の再生に合わせて再生するシステムであって、
前記音楽の音楽データを記憶するための音楽データ記憶手段と、前記各画像ごとに当該画像の画像データを記憶するための画像データ記憶手段と、前記音楽データ記憶手段の音楽データに基づいて前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出する音楽特徴点検出手段と、前記画像データ記憶手段の画像データに基づいて前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段と、前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記各画像の再生順序を決定する再生順序決定手段と、前記音楽特徴点検出手段で検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように前記再生順序決定手段で決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生する画像再生手段とを備えることを特徴とする。
【0014】
このような構成であれば、音楽特徴点検出手段により、音楽データ記憶手段の音楽データに基づいて音楽のなかから音楽特徴点が検出される。一方、特徴ベクトル生成手段により、画像データ記憶手段の画像データに基づいて各画像ごとにその画像の特徴ベクトルが生成され、再生順序決定手段により、生成された特徴ベクトルに基づいて各画像の再生順序が決定される。そして、画像再生手段により、検出された音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、決定された再生順序に従って、複数の画像が音楽の再生に合わせて再生される。
【0015】
これにより、音楽のなかの音楽特徴点の出現タイミングと画像の切換タイミングとを一致させて画像を再生することができるとともに、画像の特徴を考慮して画像を再生することができるので、従来に比して、比較的高い演出効果が期待できるという効果が得られる。
ここで、音楽データ記憶手段は、音楽データをあらゆる手段でかつあらゆる時期に記憶するものであり、音楽データをあらかじめ記憶してあるものであってもよいし、音楽データをあらかじめ記憶することなく、本システムの動作時に外部からの入力等によって音楽データを記憶するようになっていてもよい。このことは、画像データ記憶手段に画像データを記憶する場合についても同じである。
〔発明3〕
さらに、発明3の画像再生システムは、発明2の画像再生システムにおいて、前記再生順序決定手段は、前記特徴ベクトル同士のベクトル間距離に基づいて前記各画像を複数のグループに分類し、異なるグループの画像が順次再生されるように前記再生順序を決定するようになっていることを特徴とする。
【0016】
このような構成であれば、再生順序決定手段により、特徴ベクトル同士のベクトル間距離に基づいて各画像が複数のグループに分類され、異なるグループの画像が順次再生されるように再生順序が決定される。
これにより、異なるグループの画像が順次再生されるので、利用者に対して視覚的に大きな変化を与えることができる。したがって、さらに高い演出効果が期待できるという効果が得られる。
〔発明4〕
さらに、発明4の画像再生システムは、発明3の画像再生システムにおいて、前記再生順序決定手段は、前記各グループ間のベクトル間距離を算出し、前記音楽特徴点の出現タイミング前後で特徴差に基づいて、画像のベクトル間距離を考慮して画像が順次再生されるように前記再生順序を決定するようになっていることを特徴とする。
【0017】
このような構成であれば、再生順序決定手段により、各グループ間のベクトル間距離が算出され、音楽特徴点の出現タイミング前後で特徴差に基づいて、画像のベクトル間距離を考慮して画像が順次再生されるように再生順序が決定される。
〔発明5〕
さらに、発明5の画像再生システムは、発明2ないし4のいずれかの画像再生システムにおいて、
前記音楽特徴点検出手段は、前記音楽データ記憶手段の音楽データに基づいて前記音楽のなかから特徴音を検出し、検出した特徴音の出現パターンを解析し、その解析結果に基づいて複数小節単位での区切を前記音楽特徴点として検出するようになっていることを特徴とする。
【0018】
このような構成であれば、音楽特徴点検出手段により、音楽データ記憶手段の音楽データに基づいて音楽のなかから特徴音が検出され、検出された特徴音の出現パターンが解析され、その解析結果に基づいて複数小節単位での区切が音楽特徴点として検出される。
単に特徴音の出現時点を音楽特徴点として検出した場合、例えば、各小節ごとの区切で画像が切り替わってしまう可能性があり、その場合は、画像をゆっくりと閲覧することができない。これに対し、本発明では、複数小節単位での区切が音楽特徴点として検出されるので、画像をゆっくりと閲覧することができるという効果が得られる。
〔発明6〕
一方、上記目的を達成するために、発明6の画像再生プログラムは、
複数の画像を音楽の再生に合わせて再生するプログラムであって、
前記音楽の音楽データを記憶するための音楽データ記憶手段と、前記各画像ごとに当該画像の画像データを記憶するための画像データ記憶手段とを利用可能なコンピュータに対して、
前記音楽データ記憶手段の音楽データに基づいて前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出する音楽特徴点検出手段、前記画像データ記憶手段の画像データに基づいて前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段、前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記各画像の再生順序を決定する再生順序決定手段、および前記音楽特徴点検出手段で検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように前記再生順序決定手段で決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生する画像再生手段として実現される処理を実行させるためのプログラムであることを特徴とする。
【0019】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明1の画像再生システムと同等の作用および効果が得られる。
〔発明7〕
一方、上記目的を達成するために、発明7の画像再生方法は、
複数の画像を音楽の再生に合わせて再生する方法であって、
音楽データ記憶手段の音楽データに基づいて前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出する音楽特徴点検出ステップと、画像データ記憶手段の画像データに基づいて前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成ステップと、前記特徴ベクトル生成ステップで生成した特徴ベクトルに基づいて前記各画像の再生順序を決定する再生順序決定ステップと、前記音楽特徴点検出ステップで検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように前記再生順序決定ステップで決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生する画像再生ステップとを含むことを特徴とする。
【0020】
これにより、発明1の画像再生システムと同等の効果が得られる。
【0021】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。図1ないし図8は、本発明に係る画像再生システムおよび画像再生プログラム、並びに画像再生方法の実施の形態を示す図である。
本実施の形態は、本発明に係る画像再生システムおよび画像再生プログラム、並びに画像再生方法を、図1に示すように、音楽の再生に合わせて画像のスライドショーを実行する場合について適用したものである。
【0022】
次に、本発明に係る画像再生装置100の構成を図1を参照しながら説明する。
図1は、本発明に係る画像再生装置100の構成を示す機能ブロック図である。
画像再生装置100は、図1に示すように、音楽データを登録した音楽データ登録データベース(以下、データベースのことを単にDBと略記する。)10と、複数の画像のそれぞれについてその画像データを登録した画像データ登録DB12と、音楽データ登録DB10のなかから再生対象となる音楽データを指定する音楽指定部14と、画像データ登録DB12のなかから再生対象となる画像データ群を指定する画像指定部16とを有して構成されている。さらに、音楽指定部14で指定された音楽データを解析する音楽解析部18と、画像指定部16で指定された画像データを解析する画像解析部20と、音楽解析部18および画像解析部20の解析結果に基づいて再生スケジュールを作成する再生スケジュール作成部22と、再生スケジュール作成部22で作成した再生スケジュールに従って複数の画像を音楽の再生に合わせて再生する画像再生部24とを有して構成されている。
【0023】
音楽解析部18は、音楽指定部14で指定された音楽データに基づいて、音楽のなかから音楽的な特徴を示す音楽特徴点を検出する。
画像解析部20は、画像指定部16で指定された画像データに基づいて、各画像ごとにその画像の特徴を示す特徴ベクトルを生成する。
再生スケジュール作成部22は、画像解析部20で生成した特徴ベクトルに基づいて、各画像の再生順序を示す再生スケジュールを作成する。
【0024】
画像再生部24は、音楽解析部18で検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、再生スケジュール作成部22で作成した再生スケジュールに従って、複数の画像を音楽の再生に合わせて再生する。
具体的に、画像再生装置100は、図2に示すように、コンピュータ200およびこれに実行させるプログラムとして実現することができる。コンピュータ200の構成を図2を参照しながら説明する。
【0025】
図2は、コンピュータ200の構成を示すブロック図である。
コンピュータ200は、図2に示すように、制御プログラムに基づいて演算およびシステム全体を制御するCPU50と、所定領域にあらかじめCPU50の制御プログラム等を格納しているROM52と、ROM52等から読み出したデータやCPU50の演算過程で必要な演算結果を格納するためのRAM54と、外部装置に対してデータの入出力を媒介するI/F58とで構成されており、これらは、データを転送するための信号線であるバス59で相互にかつデータ授受可能に接続されている。
【0026】
I/F58には、外部装置として、音楽データ登録DB10と、画像データ登録DB12と、ヒューマンインターフェースとしてデータの入力が可能なキーボードやマウス等からなる入力装置60と、画像信号に基づいて画面を表示する表示装置62と、音声信号に基づいて音声や音楽を出力する音声出力装置64とが接続されている。
【0027】
CPU50は、マイクロプロセッシングユニット(MPU)等からなり、ROM52の所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図3のフローチャートに示すスライドショー実行処理を実行するようになっている。
図3は、スライドショー実行処理を示すフローチャートである。
【0028】
スライドショー実行処理は、入力装置60から実行要求の入力を受けて実行される処理であって、CPU50において実行されると、図3に示すように、まず、ステップS100に移行するようになっている。
ステップS100では、音楽データ登録DB10のなかから再生対象となる音楽データを指定し、ステップS102に移行して、画像データ登録DB12のなかから再生対象となる画像データ群を指定する。これら指定は、入力装置60からの入力により行う。
【0029】
次いで、ステップS104に移行して、ステップS100で指定された音楽データ(以下、指定音楽データという。)を解析する音楽解析処理を実行し、ステップS106に移行して、ステップS102で指定された画像データ(以下、指定画像データという。)を解析する画像解析処理を実行し、ステップS108に移行する。
【0030】
ステップS108では、ステップS104,S106の解析結果に基づいて再生スケジュールを作成する再生スケジュール作成処理を実行し、ステップS110に移行して、作成した再生スケジュールに従って複数の画像を音楽の再生に合わせて再生し、一連の処理を終了して元の処理に復帰させる。
次に、ステップS104の音楽解析処理を図4を参照しながら詳細に説明する。
【0031】
図4は、音楽解析処理を示すフローチャートである。
音楽解析処理は、ステップS104において実行されると、図4に示すように、まず、ステップS200に移行するようになっている。
ステップS200では、指定音楽データを音楽データ登録DB10から読み出し、ステップS202に移行して、読み出した音楽データに基づいて音楽のなかからドラム等の特徴音を検出し、ステップS204に移行して、音楽の終端まで解析が完了したか否かを判定し、解析が完了したと判定したとき(Yes)は、ステップS206に移行する。
【0032】
ステップS206では、検出した特徴音の出現パターンを解析し、ステップS208に移行して、ステップS206の解析結果に基づいて複数小節単位(例えば、4小節単位)での区切を音楽特徴点として検出し、ステップS210に移行して、検出した音楽特徴点を示す音楽特徴情報を指定音楽データと対応付けて音楽データ登録DB10に登録し、一連の処理を終了して元の処理に復帰させる。
【0033】
一方、ステップS204で、音楽の終端まで解析が完了しないと判定したとき(No)は、ステップS202に移行する。
次に、ステップS106の画像解析処理を図5を参照しながら詳細に説明する。
図5は、画像解析処理を示すフローチャートである。
【0034】
画像解析処理は、ステップS106において実行されると、図5に示すように、まず、ステップS300に移行するようになっている。
ステップS300では、指定画像データ群のうち先頭のものを画像データ登録DB12から読み出し、ステップS302に移行して、読み出した画像データに基づいて画像サイズを所定サイズ(例えば、640×480)に正規化し、ステップS304に移行する。
【0035】
ステップS304では、正規化した画像から画像特徴量を抽出する。画像特徴量としては、「構図」を考慮した色彩に関する特徴量を用いる。色彩特徴量を抽出する手法としては、例えば、「特徴量を統合し人の感性に近づけた画像検索システム」信学技報PRMU97−261,pp.75−80.1998で扱われている手法を利用することができる。これは、基本的な写真・絵画の構図を参考にした構図テンプレートを用いることで最適な構図情報を抽出し、その構図の小領域ごとの色彩情報を算出することで画像の特徴量化を実現している。
【0036】
次いで、ステップS306に移行して、抽出した画像特徴量に基づいて特徴ベクトルを生成する。例えば、上記の特徴量抽出手法を用いて表現するならば、特徴ベクトルIは、下式(1)に示すように、j領域×3構成色からなる3j個の要素のほか、各構図テンプレートの分散値v0〜vlのl個の要素を加えた合計で(3j+l)個の要素から構成されている。
I=(r0,g0,b0,r1,g1,b1,…,rj−1,gj−1,bj−1,v0,v1,…,vl) …(1)
上式(1)において、r0〜rj−1は各分割領域の平均色のうちR成分を示し、g0〜gj−1は各分割領域の平均色のうちG成分を示し、b0〜bj−1は各分割領域の平均色のうちB成分を示し、v0〜vlは各構図テンプレートの分散値を示している。ただし、v0〜vlは、最適テンプレートの分散値のみを使用し、他の値については「0」とする。
【0037】
次いで、ステップS308に移行して、生成した特徴ベクトルを示す画像特徴情報を指定画像データと対応付けて画像データ登録DB12に登録し、ステップS310に移行して、すべての指定画像データについてステップS302〜S308の処理が終了したか否かを判定し、すべての指定画像データについて処理が終了したと判定したとき(Yes)は、一連の処理を終了して元の処理に復帰させる。
【0038】
一方、ステップS310で、すべての指定画像データについてステップS302〜S308の処理が終了していないと判定したとき(No)は、ステップS312に移行して、指定画像データ群のうち次のものを画像データ登録DB12から読み出し、ステップS302に移行する。
次に、ステップS108の再生スケジュール作成処理を図6を参照しながら詳細に説明する。
【0039】
図6は、再生スケジュール作成処理を示すフローチャートである。
再生スケジュール作成処理は、ステップS108において実行されると、図6に示すように、まず、ステップS400に移行するようになっている。
ステップS400では、指定画像データ群に対応するすべての画像特徴情報を画像データ登録DB12から読み出し、ステップS402に移行する。
【0040】
ステップS402では、読み出した画像特徴情報に基づいて、特徴ベクトルI同士のベクトル間距離に基づいて各画像を複数のクラスタにクラスタリングする。クラスタリングは、例えば、従来のK−平均法に基づいて行うことができる。K−平均法では、第1の処理として、K個の特徴ベクトルIを適当に選択し、選択した特徴ベクトルIk(k=1〜K)をそれぞれクラスタkの中心位置とする。クラスタkの中心位置をmkとする。次いで、第2の処理として、下式(2)により、特徴ベクトルIi(i=1〜N、Nは画像の総数)とクラスタkの中心位置mkとのベクトル間距離を算出し、算出したベクトル間距離が最小となるクラスタkに特徴ベクトルIiを属させる。下式(2)は、特徴ベクトルIAと特徴ベクトルIBとのベクトル間距離を算出している。
S=|IA−IB| …(2)
次いで、第3の処理として、クラスタkの中心位置mkをクラスタkに属している特徴ベクトルIiの平均値で置き換える。次いで、第4の処理として、i<Nの場合、iに「1」を加算して第2の処理および第3の処理を行う。そして、第5の処理として、第3の処理で変更前後のmkに変化があるときは、i=1として第2の処理および第3の処理を行う。第3の処理で変更前後のmkに変化がないとき、または一定回数以上繰り返し処理を行ったときは、処理を終了し、クラスタkの中心位置mkおよびこれに属する特徴ベクトルIiが決定する。
【0041】
図7は、n個の特徴ベクトルIを4つのクラスタA〜Dにクラスタリングした場合を示す図である。
図7の例では、クラスタAには8個の画像が、クラスタBには6個の画像が、クラスタCには4個の画像が、クラスタDには11個の画像がそれぞれクラスタリングされている。
【0042】
次いで、ステップS404に移行して、指定音楽データに対応する音楽特徴情報を音楽データ登録DB10から読み出し、ステップS406に移行して、読み出した音楽特徴情報およびステップS402のクラスタリング結果に基づいて再生スケジュールを作成する。
図8は、再生スケジュールを作成する場合を説明するための図である。
【0043】
再生スケジュールは、図8に示すように、複数小節単位での区切として検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように各画像を再生時間軸上に配置することにより作成する。このとき、音楽特徴点の出現タイミング前後で特徴差に基づいて(例えば音量差)、画像のベクトル間距離を考慮して画像が順次再生されるように各画像を再生時間軸に配置する。
【0044】
例えば、音楽特徴点の出現タイミングの前後で音量の差が大きい場合などは、再生時間軸上で隣接する画像としてはクラスタ間距離が大きいクラスタの画像を選択する。図7のように、クラスタAからみてクラスタDのクラスタ間距離が最も大きいので、クラスタAの画像の次にクラスタDの画像が再生されるように再生スケジュールを作成する。これにより、利用者に対して視覚的および聴覚的に大きな変化を与えることができるので、高い演出効果が期待できる。
【0045】
また、画像の切換効果についても決定する。ベクトル間距離が小さいクラスタの画像や同一のクラスタの画像を連続して再生する場合は、切換前の画像を徐々に暗く(フェードアウト)していきながら切換後の画像を徐々に明るく(フェードイン)して画像の切換を行う。これに対して、ベクトル間距離が大きいクラスタの画像を連続して再生する場合は、フラッシュ(発光)を入れ瞬間的に画像を切り換える。このように演出効果に違いを出すことにより、画像再生にメリハリを与えることができるので、より高い演出効果が期待できる。
【0046】
次いで、再生スケジュールを作成すると、一連の処理を終了して元の処理に復帰させる。
次に、本実施の形態の動作を説明する。
画像のスライドショーを実行する場合、利用者は、実行要求を入力し、ステップS100,S102を経て、音楽データ登録DB10のなかから再生対象となる音楽データを指定し、画像データ登録DB12のなかから再生対象となる画像データ群を指定する。
【0047】
再生対象となる音楽データおよび画像データ群が指定されると、ステップS200,S202を経て、指定音楽データが音楽データ登録DB10から読み出され、読み出された音楽データに基づいて、音楽のなかからドラム等の特徴音が検出される。特徴音の検出は、音楽の終端まで繰り返し行われる。次いで、ステップS206,S208を経て、検出された特徴音の出現パターンが解析され、その解析結果に基づいて複数小節単位での区切が音楽特徴点として検出される。そして、ステップS210を経て、検出された音楽特徴点を示す音楽特徴情報が指定音楽データと対応付けられて音楽データ登録DB10に登録される。
【0048】
一方、ステップS300〜S304を経て、指定画像データ群のうち先頭のものが画像データ登録DB12から読み出され、読み出された画像データに基づいて画像サイズが正規化され、構図テンプレートを用いて、正規化された画像から画像特徴量が抽出される。次いで、ステップS306,S308を経て、抽出された画像特徴量に基づいて特徴ベクトルが生成され、生成された特徴ベクトルを示す画像特徴情報が指定画像データと対応付けられて画像データ登録DB12に登録される。このような処理は、すべての指定画像データについて行われる。
【0049】
音楽特徴情報および画像特徴情報が登録されると、ステップS400,S402を経て、指定画像データ群に対応するすべての画像特徴情報が画像データ登録DB12から読み出され、読み出された画像特徴情報に基づいて、特徴ベクトルI同士のベクトル間距離に基づいて各画像が複数のクラスタにクラスタリングされる。そして、ステップS404,S406を経て、指定音楽データに対応する音楽特徴情報が音楽データ登録DB10から読み出され、読み出された音楽特徴情報およびクラスタリング結果に基づいて再生スケジュールが作成される。再生スケジュールは、複数小節単位での区切として検出された音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように各画像が再生時間軸上に配置されることにより作成される。
【0050】
再生スケジュールが作成されると、ステップS110を経て、作成された再生スケジュールに従って複数の画像が音楽の再生に合わせて再生される。その結果、複数小節単位での区切として検出された音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように各画像が順次再生される。ここで、画像の再生は表示装置62で行われ、音楽の再生は音声出力装置64で行われる。
【0051】
このようにして、本実施の形態では、音楽データに基づいて音楽のなかから音楽特徴点を検出し、画像データに基づいて各画像ごとにその特徴ベクトルを生成し、生成した特徴ベクトルに基づいて各画像の再生順序を示す再生スケジュールを作成し、検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように再生スケジュールに従って複数の画像を音楽の再生に合わせて再生するようになっている。
【0052】
これにより、音楽のなかの音楽特徴点の出現タイミングと画像の切換タイミングとを一致させて画像を再生することができるとともに、画像の特徴を考慮して画像を再生することができるので、従来に比して、比較的高い演出効果が期待できる。
さらに、本実施の形態では、特徴ベクトル同士のベクトル間距離に基づいて各画像を複数のグループにクラスタリングし、異なるグループの画像が順次再生されるように再生スケジュールを作成するようになっている。
【0053】
これにより、異なるグループの画像が順次再生されるので、利用者に対して視覚的に大きな変化を与えることができる。したがって、さらに高い演出効果が期待できる。
さらに、本実施の形態では、音楽データに基づいて音楽のなかから特徴音を検出し、検出した特徴音の出現パターンを解析し、その解析結果に基づいて複数小節単位での区切を音楽特徴点として検出するようになっている。
【0054】
単に特徴音の出現時点を音楽特徴点として検出した場合、例えば、各小節ごとの区切で画像が切り替わってしまう可能性があり、その場合は、画像をゆっくりと閲覧することができない。これに対し、本実施の形態では、複数小節単位での区切が音楽特徴点として検出されるので、画像をゆっくりと閲覧することができる。
【0055】
上記実施の形態において、音楽データ登録DB10は、発明2、5ないし7の音楽データ記憶手段に対応し、画像データ登録DB12は、発明2、6または7の画像データ記憶手段に対応し、音楽解析部18およびステップS104は、発明2、5若しくは6の音楽特徴点検出手段、または発明7の音楽特徴点検出ステップに対応している。また、画像解析部20およびステップS106は、発明2若しくは6の特徴ベクトル生成手段、または発明7の特徴ベクトル生成ステップに対応し、再生スケジュール作成部22およびステップS108は、発明2ないし4若しくは6の再生順序決定手段、または発明7の再生順序決定ステップに対応している。
【0056】
また、上記実施の形態において、画像再生部24およびステップS110は、発明2若しくは6の画像再生手段、または発明7の画像再生ステップに対応している。
なお、上記実施の形態においては、複数の画像を音楽の再生に合わせて再生するように構成したが、これに限らず、複数の音楽を画像の再生に合わせて再生するように構成することもできる。この場合、音楽データと画像データの取り扱いを逆にして上記実施の形態と同様に行うことができる。
【0057】
音楽のクラスタリング手法としては、例えば、「曲の局所パターン特徴量を用いた類似曲検索・感性語による検索」信学技報SP96−124,pp.17−24,1997で扱われている手法を利用することができる。これは、楽曲の旋律に含まれる音の高さ(以下、音高という。)および音の長さ(以下、音長という。)の局所パターンの相対出現頻度分布を音楽の特徴量ベクトルとして用いる。抽出した音楽特徴量に基づいて複数の音楽をステップS402の処理と同じ要領で複数のクラスタにクラスタリングすることができる。
【0058】
また、画像の再生については、単一の画像を固定的に表示しながら複数の音楽を順次再生するように構成してもよいし、上記実施の形態と同様に、複数の画像を順次表示しながら複数の音楽を順次再生するように構成してもよいし、動画像を表示しながら複数の音楽を順次再生するように構成してもよい。複数の画像または動画像を表示する場合は、単一の画像を固定的に表示する場合よりも高い演出効果が期待できる。
【0059】
より具体的な構成として、複数の画像または動画像を表示する場合は、画像の再生時間軸上において画像的な特徴を示す画像特徴点を検出し、各音楽ごとにその音楽の特徴を示す特徴ベクトルを生成し、生成した特徴ベクトルに基づいて各音楽の再生順序を決定し、検出した画像特徴点の出現タイミングと音楽の切換タイミングとが一致するように、決定した再生順序に従って複数の音楽を画像の再生に合わせて再生する。画像特徴点としては、例えば、切換前後における画像が非類似である点を画像特徴点とすることができる。
【0060】
また、上記実施の形態において、図3、図4、図5および図6のフローチャートに示す処理を実行するにあたってはいずれも、ROM52にあらかじめ格納されている制御プログラムを実行する場合について説明したが、これに限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをRAM54に読み込んで実行するようにしてもよい。
【0061】
ここで、記憶媒体とは、RAM、ROM等の半導体記憶媒体、FD、HD等の磁気記憶型記憶媒体、CD、CDV、LD、DVD等の光学的読取方式記憶媒体、MO等の磁気記憶型/光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
【0062】
また、上記実施の形態においては、本発明に係る画像再生システムおよび画像再生プログラム、並びに画像再生方法を、図1に示すように、音楽の再生に合わせて画像のスライドショーを実行する場合について適用したが、これに限らず、本発明の主旨を逸脱しない範囲で他の場合にも適用可能である。例えば、画像を分類する場合について適用することができる。例えば、次の応用例を提案することができる。
【0063】
第1に、デジタルカメラの画像スライドショーや、HDDを内蔵した高精細液晶ディスプレイの電子写真立ての利用として、部屋のインテリアや装飾品などといった適用ができる。
第2に、時刻を同時に表示することで絵柄付きの置き時計として適用することができる。
【0064】
第3に、スライドショウ形式のスクリーンセーバとして適用することができる。
【図面の簡単な説明】
【図1】本発明に係る画像再生装置100の構成を示す機能ブロック図である。
【図2】コンピュータ200の構成を示すブロック図である。
【図3】スライドショー実行処理を示すフローチャートである。
【図4】音楽解析処理を示すフローチャートである。
【図5】画像解析処理を示すフローチャートである。
【図6】再生スケジュール作成処理を示すフローチャートである。
【図7】n個の特徴ベクトルIを4つのクラスタA〜Dにクラスタリングした場合を示す図である。
【図8】再生スケジュールを作成する場合を説明するための図である。
【符号の説明】
100…画像再生装置,10…音楽データ登録DB,12…画像データ登録DB,14…音楽指定部,16…画像指定部,18…音楽解析部,20…画像解析部,22…再生スケジュール作成部,24…画像再生部,200…コンピュータ,50…CPU,52…ROM,54…RAM,58…I/F,60…入力装置,62…表示装置,64…音声出力装置
【発明の属する技術分野】
本発明は、複数の画像を音楽の再生に合わせて再生するシステムおよびプログラム、並びに方法に係り、特に、利用者に負担をかけることなく簡易に扱え、演出効果を向上するのに好適な画像の再生を自動生成する画像再生システムおよび画像再生プログラム、並びに画像再生方法に関する。
【0002】
【従来の技術】
デジタルカメラ・デジタルビデオが広く普及し気軽に撮影する機会が増えたことに併せて記憶メディアの大容量化が進んだことで、ユーザは、大量の画像を保持するようになった。大量の画像を閲覧する場合には、スライドショーなどの順次再生するといった方法を利用することができる。
【0003】
従来、画像を順次再生する技術としては、例えば、特許文献1に開示されている画像データ逐次表示装置、および特許文献2に開示されているデジタルカメラがあった。
特許文献1記載の発明は、画像特徴量抽出部、類似度計算部、スライド条件設定部およびソート画像逐次表示部を有して構成されている。画像特徴量抽出部は、各画像データの画像特徴量を抽出する。類似度計算部は、キー画像データの画像特徴量とキー画像データ以外の各画像データ(検索対象画像データ)の画像特徴量との比較結果に基づき、各画像データのキー画像データに対する類似性の尺度となる類似度を計算する。ソート画像逐次表示部は、スライド条件設定部より得られるスライド条件設定値の類似度変化関数情報に基づき、キー画像データを起点として、類似度別画像ソート部より得られる類似度別ソート結果または類似度変化関数に沿って画像データを逐次表示してスライドショーを実行する。
【0004】
特許文献2記載の発明は、画像を再生する機能と、音楽を再生する機能とを有するデジタルカメラであって、複数の単位画像を順次再生するときの単位画像枚数、および各単位画像の再生時間に基づいて定められる、複数の単位画像を再生するのに要する画像再生時間と、画像とともに再生する音楽の再生に要する音楽再生時間とが一致した音楽付画像を再生する。
【0005】
【特許文献1】
特開2000−67057号公報
【特許文献2】
特開2001−339682号公報
【0006】
【発明が解決しようとする課題】
このように、特許文献1記載の発明にあっては、画像の類似度を考慮してスライドショーを実行する構成となっている。しかしながら、音楽の再生に合わせて画像を再生することで、演出効果の高い再生を実現しようとした場合、画像の再生に合わせて音楽を単にBGMとして流すだけでは、十分な演出効果が得られない。
【0007】
この点を解決したのが特許文献2記載の発明であり、画像再生時間と音楽再生時間とが一致するように画像を再生する構成となっているため、画像と音楽の再生時間が違和感なく一致し、ある程度の演出効果が期待できる。しかしながら、画像再生時間と音楽再生時間とが一致させるというだけでは、再生中において画像の切換タイミングと音楽の進行とが不一致となる場合があり、演出効果が不十分であるという問題があった。
【0008】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、利用者に負担をかけることなく簡易に扱え、演出効果を向上するのに好適な画像の再生を自動生成する画像再生システムおよび画像再生プログラム、並びに画像再生方法を提供することを目的としている。
【0009】
【課題を解決するための手段】
〔発明1〕
上記目的を達成するために、発明1の画像再生システムは、
複数の画像を音楽の再生に合わせて再生するシステムであって、
前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出し、前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成し、生成した特徴ベクトルに基づいて前記各画像の再生順序を決定し、前記検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生するようになっていることを特徴とする。
【0010】
このような構成であれば、音楽のなかから音楽特徴点が検出される。一方、各画像ごとにその画像の特徴ベクトルが生成され、生成された特徴ベクトルに基づいて各画像の再生順序が決定される。そして、検出された音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、決定された再生順序に従って、複数の画像が音楽の再生に合わせて再生される。
【0011】
これにより、音楽のなかの音楽特徴点の出現タイミングと画像の切換タイミングとを一致させて画像を再生することができるとともに、画像の特徴を考慮して画像を再生することができるので、従来に比して、比較的高い演出効果が期待できるという効果が得られる。
ここで、音楽特徴点とは、音楽的な特徴を示す特徴点をいい、これには、例えば、各小節の区切、複数小節単位での区切、音楽のなかでドラム等の特徴音が出現する時点、または音楽のなかで無音となる時点が含まれる。以下、発明2の画像再生システム、発明6の画像再生プログラム、および発明7の画像再生方法において同じである。
【0012】
また、音楽特徴点の検出は、どのように行ってもよく、例えば、音楽データに基づいて音楽特徴点を検出するようになっていてもよいし、楽譜をスキャナ等で取り込んで得た画像データに基づいて音楽特徴点を検出するようになっていてもよい。
また、特徴ベクトルの生成は、どのように行ってもよく、例えば、画像データに基づいて特徴ベクトルを生成するようになっていてもよいし、画像の特徴を記述した文書データに基づいて特徴ベクトルを生成するようになっていてもよい。
【0013】
また、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。以下、発明2の画像再生システムにおいて同じである。
〔発明2〕
さらに、発明2の画像再生システムは、
複数の画像を音楽の再生に合わせて再生するシステムであって、
前記音楽の音楽データを記憶するための音楽データ記憶手段と、前記各画像ごとに当該画像の画像データを記憶するための画像データ記憶手段と、前記音楽データ記憶手段の音楽データに基づいて前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出する音楽特徴点検出手段と、前記画像データ記憶手段の画像データに基づいて前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段と、前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記各画像の再生順序を決定する再生順序決定手段と、前記音楽特徴点検出手段で検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように前記再生順序決定手段で決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生する画像再生手段とを備えることを特徴とする。
【0014】
このような構成であれば、音楽特徴点検出手段により、音楽データ記憶手段の音楽データに基づいて音楽のなかから音楽特徴点が検出される。一方、特徴ベクトル生成手段により、画像データ記憶手段の画像データに基づいて各画像ごとにその画像の特徴ベクトルが生成され、再生順序決定手段により、生成された特徴ベクトルに基づいて各画像の再生順序が決定される。そして、画像再生手段により、検出された音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、決定された再生順序に従って、複数の画像が音楽の再生に合わせて再生される。
【0015】
これにより、音楽のなかの音楽特徴点の出現タイミングと画像の切換タイミングとを一致させて画像を再生することができるとともに、画像の特徴を考慮して画像を再生することができるので、従来に比して、比較的高い演出効果が期待できるという効果が得られる。
ここで、音楽データ記憶手段は、音楽データをあらゆる手段でかつあらゆる時期に記憶するものであり、音楽データをあらかじめ記憶してあるものであってもよいし、音楽データをあらかじめ記憶することなく、本システムの動作時に外部からの入力等によって音楽データを記憶するようになっていてもよい。このことは、画像データ記憶手段に画像データを記憶する場合についても同じである。
〔発明3〕
さらに、発明3の画像再生システムは、発明2の画像再生システムにおいて、前記再生順序決定手段は、前記特徴ベクトル同士のベクトル間距離に基づいて前記各画像を複数のグループに分類し、異なるグループの画像が順次再生されるように前記再生順序を決定するようになっていることを特徴とする。
【0016】
このような構成であれば、再生順序決定手段により、特徴ベクトル同士のベクトル間距離に基づいて各画像が複数のグループに分類され、異なるグループの画像が順次再生されるように再生順序が決定される。
これにより、異なるグループの画像が順次再生されるので、利用者に対して視覚的に大きな変化を与えることができる。したがって、さらに高い演出効果が期待できるという効果が得られる。
〔発明4〕
さらに、発明4の画像再生システムは、発明3の画像再生システムにおいて、前記再生順序決定手段は、前記各グループ間のベクトル間距離を算出し、前記音楽特徴点の出現タイミング前後で特徴差に基づいて、画像のベクトル間距離を考慮して画像が順次再生されるように前記再生順序を決定するようになっていることを特徴とする。
【0017】
このような構成であれば、再生順序決定手段により、各グループ間のベクトル間距離が算出され、音楽特徴点の出現タイミング前後で特徴差に基づいて、画像のベクトル間距離を考慮して画像が順次再生されるように再生順序が決定される。
〔発明5〕
さらに、発明5の画像再生システムは、発明2ないし4のいずれかの画像再生システムにおいて、
前記音楽特徴点検出手段は、前記音楽データ記憶手段の音楽データに基づいて前記音楽のなかから特徴音を検出し、検出した特徴音の出現パターンを解析し、その解析結果に基づいて複数小節単位での区切を前記音楽特徴点として検出するようになっていることを特徴とする。
【0018】
このような構成であれば、音楽特徴点検出手段により、音楽データ記憶手段の音楽データに基づいて音楽のなかから特徴音が検出され、検出された特徴音の出現パターンが解析され、その解析結果に基づいて複数小節単位での区切が音楽特徴点として検出される。
単に特徴音の出現時点を音楽特徴点として検出した場合、例えば、各小節ごとの区切で画像が切り替わってしまう可能性があり、その場合は、画像をゆっくりと閲覧することができない。これに対し、本発明では、複数小節単位での区切が音楽特徴点として検出されるので、画像をゆっくりと閲覧することができるという効果が得られる。
〔発明6〕
一方、上記目的を達成するために、発明6の画像再生プログラムは、
複数の画像を音楽の再生に合わせて再生するプログラムであって、
前記音楽の音楽データを記憶するための音楽データ記憶手段と、前記各画像ごとに当該画像の画像データを記憶するための画像データ記憶手段とを利用可能なコンピュータに対して、
前記音楽データ記憶手段の音楽データに基づいて前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出する音楽特徴点検出手段、前記画像データ記憶手段の画像データに基づいて前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段、前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記各画像の再生順序を決定する再生順序決定手段、および前記音楽特徴点検出手段で検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように前記再生順序決定手段で決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生する画像再生手段として実現される処理を実行させるためのプログラムであることを特徴とする。
【0019】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明1の画像再生システムと同等の作用および効果が得られる。
〔発明7〕
一方、上記目的を達成するために、発明7の画像再生方法は、
複数の画像を音楽の再生に合わせて再生する方法であって、
音楽データ記憶手段の音楽データに基づいて前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出する音楽特徴点検出ステップと、画像データ記憶手段の画像データに基づいて前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成ステップと、前記特徴ベクトル生成ステップで生成した特徴ベクトルに基づいて前記各画像の再生順序を決定する再生順序決定ステップと、前記音楽特徴点検出ステップで検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように前記再生順序決定ステップで決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生する画像再生ステップとを含むことを特徴とする。
【0020】
これにより、発明1の画像再生システムと同等の効果が得られる。
【0021】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。図1ないし図8は、本発明に係る画像再生システムおよび画像再生プログラム、並びに画像再生方法の実施の形態を示す図である。
本実施の形態は、本発明に係る画像再生システムおよび画像再生プログラム、並びに画像再生方法を、図1に示すように、音楽の再生に合わせて画像のスライドショーを実行する場合について適用したものである。
【0022】
次に、本発明に係る画像再生装置100の構成を図1を参照しながら説明する。
図1は、本発明に係る画像再生装置100の構成を示す機能ブロック図である。
画像再生装置100は、図1に示すように、音楽データを登録した音楽データ登録データベース(以下、データベースのことを単にDBと略記する。)10と、複数の画像のそれぞれについてその画像データを登録した画像データ登録DB12と、音楽データ登録DB10のなかから再生対象となる音楽データを指定する音楽指定部14と、画像データ登録DB12のなかから再生対象となる画像データ群を指定する画像指定部16とを有して構成されている。さらに、音楽指定部14で指定された音楽データを解析する音楽解析部18と、画像指定部16で指定された画像データを解析する画像解析部20と、音楽解析部18および画像解析部20の解析結果に基づいて再生スケジュールを作成する再生スケジュール作成部22と、再生スケジュール作成部22で作成した再生スケジュールに従って複数の画像を音楽の再生に合わせて再生する画像再生部24とを有して構成されている。
【0023】
音楽解析部18は、音楽指定部14で指定された音楽データに基づいて、音楽のなかから音楽的な特徴を示す音楽特徴点を検出する。
画像解析部20は、画像指定部16で指定された画像データに基づいて、各画像ごとにその画像の特徴を示す特徴ベクトルを生成する。
再生スケジュール作成部22は、画像解析部20で生成した特徴ベクトルに基づいて、各画像の再生順序を示す再生スケジュールを作成する。
【0024】
画像再生部24は、音楽解析部18で検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、再生スケジュール作成部22で作成した再生スケジュールに従って、複数の画像を音楽の再生に合わせて再生する。
具体的に、画像再生装置100は、図2に示すように、コンピュータ200およびこれに実行させるプログラムとして実現することができる。コンピュータ200の構成を図2を参照しながら説明する。
【0025】
図2は、コンピュータ200の構成を示すブロック図である。
コンピュータ200は、図2に示すように、制御プログラムに基づいて演算およびシステム全体を制御するCPU50と、所定領域にあらかじめCPU50の制御プログラム等を格納しているROM52と、ROM52等から読み出したデータやCPU50の演算過程で必要な演算結果を格納するためのRAM54と、外部装置に対してデータの入出力を媒介するI/F58とで構成されており、これらは、データを転送するための信号線であるバス59で相互にかつデータ授受可能に接続されている。
【0026】
I/F58には、外部装置として、音楽データ登録DB10と、画像データ登録DB12と、ヒューマンインターフェースとしてデータの入力が可能なキーボードやマウス等からなる入力装置60と、画像信号に基づいて画面を表示する表示装置62と、音声信号に基づいて音声や音楽を出力する音声出力装置64とが接続されている。
【0027】
CPU50は、マイクロプロセッシングユニット(MPU)等からなり、ROM52の所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図3のフローチャートに示すスライドショー実行処理を実行するようになっている。
図3は、スライドショー実行処理を示すフローチャートである。
【0028】
スライドショー実行処理は、入力装置60から実行要求の入力を受けて実行される処理であって、CPU50において実行されると、図3に示すように、まず、ステップS100に移行するようになっている。
ステップS100では、音楽データ登録DB10のなかから再生対象となる音楽データを指定し、ステップS102に移行して、画像データ登録DB12のなかから再生対象となる画像データ群を指定する。これら指定は、入力装置60からの入力により行う。
【0029】
次いで、ステップS104に移行して、ステップS100で指定された音楽データ(以下、指定音楽データという。)を解析する音楽解析処理を実行し、ステップS106に移行して、ステップS102で指定された画像データ(以下、指定画像データという。)を解析する画像解析処理を実行し、ステップS108に移行する。
【0030】
ステップS108では、ステップS104,S106の解析結果に基づいて再生スケジュールを作成する再生スケジュール作成処理を実行し、ステップS110に移行して、作成した再生スケジュールに従って複数の画像を音楽の再生に合わせて再生し、一連の処理を終了して元の処理に復帰させる。
次に、ステップS104の音楽解析処理を図4を参照しながら詳細に説明する。
【0031】
図4は、音楽解析処理を示すフローチャートである。
音楽解析処理は、ステップS104において実行されると、図4に示すように、まず、ステップS200に移行するようになっている。
ステップS200では、指定音楽データを音楽データ登録DB10から読み出し、ステップS202に移行して、読み出した音楽データに基づいて音楽のなかからドラム等の特徴音を検出し、ステップS204に移行して、音楽の終端まで解析が完了したか否かを判定し、解析が完了したと判定したとき(Yes)は、ステップS206に移行する。
【0032】
ステップS206では、検出した特徴音の出現パターンを解析し、ステップS208に移行して、ステップS206の解析結果に基づいて複数小節単位(例えば、4小節単位)での区切を音楽特徴点として検出し、ステップS210に移行して、検出した音楽特徴点を示す音楽特徴情報を指定音楽データと対応付けて音楽データ登録DB10に登録し、一連の処理を終了して元の処理に復帰させる。
【0033】
一方、ステップS204で、音楽の終端まで解析が完了しないと判定したとき(No)は、ステップS202に移行する。
次に、ステップS106の画像解析処理を図5を参照しながら詳細に説明する。
図5は、画像解析処理を示すフローチャートである。
【0034】
画像解析処理は、ステップS106において実行されると、図5に示すように、まず、ステップS300に移行するようになっている。
ステップS300では、指定画像データ群のうち先頭のものを画像データ登録DB12から読み出し、ステップS302に移行して、読み出した画像データに基づいて画像サイズを所定サイズ(例えば、640×480)に正規化し、ステップS304に移行する。
【0035】
ステップS304では、正規化した画像から画像特徴量を抽出する。画像特徴量としては、「構図」を考慮した色彩に関する特徴量を用いる。色彩特徴量を抽出する手法としては、例えば、「特徴量を統合し人の感性に近づけた画像検索システム」信学技報PRMU97−261,pp.75−80.1998で扱われている手法を利用することができる。これは、基本的な写真・絵画の構図を参考にした構図テンプレートを用いることで最適な構図情報を抽出し、その構図の小領域ごとの色彩情報を算出することで画像の特徴量化を実現している。
【0036】
次いで、ステップS306に移行して、抽出した画像特徴量に基づいて特徴ベクトルを生成する。例えば、上記の特徴量抽出手法を用いて表現するならば、特徴ベクトルIは、下式(1)に示すように、j領域×3構成色からなる3j個の要素のほか、各構図テンプレートの分散値v0〜vlのl個の要素を加えた合計で(3j+l)個の要素から構成されている。
I=(r0,g0,b0,r1,g1,b1,…,rj−1,gj−1,bj−1,v0,v1,…,vl) …(1)
上式(1)において、r0〜rj−1は各分割領域の平均色のうちR成分を示し、g0〜gj−1は各分割領域の平均色のうちG成分を示し、b0〜bj−1は各分割領域の平均色のうちB成分を示し、v0〜vlは各構図テンプレートの分散値を示している。ただし、v0〜vlは、最適テンプレートの分散値のみを使用し、他の値については「0」とする。
【0037】
次いで、ステップS308に移行して、生成した特徴ベクトルを示す画像特徴情報を指定画像データと対応付けて画像データ登録DB12に登録し、ステップS310に移行して、すべての指定画像データについてステップS302〜S308の処理が終了したか否かを判定し、すべての指定画像データについて処理が終了したと判定したとき(Yes)は、一連の処理を終了して元の処理に復帰させる。
【0038】
一方、ステップS310で、すべての指定画像データについてステップS302〜S308の処理が終了していないと判定したとき(No)は、ステップS312に移行して、指定画像データ群のうち次のものを画像データ登録DB12から読み出し、ステップS302に移行する。
次に、ステップS108の再生スケジュール作成処理を図6を参照しながら詳細に説明する。
【0039】
図6は、再生スケジュール作成処理を示すフローチャートである。
再生スケジュール作成処理は、ステップS108において実行されると、図6に示すように、まず、ステップS400に移行するようになっている。
ステップS400では、指定画像データ群に対応するすべての画像特徴情報を画像データ登録DB12から読み出し、ステップS402に移行する。
【0040】
ステップS402では、読み出した画像特徴情報に基づいて、特徴ベクトルI同士のベクトル間距離に基づいて各画像を複数のクラスタにクラスタリングする。クラスタリングは、例えば、従来のK−平均法に基づいて行うことができる。K−平均法では、第1の処理として、K個の特徴ベクトルIを適当に選択し、選択した特徴ベクトルIk(k=1〜K)をそれぞれクラスタkの中心位置とする。クラスタkの中心位置をmkとする。次いで、第2の処理として、下式(2)により、特徴ベクトルIi(i=1〜N、Nは画像の総数)とクラスタkの中心位置mkとのベクトル間距離を算出し、算出したベクトル間距離が最小となるクラスタkに特徴ベクトルIiを属させる。下式(2)は、特徴ベクトルIAと特徴ベクトルIBとのベクトル間距離を算出している。
S=|IA−IB| …(2)
次いで、第3の処理として、クラスタkの中心位置mkをクラスタkに属している特徴ベクトルIiの平均値で置き換える。次いで、第4の処理として、i<Nの場合、iに「1」を加算して第2の処理および第3の処理を行う。そして、第5の処理として、第3の処理で変更前後のmkに変化があるときは、i=1として第2の処理および第3の処理を行う。第3の処理で変更前後のmkに変化がないとき、または一定回数以上繰り返し処理を行ったときは、処理を終了し、クラスタkの中心位置mkおよびこれに属する特徴ベクトルIiが決定する。
【0041】
図7は、n個の特徴ベクトルIを4つのクラスタA〜Dにクラスタリングした場合を示す図である。
図7の例では、クラスタAには8個の画像が、クラスタBには6個の画像が、クラスタCには4個の画像が、クラスタDには11個の画像がそれぞれクラスタリングされている。
【0042】
次いで、ステップS404に移行して、指定音楽データに対応する音楽特徴情報を音楽データ登録DB10から読み出し、ステップS406に移行して、読み出した音楽特徴情報およびステップS402のクラスタリング結果に基づいて再生スケジュールを作成する。
図8は、再生スケジュールを作成する場合を説明するための図である。
【0043】
再生スケジュールは、図8に示すように、複数小節単位での区切として検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように各画像を再生時間軸上に配置することにより作成する。このとき、音楽特徴点の出現タイミング前後で特徴差に基づいて(例えば音量差)、画像のベクトル間距離を考慮して画像が順次再生されるように各画像を再生時間軸に配置する。
【0044】
例えば、音楽特徴点の出現タイミングの前後で音量の差が大きい場合などは、再生時間軸上で隣接する画像としてはクラスタ間距離が大きいクラスタの画像を選択する。図7のように、クラスタAからみてクラスタDのクラスタ間距離が最も大きいので、クラスタAの画像の次にクラスタDの画像が再生されるように再生スケジュールを作成する。これにより、利用者に対して視覚的および聴覚的に大きな変化を与えることができるので、高い演出効果が期待できる。
【0045】
また、画像の切換効果についても決定する。ベクトル間距離が小さいクラスタの画像や同一のクラスタの画像を連続して再生する場合は、切換前の画像を徐々に暗く(フェードアウト)していきながら切換後の画像を徐々に明るく(フェードイン)して画像の切換を行う。これに対して、ベクトル間距離が大きいクラスタの画像を連続して再生する場合は、フラッシュ(発光)を入れ瞬間的に画像を切り換える。このように演出効果に違いを出すことにより、画像再生にメリハリを与えることができるので、より高い演出効果が期待できる。
【0046】
次いで、再生スケジュールを作成すると、一連の処理を終了して元の処理に復帰させる。
次に、本実施の形態の動作を説明する。
画像のスライドショーを実行する場合、利用者は、実行要求を入力し、ステップS100,S102を経て、音楽データ登録DB10のなかから再生対象となる音楽データを指定し、画像データ登録DB12のなかから再生対象となる画像データ群を指定する。
【0047】
再生対象となる音楽データおよび画像データ群が指定されると、ステップS200,S202を経て、指定音楽データが音楽データ登録DB10から読み出され、読み出された音楽データに基づいて、音楽のなかからドラム等の特徴音が検出される。特徴音の検出は、音楽の終端まで繰り返し行われる。次いで、ステップS206,S208を経て、検出された特徴音の出現パターンが解析され、その解析結果に基づいて複数小節単位での区切が音楽特徴点として検出される。そして、ステップS210を経て、検出された音楽特徴点を示す音楽特徴情報が指定音楽データと対応付けられて音楽データ登録DB10に登録される。
【0048】
一方、ステップS300〜S304を経て、指定画像データ群のうち先頭のものが画像データ登録DB12から読み出され、読み出された画像データに基づいて画像サイズが正規化され、構図テンプレートを用いて、正規化された画像から画像特徴量が抽出される。次いで、ステップS306,S308を経て、抽出された画像特徴量に基づいて特徴ベクトルが生成され、生成された特徴ベクトルを示す画像特徴情報が指定画像データと対応付けられて画像データ登録DB12に登録される。このような処理は、すべての指定画像データについて行われる。
【0049】
音楽特徴情報および画像特徴情報が登録されると、ステップS400,S402を経て、指定画像データ群に対応するすべての画像特徴情報が画像データ登録DB12から読み出され、読み出された画像特徴情報に基づいて、特徴ベクトルI同士のベクトル間距離に基づいて各画像が複数のクラスタにクラスタリングされる。そして、ステップS404,S406を経て、指定音楽データに対応する音楽特徴情報が音楽データ登録DB10から読み出され、読み出された音楽特徴情報およびクラスタリング結果に基づいて再生スケジュールが作成される。再生スケジュールは、複数小節単位での区切として検出された音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように各画像が再生時間軸上に配置されることにより作成される。
【0050】
再生スケジュールが作成されると、ステップS110を経て、作成された再生スケジュールに従って複数の画像が音楽の再生に合わせて再生される。その結果、複数小節単位での区切として検出された音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように各画像が順次再生される。ここで、画像の再生は表示装置62で行われ、音楽の再生は音声出力装置64で行われる。
【0051】
このようにして、本実施の形態では、音楽データに基づいて音楽のなかから音楽特徴点を検出し、画像データに基づいて各画像ごとにその特徴ベクトルを生成し、生成した特徴ベクトルに基づいて各画像の再生順序を示す再生スケジュールを作成し、検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように再生スケジュールに従って複数の画像を音楽の再生に合わせて再生するようになっている。
【0052】
これにより、音楽のなかの音楽特徴点の出現タイミングと画像の切換タイミングとを一致させて画像を再生することができるとともに、画像の特徴を考慮して画像を再生することができるので、従来に比して、比較的高い演出効果が期待できる。
さらに、本実施の形態では、特徴ベクトル同士のベクトル間距離に基づいて各画像を複数のグループにクラスタリングし、異なるグループの画像が順次再生されるように再生スケジュールを作成するようになっている。
【0053】
これにより、異なるグループの画像が順次再生されるので、利用者に対して視覚的に大きな変化を与えることができる。したがって、さらに高い演出効果が期待できる。
さらに、本実施の形態では、音楽データに基づいて音楽のなかから特徴音を検出し、検出した特徴音の出現パターンを解析し、その解析結果に基づいて複数小節単位での区切を音楽特徴点として検出するようになっている。
【0054】
単に特徴音の出現時点を音楽特徴点として検出した場合、例えば、各小節ごとの区切で画像が切り替わってしまう可能性があり、その場合は、画像をゆっくりと閲覧することができない。これに対し、本実施の形態では、複数小節単位での区切が音楽特徴点として検出されるので、画像をゆっくりと閲覧することができる。
【0055】
上記実施の形態において、音楽データ登録DB10は、発明2、5ないし7の音楽データ記憶手段に対応し、画像データ登録DB12は、発明2、6または7の画像データ記憶手段に対応し、音楽解析部18およびステップS104は、発明2、5若しくは6の音楽特徴点検出手段、または発明7の音楽特徴点検出ステップに対応している。また、画像解析部20およびステップS106は、発明2若しくは6の特徴ベクトル生成手段、または発明7の特徴ベクトル生成ステップに対応し、再生スケジュール作成部22およびステップS108は、発明2ないし4若しくは6の再生順序決定手段、または発明7の再生順序決定ステップに対応している。
【0056】
また、上記実施の形態において、画像再生部24およびステップS110は、発明2若しくは6の画像再生手段、または発明7の画像再生ステップに対応している。
なお、上記実施の形態においては、複数の画像を音楽の再生に合わせて再生するように構成したが、これに限らず、複数の音楽を画像の再生に合わせて再生するように構成することもできる。この場合、音楽データと画像データの取り扱いを逆にして上記実施の形態と同様に行うことができる。
【0057】
音楽のクラスタリング手法としては、例えば、「曲の局所パターン特徴量を用いた類似曲検索・感性語による検索」信学技報SP96−124,pp.17−24,1997で扱われている手法を利用することができる。これは、楽曲の旋律に含まれる音の高さ(以下、音高という。)および音の長さ(以下、音長という。)の局所パターンの相対出現頻度分布を音楽の特徴量ベクトルとして用いる。抽出した音楽特徴量に基づいて複数の音楽をステップS402の処理と同じ要領で複数のクラスタにクラスタリングすることができる。
【0058】
また、画像の再生については、単一の画像を固定的に表示しながら複数の音楽を順次再生するように構成してもよいし、上記実施の形態と同様に、複数の画像を順次表示しながら複数の音楽を順次再生するように構成してもよいし、動画像を表示しながら複数の音楽を順次再生するように構成してもよい。複数の画像または動画像を表示する場合は、単一の画像を固定的に表示する場合よりも高い演出効果が期待できる。
【0059】
より具体的な構成として、複数の画像または動画像を表示する場合は、画像の再生時間軸上において画像的な特徴を示す画像特徴点を検出し、各音楽ごとにその音楽の特徴を示す特徴ベクトルを生成し、生成した特徴ベクトルに基づいて各音楽の再生順序を決定し、検出した画像特徴点の出現タイミングと音楽の切換タイミングとが一致するように、決定した再生順序に従って複数の音楽を画像の再生に合わせて再生する。画像特徴点としては、例えば、切換前後における画像が非類似である点を画像特徴点とすることができる。
【0060】
また、上記実施の形態において、図3、図4、図5および図6のフローチャートに示す処理を実行するにあたってはいずれも、ROM52にあらかじめ格納されている制御プログラムを実行する場合について説明したが、これに限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをRAM54に読み込んで実行するようにしてもよい。
【0061】
ここで、記憶媒体とは、RAM、ROM等の半導体記憶媒体、FD、HD等の磁気記憶型記憶媒体、CD、CDV、LD、DVD等の光学的読取方式記憶媒体、MO等の磁気記憶型/光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
【0062】
また、上記実施の形態においては、本発明に係る画像再生システムおよび画像再生プログラム、並びに画像再生方法を、図1に示すように、音楽の再生に合わせて画像のスライドショーを実行する場合について適用したが、これに限らず、本発明の主旨を逸脱しない範囲で他の場合にも適用可能である。例えば、画像を分類する場合について適用することができる。例えば、次の応用例を提案することができる。
【0063】
第1に、デジタルカメラの画像スライドショーや、HDDを内蔵した高精細液晶ディスプレイの電子写真立ての利用として、部屋のインテリアや装飾品などといった適用ができる。
第2に、時刻を同時に表示することで絵柄付きの置き時計として適用することができる。
【0064】
第3に、スライドショウ形式のスクリーンセーバとして適用することができる。
【図面の簡単な説明】
【図1】本発明に係る画像再生装置100の構成を示す機能ブロック図である。
【図2】コンピュータ200の構成を示すブロック図である。
【図3】スライドショー実行処理を示すフローチャートである。
【図4】音楽解析処理を示すフローチャートである。
【図5】画像解析処理を示すフローチャートである。
【図6】再生スケジュール作成処理を示すフローチャートである。
【図7】n個の特徴ベクトルIを4つのクラスタA〜Dにクラスタリングした場合を示す図である。
【図8】再生スケジュールを作成する場合を説明するための図である。
【符号の説明】
100…画像再生装置,10…音楽データ登録DB,12…画像データ登録DB,14…音楽指定部,16…画像指定部,18…音楽解析部,20…画像解析部,22…再生スケジュール作成部,24…画像再生部,200…コンピュータ,50…CPU,52…ROM,54…RAM,58…I/F,60…入力装置,62…表示装置,64…音声出力装置
Claims (7)
- 複数の画像を音楽の再生に合わせて再生するシステムであって、
前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出し、前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成し、生成した特徴ベクトルに基づいて前記各画像の再生順序を決定し、前記検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生するようになっていることを特徴とする画像再生システム。 - 複数の画像を音楽の再生に合わせて再生するシステムであって、
前記音楽の音楽データを記憶するための音楽データ記憶手段と、前記各画像ごとに当該画像の画像データを記憶するための画像データ記憶手段と、前記音楽データ記憶手段の音楽データに基づいて前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出する音楽特徴点検出手段と、前記画像データ記憶手段の画像データに基づいて前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段と、前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記各画像の再生順序を決定する再生順序決定手段と、前記音楽特徴点検出手段で検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように前記再生順序決定手段で決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生する画像再生手段とを備えることを特徴とする画像再生システム。 - 請求項2において、
前記再生順序決定手段は、前記特徴ベクトル同士のベクトル間距離に基づいて前記各画像を複数のグループに分類し、異なるグループの画像が順次再生されるように前記再生順序を決定するようになっていることを特徴とする画像再生システム。 - 請求項3において、
前記再生順序決定手段は、前記各グループ間のベクトル間距離を算出し、前記音楽特徴点の出現タイミング前後で特徴差に基づいて、画像のベクトル間距離を考慮して画像が順次再生されるように前記再生順序を決定するようになっていることを特徴とする画像再生システム。 - 請求項2乃至4のいずれかにおいて、
前記音楽特徴点検出手段は、前記音楽データ記憶手段の音楽データに基づいて前記音楽のなかから特徴音を検出し、検出した特徴音の出現パターンを解析し、その解析結果に基づいて複数小節単位での区切を前記音楽特徴点として検出するようになっていることを特徴とする画像再生システム。 - 複数の画像を音楽の再生に合わせて再生するプログラムであって、
前記音楽の音楽データを記憶するための音楽データ記憶手段と、前記各画像ごとに当該画像の画像データを記憶するための画像データ記憶手段とを利用可能なコンピュータに対して、
前記音楽データ記憶手段の音楽データに基づいて前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出する音楽特徴点検出手段、前記画像データ記憶手段の画像データに基づいて前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段、前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記各画像の再生順序を決定する再生順序決定手段、及び前記音楽特徴点検出手段で検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように前記再生順序決定手段で決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生する画像再生手段として実現される処理を実行させるためのプログラムであることを特徴とする画像再生プログラム。 - 複数の画像を音楽の再生に合わせて再生する方法であって、音楽データ記憶手段の音楽データに基づいて前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出する音楽特徴点検出ステップと、画像データ記憶手段の画像データに基づいて前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成ステップと、前記特徴ベクトル生成ステップで生成した特徴ベクトルに基づいて前記各画像の再生順序を決定する再生順序決定ステップと、前記音楽特徴点検出ステップで検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように前記再生順序決定ステップで決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生する画像再生ステップとを含むことを特徴とする画像再生方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003196679A JP2005033554A (ja) | 2003-07-14 | 2003-07-14 | 画像再生システム及び画像再生プログラム、並びに画像再生方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003196679A JP2005033554A (ja) | 2003-07-14 | 2003-07-14 | 画像再生システム及び画像再生プログラム、並びに画像再生方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005033554A true JP2005033554A (ja) | 2005-02-03 |
Family
ID=34207092
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003196679A Withdrawn JP2005033554A (ja) | 2003-07-14 | 2003-07-14 | 画像再生システム及び画像再生プログラム、並びに画像再生方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005033554A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007005985A (ja) * | 2005-06-22 | 2007-01-11 | Casio Comput Co Ltd | 撮像装置、プログラム、情報端末及び情報通信システム |
JP2008066956A (ja) * | 2006-09-06 | 2008-03-21 | Fujifilm Corp | 楽曲画像シンクロ動画シナリオ生成方法、プログラムおよび装置 |
JP2009200894A (ja) * | 2008-02-22 | 2009-09-03 | Sony Corp | 情報処理置および方法、並びにプログラム |
JP2010183159A (ja) * | 2009-02-03 | 2010-08-19 | Olympus Corp | デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体 |
JP2011002676A (ja) * | 2009-06-19 | 2011-01-06 | Casio Computer Co Ltd | 再生装置およびプログラム |
JP2017098638A (ja) * | 2015-11-18 | 2017-06-01 | カシオ計算機株式会社 | 画像処理装置、画像選択方法及びプログラム |
US10658006B2 (en) | 2015-11-18 | 2020-05-19 | Casio Computer Co., Ltd. | Image processing apparatus that selects images according to total playback time of image data, image selection method, and computer-readable medium |
US10741214B2 (en) | 2015-11-18 | 2020-08-11 | Casio Computer Co., Ltd. | Image processing apparatus that selects images, image processing method, and storage medium |
-
2003
- 2003-07-14 JP JP2003196679A patent/JP2005033554A/ja not_active Withdrawn
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007005985A (ja) * | 2005-06-22 | 2007-01-11 | Casio Comput Co Ltd | 撮像装置、プログラム、情報端末及び情報通信システム |
JP4595704B2 (ja) * | 2005-06-22 | 2010-12-08 | カシオ計算機株式会社 | 画像処理装置、撮像装置、およびプログラム |
JP2008066956A (ja) * | 2006-09-06 | 2008-03-21 | Fujifilm Corp | 楽曲画像シンクロ動画シナリオ生成方法、プログラムおよび装置 |
JP4660861B2 (ja) * | 2006-09-06 | 2011-03-30 | 富士フイルム株式会社 | 楽曲画像シンクロ動画シナリオ生成方法、プログラムおよび装置 |
JP2009200894A (ja) * | 2008-02-22 | 2009-09-03 | Sony Corp | 情報処理置および方法、並びにプログラム |
JP4548495B2 (ja) * | 2008-02-22 | 2010-09-22 | ソニー株式会社 | 情報処理置および方法、並びにプログラム |
JP2010183159A (ja) * | 2009-02-03 | 2010-08-19 | Olympus Corp | デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体 |
JP2011002676A (ja) * | 2009-06-19 | 2011-01-06 | Casio Computer Co Ltd | 再生装置およびプログラム |
JP2017098638A (ja) * | 2015-11-18 | 2017-06-01 | カシオ計算機株式会社 | 画像処理装置、画像選択方法及びプログラム |
CN107018348A (zh) * | 2015-11-18 | 2017-08-04 | 卡西欧计算机株式会社 | 图像处理装置以及图像选择方法 |
US10658006B2 (en) | 2015-11-18 | 2020-05-19 | Casio Computer Co., Ltd. | Image processing apparatus that selects images according to total playback time of image data, image selection method, and computer-readable medium |
US10741214B2 (en) | 2015-11-18 | 2020-08-11 | Casio Computer Co., Ltd. | Image processing apparatus that selects images, image processing method, and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11301113B2 (en) | Information processing apparatus display control method and program | |
US8548249B2 (en) | Information processing apparatus, information processing method, and program | |
JP4125140B2 (ja) | 情報処理装置、情報処理方法ならびにプログラム | |
US20100094441A1 (en) | Image selection apparatus, image selection method and program | |
JP4778231B2 (ja) | ビデオシーケンスに対してインデックス付けするシステムおよび方法 | |
TWI242376B (en) | Method and related system for detecting advertising by integrating results based on different detecting rules | |
US20050123886A1 (en) | Systems and methods for personalized karaoke | |
JP4469891B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP2004110821A (ja) | マルチメディアプレゼンテーションを自動的に生成する方法、及びそのコンピュータプログラム | |
TW200839556A (en) | A photo display system and its operating method | |
JP2006236218A (ja) | 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム | |
JP2000350156A (ja) | 動画像情報の記憶方法及びこれを記録した記録媒体 | |
JP2009004999A (ja) | 映像データ管理装置 | |
JP2005033554A (ja) | 画像再生システム及び画像再生プログラム、並びに画像再生方法 | |
JP2005033276A (ja) | 画像再生システム及び画像再生プログラム、並びに画像再生方法 | |
JP2008084021A (ja) | 動画シナリオ生成方法、プログラムおよび装置 | |
JP2012048324A (ja) | 情報処理装置、その処理方法及びプログラム | |
US20240170024A1 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
JP2009070317A (ja) | 表示制御装置及び表示制御方法等 | |
JP2004354583A (ja) | 音楽生成装置および音楽生成方法 | |
Schindler et al. | On the unsolved problem of shot boundary detection for music videos | |
JP2012137559A (ja) | カラオケ装置、カラオケ装置の制御方法及び制御プログラム | |
JP2006155095A (ja) | 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム | |
JP2003308674A (ja) | 情報記録媒体及びその生産方法 | |
US8782048B2 (en) | Method of displaying adaptive album art for portable terminal and apparatus for providing the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070403 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20080108 |