JP5520585B2 - 情報処理装置 - Google Patents

Description

本発明は情報処理技術に関し、特にユーザに楽曲を推薦するシステム、情報処理装置、およびそこで実行される情報処理方法に関する。

近年、デジタルカメラなど撮影機器の普及、画像処理技術の進歩などにより、パーソナルコンピュータや再生装置を用いて、ユーザが撮影した写真などの画像を自宅や会合などで鑑賞する機会が増えている。このとき、画像ばかりでなくＢＧＭ（Back Ground Music)を同時に再生することにより、音声データのない写真などの画像でも魅力的な演出を実現できる。このような態様の一つとして、複数の写真を所定時間間隔で切り替えて表示するスライドショー形式での再生時、ユーザが選択した楽曲の再生時間を写真の再生時間に合わせて調節し、ＢＧＭとして再生する技術が提案されている（例えば特許文献１参照）。

このように画像とは独立に作成された楽曲をＢＧＭとする場合、できるだけ写真の雰囲気に合った選曲をすることで、撮影時のシーンや感情を効果的に鑑賞者に伝えることができる。写真と楽曲とを関連付ける技術として、写真の撮影年月日と楽曲のリリース年代をマッチングさせる技術が提案されている（例えば特許文献２参照）。

特開２００９−５５６２０号公報 特開２００８−２７５９３６号公報

しかしながら上記のような年代による関連づけは、過ぎた年代を懐かしむ、といった限定的な状況では効果を発揮するが、写真に記録された個々のシーンに合致した楽曲が選択されているとはいえない。写真のシーンごとに、それに合った楽曲を、自分の記憶を頼りに選択することは、ユーザにとって手間のかかる作業であるばかりか、音楽に対する幅広い知識が必要になってくる。

本発明はこのような課題に鑑みてなされたものであり、その目的は、コンテンツの雰囲気に合致した楽曲を推薦することのできる情報処理技術を提供することにある。

本発明のある態様は情報理装置に関する。この情報処理装置は、処理対象のコンテンツの付加情報に基づき当該コンテンツの特徴を取得するコンテンツ特徴取得部と、コンテンツの特徴に基づき、あらかじめ準備した、コンテンツの特徴と推薦すべき楽曲の特徴を対応づけたテーブルを参照して、楽曲の特徴を決定する楽曲特徴決定部と、楽曲の特徴を有する楽曲をデータベースから検出し、コンテンツに合う推薦楽曲としてその情報を提示する楽曲データ出力部と、を備え、コンテンツ特徴取得部は、コンテンツの特徴として、記録位置の情報から記録場所を取得し、楽曲特徴決定部は、前記記録場所から楽曲の特徴を決定することを特徴とする。

ここで「コンテンツ」とは、写真、動画、コンピュータグラフィックス、手描きの絵を電子化したデータなどの画像データ、メモや詩などのテキストデータ、ボイスレコーダや録音機器で録音された音声データなど、電子機器、情報機器を用いて記録され、再生が可能なデータであればそのいずれでもよく、またいずれかを組み合わせたものでもよい。

本発明の別の態様は楽曲推薦システムに関する。この楽曲推薦システムは、情報処理装置においてネットワークを介してサーバから推薦楽曲に係る情報を取得する楽曲推薦システムであって、情報処理装置は、処理対象のコンテンツの付加情報に基づき当該コンテンツの特徴を取得するコンテンツ特徴取得部と、コンテンツの特徴に基づき、あらかじめ準備した、コンテンツの特徴と推薦すべき楽曲の特徴を対応づけたテーブルを参照して、楽曲の特徴を決定する楽曲特徴決定部と、楽曲の特徴をサーバに送信してコンテンツに合う楽曲の推薦を依頼するとともに、サーバから推薦楽曲に係る情報を取得して提示する楽曲データ出力部と、を備え、サーバは、情報処理装置から送信された、楽曲の特徴を有する楽曲をデータベースから検出し、推薦楽曲としてその情報を情報処理装置に送信する楽曲データ送信部を備え、コンテンツ特徴取得部は、コンテンツの特徴として、記録位置の情報から記録場所を取得し、楽曲特徴決定部は、記録場所から楽曲の特徴を決定することを特徴とする。

本発明のさらに別の態様は情報処理方法に関する。この情報処理方法は、処理対象のコンテンツの付加情報をメモリより読み出し、当該付加情報に基づき当該コンテンツの特徴を取得するステップと、コンテンツの特徴に基づき、あらかじめ準備した、コンテンツの特徴と推薦すべき楽曲の特徴を対応づけたテーブルを参照して、楽曲の特徴を決定するステップと、楽曲の特徴を有する楽曲をデータベースから検出し、コンテンツに合う推薦楽曲としてその情報を提示するステップと、を含み、コンテンツの特徴を取得するステップは、コンテンツの特徴として、記録位置の情報から記録場所を取得し、楽曲の特徴を決定するステップは、記録場所から楽曲の特徴を決定することを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、コンテンツの雰囲気に合致した楽曲の情報を容易に得ることができる。

本実施の形態の楽曲推薦システムの構成を示す図である。 本実施の形態における楽曲特徴情報決定部の構成を詳細に示す図である。 本実施の形態において用いる写真データと楽曲データの構成を示す図である。 本実施の形態において複数の写真からなる写真データを処理対象としたときの分類処理の概念図である。 本実施の形態において複数の写真を分類する手順を示すフローチャートである。 本実施の形態におけるテンポ決定部が関連するデータの流れを示す図である。 本実施の形態における曲調決定部が関連するデータの流れを示す図である。 本実施の形態において写真に対応する楽曲を推薦する処理手順を示すフローチャートである。

図１は本実施の形態の楽曲推薦システムの構成を示す。楽曲推薦システム１０は、ユーザが操作する情報処理装置１２と、当該情報処理装置１２とネットワーク１３を介して接続した楽曲データサーバ１４を含む。情報処理装置１２はユーザが操作するパーソナルコンピュータ、録画再生装置、携帯電話などの情報機器である。情報処理装置１２は、ユーザからの指示入力を受け付ける指示入力受付部１６、写真の特徴から推薦する楽曲の特徴を決定する楽曲特徴情報決定部１８、決定した特徴を有する楽曲の情報を出力する楽曲データ出力部２０、および楽曲の特徴と個々の楽曲を対応づけた楽曲データ記憶部２２を含む。

指示入力受付部１６はユーザによる、撮影した写真データのファイル名など必要な情報の入力とともに楽曲の推薦指示を受け付ける入力装置である。指示入力受付部１６はキーボード、ボタン、タッチパネル、マウスなど一般的な入力装置でよい。楽曲特徴情報決定部１８は、ユーザが指定した写真を解析し、写真の特徴を抽出したうえ、当該特徴に合致した楽曲の特徴を導出する。指定された写真が、旅行や結婚式など長時間にわたり撮影された写真群を構成している場合は、そのシーンごとに楽曲の特徴を決定する。

楽曲特徴情報決定部１８は写真の特徴を抽出するうえで、写真の付加情報および写真の画像そのものから情報を抽出する。現在では様々な種類の情報が写真の撮影と同時に記録されるのが一般的であるが、本実施の形態ではそのうち特に、撮影日時と撮影位置を写真の付加情報に含める。まず撮影日時から、クリスマスや正月など特別な日であるか、季節、１日のうちの時間帯などの時間的情報を写真の特徴として導出する。また撮影位置、すなわち緯度、経度などの位置座標の情報から、撮影された町や国など位置的情報を写真の特徴として導出する。さらに撮影位置は、前者の時間的情報の補正にも用いる。

すなわち時差のある地域を訪問した際、カメラなど撮影機器の設定時刻まで現地時間に合わせずとも適した楽曲を正確に推薦するため、設定時刻で記録された撮影日時を、撮影位置の情報に基づき現地時間に補正する。また同じクリスマスの旅行であっても北半球か南半球かで季節が逆になる。そのためクリスマスの写真であっても雪が降るようなしっとりした曲が合うとは限らない。また同じ日付でも場所によって季節感が全く異なる。このように、地域によって似合う音楽や季節感が異なることを考慮し、本実施の形態では、撮影日時、撮影位置を総合的に判断して写真の特徴を正確に特定し、それに合致する楽曲を推薦する。

楽曲特徴情報決定部１８は、ネットワークを介して接続したサーバ（図示せず）を検索し、撮影位置や撮影日時に対応する所定の情報を取得してもよい。例えば撮影したときの天気、気温、太陽や月の出入り時刻、星座、スギ花粉の量、黄砂の量、位置情報に基づき周辺写真を提供するサーバが提供する周辺写真、その提供枚数、などを取得してもよい。

さらに楽曲特徴情報決定部１８は、写真の画像に対し顔認識処理を施し、人が写っているか、何人写っているか、笑顔がどの程度あるか、を写真の特徴として取得する。さらに人種、性別、年齢など、人の属性を取得してもよく、それらを組み合わせてもよい。これらの特徴は、画像処理技術におけるパターンマッチングや特徴点の相対位置などに基づく一般的な顔、表情の認識技術によって取得できる。そしてこれらの特徴からも楽曲のテンポなどの特徴を決定する。顔認識処理以外にも、一般的な画像解析を行い、輝度分布、色分布、周波数特性の少なくともいずれかを取得し、明るさや色調などから楽曲の特徴を決定してもよい。

楽曲データ出力部２０は、楽曲特徴情報決定部１８が導出した特徴を有する楽曲を楽曲データ記憶部２２から抽出し、当該楽曲に係る情報を出力する。このとき、楽曲の題名、歌詞やアーティストなどの書誌情報を文字情報として表示するのみでもよいし、それに加えて実際に楽曲を再生してもよい。あるいはシーンごとの推薦楽曲のオーディオデータをシーンの時系列順に並べた１つの音楽ファイルを生成するなどでもよい。このため楽曲データ記憶部２２は、楽曲の特徴と楽曲の書誌情報とを対応づけたデータ、楽曲の特徴とオーディオデータを対応づけたデータ、または楽曲の特徴、書誌情報をメタデータとして付加したオーディオデータなどの形式で楽曲のデータを記憶する。

ここで「楽曲の特徴」は、題名、歌詞、アーティスト、ジャンル、リリース年などの書誌情報の他、楽器音、声の性別、ムード、音質、音圧、テンポ、音の良さ、楽曲構造など、楽曲を特徴付けることのできるパラメータであればそのいずれでもよくその組み合わせでもよい。またこれらのパラメータの組み合わせによって楽曲の類似性を評価し、細かく分類したときの分類識別番号などでもよい。楽曲特徴情報決定部１８は、楽曲データ記憶部２２で楽曲に紐づけられている楽曲の特徴に従う形式で楽曲の特徴を導出する。後に述べる具体例では、書誌情報のほか、「さわやか」、「のんびり」など曲の雰囲気が楽曲の特徴値として各楽曲のオーディオデータに紐づけられているとする。

楽曲データサーバ１４は、情報処理装置１２から推薦して欲しい楽曲の特徴を受信する楽曲特徴受信部２４、当該特徴を有する楽曲の情報を情報処理装置１２に送信する楽曲データ送信部２６、および楽曲の特徴と個々の楽曲を対応づけた楽曲データ記憶部２８を含む。楽曲データサーバ１４の楽曲データ送信部２６と楽曲データ記憶部２８は、情報処理装置１２の楽曲データ出力部２０および楽曲データ記憶部２２と同じ機能を有する。

ただし楽曲データサーバ１４の楽曲データ記憶部２８が保持する情報量は、情報処理装置１２の楽曲データ記憶部２２の情報量より大きくすることができる。ユーザは、情報処理装置１２に記憶させた楽曲の中から推薦楽曲を得たいのか、楽曲データサーバ１４から未知の、あるいはまだデータを保有していない楽曲も含めて推薦曲を得たいのかを指示入力受付部１６に対する指示に含める。それに応じて情報処理装置１２の楽曲データ出力部２０は、楽曲特徴情報決定部１８が導出した特徴によって自らが推薦楽曲を抽出するか、楽曲データサーバ１４に特徴を送信して楽曲の抽出を依頼するかを決定する。

また、楽曲特徴情報決定部１８が導出する特徴の分類を、メタデータとして楽曲のデータに付加され一般に流通している特徴とは異なる、楽曲データサーバ１４独自の特徴の分類とする場合は、楽曲データ出力部２０は常に、楽曲データサーバ１４に楽曲の抽出を依頼するようにしてもよい。楽曲の抽出を依頼された楽曲データサーバ１４は例えば、推薦楽曲の抽出後、まず題名などの書誌情報のみを情報処理装置１２に送信し、ユーザがダウンロードを希望した場合にのみ該当する楽曲のオーディオデータを情報処理装置１２に送信する。

これによりオーディオデータの送信には適切な課金処理がなされる。楽曲データサーバ１４の、楽曲の特徴を検索キーとした楽曲検索処理や、その後の情報送信処理は、実用化されている音楽検索エンジンと同様である。また情報処理装置１２の楽曲データ出力部２０における検索処理もそれに準じる。したがって以後、楽曲特徴情報決定部１８の動作に主眼を置いて本実施の形態を説明する。なおこの説明は、写真に対して楽曲を推薦する態様であるが、同様の付加情報が得られるデータであれば、動画を構成するフレームなどでも同様に扱うことができる。

図２は楽曲特徴情報決定部１８の構成を詳細に示している。楽曲特徴情報決定部１８は、処理対象の写真が複数枚の場合に写真をシーンごとに分類する写真分類部３０、分類ごとまたは１枚の写真について写真の特徴を取得する写真特徴取得部３２、写真の特徴から推薦すべき楽曲の特徴を決定する楽曲特徴決定部３４を含む。

楽曲特徴情報決定部１８はさらに、付加情報とともに写真の画像データを記憶する写真データ記憶部３８、写真の付加情報や画像の内容と写真の特徴を対応づけた写真特徴取得テーブルを記憶する写真特徴取得テーブル記憶部４０、ユーザの個人的な情報を記憶するユーザ情報記憶部４２、および写真の特徴と推薦すべき楽曲の特徴を対応づけた楽曲特徴取得テーブルを記憶する楽曲特徴取得テーブル記憶部４４を含む。写真データ記憶部３８とユーザ情報記憶部４２に格納される情報は、ユーザによって生成される。写真特徴取得テーブル記憶部４０および楽曲特徴取得テーブル記憶部４４に格納される各テーブルは、装置製造時にあらかじめ設定しておく。または必要に応じてユーザが修正できるようにしてもよい。

写真分類部３０は、ユーザが指定した写真のデータが複数の写真から構成されている場合に、その写真を分類する。複数の写真を処理対象とする場合、ユーザがスライドショー形式で写真を表示するときのＢＧＭ選択を目的としていると考えられる。この場合、写真の１枚１枚に対して楽曲を推薦したり、シーンの異なる複数の写真全体に１曲の楽曲を推薦してもよいし、同じシーンごとに楽曲を推薦してもよい。そのため撮影時刻や撮影位置によって写真を分類し、それぞれを１つのシーンとして楽曲を推薦する。処理対象が１枚の写真の場合は写真分類部３０は動作しなくてよい。

写真特徴取得部３２は、写真の付加情報および画像の特徴や顔認識結果に基づき、写真の分類または処理対象の１枚の写真について、写真の特徴を特定する。そのため写真特徴取得テーブル記憶部４０には、写真の付加情報および顔認識結果から直接得られる情報を、写真の特徴としてあらかじめ準備した項目に変換するための写真特徴取得テーブルを記憶させておく。また写真の特徴を特定する際は、ユーザ情報記憶部４２に記憶させた個人の情報も用いる。具体例は後に述べる。

楽曲特徴決定部３４は、ユーザの嗜好に合った楽曲の属性を設定する嗜好設定部４５、写真の特徴に合ったテンポを決定するテンポ決定部４６、写真の特徴に合った曲調を抽出する曲調決定部４８を含む。ここでユーザの嗜好に合った楽曲の属性とは、例えば楽曲のジャンル、年代、アーティストなどであり、ユーザが初めて本機能を利用したときに入力しておいたものをユーザ情報記憶部４２に記憶させておく。またはユーザが指示入力受付部１６に楽曲推薦の指示をする都度、写真に合わせて指定するようにしてもよい。

テンポ決定部４６は、撮影された時間帯、写真に写っている人数範囲、笑顔の度合い、行動、人の属性、天気や気温、太陽や月の出入り時刻などから楽曲のテンポを決定する。曲調決定部４８は、撮影時の行事、時間帯、季節、撮影された町、国、天気や気温、太陽や月の出入り時刻などの少なくともいずれかから、題名を限定する情報、特徴値、ジャンルなどを決定する。そのため楽曲特徴取得テーブル記憶部４４には、テンポ決定部４６や曲調決定部４８が、写真の特徴を、楽曲の特徴としてあらかじめ準備したテンポの範囲や曲調を定める項目に変換するための楽曲特徴取得テーブルを記憶させておく。具体例は後に述べる。

図３は本実施の形態において用いる写真データと楽曲データの構成を示している。写真データ５０は撮影日時５３および撮影位置５４の付加情報を伴う写真画像データ５６で構成される。このような付加情報は一般的な撮影装置においても自動的に付加されることが多い。本実施の形態ではこの撮影日時５３、撮影位置５４、写真画像データ５６を用いて写真の特徴を特定する。一方、楽曲データ５２は書誌情報５８、特徴値６０の付加情報を伴う楽曲オーディオデータ６２で構成される。

本実施の形態では同図矢印に示すように、写真データ５０を、写真の特徴を媒介としてそれに合致する楽曲データ５２の書誌情報５８および特徴値６０に変換し、それに基づき楽曲を抽出する。なお特徴値６０などは前述のとおり、楽曲オーディオデータ６２に直接付加されていなくてもよく、特徴値６０を元に楽曲データ５２を検索できるデータベースが情報処理装置１２の楽曲データ記憶部２２または楽曲データサーバ１４の楽曲データ記憶部２８に構築されていればよい。

また写真データ５０と同時に記録した人の行動を表すデータを付加情報として利用してもよい。人の行動を表すデータ、すなわち行動情報とは例えば、建物や施設などに滞在している時間と移動している時間を時間軸に対して記録したデータなどである。このデータは、ＧＰＳ（Grobal Positioning System）や通信基地局の情報などを利用して所定間隔でユーザの位置を記録した位置履歴を解析することによって得られる。具体的には、位置履歴の時間ごとの変位から速度の履歴を生成し、所定の速度しきい値を下回る速度が所定時間継続した期間があればその期間を滞在期間として抽出する。そして滞在期間の間を移動期間とする。またはユーザが人手によって記録した情報などでもよい。

図４はユーザが複数の写真からなる写真データを処理対象として指定したときに写真分類部３０が行う分類処理の概念図を示している。同図において横方向は撮影時刻の時間軸である。この時間軸に対し撮影時刻順に写真７０が並んでいる。写真分類部３０はこのような写真の並びに対し、矢印で示すような区切りを設けることにより、同じシーンと思われる写真同士をグルーピングすることで写真全体を分類する。

この区切りは上述の滞在期間、移動期間のように、写真データとは別に付加された情報を利用してもよい。一方、そのような情報がない場合は次のように分類する。図５は写真分類部３０が複数の写真を分類する手順を示すフローチャートである。まず元の写真群のうち、撮影時刻の間隔が所定のしきい値より短い写真をグルーピングして分類Ａを作成する（Ｓ２）。この分類Ａは連写などでほぼ同じ構図を写した最も小さい単位の分類であるため、このときのしきい値はそのようなスケールとする。

次に分類Ａを撮影時刻、または撮影位置ごとに順番に並べたうえで、ｋ個の分類Ａを等間隔で選び出し、ｋ−ｍｅａｎｓ法によってクラスタリングすることで分類Ｂを作成する（Ｓ４）。そして撮影位置の座標の重心が所定のしきい値より近い分類Ｂをまとめて分類Ｃを作成する（Ｓ６）。このようにして作成した分類Ｃの各分類は、およそ同じ場所で撮影した写真群と考えられるため、分類Ｃを最終的な分類とし、楽曲の推薦をこの単位で実施する。

上記は撮影時刻および撮影位置の双方を考慮して近い写真を同じ分類とする手法であるが、単に撮影時刻の差が所定のしきい値以下にある写真や、撮影位置が所定の範囲内にある写真を同じ分類としてまとめるようにしてもよい。このように分類ごとに楽曲を推薦する場合、以後の説明における各種パラメータの値は各分類における重心値の意味である。なお複数の分類Ｃが時間的に連続している場合、それらの分類に属する写真の枚数が所定のしきい値より少なければ、それらをまとめて１つの分類として楽曲推薦のための処理を行ってもよい。なおこれらの写真分類は、ユーザが後から編集可能としてもよい。

次に写真特徴取得部３２および楽曲特徴決定部３４が処理するデータの流れを説明する。図６はテンポ決定部４６が関連するデータの流れを示している。同図において破線８０は写真特徴取得部３２が参照する写真特徴取得テーブルに記述された対応関係を示しており、実線８２はテンポ決定部４６が参照する楽曲特徴取得テーブルに記述された対応関係を示している。上段の撮影日時８４、撮影位置８５、画像８６、行動情報８８は写真データであり、中段は写真の特徴としてあらかじめ用意された、時間帯リスト９０、人数範囲リスト９２、笑顔度リスト９４、行動カテゴリリスト９６である。

まず写真特徴取得部３２は写真データの付加情報である撮影日時８４および撮影位置８５に基づき時間帯リスト９０から該当する時間帯を取得する。ここで撮影位置８５を参照するのは、上述のように時差のある地域へ訪問した際、撮影機器の設定時刻を現地時間に修正していない場合の時刻補正を想定している。時差のない国への訪問や、設定時刻を修正した場合は撮影日時８４のみから時間帯を取得してよい。時間帯リスト９０として早朝／朝／昼／夕方／夜／深夜などを準備する。

また各写真の画像８６に一般的な顔認識処理を施し、人が写っている写真の有無、および画像のうち顔が占める割合を導出したうえ、人数範囲リスト９２から該当する人数範囲を取得する。人数範囲リスト９２として１人／２〜ｎ人／ｎ人より多いなどを準備する。ここでｎは家族の人数などユーザが登録した値でよく、ユーザ情報記憶部４２に記憶させておくことで写真特徴取得部３２が適宜参照する。あるいは年齢構成のパターンをリストとして準備し、顔認識処理によって特定した人物の年齢構成に合致するパターンを選択してもよい。

同様に、一般的な表情認識処理によって個々の顔の笑顔の度合いを導出したうえ、それを適宜平均するなどして、笑顔度リスト９４から該当する笑顔度の範囲を取得する。笑顔度リスト９４として、１．０を最大の笑顔としたときに０〜０．３／０．３〜０．７／０．７〜１．０などを準備する。なお笑顔度の数値以外に、笑顔／無表情／泣き顔など表情のカテゴリ、または人種、性別、年齢など属性のカテゴリでもよい。

さらに、上述の行動情報８８が付加情報とされている場合は、写真が撮影された時刻の行動を行動カテゴリリスト９６から選択する。行動カテゴリリスト９６は行動情報８８の形式に合わせ、例えば滞在／移動などを準備する。また、移動速度によって乗り物で移動しているか徒歩かを判別すれば、乗り物／徒歩などのカテゴリも準備できる。また、撮影位置から行動のカテゴリを選択できるようにしてもよい。例えば撮影位置から、公園、ゴルフ場、遊園地、学校、山など撮影場所の特徴を特定するようにし、各特徴に対応する行動、例えば散歩、ゴルフ、レジャー、学校行事参加、登山、などをカテゴリリストとして準備する。

テンポ決定部４６は楽曲特徴取得テーブルを参照し、このようにして取得した各特徴の組み合わせに対して設定されているテンポリスト９８から該当するテンポを決定する。テンポリスト９８として遅い／中間／速いなどを準備する。または具体的なテンポ値の範囲などでもよい。なお図６の各パラメータはあくまで例示であり、その一部のみから、またはそれ以外の特徴も考慮してテンポを決定してもよい。例えば、「夜」に「家族の数より多い人数」が写っている写真の場合、パーティの場面を想定し、テンポは「速い」と設定しておく。

図７は曲調決定部４８が関連するデータの流れを示している。同図において破線１００は写真特徴取得部３２が参照する写真特徴取得テーブルに記述された対応関係を示しており、実線１０２は曲調決定部４８が参照する楽曲特徴取得テーブルに記述された対応関係を示している。上段の撮影日時８４、撮影位置１０６は写真データであり、中段は写真の特徴としてあらかじめ用意された、行事リスト１０８、時間帯リスト９０、季節リスト１１２、町名リスト１１４、国名リスト１１６である。下段は写真の特徴の各分類と対応づけられた楽曲の特徴値リスト１２０、１２２、ジャンルリスト１２４、および特徴値１２６である。

まず写真特徴取得部３２は、写真データの付加情報である撮影日時８４および撮影位置１０６に基づき行事リスト１０８、時間帯リスト９０、季節リスト１１２から該当する行事、時間帯、および季節を取得する。行事リスト１０８として、誕生日や結婚記念日など家族の記念日／クリスマス／ひな祭り／新年／春節／深夜などを準備する。家族の記念日はユーザが事前に登録したものをユーザ情報記憶部４２に記憶させておき写真特徴取得部３２が適宜参照する。その他の行事は上述のように国によって異なるため、写真特徴取得部３２は撮影位置１０６の情報によって国を同定し、それによって行事リスト１０８の内容を切り替える。

また時間帯リスト９０は図６で説明したのと同様である。季節リスト１１２としては、春／夏／秋／冬／熱帯雨季／熱帯乾季／常夏などを準備する。季節の取得時も撮影日時８４に加え撮影位置１０６を考慮することにより、地域による季節の違いを正確に反映させることができる。

以上の写真の特徴取得において、まず該当する行事がある場合、曲調決定部４８は題名フィルタ１１８を設定する。これは、該当する行事の名前を題名に含む楽曲を抽出するフィルタである。すなわち「クリスマス」や「正月」が題名に入っている楽曲が推薦されるようにする。題名に代わり歌詞などでもよい。このフィルタの設定情報も楽曲の特徴に含ませる。曲調決定部４８はさらに、時間帯リスト９０および季節リスト１１２における時間帯および季節の組み合わせに対して設定した特徴値リスト１２０から該当する特徴値を取得する。特徴値リスト１２０としては、さわやか／楽しい／しっとり／のんびり／元気などを準備する。

なお上述のとおり特徴値リスト１２０に設定する特徴値は、その後に具体的な推薦楽曲を決定するためのデータベースである、情報処理装置１２の楽曲データ記憶部２２または楽曲データサーバ１４の楽曲データ記憶部２２の検索システムの形式に応じて決定する。すなわち図７の特徴値リスト１２０に挙げた、楽曲の雰囲気を表す言葉のリストである必要はなく、器楽曲かボーカルが入っているか、男声が女声かなど大まかなリストでもよいし、楽曲を多角的に評価した結果得られた詳細な分類に割り振られた識別番号のリストなどでもよい。

写真特徴取得部３２はさらに、写真データの付加情報である撮影位置１０６に基づき場所リスト１１３、町名リスト１１４および国名リスト１１６から該当する場所、町名あるいは国名を取得する。場所リスト１１３として準備する場所は、富士山などランドマークや場所の固有名詞でもよいし公園、ゴルフ場など場所や施設の種類名でもよい。町名リスト１１４として準備する町名は、ニューヨーク／博多／マドリード／イスタンブールなど規模や位置などを特に限定することなく世界中の町を設定可能とするが、音楽的に特徴のある町を登録しておくことが望ましい。国名リスト１１６には少なくとも一般的に訪問することが多い国を登録しておくことが望ましい。

曲調決定部４８は、撮影位置に該当する場所が登録されていた場合、題名フィルタ１１８から当該場所が題名に含まれる楽曲を取得する。さらに特徴値リスト１２２およびジャンルリスト１２４から、当該場所に対して設定された特徴値およびジャンルを取得する。また、撮影位置に該当する町が登録されていた場合、特徴値リスト１２２およびジャンルリスト１２４から当該町名に対して設定された特徴値およびジャンルを取得する。特徴値リスト１２２およびジャンルリスト１２４の設定に当たっては、例えばその町を発祥とするジャンルの曲など代表的な曲をまず準備し、それと同じジャンルおよび特徴値を設定値に利用するようにしてもよい。また、各場所から連想されるジャンルおよび特徴値を設定してもよい。特徴値リスト１２２は特徴値リスト１２０と同様のリストを準備する。ジャンルリスト１２４としては、各場所や町に合わせてクラシック／ジャズ／ロック／ラテンなどを準備する。

また曲調決定部４８は、撮影位置に該当する国の国歌の雰囲気を特徴値１２６として設定する。実際には国歌の雰囲気を表す具体的な特徴値を保持するテーブルを別に準備しておき、写真の特徴として国が同定されたとき、当該テーブルを参照して「さわやか」など具体的な特徴値に落とし込んでもよい。また国歌の代わりにその国の代表的な曲でもよい。なお図７の各パラメータもあくまで例示であり、写真の特徴、楽曲の特徴ともに、その一部を採用してもよいし、その他のパラメータを導入してもよい。

次にこれまで述べた構成によって実現される楽曲推薦システム１０の動作を説明する。図８は写真に対応する楽曲を推薦する処理手順を示すフローチャートである。まずユーザが情報処理装置１２に対し写真データの指定などを行うことにより楽曲推薦の指示を入力すると（Ｓ１０）、当該写真が複数枚であれば写真分類部３０が写真を分類し、シーンごとに楽曲推薦を行うようにする（Ｓ１２）。次に写真特徴取得部３２は、撮影時刻、撮影位置など写真の付加情報や画像に対する顔認識処理結果などに基づき写真特徴取得部テーブルを参照し、写真、または写真の分類ごとに写真の特徴を抽出する（Ｓ１４）。

次に楽曲特徴決定部３４の嗜好設定部４５は、推薦指示時のユーザによる指定またはユーザ情報記憶部４２に記憶された情報に基づき、ジャンルやアーティストなど楽曲に対するユーザの嗜好を設定する（Ｓ１６）。次にテンポ決定部Ｓ１８は撮影された時間帯、写真に写っている人数、笑顔の度合い、写真とともに記録された行動といった、写真の特徴に基づき楽曲特徴取得テーブルを参照し、楽曲のテンポを決定する（Ｓ１８）。

次に、写真特徴取得部３２が撮影日時に該当する行事が登録されていることを検出したら（Ｓ２０のＹ）、楽曲特徴決定部３４は題名フィルタに当該行事の名前を設定するなどして題名を用いた選択候補の絞り込みを行えるようにする（Ｓ２２）。該当する行事がなく（Ｓ２０のＮ）、撮影位置に該当する場所が登録されていれば（Ｓ２３のＹ）、題名フィルタに当該場所の名前を設定するなどして題名を用いた選択候補の絞り込みを行えるようにしたうえ、楽曲特徴取得テーブルに当該場所に対して設定されている特徴値やジャンルを取得する（Ｓ２４、Ｓ２５）。

撮影位置に該当する場所が登録されておらず（Ｓ２３のＮ）、撮影位置に該当する町名が登録されていれば（Ｓ２６のＹ）、楽曲特徴取得テーブルに当該町に対して設定されている特徴値やジャンルを取得する（Ｓ２７）。該当する町名が登録されていなければ（Ｓ２６のＮ）、撮影位置に該当する国に対して楽曲特徴取得テーブルに設定されている国歌などの特徴値を取得する（Ｓ２８）。

次に曲調決定部４８は、撮影時刻の時間帯や季節に対し楽曲特徴取得テーブルに設定されている特徴値を取得する（Ｓ３０）。楽曲特徴情報決定部１８は、そのようにして取得したユーザの嗜好、ジャンル、特徴値を最終的な楽曲の特徴として楽曲データ出力部２０に供給する（Ｓ３２）。複数の写真の分類に対し処理を行う場合は、撮影時刻の時系列に対応する順序で楽曲の特徴を並べたうえで順に供給する。また特徴値として連続した値を有する特徴を採用した場合に、複数のシーンに対する特徴値を平滑化するなど、シーン間で楽曲の特徴を調整してもよい。

また楽曲特徴情報決定部１８は、取得したジャンルや特徴値が複数ある場合、優先順位をつけたり重心値や中心値を算出するなど、あらかじめ最終的な特徴の算出規則を準備しておく。この規則は、後段で情報処理装置１２の楽曲データ出力部２０または楽曲データサーバ１４の楽曲データ送信部２６が行う楽曲抽出の方式に依存する。

情報処理装置１２の楽曲データ出力部２０または楽曲データサーバ１４の楽曲データ送信部２６は、楽曲特徴情報決定部１８から取得した楽曲の特徴に係る情報に基づき該当する楽曲を抽出し、推薦楽曲としてユーザに提示する（Ｓ３４）。楽曲データサーバ１４が抽出処理を実施する場合は、その前後に情報処理装置１２の楽曲データ出力部２０と情報の送受信を行う。なおＳ３４で用いる楽曲の特徴や、最終的に使用する楽曲は、ユーザが適宜修正できるようにしておく。

以上のような手順により、例えば夏にスペインとフランスを旅行したときの写真のうち、スペインにおいて昼に乗り物で移動中の写真に対し、乗り物→テンポが速い、スペイン→スペイン国歌に似た曲、夏の昼→元気な曲、といった関連づけで楽曲の特徴を決定できる。一方、フランスのマルセイユで移動していない状態の夜の写真に対し、移動していない→中間のテンポ、マルセイユ→のんびりした曲、夏の夜→ノリの良い曲、といった関連づけで楽曲の特徴を決定できる。

以上述べた本実施の形態によれば、ユーザが撮影した写真などの画像に対し、付加情報、顔認識処理や画像解析の結果、写真と同時に記録した行動情報などを用いて、雰囲気の合う楽曲を抽出する。付加情報として撮影時刻のほか撮影位置を考慮することにより、撮影した国や地域に応じた季節感、行事、音楽の歴史、雰囲気などを考慮した楽曲推薦が可能になる。また写っている人数、笑顔度、滞在中か移動中か、など細かい状況変化を推薦する楽曲に反映させることができる。

さらに旅行など長い時間に撮影された写真群をシーンごとに分類してからそれぞれに合う楽曲を抽出することにより、より写真撮影時の状況に合致した楽曲を推薦することができる。本実施の形態は従来より記録されている情報を利用して実現できるため、容易かつ安価に導入することができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば本実施の形態では写真の雰囲気に合致した楽曲を推薦したが、処理対象は写真でなくてもよい。例えば録画したホームビデオなどの動画、携帯ゲーム機器などでゲームプレイ中に保存したスクリーンショットなどのコンピュータグラフィックス、手描きの絵を電子化したデータなど写真以外の画像データ、メモや詩などのテキストデータ、音声データなどでもその付加情報を用いて同様に処理できる。また付加情報は、それらのデータが記録されたときに同時に記録されるもののほか、ユーザが後から付与した情報を含めてよい。

１０ 楽曲推薦システム、 １２ 情報処理装置、 １４ 楽曲データサーバ、 １６ 指示入力受付部、 １８ 楽曲特徴情報決定部、 ２０ 楽曲データ出力部、 ２２ 楽曲データ記憶部、 ２４ 楽曲特徴受信部、 ２６ 楽曲データ送信部、 ２８ 楽曲データ記憶部、 ３０ 写真分類部、 ３２ 写真特徴取得部、 ３４ 楽曲特徴決定部、 ３８ 写真データ記憶部、 ４０ 写真特徴取得テーブル記憶部、 ４２ ユーザ情報記憶部、 ４４ 楽曲特徴取得テーブル記憶部、４５ 嗜好設定部、 ４６ テンポ決定部、 ４８ 曲調決定部。

Claims (8)

1. 処理対象のコンテンツのデータに基づき当該コンテンツの特徴を取得するコンテンツ特徴取得部と、
   あらかじめ準備した、前記コンテンツの特徴と、それに適合する楽曲のテンポの範囲および雰囲気の少なくともいずれかを表す特徴情報と、を対応づけたテーブルを参照して、処理対象のコンテンツに適合する楽曲の前記特徴情報を決定する楽曲特徴決定部と、
   決定した前記特徴情報に合致する楽曲をデータベースから検出し、前記コンテンツに適合する推薦楽曲としてその情報を提示する楽曲データ出力部と、
   を備え、
   前記コンテンツ特徴取得部は、コンテンツの付加情報として取得した、所定時間間隔でコンテンツ記録者の位置を記録した位置履歴から移動速度を求めることにより、当該コンテンツの記録時におけるコンテンツ記録者の移動および滞在を含む行動のカテゴリを前記コンテンツの特徴として取得し、
   前記楽曲特徴決定部は、前記行動のカテゴリから前記楽曲の特徴情報を決定することを特徴とする情報処理装置。
2. 処理対象の複数のコンテンツを、当該コンテンツの記録位置が所定の範囲内にあるコンテンツ同士まとめることにより分類する分類部をさらに備え、
   前記コンテンツ特徴取得部は、前記分類ごとに、各分類に属するコンテンツの特徴の重心値または中心値を取得し、
   前記楽曲特徴決定部は、前記重心値または中心値に基づき前記テーブルを参照して、前記分類ごとに推薦すべき楽曲の特徴情報を決定することを特徴とする請求項１に記載の情報処理装置。
3. 前記コンテンツ特徴取得部は、前記コンテンツの特徴として、記録位置および記録日時から記録された季節を取得し、
   前記楽曲特徴決定部は、季節から前記楽曲の雰囲気を表す情報を決定することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記コンテンツ特徴取得部は、前記コンテンツの特徴として、記録位置および記録日時から記録された日の行事を取得し、
   前記楽曲特徴決定部はさらに、前記行事の名前を題名、歌詞、書誌情報のいずれかに含むことを楽曲の特徴情報として決定することを特徴とする請求項１から３のいずれかに記載の情報処理装置。
5. 前記楽曲特徴決定部は、コンテンツの記録場所が属する国の国歌の雰囲気を、適合する楽曲の雰囲気を表す特徴情報として決定することを特徴とする請求項１から４のいずれかに記載の情報処理装置。
6. 前記コンテンツ特徴取得部はさらに、処理対象のコンテンツである画像に顔認識処理を施すことにより、画像内に存在する人の数、表情、人の属性情報、の少なくともいずれかを前記コンテンツの特徴として取得し、
   前記楽曲特徴決定部は、取得した前記人の数、表情、人の属性情報、の少なくともいずれかから前記楽曲の特徴情報を決定することを特徴とする請求項１から５のいずれかに記載の情報処理装置。
7. 前記コンテンツ特徴取得部はさらに、処理対象のコンテンツである画像に画像解析処理を施すことにより、画像の輝度分布、色分布、周波数特性、の少なくともいずれかを前記コンテンツの特徴として取得し、
   前記楽曲特徴決定部は、取得した前記輝度分布、色分布、周波数特性の少なくともいずれかから前記楽曲の特徴情報を決定することを特徴とする請求項１から６のいずれかに記載の情報処理装置。
8. 前記コンテンツ特徴取得部は、コンテンツの付加情報として取得した、所定時間間隔でコンテンツ記録者の位置を記録した位置履歴から移動速度を求めることにより移動手段を特定し、
   前記楽曲特徴決定部は、当該移動手段に応じて前記楽曲のテンポの範囲を決定することを特徴とする請求項１から７のいずれかに記載の情報処理装置。

Images