JP2011215964A - サーバ装置、クライアント装置、コンテンツ推薦方法及びプログラム - Google Patents

Abstract

【課題】ユーザの日常の行動傾向から抽出される特徴に基づいて、真にユーザの嗜好を反映したコンテンツを推薦すること。
【解決手段】ＰＣ１００は、静止画または動画から抽出された複数の下位メタ情報及び各下位メタ情報から導出された上位メタ情報を基に個人メタＤＢを構築し、当該個人メタＤＢから、ユーザの任意の個人特徴情報を選択してサーバ２００へ送信し、サーバ２００は、他のＰＣ１５０の個人メタＤＢを統計処理して構築された多人数統計メタＤＢから、受信した個人特徴情報と類似する個人特徴情報を抽出し、当該個人特徴情報に関連する推薦商品または推薦サービスを示すコンテンツ情報を選択してＰＣ１００へ送信する。
【選択図】図７

Description

本発明は、商品やサービス等のコンテンツを推薦することが可能なサーバ装置、クライアント装置、コンテンツ推薦方法及びプログラムに関する。

従来から、例えばＥコマースサイトにおいては、ユーザの閲覧履歴や購買履歴を用いてユーザに商品やサービス等のコンテンツを推薦することが行われている。また、Ｗｅｂ検索サービスにおいては、ユーザが閲覧しているウェブサイトの内容、ユーザにより入力された検索ワード、ユーザの過去のウェブページ閲覧履歴等を用いてコンテンツの広告情報を表示することが行われている。

また、下記特許文献１には、ユーザが視聴したテレビ番組などに挿入される広告放送に基づいてユーザの嗜好を分析し、ユーザの嗜好に適した商品を特定して推薦商品に関する情報を生成することが記載されている。

特開２００９−１４７６７９号公報

Understanding Video Events: A Survey of Methods for Automatic Interpretation of Semantic Occurrences in Video, Gal Lavee, Ehud Rivlin, and Michael Rudzsky, IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS-PART C: APPLICATIONS AND REVIEWS, VOL. 39, NO. 5, September 2009 Event Mining in Multimedia Streams: Research on identifying and analyzing events and activities in media collectionshad led to new technologies and systems, Lexing Xie, Hari Sundaram, and Murray Campbell, Proceedings of the IEEE | Vol. 96, No. 4, April 2008

しかしながら、上記ＥコマースサイトやＷｅｂ広告における手法では、推薦されるコンテンツは、ユーザが特定のサイトや特定の検索サービスを利用した際の履歴情報に基づいて決定されたものであり、ユーザが他のＥコマースサイトや他の検索サービスを利用した際の履歴情報は考慮されない。またこれらの手法はユーザのＷｅｂ上での行動履歴のみに基づいたものであり、Ｗｅｂ上以外でのユーザの行動履歴は考慮されていない。したがってこれらの手法では、ユーザの日常の行動に表れる嗜好が推薦コンテンツに反映されているとは言いがたい。

また、上記特許文献１に記載の技術では、テレビ番組に対するユーザの嗜好は推薦コンテンツに反映されるものの、上述と同様に、ユーザの日常の行動に表れる嗜好を推薦コンテンツに反映することはできない。

以上のような事情に鑑み、本発明の目的は、ユーザの日常の行動傾向から抽出される特徴に基づいて、真にユーザの嗜好を反映したコンテンツを推薦することが可能なサーバ装置、クライアント装置、コンテンツ推薦方法及びプログラム提供することにある。

上記目的を達成するため、本発明の一形態に係るサーバ装置は、第１の記憶部と、第２の記憶部と、通信部と、制御部とを有する。上記第１の記憶部は、複数のユーザによりそれぞれ撮影された画像データからそれぞれ抽出された、上記各ユーザに関連する複数の第１のメタ情報と、当該各複数の第１のメタ情報が解析されてそれぞれ導出された、上記各ユーザを特徴づける複数の第２のメタ情報とが、統計処理されることで生成される統計情報を記憶する。当該統計情報は、上記第２のメタ情報毎の、当該第２のメタ情報の導出元となった上記各第１のメタ情報の頻度を示す。上記第２の記憶部は、推薦対象となる商品コンテンツまたはサービスコンテンツを示す複数の異なるコンテンツ情報を記憶する。上記通信部は、上記複数のユーザのうち一のユーザのクライアント装置から、当該クライアント装置において上記複数の第１のメタ情報から導出された上記第２のメタ情報を受信する。上記制御部は、上記受信された第２のメタ情報と、上記記憶された統計情報とを基に、上記記憶された複数のコンテンツ情報から、上記受信された第２のメタ情報について、所定頻度以上の前記頻度を有する上記第１のメタ情報に関連するコンテンツ情報を選択する。また制御部は、上記選択されたコンテンツ情報を上記クライアント装置へ送信するように上記通信部を制御する。

これによりサーバ装置は、記憶された統計情報と、クライアント装置から受信された第２のメタ情報とを基に、クライアント装置のユーザに推薦すべきコンテンツ情報を選択してクライアント装置に提供できる。ユーザが撮影した画像から抽出された複数の第１のメタ情報から導出される第２のメタ情報を基にコンテンツ情報が選択されることで、ユーザの日常の行動傾向から抽出される嗜好を反映したコンテンツ情報が推薦されることになる。

上記第２のメタ情報は、上記画像に表されている人物を示す人物情報と、上記人物の行動内容を示す行動情報とを含んでもよい。この場合上記制御部は、上記統計情報に含まれる第２のメタ情報に含まれる第１の人物情報及び第１の行動情報と、上記クライアント装置から送信された第２のメタ情報に含まれる第２の人物情報及び第２の行動情報とをそれぞれ比較して、上記第１の人物情報と上記第２の人物情報との類似度を示す第１の類似度と、上記第１の行動情報と上記第２の行動情報との類似度を示す第２の類似度とを算出してもよい。また制御部は、当該算出された第１の類似度と第２の類似度とを加算して第３の類似度を算出し、上記クライアント装置から送信された第２のメタ情報と所定類似度以上の第３の類似度を有する第２のメタ情報について、上記所定頻度以上の頻度を有する第１のメタ情報に関連するコンテンツ情報を選択してもよい。

これによりサーバ装置は、撮影画像から得られる人物及び行動内容に基づいて第２のメタ情報同士の類似度を算出し、当該類似度に基づいてコンテンツ情報を選択するため、ユーザの日常の行動傾向により合致したコンテンツ情報を推薦することができる。

上記統合コンテンツ情報は、旅行商品を示す情報であってもよい。この場合上記通信部は、上記クライアント装置から複数の上記第２のメタ情報を受信してもよい。またこの場合上記制御部は、上記受信された複数の第２のメタ情報について、上記所定頻度以上の頻度を有する上記複数の第１のメタ情報にそれぞれ関連し、かつ、旅行中の各行程として設定可能なコンテンツ情報を上記第２のメタ情報毎に選択してもよい。さらに制御部は、上記選択された各コンテンツ情報を統合して統合コンテンツ情報を生成し、当該生成された統合コンテンツ情報を上記クライアント装置へ送信するように上記通信部を制御してもよい。

これによりサーバ装置は、第１のメタ情報にそれぞれ関連する、旅行中の各行程としての複数のコンテンツ情報を統合して統合コンテンツ情報を生成することで、ユーザの複数の嗜好を反映するようにアレンジされた旅行プランを推薦することができる。これにより、単に第１のメタ情報に関連する単一のコンテンツ情報として旅行プランが推薦される場合に比べて、さまざまな相乗効果によりユーザの満足度の向上が期待できる。

上記受信される各第２のメタ情報は、複数の上記行動情報の相関を示す相関情報を有してもよい。この場合上記制御部は、上記相関情報を基に、上記各行程として設定される上記コンテンツ情報及びその設定順を決定してもよい。

これによりサーバ装置は、相関情報により、クライアント装置のユーザが、ある行動の後にどういった行動をとる頻度が高いかを認識することができ、それに応じて旅行の行程を設定することができる。したがって、ユーザに提示される統合コンテンツとしての旅行商品は、通常のユーザの行動パターンに沿ったものとなるため、ユーザに受け入れられる可能性も高くなる。

上記第２のメタ情報は、上記行動情報に対応する日時を示す日時情報を有してもよい。この場合上記制御部は、上記統計情報に含まれる各第２のメタ情報に含まれる上記行動情報及び上記日時情報を基に、上記複数の行動内容のうち、第１の行動内容から第２の行動内容へ遷移する確率を示す遷移確率情報を生成してもよい。そして制御部は、当該生成された遷移確率情報を基に、上記受信された第２のメタ情報に含まれる行動情報により示される行動内容から遷移する確率が所定確率以上の行動内容に関連するコンテンツ情報を選択してもよい。

これによりサーバ装置は、各ユーザについての第２のメタ情報から各行動内容の遷移確率を生成しておき、受信した第２のメタ情報により示される行動内容から遷移する確率の高い行動内容に関連する商品やサービスをユーザに推薦することができる。すなわちサーバ装置は、ユーザのある行動の次の行動において必要となる確率が高い商品またはサービスをユーザに推薦することができるため、ユーザは次の行動の準備を容易に行うことができる。

本発明の他の形態に係るクライアント装置は、通信部と、記憶部と、制御部と、出力部とを有する。上記通信部は、推薦対象となる商品コンテンツまたはサービスコンテンツを示す複数の異なるコンテンツ情報を記憶するサーバ装置と通信する。上記記憶部は、ユーザにより撮影された画像データを記憶する。上記制御部は、上記画像データから、複数の第１のメタ情報を抽出し、当該抽出された各第１のメタ情報を解析することで第２のメタ情報を導出する。また制御部は、上記導出された第２のメタ情報を基に、上記サーバ装置に記憶された複数のコンテンツ情報のうち、当該第２のメタ情報に関連するコンテンツ情報を受信するように上記通信部を制御する。上記出力部は、上記受信されたコンテンツ情報を出力する。

本発明のまた別の形態に係るコンテンツ推薦方法は、複数のユーザによりそれぞれ撮影された画像データからそれぞれ抽出された複数の第１のメタ情報と、当該各複数の第１のメタ情報が解析されてそれぞれ導出された複数の第２のメタ情報とが、統計処理されることで生成された統計情報を記憶することを含む。上記統計情報は、上記第２のメタ情報毎の、当該第２のメタ情報の導出元となった上記各第１のメタ情報の頻度を示す。また当該方法は、推薦対象となる商品コンテンツまたはサービスコンテンツを示す複数の異なるコンテンツ情報を記憶することを含む。上記複数のユーザのうち一のユーザのクライアント装置から、当該クライアント装置において上記複数の第１のメタ情報から導出された上記第２のメタ情報が受信される。上記受信された第２のメタ情報と、上記記憶された統計情報とを基に、上記記憶された複数のコンテンツ情報から、上記受信された第２のメタ情報について、所定頻度以上の上記頻度を有する上記第１のメタ情報に関連するコンテンツ情報が選択される。上記選択されたコンテンツ情報は上記クライアント装置へ送信される。

本発明のまた別の形態に係るコンテンツ推薦方法は、ユーザにより撮影された画像データを記憶することを含む。上記画像データから、複数の第１のメタ情報が抽出される。上記抽出された各第１のメタ情報が解析されることで第２のメタ情報が導出される。上記導出された第２のメタ情報を基に、サーバ装置に記憶された、推薦対象となる商品コンテンツまたはサービスコンテンツを示す複数のコンテンツ情報のうち、当該第２のメタ情報に関連するコンテンツ情報が受信され、出力される。

本発明のまた別の形態に係るプログラムは、サーバ装置に、第１の記憶ステップと、第２の記憶ステップと、受信ステップと、選択ステップと、送信ステップとを実行させる。上記第１の記憶ステップでは、複数のユーザによりそれぞれ撮影された画像データからそれぞれ抽出された複数の第１のメタ情報と、当該各複数の第１のメタ情報が解析されてそれぞれ導出された複数の第２のメタ情報とが、統計処理されることで生成された統計情報が記憶される。当該統計情報は、上記第２のメタ情報毎の、当該第２のメタ情報の導出元となった上記各第１のメタ情報の頻度を示す。上記第２の記憶ステップでは、推薦対象となる商品コンテンツまたはサービスコンテンツを示す複数の異なるコンテンツ情報が記憶される。上記受信ステップでは、上記複数のユーザのうち一のユーザのクライアント装置から、当該クライアント装置において上記複数の第１のメタ情報から導出された上記第２のメタ情報が受信される。上記選択ステップでは、上記受信された第２のメタ情報と、上記記憶された統計情報とを基に、上記記憶された複数のコンテンツ情報から、上記受信された第２のメタ情報について、所定頻度以上の上記頻度を有する上記第１のメタ情報に関連するコンテンツ情報が選択される。上記送信ステップでは、上記選択されたコンテンツ情報が上記クライアント装置へ送信される。

本発明のまた別の形態に係るプログラムは、クライアント装置に、記憶ステップと、抽出ステップと、導出ステップと、受信ステップと、出力ステップとを実行させる。上記記憶ステップでは、ユーザにより撮影された画像データが記憶される。上記抽出ステップでは、上記画像データから、複数の第１のメタ情報が抽出される。上記導出ステップでは、上記抽出された各第１のメタ情報が解析されることで第２のメタ情報が導出される。上記受信ステップでは、上記導出された第２のメタ情報を基に、サーバ装置に記憶された、推薦対象となる商品コンテンツまたはサービスコンテンツを示す複数のコンテンツ情報のうち、当該第２のメタ情報に関連するコンテンツ情報が受信される。上記出力ステップでは、上記受信されたコンテンツ情報が出力される。

以上説明したように、本発明によれば、ユーザの日常の行動傾向から抽出される特徴に基づいて、真にユーザの嗜好を反映したコンテンツを推薦することができる。

本発明の一実施形態におけるコンテンツ推薦システムの概要を示す図である。 本発明の一実施形態に係るＰＣのハードウェア構成を示した図である。 本発明の一実施形態に係るサーバのハードウェア構成を示した図である。 本発明の一実施形態に係るサーバ及びＰＣのソフトウェア構成を示した図である。 本発明の一実施形態における個人メタＤＢの例を示した図である。 本発明の一実施形態における多人数統計メタＤＢの例を示した図である。 本発明の一実施形態に係るＰＣ及びサーバによる再生制御処理の流れを示したシーケンス図である。 本発明の一実施形態における個人特徴の類似度計算処理の流れを示したフローチャートである。 本発明の一実施形態における個人特徴の類似度計算処理の例を示した図である。 本発明の一実施形態における推薦コンテンツ情報の表示例を示した図である。 本発明の他の実施形態において、行動予測からコンテンツを推薦する場合の行動予測処理を示した図である。

以下、図面を参照しながら、本発明の実施形態を説明する。

［システムの概要］
図１は、本発明の一実施形態におけるコンテンツ推薦システムの概要を示す図である。同図に示すように、このコンテンツ推薦システムは、ＰＣ１００と、他のＰＣ１５０と、サーバ２００とがネットワーク３を介して接続されることで構成される。

ＰＣ１００及び他のＰＣ１５０は、各ユーザが撮影した動画や静止画からメタ情報を抽出し、それをサーバ２００へ送信する。サーバ２００は、ＰＣ１００及び他のＰＣ１５０から受信したメタ情報を基に、自身が記憶する商品やサービスに関する複数のコンテンツ情報から、ＰＣ１００及び他のＰＣ１５０の各ユーザに推薦すべきコンテンツ情報を選択し、ＰＣ１００及び他のＰＣ１５０へ送信する。ネットワーク３は、例えばインターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等である。

［ＰＣのハードウェア構成］
図２は、上記ＰＣ１００のハードウェア構成を示した図である。同図に示すように、ＰＣ１００は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ１２（Read Only Memory）、ＲＡＭ（Random Access Memory）１３、入出力インタフェース１５、及び、これらを互いに接続するバス１４を備える。

ＣＰＵ１１は、必要に応じてＲＡＭ１３等に適宜アクセスし、各種演算処理を行いながらＰＣ１００の各ブロック全体を統括的に制御する。ＲＯＭ１２は、ＣＰＵ１１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１３は、ＣＰＵ１１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。

入出力インタフェース１５には、表示部１６、入力部１７、記憶部１８、通信部１９、ドライブ部２０等が接続される。

表示部１６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。当該表示部１６は、ＰＣ１００に内蔵されていてもよいし、ＰＣ１００に外部接続されていてもよい。

入力部１７は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部１７がタッチパネルを含む場合、そのタッチパネルは表示部１６と一体となり得る。

記憶部１８は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ、その他の固体メモリ等の不揮発性メモリである。当該記憶部１８には、上記ＯＳや各種アプリケーション、各種データが記憶される。特に本実施形態では、記憶部１８には、記録媒体５から取り込まれた動画や静止画等のデータからメタ情報を抽出し、それを基にサーバ２００で選択されたコンテンツ情報を表示するためのコンテンツ推薦アプリケーションや、抽出されたメタ情報も記憶される。

ドライブ部２０は、例えばメモリカード、光学記録媒体、フロッピー（登録商標）ディスク、磁気記録テープ等、リムーバブルの記録媒体５を駆動し、当該記録媒体５に記録されたデータの読み出し及び当該記録媒体５へのデータの書き込みを行う。典型的には、当該記録媒体５は、デジタルカメラに装着されたメモリカードであり、ＰＣ１００は、デジタルカメラから取り外されドライブ部２０に装着されたメモリカードから静止画像や動画像のデータを読み出す。デジタルカメラとＰＣ１００とが例えばＵＳＢ（Universal Serial Bus）ケーブル等により接続され、デジタルカメラに装着された状態のメモリカードから静止画や動画がＰＣ１００に取り込まれてもよい。

通信部１９は、ネットワーク３に接続可能なＮＩＣ（Network Interface Card）等である。通信部１９は、有線及び無線のどちらを利用して通信するものであってもよい。

［サーバのハードウェア構成］
図３は、上記サーバ２００のハードウェア構成を示した図である。同図に示すように、サーバ２００は、ＰＣ１００と同様に、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、入出力インタフェース２５、及び、これらを互いに接続するバス２４を備える。また入出力インタフェース２５には、表示部２６、入力部２７、記憶部２８、通信部２９、ドライブ部３０等が接続される。これらのブロックの機能はＰＣ１００における各ブロックの機能と同様であるため、説明は省略する。

記憶部１８には、ユーザに推薦するための商品またはサービスを示すコンテンツ情報や、当該コンテンツ情報の中からユーザに推薦すべきコンテンツ情報を選択してＰＣ１００やＰＣ１５０へ提示するための推薦コンテンツ選択アプリケーション、当該推薦に必要なデータベース等も記憶される。

［ＰＣ及びサーバのソフトウェア構成］
図４は、上記ＰＣ１００及びサーバ２００がコンテンツ推薦のために有する機能ブロックを示した図である。

同図に示すように、ＰＣ１００は、読み出し部３１、動画デコーダ３２、オーディオデコーダ３３、静止画デコーダ３４、動画解析部３５、オーディオ解析部３６、静止画解析部３７、上位意味情報解析部３８、下位情報解析部３９、個人特徴抽出部４０及び個人メタＤＢ（データベース）４１を有する。

読み出し部３１は、デジタルスチルカメラやデジタルビデオカメラ等の撮影装置に内蔵された、または当該撮影装置から取り出された、メモリカード等の記録媒体５から、動画コンテンツや静止画データを読み出す。静止画データは、例えば日付や時間帯等に応じたグループ毎に読み出される。読み出されたデータが動画コンテンツの場合、読み出し部３１は、当該動画コンテンツを動画データとオーディオデータとに分割する。そして読み出し部３１は、動画データを動画デコーダ３２へ、オーディオデータをオーディオデコーダ３３へ、また静止画データを静止画デコーダ３４へ出力する。

動画デコーダ３２は、上記動画データをデコードし、動画解析部３５へ出力する。オーディオデコーダ３３は、上記オーディオデータをデコードし、オーディオ解析部３６へ出力する。静止画デコーダ３４は、上記静止画データをデコードし、静止画解析部３７へ出力する。

動画解析部３５は、動画データから、客観的な特徴情報を抽出し、当該特徴情報を基に、下位のメタ情報（意味情報）を抽出する。またオーディオ解析部３６及び静止画解析部３７も同様に、それぞれオーディオデータ及び静止画データから客観的な特徴情報を抽出し、当該特徴情報を基に、下位のメタ情報を抽出する。この下位のメタ情報の抽出には、上記非特許文献１に記載の技術も利用される。

動画解析部３５は、特徴情報の抽出において、例えば色／テクスチャ特徴抽出、勾配算出、エッジ抽出といった画素ベースの処理や、人物／顔の検出／認識、物体の認識、人物／顔／物体の動き検出／速度検出といったオブジェクトベースの処理を実行する。人物検出において、動画解析部３５は、例えば人型を示す特徴フィルターを用いて、動画像から人物を示す領域を検出する。顔検出においては、動画解析部３５は、例えば、目・鼻・眉毛・頬等の位置関係の特徴を示す特徴フィルターや、肌色情報等を用いて、動画像から顔を示す領域を検出する。

また、動画解析部３５は、人物や顔の有無を認識するのみならず、特定の人物を認識することも可能である。当該認識には、例えば、エッジ強度画像特徴、周波数強度画像特徴、高次自己相関特徴、カラー変換画像特徴等が用いられる。例えば、エッジ強度画像を用いられる場合、動画解析部３５は、認識対象の人物（例えば、親、子供、配偶者、友人等のユーザの関係者）の特徴データとして、濃淡画像及びエッジ強度画像を記憶しておき、顔が検出された人物の顔画像から、同様に濃淡画像及びエッジ強度画像を抽出して、両濃淡画像及び両エッジ強度画像をパターンマッチングすることで、特定人物の顔を認識する。

また物体認識において、動画解析部３５は、例えば各イベントに特有の物体を認識するために記憶された認識モデルを用いて、識別対象とする物体が含まれるか否かを識別する。当該認識モデルは、例えば予め学習用画像からＳＶＭ（SupporＰＣector Machines）等の機械学習により構築される。

さらに動画解析部３５は、動画像中の人や物体以外の背景を認識することもできる。例えば動画解析部３５は、予め学習用画像からＳＶＭ等の機械学習により構築されたモデルを用いて、各動画中の背景を、例えば街、屋内、野外、海岸、水中、夜景、夕焼け、雪景色、混雑といった各背景に分類する。

ここで、動画コンテンツが複数のシーンから構成される場合、上記下位のメタ情報の抽出に先立って、動画解析部３５は、動画コンテンツからカットやフェード等の映像特徴を検出し、動画コンテンツを複数のシーンに分類する。

オーディオ解析部３６は、特徴情報の抽出において、オーディオデータから、例えば人の声、人以外の環境音、それらのパワー／高低等の特徴を検出する。人の声か環境音かの識別には、例えば所定パワー以上の音声の継続時間等が用いられる。

静止画解析部３７は、特徴情報の抽出において、上記動画解析部３５が実行可能な解析処理のうち、色／テクスチャ特徴抽出、勾配算出、エッジ抽出、人物／顔／物体の検出、背景の認識といった静的な処理を実行する。

また、各解析部３５〜３７は、各データにテキスト等のタグ（ラベル）情報が含まれている場合には、当該タグ情報も特徴情報として抽出する。タグ情報としては、例えば、イベント内容を示す情報や、撮影日時及び撮影場所等の情報が挙げられる。

各解析部３５〜３７は、それぞれが抽出した上記特徴情報を基に、より具体的に意味付けされた下位のメタ情報（意味情報）を抽出する。

動画解析部３５は、例えば抽出した人物特徴や顔特徴から、個人、性別、年齢、表情、姿勢、服装、人数、整列等を下位のメタ情報として識別する。また動画解析部３５は、動き特徴から、活発／不活発な動き、速い／遅い動き、人が佇んでいる／座っている／歩いている／走っている等のActivityを認識したり、人の手のジェスチャ等を認識したりする。

オーディオ解析部３６は、例えば抽出したオーディオ特徴から、拍手、歓声、スピーカの音、声色に応じた感情、笑い声、叫び声、話声の内容、反響による空間の広がり具合等を下位のメタ情報として抽出する。

静止画解析部３７は、上記動画解析部３５で認識可能なメタ情報のうち、動き特徴に関係のないメタ情報を認識する。

上記下位のメタ情報の抽出には、例えばベイズネット、有限状態機械、条件付確率場（CRF）、隠れマルコフモデル（HMM）等の状態空間表現による手法や、ペトリネットのような離散事象システム、制約充足モデル、論理アプローチといった意味モデルによる手法や、ＳＶＭ、最近隣法、ニューラルネット等の伝統的なパターン認識／分類法等、さまざまな手法が用いられる。

上位意味情報解析部３８は、上記各解析部３５〜３７により抽出された下位のメタ情報を基に、上位のメタ情報を解析し、動画の１シーンや静止画の１グループ（これらをまとめて「シーン」と称する）全体を説明可能な最上位のメタ情報、すなわちイベントを導出する。このイベントの導出処理には、上記非特許文献２に記載の技術も利用される。

具体的には、上位意味情報解析部３８は、各下位メタ情報から、５Ｗ１Ｈ（Who, What, When, Where, Why, How）に相当する複数のメタ情報を解析してそれらの抽象度を徐々に上げていき、最終的に、各シーンを、１つのイベントとしてカテゴライズする。

例えば、動画や静止画から、「多数の子供」「多数の親子」「体操着」等の人物に関するメタ情報、「活発な動き」「走っている姿」等の人物の動きに関するメタ情報、「学校の校舎」等の一般物体に関するメタ情報が抽出され、音声から、「スピーカを通した人の声」「拍手」「歓声」等のメタ情報が抽出され、その他のメタ情報として、「小学校」という位置情報、「秋」という季節（日時）情報等の情報が得られた場合、上位意味情報解析部３８は、これらを統合して考えられるイベント『小学校の運動会』を導き出す。さらに、撮影者や家族に関するメタ情報も抽出されれば、上位意味情報解析部３８は、『ｘｘ君の小学校の運動会』というイベントまで判断できる。

下位情報解析部３９は、上記各解析部３５〜３７により抽出された下位のメタ情報を基に、ＰＣ１００のユーザの行動履歴情報を生成する。具体的には、下位情報解析部３９は、例えば静止画や動画に撮影時に付加された位置情報（ＧＰＳ情報）、日時情報、物体、背景等のメタ情報を基に、ＰＣ１００のユーザが訪れた場所及び日時を行動履歴情報として生成する。

個人特徴抽出部４０は、上位意味情報解析部３８により導出されたイベント（上位のメタ情報）を基に、ＰＣ１００のユーザ個人を特徴付ける情報（以下、個人特徴情報と称する）を生成する。

個人メタＤＢ４１は、上記下位情報解析部３９により生成された行動履歴情報と、個人特徴抽出部４０により生成された、個人を特徴づける情報とを、対応付けて記憶する。この個人メタＤＢ４１と、その生成に用いられた上位メタ情報及び下位メタ情報とは、例えば定期的にサーバ２００へ送信される。

図５は、当該個人メタＤＢ４１の例を示した図である。同図に示すように、個人メタＤＢ４１は、個人特徴情報４２と行動履歴情報４３とを有する。

個人特徴情報４２は、例えば、「中年男性である」、「小学生の息子がいる」、「夏季、登山をする」、「冬季、海外へ行く」等、上記上位のメタ情報から導出される、ＰＣ１００のユーザＡさん個人を特徴付ける情報である。当該個人特徴情報４２は、５Ｗ１Ｈに相当する情報のうちいずれかを含んでいる。

行動履歴情報４３は、例えば、「「○○山」へ、 ２００９年ｘ月ｘ日」、「△△山へ、 ２０１０年ｘ月ｘ日」等、上記下位のメタ情報から導出される、ＰＣ１００のユーザが訪れた「場所」及びその「日時」を当該訪問毎に示す情報である。

図４に戻り、サーバ２００は、コンテンツＤＢ５１と、多人数統計メタＤＢ５２と、関連コンテンツ選択部５３とを有する。

コンテンツＤＢ５１は、ＰＣ１００のユーザや他のＰＣ１５０のユーザに推薦するための候補となる商品やサービスを示すコンテンツ情報と、当該推薦に有用となる情報とを対応付けて記憶している。推薦に有用となる情報とは、例えば旅行商品が推薦される場合の場所（目的地）情報等である。

多人数統計メタＤＢ５２は、ＰＣ１００及び他のＰＣ１５０から例えば定期的に受信した各個人メタＤＢ４１と、それに含まれる各上位メタ情報及び各下位メタ情報を統計処理した結果を保存したものである。当該統計処理には、例えば協調フィルタリング等のアルゴリズムが用いられる。

関連コンテンツ選択部５３は、上記多人数統計メタＤＢ５２と、ＰＣ１００または他のＰＣ１５０から受信した上位メタ情報とを照合することで、ＰＣ１００のユーザまたは他のＰＣ１５０のユーザの行動と関連が深いと推定されるコンテンツ情報を選択し、当該コンテンツ情報をＰＣ１００または他のＰＣ１５０へ送信する。

図６は、上記多人数統計メタＤＢ５２の例を示した図である。同図に示すように、多人数統計メタＤＢ５２は、個人特徴情報５４及び行動統計情報５５を有する。

個人特徴情報５４は、ＰＣ１００及び他のＰＣ１５０から収集した上位メタ情報を、例えばその属性に応じて分類して記憶したものである。例えば、「中年男性である」、「中年女性である」といった年齢及び性別を示す情報と、「小学生の息子がいる」、「小学生の娘がいる」といった家族を示す情報と、「夏季、登山をする」、「夏季、遊園地へいく」といった季節毎の行動パターンを示す情報とが、それぞれ別の分類情報として記憶されている。

行動統計情報５５は、上記各分類の個人特徴情報５４と対応付けて、その導出元となった下位のメタ情報から導出される行動パターンの頻度を示した情報である。例えば、「中年男性である」という個人特徴情報５４には、中年男性の行動パターンとして、「◇◇博物館へ行く割合（ｘ％）」、「☆☆山」へ行く割合（ｙ％）といった行動パターンが、その頻度順に記憶されている。

すなわち、当該多人数統計メタＤＢ５２から、どのような人物がどのような行動パターンをとる頻度が高いかという情報が把握される。例えば中年男性は◇◇博物館へ行く割合が最も高く、小学生の息子がいる人は□□公園へ行く割合が最も高いことが分かる。

［ＰＣ及びサーバの動作］
次に、以上のように構成されたＰＣ１００及びサーバ２００による、コンテンツ推薦動作について説明する。以下では、ＰＣ１００のＣＰＵ１１及びサーバ２００のＣＰＵ２１をそれぞれ動作主体として説明がなされるが、以下の動作は、その他のハードウェアや、ＰＣ１００の上記コンテンツ推薦アプリケーション、サーバ２００の上記推薦コンテンツ選択アプリケーション等のソフトウェアとも協働して実行される。図７は、ＰＣ１００及びサーバ２００による再生制御処理の流れを示したシーケンス図である。

同図に示すように、まずＰＣのＣＰＵ１１は、個人メタＤＢ４１から、例えばユーザからコンテンツ推薦のリクエストが入力された等のタイミングで、任意の個人特徴情報４２を選択してサーバ２００へ送信する（ステップ７１）。または、サーバ２００は、既に受信している個人メタＤＢ４１から、例えば上記リクエストがサーバ２００へ送信されたタイミングで、任意の個人特徴情報４２を選択する。

続いてサーバ２００のＣＰＵ２１は、選択された個人特徴情報４２と、上記多人数統計メタＤＢ５２内の各個人特徴情報５４との類似度を計算する（ステップ７２）。ここで、当該個人特徴情報の類似度計算処理の詳細を説明する。

図８は、当該個人特徴情報の類似度計算処理の流れを示したフローチャートである。また図９は、当該類似度計算処理の例を示した図である。

同図に示すように、ＣＰＵ２１はまず、個人メタＤＢ４１内の個人特徴情報４２に含まれる上位メタ情報を、５Ｗ１Ｈの各要素の情報に分割する（ステップ８１）。例えば図９（Ａ）に示すように、「中年男性である。小学生の息子がいる。夏季、登山する。」という上位メタ情報は、"Who"に相当する「中年男性」という情報と、"When"に相当する「夏季」という情報と、"What"に相当する「登山する」という情報に分割される。

続いてＣＰＵ２１は、多人数統計メタＤＢ内の個人特徴情報５４に含まれる上位メタ情報を同様に５Ｗ１Ｈの各要素の情報に分割する（ステップ８２）。

続いてＣＰＵ２１は、上記分割された５Ｗ１Ｈの要素毎に、上記個人特徴情報４２と個人特徴情報５４との類似度を計算する（ステップ８３）。図９（Ｂ）に示すように、個人特徴情報４２が「男の子が、夏季、湖で、キャンプする。」という情報であり、個人特徴情報５４が「中年男性が、夏季、山で、キャンプする。」という情報である場合を例に説明する。この場合、個人特徴情報４２において"Who"に相当する「男の子」という情報と、個人特徴情報５４において"Who"に相当する「中年男性」という情報の類似度は"-0.5"と計算される。同様に、個人特徴情報４２と個人特徴情報５４との間で、"When"に相当する「夏季」と「夏季」、"Where"に相当する「湖」と「山」、"What"に相当する「キャンプする」と「キャンプする」という各情報の類似度がそれぞれ演算され、それぞれ"1.0"、"0.0"、"1.0"という類似度が算出される。この類似度の計算には、例えばシソーラス等の辞書が用いられる。

続いてＣＰＵ２１は、図９（Ｂ）に示すように、上記算出された各類似度に、５Ｗ１Ｈ毎に予め設定された重みを掛けて加算することで、全体の類似度を計算する（ステップ８４）。例えば、"Who"及び"What"の各要素の重みは大きく、"Why"の要素の重みは小さく設定されるが、これに限られない。

このように、上位メタ情報から得られる５Ｗ１Ｈの要素毎に類似度が演算されることで、各個人特徴情報の類似度がより正確に算出される。

図７に戻り、ＣＰＵ２１は、個人メタＤＢ４１内の個人特徴情報４２との、上記重み付け加算された類似度が高い順に、多人数統計メタＤＢ５２内の個人特徴情報５４と対応付けられた２以上の所定数の行動統計情報５５を選択する（ステップ７３）。または、所定類似度以上の類似度を有する行動統計情報５５が全て選択されてもよい。

続いてＣＰＵ２１は、上記選択された複数の行動統計情報５５に基づいて、コンテンツＤＢ５１から、複数のコンテンツ情報を選択する（ステップ７４）。

続いてＣＰＵ２１は、選択された複数のコンテンツ情報を組み合わせて、統合コンテンツ情報を作成する（ステップ７５）。

ここで、複数のコンテンツ情報から統合コンテンツ情報を作成する手法について、旅行商品を推薦する場合を例にとって詳細に説明する。

統合コンテンツ情報としての旅行商品では、単にある目的地を推薦するだけでなく、その旅行の各行程（宿泊施設、経由地、観光スポット、店等）も、上記上位メタ情報を用いてアレンジされる。

まずＣＰＵ２１は、旅行の目的地を決定する。具体的には、ＣＰＵ２１は、例えば上記類似度の高い上記個人特徴情報５４に結び付けられた行動統計情報５５から、地名や自然物名（山、川、海等）を含む個人特徴情報５４を抽出し、それに含まれる地名や自然物名を目的地として決定する。これは、ＰＣ１００のユーザの個人特徴情報４２と類似度の高い個人特徴情報５４を有する他のユーザが訪れた場所は、ＰＣ１００のユーザにとっても興味深い場所であるという前提に基づいている。

この際、上述したように、ＣＰＵ２１は、類似度の計算に上位メタ情報が用いられることで、下位メタ情報から類似度が計算される場合よりも、ＰＣ１００のユーザの嗜好により適う目的地を決定することができる。

例えば、ＰＣ１００のユーザが登山をしている様子が撮影された静止画または動画であっても、単に「山」という下位メタ情報が得られる場合と、「登山している」という上位メタ情報が得られる場合とでは、後の推薦コンテンツで登山を勧めるか否かに差が出てくる。

また、動画や静止画から「デパートの建物」という下位メタ情報が抽出されても、実際にユーザがデパートのある街へ行っただけなのか、デパートへショッピングへ行ったのかは判別できない。それは、「デパートへショッピングへ行った」という上位メタ情報が導出されることで初めて判別される。この上位メタ情報が用いられることで、ＣＰＵ２１は、個人特徴情報４２として、ユーザが「ショッピングへ行く」のか、単に「街へ行く」のかを分類することができる。そしてＣＰＵ２１は、この情報を用いて、旅行行程にショッピングスポットを含ませるか否かを判断することができる。

しかし、この方法とは別に、目的地に限っては、ユーザが手動で決定するオプションが設けられてもよい。

次にＣＰＵ２１は、決定された目的地における旅行行程をアレンジする。ここでいうアレンジとは、目的地・またはその周辺において実際にユーザが訪れる具体的な場所とその順番、宿泊する場所、移動手段など旅行の具体的な行程を決める事を指す。

この際、ＣＰＵ２１は、上記ＰＣ１００の上位及び下位のメタ情報から得られる、行動相関情報を利用することもできる。

例えば、ＣＰＵ２１は、ＰＣ１００の上位メタ情報及び下位メタ情報から、"スキーに行った後、高い頻度で温泉を利用する。"、"ドライブに行った際、高い頻度でショッピングモールでショッピングをする。"といった複数の行動同士の相関情報を認識することができる。ＣＰＵ２１は、ＰＣ１００から受信した上位メタ情報及び下位メタ情報を用いて当該相関情報を生成し、上記複数のコンテンツ情報を選択する際、または複数のコンテンツ情報から統合コンテンツを生成するための取捨選択を行う際に利用することができる。また、これに加えて、上記類似度の高い個人特徴情報５４を有するユーザの行動相関情報が用いられてもよい。

もちろん、当該相関情報は、ＰＣ１００において個人メタＤＢ４１が生成される際に合わせて生成され、サーバ２００へ送信されてもよい。

図７に戻り、ＣＰＵ２１は、上記生成された統合コンテンツ情報を、ＰＣ１００へ送信する（ステップ７６）。

ＰＣ１００のＣＰＵ１１は、当該統合コンテンツ情報を受信し、推薦コンテンツ情報として表示部１６へ表示する。

図１０は、推薦コンテンツ情報の表示例を示した図である。

同図（Ａ）に示すように、ＣＰＵ１１は、例えば、ユーザが撮影した動画や静止画のサムネイルビューワ９１を表示することができる。当該サムネイルビューワ９１では、日時や位置毎に分類された動画や静止画のサムネイル９３が、例えば、上記上位メタ情報から得られたイベント名９２とともに、複数のクラスタにされ表示される。このビューワ９１上で、例えばユーザが、あるイベント名９２にポインタを合わせたりクリックしたりした場合、ＣＰＵ２１は、当該イベント名９２に関連付けられた個人特徴情報４２を、推薦コンテンツ情報のリクエスト情報として、サーバ２００へ送信する。

そしてＣＰＵ２１は、上述の処理によりサーバ２００から得られたコンテンツ情報の一覧９４を、例えばビューワ９１に重畳させて表示する。当該コンテンツ情報の一覧９４には、各コンテンツ情報の概要情報９５と、その詳細情報へのリンク情報９６とが表示される。

上記旅行商品の例では、概要情報９５として例えば目的地の写真と地図とが表示され、リンク情報９６がクリックされることで、上記統合コンテンツ情報としての、所定の旅行代理店による行程詳細情報９７へとリンクされる。

同図（Ｂ）に示すように、行程詳細情報９７は、例えば目的地の地図９９と、当該地図９９上に表示される、各工程におけるスポットの写真やその説明情報を含む、各コンテンツ情報としての各行程情報９８とを有する。

同図の例では、各行程情報９８として、「登山をする」という個人特徴情報４２を基に決定された、「筑波山」という目的地のほか、「夕日を見る」という個人特徴情報４２から選択された、「夕日がきれいに見えるｘｘホテル」という宿泊施設や、「景観のよい渓谷へいく」という個人特徴情報４２から選択された、「景観のよい▽▽渓谷」という観光スポットが表示されている。

上記各行程情報９８には、当該行程情報９８を変更するか、そのまま用いるかを選択するための「変える」「採用」の各ボタン９８ａも表示される。「変える」ボタン９８ａが押された場合、ＣＰＵ１１は、代替の行程情報９８をサーバ２００へ要求する。サーバ２００は、当該要求に応じて、新たなコンテンツ情報を選択し、それにより更新された統合コンテンツ情報をＰＣ１００へ送信する。

［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。

上述の実施形態において、関連コンテンツ選択部５３はサーバ２００に設けられたが、ＰＣ１００に設けられても構わない。すなわち、ＰＣ１００が、例えば多人数統計メタＤＢ５２をサーバ２００からダウンロードし、それを基に上記類似度の算出処理やコンテンツ情報及び統合コンテンツ情報の生成処理を実行しても構わない。また、ＰＣ１００が自ら他のＰＣ１５０等から個人メタＤＢを収集して、多人数統計メタＤＢ５２を構築してもよい。さらには、ＰＣ１００において多人数統計メタＤＢ５２が構築されなくとも、個人メタＤＢ４１のみを用いて、ＰＣ１００のユーザの行動履歴を基に、コンテンツ情報が推薦されてもよい。例えば、上記個人特徴情報４２から、ユーザの季節毎の行動パターンが把握された場合、ＰＣ１００は、当該季節毎の行動パターンに合致する商品またはサービスのコンテンツ情報をサーバ２００のコンテンツＤＢ５１から検索して表示してもよい。

上述の実施形態では、上位及び下位のメタ情報を基に、コンテンツ情報として旅行プランが推薦される例が示されたが、推薦されるコンテンツはこれに限られない。例えばＰＣ１００またはサーバ２００は、ユーザが撮影した静止画や動画から抽出された上記個人特徴情報４２を基に、近未来（数ヶ月ほど）でユーザが起こす、あるいは起こしたがるであろう行動を予測し、必要となる商品・サービスとしてのコンテンツ情報を推薦してもよい。図１１は、当該行動予測からコンテンツ情報を推薦する場合の行動予測処理を示した図である。

同図（Ａ）に示すように、ＰＣ１００またはサーバ２００は、上記上位メタ情報から得られた、ＰＣ１００及び他のＰＣ１５０の各ユーザの個人特徴情報及び行動履歴情報（場所情報、日時情報）とを統計処理し、多人数分の行動予測モデル（以下、多人数行動統計モデルと称する）を生成する。当該多人数行動統計モデルとしては、例えば、上位メタ情報で得られた行動（例えば、「女友達と▽▽へ旅行へ行く」、「子供と遊園地へ行く」等）を行動ノードとし、各行動ノードを、ある行動ノードから別の行動ノードへ遷移する確率を計算する為の情報（係数等）を保持した線で結び、その計算の為の情報を機械学習により最適に求めたものがあげられる。同図（Ａ）の例では、行動Ａからは行動Ｂ及び行動Ｃへ遷移する確率が高く、さらに行動Ｂからは行動Ｅへ、行動Ｃからは行動Ｆへ遷移する確率が高いことが分かる。

次に、ＰＣ１００またはサーバ２００は、推薦対象のユーザの個人特徴情報及び行動履歴情報から、直近で行った行動ノードを選択する。続いてＰＣ１００またはサーバ２００は、その行動ノードから次の各行動ノードへ遷移する確率を上記多人数行動統計モデルから計算し、遷移する確率の高い順に、または所定確率以上の、いくつかの行動ノードを次の行動予測結果として選択する。そしてＰＣ１００またはサーバ２００は、当該選択された行動ノードに関連する商品またはサービスをコンテンツ情報としてユーザに推薦する。

上記多人数行動統計モデルにおいては、行動ノードの種類は無限に考えられるため、推薦対象のユーザの直近の行動ノードと、同じ行動ノードが多人数行動統計モデルに存在するとは限らない。しかし、ＰＣ１００またはサーバ２００は、上述の実施形態における個人特徴情報同士の類似度算出処理と同様に、例えば５Ｗ１Ｈの各要素毎の類似度に基づいて、行動ノード同士の類似度を計算することができる。ＰＣ１００またはサーバ２００は、当該類似度を用いて、ユーザの直近の行動ノードと、多人数行動統計モデル内で類似度の高い行動ノードとを近似することで、同一の行動ノードが存在しない場合でも行動予測を行うことができる。

例えば同図（Ｂ）に示すように、ユーザの直近の行動ノードが行動Ｃであり、当該行動ノードが多人数行動統計モデルに存在する場合には、次の行動ノードは行動Ｆであると予測される。一方、ユーザの直近の行動ノードが、多人数行動統計モデルに存在しない行動Ｇであった場合には、当該行動Ｇと他の行動ノード（行動ノードＢ、Ｃ等）との類似度が演算され、そのうち行動Ｇとの類似度が高い行動Ｃから、行動Ｆが予測される。

このように、上位メタ情報から多人数行動統計モデルを構築することで、下位メタ情報のみから多人数行動統計モデルが構築される場合に比べて、より詳細な行動予測が可能となる。例えば、「大勢の学生」、「高校生」、「学校」、「春」という下位メタ情報だけなく、それら下位メタ情報から、「卒業式」という上位メタ情報が導出されることで、「大学生で一人暮らし」といった行動予測が可能となる。そしてＰＣ１００またはサーバ２００は、この行動予測に基づいて、新生活で必要となる家具、家電等の商品をコンテンツ情報として推薦することができる。

また、上記上位メタ情報が用いられることで、やや長い期間でのイベントの時系列変化（傾向）も把握される。これによって、ＰＣ１００またはサーバ２００は、ユーザの現在の傾向に沿った商品・サービスの推薦を行うことができる。あるいは、ＰＣ１００またはサーバ２００は、ユーザの昔の趣味嗜好に沿った商品・サービスの推薦ができる。例えば、ユーザの行動傾向として、スキー、サッカーなどのスポーツ系イベントの頻度が徐々に減って、旅行イベントが多くなり、さらには、旅行イベントも減り、花・車といったような趣味の写真が多くなった、という傾向がつかめた場合、ＰＣ１００またはサーバ２００は、現在の傾向に合わせて趣味に役立つ商品・サービス（花であれば園芸用品、車であればモーターショー）を推薦することもできるし、過去の趣味嗜好であるスキー関連商品を推薦してユーザの行動意欲を喚起させることもできる。

上記行動予測処理には、多人数行動統計モデルが用いられたが、当該多人数行動統計モデルは必須ではない。例えばＰＣ１００は、ユーザの個人メタＤＢ４１内の個人特徴情報４２及び行動履歴情報４３を学習処理して、当該ユーザの個人行動統計モデルを構築し、当該個人行動統計モデルに基づいて行動予測を行い、予測された行動に関連するコンテンツ情報をサーバ２００のコンテンツＤＢ５１から検索して表示してもよい。

上述の実施形態において、下位のメタ情報及び上位のメタ情報はいずれもＰＣ１００により抽出されたが、これらの少なくとも一部は、他の機器で抽出され、画像がＰＣ１００に入力されるときに、当該画像と共に入力されてもよい。例えば写真の下位メタ情報は、写真撮影時にデジタルスチルカメラやデジタルビデオカメラ等の撮影装置で抽出され、写真とともにＰＣ１００に入力され、ＰＣ１００ではそれらの下位メタ情報から上位メタ情報を抽出してもよい。また、例えば顔検出や夜景検出等、撮影装置で抽出可能であって比較的少ない演算量で抽出可能な下位のメタ情報は撮影装置で抽出され、例えば動き検出や一般物体認識等、その抽出に要する演算量が比較的多くなるようなメタ情報はＰＣ１００で抽出されてもよい。さらに、ＰＣ１００に代わり、ネットワーク上のサーバによりメタ情報が抽出され、それらが上記通信部１９を介してＰＣ１００に入力されてもよい。

さらに、上述の実施形態においてＰＣ１００により実行される処理は、例えばＰＣ（Personal Computer）、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機、スマートフォン、記録再生装置、ゲーム機器、ＰＤＡ（Personal Digital Assistants）、電子ブック端末、電子辞書、携帯型ＡＶ機器等、その他のあらゆる電子機器でも同様に実行可能である。また、デジタルスチルカメラやデジタルビデオカメラは、撮影した動画像や静止画像から上記下位または上位のメタ情報を抽出可能であってもよいし、それら以外の各装置に、上記動画コンテンツや静止画コンテンツを撮影するためのカメラが備わり、同様に上位及び下位のメタ情報を抽出可能であってもよい。

３…ネットワーク
１１、２１…ＣＰＵ
１３、２３…ＲＡＭ
１６、２６…表示部
１７、２７…入力部
１８、２８…記憶部
１９、２９…通信部
３２…動画デコーダ
３３…オーディオデコーダ
３４…静止画デコーダ
３５…動画解析部
３６…オーディオ解析部
３７…静止画解析部
３８…上位意味情報解析部
３９…下位情報解析部
４０…個人特徴抽出部
４１…個人メタＤＢ
４２、５４…個人特徴情報
４３…行動履歴情報
５１…コンテンツＤＢ
５２…多人数統計メタＤＢ
５３…関連コンテンツ選択部
５５…行動統計情報
９７…行程詳細情報
９８…行程情報
１００…ＰＣ
１５０…他のＰＣ
２００…サーバ

Claims (10)

1. 複数のユーザによりそれぞれ撮影された画像データからそれぞれ抽出された複数の第１のメタ情報と、当該各複数の第１のメタ情報が解析されてそれぞれ導出された複数の第２のメタ情報とが、統計処理されることで生成され、前記第２のメタ情報毎の、当該第２のメタ情報の導出元となった前記各第１のメタ情報の頻度を示す統計情報を記憶する第１の記憶部と、
   推薦対象となる商品コンテンツまたはサービスコンテンツを示す複数の異なるコンテンツ情報を記憶する第２の記憶部と、
   前記複数のユーザのうち一のユーザのクライアント装置から、当該クライアント装置において前記複数の第１のメタ情報から導出された前記第２のメタ情報を受信する通信部と、
   前記受信された第２のメタ情報と、前記記憶された統計情報とを基に、前記記憶された複数のコンテンツ情報から、前記受信された第２のメタ情報について、所定頻度以上の前記頻度を有する前記第１のメタ情報に関連するコンテンツ情報を選択し、当該選択されたコンテンツ情報を前記クライアント装置へ送信するように前記通信部を制御する制御部と
   を具備するサーバ装置。
2. 請求項１に記載のサーバ装置であって、
   前記第２のメタ情報は、前記画像に表されている人物を示す人物情報と、前記人物の行動内容を示す行動情報とを含み、
   前記制御部は、前記統計情報に含まれる第２のメタ情報に含まれる第１の人物情報及び第１の行動情報と、前記クライアント装置から送信された第２のメタ情報に含まれる第２の人物情報及び第２の行動情報とをそれぞれ比較して、前記第１の人物情報と前記第２の人物情報との類似度を示す第１の類似度と、前記第１の行動情報と前記第２の行動情報との類似度を示す第２の類似度とを算出し、当該算出された第１の類似度と第２の類似度とを加算して第３の類似度を算出し、前記クライアント装置から送信された第２のメタ情報と所定類似度以上の前記第３の類似度を有する第２のメタ情報について、前記所定頻度以上の頻度を有する第１のメタ情報に関連するコンテンツ情報を選択する
   サーバ装置。
3. 請求項２に記載のサーバ装置であって、
   前記統合コンテンツ情報は、旅行商品を示す情報であり、
   前記通信部は、前記クライアント装置から複数の前記第２のメタ情報を受信し、
   前記制御部は、前記受信された複数の第２のメタ情報について、前記所定頻度以上の頻度を有する前記複数の第１のメタ情報にそれぞれ関連し、かつ、旅行中の各行程として設定可能なコンテンツ情報を前記第２のメタ情報毎に選択し、前記選択された各コンテンツ情報を統合して統合コンテンツ情報を生成し、当該生成された統合コンテンツ情報を前記クライアント装置へ送信するように前記通信部を制御する
   サーバ装置。
4. 請求項３に記載のサーバ装置であって、
   前記受信される各第２のメタ情報は、複数の前記行動情報の相関を示す相関情報を有し、
   前記制御部は、前記相関情報を基に、前記各行程として設定される前記コンテンツ情報及びその設定順を決定する
   サーバ装置。
5. 請求項２に記載のサーバ装置であって、
   前記第２のメタ情報は、前記行動情報に対応する日時を示す日時情報を有し、
   前記制御部は、前記統計情報に含まれる各第２のメタ情報に含まれる前記行動情報及び前記日時情報を基に、前記複数の行動内容のうち、第１の行動内容から第２の行動内容へ遷移する確率を示す遷移確率情報を生成し、当該生成された遷移確率情報を基に、前記受信された第２のメタ情報に含まれる行動情報により示される行動内容から遷移する確率が所定確率以上の行動内容に関連するコンテンツ情報を選択する
   サーバ装置。
6. 推薦対象となる商品コンテンツまたはサービスコンテンツを示す複数の異なるコンテンツ情報を記憶するサーバ装置と通信する通信部と、
   ユーザにより撮影された画像データを記憶する記憶部と、
   前記画像データから、複数の第１のメタ情報を抽出し、当該抽出された各第１のメタ情報を解析することで第２のメタ情報を導出し、当該導出された第２のメタ情報を基に、前記サーバ装置に記憶された複数のコンテンツ情報のうち、当該第２のメタ情報に関連するコンテンツ情報を受信するように前記通信部を制御する制御部と、
   前記受信されたコンテンツ情報を出力する出力部と
   を具備するクライアント装置。
7. 複数のユーザによりそれぞれ撮影された画像データからそれぞれ抽出された複数の第１のメタ情報と、当該各複数の第１のメタ情報が解析されてそれぞれ導出された複数の第２のメタ情報とが、統計処理されることで生成され、前記第２のメタ情報毎の、当該第２のメタ情報の導出元となった前記各第１のメタ情報の頻度を示す統計情報を記憶し、
   推薦対象となる商品コンテンツまたはサービスコンテンツを示す複数の異なるコンテンツ情報を記憶し、
   前記複数のユーザのうち一のユーザのクライアント装置から、当該クライアント装置において前記複数の第１のメタ情報から導出された前記第２のメタ情報を受信し、
   前記受信された第２のメタ情報と、前記記憶された統計情報とを基に、前記記憶された複数のコンテンツ情報から、前記受信された第２のメタ情報について、所定頻度以上の前記頻度を有する前記第１のメタ情報に関連するコンテンツ情報を選択し、
   前記選択されたコンテンツ情報を前記クライアント装置へ送信する
   コンテンツ推薦方法。
8. ユーザにより撮影された画像データを記憶し、
   前記画像データから、複数の第１のメタ情報を抽出し、
   前記抽出された各第１のメタ情報を解析することで第２のメタ情報を導出し、
   前記導出された第２のメタ情報を基に、サーバ装置に記憶された、推薦対象となる商品コンテンツまたはサービスコンテンツを示す複数のコンテンツ情報のうち、当該第２のメタ情報に関連するコンテンツ情報を受信し、
   前記受信されたコンテンツ情報を出力する
   コンテンツ推薦方法。
9. サーバ装置に、
   複数のユーザによりそれぞれ撮影された画像データからそれぞれ抽出された複数の第１のメタ情報と、当該各複数の第１のメタ情報が解析されてそれぞれ導出された複数の第２のメタ情報とが、統計処理されることで生成され、前記第２のメタ情報毎の、当該第２のメタ情報の導出元となった前記各第１のメタ情報の頻度を示す統計情報を記憶するステップと、
   推薦対象となる商品コンテンツまたはサービスコンテンツを示す複数の異なるコンテンツ情報を記憶するステップと、
   前記複数のユーザのうち一のユーザのクライアント装置から、当該クライアント装置において前記複数の第１のメタ情報から導出された前記第２のメタ情報を受信するステップと、
   前記受信された第２のメタ情報と、前記記憶された統計情報とを基に、前記記憶された複数のコンテンツ情報から、前記受信された第２のメタ情報について、所定頻度以上の前記頻度を有する前記第１のメタ情報に関連するコンテンツ情報を選択するステップと、
   前記選択されたコンテンツ情報を前記クライアント装置へ送信するステップと
   を実行させるプログラム。
10. クライアント装置に、
    ユーザにより撮影された画像データを記憶するステップと、
    前記画像データから、複数の第１のメタ情報を抽出するステップと、
    前記抽出された各第１のメタ情報を解析することで第２のメタ情報を導出するステップと、
    前記導出された第２のメタ情報を基に、サーバ装置に記憶された、推薦対象となる商品コンテンツまたはサービスコンテンツを示す複数のコンテンツ情報のうち、当該第２のメタ情報に関連するコンテンツ情報を受信するステップと、
    前記受信されたコンテンツ情報を出力するステップと
    を実行させるプログラム。